优秀征文选登
上海市法学会积极服务国家ai战略大局，推动人类科技向善发展，根据2020世界人工智能大会组委会的安排，“2020世界人工智能大会法治论坛”由上海市法学会主承办，初定于7月10日在沪召开。
本着将“世界人工智能大会法治论坛”打造成汇聚全球智慧、推动人工智能未来法治体系建设策源地的美好愿景，2019年11月15日起，上海市法学会、中国知网、《上海法学研究》《东方法学》面向全球征文。截至2020年4月20日，共计收到原创性、学术性和思想性兼具的法学研究成果作品150余篇。
上海市法学会微信公众号将选登30篇作品，开展网上评选。征文活动结合网络投票，通过专家评选，遴选出一等奖、二等奖、三等奖以及优秀奖共30篇，另设一名“网络人气奖”作品。上海市法学会微信公众号上将对选登作品进行为期一周的网络投票，投票结果将作为评选重要参考。单篇文章阅读量加上网络投票数值最高的作品将获得“网络人气奖”!
《上海法学研究》集刊将专卷出版“2020世界人工智能大会法治论坛文集”，特别优秀的论文可推荐《东方法学》发表。上海市法学会将邀请部分获奖作者到沪参加2020世界人工智能大会法治论坛有关活动。
欢迎大家踊跃投票、点赞，为喜欢的作品加油助威！
林泽宇 外交学院国际法系
内容摘要
人工智能武器是新兴技术在武器系统中的运用。对于机器或人工智能掌握人类的生杀予夺，众多团体或个人对这一新事物的合法性产生怀疑和忧虑。然而，目前对其范围尚未公认界定，甚至在定义方法上也有争议。本文基于对人工智能武器可以自主选择和攻击目标的宽泛界定，认为当下的国际法规则（主要是国际人道法规则）并未否认人工智能武器自身的合法性。在此基础上，讨论了国际法规则对人工智能武器提出的要求其遵守此类规则的可能性。而对于人工智能武器造成的损害，由于人工智能或武器系统并不具体法律人格的地位，因此其责任最终应由个人和国家承担。
关键词：人工智能武器 国际人道法 归责
几乎所有的重大科技进步首先会被设想运用在军事领域，因此，当人工智能技术不断发展并成熟，各国都对这一技术在军事领域的应用给予了极大的关注，并催生了人工智能武器（artificial intelligence weapons，下称“ai武器”）这一概念的产生，其特点在于可以高度自主地攻击。
而相应地，对ai武器的合法性的担忧也逐渐积聚。为探讨ai武器的合法性，国际红十字委员会（icrc）进行了三次专家组会议，联合国在《特定常规武器公约》（ccw）框架内也进行了三次非正式专家会议以及三次政府间专家会议。但是，由于各国的意见分歧较大，这些国际会议除了对各国ai武器发展中应当遵守的原则等问题达成一些共识外，对于ai武器的合法性、规制措施、ai武器产生损害后的责任归属等问题并没有达成一致意见。因此，在国际法层面，并没有特别的国际法规则对ai武器加以调整。
长远地看，由于主要军事大国（包括美、中、俄）对ai武器表现出极大的兴趣并投入大量资源进行研发，人工智能运用于武器已不可避免。因此，在国际法层面，有意义的工作是考虑现有规则对ai武器的适用与缺漏，尤其是战争法对ai武器的适用以及ai武器造成损害的归责问题。
一、ai武器的概念与范围
在2017年ccw专家会议上，一些代表认为，现在开始研究定义是为时过早或无益的。然而，如果不对这类武器系统的定义作初步澄清，法律层面的讨论就缺乏明确的方向。因此，ai武器是否是一种新事物（如果答案是否定的，那么沿用既有的讨论结果即可）并框定其范围是讨论国际法对ai武器能否规制、如何规制的先决问题，这也是目下的共识。然而，对ai武器的定义尚未达成一致，进行定义的方法可类分为如下几种：
（一）特征式定义
特征式定义的思考方式是通过提取ai武器的几种离散的特征以进行界定。如美国国防部第3000.09号指令性文件中将ai武器定义为“激活后可以选择和攻击目标而不需要操作员的进一步干预的一种武器系统”，即其特征包括：第一，是一种武器系统；第二，能够选择和攻击目标；第三，无人类干预。这一定义也是被广泛接受的一种。
但这种离散化的定义其实回避了对ai武器核心特征的界定，即“自主”（autonomous）和“自动”（automatic）的区别问题，因此将一些已经被各国军队广泛应用的自动武器如车辆主动防护武器或密集阵等也纳入了ai武器的范围。现有观点对自主和自动之间的区分可以归纳为两点。一是从系统的运行过程着眼，即自主系统可以不经人类干预而进行选择，而自动系统必须由人类为其选择目标，然而如果编写的程序预先设定了数个具体的攻击目标（譬如由无人机攻击几座已知坐标的建筑物），那么系统选择攻击其中一个目标的过程是否也是上文所说的“选择”过程，因此这一模糊之处表明，以是否能够自主选择目标区分自主与自动并没有表明两者之间的实质区别。二是从系统的运行环境着眼，2013年联合国特别报告员christof heyns在其所做的关于自主机器人杀手导致的对保护生命的挑战问题的报告（海恩斯报告）中认为，自动系统只能在一个结构化和可预测的环境中运行而自主系统可以在开放、非结构化和动态环境下工作。前者如家用电器，系统运行的环境是固定，相反，后者的运行环境则没有预先的设定。但是，自动化系统也可以在开放和非结构化的环境下运行，如车辆自主防护系统会随着车辆的移动而变换运行环境，理想的结构化和可预测的环境在现实中是少见的。因此，笔者认为，从其运行结果着眼对二者进行区分更合适，即自动化系统只能按照人类预先编写的程序脚本运行，并完成预定的步骤，其运行结果也是可以预见的，譬如完成对某个具体目标的攻击；而自主系统可以根据环境变化做出调整，而其运行的结果也并不完全在设计者的预想之内，譬如对任何其遇到的配备敌军标识的对象进行攻击。当下对自主武器的一大担忧就在于其攻击目标可能并非人类本意，因而会导致平民伤亡或冲突升级，这种区分也同该担忧相符合。
（二）分级式定义
分级式定义将ai武器看作是一个具有层次性的概念，认为其与“自动系统”的区别并不是显著的。如icrc即认为自主武器和自动武器之间的差别仅在于自主性的程度差别。这种分级式的定义多被军事机构与军事科研所所偏好。美国国防部关于ai武器的描述中也在自动系统和自主系统之间设立了“半自主系统”的概念，一定程度上借鉴了分级式定义的方法。将不具有任何自主性的武器与理想中的人工智能的自主程度进行分级，如何界定ai武器的范围就变成了纯粹的政策选择问题。其中，较为激进的观点甚至认为从能够探测重量并据此决定是否引爆的地雷到具备人工智能的武器系统都属于自主武器。
分级式定义虽然回避了自主与自动的区分问题，但法律层面的谈论无法回避ai武器的特殊性，因此最终还是要回到“自主”概念的核心特征上来，否则，单纯的对ai武器的这种分级式刻画是没有意义的。
（三）“环”式定义
“环”式定义融合了军事理论中的boyd循环（boyd loop）。boyd循环将军事行动看做是观察（observe）、定向（orient）、决策（decide）、行动（act）的循环程序，（“ooda”）人在这一循环中扮演不同的角色决定了武器的性质。“人在环中”（human-in-the-loop）是指武器只有在人的命令下才能进行攻击（如mq-1捕食者无人机），“人在环上”（human-on-the-loop）是指在人的监督下武器可以自行选择目标和攻击而人能介入其中（如密集阵），而“人在环外”（human-out-of-the-loop）是指武器能够选择目标并在没有任何人工输入或交互作用的情况下进行攻击。此时，ai武器被界定为人在环外或人在环上而监督极为有限的武器系统。对这种定义的批评在于其区分过于简单，随着武器发展得越来越复杂和精密，在武器系统的运行过程中可能会有着众多独立的部分，而人类可能在某些部分（如观察）完全不介入，而在其他部分（如决策）有着较高程度的控制甚至完全控制，因此这种方式并不一定可以准确评估系统的自主能力。
总结各种定义方式，可以发现，无论何种定义都不能回避对自主程度和人机关系的描述。各方因其立场所希望加于ai武器的法律约束或严或松，因而在这两个方面的要求或宽或狭，由此而成为争议的主要原因。事实上，在目前笔者所见到的讨论中，一方面，特征式定义（类于dodd 3000.09）被较多采纳，而以剩余两种作为辅助，另一方面，各国对ai武器的发展与应用都还处在探索阶段，新兴技术与传统武器的结合还没有定型，因此，对ai武器不适宜作过分严格的定义，以防某些国家可能进行恶意的规避，研发一些虽不符合定义但实质上是ai武器的武器。一个较宽泛的界定更适合国际社会在ai武器发展初期进行监管与调控。基于此，本文暂时采纳dodd 3000.09的定义。
二、ai武器对战争法规的影响
ai武器的主要用途在军事领域，因而对国际法的主要挑战也集中在战争法方面。战争法规包括了“诉诸战争的法”（jus ad bellum）和“战争中的法”（jus in bello），前者关于战争或武装冲突的正义性或合法性问题，而后者涉及对敌对行动的管制。
（一）诉诸战争的法——ai武器更容易导致战争吗
反对ai武器的观点认为，ai武器会影响政治决策，因为ai武器不需要有真正的人类投入战场，这种人力成本的优势使得国家在国际关系中更易于选择武力。并且，ai武器使得武装冲突中鲜少有实际人命的损失，社会公众可能也不会反对政府使用武力。
然而，这些论述并不能推断出ai武器的非法性。诉诸战争的法只讨论武力使用是否合法的问题和战争的开始、结束及其法律后果。《联合国宪章》确认了自二十世纪初形成的在法律上不再能把战争作为法律救济方法而诉诸战争的观念，要求会员国避免以武力进行威胁或使用武力，因此现代国家的诉诸战争权已经受到极大限制。尽管如此，自卫和得到安理会授权的武力使用仍被认为是合法的行为。所以，作战武器的选择和使用问题与战争的合法性问题是分离的，武器的优势或人命的保存与战争合法性并不挂钩。事实上，如今许多武器都可进行跨境攻击，其带来的优势和对战争形态的影响并不亚于ai武器，但这些武器的发展并没有显著地使国家更易于选择战争。
质言之，无论国家拥有何种武器，决定战争与和平的都是“人”。诉诸战争的法也只能在人的决策层面进行调整，而不涉及武器审查和作战方法。所以，ai武器易于导致战争属于国际军备控制的问题，如一些学者指出，是属于法律之外的。甚至，即使不涉及拥核国家之间的对立，二战之后，人类战斗员直接对抗锐减，但战争的爆发仍呈现逐渐减少的趋势，因此，ai武器使战争更可能的观点的错误性可见一斑。
（二）战争中的法——ai武器能遵守国际法吗
如果说诉诸战争的法涉及开战正义的话，战争中的法则涉及交战正义，包括对战争手段和方法的限制和对战俘、伤病员和平民的保护。前者涉及ai武器本身是否一种合法武器的问题，后者涉及ai武器在使用过程中应当遵守的规则的问题。而在这两者之间，国家在研发和决定使用新武器时，尚有审查其合法性的义务。因此，下文从这三个方面进行讨论。
1.马尔顿条款——ai武器是否是一种合法武器
马尔顿条款（martens clause）于1899年第一次海牙和平会议期间由俄罗斯代表friedrich martens提出，并被反映在嗣后历次制定的战争法条约中。纳入这一条款的目的在防止部分国家主张凡是国际人道法未加禁止的行为即是可为的。
马尔顿条款的一个反映即是《日内瓦公约第一附加议定书》第1条第2款，该条规定，“在本议定书或其它国际协议所未包括的情形下，平民和战斗员仍受来源于既定习惯、人道原则和公众良心要求的国际法原则的保护和支配”。可以看到，因为承认了既定习惯（established custom）、人道原则（principles of humanity）和公众良心（public conscience）对国家交战行为的约束效力，使得国际人道法原则的范围远大于制定法的范围。
在2019年ccw的专家会议上，各国代表仅仅原则性地承认了ai武器的发展必须符合马尔顿条款，而正如这一条款的措辞本身一样，缺乏更为细致的解释。ai武器的反对者同样援引马尔顿条款，但也缺乏论证。在国际法院的实践中，只是原则性地承认了马尔顿条款是解决科技迅速发展给国际人道法带来挑战的有效途径，并没有对其内涵作过多的释明。“核武器合法性”案中，澳大利亚在以马尔顿条款证明核武器的非法性时称，“人道”和“公众良心的要求”的概念都不是静态的，本世纪初可能被国际社会认为可以接受的行为，今天可能被国际社会谴责为不人道。潜台词即是不能被国际社会接受的行为就是不符合人道原则和公众良心要求的行为。另一部分学者持更开放的态度，认为判断马尔顿条款的关键部分是检查公众的支持和反对态度。
到目前为止，尚未有国家或国际上的权威机构对公众对于ai武器的态度进行过全面的调查。部分学者在其研究过程中做过小范围的调研，而这几次调研均反映，对ai武器持反对观点的占据多数。但其样本总量较小，难以形成有力证据。相对而言，由未来生活研究所（future of life institute）发起的《致命自主武器宣言》更有代表性，签署宣言者承诺，出于道德原因，不会参与也不会支持致命ai武器的研发。迄今，已有超过3000名ai科技人员和200余科研机构和社会组织签字。联合国秘书长古特雷斯，以及28个国家，都明确表明，出于道德厌恶感，应当禁止致命性ai武器。
然而，正如核武器合法性所遇到的窘境一样，即使有如此多的反对声音出现，能否判定ai武器违反人道原则与公众良心呢？“允许机器拥有凌驾于人类之上的生与死的力量，是在贬低生命的价值，”这一判断可能恰当地反映了公众反对ai武器的道德原因。但是，马尔顿条款的初衷不是为了将国际人道法与道德情感要求等同起来，而是避免条约规定力有不逮，因此，符合人道与公众良心要求的规则应当是那些业已成为国际人道法规则但尚未被条约所表达出来的规则，而不是广泛的道德要求。否则，就是对国际人道法的误解（即认为国际人道法应以具有人道关怀的模样出现），因为战争和武装冲突（在排除了政治色彩以后）一定是反人道的。即使核武器在大众的印象中总是与痛苦和恐惧相关联，但国际法院仅仅判定，如果核武器的使用造成了不分皂白的攻击和不必要的痛苦，则其使用是非法的，但国际法院对核武器本身的合法性并没有做出裁判。国际法院的回避态度也佐证了虽然马尔顿条款意义重大，但其实际效果可能并非如此显著。相较于1899年，在国际人道法规则充分而全面的今天，仅仅诉诸马尔顿条款不能否认一种ai武器的合法性。
2.第一附加议定书第36条——使用ai武器前的义务
1977年《第一附加议定书》第36条要求，在研究、发展、取得或采用新的武器时，缔约一方有义务确认，在某些或所有情况下，该新武器是否为国际法规则所禁止。由于ccw采用的是列举式方法规定禁止的武器，因此，这一条填补了漏洞，重审了冲突方选择的作战方法和手段不是无限制的。
然而，出于国家安全和技术保密，这一条所要求的“确认”是内部自省而非外部检查。因此无论国家的结论是某种新武器合法还是非法，都没有将其调查结果公之于众的义务。所以这一条难以说课以国家什么真正的义务，而仅是在武器造成违反国际人道法的后果时，如果没有进行这种检查，将使得国家对其承担责任。所以，虽然有国家希望建立额外的机制进行监管和控制，但在ai武器技术方面掌握优势的国家坚决反对。
就义务内容而言，主要是检查是否属于会造成不必要痛苦的武器。如上所述，除了“机器人能决定生死”带来的道德厌恶感外，并没有证据证明ai武器会带来不必要的痛苦。相对于达姆弹、激光致盲武器等ccw禁止的武器而言，ai武器更多的是新的驱动技术与既有武器的结合，而不是一种新的杀伤手段，仅仅是“自主”的特征并不会使ai武器造成不必要痛苦，相反，“机器人”不会恐惧，不会仇恨，反而相较于人类战斗员更能做到令行禁止，客观上能保护战斗员免受鲜为或非为军事目的而造成的伤害和痛苦，促使国际人道法的规则得到遵守。
3.国际人道法基本原则——使用ai武器时必须予以遵守的原则
国际人道法对保护战俘、伤病员和平民的规定纷繁复杂，但贯穿其中的两个维度就是军事需要和人道保护，这两者之间的平衡产生了国际人道法的各项基本原则，如区分原则、比例原则等。其中，国际社会和国际人道法学者主要关心的就是ai武器能否遵守区分原则和比例原则。
（1）区分原则
区分原则（principle of distinction）指武装冲突期间，冲突各方必须区分战斗员与非战斗员、武装部队与平民以及军事目标与非军事目标。
第一，对人的区分
海牙公约体系下要去战斗员佩戴有可从远处识别的标志且公开携带武器，形式上看，只要训练数据足够且可靠，ai武器利用卷积神经网络等技术或许不难实现对战斗员与非战斗员的区分。然而，造成困惑的是，目前的国际人道法并不要求战斗员佩戴可识别标志或携带武器，而只要求其从属于一个为其部下的行为向该方负责的司令部统率下的有组织的武装部队，而一个人隶属于某组织很难通过外部特征如服饰等判断出来。而介于战斗员和平民之间的一个中间概念是直接参加敌对行动的平民，这类平民在其参加敌对行动时外，享受平民待遇。如何判断直接参与敌对行动的身份仍是有争议的：icrc认为只有持续地作为某组织的战斗员的才是合法的攻击目标，而反对观点认为组织的一切人员，无论其作用如何，都可以被攻击。在非国际性武装冲突中，这种矛盾更加显著，因为非国际性武装冲突中（如内战）常常表现为政府武装和非政府武装之间的冲突，后者的重要支持常常是这类直接参加敌对行动的平民，然而，一个平民在衣服中藏匿生活物资和藏匿炸药从外观和行迹上是很难区别的，对于人类战斗员是如此，对于ai武器则更加困难。区分对象身份是保证ai武器遵守区分原则的第一个困难。
ai武器面临的另一个困难是如何区分战斗员和失去战斗力的人（hors de combat）。明示投降意图和因伤病丧失知觉的人都属于失去战斗力的人，不再能作为合法的攻击目标。“明示投降意图”的情况中，一个简便的解决途径是统一表示投降意图的方式。但这毕竟只是理想情况，复杂的战争环境使得战斗员意欲投降而无法做出相应的表示，这需要ai武器能够理解人的意图和情绪，却也是目前的技术难点。而因伤病丧失知觉的人和一个匍匐着的战斗员在外观上几乎难以区分，这需要联系当时的环境和各种因素加以确定，因此，ai武器需要具有理解环境状况的能力。
上述的区分对于人类来说或许可以较为容易，但对于机器则并非如此。事实上，如何区分合法的攻击目标和非法的攻击目标在国际人道法上尚未被全面的概括出来。而即使是总结出一些特征后，仅凭这些特征判断目标是否可以攻击也是与国际人道法的精神相悖的。所以，上述两个困难的根源除了目前技术水平不足外，更主要的是国际人道法规则固有的复杂性与模糊性，而后者的解决不仅需要法律研究的进步，还有赖于国家对某些条文或原则的内涵及其理解达成共识，因此需要更久的时间。所以，在面对复杂环境或以人作为攻击目标时，在符合区分原则的ai武器中，人类判断几乎是必不可少的，否则将可能构成非法。
第二，对物的区分
对物的区分即区分民用物体和军事目标。一方面，军事目标一般有显著的标志或特征，如迷彩外观、部队旗帜等，另一方面，军事目标的标注常常属于军事情报的范围，只要处理好这两方面的信息，机器识别军事目标和民用物体并不困难。例外情况是民用物体向军事目标的转化。物体对于人来说具有一定的从属性，战斗员躲避在居民房中则居民房也会成为军事目标，那么攻击不成问题。因此，对物的区分并不会像对人的区分一样给ai武器带来过多困难。
上述讨论表明，通过程序和编码，可以使ai武器遵循区分原则。但是即便如此，也不代表ai武器的使用是无限制的。一方面，多数ai武器采用机器学习技术，而机器学习的过程中，数据具有重要意义。因此ai武器应用的场景与方式也应当与其训练数据相匹配。譬如，如果以白天的沙漠场景图像数据训练ai武器，就不应当将ai武器应用于黑夜森林场景中。否则，ai武器将不能准确地识别目标，也就不符合区分原则的要求了。另一方面，目前ai武器的自主性仍极不成熟，随着环境状况变化会有较大波动，因此，人类在其运行过程中的监督不可缺少。与ai武器配套的操作人员应该了解ai武器使用的场景、对象、限制等关键问题。鉴于目前ai武器自主能力的不可靠性，针对人类目标或进攻性攻击时，“循环”（loop）中最重要的“行动”部分应当交由人类决定。目前，国际社会达成的共识是ai武器运行过程中“人的判断必不可少”，dodd 3000.09也要求针对人的攻击应当是人类监督的（human-supervised）。
此外，由于国际社会对ai武器变成类似科幻场景中的杀人机器人的担忧，国际社会对ai武器的提出的一个要求即是ai武器的可预测性（predictability）和可靠性（reliability），这对ai武器采用的算法可能也有相应的限制，监督学习（supervised learning）相较于无监督学习（unsupervised learning）和强化学习（reinforcement learning）可能更为适当。前者在训练时由人类为机器指明攻击某个目标是否违法，而后两者则需要机器在训练中自行发现判断目标是否可攻击的规律，但机器归纳出的“规律”可能与国际人道法的规则不符，因此难以满足可预测性和可靠性的要求。
（2）比例原则
比例原则（principle of proportionality）指在对军事目标进行攻击时应最大限度地减少对平民和民用物体造成的附带损害，对平民和民用物体造成的附带损害不应超过在军事行动中所要达到的预期的、具体的、直接的军事利益。
比例原则是一项模糊的规则，也是国际人道法中最复杂的原则。一个无辜的人的生命和一项军事利益之间难以轻易比较。而正如在国内法中的基本原理一样，人的生命也不可以在数量上进行比较。所以，不同于区分原则，“合乎比例”完全是一项定性的判断，它能否通过定量分析达到可接受的结果殊值怀疑。
这一点也可以从比例原则的标准看出。对于合乎比例，并没有形成统一的判断标准，前南刑庭（icty）采用了“理性指挥官标准”，这一标准也被相当数量的国家的军事手册所采用，即一个消息相当灵通的人，合理地利用其所掌握的资料，是否可能预期这次攻击会造成过多的平民伤亡。不难发现，这种标准其实并没有给予攻击前的任何指导，而只是一种事后确定责任的规则。一个难以被量化的原则对ai武器遵循国际人道法来说是一个挑战，而如果这一原则在技术上不可行，并不是放弃这些原则的充分理由，而只能推断出使用ai武器非法。
而从“理性指挥官标准”中，我们也能发现另一个对ai武器的质疑，即“理性指挥官标准”是否意味着只有人有资格来做这种判断呢？在ai武器技术上具有优势的国家或许会反对这种观点：美国军方建议考虑武器系统的性质和破坏性影响、目标附近建筑物的组成和耐久性、基于历史数据推断其为民用的可能性来评估附带损害。显然，这是为了方便计算机程序处理，然而，考虑这些方面得到的只是武器造成的破坏是否会伤及平民及民用物体，例如一次轰炸是否会伤及居民区，但比例原则的内涵不止于此，还包括损害较小的平民利益而获取较大的军事利益，譬如破坏军民两用的发电厂和水厂。
这种“两利相权取其重”的比例原则对ai武器还有更大的挑战。军事利益的评估是动态的，不适合进行精确的数学计算，而往往是和武装冲突的全局状况相关的。攻击一个军民两用的发电厂能带来一定的军事利益，但如果得到敌方已经完全退出该区域的情报后，该攻击则不会带来任何军事利益。这只是一个简单的情形，真实战争的情况则会更复杂。这意味着能遵循比例原则的ai武器不仅要有评估其所处环境的能力，还需要有理解和评估武装冲突全面形势的能力。因此，非军方机构与个人更倾向认为武力的种类和程度不能预先决定，必须根据有关情况加以决定。
综上，尽管“理性指挥官标准”在语义上并不意味着必须有人做判断，但是由于比例原则的模糊性，ai武器缺乏能符合比例原则要求的、对冲突局部或全局进行评估与理解的能力。因此，人类指挥官的判断必不可少，并且能够随时中止ai武器的运行，这种要求阻止了ai武器广泛应用的可能性，可以说，也是质疑ai武器合法性的最有力的论据。而ai武器缺乏动态和全面理解战场情势能力的缺陷也给ai武器的应用提出了另外一个要求，即ai武器只能限制在简单的环境和任务中使用，所以，ai武器只能是一种“战术性”的武器，而不能是一种“战略性”的武器。
至于国际人道法的其他规则，如对战俘的保护等，由于ai武器的行动不会受到情绪和感情的影响，反而有比人类战斗员更好地遵守国际人道法的可能性。
三、ai武器的责任问题
当法律规则要求人们作出一定的行为或抑制一定的行为时，违法者因其行为应受到惩罚就是责任。没有责任，意味着违法者受不到制裁，规则也就流于具文，因此条约和习惯国际法都要求各国对严重违反国际人道法的行为负责。而《罗马规约》也将严重违反国际人道法的行为定义为战争罪。国际法上的责任承担模式包括了个人责任和国家责任。虽然有人认为应当赋予机器人法律主体地位，但国际社会的共识仍然是由个人和国家承担最终的法律责任。
（一）个人责任
国际社会对ai武器违反国际法导致的个人责任的态度前后发生了变化。2017年ccw第一次政府间专家会议上，最终结论是“在武装冲突中部署任何武器系统的责任仍然由各国承担”，并没有讨论个人责任的问题。在2018年的会议上，则认为责任不能转移给机器承担，要求保留决定使用武器系统的人的责任而在2019年的报告中，要求国家、武装冲突各方和个人始终有责任遵守国际人道法，各国还必须确保使用ai武器方面的个人责任。分析ai武器的生产、制造和使用过程，主要有以下三种归责模式可供考虑：
1.生产者责任
生产者责任即将ai武器造成的损害归责于ai武器的设计者、生产者，使之为其设计、生产不符合国际人道法要求并造成损害的ai武器负责，例如程序设计者设计不能区分平民的程序或者根本没有在设计时考虑区分伤员和战斗员。这种归责方式也是产品责任在人工智能中的延续。目前对于生产者责任的责任类型有两种看法，一是刑事责任，二是民事责任。
就刑事责任而言，由于《罗马规约》（下称呼“规约”）对国际刑事法院（icc）管辖的犯罪的情状做了具体的描述，而开发武器并不符合任何一条的描述，因此，“生产”难以构成这些犯罪的实行行为，而被认为是一种帮助行为。然而，即使这是一种帮助行为，要依照《规约》第25条3（c）项使生产者承担刑事责任仍然面临两个理论难题：
第一，就《规约》第30条规定的心理要件而言，要求行为人有意从事该行为并有意造成该结果，同时还需明知其行为会造成该结果。但是首先，《规约》要求的“明知”并非是一种“对可能产生结果视而不见”的心理状态，而是要确实知道某种情形的存在。那么生产者生产设计时并无法得知使用者利用ai武器从事战争罪行的事实的存在，因此更像是一种“放任”的心理状态，不符合“明知”的要求。而且，由于ai武器的程序设计与生产工程浩大，往往需要一整个团队进行协作，因此也难以断定个人可以明知其行为会在日后造成损害。其次，第30条要求的“故意”指的是帮助者有帮助犯罪的直接故意。因此，除非生产者故意设计不符合人道法要求的程序并且是出于帮助ai武器使用者实施犯罪的意图，才可能构成“故意”，仅仅是由于过失或者是为了盈利而设计不严谨并不符合犯罪要件。
第二，ai武器的研发和生产很可能不是在武装冲突期间进行的，而在武装冲突前就已经进入军备序列。而icty的判例并不支持在武装冲突之前即产生国际法上的刑事责任。tadic案中，法庭肯定了检察官的说法，要违反国际人道法，就必须有武装冲突。而在blaskic案中，上诉庭虽然承认《罗马规约》第25条3（c）项的帮助、教唆行为可以发生在主犯的犯罪行为之前，但是，这仅是法庭在论述过程中的一句附带说明（obiter dicta），法庭也没有以此作为blaskic刑事责任成立的基础，因此，并不足以认定武装冲突前的行为可以构成违反《罗马规约》和国际人道法的犯罪行为。综上所述，笔者认为，追究生产者的刑事责任是不现实的。
因此，多数学者探讨的其实是追究生产者的民事责任，使得战争中的受损害者得以向生产者索取金钱赔偿，实质上也就是侵权责任。侵权责任不需要审查生产商是否“故意”和“明知”，因此一些学者评价说，这种责任类型具有“直觉上的吸引力”，也可以促使生产商尽可能确保ai武器的安全性。但是，这一进路也有实践上的困难。第一，对于国际性武装冲突而言，ai武器的生产者一般是外国企业，因此，战争受害者的内国法院不具有诉讼管辖权。即使是在非国际性武装冲突或者受害者向生产者母国提起诉讼的情形下，时间、金钱和专业知识等方面受害者也无法与生产者相对抗。第二，按照各国实践，军事装备的生产者也很少会为其生产有缺陷的产品而向受损害的平民负责。如在美国boyle v. united technologies corp.案中，联邦最高法院判定，“不能对军事装备的设计缺陷追究责任”。因此，虽然在理论上不会有太多障碍，但追究生产者的侵权责任在现实层面不具有可行性。操作员责任
dodd 3000.09要求操作ai武器的人应当“按照战争法规、相关条约、武器系统安全规则和交战规则，适当谨慎行事”。因此，在战场环境下，ai武器也就相当于操作员的交战武器，操作员将为其利用ai武器犯下战争罪行的行为承担刑事责任。譬如，某种ai武器无法区分平民和战斗员，而操作员却在平民和战斗员混杂的地方选择使用这种ai武器。
如上文所说，ai武器在遵守人道法方面的主要困难在于能否符合比例原则和区分原则的要求，因此，操作员可能利用ai武器违反的也主要是这两项规则。就比例原则而言，可能的情形是ai武器不具有对军事利益和攻击可能造成的损害进行权衡的能力或这方面能力有所欠缺，而操作员却放任ai武器完全自主地进行攻击。这种情形符合《规约》犯罪要件第8条第2（4）项，构成战争罪。但是区分原则的情形却不同，操作员不太可能利用ai武器对平民进行蓄意的直接攻击，但更可能是放任区分能力有欠缺的ai武器自主攻击，因此构成不分皂白的攻击。但是，“不分皂白的攻击”却没有被《规约》直接规定为犯罪。但是在galic案中，icty认为，不分皂白的攻击等同于对平民的攻击。而在各国的国内法中，部分皂白的攻击也被普遍规定为犯罪行为，因此，由于icc可适用的法律包括了视情况适用可予适用的条约及国际法原则以及一般法律原则，利用ai武器进行不分皂白的攻击也可以构成《规约》所制裁的国际罪行。
在心理要件上，仅是知道可能造成平民伤亡不足以构成《规约》所要求的明知，需得操作员能够瞄准可攻击目标却故意不瞄准才能符合对行为结果“明知”的要求。而在“故意”方面，icty的判例表明，使用可能伤害到平民的射击精度较低的武器即显示出攻击平民的意图。因此，操作员放任不具备区分能力或区分能力有欠缺的ai武器自主攻击也具备《规约》要求的心理要件。
综上所述，对操作员利用ai武器进行的违反人道法的行为进行归责在目前的国际刑法框架下是可行的。
2.指挥官责任
指挥官需承担责任的情形有两种，一是指挥官下令下级使用ai武器犯罪，二是指挥官未能有效指挥和控制其部队而致使部队犯罪。前者承担的是《规约》第25条规定的个人刑事责任而后者才是承担第28条规定的指挥官责任，即由上级对下级所犯的违反国际人道法的罪行负刑事责任，这在性质上是一种间接责任。
根据判例和《规约》，上级承担指挥官责任有如下构成要件：
第一，上下级关系的存在。《规约》区分了法律上的（de jure）指挥关系和事实上的（de facto）指挥关系，二者区别在于是否有官方授权。但是，上下级关系的根本标准仍在于控制关系，对此，icty的判断标准是上级能对下级的行为进行“有效控制”（effective control）。而icc则对控制的时间也做了要求，即指挥官的控制与犯罪行为之间存在时间上的重合。
第二，指挥官知道犯罪即将被实施或已经被实施。对此，《规约》区分了两种情形：对于军事指挥官或具有军事指挥官身份的人来说，“理应知道”就满足这一心理要件；而对于并非军事指挥官但却能控制下级行动的人来说，需得其确实知道或“故意不理会明确反映这一情况的情报”，因此证明标准更高。
第三，指挥官未能采取合理措施防止或惩罚这些行为。这一要求表明，《规约》并非因指挥官未能阻止犯罪行为的发生，而是因其未尽到“控制责任”而对其进行非难，譬如在安排任务时考虑到下级的年龄、经验等因素。因此，如果指挥官在安排战斗员操作ai武器的任务时，如果没有考虑到操作员的技术水平（譬如安排对ai武器性能不了解的人进行操作），或者没有适时地进行视察，或者在操作员犯罪之后没有对其进行惩罚，均满足这一要件的要求。
上述讨论表明，指挥官责任并非是对ai武器犯罪的直接控制，而是通过惩罚指挥官的不作为，间接控制潜在的操作员利用ai武器从事的犯罪行为，因此，在归责方面，操作员应是归责的主体，而指挥官责任只是一种辅助。
需要指出的是，一部分学者所谓的指挥官责任实际上是将操作者和ai武器的关系拟制为上下级关系。这一思路的问题有两点：首先，它忽视了指挥官责任的间接责任性质，操作员承担指挥官责任的前提是ai武器从事犯罪行为，而ai武器无法具备《规约》所要求的心理要件，也就无法成立犯罪，更不会有指挥官责任了；其次，对指挥官非难的前提是指挥官可以控制或惩罚下级的行为，但是操作员无法惩罚一个机器，而由于操作员只负责操作，并非ai武器的设计者，也不能期望操作员细致了解ai武器的算法，因此操作员对ai武器的控制能力要取决于ai武器设计者设计的算法，因此其所应承担的控制责任也会被极大削弱，这不利于对犯罪的控制。所以，将操作员与ai武器拟制为上下级的思路并不可取。
（二）国家责任
一国的国际不法行为将引起该国的国家责任。一行为构成国际不法行为要求该行为依国际法归于该国并且该行为构成对国际义务的违背。《国家责任条款草案》对可归因于国家的情形做了详细的描述。因此，如果ai武器由国家机关或者在国家指挥或控制下行动的实体操纵，这些机关的行为将会被归因于国家。在tadic案中，icty即认为国家对其武装力量具有“全面控制”，因而其行为应归因于国家。《第一附加议定书》同样申明，武装冲突一方应对组成其武装部队的人员所从事的一切行为负责。国家或者作为ai武器研发、生产、装备的组织者与决定者，有义务确保ai武器的设计符合人道法的要求，或者在ai武器由私主体研发的情况下作为装备的采购者，有义务对武器进行审查。因此，如果国家未能遵守这些义务而导致ai武器发生损害，应当承担国家责任。
在承担责任的方式上，《第一附加议定书》要求冲突方予以补偿，《国家责任条款草案》也提供了这一责任承担方式。由国家进行补偿弥补了个人责任下民事责任难以追索的缺陷。一方面，国家责任不涉及主观评价，因而是一种严格责任，相比于个人刑事责任，更利于遏制ai武器的滥用与误用；另一方面，相比于生产者，国家也有足够的财力来补偿受害者。
综上所述，除了生产者责任在理论和实践上都有难以克服的障碍，归责于操作员、指挥官和国家均为可行。有学者认为，国家责任相较于个人责任更为优越，因为国家是决定ai武器军事化应用的主体，国家责任促使国家权衡使用ai武器的损益，也激励国家增加军队在使用ai武器时的限制。另一部分学者则认为，个人责任更适合当下现状，因为其避开了确定国家责任时的推诿扯皮，也不会遇到对国家进行强制执行的困难。笔者认为，个人责任与国家责任不宜偏废。一方面，个人责任只是个别化的打击，而对ai武器进行控制应当在国家层面进行，个人责任无法给予国家控制ai武器的心理激励；另一方面，过分强调国家责任将使得受到武装冲突影响的平民的愤怒施加于参与武装冲突的国家，这也是导致国际恐怖主义的重要原因。因此，这两者应当结合起来，才能有效地控制ai武器。
结 语
作为新技术在战争中投射的产物，在技术成熟之前，一个确定的界定似乎是不容易得到的。因此，保持法律对这一新事物的广泛调控能力，基于其核心功能的特征式定义更具有优势。在这一定义下，ai武器并不具有先天的非法性，决定ai武器合法性的关键在于其能否符合既有的战争法规则的要求，因此，不应当完全禁止ai武器的发展（事实上也是不可能的）。目下，完全自主的ai武器在技术上无法实现，而机器本身的容错性决定了即使其足够智能，也有违反国际人道法之虞。因此，有效的人类控制是ai武器符合国际法的必不可少的要件。在这一前提下，国际人道法的各项规则都可以通过人类控制或介入或算法实现。在ai武器的归责方面，现有的国际法框架，即个人责任和国家责任的结合，也足以解决利用ai武器违反人道法规导致的责任问题。当然，非国家行为体和流氓国家（rogue states）的存在也阻碍着责任的追究，但这并非是由于ai武器的发展导致的，而需要对国际问责机制做出调整。
事实上，正如技术中立原则所倡导的那样，技术本身不具有合法性，而是对技术的使用方式可能突破法律的底线。而ai武器相应技术的领先者基本也是军事大国，因此，具有高度自主性的ai武器的出现几乎是一件必然的事。国际法无法阻止这一天的到来，而要看到，也正是这些引发人们思考、质疑甚至排斥的新事物的出现，一步步地推动着规则的逐步完善，正如前人所说，“战争是一把可怜的凿子，用来雕刻我们的未来”。
上观号作者：上海市法学会