方晓志

人工智能自诞生以来，理论和技术日臻成熟，正广泛运用到军事领域，在智能化信息感知与处理、指挥控制辅助决策、无人化军用平台和机器人等方面扮演着越来越重要的角色。这在催生新的战争样式、改变战争制胜内在机理的同时，也会挑战人类伦理与道德底线，产生涉及法律、道德、信任、技术等的一系列难题。

改写战争伦理道德标准

战争的原始本性就是杀生，一定会带来生命和财产的巨大损失，但无论是什幺样的战争，都要考虑作战伦理与道德，这方面是有明确国际法可循的。例如，根据1949年签订的《日内瓦公约》，任何战争都必须要对参与战争者和非参战者进行差别对待，不可屠杀平民，不可杀害俘虏等。

但随着人工智能技术的不断发展，这些传统的战争伦理与道德标准正面临巨大挑战。首先，战争责任的认定受到冲击。在传统的正义战争理论中，人类作为唯一的责任主体，相关责任方是相对比较明确的，往往由战争的发起者和实施者负主要责任。但在智能化战争中，战争责任的认定将面临前所未有的困难。例如，高度智能化的无人装备能否承担战争责任，在智能武器研制、生产、装备与应用的过程中，可能涉及的操控者、军火商、程序员、采购员、战地指挥员及相关维护人员，他们的责任追究是否有明确规定，因无人智能作战引发的非正义军事行为如何进行责任追究，都是难以解决的问题。

此外，在未来智能化战争战场上，绝大多数作战任务都将交由战斗机器人来完成。一旦这些机器人取代人类成为未来战争的决策者，人道主义原则的执行可能面临诸多挑战。根据战争法规定：冲突各方必须避免不必要的破坏并避免给对方带来不必要的伤痛；必须善待平民、受伤与无作战能力和被俘的军人。而机器人虽然有人工智能，但却没有怜悯或悔恨等情感，即使杀人也没有任何的愧疚感。一旦这群毫无感情、不知疲倦杀人的机器人智能化超过一定程度，并被人类授予了“开火权”，会不会漠视甚至践踏人类奉为最高价值的生命和尊严，自作主张，滥杀无辜，将战争变为单纯的屠杀，成为《战争论》中所提出的“绝对战争”，都是未来军事智能技术发展必须思考的问题。

易于失控造成灾难性后果

实际上，人们对于智能技术发展可能会导致机器失控的担忧，从命名伊始就初见端倪。机器人的英文单词是“Robot”，最早由捷克作家卡雷尔·恰佩克在其科幻作品中首创，原意是“农奴式被强迫的劳动者”，并借此称呼那些可能会造反的机器仆人。而在1991年出版的《无人战争—未来战场上的机器人》，也对军用机器人使用后的失控问题提出了严肃的思考。

从理论上讲，武器装备的智能化程度越高，其内部电脑控制软件的规模就愈加庞大和复杂，出现故障的概率也就相应越高，极有可能出现失控问题。目前，在复杂战场环境下，智能武器由于受到电磁干扰、识别错误、通信降级等诸多因素干扰，存在巨大不稳定性和风险性。各种人为错误、机器故障、环境扰动等因素都可能使得系统失去战斗效力。而且，如果对手通过恶意代码、病毒植入、指令篡改等手段攻击拥有高度智能的无人作战系统或武器装备，还将导致战术失利，甚至带来灾难性的后果。

2005年，美国空军的一架战斗机突然自动向地面重要设施发射了一枚导弹，其原因是飞机上火控系统的电脑出了故障，无法准确判断而产生的战场失控。2015年7月，美国一台“发疯”的机器人也曾“失手”将一名装配工人杀死。此外，战场上的敌我识别对智能武器而言同样并非易事，甚至可能在遭受敌电磁、网络攻击后出现“临阵倒戈”的问题。例如，在伊拉克战争期间，美军的导弹系统就曾因为无法准确判断，把己方飞机击落。

此外，随着相关技术的不断发展，人工智能在某些领域超越人类已是不争的事实，人类对于智能机器的控制也越来越难。例如，随着“机器人”智能化水平的不断提高，未来很有可能不愿意再接受“自然人”的控制，并由此与“自然人”发生矛盾冲突，而一旦失控，则很有可能造成灾难性后果，甚至完全脱离人类控制而实现自主攻击，就像电影《终结者》中所描述的那样，与“自然人”爆发生死大战，并最终取代“自然人”的地位成为“人类终结者”。这将是人类面临的重大挑战，也是对人类命运的最大考验。

未来必须掌握“主动权”

随着计算机技术、信息技术与传感技术的快速发展，人工智能的军用发展迎来了新一轮机遇期，开始呈现井喷式发展。在当前信息化战争不断深化的背景下，未来人工智能与战争技术的深度融合，将是不可避免的发展趋势，而高度智能化的武器会改变传统战争模式形态，甚至会导致人类文明史终结的想法，也并非“杞人忧天”，而是一个值得我们高度重视的问题，有必要未雨绸缪、早做准备。

从人类创新发展智能化武器的目的来看，主要是用于减少伤亡，而不是威胁和挑战人类自我的主导地位。因此，在发展人工智能武器体系时必须设定一条底线，那就是不能威胁到整个人类的生存。一方面，在编写智能武器控制软件中加入相关控制程序，对智能武器的攻击目标和攻击方式进行明确限制，牢牢控制智能武器的“思维”；另一方面，在高智能武器出厂启用前，提前设置“后门”式自毁模块，可在人类需要情况下实现智能武器的彻底死机或自行报废，从而避免出现人类被完全排斥在“战争回路”之外而束手无策的情况。

也要自信，战争的决定因素仍然是人，人的主观能动性仍是智能化战争胜负的关键。人工智能并非万能，也无法完全取代人类决策，特别是在复杂多变的动态环境中，人工智能的认知能力还远逊于人类。人工智能作为个别技术领域的突破，不过是人类智能的延伸，无法取代人类智能的支配地位。在未来智能化战争中，无论战斗机器人系统如何高度智能化，人作为战争的主导因素始终没有改变，改变的只是人与战斗机器人的战场协作方式。人工智能武器带给人类的究竟是威胁还是发展，关键在于如何利用。只要牢固确立人类是人机关系主导者的思想，始终处于“观察—判断—决策—行动”的战术循环过程中的核心地位，使得智能武器按照人类预先编程设想作战，牢牢掌握智能武器的“开火权”，实现对人工智能安全的有效控制，就能避免人工智能武器产生的一系列挑战问题，让其为人类和平福祉服务，而不是成为“恶魔的帮凶”，甚至“恶魔”本身。

（作者为国防科技大学国际关系学院副教授）