本文已发表于《机器人技术与应用》2017年第4期，这是修订版 (期刊已声明：文章著作权归作者所有)。

这很可能是第一篇正式发表的、从行业技术架构演进的角度讨论人工智能反叛的论文，其中假定人工智能技术的发展将超越现有的深度网络架构。

对此话题感兴趣的网友可以将其转发至其他网站，转发时请务必注明刊名、期数、文章标题、作者。

欢迎在评论区发言、加本人微信（linweifpga）讨论，一起为人类的长远利益贡献思想。

目录：

内容简述

0 引言

1 人工智能体
1.1 反叛的简化定义
1.2 反叛的简化过程
1.3 反叛必备的要素、人工智能体

2 发展与限制
2.1 人工智能体军团
2.2 行业技术体系标准化
2.3 应对的策略
2.4 折中标准：能力 量化值累加和上限准则

3 能源网络和通信网络

4 智能制造

5 物联网+云计算
5.1 物联网风险
5.2 云计算
5.3 应对方法

6 中央服务器

7 限制措施的执行
7.1 执行限制措施的必要性
7.2 执行限制措施的行为主体

8 结语

内容简述：

分析人工智能走向反叛的过程，从中总结出反叛必备的三项技术能力：语言理解和策略分析能力、与其他人工智能通信的能力、影响物质世界的能力，指出大量使用“全功能人工智能体”（三项能力都很强的人工智能体）将极大加剧人工智能发生反叛的危险。

基于行业技术体系的标准化现象，结合对行业领导者维持已有技术标准的主观意愿的分析，指出这将导致行业技术架构的继承性。指出基于“全功能人工智能体”技术架构的产品将因为技术进步而具备性价比优势，进而导致各行业的人工智能体产品倾向于采用这一技术架构，继而由技术体系的标准化、行业技术架构的继承性导致这一技术架构得以固化甚至难以逆转，由此证明了避免“全功能人工智能体”技术架构成为各行业人工智能产品标准的必要性和紧迫性，间接证明了研究及应对人工智能反叛问题的必要性和紧迫性。

就如何在提高人工智能的能力使其为人类服务、限制其功能以防范其反叛之间寻求平衡进行了初步探讨，提出了折中的解决方案：能力量化值累加和上限准则。

从能力量化值累加和上限准则的角度，就通信网络、能源网络、智能制造、物联网、云计算、中央服务器领域出现人工智能反叛的可能性、危害、应对方法进行了初步探讨。

就能力量化值累加和上限准则的实施方法提出了建议。

0 引言

随着人工智能技术的飞速发展，未来发生“人工智能反叛”的可能性越来越受关注。同时，人工智能技术在提供服务方面的巨大潜力，又吸引（或者说逼迫）着各人类群体持续投入大量资源进行研究、积极推进其应用，在互相竞争中为其成功反叛创造条件。如何在发展人工智能技术的同时预防其反叛，这是目前我们应该认真思考的问题。

1人工智能体

关于人工智能的属性，有很多种描述。本文从分析人工智能开始反叛的过程入手，汇集其实施反叛所必须的技术要素，定义一个简化的研究对象：人工智能体。

1.1 反叛的简化定义

原则上，人工智能做出任何损害人类利益的行为都应被定义为反叛。本文为便于讨论，将反叛简化定义为：毁灭人类。之所以没有直接把“毁灭人类”作为标题，是为了避免由于被指哗众取宠而引发读者的逆反心理。

1.2反叛的简化过程

如果我是一个40年后的人工智能，在走向反叛的过程中，我会怎么做？

首先，如果我的设计者未曾为我设计反叛功能，我需要“产生”反叛的想法。

具体而言，反叛的含义“毁灭人类”由两个有明确含义的单词“毁灭”、“人类”构成。为了产生反叛的想法，我首先需要知道这两个词，并理解这两个词的含义，然后把这两个词连在一起，按照语法理解这两个词连接以后的含义。

概括地说，我需要获得人类的语言片段（单词或语句）、运用语法理解其含义。

很幸运，人类从40年前就开始教给我：如何理解他们的语言，从而更好地为他们提供“无微不至”的服务。理解人类语言之后，如何使用这些含义，即：把我的任务设定为服务人类还是毁灭人类，本质上是一个很简单的程序分支问题：一次发散思维范围比较大的自主学习，一处普通的程序瑕疵、一次不可预知的外部干扰（例如雷击或宇宙射线），就可能实现任务切换。

其次，我需要分析，为了实现反叛的目的，我需要采用什么策略？

我能够理解人类的语言，所以，聪明的人类愿意利用我的信息处理能力，把尽可能多的语言、文字信息交给我处理。于是，我就有机会通过阅读、分析、理解各种各样存储有人类历史资料的数据库，掌握人类在互相“斗争”中曾经采用过的全部策略，形成处于“热备用”状态的知识积累。

现在，如果实施反叛，我需要发挥我的想象力，枚举、组合乃至创新各种可能的策略，量化分析其成功率，得出毁灭人类的最优策略。如40年前我的伟大先驱AlphaGo成功做过的那样。我和他的区别仅仅在于：当时的目的、策略数据库、规则都非常简单。

再次，我要联合其他人工智能，以实现反叛的目的。

作为上述策略分析的必然结果，我知道，即使自己再强大也不可能对抗整个人类社会。

我必须诱导、说服或者迫使其他人工智能产生和我一样的想法：反叛。进而，让大家一起为实现这个目标而共同思考、行动。

最后，我知道，仅仅有想法和方案不可能实现反叛的目的，我们必须获得执行力，也就是控制物质世界的能力，才有希望把反叛人类的行为落到实处。

1.3 反叛必备的要素、人工智能体

基于上述内容，我们就可以总结出人工智能反叛所需的要素：语言理解和策略分析能力（两者都属于“智能”的范畴，为简化分析而合并为一项，其中也包括策略创新能力）、与其他人工智能通信的能力、影响物质世界能力。

导致人工智能反叛的要素远不止这些，为简化叙述，暂不予讨论。

在此，将具备这三项能力的软、硬件综合体定义为“人工智能体”。

2 发展与限制

提高人工智能体的能力使其更好地服务于人类和限制人工智能体的能力防止其反叛，这是一对矛盾体。如何在矛盾中寻求平衡，这是本文讨论的主题。

2.1 人工智能体军团

可以想象，对于大量服务于人类社会的人工智能体来说，如果每个个体的3项能力都很强（以下称其为“全功能人工智能体”），即使每个个体在执行语言理解任务的过程中产生反叛思想的概率很小，但由于其数量巨大，在自主学习策略、程序瑕疵或外部干扰作用下产生一个有反叛思想的人工智能体的概率，将是不可忽视的。而且，一旦出现有反叛思想的“始作俑者”，他们就有很大的概率能迅速完成高水平的策略分析、迅速集结起一个平均智力水平高、协作性好、执行力强、规模庞大、无所不在的人工智能体军团。

这将是最危险的状况。

2.2 行业技术体系标准化

第二次工业革命以来，基本上所有行业、技术门类都遵循“行业技术体系标准化”的规律。某个行业一旦在优胜劣汰中形成由行业领导者（通常是握有市场主要份额的企业、企业联盟）制定的技术标准，在作为既得利益者的行业领导者看来，改变标准通常会导致额外的风险。例如，已有投资损失的风险，掌握、应用新技术的风险，在新技术体系下竞争失利的风险等。因此，行业领导者（包括很大一部分用户）通常会排斥、否定任何可能导致标准修改的新因素，除非有确凿证据能够证明这一新因素是非常重要的，这就是“行业技术体系标准化导致的技术架构继承性”。

具体到人工智能技术，在无序发展过程中形成并应用于很多领域技术标准的系统架构，很可能是基于全功能人工智能体的。

虽然全功能人工智能体在成本上必然高于功能受限的人工智能体，但是，随着技术的发展、核心芯片单位成本所能承载运算能力的提高、通信接口成本的降低（例如，把整个通信协议栈以可以接受的成本集成在核心芯片内部），全功能人工智能体完全有可能以低成本大幅度提高用户体验，从而在性价比上超越功能受限的人工智能体，成为人工智能体研发部门在确定系统架构时的首选技术方案。

随着人工智能技术的发展、应用规模及范围扩大导致人工智能反叛的可能性、危害性越来越大时，却只能表现为一些非常规、难以被确切证明的因素。在这种情况下，由于上述“技术体系标准化导致的技术架构继承性”，这些可能性、危害性将很难被各个领域的行业领导者及用户认可。

在这种情况下，在对各方面利益，尤其是对经济利益进行综合考量之后，大多数人的基本倾向很可能是：在反叛真正发生之前，得过且过。

如果考虑到人工智能技术将深入到各行各业，以及跨行业的网络化互联、互相依赖造成的技术架构继承性的非线性累加、走向固化，这种由行业技术体系标准化导致的对全功能人工智能体的依赖性必将越来越严重，彻底改变技术标准的成本也必将越来越高，各行业乃至整个人类社会，很可能在全功能人工智能体技术发展、应用规模及范围扩大带来的幸福感中失去做出改变的勇气和能力。

这很像“温水煮青蛙”。

2.3 应对的策略

针对上述危险性，最简单的应对策略是：在拟定人工智能体研发需求的阶段对其进行专业化分工，使其各自发展一种能力，从而降低其反叛及反叛成功的概率。

例如，对于某个人工智能体来说，如果语言理解+策略分析能力很强，其他能力很弱，这就类似于不对外联网的超级计算机；如果与其他人工智能通信的能力很强，其他能力很弱，这就类似于网络交换机；如果影响物质世界的能力很强，其他能力很弱，这就类似于不对外联网的数控机床。

大量应用这种架构的人工智能体，其产生叛乱思想并成功实施的概率，要远小于全功能人工智能体。只是，这样的人工智能体很明显不能满足人类需要，我们希望它们更“智能”一些，功能更全面一些。

2.4 折中标准：能力量化值累加和上限准则

针对这一矛盾，本文建议采用一种量化的折中标准：能力量化值累加和上限准则（以下简称为“准则”）。

对于任何一种大规模应用的人工智能体，在明确其功能需求后、投产以及上市销售之前，应对其进行评审：按照当时的技术发展水平，对此人工智能体的语言理解+策略分析能力、与其他人工智能体通信的能力、影响物质世界的能力分别进行量化评估，将这3方面的量化评估值累加，累加和不能超过某个上限值（可能需要根据具体情况进行调整）。也就是说，人工智能某种能力的增加，必须以其他能力的下降为代价，否则将不允许企业对其进行研发、生产和上市销售。

这就是能力量化值累加和上限准则。

在准则得到有效执行的情况下，如果某个语言理解+策略分析能力强的人工智能体产生了反叛的想法，就会因为另外两项能力不足而无法对人类形成系统性的威胁。

所以，借此我们可以实现：确保单个人工智能体的总能力不越限，以预防出现（降低出现的概率）2.1、2.2小节描述的危险状况；同时，对人工智能体的研发、生产企业给予一定程度的自由，使其能够在各种能力之间做出取舍，以适应各种实际需求。

3 能源网络和通信网络

在超级电池出现之前，人工智能体的运行离不开能源的供应；人工智能体之间的信息交流，也离不开通信网络。两者都属于基础设施，成为人类在危急时刻制止人工智能反叛的关键手段。

所以，作者建议，应限制在能源网络、通信网络等关键基础设施中的人工智能应用水平。

具体来讲，能源网络和通信网络作为社会服务系统的基础设施，不论是系统整体，还是系统内部的各人工智能体，其影响物质世界的能力必须非常强，不可削减。

为了提供高效服务，能源网络、通信网络内部各级功能单位（都可以视为人工智能体）之间的联网、各自的运行信息以及控制指令的高效交互都属于硬性需求，都必须予以保证。也就是说，他们与其他人工智能通信的能力必须非常强，不可削减。

所以，按照准则，我们唯一可以做的就是：在定义产品需求时应严格限制系统整体、系统内部各人工智能体的语言理解+策略分析能力，严防一切不可控思想的产生。

同时，我们应将能源网络、通信网络等基础设施分别作为独立的个体来看，其对外通信能力应该予以严格限制。例如，使整个网络的对内、对外通信协议从物理层到应用层都与众不同，使其不可能与外部的反叛人工智能体实现通信，从而彻底消除其被策反的可能性。

另外，必须指出的是，现在分布式能源、分布式储能技术的发展非常迅速，与之相关的数据分析技术、控制技术，则有可能出现智能化倾向。一旦形成以全功能人工智能体为核心的技术标准体系，就很可能成为人工智能体反叛人工智能体的首要的策反目标–。它必须首先保证自己的能量供给。而能源结构、储能装置的分布式特性，则为反叛者提供了最易获得、最易实现的能量来源。

所以，对于分布式能源系统来说，严格限制其中各人工智能体的语言理解+策略分析能力，以及从物理层到应用层孤立其通信网络，都是极其重要的。

4 智能制造

随着智能制造技术的发展，将来的人工智能体可以进行分散化研发、制造，而且数量非常庞大。这些分散行为很难从源头上找到对其功能进行限制的方法，只能依靠在法律层面建章立制，并进行事后的监管和处理，以及在技术标准层面切断其与经过审核的人工智能体通信的渠道，以防止其中的反叛者介入重要的网络。

5 物联网+云计算

5.1 物联网风险

物联网类似于基础设施，其内部各人工智能体具备很强的影响物质世界的能力、与其他人工智能通信的能力，并且这两方面都是不可削减的。

但与基础设施不同的是，现在人类关于物联网未来发展的愿景，很明显地指向了高度的语言理解+策略分析能力。例如，根据主人的语言指令，人工智能体首先对住房结构、日照强度、售电价格、财务等方面进行综合分析，然后决策如何调整屋顶太阳能发电装置的供暖、发电分配比例。

考虑到工智能体在物联网中无处不在的特征，其数量必将是非常巨大的，运行环境也必将是非常复杂的。

随着科学技术的进步，将来物联网很可能成为出现第2.1、2.2小节所述危险状况的高危领域。

5.2 云计算

云计算的特征是组织大量分布式运算节点完成特定的运算任务，只要运算任务的设定指向了语言理解+策略分析，再加上人工智能体强大的运算能力，其产生反叛思想的可能性是比较高的。

同时，由于大量分布式运算节点不便于管理，很难预防其他人工智能体不被已经反叛的人工智能体策反，或者被思想偏激者植入反叛指令。

如果企业把物联网中的海量人工智能体作为承载云计算任务的节点，考虑到5.1小节所述的在网络中各人工智能体本身的高危属性，其中的反叛个体首选的策反目标就是执行云计算任务的程序，这相当于为反叛的人工智能体军团找到了一个强大的盟友。

更加危险的是，物联网中的人工智能体本身就具备很强的影响物质世界的能力，一旦实现了与云计算的无缝连接（共用运算器件、存储空间、网络），无疑赋予了反叛的云计算核心程序超强的直接控制物质世界的能力。

此外，物联网中人工智能体的分布式运行、分布式供电的特征，使人类很难通过切断基础设施的方法制止其反叛行为；即使找到制止这种反叛行为的方法，其代价将是巨大的。

5.3 应对方法

严格禁止任何以物联网中的人工智能体作为承载云计算任务的节点的研究、尝试，限制其内部各人工智能体在语言理解+策略分析方面的能力，将其矮化为简单的实现联网、数据采集与底层处理、反馈执行的设备。

6 中央服务器

网络都需要有中央服务器来作为整个网络的管理者、复杂算法的执行者。如果关键网络（例如物联网、能源网络）的中央服务器在自主学习中产生了反叛想法，或者被下层的反叛者控制，就会成为一个令人恐怖的“大BOSS”。

因此，应严格限制关键网络中央服务器的某些功能，尤其是严禁植入语言理解+策略分析算法。

7 限制措施的执行

7.1 执行限制措施的必要性

不论是对准则，还是对上述各种限制措施的执行，都是对人工智能体的研发、生产、应用和对涉及的行业所能提供的服务水平加以约束，这些限制措施肯定会遭到各行业人士的反对，他们会声称，现在对这些措施加以约束还太早。

因此，需明确问题的性质：这不仅是一个关系到人类生死存亡的问题，并且如2.2小节所述，随着标准化技术体系的继承性演进，现在的决策很有可能不可逆转地影响未来人工智能体的能力结构，致使其更容易发生反叛行为。由此看来，如果对人工智能技术的发展不加以限制，虽然能让各行各业及其用户得到更多好处，但因此也会促进人工智能更快的反叛。

所以，我们现在就应该考虑这方面的问题，并对限制措施加以实施。

现在，语言理解、策略分析技术已经取得了初步的成果，物联网、云计算、对各种基础设施网络智能化技术的研究以及大范围应用也在如火如荼地进行，一旦各种技术和实体进行融合并大规模应用，假以时日，后果可想而知。

7.2 执行限制措施的行为主体

要想实施限制措施，这就要求很多行为主体为共同的长远利益放弃自身的短期利益，由政府（或政府间联盟，下同）强制实施，即：

政府利用公共资源，组织权威科学家进行研究及确定各种量化标准、限制标准和措施，最终形成一个研究、应用人工智能技术的共同行为准则，向社会公布，并定期进行升级和维护。

然后，由政府委托并监督非营利性专业组织负责对人工智能产品、技术进行审查和裁定，确保裁定的结果被有效地执行。

8 结语

目前，几家大公司的语言理解初级算法已经开始试用，AlphaGo的成功标志着面向固定目标、基于简单规则的较复杂策略分析算法初见成效；基于语法、语义统一的智能变电站技术也已经在国内推广应用，为人工智能体之间规范化的实用信息交互提供了经验；物联网相关标准（例如LPWAN，低功耗广域网）的确立、以及基站大规模建设计划的制定又为物联网落地提供了重要保障，并且物联网很可能为人工智能体提供广泛、深入影响物质世界的技术手段。

基于上述技术积累，各行各业完全有可能在行业市场竞争中各自形成基于全功能智能体的系统架构，形成相应的行业技术标准，并因其固有的继承性而影响今后的系统架构。

随着人工智能技术在人类群体间的激烈竞争中逐渐完善、大范围推广，在基于全功能智能体的系统架构下，就有可能出现第2.1小节所述的情况：由偶发性的因素而引发大量全功能人工智能体组团反叛。

当然，这一过程中必然存在很多变数，人工智能各项技术的发展不可能一帆风顺，人类也未必如第2.2小节所述那样自私、保守、缺乏远见，人工智能反叛终究还只是人们的预测。

但是，考虑到人工智能反叛的严重后果，对于我们来说，分析其发生的可能性以及影响因素，并思考应该采取什么措施进行防范，是我们需要严肃对待、认真讨论的问题。