读浪潮将至02遏制问题

1. 报复效应

1.1. 艾伦·图灵和戈登·摩尔不可能预见、更不可能左右社交媒体、表情包、维基百科或网络攻击这些新生事物

1.2. 在原子弹问世几十年后，原子弹的制造者已无法再阻止核战争爆发，就像亨利·福特无法阻止车祸发生一样

1.3. 技术所面临的必然的挑战在于，一旦某项发明问世并融入世界，其创造者就会迅速失去对其发展走向的控制

1.4. 技术存在于一个复杂且动态的系统（现实世界）中，其二阶、三阶乃至更高阶的影响会以不可预测的方式扩散

1.5. 我们不仅要预测技术带来的积极溢出效应，还要预测其“报复效应”​

• 1.5.1. 任何技术都有可能出错，而且往往是以一种与初衷背道而驰的方式出错

• 1.5.2. 处方阿片类药物如何导致依赖成瘾

• 1.5.3. 抗生素的过度使用如何削弱了其药效

• 1.5.4. 卫星和所谓的“太空垃圾”碎片的激增如何给太空飞行带来极大风险

1.6. 当技术不断扩散，越来越多的人能够使用、修改，并按自己的喜好来塑造它时，这会触及一连串错综复杂、难以预料的因果链条

• 1.6.1. 随着我们的工具的力量呈指数级增长，普及程度急剧攀升，它们的潜在危害也在同步激增，其后果仿佛一个复杂难料的迷宫，无人能预测或防范

• 1.6.2. 技术的这一问题是一个遏制问题

  • 1.6.2.1. 彻底消除这个问题可能难以实现，但我们可以减少它的影响

  • 1.6.2.2. 遏制是一种至关重要的能力，涵盖了控制、限制以及必要时在技术的任何发展或部署阶段关闭技术的能力

  • 1.6.2.3. 意味着我们一开始就应具备阻止技术扩散的能力，从而遏制潜在意外结果的蔓延，无论这些结果是好是坏

1.7. 技术的力量越强大，它就越是深入生活和社会的方方面面

• 1.7.1. 技术的问题往往会随着技术能力的提升而加剧，所以随着时间的推移，遏制的需求也变得更加迫切

1.8. 在大多数情况下，遏制代表着一种富有意义的控制，表示我们有能力阻止特定的使用案例、改变某个研究方向或拒绝有害行为者的使用权限

• 1.8.1. 意味着我们要保持我们引导浪潮的能力，以确保技术的影响与我们的价值观相契合，能助力我们这个物种的繁荣发展，并且不会带来大于其益处的重大危害

2. 遏制是基础

2.1. 技术并非敌人，而是人类社会的一种基本属性

2.2. 要实现对技术的遏制，我们需要一个更深层次的方案，这一方案无关竞争方之间的力量平衡，而在于人类与工具之间的力量平衡

2.3. 遏制涵盖了监管、技术安全提升、治理和所有权模式的创新，以及问责制和透明度的新机制，这些都是实现更安全的技术的必要（但非充分）条件

2.4. 遏制如同一把统领性的锁，将尖端工程、伦理价值观和政府监管紧密联系在一起

2.5. 不应将遏制视为解决所有技术问题的终极方案，而应将其视为第一步和关键的一步，它是人类未来所依存的基础

2.6. 遏制应被视为一套相互关联、相互增强的技术、文化、法律和政治机制，其目标是在技术呈指数级增长的时代里，保持社会对技术的驾驭力

2.7. 技术遏制是指在实验室或研发设施中进行的一些操作

• 2.7.1. 技术遏制还包括国家和国际层面的法律机制

• 2.7.2. 在任何特定社会中，技术总是与其法律、习俗、规范、习惯以及权力和知识结构紧密相连，所有这些方面都必须得到妥善处理

3. 说不​？

3.1. 当印刷机在15世纪风靡欧洲时，奥斯曼帝国却采取了截然不同的态度，它试图禁止印刷

• 3.1.1. 直到1727年，也就是印刷机发明近3个世纪后，这座城市才终于拥有了第一台经官方许可的印刷机

• 3.1.2. 长期以来，历史学家将奥斯曼帝国的这种技术抵制视为早期技术民族主义的经典案例，它展现了一种有意识地对现代性持否定态度的保守立场

3.2. 国家一开始可能会拒绝技术，但随着技术成本的降低和普及程度的提高，它们不可能永远说“不”​

• 3.2.1. 不应认为技术传播是轻而易举的

• 3.2.2. 技术传播必须与既得利益、既定知识以及那些同时牢牢掌握两者的群体进行斗争

3.3. 浪潮一旦站稳脚跟，其势头便几乎无法阻挡

• 3.3.1. 大量新的技术不断涌现，而旧的则不断被淘汰

3.4. 在一次次的技术浪潮中，我们见证了火的使用被蜡烛和油灯替代，随后煤气灯和电灯泡又取代了它们，如今LED灯则成为主流

• 3.4.1. 正如电力替代了蜡烛和蒸汽机一样，智能手机也取代了卫星导航仪、照相机、个人数字助理、电脑和电话，并开创了全新的应用程序体验

3.5. 技术犹如一根诱人的胡萝卜，始终在我们眼前晃动，不断承诺着更多、更好、更便捷、更实惠的前景

4. 核技术

4.1. 与更广泛的技术传播的历史模式相比，核武器并未无休止地扩散

4.2. 核武器在战争期间仅被引爆过两次

4.3. 人类历史上记录的最大爆炸就是氢弹爆炸试验，那是一枚被称为“沙皇炸弹”的氢弹，1961年，它在巴伦支海的一个偏远群岛上空被引爆，爆炸形成了一个直径3英里的火球和一个59英里宽的蘑菇云

• 4.3.1. 这次爆炸的威力是二战中使用的所有常规zha药总和的10倍，其规模令所有人为之战栗

• 4.3.2. 从遏制技术的角度看，氢弹试验可能实际上帮助了人类

4.4. 核技术的遏制并非偶然，而是由核大国有意实施的防扩散政策所致

• 4.4.1. 核武器制造过程的极端复杂性和高昂成本也起到了辅助作用

4.5. 直到2019年，美国的指挥控制系统才摆脱了20世纪70年代的硬件和8英寸软盘，完成了升级

• 4.5.1. 世界上最先进、最具破坏力的武器库所依赖的技术竟然如此老旧，对今天的大多数人来说，它们恐怕是极其陌生（且无法使用）的

4.6. 核武器是历史上受到最严格遏制的技术之一，但是即便从最单纯的字面意义来看，核武器的遏制问题也远未得到解决

• 4.6.1. 大量核材料下落不明，它们原本属于医院、企业、军队，甚至可能不久前来自切尔诺贝利

• 4.6.2. 微小的硬件故障也可能引发巨大的风险

5. 技术动物

5.1. 人类总是有充足的理由来抵制或限制技术

5.2. 技术的历史虽然是让人们取得更多成就、提升能力、改善福祉的历程，但它并非只有积极的一面

• 5.2.1. 技术不仅带来了更精良的工具，也制造了更致命、更具破坏力的武器

• 5.2.2. 新技术能够引发人们的不安，威胁社会稳定，还会带来陌生和侵犯感

6. 智能技术

6.1. 通用人工智能中的“通用”指的是这项技术预期覆盖的范围广阔

6.2. 围棋

• 6.2.1. 围棋是一项起源于中国的古老棋类游戏，两位对弈者在19×19的棋盘上分别执黑、白棋子进行对局，目标是用自己的棋子包围对方的棋子，当对方的棋子被完全包围时，这些棋子就会被拿走

• 6.2.2. AlphaGo最初是通过观摩人类专家对弈的15万场比赛进行学习的

  • 6.2.2.1. 人工智能发现了数千年来最杰出的棋手都未曾想到的策略

• 6.2.3. AlphaZero，完全摒弃了对现有人类知识的参考，系统只是简单地自我训练，与自己进行数百万次对弈

  • 6.2.3.1. AlphaZero仅通过一天的训练，就能够掌握比整个人类经验所能传授给它的更多的围棋知识

7. 从原子到比特再到基因

7.1. 直至最近，技术的漫长历史都可以被一句话概括：人类对操控原子的不懈探求

• 7.1.1. 从火到电，从石器到机床，从碳氢化合物到药物，无不体现这一点

• 7.1.2. 随着这种掌控的精确度日益提升，技术也呈现出越发强大和复杂的态势，从而催生了诸如机床、电气工艺、热力发动机、塑料等合成材料，以及能够抗击重大疾病的复杂分子

• 7.1.3. 所有这些新技术的核心驱动力都是物质，源于人类对原子元素操控需求的不断增长

7.2. 信息能以二进制形式编码，还能以DNA的形态成为生命运转的核心

• 7.2.1. 那些由1和0组成的序列，或是DNA的碱基对，远不只是数学上的奇观

• 7.2.2. 起初是比特，而后基因的潜力越发显现，这两者已逐渐取代原子，成为技术发明的新基石

7.3. 比特革命和基因革命，这两场革命都建立在信息的基础之上，并在前所未有的抽象和复杂维度上运作

7.4. 即将到来的技术浪潮主要建立在两大通用技术之上：人工智能和合成生物学

• 7.4.1. 既能在最宏大的层面上运作，也能深入最微观的层面

• 7.4.2. 是人类技术生态系统的核心组件首次直接触及人类世界的两个基本属性：智能和生命

7.5. 曾经对技术封闭的领域正在打开

• 7.5.1. 人工智能让我们能够复制语音和语言、视觉和推理

• 7.5.2. 合成生物学的基础性突破使我们能够对DNA进行测序、修改，现在甚至能打印

• 7.5.3. 人工智能和合成生物学是即将到来的浪潮中的核心通用技术，但同时围绕它们的还有一系列具有异常强大影响力的技术，包括量子计算、机器人技术、纳米技术以及潜在的丰富能源等

7.6. 精确操控原子的能力促成了硅晶片的发明，硅晶片则带来了每秒万亿次计算的实现，而这一成就又使我们得以破译生命的密码

7.7. 这一浪潮将比历史上任何一次都更难以遏制，它触及了人类世界的根本，影响更加深远