1. 愚蠢的、情绪化的人类

1.1. 与完美理性所设定的不可企及的标准相比，我们都是极其愚蠢的，我们受制于各种情绪的起伏，这些情绪在很大程度上支配着我们的行为

1.2. 为了充分了解人类的认知，我们（或者更确切地说，我们的有益机器）可以对人类行为进行“逆向工程”，以获取深层的潜在偏好，直到这些偏好出现

1.3. 机器可以轻松模拟其他机器，但不能模拟人

1.3.1. 它们不太可能很快获得完整的人类认知模型，无论是通用的还是针对特定个人的

1.3.2. 即使是临时的不完全的答案，对于旨在辅助人类日常生活的各种智能系统来说也是非常有用的

1.4. 从实践的角度来看，观察人类偏离理性的主要方式，并研究如何从表现出这种偏离的行为中学习偏好是有意义

1.5. 人类和理性实体之间的一个明显的区别是：在任意给定的时刻，我们都不是在开启所有可能的未来生活的所有可能的第一步中进行选择，甚至还差得很远

1.6. 人类行为的另一个明显特征是，它们常常是由情感驱动的

1.6.1. 神经科学家已经开始掌握一些情绪状态的机制，以及它们与其他认知过程的联系，并且在检测、预测和操纵人类情绪状态的计算方法方面做了一些有用的工作，但还有更多的东西需要学习

1.6.2. 在情感方面，机器也处于劣势：它们无法对体验进行内部模拟，以查看会产生何种情绪状态

1.6.3. 情绪除了会影响我们的行为，还揭示了关于我们潜在偏好的有用信息

1.6.4. 人们应该有可能创建出人类情感状态的基本模型，从而足以避免根据行为推断人类偏好时出现的最严重的错误

2. 不确定性和错误

2.1. 人类有一个明显的特点，那就是并不总是知道自己想要什么

2.2. 偏好的不确定性至少有两种

2.2.1. 第一种是真实的、认知上的不确定性

2.2.2. 第二个问题来自计算能力的限制：对于面前摆着的两盘围棋棋局，我不确定我更喜欢哪一盘棋局，因为无论哪一盘棋局我都无力下赢

2.2.3. 不确定性也源于这样一个事实，即呈现在我们面前的选择通常不是完全明确的，有时非常不完全，它们甚至根本不具备资格成为一项选择

2.3. 思想实验当然不可能在实践中进行，但人们可以想象，在许多情况下，在每一部电影的所有细节都被填充并被充分体验之前，一个清晰的偏好就已经出现了

3. 经验和记忆

3.1. 丹尼尔·卡尼曼

3.1.1. Daniel Kahneman

3.1.2. 其在行为经济学方面的研究获得了2002年的诺贝尔奖

3.2. 经验自我是快乐测量仪度量的自我，19世纪英国经济学家弗朗西斯·埃奇沃思（Francis Edgeworth）把快乐测量仪想象成“一种理想的完美仪器，一台心理物理机器，可以精确地根据意识的判断，不断记录一个人体验到的快乐的程度”

3.2.1. 根据享乐效益主义的说法，任何经验对一个人的整体价值只是经验中每一刻享乐价值的总和

3.2.2. 事实是，没有任何定律要求我们在不同经验之间的偏好是由不同时刻的享乐价值总和来定义的

3.3. 当人们需要做决定时，记忆自我才是“负责人”

3.3.1. 记忆自我基于以前经验的记忆和它们的可取性选择新的经验

3.3.2. 卡尼曼的实验表明，记忆自我与经验自我有着截然不同的想法

3.3.2.1. 记忆自我“只是犯了一个错误”，选择了错误的经验，因为它的记忆有缺陷且不完整

3.3.2.2. 记忆自我不仅评估经验本身，还通过它对未来记忆的影响，来评估它对未来生活价值的总体影响

3.3.2.3. 记忆自我而非经验自我是对将要记忆的内容的最佳评判

4. 时间和变化

4.1. 随着人类文明的进步，道德标准显然会随着时间的推移不断演变

4.1.1. 你如果愿意，也可以说是堕落

4.1.2. 反过来又表明，我们现在对待动物的幸福的态度可能会让我们的后代十分反感

4.1.3. 负责实现人类偏好的机器能够随着时间的推移对这些偏好的变化做出反应，而不是一成不变

4.2. 随着历史的推移，人类群体的典型偏好可能会发生变化，因此我们自然会将注意力集中在每个人的偏好是如何形成的，以及成人偏好的可塑性问题上

4.3. 偏好变化对个人和社会层面的理性提出了挑战

4.3.1. 偏好并非不可触碰，而是随时都会被一个人的每一次经历所触碰和修改

4.3.2. 机器会不由自主地修改人类的偏好，因为机器会改变人类的经验

4.4. 偏好升级可以填补自我认知的空白，或许还可以为先前拥有的微弱且暂时的偏好增加确定性

4.5. 偏好改变并不是一个过程，不是“关于一个人的偏好实际上是什么”的额外证据

4.6. 偏好改变是存在问题的

4.6.1. 我们不清楚哪些偏好应该在做决定时起主导作用

4.6.2. 似乎没有明显的理性基础来改变（而不是更新）一个人的偏好

4.7. 一个有用的机器人助手的存在，很可能会对人类的偏好产生影响

4.7.1. 一种可能的解决方案是让机器学习人类的“元偏好”，即关于哪种类型的“偏好改变过程”可以接受或不可接受的偏好

4.7.1.1. “偏好改变过程”，而不是“偏好改变”

4.8. 并非所有中性偏好都是可取的

4.9. 我们目前还不清楚“行为改变方法”是否真的只是在改变行为

4.9.1. 如果当助推被去掉时，改变后的行为持续存在（这可能是此类干预的预期结果），那么个体的认知结构（将潜在偏好转化为行为的东西）或个体的潜在偏好就会发生变化，看起来很可能二者兼而有之

5. 有益的机器

5.1. 如果我们成功地创造了可证明有益的人工智能系统，那么我们将消除超级智能机器失控的风险

5.1.1. 以这种方式设计的机器会顺从人类：它们会征求许可；当指令不明确时，它们会谨慎行事；而且它们会允许自己被关掉

5.2. 我们站在那个黄金时代的制高点回顾我们现在的生活，我们现在的生活就会显得像英国哲学家托马斯·霍布斯（Thomas Hobbes）想象的没有府政的生活一样：孤独、贫穷、肮脏、野蛮又短暂

5.3. 如果外部提供的目标可能是错误的，那么机器表现得似乎总是正确的就没有任何意义

5.4. 随着我们在其他环境中获得更多的经验，我预计我们会对机器与人类交互时的行为范围和流畅性感到惊讶

5.5. 府政的明显缺陷是：过度关注府政员官的偏好（财政和治政上的偏好），而对被统治者的偏好关注太少

5.5.1. 偏好本应可以通过选举传达给府政，但对于如此复杂的任务，府政的“带宽”似乎非常小（大约每隔几年才得到一个字节的信息）

5.5.2. 在大多数家国里，府政仅仅是一群人把自己的意志强加给其他人的一种手段

5.6. 公司则不遗余力地了解客户的偏好，无论是通过市场调查还是以购买决策的形式直接反馈

5.6.1. 通过广告、文化影响甚至化学物质上瘾来塑造人类的偏好，也是被接受的经商方式

6. 对人工智能的治理

6.1. 人工智能有重塑世界的能力，而对重塑的过程，我们必须以某种方式加以管理和引导

6.2. 人工智能与核技术的情况截然不同

6.2.1. 1957年，国际原子能机构开始运转，它是全球唯一的监督核能安全与有益发展的机构

6.2.2. 很多家国手里都掌握着人工智能

6.2.2.1. 可以肯定的是，很多家国都资助了大量人工智能研究，但几乎所有的研究都发生在安全的家国实验室之外

6.2.2.2. 现在大部分人工智能研发投资都发生在大大小小的公司里

6.2.2.3. 除了腾讯和阿里巴巴，其他所有公司都是“人工智能合作伙伴组织”的成员

6.2.2.3.1. 这是一个行业联盟，其宗旨之一是承诺在人工智能安全方面进行合作

6.2.2.4. 尽管绝大多数人几乎不具备人工智能方面的专业知识，但参与者至少有一种表面上的意愿，即愿意考虑人类的利益

6.3. 掌握着大部分人工智能技术的玩家

6.3.1. 它们的利益并不完全一致，但它们都有一个共同的愿望，即随着人工智能系统变得更加强大，它们都希望保持对人工智能系统的控制

6.4. 对人工智能的治理至少具备发展的潜力

6.4.1. 针对用户隐私、数据交换和避免种族偏见等问题的协议、规则和标准开始出现

6.4.2. 有一个共识是，如果人工智能系统是可信的，那么人工智能决策必须是可以解释的，这一共识已经在欧盟的GDPR条例中得到部分实施

6.4.3. 可解释和模仿问题，无疑与人工智能的安全和控制问题有关

6.5. 软件供应商可以提出额外的模板，只要他们能证明这些模板满足（当时定义良好的）安全性和可控性的要求

6.6. 从一个不受监管的世界过渡到一个受监管的世界将是一个痛苦的过程

6.6.1. 希望科技行业不需要切尔诺贝利事故那样（或者更糟糕）的灾难来克服行业的阻力

7. 滥用

7.1. 危险并不在于邪恶的计划会得逞，而在于这些计划也会因为失去对智能系统的控制而失败，尤其是那些满怀邪恶目标并可以使用武器的计划

7.2. 我们要使用我们自己的、有益的超级人工智能系统来检测和摧毁任何怀有恶意或行为不端的人工智能系统

7.2.1. 我们应该使用可用的工具，同时尽量减少对个人自由的影响，但是人类蜷缩在掩体中，完全无力抵挡超级智能所释放出的巨大力量的情景很难让人安心，即便其中一些超级智能站在我们这一边

7.2.2. 人们最好能找到方法，将恶意的人工智能扼杀在萌芽状态

7.2.3. 良好的开端是成功地、协调一致地开展打击网络犯罪的国际运动，包括扩展《布达佩斯网络犯罪公约》所涵盖的内容

8. 衰弱与人类自主

8.1. 地球上曾经生活过超过1 000亿人。他们（我们）已经花费了大约1万亿人年的时间学习和教学，才使我们的文明得以延续

8.2. 文明延续的唯一可能就是在新一代的头脑中进行再创造

8.2.1. 纸作为一种传播方式是不错的，但记录在纸上的知识在传到下一个人的头脑里之前，纸什么也做不了

8.3. 把我们的文明传给下一代的实际动机一旦消失，这个过程就很难逆转了

8.3.1. 大约1万亿人年的累积学习将会丢失

8.4. 机器可以理解人类的自主性和能力，这是我们的生活偏好中一个重要的方面

8.4.1. 机器很可能坚持认为，人类应该对自己的幸福保留控制权和责任，换言之，机器会说不

8.5. 公地悲剧

8.5.1. 对任何一个人而言，通过多年艰苦的学习来获得机器已经拥有的知识和技能似乎毫无意义，但如果每个人都这样想，那么人类将会集体失去自主性

8.6. 我们需要一场文化运动来重塑我们的理想以及对自主、能动性和能力的偏好，远离自我放纵和依赖

8.6.1. 了避免让糟糕的情况恶化，无论是在解决方案的设计上，还是在为每个人寻求利益均衡的实际过程中，我们可能都需要超级智能机器的帮助

8.6.2. 在某个阶段，孩子开始明白，父母完全有能力给他系鞋带，却选择不系

8.6.2.1. 这就是人类的未来吗，永远像孩子一样被超级机器对待？