1. 人工智能会出什么错

1.1. 一些报道是公正合理的，不过坦白地说，大部分报道都愚蠢得无可救药

1.2. 一些报道颇有知识性和引导性，而大部分则是杞人忧天式的恐吓

1.3. 滑稽的报道迎合了大众对人工智能的“终结者式恐惧”

1.3.1. 我们创造出怪物的想法绝不是现代才有的：它至少可以追溯到玛丽·雪莱的《弗兰肯斯坦》

1.4. 鼓吹人工智能“终结者式恐惧”真的会带来很严重的后果

1.4.1. 它让我们担心一些我们完全没必要担心的问题

1.4.2. 它让人们把注意力从真正应该关注的人工智能问题上转移开

1.5. 人工智能伦理

1.5.1. 人工智能系统充当道德智能体的可能性，以及已经提出的各种有关人工智能的伦理框架

1.6. 人工智能的一个特点，就是它们很容易出故障

1.6.1. 尽管还没到特别可怕的程度：如果我们想要一个人工智能系统代替我们工作，那么就需要跟它沟通我们想要的东西

2. 摩尔定律

2.1. 计算机处理器公司英特尔的联合创始人戈登·摩尔(Gordon Moore)在20世纪60年代中期提出的，所以以他的名字命名

2.2. 按照摩尔定律，计算机处理器的功率每隔18个月就会提升一倍

2.3. 摩尔定律有几个重要的推论，其中之一是计算机处理器的能耗会以同样的速度降低，处理器本身的体积也会逐渐缩小

2.4. 近50年来，摩尔定律一直被证明是非常可靠的，而在2010年前后，现用处理器技术开始触及物理极限

3. 奇点

3.1. 来源于美国未来学家雷·库兹韦尔(Ray Kurzweil)于2005年出版的著作《奇点临近》

3.1.1. 其背后的关键思想是，人类创造技术的增速正在加快，技术的力量正在以指数级的速度扩张

3.1.2. 在几十年内，以信息为基础的技术将涵盖所有人类的知识和技能领域，最终包括人类大脑自身的模式识别能力、解决问题的技能，以及情感和道德

3.2. 奇点是指计算机智能(通用意义上)超过人类智能的一个假想点

3.2.1. 有人认为，到达奇点以后，计算机可以开始运用自己的智能来改进自己，这个过程就会持续自我完善

3.2.2. 从这一点上说，自奇点之后，仅仅依靠人类的智慧就不可能重新获得计算机的控制权了

3.3. 库兹韦尔的推论主要基于

3.3.1. 计算机硬件(处理器和内存)的发展速度很快会超过人脑的信息处理能力

3.3.2. 他的推论引用了计算机领域一个著名的定律——摩尔定律

3.4. 怀疑奇点主义的其他理由

3.4.1. 单纯的计算机处理能力的提高不会导致奇点的必然出现

3.4.1.1. 人工智能软件(例如机器学习)的改进速度比硬件发展速度要慢得多

3.4.2. 即使人工智能真的能达到人类级别的智能化，也不意味着它就能够以超出我们理解的速度提升自己

3.4.3. 假设你聚集了1000个爱因斯坦的克隆体，它们的集体智慧会是爱因斯坦的1000倍吗？

3.4.3.1. 虽然1000个爱因斯坦克隆体可以比1个爱因斯坦更迅速地完成一些事情，但并不代表它们就变得更聪明了

3.5. 人工智能会不会有一个利奥·西拉德式的灵光闪现呢？

3.5.1. 就在卢瑟福否定核能可用性的第二天，物理学家利奥·西拉德(Leo Szilard)在伦敦一边过马路，一边仔细思考卢瑟福的声明，突然就冒出了核连锁反应的点子

3.5.1.1. 10年后，美国向霓虹国城市投放原子弹，释放出恐怖的能量，而这一切，就来源于西拉德的灵光一闪

3.5.2. 过去60年人工智能研究的所有经验告诉我们，人类水准的人工智能并非如此

4. 机器人三定律

4.1. 阿西莫夫最早在1939年制定了三定律

4.2. 第一定律：机器人不得伤害人类，也不得因为不作为而让人类受到伤害

4.3. 第二定律：机器人必须服从人给予它的命令，除非该命令与第一定律冲突

4.4. 第三定律：机器人在不违反第一、第二定律的情况下要尽可能保证自己的生存

4.5. 它们设计得虽然精巧，但阿西莫夫的故事很多时候都是发生在定律有缺陷或者互相矛盾的情况下

4.6. 虽然阿西莫夫的机器人三定律为人工智能系统的构建提供了高层次的原则性指导，但把三定律真正编码进入人工智能系统中的想法，并不现实

5. 电车难题

5.1. 电车难题是伦理哲学领域最著名的思想实验之一，最初由英国哲学家菲利帕·富特(Philippa Foot)于20世纪60年代末提出

5.2. 由于无人驾驶汽车即将到来，电车难题迅速凸显

5.2.1. 无人驾驶汽车很可能陷入类似电车难题的困境，然后人工智能软件就会被要求做出艰难的选择

5.3. 结果主义者

5.3.1. 只si一个人总比si五个好

5.3.2. 因为它根据行为的后果来评估行为的道德性

5.3.3. 最著名的结果主义应该是功利主义了，它起源于18世纪英国哲学家杰里米·边沁(Jeremy Bentham)和他的学生约翰·斯图亚特·密尔(John Stuart Mill)

5.3.3.1. 提出了一个被称为“最大幸福原则”的理论，大致来说就是一个人选择的任何行为，都会使“世界总体幸福”最大化

5.3.3.2. 在更现代的术语中，我们会说功利主义者是为了社会福利最大化而行动的人

5.3.3.2.1. 功利被定义为社会福利

5.3.4. 假设电车难题中的五个人是邪恶的sha人凶手，而另一个人是无辜的小孩

5.4. 如果一项行为符合普世的“善意”行为原则，那么它是可以接受的，标准例子就是“夺取别人性命是错误的”原则

5.4.1. 信奉这样原则的人不会对电车难题采取任何行动，即无作为，因为他们的行为会导致谋sha，虽然不采取任何行动也会导致人si亡

5.5. 美德伦理学

5.5.1. 我们认为一个“有道德的人”体现了我们渴望决策者身上有的美德，然后，我们可以得出结论，他在这种情况下所做的选择，就是正确的选择

5.5.2. 我们应该扪心自问，在这样的情况下，期望人工智能做出正确选择是否合理

5.5.3. 所知道的道德伦理，尤其是有关电车难题的伦理，仅仅是上述你读到的假设情况而已，我不需要通过道德伦理考试才能拿到驾照

5.5.4. 在这类伦理问题上，无论你认为自己的答案多么理所当然，其他人总会有不同答案，他们也认为那才是顺理成章

5.6. 道德集群

5.6.1. 每一个都体现了具有独特特征的伦理框架

5.6.2. 西部集群包括北美和大多数欧洲家国

5.6.3. 东部集群包括许多远东家国，如霓虹国和东大，以及伊斯兰家国

5.6.3.1. 与西部集群相比，东部集群更倾向于保护合法的人而不是罪犯，更倾向于保护行人而不是车上的乘客，而且更倾向于保护年轻人

5.6.4. 南部集群包括中美洲、南美洲和拉丁美洲家国

5.6.4.1. 南部的集群似乎更关心的是如何保护地位高的个体，以及年轻人和女性

6. 人工智能伦理

6.1. 最早也是最有影响力的人工智能道德框架之一是阿西洛玛人工智能准则

6.1.1. 由一群人工智能科学家和评论员于2015年和2017年在加州的阿西洛玛度假胜地确定的

6.1.2. 一共有23条

6.2. 2018年，谷歌发布了自己的人工智能道德指南

6.2.1. 比阿西洛玛准则略简洁，它们涵盖了许多相同的领域(有益、避免偏见、安全)

6.2.2. 谷歌还就人工智能和机器学习开发的最佳实践提供了一些具体指导

6.3. 2018年底，欧盟提出了另一个框架，还有一个框架是由IEEE(电气和电子工程师协会，一个非常重要的计算机和信息技术专业学会)提出的

6.4. 许多大公司(不仅仅是IT公司)也发布了他们自己的人工智能道德准则

6.5. 他们是否真正理解所承诺的东西，这才是难点

6.5.1. 高层的愿景是很美好的，比如分享人工智能的益处，肯定受欢迎，但是将其转化为具体行动却并不容易

6.6. 解释义务主要是指，比如一个人工智能系统做了一个对某人有重大影响的决策，那么这个人有权要求系统对这个决策进行解释

6.7. 责任则意味着应该明确对决策负责的智能体，而且，最重要的是，我们不应该试图声称人工智能系统本身要对决策“负责”，责任方应该是部署该系统的个人或者组织

6.7.1. 道德智能体通常被理解为一个实体，它能够分辨是非，并理解其行为所导致的后

6.7.2. 软件是不能被追究责任的

6.7.3. 人工智能研究中的责任并不意味着制造出有道德责任的机器人，而是以负责任的方式开发人工智能系统

6.7.4. 软件在这里不是罪魁祸首，开发和部署它的人才是

6.7.5. 负责任的设计在这里意味着人工智能将始终清晰地表明它的非人类身份

6.8. 透明度意味着一个系统使用的数据应该是可获取的，其中使用的算法也应该是清晰明确的

7. 平凡的现实

7.1. 工智能软件就只是软件而已，我们不需要创造什么新奇的技术让软件出错

7.2. 软件本身就有缺陷，没有缺陷的软件是不存在的

7.2.1. 只是有的软件因为缺陷崩溃了，而有的没有

7.3. 开发无缺陷软件是计算机领域的一项重要研究，发现和消除缺陷是软件开发的主要内容之一

7.3.1. 但是人工智能软件为引入缺陷提供了新的方式

7.4. 如果人工智能软件要代替我们工作，我们需要告诉它希望它做什么，这往往不像想象中那么容易

7.4.1. 我们想把自己的意愿传递给计算机，这样计算机可以代表我们去达成它

7.5. 将意愿准确地传达给计算机，本身就是一个非常有问题的过程

7.5.1. 我们可能并不知道自己想要什么，至少并非明确知道，在这种情况下，表达自己的意愿几乎不可能

7.5.2. 我们不可能一次说清自己的偏好，所以通常我们所做的是对意愿和偏好进行概述，而概述和全面的叙述之间总会存在差距，人工智能又该如何弥合这些差距呢？

7.5.3. 当我们和人类交流的时候，通常默认彼此间有共同的价值体系和规范

7.5.3.1. 人工智能并不清楚这些默认的价值体系和规范，它们必须得到明确的说明，或者我们需要通过某种方式保证人工智能系统的后台存在这些东西

7.6. 不通情理的实例化

7.6.1. 计算机按照你的要求去做了，但并没有按照你预期的方式

7.6.2. 你要求机器人确保你的房子不会被窃贼入侵，它索性一把火把房子烧了

7.6.3. 你要求机器人保证人类不会得癌症，它干脆把所有人都sha了

7.7. 每当有人设计了一套旨在鼓励某一类行为的激励机制时，总有人会找到某种博弈方式，在不按预期行事的情况下获得奖励

7.8. 设计一种人工智能系统，以尽量减少其行为对周围环境的影响

7.8.1. 希望它完成任务的同时，保持其他一切尽可能不发生变化

7.8.2. 强化学习的目的是找到一个行动过程，最大限度地获取奖励

7.8.3. 逆向强化学习就是针对这一问题展开的

7.8.3.1. 在逆向强化学习中，我们首先确定了“理想”的行为(即人类会怎么做)，然后再制定人工智能软件能获得的相关奖励

7.8.3.2. 简言之，我们是将人类的行为视为理想行为的典范