第1章 深度学习简介

概述

本章介绍人工智能（AI）和深度学习领域，讨论其历史发展、关键概念和应用。解释深度学习如何从早期的AI和机器学习方法演变而来，以及如何有效解决之前方法无法应对的挑战。

关键概念

1. 人工智能的演变

• 历史背景：创造会思考的机器的梦想可以追溯到古希腊，当时的神话人物如皮格马利翁和赫菲斯托斯代表了早期对人工生命的构想。
• 早期人工智能：专注于人类认为智力上困难但对具有正式规则的计算机来说相对简单的问题（例如国际象棋）。
• 向机器学习的转变：应对解决对人类来说容易但难以形式化的问题的挑战，如语音识别和图像理解。

2. 机器学习与表示学习

• 机器学习：使计算机能够从经验中学习，而不是依赖预先编写的知识。
• 表示学习：专注于从原始数据中发现有用的特征。深度学习是一种表示学习形式，通过构建越来越复杂的层次结构来表示数据。

3. 深度学习基础

• 层次化表示：深度学习模型通过组合简单的表示来构建复杂的表示，从而能够捕捉高层次的抽象。
• 多层感知机（MLPs）：一种基本的深度学习模型，使用多层处理将输入数据转换为有用的输出。
• 与其他人工智能方法的关系：将深度学习定位在更广泛的AI背景中，展示它如何建立在符号AI和传统机器学习的基础上并与其不同。

深度学习的历史趋势

• 三次发展浪潮：
  1. 控制论（20世纪40年代至60年代）：早期模型如McCulloch-Pitts神经元和感知器。
  2. 联结主义（20世纪80年代至90年代）：引入反向传播和分布式表示。
  3. 现代深度学习（2006年至今）：在训练深度架构和大规模数据集可用性方面取得突破。
• 数据集规模：大规模数据集的可用性对于训练有效的深度学习模型至关重要。
• 模型规模：计算资源的进步使得开发越来越大和复杂的模型成为可能。
• 应用：深度学习在多个领域取得了显著成功，包括图像识别、语音识别、自然语言处理和机器人技术。

书籍结构和受众

• 目标读者：学习机器学习的大学生（本科或研究生），以及希望实施深度学习的软件工程师。
• 书籍结构：分为三部分，涵盖数学基础、已建立的深度学习算法和研究导向主题。

结论

深度学习是人工智能领域的一项重大进展，借鉴了神经科学、统计学和应用数学的见解。其发展得益于更强大的计算机、更大的数据集以及训练更深层网络的技术。该领域不断发展，正在进行的研究探索新的架构和应用。

精彩语句

1. 大脑的存在证明了智能行为的可能性，通过逆向工程大脑的计算原理并复制其功能，是一条概念上直接的构建智能的路径。

   “The brain provides a proof by example that intelligent behavior is possible, and a conceptually straightforward path to building intelligence is to reverse engineer the computational principles behind the brain and duplicate its functionality.”

   解释: 这句话强调了大脑作为智能存在的范例，以及通过研究大脑工作原理来构建人工智能的直接性。

2. 随着时间的推移，深度学习在越来越复杂的应用中取得了越来越高的准确性。

   “Deep learning has solved increasingly complicated applications with increasing accuracy over time.”

   解释: 这句话描述了深度学习在处理复杂任务时的持续进步和不断提高的准确性。

3. 深度学习领域主要关注如何构建能够成功解决需要智能的任务的计算机系统，而计算神经科学领域主要关注构建更准确的大脑工作模型。

   “The field of deep learning is primarily concerned with how to build computer systems that are able to successfully solve tasks requiring intelligence, while the field of computational neuroscience is primarily concerned with building more accurate models of how the brain actually works.”

   解释: 这句话明确了深度学习和计算神经科学的研究重点，突出了两者在目标上的区别。

4. 最重要的新发展是，如今我们可以为这些算法提供它们成功所需的资源。

   “The most important new development is that today we can provide these algorithms with the resources they need to succeed.”

   解释: 这句话指出了当前深度学习成功的关键因素——资源的可用性。

5. 这种自我编程技术仍处于起步阶段，但未来原则上可以应用于几乎所有任务。

   “This self-programming technology is in its infancy, but in the future could in principle be applied to nearly any task.”

   解释: 这句话展望了深度学习技术的未来潜力，强调了其广泛的应用前景。