《神经网络与深度学习》
- 第一章 绪论
- 1.1 人工智能
- 知识结构
- 预备知识
- 顶会论文
- 常用的深度学习框架
- 研究领域
- 1.2 如何开发AIS
- 芒果机器学习
- 1.3 表示学习
- 局部表示和分布式表示
- 1.4 深度学习（Deep Learning)
第一章 绪论
1.1 人工智能
人工智能的一个子领域
- 神经网络：一种以（人工）神经元为基本单元的模型
- 深度学习：一种机器学习问题，主要解决贡献度分配问题
知识结构
知识结构图
路线图
预备知识
- 线性代数
- 微积分
- 数学优化
- 概率论
- 信息论
顶会论文
- NeurIPS、ICLR、ICML、AAAL、IJCAL
- ACL、EMNLP
- CVPR、ICCV
常用的深度学习框架
- 简易快速的原型设计
- 自动梯度计算
- 无缝CPU和GPU切换
- 分布式计算
- PYTORCH、TensorFlow
研究领域
- 机器感知（计算机视觉、语音信息处理、模式识别）
- 学习（机器学习、强化学习）
- 语言（自然语言处理）
- 记忆（知识表示）
- 决策（规划、数据挖掘）
1.2 如何开发AIS
学习规则（rule）
机器学习=构建一个映射函数
芒果机器学习
- 准备数据
- 学习（相关性模型）
- 测试
1.3 表示学习
机器学习的一般流程：
语义鸿沟:AI的挑战之一
- 底层特征VS高层语义
- 核心问题：“什么是一个好的表示”，“如何学习好的表示”
- 特征提取：基于任务或先验对去除无用特征
- 表示学习：通过深度模型学习高层语义特征
局部表示和分布式表示
- 局部表示:离散表示、符号表示
- 分布式表示：压缩、低维、稠密向量
1.4 深度学习（Deep Learning)
深度学习=表示学习+决策（预测）学习
深度学习的数学描述
