＜机器学习初识＞——《机器学习》

news2024/11/20 4:47:43

一、人工智能概述

1 人工智能应用场景

2 人工智能发展必备三要素

3 人工智能、机器学习和深度学习

二、人工智能发展历程

1 人工智能的起源

1.1 图灵测试

1.2 达特茅斯会议

2 发展历程

三、人工智能主要分支

1 主要分支介绍

1.1 分支一：计算机视觉

1.2 分支二：语音识别

1.3 分支三：文本挖掘/分类

1.4 分支四：机器翻译

1.5 分支五：机器人

四、机器学习工作流程

1 什么是机器学习

2 机器学习工作流程

2.1 获取到的数据集介绍

2.2 数据基本处理

2.3 特征工程

2.3.1什么是特征工程

2.3.2 特征工程包含内容

五、机器学习算法分类

1 监督学习

2 无监督学习

3 半监督学习

4 强化学习

5 小结

六、模型评估

1 分类模型评估

2 回归模型评估

3 拟合

一、人工智能概述

1 人工智能应用场景

2 人工智能发展必备三要素

数据
算法
计算力

CPU,GPU,TPU

计算力之CPU、GPU对比：

CPU主要适合I\O密集型的任务
GPU主要适合计算密集型任务

（1）计算密集型的程序。

所谓计算密集型 (Compute-intensive) 的程序，就是其大部分运行时间花在了寄存器运算上，寄存器的速度和处理器的速度相当，从寄存器读写数据几乎没有延时。可以做一下对比，读内存的延迟大概是几百个时钟周期；读硬盘的速度就不说了，即便是SSD, 也实在是太慢了。

（2）易于并行的程序。

GPU 其实是一种 SIMD(Single Instruction Multiple Data) 架构，他有成百上千个核，每一个核在同一时间最好能做同样的事情。

3 人工智能、机器学习和深度学习

人工智能和机器学习，深度学习的关系：

机器学习是人工智能的一个实现途径
深度学习是机器学习的一个方法发展而来

二、人工智能发展历程

1 人工智能的起源

1.1 图灵测试

测试者与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。

多次测试（一般为 5min 之内），如果有超过 30% 的测试者不能确定被测试者是人还是机器，那么这台机器就通过了测试，并被认为具有人类智能。

1.2 达特茅斯会议

1956 年 8 月，在美国汉诺斯小镇宁静的达特茅斯学院中，

约翰 · 麦卡锡（ John McCarthy ）

马文 · 闵斯基（ Marvin Minsky ，人工智能与认知学专家）

克劳德 · 香农（ Claude Shannon ，信息论的创始人）

艾伦 · 纽厄尔（ Allen Newell ，计算机科学家）

赫伯特 · 西蒙（ Herbert Simon ，诺贝尔经济学奖得主）等科学家正聚在一起，讨论着一个完全不食人间烟火的主题：

用机器来模仿人类学习以及其他方面的智能。

会议足足开了两个月的时间，虽然大家没有达成普遍的共识，但是却为会议讨论的内容起了一个名字：人工智能

因此， 1956 年也就成为了人工智能元年。

2 发展历程

三、人工智能主要分支

1 主要分支介绍

通讯、感知与行动是现代人工智能的三个关键能力，在这里我们将根据这些能力 / 应用对这三个技术领域进行介绍：

计算机视觉(CV)、
自然语言处理(NLP)

在 NLP 领域中，将覆盖文本挖掘 / 分类、机器翻译和语音识别。

机器人

1.1 分支一：计算机视觉

计算机视觉 (CV) 是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。物体检测和人脸识别是其比较成功的研究领域。

1.2 分支二：语音识别

语音识别是指识别语音 ( 说出的语言 ) 并将其转换成对应文本的技术。相反的任务 ( 文本转语音 /TTS) 也是这一领域内一个类似的研究主题。

1.3 分支三：文本挖掘/分类

这里的文本挖掘主要是指文本分类，该技术可用于理解、组织和分类结构化或非结构化文本文档。其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

1.4 分支四：机器翻译

机器翻译 (MT) 是利用机器的力量自动将一种自然语言 ( 源语言 ) 的文本翻译成另一种语言 ( 目标语言 ) 。

1.5 分支五：机器人

机器人学 (Robotics) 研究的是机器人的设计、制造、运作和应用，以及控制它们的计算机系统、传感反馈和信息处理。

机器人可以分成两大类 : 固定机器人和移动机器人。固定机器人通常被用于工业生产 ( 比如用于装配线 ) 。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器；另外还有能够实现感知能力的软件，比如定位、地图测绘和目标识别。

四、机器学习工作流程

1 什么是机器学习

机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测。

2 机器学习工作流程

机器学习工作流程总结：

1. 获取数据

2. 数据基本处理

3. 特征工程

4. 机器学习 ( 模型训练 )

5. 模型评估

结果达到要求，上线服务
没有达到要求，重新上面步骤

2.1 获取到的数据集介绍

2.2 数据基本处理

即对数据进行缺失值、去除异常值等处理

2.3 特征工程

2.3.1什么是特征工程

特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。

意义：会直接影响机器学习的效果

2.3.2 特征工程包含内容

特征提取：将任意数据（如文本或图像）转换为可用于机器学习的数字特征
特征预处理：通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
特征降维：指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程

五、机器学习算法分类

根据数据集组成不同，可以把机器学习算法分为：

监督学习
无监督学习
半监督学习
强化学习

1 监督学习

定义：

输入数据是由输入特征值和目标值所组成。

函数的输出可以是一个连续的值(称为回归），
或是输出是有限个离散值（称作分类）。

2 无监督学习

定义：

输入数据是由输入特征值组成，没有目标值

输入数据没有被标记，也没有确定的结果。样本数据类别未知；
需要根据样本间的相似性对样本集进行类别划分。

有监督，无监督算法对比：

3 半监督学习

定义：

训练集同时包含有标记样本数据和未标记样本数据。

4 强化学习

定义：

实质是 make decisions 问题，即自动进行决策，并且可以做连续决策。

监督学习和强化学习的对比：

5 小结

六、模型评估

模型评估是模型开发过程不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。

按照数据集的目标值不同，可以把模型评估分为分类模型评估和回归模型评估。

1 分类模型评估

2 回归模型评估

均方根误差（ Root Mean Squared Error ， RMSE ）

其他评价指标：相对平方误差（ Relative Squared Error ， RSE ）、平均绝对误差（ Mean Absolute Error ， MAE) 、相对绝对误差（Relative Absolute Error ， RAE)