课程内容
学习笔记
(一)术语解释
一 . 机器学习(Machine Learning,ML)
机器学习,在本书的解释中是让机器具备找一个函数的能力。个人理解是基于所拥有的数据构建起概率统计模型来对数据进行预测与分析。输入的数据可以是图像、声音、文档等,函数则通过已知数据的特点所构建的模型,我觉得是一个可调节所的黑箱,最后输出
机器学习一般分为:监督学习(supervised learning)、无监督学习(unsupervised learning)、半监督学习(Semi-supervised Learning)和强化学习(reinforcement learning)。
- 监督学习(Supervised Learning):算法从标记的训练数据中学习,这些数据包含了输入和期望的输出,目的是让算法能够预测新数据的输出。
- 无监督学习(Unsupervised Learning):算法处理未标记的数据,尝试找出数据中的结构和模式。
- 半监督学习(Semi-supervised Learning):结合了监督学习和无监督学习的特点,使用少量标记数据和大量未标记数据。
- 强化学习(Reinforcement Learning):算法通过与环境交互来学习最佳行为或策略,以最大化某种累积奖励。
机器学习的分类:
- 回归(regression):本书所说的是机器学习的任务,也可以理解是经过多次实验,找到可以在“输入 — 函数处理数据 — 输出”这个流程中输出最接近实际数据的的函数的过程。个人觉得有点像算高考数学中求各种解析式的过程。
- 分类(classification):分类任务即要让机器做选择题。人类先准备好一些选项,这些选项称为类别(class),现在要找的函数的输出就是从设定好的选项里面选择一个当作输出,该任务称为分类。分类可以是0或1两种选择,也可以是多种情况判断。
- 结构化学习(structured learning):让机器产生有结构的东西的问题称为结构化学习。最后输出的结果可以是一篇文章、一张图片,形成结构化的结果。
二 . 深度学习(Deep Learning,DL)
深度学习是一种特定类型的机器学习,可以理解为是机器学习的子集。它使用类似于人脑的神经网络结构(称为人工神经网络)来学习复杂的模式。它依赖于深层神经网络,这些网络具有多个隐藏层。
- 标量(scalar):通过函数处理所输出的结果为一个具体的数值、固定的结果
- 参数(parameter):即在方程中不同于x、y、z已知的数据,参数是未知的。跟数学中定义的参数是一样的。
- 模型(model):即所需要确定的含参方程,也就是黑箱中所要运作的程序。
- 特征(feature):即在函数中已经给出的数据。
- 权重(weight):个人觉得有点像是倍数,可以使已知数据等比例地放缩。
- 偏置(bias):用于调整等比例放缩的的数据的位置,有点像高中物理作图时的描点要求:使更多的数据均匀地分布在图像的两边。
- 平均绝对误差(Mean Absolute Error,MAE):求出来的实际数据 与预测数据 之间绝对值的差距。
公式表示为:
- 均方误差(Mean Squared Error,MSE):用于求出来的实际数据 与预测数据 之间绝对值的差距 。
公式表示为:
- 交叉熵(Cross-Entropy):这是用于衡量两个概率分布之间的差异。在机器学习的分类问题中,交叉熵常用于评估模型预测的概率分布与真实分布之间的差异,并作为损失函数来训练模型。
- 梯度下降(gradient descent):通过不断调整未知参数权重 和偏置 的大小,使得误差越来越小,也可以说是减小损失的过程。
- 学习率(learning rate):常用希腊字母 表示。表示机器学习即调整未知参数权重 和偏置 大小的变换量。
- 超参数(hyperparameter):在做机器学习中需要自己设定,不是机器自己找出来的学习率,称为超参数 。
- 全局最小值(global minima):实际函数图像中的最低位点。
- 局部最小值(local minima):局部最小值是通过测试函数的不断调整,得到在实际函数图像中的第一个当前最小值。但是这个第一个最小值的位点不一定是整个函数曲线的最小值。局部最小值不一定是全局最小值,全局最小值一定是局部最小值,即局部最小值是全局最小值的必要不充分条件。