文章目录
机器学习约等于机器自动找一个函数
机器学习分类
- regression：输出为连续值
- classification：输出为一个类别
- structured learning：又叫生成式学习generative learning
- 生成有结构的物件（如：影像、句子）
ChatGPT：把生成式学习拆解成多个分类问题
- ChatGPT实际做的事情：预测后面接哪一个字，可以理解成这是一个分类问题，类别是所有的字
- 对于用户来说：用户实际体验认为ChatGPT是生成式学习。
机器学习约等于机器自动找一个函数，找函数的步骤
首先应明确要找什么的函数
-
设定范围：确认候选函数的集合，即model。
- 深度学习中类神经网络的结构（如：CNN、RNN、Transformer等）指的就是不同候选函数的集合（原因解释见ML Lecture 6: Brief Introduction of Deep Learning）。
- 训练资料少的时候容易出现过拟合，设定的范围应该尽可能小（CNN）。当训练资料多时，设定的范围可以大一些（fully-connected，self-attention）。
- deep learning（CNN，Transformer··），decision tree
-
设定标准
- 设定评估函数好坏的标准，即loss。loss越小表示跟标准答案的差距越小，loss越小函数越好。计算每个函数loss的函数叫做loss function。loss function取决于训练集。
- 常用方法：监督学习、半监督学习、强化学习RL
-
达成目标
- 找出loss最小的函数，即optimization
- 常用方法有梯度下降（adam，Adamw），genetic algorithm
