【学习笔记】Day 19

news2024/11/14 16:16:54

一、进度概述

1、机器学习常识1-11，以及相关代码复现

二、详情

1、不确定性

所谓不确定性, 是指我们在进行预测的时候, 不能够保证 100% 的准确。而机器学习，比的就是谁 “猜的更准”。
不确定性，可能由信息不足、信息模糊等原因产生。
对于过于复杂的确定性问题，会使用启发式算法之类求次优解。

2、数据类型

基本数据元素的类型：布尔型（Y/N）、枚举型、实型等。
常见的数据类型：
（1）结构化数据：指每个实例/instance (样本/sample)用同一组特征/feature (属性/attribute) 进行描述。
另一种说法是关系模型数据，而关系数据库，则指的是上学期所学的数据库中的关系模型。

（2）图像数据：本身可以用一个矩阵来表示（这也是为什么会用到 numpy 库等）。
（3）序列数据：由枚举型或实型组成。它与结构化数据的区别在于: 不可以混用枚举型与实型, 长度不是固定的。
（4）视频数据：是图像组成的序列数据。
（5）图数据：指数据用结点和边表示。如最典型的树状图，流程图等

3、分类、回顾、聚类

数据类型从输入数据的角度来进行讨论, 这里从输出数据, 或者目标的角度来讨论。
（1）分类是指将一个样本预测为给定类别之一.，也称为该样本打标签。根据标签数量可分为二分类问题和多分类问题
（2）回归是指为一个输出为实型值的预测。这与统计学中的回归分析是同一个概念。
（3）聚类是指根据样本的属性, 把给定的样本集合划分为若干个子集.

聚类与分类 (回归) 之间存在本质的区别, 它不进行新样本的预测。这是迫不得已的事情, 因为很多数据并没有人类先给的标签, 导致缺乏一个确定的目标, 机器只有根据自己理解来划分。

4、分类问题的训练与测试

这部分通过实例理解十分清晰，故直接参考原文：机器学习常识 4: 分类问题的训练与测试_机器学习训练测试-CSDN博客

不整理并不代表这一节不重要，相反，是这一节的逻辑太重要了，同时原文逻辑太好了，故直接使用。

5、性能评价指标

详细讲解参考原文：机器学习常识 5: 性能评价指标_机器学习性能评价-CSDN博客
这里整理一些个人理解以及注意事项：
（1）评价指标不是单一化的，没有绝对的第一，关键在于这个评价指标能否体现出你关心的问题的好坏。
（2）多方面的评价指标能使得研究更加丰富。
（3）对于回归问题，有明确的数学定义上的评价指标，如平均绝对误差，如均方根误差。对于聚类问题，则有内部和外部两种没有客观标准的指标。

6、kNN

对于 $k$ NN，从图的角度来理解会比较方便，参考以下文章，所运行出来的结果能十分清楚的表达其基本思想，求最小距离度量。
机器学习之KNN最邻近分类算法_knn分类-CSDN博客
结合上学期所学的线性回归分析，我们知道，极端值是很能影响这类算法的，所以归一化是个十分重要的步骤，同时要注意到，对原数据集的质量要保证。

7、决策树

概念很好理解，需要注意的是
（1）机器学习着重于如何从数据中构建决策树，而不是人为构造（这涉及问题相关专业知识）
（2）构建决策树的本质是不完全归纳，要根据数据量合理选择穷举法或者启发式方法。
（3）决策树越小越好（不要一开始就陷入信息增益的圈子中）

关于结合理论的代码复现，参考的是以下文章：【机器学习实战】3、决策树_为训练数据集建立决策树-CSDN博客

这里也有个实战训练，能够帮助自己更好的理解决策树：【机器学习】决策树（实战）_决策树算法jupyter实现-CSDN博客

8、kMeans

$k$ Means 是数据分布未知时最合适的聚类算法。
其基本思想是：最大化簇的内聚性 (即同一簇的点距离较近), 最小化簇间的耦合性 (即不同簇的点距离较远)。
从算法上感性理解，先通过确定随机的 k 各点作为中心点，分的多个簇（任意对象距离 k 各点中谁最近，则所属于谁），在通过各个中心点确定最终的中心点，最后判断收敛。
需要注意的是：
（1）与 $k$ NN 的共同点在于, 都使用某个距离度量。
（2）涉及迭代, 因此比 k kkNN 复杂。
（3）初始点的选择会影响最终的结果. 很可能只收敛到局部最优解。
（4）适合"球型"数据. 即每一簇从三维的角度来看都像一个球. 而并不适合于有较多离群点的数据. 所谓离群点, 可以认为是指离所有聚类中心的都挺远的数据点. 它会对 k kkMeans 的重心计算产生较大影响.
（5）并不是在所有的数据集上, 都能很快收敛. 我试过的数据中, 有 50 轮都未收敛的, 干脆就凑合了.

相关代码联系参考的是以下文章：K-means聚类算法原理及python实现_python kmeans-CSDN博客