机器学习深度学习快速上手

1. 引言

2. 机器学习基础

1. 数据预处理

2. 特征提取

3. 常见算法

3. 深度学习基础

1. 神经网络的基本概念

1. 神经元（Neuron）

2. 权重（Weight）

3. 偏置（Bias）

4. 激活函数（Activation Function）

5. 前向传播（Forward Propagation）

6. 损失函数（Loss Function）

7. 反向传播（Backward Propagation, Backprop）

8. 学习率（Learning Rate）

9. 训练（Training）

10. 梯度下降（Gradient Descent）

11. 批量（Batch）和批量大小（Batch Size）

12. 过拟合（Overfitting）

13. 权重初始化（Weight Initialization）

14. 正则化（Regularization）

15. 迭代（Epoch）

3. 机器学习与深度学习的关系

4. 学习路径与资源

4. 结论

1. 机器学习（Machine Learning）

2. 深度学习（Deep Learning）

3.主要差异

1. 引言

介绍机器学习和深度学习的基本概念以及快速上手。
文章目的：为初学者提供入门知识和学习路径。

举个例子：如果我们想让计算机判断一张图片里是猫还是狗，我们可以让计算机查看很多猫和狗的图片，并学习它们的不同特征（比如猫的耳朵形状、狗的鼻子等）。一旦学会了这些特征，计算机就能自己判断一张新的图片是猫还是狗。

机器学习的核心就是数据和模型：计算机通过分析数据来创建模型，然后用这个模型来做预测。

在实际上，特征其实就是一个数字，这个数字往往牵扯到概率，矩阵，向量等等，但是最终的表现就是一个有特定意义的数。

深度学习是机器学习的一种特殊形式，它使用了一种叫“神经网络”的方法来处理更加复杂的数据。神经网络灵感来自大脑的工作原理，它通过大量的“神经元”层级相互连接，模拟人脑处理信息的方式。每一层都能从前一层获得信息并进行处理，逐步提高判断的准确性。

深度学习的原理其实和机器学习初步入门的原理一样，之所以称之为深度学习，主要是因为计算的够深入，数字层的意义更深刻（很难说明这个数到底表示的是什么）。
基本步骤：计算 → 激活 →计算 → 激活 → 数据映射 → 由已知结果反向优化模型 → 循环直到模型优化完成（表现为准确性等参数足够优秀）

简而言之，无论是机器学习或是深度学习都可以简单理解为y = wx + b ，用y 反向优化w和b的一个过程。如果是学习理论，毫无疑问是需要大量厚实的数学基础的，但是如果仅仅只是当成工具使用来解决问题的话，那么学习难度不会特别大，python的机器学习库帮我们解决了学习成本的问题。

2. 机器学习基础

什么是机器学习
- 定义：让机器从数据中学习并做出预测或决策。
机器学习的工作原理
- 数据预处理与特征提取。
- 模型选择与训练。
- 模型评估：精确度、召回率、F1分数等。

1. 数据预处理

数据预处理是指对原始数据进行清洗、转换和处理的过程，确保数据能够更好地用于训练机器学习模型。因为在现实世界中，原始数据往往是不完整的、杂乱的或者不规范的，因此需要进行处理才能提取出有用的信息。

常见的数据预处理步骤：

处理缺失值：很多时候，数据集中的某些数据可能缺失。处理缺失值的方式有几种，比如：
- 删除包含缺失值的行或列（如果缺失的数量很少）。
- 用其他值填补缺失的部分，比如用平均值、中位数或者最常见的值填充缺失值。
数据归一化与标准化：不同的特征可能有不同的单位和范围，这样会导致某些特征对模型的影响过大，而其他特征的影响被忽视。为了避免这种情况，我们通常需要对数据进行标准化或归一化：
- 归一化：把数据缩放到一个固定的范围内（如0到1）。
- 标准化：将数据转换为均值为0，标准差为1的形式。
数据清洗：包括去除重复数据、处理异常值（如极端偏离正常范围的值）等。异常值可能会干扰模型的学习，影响预测效果。
分类数据编码：有些数据是以文本的形式存在（例如，“男”和“女”，“是”和“否”）。机器学习模型无法直接处理这些非数字型数据，因此需要将这些分类数据转换为数字编码。常见的方法有：
- 标签编码：将不同的类别映射为不同的数字（比如“男”映射为0，“女”映射为1）。
- 独热编码（One-Hot Encoding）：为每个类别创建一个新的列，并用0或1表示该类别是否出现。

2. 特征提取

特征（某个指标，量化为数字）提取是指从原始数据中提取出有助于模型学习的关键特征。特征是模型用来做判断的依据，因此提取出合适的特征对于提高模型的性能非常重要。

常见的特征提取方法：

选择重要特征：并不是所有的原始数据都会对模型有帮助。通过某些方法（如相关性分析、方差分析等），我们可以识别出哪些特征对目标变量（例如预测的结果）有更大的影响，选择这些重要特征用于训练模型。这样可以减少计算量，并提高模型的性能。
创建新的特征：有时，单独的原始特征并不足以表示数据的真正含义。我们可以通过将多个特征组合或转换成新的特征来提高模型的表现。例如，假设我们有“身高”和“体重”这两个特征，我们可以创建一个新特征——“体重指数（BMI）”，这个特征可能比单独的身高或体重更能反映健康状况。
降维：当数据集的特征非常多时，计算和存储可能会变得非常复杂。为了减少计算成本并提高模型效率，我们可以使用一些降维技术，如主成分分析（PCA），将数据从高维空间压缩到低维空间，保留大部分信息。比如图像数据维度很高，降维到用数组，低维矩阵表示。

数据的 质量和数量 胜过一切高智能代码，数据是才是机器学习的灵魂所在

3. 常见算法

线性回归、逻辑回归。
决策树、随机森林。
支持向量机（SVM）。
K-近邻算法（KNN）。

算法的基本逻辑各不相同，一般先学习决策树，当理解了决策树的算法逻辑后，其他算法也一通百通。

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn import tree
import matplotlib.pyplot as plt

# 加载数据集
iris = load_iris()
# X为数据集 y为想要得到的预测结果
X, y = iris.data, iris.target

# 创建决策树分类器，指定分裂标准为“信息增益（entropy）”
clf = DecisionTreeClassifier(criterion='entropy', max_depth=3, random_state=42)

# 训练模型
clf.fit(X, y)

# 输出预测结果
sample = [[5.0, 3.5, 1.6, 0.3]]  # 测试样本
print(f"预测类别: {clf.predict(sample)}")

# 可视化决策树
plt.figure(figsize=(12, 8))
tree.plot_tree(clf, feature_names=iris.feature_names, class_names=iris.target_names, filled=True)
plt.show()

使用决策树

决策树的基本原理

寻找最佳问题（分裂点）
决策树会找那些“最能区分数据”的问题来问，比如：
- 哪个特征能最大程度地把数据分成有用的子集？
  它衡量每个特征的“区分能力”（如纯度提升，专业术语叫信息增益或基尼指数），然后选择效果最好的特征来分裂数据。
逐层问问题
决策树就像玩“猜猜我是谁”的游戏，每次问题都让范围更小、更明确，直到能准确锁定答案。
停止的条件
- 当数据已经被完全分清楚（比如同一组数据都属于同一个类别）。
- 或者达到限制条件（比如树的深度不能太大，避免过于复杂）。

使用机器学习模型的基本流程：
清洗数据→拆分数据集（训练集，验证集）→训练→检查模型评价指标→打包使用模型

机器学习的应用
- 图像分类、文本分析、预测建模等。