【机器学习】数学知识：标准差，方差，协方差，平均数，中位数，众数

news2024/11/18 15:33:28

标准差、方差和协方差是统计学中重要的概念，用于描述数据的分散程度和变量之间的关系。以下是它们的定义和公式：

标准差是方差的平方根，表示数据的分散程度，以与数据相同的单位表示。

方差是衡量一组数据与其均值之间偏差的平方的平均值。它表示数据的分散程度。

公式：
- 对于样本数据： $s^2 = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2$
- 对于总体数据： $\sigma^2 = \frac{1}{N} \sum_{i=1}^{N} (x_i - \mu)^2$
- 其中， $x_i$ 是每个数据点， $\bar{x}$ 是样本均值， $\mu$ 是总体均值，n 是样本大小，N 是总体大小。

协方差是衡量两个变量之间关系的度量，表示它们如何一起变化。正协方差表示两个变量同向变化，负协方差表示它们反向变化。

公式：
- 对于样本数据： $\text{Cov}(X, Y) = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y})$
- 对于总体数据： $\text{Cov}(X, Y) = \frac{1}{N} \sum_{i=1}^{N} (x_i - \mu_x)(y_i - \mu_y)$
- 其中，X 和 Y 是两个随机变量， $x_i$ 和 $y_i$ 是它们的观测值， $\bar{x}$ 和 $\bar{y}$ 是它们的均值， $\mu_x$ 和 $\mu_y$ 是总体均值。

这些概念在数据分析、概率论和统计学中非常重要，能够帮助理解数据的分布和变量之间的关系。

中位数、平均数和众数是描述数据集中趋势的三种常用统计量。各有其适用场景和统计意义，选择哪一个更具统计意义取决于数据的性质和分析目的。以下是它们的定义和计算方法及其适用情况：

平均数是所有数据点的总和除以数据点的数量，通常被称为算术平均数。

$\text{Mean} = \bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i$ 其中， $x_i$ 是每个数据点，n 是数据点的总数量。

中位数是将数据按升序排列后，位于中间位置的数值。如果数据点数量为奇数，中位数是中间的数；如果为偶数，中位数是中间两个数的平均值。

计算方法：
- 将数据按升序排列。
- 如果 n 是奇数： $\text{Median} = x_{\left(\frac{n+1}{2}\right)}$
- 如果 n 是偶数： $\text{Median} = \frac{x_{\left(\frac{n}{2}\right)} + x_{\left(\frac{n}{2} + 1\right)}}{2}$
优点：
- 中位数不受极端值的影响，因此在数据中存在离群值或数据分布不对称的情况下，它能更准确地反映数据的中心位置。
缺点：
- 中位数不考虑所有数据点的信息，仅依赖于数据的顺序。
适用情况：
- 当数据分布不对称或存在离群值时，中位数是更好的集中趋势度量。

众数是数据集中出现次数最多的数值。一个数据集可以有一个众数（单众数），多个众数（多众数），或没有众数（如果所有数出现的次数相同）。

假设有以下数据集：3, 7, 7, 2, 5, 9, 3

平均数：
$\text{Mean} = \frac{3 + 7 + 7 + 2 + 5 + 9 + 3}{7} = \frac{36}{7} \approx 5.14$
中位数：排序后数据集为：2, 3, 3, 5, 7, 7, 9 由于有7个数（奇数），中位数为第4个数：
$\text{Median} = 5$
众数： 7出现的次数最多（2次），因此众数为：
$\text{Mode} = 7$