说明

从分布开始，分布又要从正态开始

假设有一批数据，只有通过在线的方式增量获得。

内容

1 生成

先通过numpy生成一堆随机数据，从3个正态分布生成，然后拼接起来。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.mixture import GaussianMixture

# 生成示例数据
np.random.seed(0)
data1 = np.random.normal(loc=20, scale=5, size=300)
data2 = np.random.normal(loc=50, scale=10, size=700)
data3 = np.random.normal(loc=70, scale=30, size=500)
data = np.concatenate([data1, data2,data3])

array([28.82026173, 22.00078604, 24.89368992, 31.204466  , 29.33778995,
       15.1136106 , 24.75044209, 19.24321396, 19.48390574, 22.05299251
       ...

接下来，我们看算法对这些数据的拟合结果。

2 拟合

增量计算方差的算法是基于Welford的在线算法，它是一种被广泛接受的用于在线统计的稳定算法。

class IncrementalStats:
    def __init__(self):
        self.n = 0
        self.mean = 0.0
        self.m2 = 0.0

    def add_data(self, x):
        self.n += 1
        delta = x - self.mean
        self.mean += delta / self.n
        delta2 = x - self.mean
        self.m2 += delta * delta2

    def get_mean(self):
        return self.mean

    def get_variance(self):
        if self.n < 2:
            return 0.0
        return self.m2 / (self.n - 1)

    def get_std(self):
        return self.get_variance() ** 0.5

# 初始化增量统计对象
stats = IncrementalStats()

# 逐条添加数据并更新统计量
for i,x in enumerate(data):
    if i +1== 300:
        print('>>>>>>>>>>>>>>>>>>>>>>>>>',i)
    if i +1  == 1000:
        print('>>>>>>>>>>>>>>>>>>>>>>>>>',i)
    stats.add_data(x)
    print(f"After adding {x}: Mean = {stats.get_mean():.2f}, Variance = {stats.get_variance():.2f}, Std={stats.get_std():.2f}")

print(f"Final Mean = {stats.get_mean():.2f}, Final Variance = {stats.get_variance():.2f}, Final Std={stats.get_std():.2f}")

第一段：刚开始拟合，在一阵波动之后，很快就接近真相了

第二段：在第一波结束的时候，已经非常接近真相了

第三段：在混入了两个正态时候，已经远远偏离了上一波的稳定状态（mean=20,std=5)。方差还有点像两个分布的方差和，均值就不是了。

第四段：结束时，全部都混在一起，分不出来了。

3 结论

• 1 证明了方法是有效的，如果只有一个正态，可以稳定下来
• 2 可以用来判别之前的正态在复杂环境下已经变化了（均值和方差偏移）
• 3 如果叠加贝叶斯推断，我们可以发现在哪里发生转变了，从而开始重新拟合