预测编码的核心:三个关键方程式的详解
——探索预测编码背后的数学原理与应用
核心结论:预测编码是一种基于贝叶斯定理的理论框架,它通过三个关键方程式描述了大脑如何处理和解释来自环境的信号。这些方程式分别建立了贝叶斯定理的简化形式、生成模型以及观察者模型,共同揭示了预测编码在感知-动作循环中的重要作用。
参考文献:
Jirsa, V.; Sheheitli, H. Entropy, Free Energy, Symmetry and Dynamics in the Brain. J. Phys. Complexity 2022, 3 (1), 015007. https://doi.org/10.1088/2632-072X/ac4bec.
【表格】预测编码的三个关键方程式
序号 | 方程式名称 | 方程式描述 | 关键参数 | 备注 |
---|---|---|---|---|
1 | 贝叶斯定理的简化形式 | p ( x , y ∣ k ) = p ( y ∣ x , k ) p ( x ∣ k ) p ( y ∣ k ) p(x, y|k) = \frac{p(y|x, k)p(x|k)}{p(y|k)} p(x,y∣k)=p(y∣k)p(y∣x,k)p(x∣k) | p ( x , y ∣ k ) p(x, y|k) p(x,y∣k):给定参数k下x和y的联合概率 | 此方程式建立了状态变量x、y和参数k之间的概率关系,是预测编码的基础。 |
2 | Langevin方程(生成模型) | Q ( t ) = f ( Q , k ) + v ( t ) Q(t) = f(Q, k) + v(t) Q(t)=f(Q,k)+v(t) | Q ( t ) Q(t) Q(t):神经源级别的大脑激活状态; f ( Q , k ) f(Q, k) f(Q,k):确定性影响; v ( t ) v(t) v(t):波动力 | 此方程式描述了大脑如何根据内部状态和参数生成预测,并考虑噪声的影响。 |
3 | 观察者模型 | Z ( t ) = h ( Q ( t ) ) + w Z(t) = h(Q(t)) + w Z(t)=h(Q(t))+w | Z ( t ) Z(t) Z(t):实验可访问的传感器信号; h ( Q ( t ) ) h(Q(t)) h(Q(t)):正向模型; w w w:测量噪声 | 此方程式将源活动Q(t)与实验可访问的传感器信号Z(t)联系起来,考虑了测量噪声的影响。在实际应用中,常假设h为恒等运算,w为零。 |
关键点关系描述:
- 贝叶斯定理的简化形式是预测编码的起点,它建立了状态变量和参数之间的概率关系,为后续生成预测和更新模型提供了基础。
- Langevin方程(生成模型)描述了大脑如何根据当前状态和参数生成预测,并考虑了噪声的干扰。这是预测编码中“预测”部分的核心。
- 观察者模型则将大脑的预测与实际的传感器信号联系起来,通过比较预测和观测来更新大脑的内部模型。这是预测编码中“更新”部分的关键。
- 预测编码的循环过程包括生成预测、比较预测与观测、以及根据差异更新内部模型。这一过程与感知-动作的循环紧密相关,是大脑处理和理解环境信号的重要方式。
- 预测编码在生态心理学和神经科学中有着广泛的应用,它为我们理解大脑如何与环境进行交互提供了新的视角和方法。
Keywords:predictive coding, Bayesian theorem, Langevin equation, generative model, observer model, perception-action loop, ecological psychology, neural science.
关键词
#预测编码 #贝叶斯定理 #Langevin方程 #生成模型 #观察者模型 #感知-动作循环 #生态心理学 #神经科学
一个使用Python实现的预测编码过程的简单案例
在这个案例中,我们将模拟一个简单的情况,其中大脑试图预测并适应一个持续变化的环境信号。
import numpy as np
import matplotlib.pyplot as plt
# 参数设置
np.random.seed(0)
n_iterations = 100
true_signal = np.linspace(0, 1, n_iterations) # 真实信号
initial_guess = 0.5 # 初始猜测
noise_level = 0.1 # 噪声水平
learning_rate = 0.1 # 学习率
# 初始化变量
signal_estimate = np.zeros(n_iterations)
signal_estimate[0] = initial_guess
prediction_errors = np.zeros(n_iterations)
# 预测编码循环
for t in range(1, n_iterations):
# 生成预测(这里简单地使用上一个时间点的估计作为预测)
prediction = signal_estimate[t-1]
# 模拟观测(真实信号 + 噪声)
observation = true_signal[t] + np.random.normal(0, noise_level)
# 计算预测误差
prediction_error = observation - prediction
prediction_errors[t] = prediction_error
# 更新信号估计
signal_estimate[t] = signal_estimate[t-1] + learning_rate * prediction_error
# 可视化结果
plt.figure(figsize=(10, 5))
plt.plot(true_signal, label='True Signal', color='blue')
plt.plot(signal_estimate, label='Signal Estimate', linestyle='--', color='green')
plt.plot(prediction_errors, label='Prediction Errors', color='red', alpha=0.5)
plt.title('Prediction Coding Simulation')
plt.xlabel('Time')
plt.ylabel('Value')
plt.legend()
plt.show()
在这个代码示例中,我们模拟了一个持续变化的真实信号,并假设大脑试图通过预测编码来跟踪这个信号。大脑在每个时间点都会生成一个预测,然后将其与实际的观测进行比较,并根据预测误差来更新其内部模型(即信号估计)。最终,我们可视化了真实信号、信号估计以及预测误差。
这个简单的案例展示了预测编码的基本思想,即大脑如何通过不断生成预测、比较预测与观测以及根据差异更新内部模型来处理和理解环境信号。在实际应用中,预测编码模型可能会更加复杂,包括多个变量、非线性关系以及更复杂的生成模型和观察者模型。
代码输出内容