目录
主要内容
程序要点
2.1 微能源网系统组成
2.2 强化学习及Q学习算法
部分代码
运行结果
下载链接
主要内容
该程序借助深度 Q 网络（DQN），学习预测负荷、风 / 光可再生能源功率输出及分时电价等环境信息，运用所学策略集对微能源网能量进行管理，该方法属于模型无关的价值型智能算法。
程序以能量总线模型为基础，搭建微能源网研究框架和设备模型。借助于强化学习框架、Q 学习及 DQN 算法的基础理论，分析经验回放与冻结参数机制对 DQN 性能的提升作用，最终以经济性为导向，实现微能源网的能量管理与优化。程序采用python代码编写，注释清楚，复现效果好！
为了方便大家更好的对照文献学习，整理了一版程序代码复现和文献的具体对应关系图。
程序要点
2.1 微能源网系统组成
该系统为微型综合能源系统，能将多类能源以能量转换和储存等方式与不同类型负荷进行关联。
2.2 强化学习及Q学习算法
强化学习是指从环境状态到动作策略集的学习，以使得动作从环境中获得的累计奖励最大，学习的过程，如下图所示。本质上，智能体与环境的互动是一种马尔科夫决策过程(markov decision process，MDP)。MDP 一般由一个四元组(S, A, R, pi)定义。
Q 学习(Q-learning)是一种不基于环境模型、基于价值的强化学习算法。Q 学习的主要思路是定义状态动作价值函数，即 Q 函数，将观测数据代入到以下更新公式中对 Q 函数进行迭代学习。
深度 Q 网络创新性地把 Q 函数通过价值函数近似方法进行转换。具体而言，这种方法利用深度神经网络强大的函数拟合能力，将 Q 函数映射为一个深度神经网络。该神经网络以状态作为输入，经过多层神经元的计算和特征提取，输出对应每个动作的 Q 值估计。经过转换，深度神经网络能够以一种紧凑且高效的方式表示 Q 函数，使得智能体可以在大规模的状态和动作空间中快速学习和决策，极大地拓展了强化学习在复杂现实场景中的应用范围。
部分代码
plt.figure()
plt.plot(reward_history, color='#2ca02c', lw=1.5)
plt.title('训练奖励曲线')
plt.xlabel('训练周期')
plt.ylabel('平均奖励')
plt.grid(True, alpha=0.3)
# 2. 发电单元功率
plt.figure()
plt.plot(operation_data['MT'], color='#ff7f0e', marker='o', markersize=4)
plt.title('联供机组出力')
plt.xlabel('时间 (h)')
plt.ylabel('功率 (kW)')
plt.xticks(range(0, 24, 4))
plt.grid(True, alpha=0.3)
# 3. 电网交互功率
plt.figure()
plt.bar(range(23), operation_data['Grid'], color='#1f77b4')
plt.title('电网购电功率')
plt.xlabel('时间 (h)')
plt.ylabel('功率 (kW)')
plt.xticks(range(0, 24, 4))
plt.grid(True, alpha=0.3)
# 4. 蓄电池调度
plt.figure()
batt_power = np.array(operation_data['Batt'])
charge = np.where(batt_power < 0, -batt_power, 0)
discharge = np.where(batt_power > 0, batt_power, 0)
plt.bar(range(23), charge, color='#9467bd', label='充电')
plt.bar(range(23), -discharge, color='#d62728', label='放电')
plt.title('蓄电池调度')
plt.xlabel('时间 (h)')
plt.ylabel('功率 (kW)')
plt.xticks(range(0, 24, 4))
plt.legend()
plt.grid(True, alpha=0.3)运行结果
