强化学习与神经网络结合(以 DQN 展开)

基于 PyTorch 实现简单 DQN

double DQN

dueling DQN

Noisy DQN：通过噪声层实现探索，替代 ε- 贪心策略

Rainbow_DQN如何计算连续型的Actions

强化学习中，智能体（Agent）通过与环境交互学习最优策略。当状态空间或动作空间庞大时，传统表格法（如 Q-Learning）难以存储所有状态 - 动作值（Q 值）。此时引入神经网络，用其函数拟合能力近似 Q 函数，即深度 Q 网络（DQN）。

图片所示的运流程

1.环境交互：智能体根据当前状态St，选择动作A执行，环境反馈奖励R，转移到新状态St+1

Q 值计算：将St+1输入 Q 网络，计算所有动作的 Q 值，取最大值

目标值构建：更新目标为

为折扣因子，平衡短期与长期奖励）

损失计算：当前 Q 值Q(St,a)作为预测值，目标值作为标签，通过均方误差（MSE计算损失

网络更新：利用梯度下降优化 Q 网络，减少损失

基于 PyTorch 实现简单 DQN

import torch  
import torch.nn as nn  
import torch.optim as optim  
import gym  

# 定义Q网络  
class QNetwork(nn.Module):  
    def __init__(self, state_dim, action_dim):  
        super(QNetwork, self).__init__()  
        self.fc = nn.Sequential(  
            nn.Linear(state_dim, 64),  
            nn.ReLU(),  
            nn.Linear(64, action_dim)  
        )  

    def forward(self, x):  
        return self.fc(x)  

# 初始化环境与网络  
env = gym.make('CartPole-v1')  
state_dim = env.observation_space.shape[0]  
action_dim = env.action_space.n  
q_net = QNetwork(state_dim, action_dim)  
optimizer = optim.Adam(q_net.parameters(), lr=0.001)  
criterion = nn.MSELoss()  

# 训练循环  
for episode in range(100):  
    state = env.reset()  
    state = torch.FloatTensor(state)  
    total_reward = 0  
    done = False  

    while not done:  
        # 选择动作（简化示例，未包含探索策略）  
        with torch.no_grad():  
            q_values = q_net(state.unsqueeze(0))  
        action = torch.argmax(q_values).item()  

        # 执行动作，获取反馈  
        next_state, reward, done, _ = env.step(action)  
        next_state = torch.FloatTensor(next_state)  
        reward = torch.tensor(reward, dtype=torch.float32)  

        # 计算目标值与当前Q值  
        with torch.no_grad():  
            next_q = q_net(next_state.unsqueeze(0)).max(1)[0]  
        target = reward + 0.99 * next_q  
        current_q = q_net(state.unsqueeze(0))[0][action]  

        # 计算损失并更新网络  
        loss = criterion(current_q, target)  
        optimizer.zero_grad()  
        loss.backward()  
        optimizer.step()  

        state = next_state  
        total_reward += reward  

    print(f"Episode {episode}, Total Reward: {total_reward}")  

env.close()

agent与env的交互

判断done：

done 状态是由环境（env）在交互过程中返回的终止信号，用于标识当前回合（episode）是否结束

done 的来源：

在 observation_, reward, done = env.step(action) 这一步中，环境会根据智能体执行的动作（action），反馈当前状态的后续信息：

observation_：执行动作后转移到的新状态。

reward：执行动作获得的即时奖励。

done：一个布尔值（True/False），由环境规则定义。当环境认为当前回合结束时（如达到任务目标、触发终止条件等），done 会被置为 True

double DQN

Double DQN（Double Deep Q-Network）是对传统DQN的改进算法，旨在解决Q值估计过估计（Overestimation）的问题

传统DQN的局限性

传统DQN通过同一个网络同时完成两个任务：

1. 选择动作：根据当前状态选择Q值最大的动作（贪心策略）。

2. 评估价值：计算目标Q值以更新网络参数。

这会导致**过估计**问题：网络在计算目标值时，倾向于选择自身高估的动作，从而引入偏差，导致训练不稳定甚至发散。

Double DQN的核心改进

Double DQN通过分离动作选择和动作评估来解决过估计问题，具体方法如下：

1. 引入两个网络：

- 在线网络（Online Network）：负责选择动作（ε-贪心策略）

- 目标网络（Target Network）：负责计算目标Q值，其参数定期从在线网络复制

2. 解耦动作选择与评估：

- 用在线网络选择动作a_t = argmax Q(s_t, a; θ)

- 用目标网络评估该动作的Q值 Q(s_{t+1}, a_t; θ^-)

算法流程

1. 初始化：

- 在线网络和目标网络结构相同，但参数独立

- 目标网络参数初始化为在线网络的副本θ^- = θ

2. 经验回放池：存储训练样本s_t, a_t, r_t, s_{t+1}

3. 训练循环：

- 步骤1：在线网络根据当前状态选择动作

- 步骤2：执行动作，获取奖励和下一状态

- 步骤3：将样本存入经验回放池

- 步骤4：从池中随机采样一批数据

- 步骤5：计算目标Q值：

target_Q = r + γ * Q_target(s_{t+1}, argmax Q_online(s_{t+1}, a; θ); θ^-)

- 步骤6：用在线网络计算当前Q值，并通过MSE损失更新参数

- 步骤7：定期更新目标网络参数（如每C步复制θ到θ^-）

关键技术细节

1. 目标网络更新策略：

- 目标网络参数并非实时更新，而是每隔C步从在线网络复制一次，避免梯度震荡

2. 经验回放（Experience Replay）：

- 打破数据相关性，提高样本利用率

3. ε-贪心策略：

- 平衡探索与利用，确保充分探索环境

伪代码

初始化在线网络 Q(θ) 和目标网络 Q(θ^-)
θ^- = θ  # 初始同步
经验回放池 D 初始化

for episode in episodes:
    初始化状态 s
    while s 非终止状态:
        根据 ε-贪心策略选择动作 a（由 Q(θ) 决定）
        执行动作 a，得到奖励 r 和下一状态 s'
        将 (s, a, r, s') 存入 D
        从 D 中随机采样 mini-batch
        for 每个样本 (s_i, a_i, r_i, s'_i):
            a_next = argmax Q(s'_i, a; θ)  # 在线网络选动作
            Q_target = r_i + γ * Q_target(s'_i, a_next; θ^-)  # 目标网络评估
            loss = MSE(Q(s_i, a_i; θ), Q_target)
            反向传播更新 θ
        每隔 C 步，θ^- = θ  # 同步目标网络
        s = s'

优势与效果

1. 减少过估计：通过分离动作选择和评估，显著降低Q值偏差

2. 训练更稳定：目标网络参数定期更新，避免梯度震荡

3. 性能提升：在Atari游戏等任务中，Double DQN比传统DQN表现更优，如《Pong》《Breakout》等

扩展与变种

1. Dueling DQN：将Q值分解为状态价值和动作优势，进一步提升性能

2. Rainbow DQN：融合Double DQN、Dueling DQN、Prioritized Replay等技术

3. Noisy DQN：通过噪声层实现探索，替代ε-贪心策略

Double DQN通过解耦动作选择与评估，有效解决了传统DQN的过估计问题，成为深度强化学习的经典算法之一。其核心思想是利用两个网络的分工协作，平衡探索与利用，提升训练稳定性和样本效率

dueling DQN

Dueling DQN（对决网络 DQN）是对传统 DQN 的改进，核心在于将 Q 值拆解为状态价值和动作优势，让网络更高效地学习

核心思想：拆分 Q 值的意义

传统 DQN 直接学习 Q (s, a)，即 “状态 - 动作” 的价值。而 Dueling DQN 将 Q 值拆分为两部分：

状态价值 V (s)：衡量当前状态本身的好坏，不依赖具体动作。例如 “站在十字路口” 这个状态的基础价值。

动作优势 Adv (s, a)：衡量某个动作相对于平均动作的优势。例如 “在十字路口，右转比左转 / 直行更好” 的优势。

公式：Q(s, a) = V(s) + Adv(s, a)。

通过这种拆分，网络能更清晰地学习 “状态本身的价值” 和 “动作的相对优势”，尤其在状态价值明显、动作选择影响较小时，学习效率更高。

网络结构：共享特征 + 双分支

共享特征提取层：

前几层网络（如卷积层、全连接层）用于提取状态特征，类似传统 DQN 的特征处理。双分支结构：V (s) 分支：输入共享层特征，输出标量（状态价值）。

Adv (s, a) 分支：输入共享层特征，输出向量（每个动作的优势）。

约束条件：为避免 V 和 Adv 的表示冗余，通常对 Adv 添加约束，例如让同一状态下所有动作的 Adv 均值为 0（∑Adv(s, a)/num_actions = 0）。这样 V (s) 实际代表该状态下所有动作 Q 值的平均值。

共享特征提取层：特征的 “通用加工厂”

作用：无论是计算状态价值 V(s) 还是动作优势Adv(s,a)，都需要先从原始状态（如游戏画面、机器人传感器数据）中提取有意义的特征。

类比理解：类似炒菜前的备菜环节。不管最后是要炒青菜还是炒肉，都需要先洗菜、切菜（提取特征）。共享特征层就是 “洗菜切菜” 的通用流程，用卷积层、全连接层等处理原始状态，得到后续分支可用的特征。

双分支结构：分工明确的 “价值分析员”

V(s) 分支

目标：评估“状态本身的价值”，不考虑具体动作。例如，在“游戏角色站在能量道具旁边”的状态，V(s)衡量这个状态潜在的整体收益（无论捡道具还是不捡，先评估状态基础价值）。

输出：一个标量（单一数值），代表状态 s 的价值。

Adv(s,a) 分支：

目标：评估每个动作的“相对优势”。例如，在上述状态下，“捡道具”这个动作比“不捡道具”好多少，优势通过Adv(s,a) 体现。

输出：向量，每个元素对应一个动作的优势值。比如游戏有 4 个动作，就输出 4 个数值，分别表示每个动作的优势。

更新机制：为何能 “一次性调整所有 Q 值”？

普通 DQN 的更新局限：

传统 DQN 更新时，只针对选中的动作调整 Q 值。例如在状态 s 下选动作 a，仅更新 Q (s, a)，其他动作的 Q 值不受影响。Dueling DQN 的更新优势：由于Adv(s, a)的和为 0 的约束，网络更倾向于先调整V(s)（状态价值）。而V(s)是该状态下所有动作 Q 值的平均值，调整V(s)相当于对该状态下所有动作的 Q 值进行了一次全局更新。

举例：若状态 s 的 V (s) 从 10 提升到 12，且 Adv (s, a) 不变，那么所有动作的 Q 值都会增加 2。这种 “批量更新” 让网络学习更高效，尤其在状态价值主导决策时，能更快收敛。