强化学习：通过试错学习最优策略---示例：使用Q-Learning解决迷宫问题

news2024/10/2 8:19:56

强化学习（Reinforcement Learning, RL）是一种让智能体（agent）在与环境交互的过程中，通过最大化某种累积奖励来学习如何采取行动的学习方法。它适用于那些需要连续决策的问题，比如游戏、自动驾驶和机器人控制等。

强化学习的关键概念

代理 (Agent): 学习并作出决策的实体。
环境 (Environment): 代理与其交互的世界。
状态 (State): 描述环境中当前情况的信息。
动作 (Action): 代理可以执行的行为。
奖励 (Reward): 环境对代理行为的反馈，用于指导学习过程。
策略 (Policy): 决定给定状态下应采取何种动作的规则。
价值函数 (Value Function): 预期未来奖励的估计。

示例：使用Q-Learning解决迷宫问题

将通过一个简单的迷宫问题来展示如何实现一个基本的强化学习算法——Q-Learning。在这个例子中目标是让代理找到从起点到终点的最短路径。

环境设置 我们首先定义迷宫的结构。假设迷宫是一个4x4的网格，其中包含墙壁、空地以及起始点和终点。

import numpy as np

# 定义迷宫布局
maze = np.array([
    [0, 1, 0, 0],
    [0, 1, 0, 0],
    [0, 0, 0, 1],
    [0, 0, 0, 0]
])

# 定义起始点和终点
start = (0, 0)
end = (3, 3)

# 动作空间
actions = ['up', 'down', 'left', 'right']

Q-Learning算法实现

# 初始化Q表
q_table = np.zeros((maze.shape[0], maze.shape[1], len(actions)))

# 参数设置
alpha = 0.1  # 学习率
gamma = 0.95  # 折扣因子
epsilon = 0.1  # 探索概率
num_episodes = 1000  # 训练回合数

def choose_action(state, q_table, epsilon):
    if np.random.uniform(0, 1) < epsilon:
        action = np.random.choice(actions)  # 探索
    else:
        action_idx = np.argmax(q_table[state])
        action = actions[action_idx]  # 利用
    return action

def get_next_state(state, action):
    row, col = state
    if action == 'up' and row > 0 and maze[row - 1, col] == 0:
        next_state = (row - 1, col)
    elif action == 'down' and row < maze.shape[0] - 1 and maze[row + 1, col] == 0:
        next_state = (row + 1, col)
    elif action == 'left' and col > 0 and maze[row, col - 1] == 0:
        next_state = (row, col - 1)
    elif action == 'right' and col < maze.shape[1] - 1 and maze[row, col + 1] == 0:
        next_state = (row, col + 1)
    else:
        next_state = state
    return next_state

def update_q_table(q_table, state, action, reward, next_state, alpha, gamma):
    action_idx = actions.index(action)
    best_next_action_value = np.max(q_table[next_state])
    q_table[state][action_idx] += alpha * (reward + gamma * best_next_action_value - q_table[state][action_idx])

# 训练过程
for episode in range(num_episodes):
    state = start
    while state != end:
        action = choose_action(state, q_table, epsilon)
        next_state = get_next_state(state, action)
        
        # 假设到达终点时获得正奖励，否则无奖励
        reward = 1 if next_state == end else 0
        
        update_q_table(q_table, state, action, reward, next_state, alpha, gamma)
        
        state = next_state

# 测试最优策略
state = start
path = [state]
while state != end:
    action_idx = np.argmax(q_table[state])
    action = actions[action_idx]
    state = get_next_state(state, action)
    path.append(state)

print("Path from start to end:", path)