sparse reward

我们不知道行动是好是坏，大多数情况下，如果r = 0，那怎么解决呢？

例如，机器人手臂将螺栓固定在螺丝上，开发人员应该定义额外奖励来指导代理（reward shaping）。

reward shaping需要有一定的领域知识。

当代理看到新的(但有意义的)东西时，获得额外的奖励。

no reward：learning from demonstration

动机

在某些任务中，即使是定义奖励也具有挑战性。手工制作的奖励会导致不受控制的行为。

没有reward的情况可以使用imitation learning

actor可以与环境互动，但奖励功能不可用。

在一些极端的情况下（expert没有遇到过），机器应该怎么做？

代理会复制每一个行为，甚至无关的动作。

Inverse Reinforcement Learning

逆向强化学习会根据expert来反推出奖励方程

简单的reward function不一定会学到简单的actor

假设老师的reward是最好的，但是也不说完全模仿老师。

原则:老师永远是最好的。

基本理念:初始化一个参与者actor，在每次迭代中，演员与环境交互以获得一些轨迹trajectories。

定义一个奖励函数，使教师的轨迹比参与者的轨迹更好。参与者学习根据新的奖励函数最大化奖励。输出奖励函数和从奖励函数中学习到的actor。

actor和GAN里面的generator很像，reward function和discriminator很像。

给机器画面学习：