[强化学习笔记专题(二)]Nature DQN

DQN (Nature)
一、 算法流程：
定义可配置参数
episode 数量 M
最大仿真时间 T，$\epsilon-greedy$参数$\epsilon_{low}$,$\epsilon_{high}$
batch size $N​$
折扣率 $\gamma$，学习率 $\alpha$等优化器参数
Soft update 频率 $C​$

初始化
初始化 replay buffer 大小N
初始化 Q 网络 $Q​$ ，使用随机权值 $\theta​$
初始化 TargetQ 网络 $\hat{Q}$ 权值 $\theta^-$，使用 Q 网络的权值 $\theta$

DQN 一个Episode的流程
使用 $\epsilon-greedy$ 策略 选择一个 action $a_t$
执行当前 action $a_t$， 获取下一个状态 $s_{t+1}$ 和 reward $r_{t}$
将当前状态$s_t$赋值为下一个状态 $s_{t+1}$
将五元组$\langle s_t,a_t,r_t,s_{t+1},done \rangle $存入 replay buffer $D$
训练Q网络$Q​$:
[Pre-condition]训练网络的前提是 replay buffer 的已有五元组数量大于 batch size $N$
从 replay buffer $D​$中随机选取 batch size $N​$条数据$\langle s_j,a_j,r_j,s_{j+1},done\rangle​$ $D_{selected}​$
计算目标Q值$y​$， $y​$是一个向量，${y_j \in y |j\in[0,N]} ​$，大小为 batch size $N​$
当 $D_{selected}​$[j] 中 $done=True​$ 时，即终局状态，此时 $y_j=r_j​$
当 $D_{selected}$[j] 中 $done=False$ 时，即非终局状态，此时$y_i=r_j+\gamma max_{a’}\hat{Q}(s_{j+1},a’;\theta^-)$， 注意这里是用的 TargetQ 网络进行的

使用优化器进行梯度下降，损失函数是(一个batch里面) $(y-Q(s,a;\theta))^2​$，注意这里使用的是Q网络进行，来让计算出来的目标Q值与当前Q网络输出的Q值进行MSE
每 $C$ 次 episode，soft update 一次 target net 参数，$\theta^- = \theta$

不断迭代Episode流程$M$次

二、对应代码完整代码地址：

初始化
初始化 replay buffer 大小N
初始化 Q 网络 $Q$ ，使用随机权值$\theta$
初始化 TargetQ 网络 $\hat{Q}$ 权值 $\theta^-$，使用 Q 网络的权值 $\theta$

$\epsilon-greedy$ 策略 定义，这里对$\epsilon$进行一个随时间步的迁移而减小的策略，使其动作选择的不确定性逐渐减小。

Replay buffer的定义

Q网络训练

Soft update

三、实验结果环境 cart-pole-v0 (期望回报是200)

四、DQN参考论文流程：
五、Double DQNDQN存在的问题是Q function容易过拟合，根据状态 $s_{t+1}$ 选择动作 $a_{t+1}$ 的过程,以及估计 $Q(s_{t+1},a_{t+1})​$ 使用的同一个Q net网络参数，这可能导致选择过高的估计值，从而导致过于乐观的值估计。为了避免这种情况的出现，可以对选择和衡量进行解耦，从而就有了使用 Double DQN 来解决这一问题。
Double DQN与DQN的区别仅在于$y$的求解方式不同，Double DQN根据Q网络参数来选择动作$a_{t+1}$,再用Target Q网络参数来衡量$Q(s_{t+1},a_{t+1})$的值。
反映在代码上，就是训练的时候选择Q的时候有点变动：

六、DQN，DDQN实验结果对比可以看到DoubleDQN的表现比 DQN稳定

七、 Dueling DDQN八、 Dueling DQN, DDQN, DQN对比