1 PPO回顾

PPO算法如下：

其中，$P_{{\theta }^{\prime }}$和$A^{{\theta }^{\prime }}$都是使用由target policy${\theta }^{\prime }$采集的数据来计算，在更新了behaviour policy多次后，清空前面保存的数据；使用behaviour policy更新target policy，再由target policy重新采集数据，依次循环。
（代码实现时，target policy和behaviour policy是一个类的实例，先采集数据$\to$传播梯度n次$\to$清空数据$\to$采集数据$\to$传播梯度n次$\to$。。。）
参考easy-RL：https://github.com/datawhalechina/easy-rl/tree/master/projects/codes/PPO

2 重要性采样的前提

问题是，为什么PPO不像DQN一样将每次采集的数据存放在Replay Buffer中，不清空数据？
其实前面的图里提到了，PPO需要用到重要性采样，而重要性采样的前提是两个分布相差不大。
如果使用很久之前保存的数据计算重要性采样的优势函数$A^{{\theta }^{\prime }}$，则采集该历史数据的policy与当前需要优化的policy差距太大，就无法使用重要性采样了。

3 补充

图一中公式的第二行，为什么经过重要性采样后，$A^{\theta }$变成了$A^{{\theta }^{\prime }}$，而$\log p_{\theta }$没有写成$\log p_{{\theta }^{\prime }}$？
图中通过上标和下标的$\theta$来表示不同的意思，上标${\theta }^{\prime }$表示计算该值（$A$）的$s_t$和$a_t$是在旧分布${\theta }^{\prime }$中采样得到，下标$\theta$表示$p$是由$\theta$输出的，而计算$p$需要的$s_t$和$a_t$还是在旧分布${\theta }^{\prime }$中采样得到。