强化学习DQN入门Demo之CartPole

# 前言 最近在入门强化学习(RL)及DQN，看了一些博文和文章，花了2天时间跑了下DQN的经典demo--**CartPole**。其中踩过一些坑，本篇文章就简单谈一谈强化学习、DQN和我跑的入门demo。 # 什么是强化学习？ 强化学习是一类算法，是让计算机实现从一开始完全随机的进行操作，通过不断地尝试，从错误中学习，最后找到规律，学会了达到目的的方法。这就是一个完整的强化学习过程。让计算机在不断的尝试中更新自己的行为，从而一步步学习如何操自己的行为得到高分。 强化学习的常见模型是标准的马尔可夫决策过程（Markov Decision Process, MDP）。按给定条件，强化学习可分为基于模式的强化学习（model-based RL）和无模式强化学习（model-free RL），以及主动强化学习（active RL）和被动强化学习（passive RL）。 它主要包含四个元素，**Agent、环境状态、行动、奖励**，强化学习的目标就是获得最多的累计奖励。 我的理解是，强化学习就是智能体（Agent）根据环境（Environment）做出行动（action）并得到反馈、奖励（reward），并根据这些反馈改进自身，以期望获得最大奖励的过程。Agent的训练是在不断的**试错**中完成的，先期对环境的行动可能是随机的，不好的行为会得到环境的惩罚，好的行为会得到奖赏，随着强化的进行，智能体的行为逐渐趋向于获得大的奖励。 # Q-Learning Q-Learning是强化学习算法中value-based的算法，Q即为Q（s，a），就是在某一个时刻的state状态下，采取动作action能够获得收益的期望，环境会根据agent的动作反馈相应的reward奖赏，所以算法的主要思想就是将state和action构建成一张Q_table表来存储Q值，然后根据Q值来选取能够获得最大收益的动作。 Q-learning的主要优势就是使用了时序差分法（融合了蒙特卡洛和动态规划）能够进行off-policy的学习，使用**贝尔曼方程**可以对马尔科夫过程求解最优策略，本文对其中算法不进行详细推导，不过强烈建议先了解下，因为后面所说的DQN基于Q-Learning的思想。 > BellMan方程：Q(s,a)←Q(s,a)+α[ r+γmaxQ(s',a')-Q(s,a) ] # DQN 深度Q网络（DQN）是将Q-learning和卷积神经网络（CNN）结合在一起，由Mnih等人在2013年首次提出: [https://arxiv.org/pdf/1312.5602.pdf](https://arxiv.org/pdf/1312.5602.pdf) 强化学习算法可以分为三大类：value based, policy based 和 actor critic。常见的是以DQN为代表的value based算法，这种算法中只有一个值函数网络，没有policy网络，以及以DDPG,TRPO为代表的actor-critic算法，这种算法中既有值函数网络，又有policy网络。 说到DQN中有值函数网络，这里简单介绍一下强化学习中的一个概念，叫值函数近似。一个state action pair (s,a)(s,a)对应一个值函数Q(s,a)Q(s,a)。理论上对于任意的(s,a)(s,a)我们都可以由公式求出它的值函数，即用一个查询表lookup table来表示值函数。但是当state或action的个数过多时，分别去求每一个值函数会很慢。因此我们用函数近似的方式去估计值函数：^Q(s,a,w)≈Qπ(s,a)Q^(s,a,w)≈Qπ(s,a) 上面说过DQN使用神经网络来近似值函数，即神经网络的输入是state s,输出是Q(s,a),∀a∈AQ(s,a),∀a∈A (action space)。通过神经网络计算出值函数后，DQN使用ϵ−greedy策略来输出action。值函数网络与ϵ−greedy策略之间的联系是这样的：首先环境会给出一个obs，智能体根据值函数网络得到关于这个obs的所有Q(s,a)Q(s,a)，然后利用ϵ−greedy选择action并做出决策，环境接收到此action后会给出一个奖励Reward及下一个obs。这是一个step。此时我们根据Reward去更新值函数网络的参数。接着进入下一个step。如此循环下去，直到我们训练出了一个好的值函数网络。附上论文原文算法伪代码：  * **简单来说，DQN就是用神经网络代替Q-Learning中的求Q值函数** # CartPole Demo ## 前期工作 好了，目前为止，已经介绍了前期的一些概念，下面我们直接从经典入门项目CartPole开始，简单实现一下DQN，CartPole项目介绍详见gym官网：[http://gym.openai.com/](http://gym.openai.com/) 简单来说它是一个学习控制倒立摆的游戏，我们先通过`pip install gym`安装python的gym模块，再在项目中导入gym模块。  [项目演示视频](http://183.207.33.39:9011/s3-us-west-2.amazonaws.com/c3pr90ntc0td/rl-gym-doc/cartpole-no-reset.mp4) ## 算法设计 如上图所示，为了让倒立摆能稳稳地竖立，我们需要控制底座的移动，这正好对应我们上文提到地action，即对环境产生地动作。在本例中，action有0，1两个值，对应左移和右移。对环境做出动作以后，environment会返回reward和state'(下一个状态)，state表示当前状态。我们构建神经网络，用于接受环境当前状态state，输出为action（0/1），另外还需要一个ReplayMemory数据结构用于存放从环境接受到的四元组：state,action,reward,state_。损失为 loss=y-Q(s,a)=[r+γ*maxQ(s',a')-Q(s,a)]²，loss function选用MSE。 ## 核心代码 下面为模型训练代码： ```python def train(eval_net, target_net, replay_memory, batch_size, optimizer): # copy eval net parameters to target net according to update freq if train_count % target_update_freq == 0: print('Copy eval net parameters to target net') target_net.load_state_dict(eval_net.state_dict()) # get batch samples samples = replay_memory.get_random_samples(batch_size) # convert numpy data to tensor batch_state = Variable(torch.FloatTensor( samples[:, :4]), requires_grad=True) batch_action = Variable(torch.LongTensor( samples[:, 4].astype(int))) batch_reward = Variable(torch.FloatTensor( samples[:, 5]), requires_grad=True) batch_state_ = Variable(torch.FloatTensor( samples[:, 6:]), requires_grad=True) # calculate value of 'Q' and 'target Q', Bellman: Q(s,a)=r+γ*maxQ(s',a') q_eval = eval_net(batch_state).gather( 1, batch_action.unsqueeze(1)).view(batch_size) q_target = batch_reward+GAMMA*target_net(batch_state_).max(1)[0].detach() # calculate loss and update gradients # loss=y-Q(s,a)=[r+γ*maxQ(s',a')-Q(s,a)]² loss = F.mse_loss(q_eval, q_target) optimizer.zero_grad() loss.backward() optimizer.step() ``` 完整代码详见： [https://github.com/ivanwhaf/DL/blob/master/gym_demo.py](https://github.com/ivanwhaf/DL/blob/master/gym_demo.py)