网站开发具体做什么的,商贸有限公司名称大全,驾校网站建设费用,下载一个网站来源#xff1a;本文经公众号「雷克世界」授权转载#xff08;微信号#xff1a;ROBO_AI#xff09; 作者#xff1a;DeepMind 编译#xff1a;嗯~阿童木呀、多啦A亮 概要#xff1a;在将强化学习#xff08;RL#xff09;扩展到复杂序列决策问题#xff08;sequen… 来源本文经公众号「雷克世界」授权转载微信号ROBO_AI 作者DeepMind   编译嗯~阿童木呀、多啦A亮 概要在将强化学习RL扩展到复杂序列决策问题sequential decision-making problems上现如今的许多成功都是由Deep Q-Networks算法带来的Mnih等人于2013年2015年提出。 相信那些时刻关注深度强化学习的人士都知道深度强化学习社区已经对DQN算法进行了若干次独立的改进。但是目前尚不清楚这些扩展中的哪些是互补的同时可以有效地组合在一起。本文研究了DQN算法的六个扩展并对其组合进行了实证研究。我们的实验表明从数据效率和最终性能方面来说该组合能够在Atari 2600基准上提供最为先进的性能。我们还提供详细的消融研究结果ablation study该研究结果显示了每个成分对整体性能的影响。   图1在57 Atari游戏中中等人类水平的表现。我们将我们的集成智能体彩虹色与DQN灰色以及六个已发布的基准进行比较。需要注意的是在700万帧之后我们会得到与DQN的最佳性能匹配超过4400万帧内的任何基线并且显著地提高了最终性能。曲线平滑且移动平均值超过5点。 介绍 在将强化学习RL扩展到复杂序列决策问题sequential decision-making problems上现如今的许多成功都是由Deep Q-Networks算法带来的Mnih等人于2013年2015年提出。它将具有卷积神经网络的Q-learning与经验回放experience replay组合在一起使其能够从原始像素点中学习如何以人类水平的水平玩Atari游戏。从那时起人们开始提出许多扩展版本以提高其速度或稳定性。 双DQNDDQNvan HasseltGuez和Silver于2016年提出通过对bootstrap action的解耦选择和评估解决了Q-learning的高估偏差van Hasselt 等人于2010年提出问题。优先化经验回放Prioritized experience replaySchaul等人于2015年提出通过更频繁地回放那些有更多值得学习的转换来提高数据效率。竞争网络dueling network架构Wang等人于2016年提出通过分别表示状态值和操作优势以进行跨操作泛化。正如在A3C中使用那样从多步bootstrap目标中学习将改变“偏差—方差”的平衡并有助于将新观察到的奖励更快地传播到早期的访问状态。分布式Q-learning学习了一种折扣回报的分类分布而不是对平均值进行评估。噪声DQNNoisy DQN则使用随机网络层进行探索。而这个清单也理所当然不是详尽无遗的。 这些算法中的每一个都可以独立地实现显著的性能改进由于它们是通过解决根本不同的问题来实现的并且由于它们是建立在一个共享的框架上的所以它们很有可能会被组合在一起。在某些情况下这已经做到了这一点优先化DDQNPrioritized DDQN和竞争DDQNdueling DDQN都使用双向Q-learning而竞争DDQN也与优先化经验回放组合在一起。 在本文中我们提出研究一种结合了上述所有成分的智能体。我们的研究结果展示了这些截然不同的想法是如何被组合在一起的而且它们确实在很大程度上是互补的。实际上从数据效率和最终性能方面来说在Arcade学习环境Bellemare等人于2013年提出中他们的组合使得57 个Atari 2600游戏中最先进的基准测试结果。在最后我们展示了消融研究的结果以帮助了解不同成分对整体性能的影响。 讨论   我们已经证明DQN的几个改进可以被成功地整合到一个单一的学习算法中以达到最先进的性能。此外我们已经表明在集成算法中除了一个成分之外所有成分都提供了明显的性能优势。还有更多的算法成分我们无法都包含这将是对一体化智能体进一步实验的有希望的候选成分。在许多可能的候选成分中我们将在以下内容中讨论几个。   我们在这里重点关注Q-learning系列中基于值的方法。我们没有考虑到纯粹的基于策略的强化学习算法例如置信域策略优化trust-region policy optimisation Schulman等人于2015年提出也没有考虑到actor-critic方法Mnih等人于2016年提出 ODonoghue等人于2016年提出。    图4所有57个Atari游戏的独立智能体ablation agents性能下降测试。性能是学习曲线下的面积相对于Rainbow智能体和 DQN进行了规则化。其中DQN超越Rainbow的两种游戏被剔除了。导致性能下降最严重的成分在每个游戏中都被高亮显示了。删除优先级和多步骤学习在大多数游戏中造成的性能影响最大不过每个成分在不同游戏中的影响各有差异。   许多算法利用一系列数据来提高学习效率。优化收紧Optimality tighteningHe等人于2016年提出使用多步回归来构造额外的不等式边界而不是使用它们代替Q-learning中使用的一步1-step目标。资格迹Eligibility traces允许在n-step回归上进行软性组合Sutton等人于1988年提出。然而序贯法sequential methods比Rainbow中使用的多步目标更能计算每个梯度的计算量。此外引入优先级序列重放提出了如何存储、重放和优先顺序的问题。   情景控制Episodic control Blundell等人于2016年提出也着重于数据效率并被证明在某些领域是非常有效的。它通过使用情景记忆作为补充学习系统来改善早期学习能够立即重新制定成功的动作序列。   除了噪声网络许多其他的探索方法也可能是有用的算法要素在这些自助式DQNBootstrapped DQNOsband等人于2016年提出、内在动机intrinsic motivationStadieLevine和Abbeel 等人于2015年提出和基于数量的探索Bellemare等人于2016年提出中。这些替代成分的整合是进一步研究的成果。   在本文中我们将重点放在核心的学习更新上而无需探索其他计算架构。并行副本环境的一部学习如在A3CMnih等人于2016年提出、GorilaNair等人于2015年提出或进化策略Salimans等人于2017年提出中可以有效加速学习至少在执行时间方面。但是请注意它们的数据效率较低。   分层强化学习Hierarchical RL也被成功应用于几个复杂的Atari游戏。在分层强化学习的成功应用中我们强调了h-DQNKulkarni 等人于2016年提出和Feudal网络Vezhnevets等人于2017年提出。   通过利用诸如像素控制或特征控制Jaderberg等人于2016年提出、监督预测Dosovitskiy和Koltun于2016年提出或后继特征Kulkarni等人于2016提出等辅助任务也可以使状态表现更加有效。   为了评估Rainbow相对于基准线的公平性我们遵循了对剪裁奖励、固定动作重复和帧叠加的常规域修改但是这些修改可能会被其他学习算法改进。波普艺术规范化Pop-Art normalizationvan Hasselt等人于2016年提出允许删除奖励剪裁同时保持类似的性能水平。精细的动作重复Fine-grained action repetitionSharmaLakshminarayanan和Ravindran 等人于2017年提出能够学习如何重复动作。一个循环状态网络Hausknecht和Stone等人于2015年提出可以学习时间状态表示代替观察帧的固定堆叠。一般来说我们认为将真实游戏暴露给智能体是未来研究具有前途的方向。