原标题：DeepMind初次在一切57款雅达利游戏上逾越人类玩家
应战雅达利游戏，一直是DeepMind的研讨日常。当地时间3月31日，这家全球最受注目的人工智能公司在自己的官方博客上宣告了应战的最新进展：在57款雅达利游戏中全面逾越人类，在该范畴里是榜首次。
57款雅达利游戏DeepMind 在最新发布的预印本论文和博客中表明，他们构建了一个名为Agent57的智能体，该智能体在街机学习环境（Arcade Learning Environment，ALE）数据集一切57个雅达利游戏中完结了逾越人类的体现。
假如Agent57真如DeepMind所描绘的那样优异，那么它将为构建愈加强壮的AI决议方案模型奠定根底。幻想一下，人工智能不光能够主动完结普通、重复性的使命（比方数据输入），还能够主动推理环境。这关于那些期望完结主动化以前进生产力的企业而言，或许便是福音。
为什么挑选雅达利游戏
让单个智能体完结尽或许多的使命是DeepMind一直以来的研讨方针，也被该公司视为迈向通用人工智能的必经之路。而运用游戏来评价智能体功能是强化学习研讨中的一个遍及做法。游戏中的环境是对实在环境的一种模仿，一般来说，智能体在游戏中能够应对的环境越杂乱，它在实在环境中的习惯才能也会越强。
这次DeepMind应战的街机学习环境中包括57款雅达利游戏，可以为强化学习智能体供给各种杂乱应战，因而被视为评价智能体通用才能的抱负试验场。
挑选雅达利游戏作为应战方针的原因首要有3点。首要，雅达利游戏满足多样化，能够评价智能体的泛化功能；其次，它满足风趣，能够模仿在实在环境中或许遇到的状况；第三，雅达利游戏是由独立的安排构建，能够尽或许的避免试验成见。
早在2012年，DeepMind开发Deep Q-Network（DQN）来应战雅达利57中游戏。DQN是雅达利2600游戏很多应战者中榜首个到达人类操控水平的智能体。期间虽然取得了前进，但经过改善后的 DQN一直没有战胜四款比较难的游戏：Montezuma's Revenge、Pitfall、Solaris和Skiing。此次新发布的Agent57改变了这一局势。
Agent57怎么完结逾越人类
DeepMind在自己的博客上发布了Agent57的结构。Agent57运用强化学习算法，一起运转在多台电脑上，这些AI赋能的智能体在环境中会挑选能够最大化奖赏的动作去履行。此前，强化学习在电子游戏范畴现已展示出了极大的潜力。OpenAI的OpenAI Five和DeepMind的AlphaStar RL智能体别离打败了 99.4%的Dota 2玩家和99.8%的星际2玩家。
Agent57的核算结构具体来说，Agent57经过将很多actor（actor能够理解为一个有状况的行为）馈入到能够采样的一个中心存储库（也称为经历回溯缓冲器）中学习，然后完结数据搜集。该缓冲器包括定时剪枝的过渡序列，它们是在与独立、按优先级摆放的游戏环境副本交互的actor进程中发生的。
DeepMind团队运用两种不同的AI模型来近似每个状况动作的价值（state-action value），这些价值能够阐明智能体运用给定战略来履行特定动作的好坏程度，这样就使得Agent57能够习惯与奖赏相对应的均值与方差。他们还整合了一个能够在每个actor上独立运转的元操控器，然后能够在练习和评价时，习惯性地挑选运用哪种战略。
DeepMind研讨团队表明，这个结构模型具有以下两大优势：榜首，得益于练习中的战略优先级挑选，它能够使得Agent57分配更多的网络容量，来更好地表征与手边使命最相关战略的状况举动值函数；第二，在评价时，它能够用一种天然的方法来挑选最佳战略。
Agent57与MuZero、R2D2和NGU等抢先算法进行了成果比照DeepMind团队将自己的算法与MuZero、R2D2和NGU等抢先算法进行了比照。其间，MuZero在悉数57种游戏中到达了最高平均分（5661.84）和最高中值（2381.51），但在Venture等游戏中体现很差，得分只到和随机战略适当的水平。
与之比较，Agent57的整体体现上限更高（100），练习50亿帧后即在51种游戏上逾越了人类，练习780亿帧后在Skiing游戏上逾越了人类。
体现优于人类之后
DeepMind团队也在官方博客中透露了团队的下一步方案。“Agent57终究在一切基准测验集最困难的游戏中都超过了人类水平。但这并不代表雅达利游戏研讨的完毕，咱们不只要重视数据功率，也需求重视整体体现……未来的首要改善或许会面向 Agent57在探究、规划和信度分配上。”论文合作者之一在官方博客中写道。
不过，关于DeepMind此次的新进展，有不少网友在网上表明祝贺，但也有人提出质疑。有人就以为Agent57体现优于人类的说法并不精确，只能说体现优于人类平均水平，由于在Montezuma's Revenge这款游戏中，Agent57并没有打破人类的最高水平。另一方面，有人以为DeepMind的研讨总是侧重于在雅达利等游戏上的功能体现，但怎么运用这种模型来处理实际国际的实际问题才更要害。
