又是一年GDC落幕。这个关乎游戏产业未来的「游戏圈春晚」，年年都是神仙打架。今年的情况可能更特别——「AI+游戏」是这一年的关键词，这是现在最前沿、最受关注的领域。所以没两把刷子的团队，可能都很难在这里分享。

　　不过中国团队还是很争气，以腾讯、网易、米哈游、字节为首，他们组团参与这个顶级盛会，就AI、渲染、跨端等多个维度与全球游戏开发者做了分享和交流；腾讯系海外全资及控股工作室Digital Extremes、拳头、Supercell等也带来近10场分享。足以见得，我们整体上在很多方面的水平确实已经上了国际牌桌。

　　这些分享中让我印象深刻的一场，是腾讯魔方技术中心AI团队负责人Elvis分享的技术：「《火影忍者》手游：针对格斗游戏大规模强化学习的优化」。它是GDC AI峰会16场主题分享中的一场，含金量相当高。研发游戏AI的团队并不少，它特别在哪儿？

　　

　　你可以这么理解：在格斗游戏领域，这是全球首次这样应用强化学习技术——在此之前，根本就没多少人尝试用三四百个机制各异的角色，去做大规模的强化学习，毕竟这训练成本想想就非常恐怖。但魔方这支AI团队花了一年多时间，就找到了高效率的解决方案，报名GDC后，这个议题也很快被官方pick了。

　　在这背后，他们到底经历了什么？我们和负责人Elvis聊了聊，发现Elvis和这支团队近年的历程还挺有趣。

　　01

　　20年经验学术大佬，加入腾讯做AI

　　我们不妨从Elvis的故事聊起：和很多人一样，他小时候的梦想是当科学家；但和大多数人不一样的是，他真的一步一步读到博士，实现了科研梦想。

　　早期他研究过游戏引擎，拿过中国发明家协会的发明银奖；读博时，他研究的专业是仿真系统；后来他又去IBM研究过超级计算机的大规模仿真系统，顺便拿了ACM的全球论文奖……后来，他就一直在海外担任大学教授，课程依然涉及游戏开发。到现在，他在物理仿真、大规模虚拟世界、游戏AI等领域的研发经验已经有20多年。

　　这样一个学术大佬，为什么选择加入腾讯做游戏AI？

　　最大的原因，可能是在高校任职多年后，他逐渐发现：梦想并不像现实那样美好。

　　Elvis说，之前在海外时，大部分高校的运作模式和他小时候的想象不太一样——「大家都很重视KPI，可能每年会给你一个棒形图作为推手，统计每个教授的文章发表数量、排名。」重视研究倒无可厚非，但关键在于，他们在申请研究经费时，往往要写上未来三年的发表量，如果某一年审核不达标，经费可能就拿不到了。

　　这一点让Elvis挺迷惑：「如果真的要做一个很有影响力的研究，你怎么可能在还没做之前就知道自己每一年能发表多少呢？你连研究是否成功还不知道呢！」特别是久而久之，许多年轻的教授都会顺着这样的规则，倾向于去做非常保守、安全，基本没什么应用场景的研究。因为考虑到经费和学校给到的压力，他们没有这个冒险的空间。

　　但Elvis可能天生是个不安分的人：他真正想做的，是更有影响力、有大规模应用场景的事。结果机缘巧合，他20多年的老朋友——魔方的技术总监，正好和他聊到了这件事。聊过后，他很快就决定加入魔方，去从头组建一支AI技术团队。

　　有腾讯的平台在，这支团队组建得不算困难，成员中既有游戏行业从业者，也有像Elvis一样的科研工作者。有意思的是，比起团队成员的实践能力，Elvis最看重的一个因素，是听起来比较虚的「热情」。

　　热情这种事要怎么测试？Elvis说，他每次在面试环节，都喜欢提两个特别的问题——为了保护「机密」，题目我不能具体描述，但你可以想象到，他提的是那种常见的开放性题目。比如经常被网友调侃的「一头牛重800公斤，一座桥承重700公斤，请问牛怎么过桥？」（仅为举例，真实题目还是更严谨一些）

　　当然，他问这个不是为了一个标准答案，或者抖机灵的回答，而是会一直问面试者：「还有没有更好的方案？有没有更好的回答？」一次一次问下去，即便说不出最优解，但只要能耐心地一直探究下去，这种热情其实就比大多数人强了。

　　02

　　一年时间，解决世界性难题

　　团队组建起来之后，Elvis面对的第一个项目，就是个艰巨的挑战。

　　这个项目，是用强化学习的方式，为《火影忍者》手游研发角色的对战AI。为什么魔方会想到做这个？Elvis说，他们并非一个纯粹的科研团队，而是贴近产品的技术团队，他们做的事都是为了解决项目组的需求。

　　而这个AI主要解决两个需求：一个是在「晓·觉醒」和「爬塔玩法」等AI挑战赛中挑战AI；另一个是因为《火影忍者》手游角色超多，光靠人力验证平衡性会很难，如果能用AI的自我对战提供大量数据参考，调整起来就会更有效率。听起来很实在，但讲真，这无论对《火影忍者》手游，还是魔方来说，都算是一个相当激进的创新。

　　强化学习和传统的行为树AI不一样，不是靠固定的动作路数来出招，也没有数值上的加成，而是要通过自博弈（Self-play）的训练方法，让AI左右互搏，模拟人类的反应、技巧，像真人一样公平地走位、玩心机、拼操作，不断提升水平。在技术层面，这倒不至于特别难。

　　

　　但对《火影忍者》手游这种类型的产品，它太难了：游戏里的角色有三四百个，每个人都有一套独立的机制、动作模组，总技能数上千。这个数量一多，训练时间和算力成本就成倍上升——「20个角色的对局要训两天，如果是400个角色，对局数起码是200多倍。你可以想象，这样训下去可能一年多才能训完一次，这是不可行的。」

　　在初期，Elvis就和团队攻坚这个难题。大概一年后，他们找到了一种巧妙的方法，直接让训练需要的时间和资源都下降了90%。

　　对这种方法，Elvis有一个比喻：「张无忌学太极剑时，张三丰让他忘记招式，我们的做法有点类似。」在传统方案中，AI要记住每个对手的技能，再一一查找ID，进而用对应的方式反击——这就好比让张无忌把天下所有门派的武功招式都记住再去打架练习，等他一遇到新的对手，又要从头学习一遍。

　　而新的方案，就是「忘记招式」——不再让AI查找技能，而是把所有技能标出详细的属性，比如XY轴的攻击范围、起手的速度、后摇时间的长短……让AI识别这些泛化的属性，把所有招式都看成同一种武功心法，用已有的经验应对。这样一来，既能省去查找和训练的时间，也不用担心遇到新角色要再次学习。

　　

　　解决了这个最大的难题，魔方在格斗游戏AI上的强化学习技术和应用，可以说已经在世界范围内领先了。《火影忍者》手游本身也很争气，已经保持了8年常青和连续增长。