快讯 | 详情

超参数科技首次发布游戏AI进展,与西山居合作打造3D生存类游戏AI“猎户座α”

原文链接 2019-12-13
近日,聚焦人工智能+游戏赛道的初创公司超参数科技,首次对外发布其在游戏领域的进展。在西山居研发中的吃鸡类游戏《荣耀之海》里,由超参数科技和西山居合作的3D生存类AI“猎户座α”,通过从零开始的强化学习训练,具备了复杂3D环境感知、物资搜索/使用、作战、团队配合等能力,展现出广阔的应用前景。

超参数科技成立于2019年初,由原腾讯AI Lab总经理、T4技术专家刘永升创立,已获得晨兴资本、高榕资本投资的A轮融资。团队成员包括来自腾讯AI Lab和IEG游戏的多位人工智能科学家、技术骨干,以及海内外顶尖院校的精英伙伴。在腾讯期间,刘永升与核心团队主导了围棋AI“绝艺”、王者荣耀AI“绝悟”的研发工作。

成立以来,超参数科技主攻深度学习、强化学习、大系统工程等技术领域。通过将AI能力和游戏场景进行深度结合,为棋牌类、休闲类、角色扮演类、开放生存类等不同品类的游戏公司提供人工智能解决方案,帮助游戏厂商提升开发效率、开启全新玩法,在游戏设计、开发、运营等多个环节创造价值。

近年来,游戏AI不断发展,星际、Dota2、德州扑克、麻将相继被AI攻克,但仍存在两大问题——即环境的复杂度问题和AI的拟人度问题。

基于上述两点,超参数科技判断,具有复杂3D环境、要求多人在线的3D生存类游戏将成为AI的下一大挑战。在西山居研发中的新游戏《荣耀之海》里,超参数科技训练了名为“猎户座α”的AI智能体。目前,“猎户座α”已经具备了复杂3D环境感知、物资搜索/使用、作战、团队配合等全方位的能力。

《荣耀之海》是西山居自主研发的新一代多人在线战术竞技游戏。游戏主打时下最火热的“吃鸡”玩法,百名玩家通过海上与陆上的大逃杀决出胜者。作为一款3D游戏,《荣耀之海》的复杂度相比一般2D游戏已经上了一个台阶,而吃鸡类游戏的超大地图、百人同局等要素又进一步增加了技术难度。

具体来说,AI需要处理的挑战包括:1)实时性与长期性、2)非完美信息、3)复杂的状态空间、4)复杂的动作空间、5)战略与战术、6)多人博弈。

上述这些难点也是导致行为树AI不可能做出复杂、拟人操作的主要原因。

超参数科技在本阶段的研究聚焦于一个迷你对局(mini-game)——在230米*230米岛屿上、时限6分钟内、组队2V2,最终存活的一方获胜。除这些限制外,其他游戏元素与完整游戏完全相同。

据悉,“猎户座α”采用了深度强化学习方法,从零开始,通过与环境的交互和试错,学会观察世界、执行动作、合作与竞争策略。AI没有使用任何人类玩家的对战数据,完全基于自我对战(self-play)的方式进行学习。

AI观测的状态信息包括玩家/物资的实体信息、深度图、雷达图、小地图,以及宏观标量信息。AI的动作输出分为移动方向、水平/俯仰朝向、身体姿态、物资拾取/使用、武器切换、攻击等任务,多个任务可以同时执行,形成巨大的复合动作空间。

团队介绍,每个智能体是一个深度神经网络模型,输入状态信息,输出预测的动作指令。“猎户座α”通过Transformer模型处理玩家、物资等实体信息,通过ResNet处理深度图、雷达图、小地图等图像信息,通过MLP模型处理宏观标量信息,之后通过LSTM模型实现记忆能力。为实现多智能体合作,则采用了分布式的策略网络和中心式的价值网络,并引入了策略网络之间的通信机制。

“猎户座α”的训练在超参数科技自研的通用分布式强化学习引擎Delta上进行。该引擎通过大量弹性CPU资源产生训练数据,通过GPU资源更新神经网络模型参数,并且可以通过监控组件监控AI的训练过程。在该项目中,“猎户座α”训练一天相当于人类玩家打了10万年。该引擎可以部署在任何公有云上,目前已经支持了多款游戏的AI训练。

目前,“猎户座α”从零开始逐渐学会了在3D环境中生存所需的全方位能力,包括复杂3D环境感知、物资搜索/使用、作战、团队配合等能力,展现出广阔的应用前景。

在AI的训练过程中,团队还观测到了许多与人类生存进化过程相似的地方。人类在进化过程中,先学会采集食物补充能量、应对恶劣天气,然后学会各种工具的使用,掌握记忆等高级认知能力,进而学会与族群内同伴分工合作、与其他族群竞争对抗。AI通过多智能体的自我训练的方式,也表现出了类似的进化现象。随着训练局数的增加,AI逐渐涌现出了物资搜集、物资使用、空间感知、认知能力和复杂策略等智能行为。

超参数科技表示:“我们有理由相信,AI智能体在其中学到的能力,包括3D环境感知与理解、对复杂环境变化的适应、对不确定性的评估与推理、对各种战略战术的灵活应用,以及多智能体间的竞争与合作等,一定能从虚拟反哺现实,在无人驾驶、智慧城市、医疗等更广泛的领域带来价值。”

“正如‘猎户座α’这个名字所代表的,我们希望游戏AI的研究会如同浩瀚宇宙中的明亮星光,指引人类探索光年之外的未知空间,迈向通用人工智能(AGI)的星辰大海。我们期待与更多志同道合的人一起,‘用进化演绎智能,让智能造福人类’。”