游戏AI再上新高度！网易互娱AI Lab斩获IJCAI Olympic AI竞赛冠军！

近日，国际人工智能联合会议（International Joint Conference on Artificial Intelligence, 简称为IJCAI 2023）公布了本届Olympic AI竞赛的获奖名单，来自网易互娱AI Lab的团队“SSJL”在初赛和复赛中分别以1540.51分和1412.73分的成绩高分领跑，最终凭借1451.06的综合积分击败了其他38支参赛选手，并断崖式领先第二名143.82分，夺得冠军。网易互娱AI Lab已将此类游戏AI相关的技术方案应用于自研的AIxGameMaster游戏AI解决方案中，助力游戏开发设计。

IJCAI 迄今已举办30多届，作为人工智能领域规模最大、影响力最大的国际性学术会议之一，每年都会吸引全世界众多学术界和工业界的科研工作者参与。本届IJCAI Olympic AI竞赛将六个经典的运动项目封装成游戏环境供参赛者训练智能体，这6个游戏包括跑步、相扑、桌球、桌面曲棍球、冰壶和足球。参赛者需要开发出能够同时参与6个运动项目的智能体，比赛难度不容小觑。首先，此次竞赛不仅汇集了来自全球的顶尖的39支参赛队伍，其中包含一支曾在往年夺取过冠亚军的强劲对手，竞争十分激烈；其次，如何在特定场景下训练出可成功应对多款项目的智能体、解决游戏AI的泛化性问题，也是考验团队的一大难题；最后，由于智能体的可观测信息被限制在周围的有限范围内，其如何能在瞬息万变的比赛进程中，快速凭借少量信息进行决策，这也对智能体的强度提出了挑战。


针对上述挑战，网易互娱AI Lab仅用一个月的时间，便根据内部自研框架研发出了具有高强度的AI智能体。该训练框架基于强化学习算法，结合了最新的多样性模型池理念和多风格训练范式，对比其他队伍所采用的普通自博弈配合历史模型池的智能体训练方法，该框架拥有更强的泛化性，更丰富的策略性和更高的技能强度。

• 更强的泛化性：在面对不同场景的比赛环境，网易互娱AI Lab的智能体AI都有十分优异的表现，例如，在桌球场景中，AI可以规划出最优的路径，在最短的时间内将己方的球全部击入袋中；而在桌面曲棍球场景中，虽然视野受限，但AI仍然可以预测球的前进路径，准确将球从远侧推入对方球门，体现了智能体在不同场景之下的优异泛用性。
• 更丰富的策略性：该训练框架独有的多风格训练方式令该智能体的策略丰富度显著上升，且可以随时进行调节。例如，AI在领先时会继续保持原有步调稳中求胜，而在落后时会通过攻击对方，令对方智能体产生较大失误，从而抓住机会获得胜利。
• 更高的技能强度：借助该框架所训练出的智能体，避免了强化学习领域棘手的“非传递性”问题，即它在一个训练环境中学到的策略可以直接应用于类似但不同的环境之中，因此，智能体能够持续稳定的学习，训练出更高的技能强度，学习不同的环境策略。
  

随着游戏行业的不断壮大和玩家需求的不断提高，游戏AI成了游戏产业的重要组成部分。但目前来说，游戏AI的表现还有许多不足，包括游戏AI的决策能力、行动规划能力、协同能力等方面，很多对局中的AI会被玩家一眼认出，从而大大影响玩家整局的游戏体验。而网易互娱AI Lab借助本次大赛所使用的技术方案自研的AIxGameMaster智能游戏AI系统，或许提出了相应解决方案。该系统可以通过强化学习算法来不断提升AI强度，让AI也可以做出逼近决策、控制问题的最优解，从而做出远超职业选手的游戏操作。同时，AIxGameMaster所训练出的游戏AI强度可控，投入游戏场景中后，可以根据玩家的游戏段位来调节自身强度，让玩家感受惜败或险胜的游戏体验，从而增加用户粘性，提高游戏留存。

网易互娱AI Lab成立于2017年，一直将游戏AI作为核心研究课题之一，团队不断拓展新的研究成果同时，也在力求将游戏AI更好地应用到游戏中去，进一步提升玩家的游戏体验。同时，团队也希望能够将其拓展至游戏外的更多应用场景，向通用型人工智能进一步探索和迈进。