天美J3工作室亮相WAIC 2023，共话FPS游戏AI技术与跨领域科创应用

2023世界人工智能大会（WAIC）于7月6日-8日在上海举办，全球人工智能领域的领军学者、多位图灵奖及诺贝尔奖得主、知名科技企业代表、国际组织代表等齐聚，分享及探讨人工智能技术的新成果、新机遇、新挑战。大会第三天，由上海市徐汇区人民政府指导，腾讯游戏、腾讯华东总部主办，上海西岸开发（集团）有限公司支持的“游戏AI应用与游戏科技论坛”顺利举办。诸多游戏行业嘉宾与会，共同探讨AI科技在游戏行业中的技术积累与愿景，展示AI技术在不同游戏品类中的创新拓展案例，及AI+游戏工具在跨界领域的应用发展。

本次论坛中，腾讯游戏天美J3工作室 CoDM、逆战手游开发负责人于栋，以《FPS游戏的AI应用与跨领域科创探索》为题进行了分享，重点阐述了J3工作室在FPS 游戏的拟人 AI 与智能体动作生成技术的研发突破，以及相关技术在跨领域助力科技创新层面的运用与畅想。


十年深耕FPS领域 J3布局品类技术新突破

天美J3工作室是腾讯游戏天美工作室群旗下射击游戏研运工作室，已带给玩家多款耳熟能详的枪战游戏作品，积淀了扎实的FPS领域研发实力。2015年，J3推出《穿越火线手游》，上线即快速抢占移动端射击游戏市场。2019年，J3与动视暴雪联合研发的《使命召唤手游》全球发行，并陆续获得包括TGA年度最佳移动游戏在内的多项海内外行业大奖。而早在2012年，J3团队前身、腾讯游戏旗下琳琅天上工作室（后与天美艺游工作室合并）的自研射击团队便推出了腾讯首款自研全模式射击网游《逆战》，这也是国产自研FPS网游的领军之作。目前，仍有多款新游在J3的研发进程中，2022年，《逆战》IP的UE4科幻PVE射击新游戏《逆战手游》也首次曝光。


而说回AI技术，尤其是深度学习的发展，无疑为游戏行业研发流程及玩家体验提升路径开辟了众多新的可行性。然而，由于FPS游戏往往采用3D立体场景，加之游戏具备着环境复杂、非完全视野、多敌多友、环境利用多样性高等特征，都使得FPS的AI技术研究难度较2D、2.5D游戏有着数量级的增加。带着这些挑战，J3联合腾讯的AI专家团队，开启了深度学习在FPS游戏中的首创尝试。


携手腾讯AI Lab 共研行业领先FPS拟人AI

2018年起，J3工作室携手腾讯AI Lab，开启了以拟人AI为核心目标的技术探索。面对3D环境带来的AI学习复杂度挑战，腾讯AI Lab与游戏侧的联合团队共同逐步攻克了3D环境感知拟人、3D操作拟人等技术难点，率先实现了业界领先、能够解决长序列决策、进行长距离规划、具有掩体转移与利用能力的全图FPS AI方案。



2020年，《穿越火线手游》首个剧情互动+竞技的新模式“电竞传奇”上线。团队通过AI对职业选手的大量真实对局进行分析，并在游戏中模拟还原出他们的操作。就这样，CF手游的职业选手国宝、蛮蛮、阿康等人陆续被植入游戏，玩家可以随时与这些高手来一局热血沉浸的1v1。

2022年，《使命召唤手游》也上线了5v5电竞挑战赛模式。当年获得职业大师赛冠军的Q9战队，被量身定制为游戏内的AI角色，玩家可以组队挑战基于职业选手数据训练出的“AI分身”战队，体验电竞赛场上巅峰对决的竞技乐趣。



J3的在研PvE射击产品《逆战手游》，则在AI动作生成技术领域取得了一定的研发突破。PvE游戏内的战斗、成长与探索中，大量的Boss、小怪、NPC等角色的演出与战斗至关重要，这些都是向玩家提供沉浸式内容体验的核心组成部分。业内传统的动作方案主要是状态机，更多依靠庞大的行为树和动画资源堆叠而成；近年来，也有海外厂商陆续开始实践更先进高效的生成方案，比如荒野大镖客采用了动作匹配技术(Motion Matching)、FIFA 22所运用的HyperMotion等前沿探索。

逆战手游团队将动作生成的研究方向放在了ARNN（Auto Regressive Neural Network）模型，即自回归神经网络算法模型上。这是一种广泛应用于分析和处理时间序列数据的算法，经常用在天气、股市预测等场景。简单来说，如果能将其用在动作领域，就能实现通过大量真人动捕输入数据训练，让AI模型预测出的动作序列帧的下一帧，最终连贯生成完整、自然的动作。


2019年起，逆战手游联手腾讯Robotics X 实验室，基于ARNN模型的研究，开启并逐渐完成了游戏及机器人领域的交叉前沿技术——“智能体动作生成技术”研发。该技术以ARNN模型原理为基石，学习动作捕捉数据，通过数据驱动的自适应算法，让NPC或机器人能根据玩家操作或环境变化等外界不同反应，自动生成更像真实生物的动作、反应与表达。


这预计将是自回归神经网络算法在网游动作生成领域的首次真正运用落地。研发进程中，最大的难点在于，如何将算法应用于网络游戏制作的生态中：团队从零到一搭建了配套的工具链，并在动作捕捉、动画预处理、持续训练与调优三个步骤中做了大量的投入与研究。而面对网游中AI动作生成的网络同步及性能优化问题，研发人员采用了轨迹匹配技术、融合动画及相应算法层面的解决方案，优化整体效果表现和神经网络推理的开销，目前也已达到非常不错的性能测试效果。


对《逆战手游》而言，新技术的运用将伴随着更自然的游戏内基础动作表现、更精彩与沉浸的战斗体验，与此同时，该技术也能在玩家包体大小优化、研发产能提效等维度作出助力。在现场，于栋分享了一些技术效果示意，可以看到，在运用了这项技术的多小怪同屏追逐效果动画中，AI实时生成的小怪角色动作表现非常生动、多样化。


智能体动作生成技术在机器人领域的跨行业运用上，也有着非常出色的表现与进展。这项技术也同时被应用于腾讯Robotics X实验室研发的自研四足机器人Max上。一方面，它帮助着机器人提升思考能力，让其能在持续训练下实现更自然流畅的运动轨迹、更细颗粒动作的智能生成、控制与决策；另一方面，借助实时物理模拟技术，研究团队可以在游戏中快速建立逼真、复杂多样化的机器人虚拟训练场景，加上游戏引擎的加速能力，能够大幅缩短机器人的训练过程和时间。


目前，智能体动作生成技术已有若干专利在申请流程中。未来，在游戏领域，这项技术或可复用至更多写实风格游戏的整体动作生成，推动行业技术与用户体验的双重进步；而在游戏外的现实世界，随着机器人自研进程的进一步推进，它或许也有机会在科研、养老、惠民服务等跨领域行业中创造出更大的价值。


畅想FPS AI新生态 展望人工智能新时代

在本次论坛中，于栋也发表了对游戏AI技术未来发展的一些畅想。

畅想之一，是研发流程中的AI自动化测试。测试自动化程度是Devepos领域非常重要的指标，但逻辑复杂、内容丰富度高的PvE游戏如要实现工业软件级别的自动化测试，难度较高。

但在未来，当AI逐渐具备感知环境氛围能力、即时分析能力、对测试边界和条件有自主决策能力时，或许这个场景就得以成真：输入一段任务，AI便可以像真人一样在游戏执行指令、探索体验，还能生成详细的测试与反馈报告。这将大幅提升游戏测试的质量和效率，助推游戏品质的保障与提升。

另一个畅想则关于AI NPC生态，这也是近期业内非常热门的话题，比如今年就有一篇题为Generative Agents的论文，讲述了斯坦福大学和谷歌研究人员的一项“虚拟小镇”中25个AI智能体“自主生存”的实验，引发了行业内极大的关注与讨论。当AI随着逐步发展，能够拥有更强化的自然语言、行为决策及社交能力时，也许在虚拟世界构建一个真正的AI NPC自运转生态，便不是幻想。


新世代的游戏，已经站在了变革的风口。AI为游戏的开发与创造带来了广袤的想象空间，我们也期待着，在技术的演化下，国产游戏能够不断推进前沿的探索并实现突破，创造更多独特、真实而充满深度的游戏虚拟世界。而到那一天，我们也相信，游戏AI+科技必然能够打破传统场景，带来现实世界中无限跨领域科技创新的可能性。