腾讯光子在研项目制作人分享AI如何赋能游戏

2024年11月，腾讯游戏光子工作室群在研Future项目制作人贺志强走进中国美术学院，分享AI如何赋能游戏。本文系腾讯游戏高校公开课制作人宣讲-中国美术学院专场内容摘录。



近两三年AI在整个社会的影响力非常大，涉及方方面面。很多人都体验过AI的内容，甚至用AI工具在协助工作生产。在游戏里面，我们希望用AI去赋能游戏。所以在目前在研的项目中，我们用AI来辅助完善研发，包括AI生成舞蹈、视频AI动捕、故事引擎、AI绘画、AI建造以及AI捏脸。

视频AI动捕


先介绍AI的视频动捕。动作资源是我们做游戏用得非常多的一个资源。动作的制作过往主流的方式有两种，第一种是手K ，第二种是用动捕室物理设备进行动捕。这两种方式都会有一些缺点和门槛，第一个是制作周期非常长，第二个是成本非常贵。所以我们在想有没有可能用更低成本、更高效的方式来制作动捕？为此我们自研了一个技术，叫 AI 视频动捕。它的使用非常简单，就是用普通的手机，找一个干净的环境，大概用五到九台手机去做一个视频动作的拍摄。拍摄完了以后，导入到工具，它就可以生成我们的视频动画。再通过视频动画给游戏角色做匹配，落地到项目中使用。这个工具非常好用，尤其在快速验证一些相关玩法的时候，这个生产工具非常有效。那么 AI 起什么作用呢？AI把视频里的动作帧提取出来，同时多个摄像机能够用 AI 的方式在3D 空间进行还原，进行世界坐标系的重构。


视频AI动捕功能完成之后，我们希望把技术加以最大化，能够应用到更广泛的领域，产生更多的价值。我们跟NBA合作，把NBA的线下球赛搬到游戏里。球赛直播的观看区别于电视，它是360度无死角的观看，其次可以用游戏化的方式来表达线下比赛的内容。我们在NBA的比赛现场，搭建了九个普通的摄像机，通过视频AI动捕的能力，把比赛放到游戏世界里。

我们组织了一场线上年会，组织大家一起观看NBA比赛直播，并且围绕NBA比赛做了游戏化处理，大家进行现场竞猜。不同地区的人可以在一个场地观看比赛和互动，突破了距离限制。而且同一场比赛可以做出不同的风格呈现，比如说有人喜欢二次元，球员可以二次元化；有人喜欢科幻风，球员可以用科幻的方式呈现。同一场比赛，它的过程结果一模一样，但是它呈现出来的效果不一样。

AI生成舞蹈


我们在游戏里利用AI去丰富娱乐化的内容，比如说在房子里面要举办一场生日party，想要有一些舞蹈的环节，但这些舞蹈的环节很难去实现，因为动作多，实现成本也非常高。有没有可能用 AI 的方式生成舞蹈呢？我们做了AI舞蹈生成。它的过程很简单，就是选择任意的歌曲，通过 AI 技术将这些音乐转换成与其风格和节奏相匹配的舞蹈动画。整个过程非常快，上传加AI 处理的时长在几分钟内。

那么在家园里搞生日party，能不能邀请某个喜爱的明星出席？AI生成舞蹈也支持把舞蹈角色变成我们指定的角色，进行风格化处理，还可以落地在动物上或者生成舞蹈走位。

AI捏脸


前面介绍的是视频AI动捕和AI生成舞蹈，游戏里面经常用的还有AI捏脸。之前在捏脸的时候发现有很多用户反馈，非常喜欢某一种风格或者某一种类型的脸型或者外观，但是当动手去捏的时候，很难把它还原。所以基于 AI 的方式，我们希望能够让用户更便捷地实现。那么这种方式是什么呢？就是你通过用自然语言来表达想捏一个什么样的风格、带有什么性格的关键词给到 AI，AI自动化地帮用户去生成类似的脸型外观以及配饰等，通过这种自然语言交互的方式生成初版的样貌，再基于样貌进行微调。

AI Agent


接着是AI Agent。因为AIGC的蓬勃发展，发现它越来越智能，所以我们在想它和我们的游戏能怎么结合呢？能不能让我们的NPC变得更智能？原先我们的NPC是给它一些输入，NPC给反馈，但这些反馈的基本上是写死的代码，能做的事是有限的。那能不能让这个事情变得更加拟人化，有更大的功能和更广泛的使用？所以我们想用 AI Agent来实现我们的智能NPC。这里需要有自然语言处理能力，有记忆能力（记得住玩家聊过的事情、说话的风格和用户的性格）。其次我们希望NPC去驱动剧情发展，所以需要有行动能力，能识别指令，做对应的动作。所以我们做了类似的技术架构，把AI能力做封装，提供调用平台，做相关的技术框架封装以后给用户体验使用。



举一些例子来说明，前面提到了玩家和 NPC 之间，不管以前还是现在，它的访问方式很简单，就是玩家给输入，NPC给反馈，但有了智能NPC之后，我们希望NPC不是一个工具人，玩家和NPC之间的沟通是基于一个自然语言，或者文字或者语音。我们的故事引擎是一个大语言模型的解释器，能把这个语言转换成相应的指令，能驱动NPC 做更加丰富的表情,更多的动作反馈和更稳定的人设风格，比如律师说出来的话像律师，医生说出来的话像医生。这里涉及到表情、动作、人设、行为逻辑，这些内容都是在下面封装了一层解释器，这些解释器各自做不同的内容进行组合以后，NPC就能够有比较强的智能语感。这是我们这个故事里面运用的逻辑说明。


那怎么使用呢？为了提供一个工具和平台让用户的想法能够更快速落地，我们把故事引擎做了工具化的处理。以前面提到的生日party为例，生日party需要有主题、有故事背景，并且基于故事背景设置任务，围绕任务做相关的互动和游戏的行为。类似这个过程放在以往制作成本很高，所以我们做了AI的故事引擎能力。玩家输入故事，就能自动生成任务框架，包括任务对应的完成的条件和对应的奖励都会自动生成。如果对生成的内容不满意可以重新生成。生成完再点下一步，它会自动匹配对应的NPC角色。AI NPC的状态属性也可以做自动化设置，比如说身份、任务条件以及行为。生成后把NPC放在生日party现场它就成为一个任务NPC。玩家可以用自然语言和NPC 对话来触发任务和执行完成任务，完成任务以后再去找NPC来去交付任务和获取奖励。


NPC不是一个静态的个体，它有运动轨迹，有交互行为。我们希望这个故事引擎能够根据世界中的偶然事件、基础背景设定，系统自动生成任务和NPC交互行为。比如NPC在行走过程中被车撞了，撞到后AI会自动生成一个任务，让玩家去追踪到肇事者，并且给肇事者一点教训，玩家可以通过自然语言对话和接收任务，在完成任务后找到NPC获得奖励。整个过程是AI生成无人为干涉的。

AI在游戏里面改变玩家需求体验，给我们提供更丰富的内容。但到现在为止，还没有出现杀手级应用，现在的AI有什么问题？第一，成本。算力成本非常高。第二，性能。如果大量用户用 AI 的行为去沟通，性能是扛不住。第三，时延。NPC回复慢，不是很好的体验，对于交互是一个很大的挑战。最主要的是不可控，即便是一样的输入，输出也可能不一致，会存在细微的差别。另外AI角色的人设在游戏运行中会丢失，存在不稳定。但这些问题相信不久的将来都能解决。


来源：腾讯游戏学堂