提升游戏品质的魔法！解析海外发展了20多年的动作捕捉技术丨N.GAME

2022N.GAME网易游戏开发者峰会于4月18日—21日在线上举行， 在“技术驱动场”，Quantic Dream动作捕捉总监Benjamin Diebling（本杰明·迪布林）对动作捕捉技术进行了解析。本杰明在分享中详解了动作捕捉技术的类型、方法、流程及其优劣势。他指出，尽管动捕看上去是一个复杂和昂贵的流程，但它实际上是制作自然的人形动画的最好方法，而且时间也是最短的。


以下是分享实录：

大家好，我是本杰明·迪布林，Quantic Dream的动作捕捉总监，负责现场指导、动捕演员和特技团队，为我们的游戏录制CG和角色动画。今天，我想和大家聊一聊动作捕捉这门艺术、及其背后的技术，那让我们开始吧!


Quantic Dream在动捕方面的历史，可以追溯到90年代中期，我们工作室开发的第一款游戏叫《恶灵都市》，它是游戏动作捕捉的先驱了。在当时，我们的游戏总监和创始人大卫·凯奇用动捕录制人物躯干动画，用于制作战斗和动作场景，以及过场动画。

到了2000年，Quantic Dream决定搭建自己的拍摄场地，我们拥有了独立的场地，配备了专业摄像机，尽管该技术仍处于起步阶段。我们的第二部作品《幻象杀手：靛蓝预言》广泛使用了动捕。

经过多年的发展，通过《暴雨》和《超凡双生》，我们的动捕设备换成了全身表演捕捉，可以完整录制演员表演，而不仅仅是捕捉身体动作。现在，我们几乎每天都会用到这套设备，用于我们自己的游戏以及第三方项目。

动作捕捉的艺术可以分为两类：第一种捕捉身体动作。这是经典的动捕流程：捕捉身体、胳膊、腿部、头部，甚至是手指动作。第二种表演捕捉包括面部和声音的捕捉。


那么，我们用动作捕捉做些什么呢？最明显的答案当然是「CG动画」 ，这是表演捕捉最常见的用途。演员的完整表演被转化成游戏过场动画，当然，动捕也可以做成躯干动画和动作模板。要实现我们游戏中的角色移动，会有现实中的演员在场地录制和游戏中完全相同的动作。然后，我们还负责预告片和电影的动作捕捉。


关于动捕和关键帧动画如何取舍，并没有所谓的对错，两种技术都有自己的优缺点。尽管在Quantic Dream，我们一直倾向于动作和表演捕捉，因为它可以帮我们高效、准确地产出我们想要的效果。有了动作捕捉，可以实时得到结果，减少后期制作工作，它还能完美地匹配演员的表演和导演的构思。我们的游戏是动画和故事驱动的，正好看重这些优点，而且我们拍摄现场可以最多同时拍12个人。另一方面，关键帧动画成本更低，但它耗时更长，自然的动画效果也比较难做好。

因为Quantic Dream不断在追寻接近现实的效果，工作室早期就对动捕技术进行了投资。Quantic Dream的动捕场地是欧洲最大之一，可以在长宽高11×6×4米的体积中捕捉数据，我们配备了73台Vicon T160光学摄像机和几台参考相机，确保一点细节都不错过。动作捕捉的基本原理是摄像机记录演员衣服上的标记点，把身体上的56个标记转换成空间数据，即使是最微小的身体动作，也能被实时追踪到。进行表演捕捉的时候，我们会加一个头盔，上面有头戴式摄像机和话筒，面部和眼球运动数据会导入到后期制作软件进行处理。


而当场地不够宽的时候，我们还有一套独立的动捕服，不需要摄像机就可以捕捉三维数据，这个方案没有那么精确。但如果我们需要拍摄一个动作场景，比如一个角色远距离跑动，那这项技术还是可以完美配合我们现场的其他设备。而操控整个动捕系统，只需要一个人就可以了，当然有一个完整的团队会更容易。


核心动捕团队由三个人组成，也可以根据需要增加。我们还有一个道具团队以及音效和动画团队，会和动作捕捉团队紧密合作。几乎所有Quantic Dream工作的人，都会时不时和动捕团队打交道，可以说它就是工作室的心脏！


拍摄过程会从游戏设计文档开始，由游戏总监和文案团队提供，它定义了每个角色要做的各种动作，哪个项目、哪个场景中出现，都写清楚了。我作为导演，参照这个叙事文档，就可以想象这些角色需要哪些肢体语言，他们的情绪是什么、动作是怎样的、能实现哪些运动类型等等。

确定这些之后，就需要筛选演员，然后进入拍摄流程，这些步骤也是固定的。动作捕捉团队首先要校准光学摄像机，确保信号同步，系统运行顺畅，然后我们给演员穿上特制服装上面有标记点，接着进行一段规定动作，我们叫「动作范围」"R.O.M."，类似一段舞蹈，用来校准和求解骨架。骨架就是表示身体躯干的数据集合，它可以准确反映演员在片场表演的动作。

当这些前置步骤完成后，我们就可以开始拍摄了，交付过程也是非常具体的。一个场景拍完之后，我们会得到一个点阵云，每个点都是3个光学摄像机记录到的标记点的空间坐标。动捕团队负责清理这些数据，把它们转换成骨架关节点，然后再把求解好的骨架发给动画团队，动画团队将这些数据应用到游戏角色上。


再简单介绍一下道具组，我们有一个专门的团队来制作道具，用来模仿现实生活中的实物感觉。道具形态可以很自由，但上面至少要有4个标记点。对这些道具的唯一要求就是，尽可能地接近游戏中的3D资源，比如角色在打电话，或者在开车，那么道具必须符合手机或汽车方向盘的尺寸。道具还可以用来模拟场景中的三维空间，让演员要在特定的空间内移动，比方说角色要穿过一个满是家具的房间，那么现场需要复制房间和家具，让演员可以根据美术和关卡设计同事的设想进行移动。


现在，你了解了我们的技术还有我们动作捕捉的流程，让我们回答一些常见问题吧。

不同的动作捕捉有什么区别？游戏和视频/预告片/电影动捕有什么不同吗？

本杰明：事实上基本没有。比如我们Quantic Dream，我们的场地可以拍视频、预告片、电影和游戏，从创作和技术的角度来说是完全一样的。

对于非人形/动物的动作捕捉 有什么比较好的方案吗？行业和学界面临的主要挑战是什么？

本杰明：我们的动捕舞台可以捕捉各种东西，大象、老鼠、蜘蛛 等等，我们可以捕捉一切，所以这个问题，我们更多考虑的是 "想不想捕捉一切"，作为导演，我觉得人肯定比大象更容易动捕。

那不同的动画风格需要不同的动捕技术吗？

本杰明：并不需要，舞台风格更多的是选角问题而不是技术问题。制作不同的动画风格，需要的技术是完全相同的。

捕捉数据时，我们可以做些什么来提高准确性？

本杰明：其实我们拍摄的所有东西都达到了相同的质量水平。比如我们拍摄动作模板，或者拍摄一连串动作序列产出的结果和质量水平都是相同的。

怎么指导动捕演员来取得更好的效果？

本杰明：这其实就是我的工作。作为导演，我会指导动捕拍摄现场，就像拍电影或演舞台剧一样，我会为演员和表演者营造良好的情感氛围。还有一个建议，在挑选演员或表演者时，最好找一个和角色个性DNA相似的人。

动作捕捉团队可以做些什么，在游戏早期制作过程中来提升游戏的美术效果？

本杰明：这是个蛮有趣的问题！这些都需要缜密的规划，提前准备就是诀窍。当你到了动捕舞台上，如果你准备得很充分，你就可以在舞台上即兴创作和表演，但如果你没有准备，你没有一个好的规划，一切都是混乱的，那制作效果肯定就不太好了。所以要做好准备，提前规划和安排。


总结

最后总结一下，尽管动捕看上去是一个复杂和昂贵的流程，但它实际上是制作自然的人形动画的最好方法，而且时间也是最短的。现实中人可以做到的动作，通过这种技术，都可以复现到游戏动画中。而且我们可以实时拍摄了，无论动画需要是多么复杂。

当然，动作捕捉和表演捕捉也是还原游戏设计师构想的最佳方式，真人表演会给动画加入额外的灵魂火花，在动捕片场说的话做的动作，都可以变成游戏动画，这就是为什么我们的游戏有一种人性和自然的感觉。只要有一个好故事和强有力的艺术指导，即使是天马行空的想象，我们也可以把它变成现实。

感谢大家的关注，希望这个动作捕捉技术的介绍对你有帮助！再见！

N.GAME是由网易互娱学习发展举办的一年一度行业交流盛事，至今已成功举办七届。本届主题为“未来已来The Future Is Now”，邀请了20位海内外重磅嘉宾、高校学者汇聚一堂，共享行业研发经验、前沿研究成果和未来发展趋势。