专访育碧中国数据专家：用AI工具打造NPC动物园

研究灵感来自动物动捕和AI人类姿势估计

对于游戏玩家来说，“动作捕捉”并不是什么新鲜词汇，一些有过初步了解的人脑海中还会有相关影像：真人演员穿着遍布连点器的深色皮套，四周皆是绿幕......

但实际上，“动作捕捉”技术在今天已经不再局限于人类演员身上，广大动物“演员”亦可上阵。

在去年举办的Siggraph Asia上，两位来自育碧中国的数据专家Abassin Sourou FANGBEMI和Alexis Rolland带来了题为《ZooBuilder：用四足动物视频生成3D动画》的演讲。

演讲中，他们分享了育碧中国自研的全新高科技工具“ZooBuilder”的部分信息。简单来说，该工具能够通过AI来估计动物姿态，从而得到近似动物动捕的动画数据，加速研发进程。

“我们的目标是ZooBuilder最终能适用于所有四足动物，希望凭借它来推动动画和游戏产业创新。”Alexis曾如是说道。

事实上，在游戏领域，丰富多样的动物早已成为塑造游戏乐趣不可或缺的一部分。

无论是《古墓丽影》中令人难忘的“人熊大战”，还是《孤岛惊魂》里无比逼真的野生动物生态系统，都带给了玩家直面自然生灵的刺激体验。


为进一步了解ZooBuilder技术，竞核特此约访了育碧中国数据和AI实验室经理Alexis Rolland、育碧中国数据科学家Abassin Sourou Fangbemi两位负责该项目的专家，与他们一同探寻AI技术在游戏行业的未来与发展。

从人类到动物的技术迈进

或许很多人有所不知，历史上首次有记载的“动捕”对象并非人类，而是赛马。

1872年，美国加州富豪斯坦福为验证“跑动中的马匹四蹄是否全部腾空”，邀请了英国摄影师迈布里奇进行拍摄验证。

具体方法为，将宽门与棉线相连，赛马奔跑触碰棉线后便会触动拍摄机关。16台照相机全部拍摄完毕，便能够验证结果。

该实验后来被命名为“动物实验镜”，后来也被认为是电影的起源之一。除了巧妙的构思，或许对该实验最大的观感便是——动物的动作捕捉难度极高。


时过境迁，动物动捕的难度并没有随着科技进步有太大的改善。2000年，日本游戏名厂Capcom为制作《鬼武者2》过长CG，找来了日本著名CG小组Robot进行拍摄。

整个过程异常艰难。马匹在应用当时的“穿戴式”马克点安装方式（紧身服+采集球）后，无法获得散热几近窒息。

后来改为直接黏贴采集球到马身，又由于晃动剧烈、汗液分泌导致脱落。最后，勉强在一个马术俱乐部中才完成了操作。

后来到了R星的《荒野大镖客2》，问题算是勉强得到解决：不惜投入的R星直接购买了数匹纯种马，为每一匹马的动作进行了排序，拍摄超过200次、耗时数月才完成计划，所得数据可以塞满一块硬盘。


但棘手的问题仍旧存在：马还好说，如果要动捕一些攻击性较强的动物，例如虎豹，再沿用人类那套方法，恐怕只会徒增风险，更别提他们的活动方式更加难以捉摸。

《孤岛惊魂》系列中的野生动物数量恐怕在整个游戏领域都是数一数二的存在，也正因如此，育碧对于动物动捕的替代解决方案有着更为强烈的需求。

“育碧中国为《刺客信条》和《孤岛惊魂》系列研发简单的环境动物和更为复杂的NPC动物接近10年了，”育碧中国数据和AI实验室经理Alexis告诉竞核，“我认为用科技手段实现动物研发自动化是育碧自身比较独特的一个需求。”


他表示，在《孤岛》系列中动物极大地丰富了玩家们的游戏体验，就他个人而言，并未看到很多游戏中赋予动物如此重要的角色。

同时，受到学术界和行业里利用机器学习、估计人类姿态的相关研究启发，Alexis等育碧技术专家萌生了“为什么我们不围绕动物来做这个研究呢？”

如果该项目成功，将会极大缩减动物设计的投入，也能够帮助育碧动画部分实现自动化避免重复劳动。如此动力推动之下，他们做出了“ZooBuilder”。

那么，“ZooBuilder”究竟是如何做出，又具备怎样的先进功能呢？

“三步”解决动物动捕难题

“开发过程中，人才和写作产生的合力起到了很大的作用。”Alexis在采访中表示，“这个项目是由育碧中国AI和数据实验室主导、横跨成都和上海工作室的团队，各部分的通力合作非常关键。”

具体来说，育碧中国动画团队提供了多年研发项目积攒的手K动画素材，用于培训工具AI；身处加拿大、新加坡等地的育碧数据科学家也毫不吝惜地分享了他们的研究经验，并针对项目提供意见参考。

但即便如此，研发仍旧面临诸多困难，其中就包括“生物多样性”和“AI复杂性”两项技术挑战。

“生物多样性”较好理解。动物种类何止百种，他们有着不同的骨骼、运动模式和体型，很难在短期内实现全覆盖。Alexis介绍称，目前“ZooBuilder”只针对陆地四足动物，已经攻克豹属动物模型，仍有较大研究空间。

而对于“AI复杂性”，育碧中国数据科学家Abassin Sourou FANGBEMI从数据科学家的角度表示，为了让算法模型获得最优性能，需要培训AI，对培训参数进行设置，包括学习速度、数据集大小、模型参数等等，而培训过程便近似模拟真实动捕，只不过对象存在于视频而非房间中。

而在这当中，每一个参数都会对模型的性能产生直接影响。“如果某个参数不理想，我们可能就会得到一只会‘柔术’的豹子。”Abassin打趣道。


在多方努力下，最终“ZooBuilder”的表现也没有让人失望。

“我们不需要把野兽动物塞进房间里做动捕，”Abassin说，“只需要用ZooBuilder和四足动物的2D视频，即可得到近似动捕的数据。”


具体过程可分解为三个步骤：首先通过物体探测算法来判断每一帧上的动物所在位置；之后，再使用第二个算法模型来找到动物骨骼的2D坐标；最后，使用第三个算法模型，利用2D坐标推算出3D坐标。

ZooBuilder最终将输出近似动捕数据，可用于导入生成动画文件。当然，如上文所述，该工具目前仅支持豹属动物的有效2D视频。


但育碧中国的规划正如“ZooBuilder”的项目名称一般，是覆盖领域更为广阔、生物种类更加丰富的“动物园铸造器”。


短期内仍会专注技术提升

出于对该项目困难性、复杂性的综合评估，Abassin表示育碧已将其视为长期研究规划。他还告诉竞核，育碧很愿意和其他优秀的研发机构一起攻克姿态估计领域的挑战。

竞核了解到，ZooBuilder项目此前也获得过四川大学的支持。

“我们曾经在成都举办过两场‘黑客松’，来促进数据在游戏行业的运用。”专家们表示，2019年的“黑客松”比赛获奖团队中有一名四川大学的学生，后来成为了育碧实习生并参与到了ZooBuilder项目中。

双方合作发表了一篇研究论文，获得了在“2020计算机动画研讨会”展示分享的机会。言语之间，两位专家都非常看好大学生群体“利用数据来解决游戏发展相关问题的想法”。

事实上，无论国内或是国外，以大学生为主的年轻人群体早已在游戏、科技等领域崭露头角，育碧中国的针对性招聘也从未停歇。

他们也非常诚恳地表示，未来希望能够继续和中国乃至全球具备AI研究实力的大学合作，为游戏研发生态提供切实可行的AI解决方案。

Alexis透露称，目前他们已在和一家美国知名大学探讨合作可能，该大学同样主攻动物姿态估计，是理想的合作伙伴。

但与此同时，尚未有游戏公司就ZooBuilder这一课题联系育碧相关部门。Alexis也承认，至少从目前来说，动物姿态估计的研究相较于人类姿态估计仍是过于小众了。


谈及未来，Alexis表示该项目的研发目的主要是自用，暂时没有商业化规划。至于未来ZooBuilder将会成长到何种程度，将取决于育碧本身的需求，但可以肯定的是，研究空间将越来越大。

竞核认为，该技术上升空间巨大，且如果步入成熟阶段，其可应用情景范围极广。尤其对于游戏行业来说，商业价值值得期待。

但也正如两位专家所言，ZooBuilder面临着不少研发困难，作为一项复杂的AI工具，需要很长的成长期，短期内仍旧归属于小众领域。


来源：竞核
原文：https://mp.weixin.qq.com/s/65vaVppmavsXRZ3te3OHQA