《深空之眼》口型动画背后的技术支持

本次内容来自于CRI中国的技术讲座CRI TechSummit Live（简称CTS Live）。

CRI Lipsync是基于深度学习的语音分析技术，是一款根据声音数据自动生成自然的口型的语音解析Lipsync中间件。可以运用在游戏内的会话场景等，配合台词生成自然的口型。


目前已经日益被日本以及中国的厂商所使用，这里结合厦门勇仕的《深空之眼》案例，来解析下实际的应用。

带来分享的是《深空之眼》的技术美术Dahan

《深空之眼》是勇仕网络研发的3D动作手游，于2021年5月13日至2021年5月27日开启“觉醒测试”，2021年9月16日至2021年9月30日开启“连携测试”，2022年4月22日正式公测。

玩家将在游戏中化身“深空之眼”组织的管理员，与修正者小队并肩作战，清除视骸，守护文明秩序。


CRIWARE为这款游戏提供了声音视频相关技术的支持。

在游戏的交互中，口型表现配合动作表现能够提供整体的表现力，从而能够大幅度地增强玩家的代入感。这一需求在二次元的领域中格外明显。


传统的口型绘制方式往往需要消耗大量的人力和物力，显得极不经济。

这时候，我们就可以用LipSync口型中间件来加快我们的工作效率了：


在《深空之眼》中，使用的相关的解决方案是LipSync预先分析和CRI Lips Craft唇形同步支持：


在应用方案前，我们需要先创建模型数据：



接着，可以使用预先分析wav得到口型数据：


然后，从中取得我们需要的数据：


再接着，使用ADX LipSync进行预先分析：


接着，通过脚本读取数据驱动口型：


之后进行一定的适配后，我们就可以得到想要的具体效果了：


-END-


CRIWARE来自日本，扎根中国本土市场。致力于为游戏开发商提供高效音视频及相关资源一站式服务。旗下主要产品有CRIWARE（ADX、SOFDEC及LIPSYNC等）、SpriteStudio以及作曲音效等音频业务。

官网：https://www.criware.cn/

咨询电话/微信：13818827912