自动做游戏(5):新海诚版“和平精英”长啥样?

作者:罗培羽 2019-07-18

风格转换是近年来机器学习的热点研究课题之一,未来风格转换技术也许可以应用到游戏当中,于是我们做了些实验,试图寻找这种可能。清华大学的《CartoonGAN:Generative Adversarial Networks for Photo Cartoonization》提出一种转换动漫风格的方法,我们基于该技术,做些游戏动漫风格转换的试验,以求未来有可能将深度学习技术广泛应用于游戏开发中,提高游戏开发效率。

1、新海诚版“和平精英”长啥样?

第一个实验是为游戏画面做风格转换,选取了当前热门的“和平精英”的一段录像,然后逐帧转换,以求获取一套动漫风格的和平精英。尽管不是实时,但也已经有人做过实验,在较高配置的PC上对游戏画面实时做风格转换,达到可以接受的帧率。

测试结果来看,对场景的动画风格还原较好,这可能因为CartoonGAN的训练素材中,有更多的动漫场景。以下是一些画面截图。




如今,游戏都在追求高逼真的渲染,计算量大。或许未来,可以利用深度学习技术,以低于光照的计算量计算物理光照。或者使用一些较为容易获得的素材,再做整体的风格转换,以求获得良好的视觉效果。

2、自动转卡通贴图

如果开发一个卡通风格的游戏,除了要编写卡通shader外,还需要使用卡通风格的贴图,鉴于很多贴图素材是以现实为参考,美术同学往往需要手动去转换贴图。

我们尝试了在一个游戏场景中,对贴图做卡通风格转换。如下图,展示了场景中的原始贴图,以及转换成宫崎骏和新海诚风格的贴图。


将贴图应用到实际场景中,得到下图的效果。可见,边缘和棱角都更加明晰,若配合卡通shader,或能有一些效果。


下图是宫崎骏版的场景放大图。


3、CG动画风格转换

我们还尝试了将一段游戏CG(仙剑5前传结局动画)逐帧做风格转换,以求得到动漫风格的CG动画。由于CG动画包含较多的人物,较少的场景,效果一般。可以期待的是,随着技术的发展,也许可以由美术同学制作一套很简单的动画,甚至只用通用模型摆出动作,再配合自动绘图和风格转换去填充细节,以减少CG动画的制作成本。

以下是转换后的一些画面。



我们还尝试将影视剧片段转换成动漫风格,下图为“大军师司马懿之军师联盟”中一段宣传视频的转换截图,整段视频的转换效果并不好,下图是其中较好看的一帧。或许可以期待未来可以用类似的方式制作动漫。


还尝试对人物做转换,下图是某抖音网红的转换效果,侵删。


4、原始资料

把转换视频都上传到B站,以供参考。每套视频有5个视频,依次为:p1宫崎骏风格、p2细田守风格、p3今敏红辣椒风格、p4新海诚风格、p5原版视频

《新海诚做的吃鸡长什么样?》
https://www.bilibili.com/video/av58810535/


《新海诚拍司马懿连续剧,会拍成什么样?》
https://www.bilibili.com/video/av58806556/


《莉哥突然变成动漫人物了!》
https://www.bilibili.com/video/av58798916/


《宫崎骏做仙剑,会长什么样》
https://www.bilibili.com/video/av58809610/

又到推荐时间了,如果想学习网络游戏开发,《Unity3D网络游戏实战(第2版)》中用一个大实例详细介绍网络游戏的开发的全过程,还对网络编程有详细的讲解,非常合适。


系列文章:
自动做游戏(1):自动生成人物侧面图
自动做游戏(2):自动生成人物行走图
自动做游戏(3):行走图生成工具开放试用
自动做游戏(4),极小样本生成国画的尝试
自动做游戏(5):新海诚版“和平精英”长啥样?


作者:罗培羽
专栏地址:https://zhuanlan.zhihu.com/p/73731724

最新评论
暂无评论
参与评论

商务合作 查看更多

编辑推荐 查看更多