平塔动画米粒：在游戏引擎的VR环境中探索试听语言

在5月12日Unite 2017 案例分享专场上，平塔动画联合创始人米粒分享了在游戏引擎的VR环境中探索试听语言，以下为米粒的详细分享内容：

大家好，今天题目是在游戏引擎的VR环境中探索视听语言，可能跟之前两场分享会的案例不太一样，我们最重要是在影视作品中的经验。

我们主要专注在VR和动画两个门类里面，我们工作地点在北京，我们的员工主要来自于动画电影、AAA游戏、互联网娱乐营销行业，由这三类专业人才聚集到一起，希望在VR新的平台上创作适合新媒介影视作品的团队。

直接进入主题，首先要跟大家讲讲传统影视的视听语言三个要素，这三个要素是图像、声音和剪辑。这三个要素组成了我们最终在大屏幕看到的影视作品。

图像是视听语言最基础的要素，也是我们人类最重要的感官。第一部电影诞生的时候，也是有无声的电影，只是一个图像一辆冲向观众的火车，揭开了电影进入娱乐大众视线的大幕。图像视听语言里面有几个要素，形状，形状是视觉第一层信息，我们看到所有的东西，大脑识别出来第一层信息是这个物体的形状，接下来是颜色，在形状和颜色的基础上，这个物体进行运动之后，这个运动是在一定构图内，这样组成了我们在大屏幕上，不管是大屏幕还是VR我们看到的影像。这里面给大家看一个很早的视频，这个视频是没有声音的，质量非常差，因为这个视频录制的年代非常久远。这个视频里面其实只有一些规则的形状，它们在画面中被设计好的在运动，这些运动从它们外面看没有实际意义，这些运动被相应时间和运动位置进行规划和设计之后产生的含义，这是我们人类非常牛的特性，我们的视觉系统会将我们看到的图像产生出含义，我们会主动用我们的大脑将我们看到的内容，赋予它相应的含义。这段在物理上来说，只是一段毫无规则的运动，我们通过视觉分析之后，我们会觉得这更像是一段有剧情的，不管是一个小三角形带着一个小圆形来抢劫大三角形的房子，还是大三角形小囚禁小三角形和球形。这个含义是因人而异的，这也是我们作为视觉动物来说的本能。

接下来就是声音。视听语言肯定就是听觉方面，听觉占了我们现代人所有观看影视作品中非常大一部分，我们经常会说影视作品特别是在有了音乐、声音之后，它的质量会提升70%，这是毫不夸张的，而且声音可以加强情绪的感染力。

在电影发展过程中，逐渐积累出一个非常大的知识体系就是剪辑，剪辑是声音和图像的加成，最重要它是在控制时间。只有图像和声音是没有时间概念的。

刚才讲到都是在传统影视作品中视听语言几个要素，VR里面产生了非常大的变化。首先VR里面和传统的影视非常大的区别，VR是一个完全虚拟的数字世界，而我们传统的影视作品是一个平面的，是一个二维图像连续播放的产生效果。在VR影视作品中，观众是戴着VR眼镜在虚拟世界中进行探索的，情节是通过探索展开的，这也是很多VR作品在创作的时候，想要达到的目标。在传统影视作品里，事情的发展是线性的，按照导演和剪辑师通过主观拼接单向展现给观众，这也是他们非常大的区别。VR世界里面，观众有非常自由活动的空间，可以在空间里面走来走去，这也是我们常常说的真正虚拟现实，并不是360度视频模拟的全景2D图像，更多还是观众真正能够在虚拟数字世界里面，从更多角度观看同一个物体。比如说我如果对桌子下面的内容非常感兴趣，我如果采取蹲着的姿势我就可以看到桌子下面的内容，我也看到影视作品主角背后看到他手是不是藏有什么东西，也许未来悬疑片在VR媒介创作的时候就可以充分利用这个方向。传统影视作品，我们坐在影院座位上向前看，看导演在固定大屏幕上展现出来的内容。

说完了影视视听语言的基础知识之后，我们就进入拾梦老人在VR作品中进行视听语言的探索。

我们对刚才几类传统影视和VR影视的异同之中我们选择了三个方向：第一我们要充分利用虚拟数字世界，让观众在虚拟数字世界中自由移动探索剧情的发展，因为我们的剧本原因和故事的特性，我们选择线性的方法，而不是像很多VR影视团队想要尝试多线叙事。对我们来说多线叙事并不是一个新奇的内容，我们小时候也看过有一类书，如果这个地方你选择A的话，请你翻到多少多少页，有心理测试题也是这样，多线叙事并不是VR媒介带来的，在很多之前传统讲故事媒体里面也很早就引入了。在VR里面，我们更希望的时候，如果我们一个故事非常有意义，非常有一个明确的目标，我们选择在线性的叙事结构下面，更容易让观众获取到我们想表达的含义。如何在线性叙事中，让观众有更多丰富的体验，是作品想要探索的。

根据我们刚才说说的视听语言三个方向，第一方面是图像，图像方面我们有哪些探索呢？

我们在开始创造VR作品之前，我们面临非常大的问题，就是观看成本。这个成本除了花了将近一万块钱买了一台强悍主机之外，还包括VR头显设备，这些其实都是一些纯硬件方面的支出。对于我们来说还有很重要的一项支出是人注意力和心理支出。如果我们做了如此多的准备，花了如此多的金钱和精力，下了非常大的决心，当VR头显戴在头上的时候，我们首要的目的不能让观众在作品播放完头显取下来。这个要解决最大的问题就是眩晕感，戴过VR眼镜都知道会产生不适感，这些不适感由于物体过于激烈位移等等带来的，这个东西对影视作品来说是非常大的敌人。如果说在播放的过程中，有任何观众把头盔头显从头上取下来的话，我们有非常小的几率让它再戴上去。如果这个可以克服的话，我们接下来作品无论做的再好也没有意义。我们第一个做的非常小心和经过深思熟虑的决定，我们决定使用固定的镜头，而不是让观众被动的接受位移。因为这样的话，就会产生眩晕的感觉。当然也有些摄像机的运动可以避免这个。我们尽量要让观众在一个固定点观看这个故事。

还有一个非常大的不一样。影视制作我们有一个步骤是分镜，我们需要先用二维的方式，然后把整部影片先画一遍，通过剪辑将故事串起来。在故事版和分镜阶段的时候，我们的叙事非常流畅，一旦进入VR，发现我们曾经在VR里面感觉非常流畅的叙事，感觉是在快放，所有事情都变得节奏很赶，这个更像是我们看电影里面的表现，和人在真实世界里面生活中的表演节奏不一样，我们对时间的感知更弱一些。真的当我们在VR虚拟世界里面的时候，我们对时间的变化，非常的敏感。因为我们已经认为我们是在一个真实的世界里面，我们当时做的一个非常大的调整，我们在很多表演节奏点上增加的时长，带来的结果，当然是我们整个片子的时间变长了。

接下来一个非常重要的，如何引导观众看我们希望他看的内容。VR经过过去两年的发展，一些基础视听语言大家都知道，如何运用视觉的引导。有一种理论，我们在VR里面，观众可以想看什么就看什么，而不是看导演希望他看的什么。我们作为创作者来说，更多是在VR观众只能看我们给他看的东西，不一定我们希望给他看，但是只能看我们希望给他看的，因为360度所有资产都是我们创作的。不像在电影院里面，我看电影还可以看旁边吃爆米花的美女，没有人告诉我进入电影院必须看正前方。在VR里面我们要完成的工作实际上是一样的，在VR发展初期，每个人带上头显的时候都是非常好奇，都希望能够在新的数字媒体里面去获得更多，大家带上头显都是东看西看，这个时候我们如何引导观众。第一点我们加强影片开始的时候，那段没有情节时候的时长；第二个在这段时长过去之后，我们引导观众看我们希望他看的内容。引导最重要的就是要有人导，比如说我们去一个景点跟着导游走，我们需要一个像导游一样东西带着他看我们希望他看的内容，最简单就是运动的物体。

在拾梦老人里面有一个片段，我们引入这个概念之后，我们就去实现这个概念。在漆黑环境当中出现了雪花，我们跟着雪花运动轨迹到了一个地方，到了这个地方周围亮起来，我们看到一个老头在桌子清理脏兮兮的足球。除了运动的物体之外，我们还要用灯光，光也是一个非常重要的引导视线，我们肯定会本能看灯光的位置，不看黑暗的位置，有灯光位置信息更多，也是一个非常好的引导工具。另外一个就是声音，一般来说这三样东西我们是综合在同一个场景里面使用的，他们互相的叠加，效果叠加，可以保证我们最大可能性让观众看我们希望他看的内容。比如这个片段里面，在这个角落里面亮起了一盏灯，观众会很好奇，是不是老头要做什么事情，注意力会回到主角的身上去。大家可以靠小房间里面吸引观众元素非常多，我们在这方面下很多工夫，任何一个小道具，我们都有设计，有很多童年的回忆，或者生活中的经历，可以放进去。这个时候必须利用我们刚刚运动的物体、灯光和声音，将观众视野重新吸引过来。

还有一个方面是色彩，我们在传统上色彩是非常重要的一个用来表现情绪的点。相当于如果我们在一部电影里面，我们倾向于用更加纯度更高的色彩，表现一个更活泼、更正向的情绪，用纯度比较低的色彩来表现稍微负面的情绪，可能用略微发绿的色彩，去表现危机，用发蓝的表现悬疑等等。这个东西在VR里面，我们是在尝试使用，但是我们用的比较谨慎。在拾梦老人里面，我们只有一个小情节使用到这个点，我也没有截图，但是可以跟大家讲一下，有这样一个方向。但是色彩为什么在VR里面我们用的非常少，因为我们的观众在VR环境里面已经相信自己是处于真实的世界。我们看真实世界的时候，我们不会感觉色彩那么厚处理的感觉，如果有那种变化的时候，我们做的实验，观众会稍微有些奇怪，会突然在那个瞬间想，为什么颜色出现了变化，这个是我们在真实生活中很难体验到的感觉。

还有一个我们在有些情况下，我们发现声音和运动的物体都没有办法引导观众。特别是当场景非常嘈杂，或者信息非常大的时候，我们就在想，如何在这种情况下进一步引导观众呢？这个时候作为一个传统的电影，我们就要从电影之前的经验找寻灵感。我们发现除了电影还有舞台剧，在舞台表演的时候，我们还有什么办法引导观众，舞台剧跟VR有一定类似情况，你也是将所有信息放到观众正前方，观众看哪个部分也是需要导演引导。这个时候我们就发现，在舞台剧和电影里面，我们经常用探照灯照亮观众希望看的位置，这个又跟灯光不太一样。如果我们是在一个白天大太阳晴朗的一天，我们没有办法在这个环境当中还打一盏灯帮助观众理解，这是不现实的。从这个时候，我们想起一种方法，我们用这个原理，我们用这种思路，我们创作一种新的方式来引导观众，我们自己称它为Spotlight Scope，通过这种方式带约束观众的注意力。

在影片开头的时候，同样是漆黑的一片，为了让观众快速找到我们希望他看的位置，我们用一个逐渐扩展开的可视范围，它并不是灯光，它仅仅是球形的范围，这个形状可以自定义，可视范围有模糊的边缘，我们有几个参数可以调整，可以模拟出各种各样丰富的视觉展开方式。但是它不能是灯光，它仅仅是可见范围，这个我们在Unity也是下了一定工作量的开发成本，想如何实现这个功能。我们在动画电影行业过来，在我们的经验里面，我们希望在引擎中实现这个效果。而且这个Scope不单单用来吸引观众注意力，后面还有一个比较有趣的。

我们进入声音的探索，声音在VR和电影里面完全是两个方向，我们说在游戏和电影我们尽量控制声音的诞生，是一个从中间点往右走，会趋向于100%控制声音的发声，控制声音的产生，控制声音的发展。在VR这个角度来说，我们是往另一个方向走，希望100%声学还原。电影里面非常多主观夸张了某些音效，让我们在电影院感觉到了更动态，更影视感的体验。在VR应用，我们在这个场景里面我们希望观众接受一个更可信的声音，这个往精学方向去走。

我们在制作过程中，我们发现另外一个问题。因为我们是创作影视作品，这个时候我们尝试在VR环境中，用非常全逆真方式去模仿声音，在真实世界中，我们很难用真实声音和图像跟观众产生情感连接。为什么电影我们要用控制方法来创作，因为我们可以更精准控制观众的情绪。我们在表现一个人紧张的时候，我们相当于在夸张他心跳的声音，让观众能够听到心跳的声音，我们真实世界不可能产生这种感觉。你再紧张，我也不可能听见你心跳声，这是一种主观的处理。最终我们发现在VR影视作品中，虽然有VR，但是还真能用影视创作手法才能在声音上获得更多跟观众交流的机会，我们还是引用了电影级别的声音制作和混音，这样我们可以最大限度控制声音的感染力。但是我们在引擎里面通过一些数据的算法，引擎之外通过混音做出了声音的远近，非常精准在各种环境中声音的表现，在一个可乐瓶子里面声音是怎么表现的，在水泥墙后面声音是怎么样，我们用电影已经非常成熟的声音处理方法，获得了非常好的音效。但是我们发现引擎本身有空间感，也就是说，我们即使混的非常好的远近感，我们还是要把声音挂到真实物体上，这样才能跟观众情感产生关联，我们最终想到可替代的方案，通过数学跟运动物体夹角方式，将声源挂到不同角色身上。

之后我们又引入了配乐，因为影视作品配乐是非常重要的一环，音乐是我们人非常强大的烘托我们情感的。我经常打比方，音乐相当于是开香槟的一瞬间，它可以把你的情感迸发出来。很多的影视作品都是利用音乐的特性，让观众落泪或者欢笑。

在我上一部作品，我们已经尝试过用非常电影级别的配乐来烘托情感，也有非常成功的经验。在拾梦老人我们就引入了电影级别的音乐，但我们面临另外一个问题，我们的声音已经有真实的空间感了，那音乐呢？我们有尝试将音乐的发声音源放到场景里面，观众听到不同乐器音量的变化，他会有一个非常强烈的感觉，演奏人也在他身边，但是视觉上没有这样的元素，我们发现音乐没有必要在空间感有交互。音乐最终的表现就是单纯的立体声，而且跟头部的旋转没有关系。

当我们有了图像、声音之后，我们进入另外一个庞大的话题，就是剪辑。在座跟长时间做VR的人知道，剪辑在VR里面大打折扣，现在我们也是努力在解决的问题，剪辑到底如何在VR里面进行呢？

因为在VR里面，我们遇到的问题就是没有镜头，没有了景别，观众只能从一个景别看事物，所有眼前物体景别的变化，都是靠角色的调度走到面前变大，远离你就变小了。另外是没有了镜头，我们最大的问题，我们情景如何展开。遇到另外一个比较大的问题，多场景的转换，这也是今天在展台很多观众来看我们片段提到的问题，你们有很多场景，我们片段展现了两个场景，但是我们的电影有八场戏，四个大场景，我们需要在这么复杂的情景里面进行场景的转换，如何转换呢。我们经过一系列实验之后，发现最有效就是淡入淡出，这是一个非常直白和粗暴的方式解决这个问题。可能大家会很失望，原来你们搞了半天，场景的变化就是淡入淡出。但是淡入淡出也是很有讲究的，而且淡入淡出只能解决其中80%的情况。我看到这个说多了，淡入淡出另外一个非常大的劣势，很多时候我们发现，每个场景里都通过淡入淡出的时候，相当无聊，没有技巧性。我们就思考我们到底如何解决这个问题。

我们利用了开发的工具，Spotlight Scope利用反向的使用，达到了另外的效果，以拾梦老人另外一个片段为例。简单的说明，我们发现我们可以通过Spotlight Scope的放大，来展现出一个场景，我们通过它的缩小，来消灭周围的场景。我为什么不利用它缩小放大这个连续过程来切换场景呢。我们通过缩小的过程中，我们让周围的场景都消失，当它再放大的时候，我们已经换了场景了。这个过程当中，我们的主角，我们希望连续的角色是连续的，主角就是这个老头和小狗，缩小的时候室外景消失了，等这个Spotlight Scope再放大的时候，已经是室内景了，老头面前出现了桌子，出现了椅子。通过这种方式，我们实现了一种叠加的转场。

我们还希望尝试一种方向，我们经常在传统电影里面看见的，我不知道在座有多少看过飞屋环游记，里面有一个非常有趣的镜头，当它的男主人公妻子去世之后，有一个镜头他坐在教堂里面，他一边转身回家，一边场景淡出淡入换了一个场景。我们希望在VR也做到这个场景，但是我们发现工作量特别大，我们很多精力放在一些其他的创作上面，我们希望随时能够当整个场景透明掉，淡入到另外的场景。我们遇到几个技术难题，第一我们需要控制场景内几百个透明物体透明度同时变化，另外一个因为它本身就是三维物体的变淡，而不是我们电影里面二维图像的淡出。这个时候中间有一个过程，我们看到很多物体作为半透明的重叠状，像X光看出去一样，效果非常糟糕，所以我们用Spotlight Scope的方式切换了场景。

另外一个非常重要的，我们说要线性，如果你在VR场景里面使用线性表现故事的话，似乎没有利用到这个媒体的优势。我们就想到另外一个问题，我们把情节分成重要和次要，这个次要情节点不影响观众理解故事，重要情节点我们希望观众一定要知道的。我们将次要情节点在不同方向发生，以不同角色引导开。以这张图为主，角色A和角色B可以选择跟着其中一个角色看他的表现，最终会回到情节B，或者跟着另外一个角色。这个过程设计当中，我们设计了无关紧要的情节，这些情节我们故意让观众获取不同的信息，我们希望他看到东西的时候，我们让所有有吸引他注意力的东西都会聚到一个点去，这个时候我们情节依然可以非常流畅推动，观众依然可以获取到我们想表达的情节。也就是所谓的殊途同归。

在传统影视里面，最重要的是在对白戏中，有一个原则叫“180度原则”。这个在传统拍摄时候，如果我们拍两个人对白戏的话，这两个人角色在世界中创造出一条虚拟的线，这条线是我们摄像机不能跨越的线，实际上有很多跨越过去了。这条线是非常重要的，我们可以看到这张图左下角这个位置，如果摄像机在这个位置拍摄的话，获取画面是这样的，如果摄像机在这个位置拍摄的话，获得画面是这样的。为什么这样拍摄，是因为我们希望在画面里面某一个角色始终属于画面的一侧。这两张图里面，男性角色始终在画面右侧、女性角色始终在画面左侧。如果在这个过程中，突然有一个镜头打到虚拟线另外一侧，我们可以看到另外一个画面，发现女性角色变到画面右侧，这个时候我们发现两个同向角色在聊天，而不是两个向对的角色。这个会让剧情的理解产生歧异，视觉系统和大脑太发达了，人类获取到一点错误信息就会产生错误的理解。

这个东西我们如何解决呢？在拾梦老人里我们有一个解决的方案，以室内室外景为例，我们有一个初始摄像机的区域。如果第一场戏发生在室内，第二场戏发生在室外。第一场戏结束的时候，如果观众还在这条线的左侧，到下一个场景摄像机的初始位置依然在这个方向。因为VR的世界非常大，特别在外部大环境里面，很有可能有观众走到角色另外一侧，这个时候系统会侦测到越轴的情况，下一个场景我们会有另外一个摄像机，让观众在那个位置，我们依然在同一方向观测主角的表演。这样会让观众尽量在一个较小夹角里面看到尽量多的内容，这可以避免有些情节发生在背后，而且我们不知道观众看的什么方向，所以我们没有办法控制这种转向。VR里面我们有相应的触发条件，让观众始终跟得上这个角色的表演。

所有的这些技术，虽然我们VR作为一个新媒体，我们所谓的技术实际上一点都不高深，上一场的分享会非常深的技术分享。视听语言的探索是一个不那么多数字，更多是主观经验的内容，所谓工具技术都不是一个影视作品的核心，影视作品核心是通过这些技术与观众产生情感的连接。整体的这一切，我们都是希望能够去让影视作品中的角色，影视作品中的剧情和观看者产生情感上连接，让你非常好奇这个角色为什么这么做，如果是可怜的角色会让你同情他，所有视听语言都是为了保证情感连接不被打断。

VR作为一个新的讲故事媒介，它没有创造什么新故事，新故事在任何媒介中都在不停被创造。目前为止，我们并没有看到一个VR作品中创造出一个新的故事，而是创造一种新的讲故事方法。在这么一个全虚拟世界里面，我们是在探索一种新的讲故事方法。最重要是有游戏引擎的支持，如果我们要做到今天分享的所有这些内容，都需要游戏引擎，这个能实时产生数字虚拟图像的工具，我们才能够去在VR头显中体现到这种新媒介的故事。因为它是新媒介，所有的Rule都可以被打破，我们不要受到Rule的限制。我们的原则是我们不会在创造Rule的初期，先列举了Rule。我们希望讲一个打动人心的故事，不管是不是适合VR创造，我们需要先构思这样的情节，最后我们想尽一切办法让它在VR当中呈现。这样才能推动VR的视觉语言，VR的发展，而不是说有一个人告诉我，你只能做这样的事情，因为VR只有在这样的情况下才成立，我不信这个，我希望所有创造VR内容的人也不要受这个限制，而是创造新的Rule，Rule来指导以后的工作，而不是限制自己。

但是所有东西都有变动，很可笑人类发展过程当中，所有革命性的东西都是在有约束的情况下诞生的。我们经常会说电影经典的作品，都是在审查机制的约束之下诞生的。如果没有任何约束的话，我们很难诞生革命性的作品，如果在约束的情况下，大师级作品才会产生。这是我们希望未来在所有VR内容创造的产品上所有努力的方向，谢谢！