PS5独占游戏RETURNAL：华丽的黑暗电子声音是如何制作的（新 3D 音频引擎）下

作者：同期录音网 LocationSound同期录音网 2021-08-12

上一篇：华丽的黑暗电子声音是如何制作的上

上周五我们发了Jennifer Walden对Playstation Studios Creative Arts声音团队成员的部分采访，还没看过的可以点击：PS5独占游戏RETURNAL：华丽的黑暗电子声音是如何制作的（新 3D 音频引擎）上 。在本文下篇中，《死亡回归》的声音设计师们向我们介绍了他们是如何构建外星动物群的声音，对玩家构成威胁时所释放出的声音，还有重点是充分利用ps5的Tempest（风暴）声音引擎来开发游戏的声音，等等



本文中音效设计负责人Loic Couthier，他是一个有着12年游戏声音设计经验的人。领域从主机游戏到VR设备，从立体声到物品相关声音。他试图在自己领域里探索3D声音和VR发展的可能性。首席技术音效设计师Simon Gumbleton，他做声音设计的技能比较广，包括现场同期录音，后期制作还有5.1混音和编码，而且对创新性的互动声音媒体感兴趣。在电影，动画，游戏和音乐方面有着许多声音设计相关的经验。其他几位音效设计师也有相关的声音设计经验。

原文出处：A Sound Effect，图片来自于索尼互动娱乐和Housemaque工作室，作者：Jennifer Walden，编译：逍遥侠客。

以下Loic Couthier简称：LC，Simon Gumbleton简称：SG，Ash Read简称：AR，Peter Hanson简称PT，Louis Everest简称：LE

Q：让我们来看看外星动物群，包括寄生虫。你对他们的声音有什么看法？（我真的很喜欢他们嘶哑的、喘息的、咆哮的声音范围。你是如何创造这些的？）

AR：对于外星动物的声音，我们想使用有源声音元素来反映它们的质量和构成它们物理结构的材料种类。

你遇到的第一个四足生物有大的，几乎像鸟一样的头骨，所以除了使用鸟叫源材料来制作它们的尖叫声和尖叫声外，我们还使用共振使声音更加空洞和有味道，以匹配声音的可能，从他们的下巴发出。

对于大多数非类人生物来说，共振在使他们的声音不仅美味而且可信方面发挥了重要作用。许多玩家第一次遇到这种巨大的双足怪物，包括无数次深呼吸、嘶嘶声和咕噜咕噜的吸气（录音是主要是通过塑料管将空气吹入酸奶中）。塑料管呼吸非常适合传达该生物潜在的庞大和凌乱的气道，而我们在其他源材料上混合使用了次谐波插件和共振效果，以匹配该管的味道。

如果你想让大型生物的呼吸和嘶嘶声听起来像是来自一个巨大的腔体，请先使中低音共鸣，然后中高音共鸣，以获得更多“空气感”。如果您想为较小的生物添加角色，只需在较高的音域上产生共鸣——即使在自动化共鸣频率的同时应用小卷积效果，也会从最简单的源素材中获得非常有趣的结果。



对于较高音域中更响亮的人声，如双足巨人的尖叫声，可以使用较少的共振，因为希望设计的尖叫声的特征被切入并让游戏的混响完成其余的工作。

另一方面，Crimson Wastes 生物的源素材方面大量使用了共振。巨型鱿鱼的声音是由水下哺乳动物的声音进行拉伸、降低，然后尖锐的共振频率扫描在源头上缓慢移动而产生的，同时被强烈驱动以产生抽象的声音嚎叫。

PH：我所做的人形生物都有其来源定义的身份；设计的大部分时间都花在寻找合适的声音上。

作为人类，我们会自动从录音中检测到大量信息：年龄、性别、痛苦程度等。我们对人类的声音都非常敏锐，因此音频需要与视觉和设计概念完美匹配。

通过 Harry 和 Greg 的大量实验和反馈，我们能够为每个生物建立一个声音调音板，主要由家庭录制和素材库人声组成。

定制的家庭录制音频主要用于设定基调并使生物栩栩如生。能够记录到画面使表演更加引人注目，并且通过简单的实验，可以产生很多变化。

漱口水、爆裂糖果、含在嘴里的手指/拳头都会极大地改变声音的声音。虽然疫情极大地限制了演员的接触机会，但也确实提供了尝试各种奇怪的表演想法和一些创造性的麦克风技术以充分利用它。（我使用过Sanken CO-100K、Sennheiser MKH40、Shure SM57）。需求是发明之母。




自录音让我们受益匪浅，但在未经处理的家中很难捕捉到大声的尖叫声，而且没有经过表演训练，我们经常在几分钟的录音后就毁了我们的声音，这是素材库资料能够帮助我们的地方。许多更长、更响亮的素材是女声素材库录音与家中录音相结合。

然后挑战就变成了：我们如何让这听起来像一个有凝聚力的实体？



将音层混合在一起从声音编辑就开始。通过解决吸气/呼气的冲突并将表演重新以更真实的呼吸频率，确保所有音层都可以在物理上同时进行，这有很大帮助。调整每一层以使其相互匹配并自动化全局播放速率使所有层以令人信服的方式“移动”。为了进一步将声音融合在一起，我们进入了 VST 的世界：首先应用了一些温和的均衡器 ( FabFilter ProQ ) ，只是为了帮助匹配不同的源，通常必须使特定层听起来更糟以使其可信，然后是一点全局音高/幅度调制（MondoMod / Soundtoys Tremolator) 确实有助于将事情联系在一起，最后，一些全局失真和卷积 ( iZotope Trash2 ) 使事情变得圆满。



Q：动物群攻击的一部分是发射射弹——比如一波发光/火球或火花。声音部门如何能够帮助将他们的威胁传达给玩家？（在“boss”战斗中发生了很多事情。声音如何帮助澄清对玩家的威胁，同时让它感到混乱和压力？）

LE：在进行弹丸设计时，非常重要的是要确保游戏中不同类型的弹丸具有自己独特的声音质感，同时传达相同的信息，即“危险”。

此外，PS5 的 Tempest 3D 音频引擎允许玩家挑选出他们周围的每个单独的弹丸，因此我们的设计必须充分利用这一点。

射弹被分解成粗略的视觉上的元素，如火、能量和水。这些基础元素被用作设计每个弹丸的“基础层”并提供核心声音特性的来源。



最重要的是，每个射弹都有一个额外的“威胁”层，可以在更近的距离内听到。威胁层具有 4kHz – 6kHz 的聚焦频率范围，以利用人类听觉范围内的自然峰值。此外，这些层具有非线性谐波，旨在利用人类对高压力声音的自然反应。

这两个优先级相结合，使每个射弹都有自己独特的声音风味，同时能够有效地切入混合并传达危险元素。

一些对这些威胁层有效的关键创作过程包括同时处理成人和儿童的尖叫声，将它们拉伸和颗粒化，然后引入人工和声来强调非线性元素。



Q：由于该游戏是专为 PS5 开发的，您如何利用 PS5 的专有 3D 音频引擎 (Tempest)？对这个游戏有什么好处？您能谈谈您面临的挑战或它提供的创造性机会吗？

LC：作为 PS5 独占游戏的优势在于，它给予我们“全部”平台功能的许可授权。从我们参与的一开始，3D 音频就是我们的目标，我们的目标是尽我们所能为 Tempest（和触觉）提供最好的音频。

在 CSG，我们拥有多年设计、实施和混合 3D 音频的专业知识，因为我们自推出以来一直在制作 PSVR 游戏。Returnal是我们第一个将这种专业知识应用到 PS5 的非 VR 游戏。

SG：我认为一个很好的观点是它真的是关于整个游戏的“为 3D 设计”。这个游戏的明显优势是战斗中的态势感知（在正确的位置听到敌人的声音可以挽救你的生命），这与游戏中敌人的多样性以及关卡设计中垂直度的大量使用相得益彰。



但除了战斗优势之外，3D 音频还让我们能够为玩家打造全新的体验。一个很好的例子是壁画粒子，我们可以将玩家包围并沉浸在动态和反应性的“声音云”中，这在以前是不可能的。

超越这些精彩瞬间，并将“为 3D 设计”的理念扩展到游戏中的一切，我们已经能够制作丰富、细致和包容的环境，让玩家探索并真正沉浸在 Atropos 的世界中。

至于挑战，当然为 3D 设计需要更多的内容。环绕播放器的音频有更多空间；我们需要在设计阶段更仔细地考虑对象的位置和大小。它也对实现有影响，因为我们需要使用更多的游戏对象，并播放更多的声音（例如，单个环境床本身就是 16 个通道！）。



Q：因为这个 3D 空间需要更多的声音内容。（而且这个游戏中有很多声音！！）这对混音意味着什么？你是如何防止混合失控的？

LC：就“内容带宽”（即我们一次可以播放多少）而言，重要的是要承认我们的大脑是真正的瓶颈，尤其是在这一代我们可以播放任意数量的声音（技术上来说） ）。

虽然该技术可以在 3D 中播放数百种声音，但不到 5 种就足以让我们了解正在发生的事情的能力。我们确实有更多可用的“空间”来覆盖位置声音，还有更多的 CPU 来生成它们，但我们没有“更多的大脑”来理解音景！这显然是混合的地方

3D混音最终在双声道的binaural双耳立体声中播放。比立体声输出信息要多得多。拥有更多的“播放空间”并不会使混音变得更容易，相反，有更多的内容在争夺我们大脑的注意力。

我花了一些时间来理解如何在Returnal（概念上）中处理混音，而在 Wwise 中手动设置它需要更多时间，哈哈。



我开始错误地将游戏视为重磅射击游戏，并意识到强大的玩家枪法，尽管感觉令人满意，但并不正确。玩的时候需要听听周围的一切，否则你就死定了，哈哈！如果人们因为混合的声音而死亡，他们会非常沮丧。

让我们跳过游戏的探索部分，专注于战斗，真正的困难在于大量敌人用各种攻击和数十种射弹无情地向您发送。

在以武器为中心的方法失败后，我花了很多时间观察我用调试工具创造的疯狂情况，生物群系的所有敌人都在不停地攻击你（并且同时有很多敌人）。有点像在观察大自然，哈哈！

然后我草拟了一份最重要的行动/攻击清单，作为一名玩家，你想/需要知道正在发生的行动——那些可以造成更多伤害的行动/攻击，你必须优先避免的那些行动/攻击，那些可能会感到不公平的行动/攻击如果声音没有帮助。

这导致创建了一个基于优先级的系统，其中所有敌人的声音都被分配了一个优先级（包括一切、脚步声等）。较高优先级的声音有权影响较低优先级的声音，通常是在播放时将它们闪避。混合游戏的大部分内容是定义什么声音在什么情况下需要什么优先级，以及它应该如何影响其他声音。还要确保没有例外或手动错误会毁了这一切，哈哈……

从根本上说，这是一个简单的过程，但是您要处理如此多的同时发出的声音，这变得很复杂。每种声音对另一种声音的影响需要很多细微差别，总有一些“流氓”声音喜欢打破你的规则！它需要听起来清晰而且感觉很好，所以并不总是通过操作去除声音；它仍然需要感觉你处于危险之中。

显然，当这些敌人正在攻击时，你还会看到 Selene 开火、移动、可能会说话、音乐爆破和 UI 打断所有这些。忙碌时，您周围平均有 70 个射弹——所有这些都需要混音来消化:)

Wwise 中有很多语音限制，Wwise 之前的剔除系统也有很多，以便进一步删除我们不需要听到的内容。在每一步，它变得更干净、更清晰。

Housemarque 也一直在完善游戏玩法，平衡攻击和时间，我可以听到一些改进。但这根本不是我。这是游戏平衡和节奏越来越好。只能通过音频处理做很多事情。混音是每个学科以声音的形式融合在一起的结果。许多混音工作是通过与开发团队的关系完成的！

由于您汇总在一起的内容和格式的混合性质，因此 3D 标题的混合非常复杂。

在Returnal 中，我们混合了 5 阶 Ambisonics、3D Objects、7.1 Passthrough，以及立体声触觉和控制器扬声器。这是支持所有 PS5 音频功能的游戏标准。



这些总线结构中的每一个对于如何实际操作（例如，对象Object不能从总线处理中受益）、成本（Ambisonics 的要求是 7.1 的 4 倍）以及它们在以下情况下的行为都有非常具体的要求。它们是缩混的。

增益结构需要时间和实验才能得到控制。Returnal 中的混音宽度为 540 条总线，另外还有 260 条辅助总线。虽然这确实不是一个体量因素，但它显示了作为混音必须处理系统的复杂性，以及使用正确的规则将数以万计的声音分配给该混音所需的时间。

假设你是个天才并且从一开始就知道所有混音规则，手动设置它仍然需要数周时间。这是很容易被低估的混合工作的一部分。



Q：在选项和可访问性方面，能否分享一些有关游戏中高级选项（动态范围、扬声器调谐、VO 聚焦）的详细信息及其背后的原因？

LC：该动态范围部分试图解决一个问题，我觉得我们在过去最强。我们提供所有这些模式，但选择最有活力的模式实在是太吸引人了。更响亮、更大、更有活力……如果您不了解动态范围，当然应该选择它作为“最佳音效”模式。

而实际上，对于大多数玩家来说，他们不太可能享受具有最高动态范围的游戏。它需要昂贵的设置、专用房间，并需要以高音量播放。

所以，我试图看看我们如何能够更好地支持和告知玩家这方面的信息。

整个动态范围部分在这里提供的建议不仅仅是做任何处理。它使用玩家输入的信息，例如他们使用的设备、他们听游戏的音量以及背景噪音的音量。该信息用于对最适合该情况的动态范围进行有根据的猜测。并给出评论以告知为什么推荐每种模式。所以他们可以看到推理，并希望从中学习。



我希望得到一些反馈，以便进一步根据每个玩家的情况定制自己的音频体验。

音箱调节部分是在这里适应“中性反应”混音玩家的房间或耳机/扬声器的音调。

不可能提供适用于同一类别的每种情况和每种设备的 EQ 曲线。所以我觉得它必须在用户端，在那里播放声音。

理想的解决方案是自动补偿播放设备和声学，这在消费者方面尚无法实现（无需投资专用工具）。此外，大多数人实际上并不喜欢完全中性的反应，因此您不想通过手术将其全部移除。有些人买了他们的彩色耳机，因为他们喜欢那样。味道是有关系的。

该选项提供了一些 EQ 宏，可以帮助解决最常见的问题：低音/高音过多或不足，减少刺耳/混浊，提高整体清晰度。如果有人的耳机过于笨重或太小，这是消费设备的常见问题，他们可以使用此选项来帮助解决这个问题。

我想关键是要有一些超级简单的东西，所以 UI 的值很少，每个值都是朝着“极端”最大参数值迈出的足够重要的一步。

该VO对焦选项是在这里与对话的可理解性帮助，使其更容易听到在任何情况下的对话。我已经阅读了 PlayStation 无障碍团队的报告，第一个问题是理解默认混音中的对话。

我没有强迫人们以静态的方式关闭除对话之外的所有内容，从而导致不符合响度标准的不受支持的混音，我想提供他们所需要的：一个不能错过对话的受控混音. 对话与噪音的比率，如他们所愿。



只有一个滑块可以控制您希望对话具有多少额外的优先级。在最大程度上，对话会以“非谈判”的方式回避其他一切。如果您想要更微妙的处理，则两者之间的每个值都存在。

所以，这是我们高级音频选项背后的意图和想法的分解。:)

我希望它们对玩家有用。我们非常关心用户端；我们希望确保为玩家提供最量身定制的体验，让他们最大限度地享受我们为音频所做的所有辛勤工作！

这并不简单，因为有无数种情况，但我相信在该领域推动探索是值得的。



Q：你能谈谈你在Returnal 中对触觉的使用吗？

LC：Harvey Scott (HS)：PS5 上触觉的出现是音频团队需要掌握的另一个新概念，在Returnal 中使用它的方法需要一些时间来弄清楚。触觉的优点和缺点需要一些时间来适应，现在看起来很明显的是开发开始时的未知规则集。

最初，尝试将触觉信号路径用作第二组扬声器（如果算上控制器扬声器，则为第三组），以调用您期望从听到的声音效果中获得的相同类型的响应。这是自然的本能，因为在此之前，我们的日常任务是为你的耳朵设计声音内容，并因此为解释该内容的大脑进行设计，破译该内容在信息上的含义，该内容有什么相关性视觉上，因此从该内容中产生什么情感，等等。

最初的假设是，也许触觉能够提供相同类型的响应——将信息传递给大脑（通过手），以与声音相同的方式解释它。



通过实验，我们了解到触觉内容的感知几乎总是受到其他感官的影响。例如，如果没有音频和视觉提供的上下文，尝试设计暗示任何类型情感的触觉内容几乎是不可能的。

事后看来这似乎很明显，但我们尝试通过控制器触觉通过某些过场动画来讲述主角的情绪。但是如果没有正确的音频和视觉提示，意图就会丢失，触觉充其量也变得混乱。

类似地，完全相同的触觉内容可以根据视觉和音频上下文被不同地感知。例如，跳跃后用于降落在坚实地面上的相同触觉脉冲如果降落在泥泞中，则会被感知到感觉不同（尽管内容相同）。大脑在屏幕上发生的事情之间建立联系，并告知手他们的感受。

因此，有了这些知识，我们就什么最有效建立了一般规则：当所有感官都一致时，触觉内容效果最好。如果眼睛看到雨，耳朵听到雨（更好的是，他们在 3D 音频中听到雨），手会感觉像下雨。因此，大脑可以通过它接收到的所有数据完全相信它确实在下雨。这是触觉真正发挥作用的地方，增加了有助于深度沉浸的新物理。

除了确保触觉具有必要的工作环境外，该内容的美感来自各种来源。我们从头开始设计了很多内容，在某些情况下在程序上使用合成。在其他情况下，我们使用标准声音库内容来提供有趣的宽带纹理。

游戏中每个功能的性质将决定哪种方法最适合触觉内容；游戏中的许多触觉感觉实际上是在运行时处理的合成器，这在设计上下文中的触觉感觉、实际玩游戏和感受触觉反应时提供了最大的灵活性。


使用运行时合成器设计触觉内容不仅允许我们在玩游戏时实时调整和设计触觉的感觉，而且还提供了使用游戏驱动数据调节合成器参数的机会。相反，过场动画是触觉的一个用例，其中的过程更传统，在 DAW 中追踪触觉，就像处理声音一样，考虑到该内容的线性性质，这更有意义。



在美学方面，我们发现程序生成的颗粒纹理具有特别令人愉悦的结果，并且当涉及到当前一代硬件现在可能实现的功能时，它们确实与众不同。当以有节奏的或有规律的序列排列时，简单的短攻击脉冲的小颗粒会特别有趣；使用来自游戏的实时数据来调节该模式的播放速率是在游戏中发生的事情与您的感受之间建立联系的关键。

同样，以随机零星方式排列的相同颗粒可以创建沙子或雨等纹理；调节每个颗粒的音高和振幅可以帮助创造一种自然变化的感觉。

一些触觉就像在控制器的共振频率下播放类似底鼓的脉冲一样简单，以获得最大的控制器震动效果。在某些情况下，将音效本身简单地发送到触觉输出是合适的，这将提供与伴随声音的包络匹配的即时伴随触觉。

触觉是现在成为声音设计师的一个令人兴奋的部分，我鼓励任何尚未这样做的人插入他们的 DualSense 控制器并尝试自己在 DAW 中设计一些内容！



Q：Returnal声音创作和实施过程中最独特的方面是什么？

LC：Returnal 发展的许多方面对我们来说都是独一无二的。这个项目有许多“第一”。

Returnal是 Housemarque 有史以来最雄心勃勃的作品。概念、艺术、生物都是惊人的怪异和原创。作为一款游戏，除了在对音频有很多期望的新一代硬件上发布之外，在技术和创意上进行开发是一项独特的挑战。

制作我们的第一个 PS5 游戏，探索和突破界限以向世界展示新的音频功能是一次独特的冒险。

这是我们第一次设计触觉，第一次使用 Tempest 设计非 VR 3D 音频，第一次与 Housemarque 合作。此外，这是我们第一次在家制作游戏；我们不认为这是可能的，直到我们都被迫这样做！



如果对游戏声音感兴趣，可以加入我们的游戏声音讨论群，加我们的服务微信locationsound，注明“入游戏声音群”，务必同时简单介绍自己。





来源：  LocationSound同期录音网

原文：https://mp.weixin.qq.com/s/36DXsUZGOVKbfBEPtuEzqQ

参与评论