从软硬角度探索 VR 开发技术难点

前言

在去年初 VR 风起之时，我们曾经发问「VR 应用开发遍地走的日子还有多远？」，只因彼时硬件与内容都是各自为战，各种技术问题尚待解决，也没有一个完整的 VR OS 或统一标准出现。如今一年已矣，自资本而起因资本而却的 VR，让许多创业团队一时风头无量也面临窘迫之态，即使如 Oculus 尚未正式进入盈利轨道便引来侵权纠纷，VR 于我们究竟是一地鸡毛还是回归理性？作为开发者，当我们返回北上广深再度启航时，总需总结过往以便更好地前行。为此，CSDN 与知乎一起基于「2016 年度盘点」共同回顾了这一年 VR 行业所发生的变迁，主要从软硬件角度出发剖析 VR 技术挑战，希望能够为所有正在或即将从事 VR 的开发者带来一些有价值的灼见以及参考。以下所有内容均已获得原作者授权使用，在此特别感谢 Rui Wang、COCO李晶、AMD程序媛、声网Agora。

VR 回顾与反思

发展

2016 年，无论外界如何评价，其实对于 VR 行业本身来说，都可谓之是 VR 发展史上非常重要的一年，尽管并没有太大的核心技术突破，但其历史意义却不可否认，也算是虚拟现实创业潮的觉醒。

所谓觉醒，即 VR 行业其实在国外已经发展了几十年，但国内一直是沉睡的状态，但到了 2016 年，是突然之间火了半边天，相比其他行业，VR 的到来是非常突然，且影响力之大是前所未有的。回顾这一年，仿似在经历一个处于 VR 之初的大时代，大家的疯狂程度，让人随时能感觉到圈子里能够冒出一股工业革命的烟味。

在这里先简单明了地与大家共同回顾一下过去 VR 行业的发展：

• Facebook 携 Oculus 和三星第一个进场，拉开 VR 大幕；
• Valve 携 HTC 开发出 VIVE，两股风大概刮了近一年多；
• 索尼携 PlayStation VR 进场；
• 接着微软携 Hololens 入局，并且从 AR 切入 VR，几个月前发布了自家的 PC VR；
• 硬件大厂如 Intel（重磅发布 Alloy MR 方案）、AMD 的跟进；
• 谷歌从 Cardboard 升级到 Daydream；
• 苹果一直一副风雨欲来的架势，不过，到现在无产品出现；
• Qualcomm 出售 Vuforia 低调从微软和收购 NXP 等角度宣布进入更大的智能领域，其实很多一体机中有体现。
  

至此，凡是影响世界终端格局的行业大佬基本都到了。随后 Unreal 虚幻引擎和 Unity 也开始成为为 VR 服务的重要角色，但明显 Unreal 的力度更大，Unity 较于前者更注重移动市场。跟随两大引擎的步伐，游戏公司纷纷推出 VR 版游戏。

而探索与实践的过程中，从硬件和内容的本质上来看，VR 有一些问题并没有得到完善的解决。

硬件

• 硬件设备并未成熟
  

现在还是 VR 发展的初期，虽然主流的设计都差不多，当时和智能手机等已经存在多年的数码设备相比 VR 的设计和种类更多样化。

当前市场有多种产品，包括简易 VR、带屏幕 VR 和 VR 一体机等等，甚至还有 MR 设备。所谓的简易 VR 就是只有镜片和头盔，简单的不能再简单了，如果要节约成本不考虑舒适性，那么几块钱就能制作出来，难度不是很大。带屏幕的 VR 要高端一些，典型的就是 HTC Vive 和索尼 PS VR 等，主机需要单独购买价格贵内容少。还有一种是 VR 一体机，实际上可以看作是把一台没有屏幕的简易手机和带屏幕的 VR 组合在一起，这种产品更贵一些，而且非常方便，但性能不足，没有特别好的体验。

比如 Oculus 在内的多款主流 VR 都有着硬件不成熟的情况，比如连接线，比如 VR 完全虚拟，身体运动的时候对空间的要求也很高，续航也是问题。

• 价格昂贵利润很高
  

尽管所有厂商在推出自己的 VR 的时候都会表示的和其他品牌有怎样的区别，自己多么多么黑科技，但实际上目前市面上已知的 VR 头盔都差不多，技术的确有说区别，但都存在价格虚高的情况，的确开发的费用和初期宣传费用很高，不过这部分费用实际上最终都是消费者埋单的，尤其是首批消费者。有些简易版本 VR 只有一个镜片和头盔就要几百元甚至上千元，实在是令人不解。

现阶段看 VR 行业的利润是非常可观的，也正因为如此才有人千方百计的想办法跻身这里。但消费者很难分清什么样的产品更有价值，再加上价格虚高的情况普遍存在，阻碍了普及。

• 操作方式单一太依赖体感
  

现有的 VR 产品大多有三种输入方式，分别是通过头盔内置的陀螺仪和加速计来测量头部动作，但太过于单一的方式不好用，因此有些厂商加入了手柄和体感装置。

这样虽然操作相对丰富一些，但还是有局限性，而且三种方式输入需要身体高度协调，时间长了容易让人反感，而且也更容易劳累。相比之下PC的输入方式就更多元化，未来一定会有个更多的解决方案，但现阶段看还不够丰富。

内容

• 不完整的自然交互和空间定位方案
  

何为完整的自然交互方案呢？实现自然交互的基础是能够识别玩家的双手，进一步来说就是全身的运动姿态。后者对于多人游戏尤为重要，因为如果不能识别全身的运动姿态，你在游戏中只能看到别人的脑袋或手柄，如下图所示：



而空间定位方案则决定了游戏开发时的一个根本原则：玩家应该是站着不动/瞬移飞行，还是能够自然地行走和交互？如果选择瞬移，那么不会让玩家有很强的沉浸感；但如果平滑运动，则会产生和晕动症一样的效果；而站着不动的 VR游戏该如何设计，本身就是一个巨大的难题。

在这短短的一年里，至少从这个问题来说，整个行业的发展并不让人满意。支持小空间行走和双手手柄的 HTC Vive，可以说提前定义了至 C 端 VR 的交互方式。这种方式大大扩展了游戏内容开发者创意的空间，但同时也增加了设计难度。毕竟小小的运动空间形同虚设，因为做战场太小、做密室太单一、做塔防太可惜。

而 B 端则以光学定位为主流方向，这种方向大大满足了 VICON、Motion Analysis、OptiTrack 等一系列传统影视运动捕捉供应商的需求。同时多人游戏的需求也是 B 端的一个重要趋势，因为一个人占用动辄百平米的场地对于寸土寸金的一线城市来说实在是浪费，而看起来最合理也不用游戏团队太过费时的 VR 游戏需求，就是真人 CS。然而最典型的一个多人游戏中的问题是，如何看到一个正常的对手/队友？

如果没有完整的运动姿态表达，也就没有办法表达出唯一的运动姿态。只有双手手柄和头盔位置的话，可以显示一个完整的人吗？回答是肯定的，首先双臂的运动可以通过手柄的位置姿态和假设基本不变的肩部去推算，这叫做 IK（反向运动学）。然后通过头部的位置坐标变化去推算躯干和双脚的行走过程，这个过程通常叫做 Gait Simulation（步态模拟）。

有人会把这两件事混为一谈，这不重要；但是这样的运算过程得到的解不是唯一的，这个问题却很重要。

下图就是 Gait Simulation 的一类传统应用（康复训练）。


VIVE 的热门游戏《Raw Data》在多人游戏模式中很好地诠释了步态模拟的重要性，而国产游戏开发者们大多数放弃了对这个专有名词的理解，转而用预设动画的方式，或者只显示上半身的方式来表现多人游戏的过程。

综上所述，C 端的 VR 体验尚且受限于市场和认知程度本身，因此大家纷纷选择 B 端应用。然而却面临一个“终极体验”与“可用体验”的权衡问题：没有足够稳定可靠的定位与姿态捕捉方案，无法做到完美的交互体验，也就无从开发与之对应的内容；然而做减法到只剩下多人定位和双手交互的程度之后，却依然面临了设备成本和游戏表现上的双重问题，举手维艰，举步也维艰。

• 缺少应用团队和内容
  

VR 交互硬件的混乱，当然还有头显和 Cardboard 市场的混乱，无疑让内容开发者们也接连受害。因为没有统一的标准，所以各家都在构筑自己的开发者平台，而开发者们也一直在寻找“不以收钱和谈分成为主要目的”的平台。然而平台本身的完善程度、推广程度、普及程度、还有 SDK 的合理性，都是制约这条脆弱工作链的重要影响因素。归根结底，还是循着 OpenVR 和 VIVE 的脚步最为妥当。

既然合理的完整交互方案并未形成，那么“内容为王”这句话也就无从谈起。现有的内容团队受限于 VIVE 形式的交互方式，很多时候会显得无所适从。很多团队只是架起两个 LightHouse，运行一段 VR 应用，其中包含了质量良好的数字资源。和去年底那些抽象图形与低多边形相比，这无疑是一种技术和认知层次上的提高。但是内容的丰富程度却远远达不到一个 3A 级别游戏的样子。

密室逃脱游戏是一个很好的 VR 游戏命题，适合小空间运动和双手操作，与场景物品的丰富交互也让人流连忘返。


塔防射击类游戏则是现在的 VR 体验内容的主力军。它的主要缺点就是摒弃了蛋椅，优点就是可以直接按照蛋椅类射击游戏的方式去进行设计。从体验上来说，很多时候这类游戏带来的娱乐性其实和庙会、游乐场里打枪游戏和套娃娃没什区别，可是现在的年轻人已经不满足于逛庙会和打抢游戏了。

这也是问题所在，这种轻度游戏，在手游上可能尚有空间。但是对于一个配置了高性能电脑，愿意佩戴沉重 VR 头显的玩家来讲，这类题材未免太轻度了。从个人知道的来讲，很多人在购置了 VIVE 或者 PSVR 以后，并没有使用多少次，就放在客厅再也不碰了。对于热爱游戏的玩家来说，一种全新的交互模式，弥补不了游戏性的短板。

其它的 VR 内容体验，还包括少量的交互电影、专业的行业应用、以及第三人称的传统游戏形式。从上帝视角玩 VR 游戏，尤其是沙盒游戏也许是一个不错的创意。然而轮回回到上述第一个问题，现有交互设备的局限性总是会让内容开发者们焦头烂额。

• 不合理的游戏体验过程
  

2016 年是 VR 体验馆的红海之年，至少看上去是这样。每个新开张的 VR 体验店都会摆出琳琅满目的 VIVE 游戏，开枪、坐车、射箭、敲鼓、切瓜、猜谜、捉鬼、看片、过一个风雪交加的吊桥，然后体验一把多人打僵尸的游戏，通常 120 块钱一个人。这个模式看起来好像没有问题，但是它的盈利模式并不是想象中那么美好。

这种模式在两个问题上是天然缺失的。

• 第一，整个空间上完整而一致的场景。也就是说，我们应该基于同一个世界观而构建一个游戏，而不是基于手头攒的游戏内容集合而构建一个体验馆空间。实际上目前这种堆砌的模式和 80 年代的街机厅没有什么区别，游戏和游戏之间是割裂的，玩家的体验也必然是割裂的。二十年前一个只玩《街霸》和《合金弹头》的店能赚的盆满钵满，现在谁信呢？更不说现在的 VR 交互水平和游戏粘性还远不如《街霸》。事实上也是，目前的高端 VR 街机厅模式，头两个月多是投资人和同行过来体验下，人流量还不错，到了后面就门可罗雀了。
• 第二是环境体验上的一致性。即使解决了场景上的一致——譬如Zero Latency，在 400㎡ 的空间上构建了一个游戏，做多人对战。但是他家的整个场景是清空的，不能有墙，也不能有立柱，玩家只能在里面疯跑（事实上更多人是木桩子一样傻站着）。如果在这样的 VR 游戏内容当中有一扇虚拟的门，玩家伸手却摸不到甚至能穿过去，那么是十分影响游戏体验的。
  

我们所真正期望的概念是“环境交互”，也就是说，虚拟和现实的空间环境是统一的。你可以扶着虚拟场景里的飞船舱壁前进，因为现实中这里真的有一面墙。这就构成了很好的用户体验流程，通过这些墙壁、立柱、大门的设计，也很容易做到用户行动的引导，而不是让人在一个孤零零的大场景里不知所措。如下图所示，伸手去依靠墙壁，这是 VR 真正应当具备的形态，让虚实世界无缝融合。


站在玩家的角度来讲，不解决以上两个问题，游戏本身就会缺乏引导性和趣味性，也无法代入传统网游的游戏模式。那样的 VR 游戏能玩吗？当然能，但是玩家愿意为这种体验付出多少时间，付出多少金钱？建立在这种模式下的 VR 体验馆运营策略，C 端游戏的开发和发行策略，又有多少不合理性存在呢？

以上三个问题恰恰串起了一条主线，解释了 VR 行业目前没有杀手级别的应用产生这个现象：不能做到合理的交互方式，体验的效果和游戏性就无从谈起；不能吸引强大的内容团队入局，也就无法发掘和潜心开发杀手级的应用；没有清晰的体验馆经营方式，也就难以构建清晰的盈利模式——而体验效果差，缺乏杀手级别的消费级应用，盈利模式不清晰，恰恰也就是很多初创企业和裸泳者忙不迭撤出这个行业的主要原因。

这也就是为什么在 2016 年的年底，大家觉得 VR 行业热度有所衰退的原因。前期有太多只看到热度，看不到问题的人涌入其中，而碰壁后，跑得最快的也是他们。

然而，要说到一个行业盛极而衰，并不是这样的表现形式。实际上，这种热度的消退，对于整个行业来讲，相反是有益的。以上我所述，恰恰都代表了人们在一个全新的领域初期不断探索和头脑风暴的过程。VR 是一个不断去粗存精，去伪存真的过程，不恰当概念会被自然摒弃，而留下来的良心则会奋然前行。VR 不是呼之即来，弃之即走的孙猴子，不会一下子爆开一个千亿的市场，也不会就这么留下一团青烟和一堆幼仔儿消失不见。

• VR 视频
  

VR 视频直播目前也没有完善的解决方案。只有折中的替代方案：

• 方案一：VR 眼镜中展现 2D 画面
• 方案二：将 VR 的全景画面切片，观者的眼睛转到哪，显示对应区域的画面。
  

VR 视频直播最大的难点是，网络带宽有极大的限制。这是目前的互联网技术和基础设施发展还解决不了的。市面上的 VR“点播”，质量也参次不齐，很多也只支持 1080p，几兆码率。但是即使这样，都经常会有卡顿。

• VR 直播，要达到和传统 HD/4K 视频一样的清晰度，接 Vive 之类的高端眼镜，分辨率至少要求：11520x6480，总数据大概20倍4K视频的数据量，广电对4K频道的码率定义：AVS2/4K/HDR/50fps ~ 36Mbps 。但是如果是手机端比如用cupboard方式看的话，受到屏幕和cpu的限制，全景有4k清晰度基本可以达到目前最好的效果了。
• 普通直播，720P（已经是相对较高的清晰度了），则是每秒几百K到1~2m的量级。
  

VR 直播的流程是：内容采集-VR视频生成（拼接、合成）-编码 - 解码 - 视点绘制 - VR显示设备 - 用户。真正的 VR 直播要能做到：支持用户在任意位置以任意视角观看动态场景。

目前，全景视频是 VR 视频的初级阶段，也是 VR 视频目前的主流形态，仍然有很多技术问题需要解决：

• 显示质量
• 合成质量
• 传输带宽
  

将来，高级 VR 视频形态：

• 全景 3D 视频：提供 3D 视觉，但不支持 Anywhere 体验
• 自由沉浸立体视频：在一定空间范围内提供 Anywhere + Anytime + Anyview + Stereo 的沉浸体验
  

VR 直播要达到理想状态，任重道远。

现状

2016年过去了，现在大家开始反思，如何正确的面对这个行业，所以媒体会跟着认为，这是潮水退去，其实是行业回归，回归到正常的状态。那么狂潮过后，这个行业还剩下什么？

• 理性
  

对于一个新兴的互联网行业而言，太过喧闹其实都不好，纵观这几年来，自从风口飞猪理论流行之后，每一年，都有一个主题，仿佛成了互联网行业的惯例。虚拟现实也一样，2015 年底被推出来，一路风风火火，到现在这波热炒的人，开始慢慢退去。但真正做 VR 的人，却沉淀下来。

个人觉得这是件好事，无论是投资人还是创业者，当这个行业变得理性的时候，就会有非常明确的目标，非常踏实的做事，因为觉得他们走得怎样的，是市场，而不是风口。

• 基础设施
  

这一年，整个行业搞起来的时候，大量的从业者加入，无论是硬件、软件还是内容，都诞生了很多优秀的产品和作品。所以不能只看到表面，其实今年的成就还蛮大的，包括政府在内，有很多产业基地，已经对 VR 人才的培养尝试，还有各种有利于 VR 行业的基金和联盟，以及人脉的打通。

可以说这是基建的一年，VR 的内容、方案、硬件，甚至包括测评在内，都是需要白手起家的。而这一切，就在今年全部做起来了，这对未来来说，是留下一个非常良好的基础设施。

• 品牌沉淀
  

虚拟现实被大家热炒了一年，火的时候可能是业内火，冷的时候也是业内冷。但对于圈外来说，VR 还是一个非常值得追求的领域，其体验给大家带来极大的视觉享受。就像 14 年那会，扎克伯格收购了 Oculus，而带动整个行业。

今年虚拟现实的火爆，是搞动了整个互联网圈，甚至互联网之外的其他领域，都宣布大规模的引入 VR，其实从这个角度来说，经过一年的大家推动，大家已经意识到，VR 对未来越来越重要。尽管他们觉得，现在好的 VR 产品价格还是偏高，一旦价格降下来，后面可能会考虑。因为很多人手里，现在已经在玩着山寨的 VR 产品。

2017 年的展望

经历 2016 年这一年的洗礼，现在的 VR 行业变得理性之后，也许才是 VR 真正的开始。

事实上以体验店为主的厂家未必会发展的很好，因为 VR“体验”只是个临时的产物，本质上大厂驱动的 VR 是一种更深层次的信息交换技术。体验是什么？是一个没有标准且短暂的感知方式，怎么会让人重复使用呢？何况现在技术还那么不成熟，VR/AR 技术成熟后的体验就不是体验了，而是像当下的电影一样，成为一种生活方式。

VR 到底什么时候 toB、toC的问题目前还是没有答案，但是不要忘了，当所有的大厂都在此发力，技术成熟也就不晚了。主宰 PC 和移动的厂家，有了各种各样的武器，需求会被创造出来的。人的需求属性有两种，一种是强需求，移动电话就是强需求的革命，后来的移动互联是在这个强需求上的再创造，以至于电话功能本身都被削弱了。还有就是习惯属性的改变，如果你周围所有辅助你生活的工具（记住，工具基本都是大厂创造的）都是以VR/AR为中心创造的，你也会改变的。

最终技术会改变生活，技术要为人类服务。2017年，VR/AR 会继续精彩。

via：CSDN

相关阅读：从开发零基础到登上Steam和Oculus：一个VR游戏开发者的自述