人机交互：为何我们在同一个地方搞砸了两次？

交互的黎明

没有机器，就没有人机交互可言。驾驶汽车、飞机需要交互，从一个自动售货机或者ATM里买饮料、取钱也需要交互，这些暂且不谈。和计算机的交互方式，从打孔的一张张硬纸板，到键盘、显示器组成的终端，再到鼠标、触摸笔等指点设备、再到触摸屏的普遍应用。

基础技术的进步和计算机应用的不断涌现催促着我们一次又一次重新思考“人如何去操作机器，机器又如何去反馈、配合人”这个问题。

鼠标与图形界面

仔细观察你面前的这台“设备”，无论它是手机、笔记本、Pad还是各种规格的台式机，都属于“新时代”，它们的功能之丰富、强大，是几十年前原始的机器所不可比拟的。暂且抛开互联网使得多少新的应用成为了可能，我们与这些设备交互的基本模式无非这两种：

• 键盘文字/快捷键指令输入，鼠标精确指点。
• 电容屏，依赖点击、长按、滑动等操作，兼顾指点和文字输入。
  

作为最传统（Legacy）的输入方式，键盘鼠标可没有大家想的那么“近代”，早在1946年，英国人Ralph Benjamin就发明了“Roller Ball”，一种轨迹球，就像你在某个人体工学垂直鼠标上见到的那个差不多。

他发明此物的主要动机与其他很多科技一样：军用，准确的说是为了给火控雷达做输入设备。在“Roller Ball”轨迹球出现之前，系统采用一个摇杆作为输入，而这可太不“优雅”了。


有了鼠标，就有了其对应的交互对象——屏幕上的图形界面。70年代英雄辈出，施乐（Xerox）Alto的创新是划时代的，虽然它原生还是只有命令行界面，但在它之上运行的程序却支持绘制图形界面。

正是在这台计算机上，现代意义上的图形界面（GUI）诞生了，你可以使用鼠标去直接交互图形元素！在它之上运行的Smalltalk环境（既是编程语言，其环境也是一个“操作系统”）还发明和奠定了“鼠标右键菜单”这一操作，所见即所得的文字编辑软件也因图形界面而在Xerox Alto上诞生了。

它后来还吸纳了“桌面比喻”，发明了“电脑桌面”，将其喻为现实中的办公桌面，而其上有工具、文件等“对象”。后来，Macintosh将GUI发扬光大，进一步发明了“拖拽”（Drag and Drop）等操作。


所见即所得（WYSIWYG）的哲学以及面向对象的思想，在图形界面中得以具象化、付诸实践。

乔布斯：重新发明触屏

话说回现代，电容触摸屏难道又是什么新鲜的东西吗？这回还是个英国人：1965年，Eric Johnson发明了电容式触摸屏专利，后来为空中管理系统所用。

电容式触摸屏出现在“消费电子”上则要等到1990年代，Sun公司的Star7原型PDA搭载了电容屏，并且支持“惯性滚动”，即滑动然后松开手指之后，屏幕上的东西会因为假想的“惯性”继续滚动一段。IBM Simon更是第一台搭载了触摸屏的PDA兼电话，当然，在这个“大哥大”上你还是得靠触摸笔。

时光飞逝，2006年，移动手机的按键机还是主流，但各路豪强都想到了要用触摸屏。它们拿出的机器是这样的：


显然，从根本思路上它们还是没迈过那个旧时代的坎——按键还是一大堆，什么接电话挂电话键、十字键确认键还霸占在机器下部不走。

屏幕上，整个界面构思、显示的质量还是老样子，堪比80年代的字体效果，锯齿一堆，没有想到将早已完备的PC界面改造、移植过来，更别提触屏本位思想。

唯一看起来有点希望的LG Prada（有人觉得iPhone抄袭了它）是这样的：


基本上可以这么说：它还是那个旧时代的功能机，界面还那样。只不过触屏大些、按键少些而已，它和iPhone还是天差地别的。

本人放几个马后炮，旧时代产品的问题无非以下几点：

• 有的机器有的照搬QWERTY按键，量变引起质变，PC键盘按键大小合适、用户友好，而缩小后人机工效极差。
• 有的机器沿用T9按键，限制其能承载的内容。
• 不敢大胆抛弃按键从而建立新的触屏-手指-“指点设备”本位思想和界面设计系统。
• 由于第三点，不敢扩大触屏面积，导致无法抛弃触摸笔。
  

真想搞出革命性产品还得看乔帮主。Think about it，这两台手机放在一起，感觉横跨了十年：


iPhone受到以鼠标为指点设备的PC界面启发，确立了触屏本位的思想，排斥了繁杂的按键，进一步贯彻所见即所得、所操作即所见的思想。其主界面启动器的设计（下方固定四个应用图标，上方左右切换页面显示其他应用）的设计更是十年来无人撼动。

更何况，电容屏在现在能做得更轻、更薄、更灵敏。

这其中有任何高不可攀的火星、NASA科技吗？没有。有任何全新的东西吗？有很多。不破不立。

乔帮主引用Alan Kay（Xerox Alto发明人之一）名言：


对软件真的非常严肃考虑的人们应该去做自己的硬件  ——Alan Kay

这句名言，更像是一种怪圈和诅咒，我们一次又一次掉进同样的坑里，请看下文。

游戏机与手柄

手柄就更是不用我多说了，尽是“陈年旧事”，我不想再班门弄斧。

最早的手柄都有什么特征？

• 十字键，用于“提供方向”。
• A、B、Start、Select等定番。
  

任天堂N64引入一个类比摇杆用于操作视角、提供第三个自由度，更丰富的3D游戏成为可能。而同时期所有其他游戏都还是伪3D。

“对软件真的非常严肃考虑的人们应该去做自己的硬件。”

新时代手柄普遍拥有以下功能特性：

• D-Pad或者十字键
• ABXY，以及可选的其他菜单功能键。
• 两个摇杆
• 左右各两个肩键
• 双手握持住一个手柄
  

问题：任天堂为什么不用上文提到的摇杆替代品轨迹球？

看看你的手

键盘需要十指的敲打，鼠标需要点击，触屏需要手指点按，手柄则需要手指按下按键和操作摇杆。上述一切和计算机的人机交互都离不开手的精细操作，为什么呢？

简单的事实是因为除了手我们没得选。

皮质小人是将人身体各部分比例按照神经区域占比大小所绘制的人体模型，看起来有些夸张和滑稽的模型透露出一个简单的事实：手和手指背后对应的脑部感官和运动神经区域面积巨大。

每根手指在一定程度上可以独立屈、伸，还可以横向扩张、缩小手指间距，手指本身并不具有肌肉，是手掌、小臂等地的肌肉在操作手指的运动，因此它们既具有精度又能具有力量（前提是你得锻炼）。


VR：我没有我不是

VR和头戴显示器的区别何在？这是一个根本存亡问题，回答不上来则死，答出来则活。

业界辩称3DoF（自由度），也就是玩家只能转头的是头戴显示器。而6DoF，也就是玩家自身能移动的才是VR！为了解决这个“自由度难题”，人们甚至发明了万向跑步机或者一些奇奇怪怪的设备来解决前后左右上下移动这三个自由度的问题。

这完全是搞错了重点，还记得上文的皮质小人吗？手部如此巨大，而身体、脚、头等部位的大小都只能屈居其下。

早已有人指出输入交互才是VR的大问题：给人罩上一个头盔，眼、耳感官都已经沉浸式了，但输入却极度受限，还只能抱着“旧时代”手柄按着玩。其实答案早已尽在眼前，而21世纪、20世纪的人机交互突破设计中早有珠玉在前。但所有人都面对这个戈耳狄俄斯之结一筹莫展干着急。

乔布斯在天之灵：Alan Kay 老爷子可还在世呢，你们这群后生给爷好好读读我引用他的名言啊，送分题做不出来给爷爬！

正是因此即使2017年当年被称为VR元年，VR被寄予厚望、掀起热潮，后来也不了了之。试问以下几个问题：

玩家懒，坐着不动，能玩你做的某VR游戏吗？站着移动呢？累了不爱玩了又怎么办？这两者之间又会造成什么体验区别？

现有VR游戏普遍存在无法承载复杂内容、只是形式看着新奇；或者只是对现实某种模仿，该怎样解决这个问题？

在这段时间内涌现了一些具有代表性的VR游戏，比如《Fallout 4 VR》、《Beat Saber》、《Super Hot》。

但它们或是简单大作移植，要么就是只适用于自己一种类型，比如端着手柄砍砍砍，或者上下腾挪射击，并没有给出普适化的解决方案和方向。

Valve自己则做出了《The Lab》这一实验性质极强的游戏，尝试各种各样的场景，当然，他们自己一定从那时开始就对现状非常不满意，并着手改造问题的根本——硬件。

我们又搞砸了

视线一转，让我们看看这些年推出的VR设备吧！不看头盔显示帧数视野清晰度有多牛逼，不看头盔表面多少摄像头，也不看它有没有安在墙上的定位器，就看玩家手上拿着的东西：手柄！

PSVR


Oculus系


HTC Vive系


不，不用看它们到底有什么功能，请和我确认以下几个事实：

• 这些手柄需要你五指握着，你敢张开双手它们分分钟掉下去。
• 用户都双手持握了，还需要按一堆按键——无论是游戏内什么操作，你都得通过按一堆按键实现，而这一点也不符合直觉。
  

Valve陷入了深思，撇了撇嘴，摇了摇头。而门外是人们热火朝天地谈论：Valve变味了！不做单机了！那个手册是对外宣传骗人的！G胖就知道Steam数钱！

现在，立刻翻到本文上面去重温一下，iPhone之前那些按键机是一些怎样的“丑态”。

Cave Johnson Here…

…Introducing, Knuckles Controller！这回可没人BB什么LG Prada了。


乔帮主拍了拍G胖的肩：最后还是得靠你老兄。

我甚至根本不确定Valve Index配套的这个Knuckles手柄是不是第一个做出这项改变的，但我很清楚我根本不用去确定就知道它一定是。

要是有人真这么做了的话，各位，那你们的《Half-Life: Alyx》又在哪呢？真的需要我重复一遍《Half Life Alyx》中玩家能做什么吗？去随便搜搜玩家们是怎么弹钢琴、画白板、玩杂耍和对着联合军比中指吧。

还有谁能做得到吗？

手指跟踪是技术瓶颈吗？

跟踪手指的动作并非是什么新技术，实现路径也很多，2012年便有Leap Motion——一个小型的传感器设备，能基于光学捕捉识别手指动作，而2010年的初版Kinect由于分辨率不足还不能做到。

到了2013，Kinect for Xbox One也能做到基于光学的手指动作捕捉了。但光学方式存在缺陷，例如自我遮挡导致无法识别、识别结果抖动、精准度不够、关节手指卡在一起等。这样的手部交互并不可靠，而且玩家在对着空气输出没有反馈，很容易就产生“人机对抗”，让玩家感到挫败。


肌电检测自然也是一个方法，但是商业化的例子Myo腕带展现出的性能并不让人满意，信号噪声、识别精度不够，不能为游戏要求的精准操作服务。


一种更可靠的方式则是引入IMU（惯性测量装置），也就是陀螺仪和加速度计，一个比较可靠的例子是VRFree手套。这是一个露指手套，在关节指节等地有IMU传感器，提供三维的运动检测，但是这种方法硬件太昂贵，而且——玩家的游戏内交互真的能只靠双手的真实运动吗？这在现在不太现实。

Valve 手柄的手指检测没有光学检测，没有戴在手指上的加速度检测器，更没有什么肌电，那它是靠什么方式检测的呢？答案揭晓：它是靠手掌掌心接触手柄主体上产生的电容，以及压力传感器的数值来推算手指的实际姿态的。

正如上文所说，虽然我们的手指能一定程度上互相独立运动，但控制它们的肌肉并非真的互相独立，而是有所牵连，最简单的例子就是无名指不能单独像竖中指那样竖起来。

Valve官方宣传，手柄上总共含有87个传感器，这其中实际包括那个可以用作Track Pad的 Trackbutton、握力传感器，内部的陀螺仪和加速度计、跟踪手指（含扳机键上）的电容等等。

电容再次改变了世界。

复盘

早在2016年时，早已有人体验到Valve Index手柄的原型机，当时早已经确立了给玩家手指自由度的设计方针，玩家反馈说“I didn’t have to think about input, I just did it.”（我大脑根本不用想怎么输入，我自然而然就做了），其他各厂商熟视无睹，不为所动。

2020年PSVR、Oculus大梦初醒，纷纷放出消息，称自己的仿Valve手指自由跟踪手柄”已经在研发中，亡羊补牢，不知道晚不晚。

回头看“旧时代”交互存在的问题：

• 在旧式手柄基础上构建的Gameplay：“按这个按键以抓取” “按那个按钮以换弹”，自己却不能真的上手只让人感觉WTF。
• 在游戏里，我的手被一个圆滚滚的手柄、或者一个不属于我，也不听我手的直接使唤的手模型替代。这种设计不符合直觉。
• 纠结6自由度和3自由度问题，在交互上纠结费力不讨好的移动问题，比如什么万向跑步机，不给玩家选择自由。当然，后来大家都吸纳了瞬移法。
  

为什么这些“VR厂商”错失机会？而Valve踢开HTC却独立做出了Index？

• 这些硬件厂商不做软件，软件厂商不做硬件（乔布斯讨厌软件开发厂商的重要原因）。
• 在运动层面上，无视皮质小人夸张的手部反映出的人的手部的操作能力和感官能力，把玩家当只有圆球手的哆啦A梦。
• 厂商设计者根本没有看过乔布斯2007年iPhone发布会，在手的交互这个关键问题上抛弃人机一体、所见即所得，抱着按键不放，面对一个送分题，心甘情愿呆在“旧时代”。
• 软件、游戏开发者丝毫没有听取乔布斯引用的Alan Kay名言“对软件真的非常严肃考虑的人们应该去做自己的硬件” 。
  

“Alan 可是30年前就说出了这句话”，乔布斯指着这页PPT补充道。台下又是一阵哄堂大笑和掌声。

作者： LinkAdrifting  
来源：机核
原地址：https://mp.weixin.qq.com/s/3MoECaCqQDGtsHmJHctB_A