用键鼠打游戏这事，是怎么推动计算机发展的

TiMi Club 2021-12-28

以下文章来源于TiMi Club 天美俱乐部 ，作者腾讯天美工作室群


「人机交互」这个词在日常生活中很少用到，比如正常情况下你会说洗个衣、看个剧，但要讲「我和洗衣机人机交互一下」或者「我和电视人机交互一下」，可能会被人当成傻子。

但作为一门研究系统与用户关系的学问，人机交互这个概念倒是无处不在，小到一些基础生活应用，大到为智能产业融入实体经济带来新的路径。比如给飞机设计个好用的仪表盘，或者是给流水线弄一间现代化的管控室，在政务、教育、医疗和制造业场景落地等等。

如果想在大众消费领域找一个高频且标志性的人机交互场景，那其实没有太多好选的，肯定是打游戏。从键盘、鼠标、手柄到手势体感，再到还在实验阶段的脑机和眼动，一部分游戏开发者，恨不得将所有助于感官提升的操作体验全给融进去。

不过前不久在教亲戚家的小孩捣腾电脑时，有件事情让我陷入了思考。虽然键鼠操作看起来还挺符合直觉，但它并不是一种天然的、零门槛的人机交互形式，从未接触过的人是不能马上适应的。

但这些东西是怎么变得约定俗成的？游戏又润细无声的在人机交互技术的发展中产生了哪些影响，以至于它成为实验工具，帮助触控、手势和体感等更自然的交互形式实现普及？

游戏是事实意义上的技术实验场

在考证两者的关系时，我发现游戏相较于「定义」或者「开创」，可能更多定位在「影响」。其实在人机交互的发展历程中，它也屡次扮演这样的角色，在某个技术或者硬件诞生时作为一种实验工具和推广手段，使得大众消费市场更有希望接纳新事物。

例如计算机图形学的先驱伊万·萨瑟兰（Ivan Sutherland），曾经提出「感觉真实+交互真实」的人机协作理论，他早在1968年就创造了一个名叫「达摩克利斯之剑」（The Sword of Damocles）的机械跟踪系统，被认为是VR和AR的老祖宗。

萨瑟兰将头戴设备连接到悬挂在实验室天花板的机械臂上，通过连杆跟踪头部运动，当用户凝视某个位置时，计算机会输出相应角度的简单线框投影到头戴设备上。


这套系统先后被美国军方和NASA参考用来做模拟训练，但真正尝试着民用化的，都要算到1984年VPL Research的头上了。这家公司围绕沉浸感做了一整套东西，包括头显、手套和带传感器的衣服。从演示来看，大部分内容还是围绕着游戏来做想象的。

遗憾的是，VPL Research的产品光一个头显就卖10万美刀，很难在大众消费市场取得成功，反倒是美泰借鉴他们的The DataGlove做了副「能量手套」，只卖90美元。尽管在玩配套的红白机游戏时极其难用，被很多做复古游戏内容的视频博主骂得狗血淋头，但也在全球范围内售出了130万件。


包括基于VR的人机交互方式，也是随着上世纪90年代世嘉、任天堂等一批游戏企业的入驻，通过Sega VR和Virtual Boy这些产品让更多消费者有了看得见、摸得着的基础认知，才会有数年前Oculus Rift众筹奇迹引发的又一次商业泡沫。

类似的例子还有很多，比如手势手套在游戏《黑与白》中的辅助应用，触屏技术在NDS上所引发的「触摸世纪」潮流，体感功能在PS2 Eye Toy和Wii上的再思考等等。

其实正如计算机图形用户界面和鼠标操作的不断迭代，每一种人机交互形式都是从非常小的细节开始不断优化的。一个比较突出的案例是用手柄去适配传统MOBA，这个过程需要经过很多调整。像是在《宝可梦大集结》里，释放非指向性技能时需要通过Switch摇杆来精确控制落点，如何根据玩家拨动摇杆的力度，来确定技能指示器的移动速度也是门学问。


而通过游戏来挖掘触屏交互潜力的例子就更多了，以FPS这个特殊的品类来说，过去人们很难想到它应该如何在没有实体按键的移动端表现出来，但如今的体验也是越来越细致。比如在《使命召唤 手游》里，怎么在预瞄准状态下取消操作，怎么实现开火与开关镜能同步操作，以及武器拉栓、翻越射击和多指操作都有各自的专利，每家公司的方案不尽相同。

第一款鼠标与第一款鼠标游戏

话说回来，在70年前模拟计算机和大型计算机的时代，与游戏相关的人机交互是作为一种副产物出现的，没有太多创新。比如1950年，加拿大国家博览会上展出了一台名为《大脑伯蒂》（Bertie the Brain）的井字棋游戏，玩家需要通过装着灯泡的面板，分别点击九个不同的按钮选择落子位置，看起来特别笨拙。工程师约瑟夫·凯特（Josef Kates）最初造这台机器的目的，纯粹是为了宣传自己发明的「加法管」（Additron tube）。

而1958年在美国布鲁克海文国家实验室诞生的《双人网球》（Tennis for Two），不仅借用了示波器的屏幕作为显示设备，就连搭载旋钮的盒状控制器，也是参考示波器的操作来制作的。到了1962年被人们誉为第一款电子游戏的《太空大战》（Spacewar!）上，作者依然保留了PDP-1那套复杂的控制面板，它由数十个机械开关，以及装着纸质穿孔带的阅读器和支架组成。


但即使如此，我们还是能发现游戏是科学家们研究计算机易用性的一种方式。

道格拉斯·恩格尔巴特（Douglas Engelbart）和很多科学家还有所不同，这人相当专注的想从人机交互角度打破历史的枷锁，他是电脑鼠标的发明者，也是图形用户界面的先驱。


二战期间，恩格尔巴特在菲律宾担任美国海军雷达技术员时便萌生出一个想法：为了引导社会正确使用从战争中获得的科学知识，必须有一套更好的管理方法。于是在20世纪60年代早期，他在斯坦福研究所（SRI）的增强研究中心组建了一个工程师团队，试图将电脑从单纯的数字运算中解放出来，使其成为通信和信息检索的工具，而且可由单人高效的交互。

所幸是NASA和ARPA（美国国防高级研究计划局）也愿意出钱支持，工程师们开始把零散的元素整合到一起，打造一体化的计算机系统。其中包括比尔·英格利什（Bill English） 加入团队后，结合恩格尔巴特利用平面仪基本原理来输入X和Y坐标数据的理论，共同在1964年制造出的鼠标原型 —— 一个由木头外壳、滚轮和高帽按钮组成的设备。


当然鼠标仅仅只是整个大项目中的一小部分，更重要的是他们定义了现代图形交互的形式。1968年12月9日，在旧金山市政礼堂举行的秋季联合计算机会议上，恩格尔巴特和SRI同僚们的成果NLS系统（oNLine System）终于面世。现场90分钟的演示，后来被人们以「所有演示之母」（The Mother of All Demos）相称，可见其极高的历史地位。


这场演示主要是介绍了一个完整的系统，展示了现代计算机几乎所有的基本要素。包括由键鼠驱动的窗口、超链接、视频会议、文字处理以及可以实时协作的编辑器等等。研究人员还自制了两个1200波特率的「高速」调制解调器，将市政礼堂和门洛帕克总部的网络连通。恩格尔巴特的同事在48公里外拍摄的视频，可以输出到现场6.7米的屏幕上，这无一不令在座1000来位计算机专业人员感到惊讶。要知道当时一般民众还在使用机械打字机，程序员则主要通过穿孔卡编译和运行程序，屏幕上「所见即所得」的世界离他们还很遥远。


然而NLS系统本身却没有普及开来，尽管它可能看起来很方便，但实际上手却要记很多东西，不仅没有指向和点击界面的功能，用户还需要学习密码助记符（Cryptic Mnemonic Codes）才能顺利使用，视觉上就只是在原来的软件界面中增加了光标和多窗口。

受此影响，许多SRI的顶级研究人员相继离开，其中不少人来到了打印巨头施乐公司的研究中心（Xerox Palo Alto Research Center）。这里萌生了更为前卫的理念，电子游戏与计算机图形用户界面便是在施乐结缘的，换句话说，游戏也是当时人机交互的实验工具之一。

施乐研究员阿兰·凯（Alan Kay）是个值得被记住的对象，他首次提出了「桌面隐喻」（Desktop Metaphor）的概念，即把电脑想象成一个桌面，软件就是摆在桌子上的东西。比如文本文档是一张纸，很多纸可以塞到到一个文件夹里。与电脑交互应该也与桌面交互相对应，我们可以把纸拖来拖去，不想要了便把它卷成一团扔到垃圾桶里。


从1970年开始，施乐研究中心就在创造现今我们看起来理所当然的东西，他们的目标是尽量减少命令输入，让小孩子也能轻松操作计算机系统。

三年后的1973年3月1日，第一台拥有现代图形用户界面基本元素的Xerox Alto应运而生，研究人员完成了窗口、图标和指针的演示，它还配备了一个可拆卸键盘和一个三键鼠标。

尽管Xerox Alto最终因为价格问题没有推向商业市场，每台电脑的价格都高达数万美元，但在一整套考验人机交互的程序中，游戏与绘图、文字排版软件相同，被视为重要的工具。

普遍认为Xerox Alto上的《Alto Trek》是第一款用到鼠标的游戏，它由日后成立微软研究院的理查德·拉希德（Richard Rashid），和微软「Persona Project」（虚拟人）项目的领导者基恩·鲍尔（Gene Ball）开发。游戏使用到了拖拽和点击功能，而且还是最早基于网络的作品之一，从玩法来看每名玩家需要控制一艘飞船，发射火炮和鱼雷，目的是干掉其它玩家，其中还引入了《星际迷航》中克林贡人、罗慕伦人和人族的种族选择设计。


桌面隐喻在游戏领域的延伸

Xerox Alto电脑在硅谷技术人员的圈子里很有名，被很多人当成是计算机技术的未来，所以游戏和它的联动，对普及键鼠操作和图形用户界面产生了直接或间接的影响。

在施乐提出桌面隐喻概念的阿兰·凯，在1981年到1984年间便将自己的天赋带到了雅达利，担任首席科学家一职。那时雅达利的个人电脑产品线正处于从Atari 400/800换代到Atari ST的过程中，等到1985年Atari ST发售时，人们发现过去Atari 400/800的轨迹球设计被弃置，替换成了双键鼠标，另外Atari ST还配有一个创新的单芯片绘图系统，使其成为第一个具有彩色图形使用界面的电脑。


当然作为雅达利的产品，Atari ST最吸引人的部分还是游戏。因为设备价格较低、性能不错，而且还有彩色图像，获得了老一辈知名游戏开发者的青睐。说得上名字的就有《上帝也疯狂》和《黑与白》的作者彼得·莫利纽兹 （Peter Molyneux），《另一个世界》的设计师埃里克·夏希（?ric Chahi），以及《精英》的联合制作人戴维·布拉本（David Braben）。

伪3D角色扮演游戏《地下城主》（Dungeon Master）和第一人称射击游戏《MIDI Maze》最早均来自Atari ST平台，而且都使用到了键盘和鼠标相配合的操作。除此之外，这台机器一定程度上也可以充当生产力工具，衍生出了一批文字编辑、表格和数据库程序，以及从业余级到专业级的CAD、CAM软件，从而进一步普及了键鼠交互的用户群。


其实阿兰·凯在雅达利任职期间对Atari ST有多少贡献已经很难考证了，但可以确定的是他仍然在人机交互的方向上努力。

在1981年时，他邀请另一位计算机先驱罗伯特·斯坦（Robert Stein）加入雅达利，共同向母公司华纳展现电子百科全书在多种人机交互下的可能性。为了让不懂技术的高管也能把事情整明白，他们还请来迪士尼动画师专门画了一组图，其中涉及到很多应用场景。

比如在自然历史博物馆的展览中，孩子们带着耳机，墙上的显示器正在运行关于恐龙生活的互动模拟。


比如酒商在马背上，咨询智能百科全书关于种植水稻所需的土壤和水。


又比如人们在酒吧里一边看球，一边用吧台的智能百科全书进行赛事模拟。


或者更简单一点，商人在去纽约的路上，用智能百科全书回顾股票市场的趋势。


这些场景我们现在并不陌生，具有极强的前瞻性。但事情还没有真正做成，阿兰·凯就在1984年跳槽到了苹果，他认为雅达利的实验室失去了创新氛围，更在意短期内的目标，已经不太适合自己了。彼时《纽约时报》对这起人事变动的评价是：这可能会损害到雅达利开发全新电脑的能力，以及让家庭用户将其视为一种必要设备，而不是玩具或复杂打字机的前景。

硅谷大盗的爱丽丝镜中世界奇遇记

既然提到了苹果，不妨讲讲Xerox Alto诞生后另一条平行时间线上的故事。

1979年苹果公司正式上市，施乐为了能第一时间买到他们的股票期权，给了苹果团队参观研究中心的机会，这对于计算机人机交互的发展也是个关键节点。

史蒂夫·乔布斯很清楚自己要什么，他在两次参观的过程中带上了图形用户界面的设计师比尔·阿特金森（Bill Atkinson），以及曾经在施乐研究中心工作过的程序员布鲁斯·霍恩（Bruce Horn），想要给自己的个人电脑项目寻找灵感。

施乐的几个工程师也是精明人，当然知道这些小心思，他们起初专注于展示相对没那么重要的文字处理程序和非机密版本的Smalltalk编程语言，本来想打打马虎眼糊弄过去。

没想到乔布斯一个电话打给施乐风投部门的负责人投诉，远在康涅狄格的施乐总部立马给研究中心下达命令，让他们毫无保留的展示成果，气得Smalltalk的开发者之一阿黛尔·戈德堡（Adele Goldberg）当众离场。

这场两个多小时的演示最后展现了几个重要成果，包括如何实现联网，面向对象编程如何工作，但苹果更关心的是图形用户交互界面的设计，比尔·阿特金森当时差不多都要把脸贴到电脑屏幕上了，电影《硅谷大盗》（Pirates of Silicon Valley）也翻拍了这段故事。而且值得一提的是，苹果团队参观研究中心时《Alto Trek》已经开发完成，不难猜想，作为《星际迷航》爱好者的乔布斯会对这款游戏产生何种兴趣。


乔布斯后来回忆到，他不敢相信施乐还没有将这种人机交互的形式商业化，他觉得自己看到了计算机产业的未来，一个将电脑推广到普通人家中，使其像厨房电器一般易于操作的未来。

于是在1983年到1984年间，苹果偷师成功后分别推出了Apple Lisa和Macintosh两款电脑，并修改了Xerox Alto一些不太合理的地方，比如300美元成本的三键鼠标被换成了15美元的单键鼠标，增加了用鼠标拖拽窗口的功能等等。虽然Apple Lisa因为过于昂贵没能获得商业成功，但Macintosh却凭借着易用和价格亲民的优势大受欢迎。


在这两款电脑开发的过程中还发生了一件有意思的事情，负责打印机功能的程序员史蒂夫·卡普斯（Steve Capps），通过业余时间在Apple Lisa上编写了《爱丽丝镜中世界奇遇记》（Through the Looking Glass）这么一款用到键盘和鼠标操控的游戏，它的玩法基于国际象棋，玩家需要一边躲避棋子碰撞，一边控制主角吃掉棋子。


几乎所有的团队成员对这部作品的交互印象深刻，乔布斯甚至想要拉拢隶属于Apple Lisa项目的卡普斯活水到Macintosh项目。但卡普斯作为关键成员不可能立马跳槽，于是双方达成一项协议，待Apple Lisa发售后他再去乔布斯的手下做事，而最终《爱丽丝镜中世界奇遇记》也在1984年Macintosh春季发布时一同获得了推荐。

这款游戏发售时被包装在一个织物材质覆盖的盒子里，看上去很像一本装订精致的书，可见苹果对于《爱丽丝镜中世界奇遇记》的发行还是比较重视的。打开前盖可以看到软盘和印在内盖上的说明书，除了游戏本体外，软盘中还包括卡普斯写的另外两个小程序，一个是可以显示当前时间的屏保；另一个是迷宫游戏《Amazing》，玩家可以拖动鼠标来解开谜题。


如今当人们审视游戏对人机交互的影响时，可能会聚焦于两个层面。

首先是应该在游戏领域试验新的交互方式，让老百姓也能没啥门槛地用起来。50多年来鼠标、键盘、图形用户界面的耦合与普及，足以说明这是行之有效的。

其次是应该从单纯技术方面的理论中跳出来，更进一步展现对社会和人文的关怀。我们能够看到大量基于游戏的人机交互行为，在脑力锻炼、身心健康、医疗培训方向上的应用。有款叫《Gryphon Rider》的游戏，就是利用Kinect的体感功能来帮助脑损伤的患者康复。

我身边也有一些例子，像是天美做的公益游戏《见》，利用一些技术专利在移动端模拟和探讨盲人的日常交互。除了游戏本身的交互效果外，引起社会共情也是一个着眼的目标。


历史上的偶然可能促成了人机交互这一学问的建立，1960年代中期开始爆发的「软件危机」让人们自省。因为在计算机技术发展的初期，才华横溢的程序员们丝毫不受束缚，随心所欲地编程，反正别人也看不懂也用不上。但随着个人电脑普及、软件数量和规模的变大，他们也很难兜得住了，程序变得愈发难以维护，错误和漏洞也越来越多。

计算机图形学、信息检索、软件工程都是在那之后发展起来的，人们也意识到人机交互是统合这些元素、解决软件危机的关键。而游戏在其中恰恰起到了穿针引线的演示作用，随着游戏表现形式的发展，它未来还可能被用于更有深度的研究。

来源：TiMi Club

参与评论