VR下一代交互方案：手势与语音相结合 - 游戏开发技术论坛 - Powered by Discuz!
|
查看: 2383|回复: 0
|
VR下一代交互方案：手势与语音相结合
[复制链接]
|
|
|
VR技术的出现使得游戏体验得到了极大的丰富，许多游戏厂商都开始结合虚拟现实技术开发游戏。但是虚拟现实技术可不止有VR，下一代的技术可能是手势和语音的结合。
虽然虚拟现实还处于萌芽阶段，但人们越来越难以忽视其日益增长的势头。游戏公司已经在开发虚拟现实游戏，品牌商把这个新兴媒介作为新的营销方式，娱乐媒体也在探索新的叙事方式，试图挖掘出的虚拟现实的潜力。先把这些炫酷的内容放在一边，目前虚拟环境中的UI设计尚未取得任何的进展。UI设计是虚拟现实融入大众文化所面临的最大挑战之一，而这个问题还没有找到一个解决方案。
虚拟现实中的UI设计并不容易，同时也是一个不同寻常的挑战。要找出具体的解决方案，我们需要尝试设计出一种符合日常生活的自然操作界面。我们如何在用户界面中重现真实世界的自然操作呢?UI是否需要通过手势进行操作，而不是按钮和下拉菜单呢?用户界面设计在这个新的虚拟世界中又会如何演变?
目前还没有找到一个最佳的实践方式，也没有任何的标准，我们仍然在设法弄清楚什么才是有效的UI，能让对我们感到自然和直观。我对寻找一个熟悉自然的新用户界面设计的挑战感到异常兴奋，而这也是虚拟现实世界挑战的独特之处。
1. 早期VR中的UI
目前，虚拟现实中的UI由类似网页的设计和一些控制器组成。大部分的按钮界面就像是网站的选项、箭头和下拉菜单。这种交互并不自然，在虚拟环境中进行交互时通常让人感觉很繁重。大部分的主流头显生产商都引入了手柄风格的设备来帮助用户在虚拟世界中进行导航。Oculus Rift日前发布了一款优化的控制器Oculus Touch。
HTC Vive则提供了两个手部控制器，能实现精准的追踪和触觉反馈。PSVR则沿用原来的Plastation Move控制器。所有这些手柄风格的设备很适合游戏操作，同时也是十分拉风的艺术应用。但在观看电影、阅读故事和新闻内容时感觉并不太自然。在现实中，我们不会通过手柄进行移动。我们需要一种更自然，更符合现实的方式来与VR环境进行交互。
还记得iPhone之前的智能手机吗?它们使用手写笔、笨重的键盘和桌面设计。直到苹果推出了多点触摸，我们才意识到我们使用了错误的移动计算方式。多点触摸是移动设备中的突破性UI，并为大众带来了下一个计算平台：手势界面设计。我们已经从键入命令时代发展到触控时代。那么对虚拟现实而言，下一个有意义的计算界面又是什么呢?
2. 手势
我们低估了双手在现实交互中的作用。指、拿、翻、抓、触摸和感觉等等，都需要我们的双手和手指。在虚拟现实中复刻手部是一件复杂的事情，但一些公司已经在实验手部追踪，试图找出更为真实自然的方法把手势操作融入到虚拟现实中。
Leap Motion想出了一个方法，让Leap Motion的设备来追踪用户的双手，以此来实现手势操作。无需手套的手部追踪。
Manus VR正在研发首款消费者版虚拟现实手套。他们十分巧妙地把手指和手势操作嵌入到虚拟世界中。
微软最近发布了一些VR手部追踪的原型设备。借助Kinect技术，他们可以更加准确地在虚拟现实中模拟出触感。
这些技术进步对虚拟现实中的UI机制而言很有帮助。然而，Kinect和Leap Motion的实验表明了人类并不喜欢长时间通过手势进行操作。单纯的手部追踪并不能成为未来虚拟现实UI系统的答案，但这将会为下一代计算界面提供灵感，并有可能影响未来的虚拟现实。
3. 语音
所有的科技巨头都在押宝“对话即平台”(conversation as a platform)将会成为下一个范式转移，颠覆我们与计算机的交互方式。我本人十分相信VR中的UI设计将会从这个新的“对话及平台”中获益甚多。没错，我们是的，我们已经研究自然语言处理的解决方案已经有一段时间，而目前也没有找到一个令人满意的答案。但自然语言处理已经变得越来越好，更加有用、开放和可靠。
我的Amazon Echo效果出奇的好。而苹果也在发力Siri语音系统，现在Siri已经可以与其他应用和公司进行通信。三星最近收购了Viv，正式进军语音助手市场，值得一提的是Viv其团队原来也是Siri的开发者，在Siri被苹果收购后，该团队又成立了Viv。现在，我们不难发现技术正沿着哪个方向发展，而这些科技巨头正在努力解决自然语言处理的问题。
自然语言处理和手势操作的结合将会形成一种强大而又熟悉的交互方式。我们已经渐渐摆脱物理触控的交互的方式，并转向一个基于语音和手势的UI系统，就如同自然的人类交互方式一样。快速的手势操作和语音命令可以帮助打造一个完美的虚拟现实UI系统。
处于虚拟现实的萌芽期令人感到十分兴奋，因为我们有机会去定义、发明可以经受时间考验的标准和最佳实践，就如同当年的拓荒者、先驱一样。这将会成为与虚拟现实进行交互的自然方式。可以肯定的说，VR控制器不会是虚拟现实UI系统的最终答案。
相关阅读：AR、VR中的交互输入（一）——手势识别
via：yivian
|
|
|
|
|
|
|
|
|
|
Powered by Discuz! X3.4
Copyright © 2001-2021, Tencent Cloud.
App Store
Steam
发表于 2016-11-1 11:03:29
收藏
支持
反对
闽公网安备 35020302034348号