微信扫码
QQ咨询
服务热线
服务热线:186-5827-5397
TOP

最近研究人员通过 VR/AR 技术来控制人体

发布时间:2022-05-05

e587b8fa149bd1299089563c63d61d19.png

在研究团队发布的一段编译视频中,你可以看到一个戴着 Microsoft Hololens 混合现实耳机的人使用真实世界的灭火器扑灭 AR 火灾。为了帮助他,现实世界中的观察者使用 Playstation 控制器向颈部的四个主要肌肉群发送信号,以转动用户的头部并将其引导至灭火器。

在视频的后面,我们看到一个人戴着 Meta Quest VR,而另一个人驾驶着一架装有摄像头的无人机。飞行员可以使用无人机控制 VR 用户的颈部运动,让他们同步视角。

在接受 VRScout 采访时,Yudai Tanaka 博士。芝加哥大学人机集成实验室的一名学生和电子头部驱动团队的一名研究人员在谈到该计划时说:“我们努力解决人机界面中的问题。一个真正困难的问题是如何使可以移动身体的强大执行器小型化——比如机器人外骨骼。”

然而,机器人外骨骼很大,需要大量电池才能运行。正如田中所说,“外骨骼又大又重又笨重。”

田中和团队研究了如何施加机械力并推动用户的身体,使其移动,而不会使用户处于危险之中。通过使用 EMS,该团队能够在没有外骨骼的情况下操纵用户的头部,并且通过电子头部驱动,该团队还能够在用户的颈部创建触觉力反馈体验,以实现 AR 和 VR 体验。 

田中特别兴奋的一个想法是让两个不同的用户在物理世界和 VR/AR 中同时共享相同的头部动作。借助更强大的全身 EMS 控制系统,您可以同步远距离的两个用户,并通过 AR 或 VR 设备将他们连接到虚拟世界。

一个人可以远程控制另一个人移动他们的头、胳膊和腿,创造出一种人偶。AR 或 VR 头戴式设备将允许其他人看到现场人员所看到的内容。在一次演示中,该团队展示了他们如何在弹吉他时控制某人的手。

对于现在的可能性,田中更多地谈到了前面提到的灭火器体验,他说:“我们认为我们将人们的注意力转移到灭火器上的方式有很大不同。想象一下,在紧急情况下尝试使用智能手机或 AR 眼镜来定位灭火器,AR 眼镜可能会渲染一个 AR 箭头,将您指向灭火器的位置。虽然这也很有效,这意味着你最终会找到灭火器,但它需要更多的步骤。”

这些步骤是:

  • 你需要看箭头

  • 了解您所看到的转变

  • 将其转换为您自己的头部动作。

“我们的方法与其他方法不同,我们不向用户呈现任何信息,例如视觉和声音,而是直接让用户查看对象,这只需一步,”田中说。目标是让用户“学习在这种情况下采取行动所需的肌肉记忆,而不是求助于可能不可用或涉及太多步骤的额外工具。”

为了在他们的工作中探索其他机会,该团队将他们的系统扩展到 Unity 开发人员,允许他们导入 3D 对象作为他们工作的一部分。这将允许开发人员分配一个静态目标,例如 AR 房屋或树木,以及移动的汽车、动物或箭头等轨迹目标。这也为 MR、VR、AR 和使用 Wi-Fi 上的端到端延迟的移动跟踪开辟了可能性。 

至于田中和团队的其他成员——芝加哥大学人机集成实验室博士后 Jun Nishida 和芝加哥大学计算机科学系教授、人机集成实验室主任 Pedro Lopes——他们的工作仍在继续。 

“我们希望我们的工作能够激发研究人员进一步深入研究这种直接帮助用户头部运动或视角的途径。虽然我们看到了许多间接实现这一目标的技术,例如向用户显示箭头,但我们认为某些应用程序可能需要更直接的方法来实现这一目标,例如我们的消防训练应用程序。”