186-5827-5397
卡内基梅隆大学的研究人员展示了一个实用的系统，用于在 VR 中使用安装在控制器上的摄像头进行全身跟踪，以更好地观察用户的身体。
虽然现在可以在 VR 中实现全身追踪，但它需要使用需要绑在身体上的额外硬件（例如，Vive 追踪器或 IMU 追踪器）。这使得全身追踪对于那些愿意花费金钱和时间来安装额外硬件的铁杆 VR 爱好者来说是不可能的。
因为独立的 VR 头戴设备已经配备了摄像头来跟踪他们在世界中的位置和用户的控制器，所以理论上它也可以查看用户的身体并使用计算机视觉方法来跟踪它。不幸的是，头显的摄像头角度太极端，无法可靠地观察用户的腿，这导致 Meta 最近得出结论，全身追踪在独立头显上是不可行的（尤其是当它们变得更小时） ）。
但卡内基梅隆大学的研究人员正在挑战这一概念，他们开发了一个独立的 VR 原型系统，该系统将摄像头添加到控制器中，以获得更清晰的用户身体视图，从而可以提取腿部和躯干的可靠跟踪数据。
这种方法特别有趣的是，它似乎与下一代 VR 控制器的发展方向一致。Meta 的 Project Cambria 和 Magic Leap 2 都在使用控制器，放弃依赖耳机的跟踪系统，转而使用自己的由内而外的跟踪系统计算它们的位置。
研究人员使用标准 Quest 2 耳机作为其原型系统的基础，在控制器上添加了两个面向用户的摄像头。将用户的手放在他们面前，相机可以更清晰地看到上半身和下半身。该视图经过校正，因此计算机视觉系统可以最佳地提取用户的姿势，然后将该数据与已知的头部和手部位置相结合，以创建全身跟踪模型。
当然，用户的手不会 一直在他们面前。研究人员表示，一些有限的测试表明，VR 用户大约有 68% 的时间将手放在他们面前。当手没有处于捕捉身体的好位置时，系统应该回退到身体位置的 IK 估计。虽然他们的原型并没有走这么远，但研究人员表示，他们相信通过控制器上的额外摄像头角度，即使用户的手臂和控制器放在他们身边，也应该可以捕捉到腿部的位置。
至于准确性，研究人员 Karan Ahuja、Vivian Shen、Cathy Mengying Fang、Nathan Riopelle、Andy Kong 和 Chris Harrison 表示，这种系统可能无法实现毫米跟踪精度，但厘米跟踪精度可能放在桌面上，这对于许多 VR 用例来说可能已经足够了。特别是对于他们的原型，该系统具有“6.98 厘米的平均 3D 连接误差”，尽管研究人员表示，考虑到他们用于优化系统的时间有限，这应该“考虑到性能的底线，而不是天花板”。
通过全身追踪，腿部终于成为体验中可行的一部分。这不仅是为了让您的头像在其他人看来更逼真，而且还可以选择将您的下半身融入体验，增加沉浸感并为玩家在游戏中使用提供另一种输入。
研究人员不仅为该系统创建了一个完整的跟踪模型，他们还制作了一些原型体验来展示跟踪腿如何添加到游戏中。他们展示了曲棍球守门员的体验，球员可以用身体的任何部位挡住冰球；“身体形状匹配”体验，玩家匹配传入墙壁的形状以适应它；甚至还有“脚剑”游戏，玩家用手和脚切块 。
- - - - -
那么我们能否看到像 Magic Leap 2 和 Project Cambria 这样的头戴式设备的全身追踪？在这一点上很难说；尽管控制器似乎在进行自己的内向外跟踪，但控制器上的摄像头似乎大部分都指向远离用户的方向。
但也许一些未来的耳机——或者只是一个升级的控制器——可以实现它。
无论这些头显在哪里落地，这项研究都表明，在独立的 VR 头显上进行实用、低摩擦的全身追踪可能并没有那么遥不可及。结合运行高度逼真的面部跟踪的能力，未来的独立头戴式设备将从根本上增加 VR 中的体现。
