Meta 研究人员展示了无需额外跟踪器的 Quest 2 身体跟踪。
当前的 VR 系统附带头显和手持控制器，因此只能跟踪头部和手的位置。您的肘部、躯干和腿部的位置可以使用称为逆运动学 (IK) 的一类算法来估计，但这有时仅对肘部准确，而很少对腿部进行校正。对于每组给定的头部和手部位置，都有太多潜在的解决方案。
(相关资料图)
鉴于 IK 的局限性，今天的一些 VR 应用程序只显示你的手，许多只显示你的上半身。使用 SteamVR 跟踪的 PC 头戴设备支持佩戴额外的跟踪器，例如HTC 的 Vive Tracker，但身体跟踪所需的三个成本在 350 美元以上，因此大多数游戏不支持此功能。
但在一篇名为 QuestSim 的新论文中，Meta 研究人员展示了一个由神经网络驱动的系统，该系统可以仅使用来自 Quest 2 及其控制器的跟踪数据来估计合理的全身姿势。不需要额外的跟踪器或外部传感器。
生成的化身动作与用户的真实动作相当接近。研究人员甚至声称，由此产生的准确性和抖动优于磨损的 IMU 跟踪器——只有加速度计和陀螺仪的设备，例如 Pico 4 宣布的Pico Fitness Band（虽然 Pico 声称它正在研究自己的机器学习算法）。
但是，这里有一个问题。正如视频中所见，该系统旨在产生一个合理的全身姿势，而不是与您的手的确切位置相匹配。因此，QuestSim 仅适用于查看其他人的化身身体，而不适合俯视时看到自己的身体。系统的延迟也是 160 毫秒——在 72Hz 时超过 11 帧。
Meta目前的无腿头像
但是，看到其他人化身的全身运动比 Meta 当前化身经常被批评的无腿上身要好得多。那么这个系统或类似的系统会出现在 Quest 2 中吗？
Meta CTO Andrew Bosworth 似乎在上周暗示了这一点。当被问及 Instagram 中的腿部追踪“问我任何事情”时，博斯沃思回应道：
“是的，我们经常因为无腿的化身而被取笑，我认为这很公平，而且我认为这很有趣。
在你自己的头像上拥有与你的真实腿不匹配的腿，这让人们非常不安。但是我们当然可以把腿放在其他人身上，你可以看到，这根本不会打扰你。
因此，我们正在研究对旁观者来说看起来很自然的腿——因为他们不知道你真正的腿实际上是如何定位的——但是当你看着自己的腿时，你可能会继续什么都看不到。这是我们目前的策略。”
不过，短期解决方案可能与该算法的质量不同。机器学习研究论文倾向于在功能强大的 PC GPU 上以相对较低的帧速率运行。该论文没有提及所描述系统的运行时性能。
Meta Connect 年度 AR/VR 活动仅在 2 周多的时间内举行，因此任何身体追踪公告都可能在此期间发布。
关键词：
