天天观察:Meta 最新研究:无需额外跟踪器的 Quest 2 身体跟踪

时间:2022-10-01 18:43:52       来源:腾讯网

Meta 研究人员展示了无需额外跟踪器的 Quest 2 身体跟踪。

当前的 VR 系统附带头显和手持控制器,因此只能跟踪头部和手的位置。您的肘部、躯干和腿部的位置可以使用称为逆运动学 (IK) 的一类算法来估计,但这有时仅对肘部准确,而很少对腿部进行校正。对于每组给定的头部和手部位置,都有太多潜在的解决方案。


(相关资料图)

鉴于 IK 的局限性,今天的一些 VR 应用程序只显示你的手,许多只显示你的上半身。使用 SteamVR 跟踪的 PC 头戴设备支持佩戴额外的跟踪器,例如HTC 的 Vive Tracker,但身体跟踪所需的三个成本在 350 美元以上,因此大多数游戏不支持此功能。

但在一篇名为 QuestSim 的新论文中,Meta 研究人员展示了一个由神经网络驱动的系统,该系统可以仅使用来自 Quest 2 及其控制器的跟踪数据来估计合理的全身姿势。不需要额外的跟踪器或外部传感器。

生成的化身动作与用户的真实动作相当接近。研究人员甚至声称,由此产生的准确性和抖动优于磨损的 IMU 跟踪器——只有加速度计和陀螺仪的设备,例如 Pico 4 宣布的Pico Fitness Band(虽然 Pico 声称它正在研究自己的机器学习算法)。

但是,这里有一个问题。正如视频中所见,该系统旨在产生一个合理的全身姿势,而不是与您的手的确切位置相匹配。因此,QuestSim 仅适用于查看其他人的化身身体,而不适合俯视时看到自己的身体。系统的延迟也是 160 毫秒——在 72Hz 时超过 11 帧。

Meta目前的无腿头像

但是,看到其他人化身的全身运动比 Meta 当前化身经常被批评的无腿上身要好得多。那么这个系统或类似的系统会出现在 Quest 2 中吗?

Meta CTO Andrew Bosworth 似乎在上周暗示了这一点。当被问及 Instagram 中的腿部追踪“问我任何事情”时,博斯沃思回应道:

“是的,我们经常因为无腿的化身而被取笑,我认为这很公平,而且我认为这很有趣。

在你自己的头像上拥有与你的真实腿不匹配的腿,这让人们非常不安。但是我们当然可以把腿放在其他人身上,你可以看到,这根本不会打扰你。

因此,我们正在研究对旁观者来说看起来很自然的腿——因为他们不知道你真正的腿实际上是如何定位的——但是当你看着自己的腿时,你可能会继续什么都看不到。这是我们目前的策略。”

不过,短期解决方案可能与该算法的质量不同。机器学习研究论文倾向于在功能强大的 PC GPU 上以相对较低的帧速率运行。该论文没有提及所描述系统的运行时性能。

Meta Connect 年度 AR/VR 活动仅在 2 周多的时间内举行,因此任何身体追踪公告都可能在此期间发布。

关键词: