使用IR和环境光的混合像素动态视觉传感器跟踪的制作方法

本公开的各方面涉及游戏控制器跟踪，具体地，本公开的各方面涉及使用动态视觉传感器的游戏控制器跟踪。

背景技术：

1、现代虚拟现实(vr)和增强现实(ar)实施方式依赖于准确且快速的运动跟踪以用于与装置的用户交互。ar和vr通常依赖于关于控制器相对于其他对象的位置和取向的信息。许多vr和ar实施方式依赖于控制器内的加速度计或陀螺仪进行的惯性测量与外部相机为确定控制器的位置和取向而对控制器进行的视觉检测组合。

2、最早实施方式中的一些使用由指向屏幕的游戏控制器上的具有定义的检测半径的红外相机检测到的红外光。相机以每秒200帧的适度快的速率拍摄图像，并且红外光的位置得以确定。在红外光之间的距离是预定的，并且根据红外光在相机图像中的相对位置，可计算控制器相对于屏幕的位置。加速度计有时还用于提供关于控制器的位置或取向的相对三维变化的信息。这些先前实施方式依赖于屏幕和指向该屏幕的控制器的固定位置。在现代vr和ar实施方式中，屏幕可在随用户移动的头戴式显示器中放置得靠近用户的面部。因此，具有绝对光位置(也称为灯塔)变得不期望，因为用户必须设置独立灯塔点，这要求额外设置时间并限制用户的移动范围。另外，即使红外相机的呈每秒200帧的适度快的帧率也未快到足以为运动提供平滑反馈。此外，该简单设置本身不适合与更现代的由内而外检测方法(诸如房间映射和手部检测)一起使用。

3、最近实施方式使用相机和加速度计与被训练来检测手部、控制器和/或其他身体部分的经训练的机器学习算法结合。对于平滑运动检测，必须使用高帧率相机来生成用于身体部分/控制器检测的图像帧。这生成大量数据，必须迅速地处理这些数据才能实现平稳更新率。因此，必须使用昂贵的硬件来处理帧数据。另外，帧中的每一者中的帧数据的大部分被认为是不必要的，因为它与运动跟踪无关。

4、正是在这种背景内提出本公开的各方面。

技术实现思路

技术特征：

1.一种跟踪系统，所述跟踪系统包括

2.如权利要求1所述的跟踪系统，其中所述其他光是来自环境的环境光，并且由两个或更多个光敏元件生成的所述信号由所述阵列中的两个或更多个光敏元件生成。

3.如权利要求1所述的跟踪系统，其中所述一个或多个滤波器包括在所述阵列中的所述光敏元件中的第一组一个或多个红外(ir)光敏元件上的ir通滤波器和在所述阵列中的所述光敏元件中的第二组一个或多个光敏元件上的红外截止滤波器。

4.如权利要求1所述的跟踪系统，其中所述一个或多个滤波器被配置为选择性地将来自所述两个或更多个光源的光传输到所述阵列中的所述光敏元件中的一者或多者，以及选择性地阻挡其他光到达所述阵列中的所述光敏元件中的所述一者或多者，其中所述一个或多个滤波器还被配置为选择性地阻挡来自所述两个或更多个光源的光到达所述阵列中的所述光敏元件中的不同的一者或多者，以及选择性地将所述其他光传输到所述阵列中的所述光敏元件中的所述不同的一者或多者。

5.如权利要求1所述的跟踪系统，其中所述一个或多个滤波器被配置为选择性地将来自所述两个或更多个光源的光传输到所述阵列中的所述光敏元件中的一者或多者，以及选择性地在某些时间阻挡其他光到达所述阵列中的所述光敏元件中的所述一者或多者，并且其中所述一个或多个滤波器还被配置为选择性地阻挡来自所述两个或更多个光源的光到达所述阵列中的所述光敏元件中的不同的一者或多者，以及选择性地在其他时间将所述其他光传输到所述阵列中的所述光敏元件中的所述不同的一者或多者。

6.如权利要求1所述的跟踪系统，其中所述一个或多个对象包括控制器。

7.如权利要求6所述的跟踪系统，其中所述一个或多个对象包括除所述控制器外的对象。

8.如权利要求1所述的跟踪系统，所述跟踪系统还包括深度传感器，所述深度传感器具有包括耦合到所述处理器的两个或更多个深度传感器元件的阵列，其中所述一个或多个深度传感器元件中的每一者被配置为响应于入射在其上的所述其他光而生成信号。

9.如权利要求1所述的跟踪系统，其中所述光敏元件阵列包括一个或多个深度传感器，所述一个或多个深度传感器被配置为检测所述一个或多个光源中的至少一者的飞行时间。

10.如权利要求9所述的跟踪系统，其中所述一个或多个深度传感器元件包括与所述阵列中的一个或多个其他光敏元件以棋盘图案布置的一个或多个深度传感器元件。

11.如权利要求9所述的跟踪系统，其中所述一个或多个深度传感器位于所述光敏元件阵列的第一部分上，并且一个或多个其他光敏元件位于所述光敏元件阵列的第二部分上。

12.如权利要求1所述的跟踪系统，所述dvs还包括深度感测光敏元件阵列，其中所述深度感测元件阵列被配置为检测来自所述两个或更多个光源中的至少一个光源的光的飞行时间。

13.如权利要求1所述的跟踪系统，其中所述一个或多个光源包括调幅光源。

14.如权利要求1所述的跟踪系统，所述跟踪系统还包括分束器，所述分束器光学耦合在所述一个或多个光源与所述光敏元件阵列之间。

15.如权利要求1所述的跟踪系统，所述跟踪系统还包括微机电系统(mems)镜，所述mems镜光学耦合在所述一个或多个光源与所述光敏元件阵列之间。

16.如权利要求1所述的跟踪系统，其中所述一个或多个光源包括至少一个垂直腔发射激光器或边缘发射激光器。

17.如权利要求1所述的跟踪系统，其中所述一个或多个对象包括用户的一个或多个肢体。

18.如权利要求1所述的跟踪系统，其中所述处理器被配置为使用机器学习算法来确定所述一个或多个对象的所述位置和取向。

19.如权利要求1所述的跟踪系统，其中所述一个或多个对象包括头戴式显示器。

20.一种用于跟踪的方法，所述方法包括；

技术总结
DVS具有呈已知配置的光敏元件阵列，并且响应于从相对于彼此和相对于控制器主体呈已知配置的两个或更多个光源输出的光的变化而在所述阵列中的对应光敏元件处输出对应于事件的信号。所述信号指示所述事件的时间和所述对应光敏元件的阵列位置。滤波器选择性地将来自所述光源的光传输到所述阵列中的光敏元件并选择性地阻挡其他光到达那些元件，且反之亦然。处理器根据所述事件的时间、对应光敏元件的阵列位置和所述已知光源配置确定控制器的位置和取向并根据从其他光产生的由两个或多个光敏元件生成的信号确定一个或多个对象的位置和取向。

技术研发人员：X·叶,中村勇一郎
受保护的技术使用者：索尼互动娱乐股份有限公司
技术研发日：
技术公布日：2024/1/15