使用光追踪和相对位置检测的直接三维指向的制作方法
【专利说明】
[0001] 相关文件的交叉引用
[0002] 本发明申请要求2014年7月24日提交的序列号为62/028, 335的美国临时专利 申请和2014年12月17日提交的申请号为14/573,008的美国专利申请的优先权，其公开 的全部内容通过引用的方式并入本文。
技术领域
[0003] 本发明涉及人机交互系统。本发明尤其涉及与三维指向有关的方法和系统，采用 结合了绝对点检测和相对点检测两者的系统。还公开了可用在所述方法和系统中的指向/ 输入装置的实施例。
【背景技术】
[0004] 如图1所示，对于二维（2D)屏幕上的三维（3D)指向，用户0使用手持3D指向装 置2在2D图像显示装置4的显示表面3上对准一点。在系统中，指向装置2发射光束（见 虚线），光束接触到显示表面的位置形成点。示例指向装置2包括计算机鼠标、视频游戏控 制台或所谓的"智能"电视遥控器。显示表面3可以是计算机装置的、视频游戏控制台等的 显示屏幕。
[0005] 在系统中，指针比如是游标、十字线或其他指示物，总会显示在显示表面上指向装 置2所对准的点处，该指向装置2被称为直接或绝对指向装置，并且该过程被称为直接或绝 对指向过程。另一方面，在系统中，指针不需要显示在显示表面上的指向装置2所对准的点 处，该指向装置2被称为相对指向装置，并且该过程被称为相对指向过程。在附图2和3中 更详细描述这些概念。
[0006] 图2A描述相对指向过程的初始状态。系统将对准点20和显示点21设置为一致。 一旦指向装置2的对准点20离开显示表面的边界（见图2B)，显示点21不会跟随离开，但 会维持在一点X，该点X表示该对准点20离开显示表面边界位置处的斑点。在这样的系统 中，当对准点20返回到显示表面的边界内时，显示表面边界外的指向装置2游历的累积位 移被记录和添加至显示点21的最终位置。因此，如图2C所示，在该过程之后，显示点21与 对准点20不相同。这明显地偏离操作者的认知和直觉。操作者所需要的是指向装置总能 够直接地进行指向，即是，显示点21总与对准点一致，甚至当指向装置2离开显示表面3且 再次进入显示表面3时也能一致，如图3C所示。
[0007] 然而，几乎所有当前的3D指向装置以及比如用于智能电视的3D遥控器都是相对 指向装置。这是因为这些装置使用运动传感器模块来提供信息用于确定显示屏幕上的指针 的位置，而运动传感器提供的信息是相对信息。例如，运动传感器模块可以包括重力传感 器、陀螺仪传感器和磁场传感器。这些传感器提供相对于指向装置2先前位置的转动信息 (方位、俯仰和自转）和加速度/速度信息（线性加速度，角速度）。公知多种补偿技术以 修正指向装置2的对准点20和显示点21之间的偏差。然而，因为不知道指向装置2相对 于显示表面的位置，这些补偿技术降低了效率。
[0008] 除了运动传感器模块，公知地在指向装置中包含成像装置以提供附加的信息用于 确定对准点。如图4所示，在指向装置2中可以包含有比如是红外（IR)摄像管32的成像 装置，从而一起使用由传感条36中的光源34发射的光图以及运动传感器模块30提供的 信息，以准确地识别指向装置2的对准点38并且提供指针或其他与现实表明40上的对准 点38 -致的图示。该方案在多数装置中采用，比如应用在Nintendo?的Wii?、Phi lips?丨的 uWand和Apple?丨的某些技术中。
[0009] 图4所述的系统具有某些缺点。因为成像装置32安装在指向装置2中，操作者必 须确保指向装置2持续地面向传感条36,使成像装置能够捕捉传感条36的图像。然后，因 为指向装置2中包含的模块完成计算以确定对准点38的位置，使系统不能利用控制台42 的所有计算功能。如果用于所述计算的责权转移至控制台42,如果指向装置2和控制台42 之间连线那么指向装置2不便于用户操作。替代地，在无线配置中，在指向装置2和控制台 42之间需要用到高带宽无线传输。而且，系统不能利用显示表面40的任何成像功能（例 如，集成的或附加的网络摄像头）。此外，由于空间考虑，不能对比如在图4所示系统的成像 功能作改进，因为由于空间考虑，通常不可能想指向装置2增加附加的成像装置，即是原因 在于指向装置2不能简单地供应附加的成像器。唯一的解决方案是尝试改进包含在指向装 置2中的成像装置的分辨率，但这是不期望的，原因在于成本考虑和分辨率的限制，尤其是 适用于用户手持操作的指向装置2中或上的合适尺寸最高效成像装置的分辨率限制。
[0010] 因此在本领域中有识别需求，使直接指向系统能够使用控制台的计算功能，而不 是只依靠指向装置提供的计算能力，使该系统还可以使用整合或附加到显示表面中的成像 装置，比如计算机装置屏幕、智能电视屏幕等。还期望与多个图像装置的交互。而且，该系 统可以提供使显示表面上的指向装置的显示点与指向装置的对准点一致，甚至当对准点离 开显示表面的边界然后再次从边界进入时也能使显示点与对准点一致。
【发明内容】
[0011] 为了解决上述的技术问题和满足本领域中的识别需要，本发明提供一种直接指向 系统，能够利用控制台的计算能力和配备有一个或多个成像装置的显示表面的成像功能。 所述的系统可以灵活运作，并且还能够提供良好的直接指向结果。
[0012] -方面，本发明描述一种用于直接三维指向和命令输入的计算系统。该系统包括 至少一个计算装置和图形用户界面。提供包含至少一个光源和运动传感器模块的指向/输 入装置。运动传感器模块提供与指向/输入装置的绝对和相对位移相关的信息。至少一个 成像装置可操作地链接至所述计算装置的处理器，并且可以与图形用户界面关联。在多个 实施例中，多个成像装置与图形用户界面关联并且可操作地链接至计算装置的处理器。
[0013] 所述成像装置被配置为在所述指向/输入装置在一三维空间中并在至少一个成 像装置的视场内被握持和/或移动时捕获多个图像帧，其中每一图像帧均包括至少一个光 源的视图。一个可操作在所述计算装置上的非暂时性计算机程序产品包括可执行的指令， 用于从多个顺序的图像帧和所述指向/输入装置的绝对和相对位移信息中计算所述至少 一个光源在三维空间中的至少一个位置和/或运动，以及用于在图形用户界面中渲染与计 算出的至少一个光源的位置和/或运动对应的视觉指示器。
[0014] 在多个实施例中，所述计算机程序产品包括可执行的指令，通过确定所述至少一 个光源在捕获的图像帧中的当前位置以及确定所述至少一个光源在至少一个捕获的图像 帧中的先前位置，从而确定至少一个光源在三维空间中的位置和/或运动。计算装置从运 动传感器模块提供的信息中确定所述指向/输入装置的相对位移。然后从确定的相对位移 信息和确定的至少一个光源的当前和先前位置中计算所述至少一个光源在三维空间中的 位置。从运动传感器模块提供的信息中确定所述指向/输入装置的指向方向，定义所述指 向/输入装置的一轴线。从计算出的至少一个光源的三维位置以及由运动传感器模块提 供的确定的指向/输入装置的指向方向，计算装置处理器计算指向/输入装置的轴线和图 形用户界面的交点，并将其在图形用户界面中显示为可视化的指示器（图标、交叉线、指针 等）。计算装置处理器可以将指向/输入装置的移动解释为特