纤细形状因子的无源光学和惯性跟踪的制作方法

背景和相关技术

混合现实是允许虚拟图像与真实世界物理环境在显示器中混合的技术。用于混合现实的系统可以包括例如透视头戴式显示(hmd)设备或者具有内置相机的智能电话。这种系统通常包括处理单元，这些处理单元在一个或多个应用的控制下提供图像。还可以使用hmd或其他设备来支持没有真实世界对象可看见的完全虚拟现实环境。

这种系统还可以包括一个或多个无线手持惯性控制器，系统的用户可以操纵该一个或多个无线手持惯性控制器来与hmd交互并且向hmd提供用户输入，包括但不限于控制和移动虚拟光标、对象的选择、移动和旋转、滚动等。

提供该背景是为了介绍用于随后的概述和详细描述的简要上下文。该背景不旨在辅助确定所要求保护的主题的范围，也不旨在视为将要求保护的主体限制到解决上面提出的任何或全部缺点或问题的实施方式。此外，本文要求保护的主题不限于解决任何缺点或者仅在诸如上面描述的那些环境中操作的实施例。相反地，提供该背景只是为了说明可以实践本文描述的一些实施例的一个示例性技术领域。

技术实现要素：

本发明针对用于提供无线手持惯性控制器的装置和系统，该无线手持惯性控制器(在后文中有时被称为“控制器”或“多个控制器”)具有纤细形状因子且利用无源光学和惯性跟踪，用于与hmd一起使用，其通过融合(i)与从位于hmd中的前向深度相机得到的控制器的位置有关的数据和(ii)从位于控制器中的惯性测量单元(imu)得到的控制器在3d空间中的惯性运动数据，来以六个自由度(6dof)操作。

在一个实施例中，该装置可以包括：触笔，具有第一端、第二端以及在第一端和第二端之间的伸长中间部分，触笔还包括在第一端处或靠近第一端的第一光学反射标记以及在第二端处或靠近第二端的第二光学反射标记；并且伸长中间部分封闭微控制器、惯性测量单元、通信无线电部以及一个或多个按钮，该一个或多个按钮被配置和定位用于利用用户的手指或拇指的选择性致动，惯性测量单元跟踪手持控制器在三维空间中相对于预定参照系的取向并且向微控制器提供取向和加速度数据，并且通信无线电部提供微控制器和主处理器之间的无线通信，以便提供从用户对一个或多个按钮的选择性激活得到的取向数据和用户输入。

在另一实施例中，该系统可以包括：具有处理器的头戴式显示设备；无线手持惯性控制器，被配置为与处理器通信以选择性地提供一个或多个用户输入，该无线手持惯性控制器包括(i)触笔，具有第一端、第二端以及在第一端和第二端之间的伸长中间部分，触笔还包括在第一端处或靠近第一端的第一光学反射标记以及在第二端处或靠近第二端的第二光学反射标记，以及(ii)伸长中间部分，封闭微控制器、惯性测量单元、通信无线电部以及一个或多个按钮，该一个或多个按钮被配置和定位用于利用用户的手指或拇指的选择性致动，惯性测量单元跟踪手持惯性控制器在三维空间中相对于预定参照系的取向并且向微控制器提供取向和加速度数据，并且通信无线电部提供无线通信，以便向处理器提供取向数据和用户输入；以及位于显示器上的光学传感器，用于确定第一和第二光学反射标记中的每个相对于显示器的位置，并且用于向处理器提供位置数据，其中处理器使用取向数据和位置数据来以六个自由度在三维空间内跟踪手持惯性控制器。

提供该发明内容是为了以简化形式介绍概念的选择，这些概念在下面的具体实施方式中被进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用作在确定所要求保护的主题的范围时的辅助。

附加的特征和优点将在随后的描述中阐述，并且部分地从描述中将是明显的，或者可以通过实践本文中的教导来获知。本发明的特征和优点可以借助于在随附的权利要求中特别指出的手段和组合来实现和获得。本发明的特征从随后的描述和随附的权利要求来看将变得更完全地明显，或者可以通过在后文中阐述的本发明的实践来获知。

附图说明

为了描述可以获得上面记载的和其他的优点和特征的方式，将参考附图中说明的具体实施例来提供对上面简要描述的主题的更具体描述。在理解这些附图仅描绘典型实施例并且因此不被认为限制范围的情况下，实施例将通过使用附图以附加的特异性和细节来描述和解释，在附图中：

图1是头戴式虚拟现实或增强现实显示器的一个实施例的示意性表示。

图2是“微软全息眼镜”的一个实施例的一般透视绘制。

图3是“微软全息眼镜”的一个实施例的分解透视绘制，其进一步图示了立体显示器系统的一个实施例。

图4是“微软全息眼镜”的一个实施例的一般透视绘制，其进一步图示了光学传感器系统的一个实施例。

图5是“微软全息眼镜”的一个实施例的一般透视绘制，其进一步图示了控制器板和相关的板载处理器的一个实施例。

图6是增强现实显示器的一个实施例的可能视场的一个示例的图形表示。

图7是具有纤细形状因子的利用无源光学和惯性跟踪的无线手持控制器的一个实施例的透视绘制。

图8是图示了具有纤细形状因子的利用无源光学和惯性跟踪的无线手持控制器的一个实施例的基本组件的功能性框图。

图9是增强现实显示器的一个实施例的可能视场的一个示例的另一图形表示。

具体实施方式

下文阐述的是代表性环境的概述，本申请中公开的和/或要求保护的装置和系统可以实施在该代表性环境中。然而，应当清楚地理解和明白，这种描述仅作为一个代表性环境的示例被提供，并且本文描述的发明可以容易地被适配于其他hmd设备及ar和vr系统/环境，以及其他传统的计算环境和系统，包括其他常规的显示设备。

图1示意性地图示了hmd设备10的一个示例。图2-图5是“微软全息眼镜(microsofthololens)”的图示，其表示hmd的一个近期实施例。

一般地参考图1-图5，hmd设备10采用可穿戴眼镜或护目镜的形式，但是将明白，其他形式是可能的。hmd设备10可以被配置在增强现实配置中以呈现增强现实环境，并且因此可以包括至少部分透视的立体显示器12，其可以被配置为通过至少部分透视的立体显示器12而在视觉上增强由用户正在察看的物理环境的外观。在一些示例中，至少部分透视的立体显示器12可以包括透明的(例如，光学通透的)一个或多个区域，并且可以包括不透明的或半透明的一个或多个区域。在其他示例中，至少部分透视的立体显示器12可以跨立体显示器12的整个可用的显示器表面是透明的(例如，光学通透的)。替代地，hmd设备10可以被配置在虚拟现实配置中以呈现完全虚拟现实环境，并且因此立体显示器12可以为非透视立体显示器。hmd设备10可以被配置为经由非透视立体显示器向用户显示虚拟三维环境。hmd设备10可以被配置为显示虚拟表示，诸如在用户前面的物理环境的三维图形绘制，其可以包括附加的虚拟对象，或者可以被配置为显示物理环境的相机捕获图像以及附加的虚拟对象，包括在相机捕获图像上覆叠的虚拟光标。

例如，hmd设备10可以包括图像产生系统14，其被配置为利用立体显示器12向用户显示虚拟对象。在利用至少部分透视显示器的增强现实配置中，虚拟对象在视觉上叠加到通过显示器可见的物理环境上，以便在各种深度和位置处被感知。在虚拟现实配置中，图像产生系统14可以被配置为利用非透视立体显示器向用户显示虚拟对象，使得虚拟对象被感知为相对于彼此处于各种深度和位置处。在一个实施例中，hmd设备10可以通过向用户的两只眼睛显示虚拟对象的单独图像，而使用体视法在视觉上将虚拟对象放置在期望的深度处。使用这种体视法技术，hmd设备10可以控制虚拟对象的显示图像，使得用户将感知到在所察看的物理环境中在期望的深度和位置处存在虚拟对象。在一个示例中，虚拟对象可以是向用户显示的虚拟光标，使得虚拟光标对用户来说好像位于虚拟三维环境中的期望位置处。在增强现实配置中，虚拟对象可以是向用户显示的全息光标，使得全息光标对用户来说好像位于真实世界物理环境中的期望位置处。

hmd设备10包括光学传感器系统16，其可以包括一个或多个光学传感器。在一个示例中，光学传感器系统16包括面向外的光学传感器18，其可以被配置为从由用户通过至少部分透视的立体显示器12观察到的类似有利点(例如，视线)来检测真实世界背景。光学传感器系统16可以另外地包括面向内的光学传感器20，其可以被配置为检测用户眼睛的注视方向。将明白，面向外的光学传感器18可以包括一个或多个组件传感器，包括rgb相机和深度相机。rgb相机可以是高清相机或具有其他分辨率。深度相机可以被配置为投射不可见光(诸如红外(ir)辐射)，并且捕获投射光的反射，并且基于此生成图像，该图像包括针对图像中的每个像素的测量深度数据。如果需要，该深度数据可以与来自由rgb相机捕获的图像的色彩信息组合成包括色彩数据和深度数据的单个图像表示。在虚拟现实配置中，由光学传感器系统16捕获的色彩和深度数据可以用于执行表面重建，并且生成可以经由显示器12向用户显示的真实世界背景的虚拟模型。替代地，由光学传感器系统16捕获的图像数据可以在显示器12上作为图像数据直接呈现给用户。

hmd设备10可以进一步包括位置传感器系统22，其可以包括一个或多个位置传感器，诸如包含3轴加速度计、3轴陀螺仪和/或3轴磁力计的一个或多个惯性测量单元(imu)、(多个)全球定位系统、(多个)多点定位跟踪器、和/或输出可用作相关传感器的位置、取向和/或移动的位置传感器信息的其他传感器。

从光学传感器系统16接收的光学传感器信息和/或从位置传感器系统22接收的位置传感器信息可以用于估算hmd设备10相对于其他环境对象的有利点的位置和取向。在一些实施例中，有利点的位置和取向可以用六个自由度(例如，世界空间的x、y、z(θ俯仰、θ偏航和θ滚转))来表征。有利点可以全局地或独立于真实世界背景进行表征。位置和/或取向可以利用板载计算系统(例如，板载计算系统24)和/或板外计算系统来确定。通常，位于hmd设备10板载的所有传感器的参照系是工厂对齐并校准的，以解析相对于世界空间的六个自由度。

此外，光学传感器信息和位置传感器信息可以由计算系统用来执行真实世界背景的分析，诸如深度分析、表面重建、环境色彩与照明分析、或其他合适的操作。特别地，光学和位置传感器信息可以用于创建真实世界背景的虚拟模型。在一些实施例中，有利点的位置和取向可以相对于该虚拟空间来表征。此外，虚拟模型可以用于确定虚拟空间中的虚拟对象的位置，并且在虚拟世界内的期望深度和位置处添加将向用户显示的附加虚拟对象。

另外，从光学传感器系统16接收的光学传感器信息可以用于识别和跟踪光学传感器系统16的视场中的对象。例如，由光学传感器系统16捕获的深度数据可以用于识别和跟踪用户手部的运动。所跟踪的运动可以包括用户的手部在三维空间中的移动，并且可以用六个自由度(例如，世界空间的x、y、z(θ俯仰、θ偏航和θ滚转))来表征。所跟踪的运动还可以用于识别和跟踪由用户的手部所做出的手部姿势。例如，一个可识别的手部姿势可以是向上或向下移动食指。将明白，其他方法可以用于识别和跟踪用户手部的运动。例如，光学标签可以放置在用户手部上的已知位置或者由用户佩戴的手套上的已知位置，并且可以通过由光学传感器系统16捕获的图像数据来跟踪光学标签。

将明白，以下示例和方法可以应用到hmd设备10的虚拟现实配置和增强现实配置两者。在虚拟现实配置中，hmd设备10的显示器12为非透视显示器，并且三维环境是向用户显示的虚拟环境。虚拟环境可以是基于由hmd设备10的光学传感器系统16所捕获的真实世界背景的图像数据来生成的虚拟模型。

“微软全息眼镜”。

hmd的一个示例是“微软全息眼镜”，其是一对混合现实头戴式智能眼镜。“全息眼镜”具有透视全息镜头，其使用先进的光学投射系统以非常低的时延来生成多维全色彩全息影像，因此用户可以在真实世界环境中看到全息对象。

位于“全息眼镜”前部的是传感器和相关硬件，包括相机和处理器。“全息眼镜”还包含惯性测量单元(imu)，imu包括加速度计、陀螺仪和磁力计、四个“环境理解”传感器、具有120°×120°视角的能量高效深度相机、前向240万像素摄影摄像机、四麦克风阵列、以及环境光传感器。“全息眼镜”包含高级传感器，以捕获关于用户正在做什么和用户所处的环境的信息。内置相机还使得用户能够记录周围世界中的全息影像的(混合现实捕获(mrc))hd图片和视频，以与他人分享。

封闭在面罩内的是一对透明的组合器镜头，其中投射的图像在下半部分中显示。“全息眼镜”必须根据瞳孔间距(ipd)或用户的习惯视力进行校准。

沿着侧面的底部边缘，位于用户耳朵附近，是一对小型3d音频扬声器。扬声器不会阻碍外部声音，允许用户听到虚拟声音以及环境。使用与头部相关的传递函数，“全息眼镜”生成双耳音频，该双耳音频可以模拟空间效果；这意味着用户实际上可以感知和定位声音，就好像它来自虚拟针点或位置。

在顶部边缘上是两对按钮：左耳上方的显示亮度按钮、以及右耳上方的音量按钮。相邻的按钮形状不同—一个凹面、一个凸面—以便用户可以通过触摸区分它们。

在左臂的末端处是电源按钮和一排五个小的个体led节点，用于指示系统状态，以及对于电源管理，指示电池电量和设置电源/待机模式。usb2.0微型b插座沿底部边缘定位。3.5mm音频插孔沿右臂的底部边缘定位。

除了中央处理单元(cpu)和图形处理单元(gpu)之外，“全息眼镜”的特征还在于定制的微软全息处理单元(hpu)，其是专为“全息眼镜”制造的协处理器。hpu的主要目的是处理和集成来自传感器的数据，以及处理诸如空间映射、姿势识别、以及语音和话音识别之类的任务。hpu处理来自“全息眼镜”的传感器的来自实时数据的万亿字节的信息。

“全息眼镜”的镜头使用光学波导跨三个不同的层着蓝色、绿色和红色，每个层具有衍射特征。每个组合器镜头上方的光引擎将光投射到镜头中，其波长然后击中衍射元件并且沿着波导重复反射，直到它输出到眼睛。与许多其他光学头戴式显示器类似，“全息眼镜”的显示投射占据用户的视场(fov)的有限部分，特别是与虚拟现实头戴式显示器相比，后者通常覆盖大得多的视场。

“全息眼镜”包含内部可再充电电池，但是可以在充电时被操作。“全息眼镜”的特征还在于ieee802.11acwi-fi和蓝牙4.1低功耗(le)无线连接。

利用“全息眼镜”，用户可以利用姿势来创建和塑造全息影像，使用语音命令与应用程序通信，并且利用扫视、手部姿势、控制器和/或其他指示设备来导航。“全息眼镜”理解姿势、注视和语音，使得用户能够以可能的最自然的方式进行交互。利用空间声音，“全息眼镜”合成声音，因此用户可以从房间中的任何地方听到全息影像，即使它们在用户后面。

关于“全息眼镜”的其他细节在2014年7月25日提交的题为“headmounteddisplayapparatus”的美国专利申请序列号no.62/029,351中提供。

如上面提到的，“全息眼镜”包括深度相机，其能够检测位于深度相机的fov内的对象的3d位置。深度相机确切地如何完成这种检测的技术细节是本领域的技术人员已知的，但对于本公开不是必需的。一言以蔽之，深度相机能够在逐像素的基础上准确地检测相机的视场内物理对象上每个点的确切3d位置。尽管“全息眼镜”使用深度相机，但是立体光学也可以用于经由三角测量来检测对象与hmd的距离、以及这些对象在3d空间中的位置。在任一种情况下，这种传感器可以检测位于fov内的真实对象相对于hmd的3d位置(x、y和z坐标)。在控制器的情况下，hmd的深度相机可以用于检测控制器相对于hmd的3d位置。

无线手持控制器。

如前面提到的，“全息眼镜”有能力跟踪用户的手部通过空间的运动，并且识别和解释各种手部姿态、姿势和移动以操纵ar空间中的虚拟对象。在2010年12月21日提交的题为“skeletalcontrolofthree-dimensionalvirtualworld”的美国专利申请序列号no.12/975,086、2011年12月15日提交的题为“problemstatesforposetrackingpipeline”的美国专利申请序列号no.13/327,098、2013年8月5日提交的题为“two-handinteractionwithnaturaluserinterface”的美国专利申请序列号no.13/959,555、和/或2015年6月24日提交的题为“contextualcursordisplaybasedonhandtracking”的美国专利申请序列号no.14/748,646中提供了关于手部跟踪、手部姿势识别、分类和辨识和/或手部姿态识别、分类和辨识的附加细节。

然而，手部跟踪和姿势识别的挑战之一是它们可能要求相对高水平的处理开销。为了减少这种开销，可能有用的是提供可以与hmd通信并且允许在ar空间中操纵对象的无线手持控制器。例如，在“全息眼镜”的情况下，耳机使用蓝牙le与无线手持惯性控制器(称为“点击器(clicker)”)配对，其是拇指大小的手指操作的输入设备，它可以用来使得用户能够选择、滚动、保持和双击，以与增强现实空间内的虚拟对象交互。

通常，当点击器首次通电时，它通常经由预定的无线协议(通常经由蓝牙配对)建立与“全息眼镜”的连接。一旦连接建立，“全息眼镜”向点击器分配唯一的控制器id。以该方式，从特定点击器接收的所有取向数据和用户输入可以特定地与该控制器相关联。

点击器包括imu，imu提供具有3dof的取向信息(例如，俯仰、偏航和滚转信息)，但是它不提供位置信息。当与“全息眼镜”配对时，hmd的光学传感器可以经由各种手部跟踪技术来确定点击器在3d空间中的大体位置。然而，这种手部跟踪技术可能通常不产生现今vr和ar环境中所需要的位置信息的准确度和分辨率。另外，这种手部跟踪技术可能是计算密集的，要求大量的处理开销。因此，所需要的是一种无线手持惯性控制器，其以6dof提供更高的准确度和分辨率，并且减少实现结果所需要的总体处理开销。

图6图示了由用户26佩戴的hmd设备10的增强现实配置，在至少部分透视的立体显示器12上显示虚拟光标(在该示例中是全息光标28)，以便出现在三维环境32中的位置30处。在图6中示出的具体示例中，三维环境32是真实世界中的房间，并且全息光标28显示在至少部分透视的立体显示器上，使得全息光标28对用户26来说好像正在位置30处悬停于房间的中间。将明白，用于全息光标28的位置30可以基于各种合适的方法来计算。例如，位置30可以基于相对于用户26的预定距离和取向(诸如作为一个具体示例，在用户26前面两英尺)来计算。

作为另一非限制性示例，位置30可以基于检测到的注视方向34以及与检测到的注视方向相交的识别对象来计算。在该示例中，识别的对象可以是三维环境中的真实对象。该示例在图6中图示，识别的对象是墙壁36，墙壁36是作为三维环境32的房间的一部分。相应地，所检测到的用户26的注视方向34与墙壁36之间的交点可以用来计算用于全息光标28的位置30。可能有利的是进一步确保向用户26显示全息光标28，使得全息光标28是用户26容易可见的。例如，为了增加可见度，全息光标28的位置30可以放置在相距识别对象的阈值距离处，以防止全息光标28被识别对象的任何突起遮挡。另外，可能有利的是进一步基于与所检测到的用户26的注视方向34正交的平面，来计算全息光标28的位置30。通过将全息光标28的位置30放置在这样的平面上，即使在用户改变注视方向时，也可以保持全息光标28的一致视图。

另外，在图6中图示的示例中，由用户26佩戴的hmd设备10可以被配置为检测用户手部的运动。基于由光学传感器系统16捕获的一系列图像，hmd设备10可以确定用户26的手部38的运动是否可跟踪。例如，在位置38和38a处的用户手部在光学传感器系统16的视场内。相应地，用户手部在时间t1内从位置38移动到位置38a的运动是由hmd设备10可跟踪的。然而，由于位置38b可能在光学传感器系统16的视场之外，因此用户手部在时间t2内从位置38a移动到位置38b的运动可能不是由hmd设备10可跟踪的。将明白，当hmd可以监测用于姿势输入的手部时，用户手部被确定为由hmd可跟踪。因此，例如，当hmd设备10的处理器上执行的软件中实现的计算机算法识别由板载相机捕获的图像中的手部，并且开始跟踪手部时，直到这些算法失去对手部的跟踪的时间点，用户手部被认为是可跟踪的。可以用于跟踪手部的技术包括：搜索相似色彩值的区域并且基于来自图像其余部分的色彩值来分割图像的一部分，以及搜索已经改变的像素区域，其指示手部或其他对象进行的前景移动。当深度信息可用时，附加于上述或作为其替代，可以使用骨骼跟踪技术来定位手部。当由算法输出的置信度指示手部正以高于预定阈值置信水平被跟踪时，手部可以被确定为是可跟踪的。

在上述实施例中，hmd设备10向用户传达用户手部的运动是否可跟踪。在该实施例中，响应于至少确定手部的运动是可跟踪的，hmd设备10修改全息光标的视觉外观，以指示手部的运动是可跟踪的。在图6中图示的示例中，全息光标的视觉外观被修改以表现为全息光标28，其是空心圆。相应地，当用户在时间t1内将手部从位置38移动到位置38a时，向用户示出具有视觉外观28的全息光标，并且因此向用户提供用户手部的运动当前为可跟踪的反馈，并且任何手部姿势或手部运动将由hmd设备10跟踪。

此外，在该实施例中，响应于至少确定手部的运动不可跟踪，hmd设备10修改全息光标的视觉外观以指示手部的运动不可跟踪。如图6中图示的，全息光标的视觉外观可以被修改以表现为全息光标28a，其具有与全息光标28不同的视觉外观。在该示例中，全息光标28a的视觉外观是实心圆。相应地，当用户在时间t2内将手部从位置38a移动到位置38b时，向用户示出具有视觉外观28a的全息光标，并且因此向用户提供用户手部的运动当前为不可跟踪的反馈。将明白，尽管图6中图示的示例将全息光标的视觉外观修改以表现为实心圆或空心圆，但是任何合适的视觉修改是可能的。作为几个其他非限制性示例，可以通过改变色彩、改变形状、添加或移除图标、或改变全息光标的尺寸来修改全息光标的视觉外观。

虽然在现有技术中找到的无线控制器(包括点击器)可以提供具有3dof的取向信息，但是它们不提供位置信息。虽然手部跟踪和骨骼分割可以与从手持惯性控制器得到的取向数据相组合，以恢复多达五个自由度，但是这样的过程可能通常要求高水平的处理开销。另外，即使利用手部跟踪和骨骼分割，也可能难以区分控制器的细微运动，特别是细微的旋转运动。根据下面描述的装置和系统，有可能以高度分辨率和准确性来恢复6dof，并且具有减少的处理开销。

具有纤细形状因子的利用无源光学和惯性跟踪的无线手持控制器。

如下面更详细描述的，本发明的一个方面针对具有纤细形状因子的无源光学和惯性跟踪装置。在一个实施例中，该装置可以包括：触笔，具有第一端、第二端、以及在第一端和第二端之间的伸长中间部分，触笔还包括在第一端处或靠近第一端的第一光学反射标记、以及在第二端处或靠近第二端的第二光学反射标记；并且伸长中间部分封闭微控制器、惯性测量单元、通信无线电部、以及一个或多个按钮，该一个或多个按钮被配置和定位用于利用用户的手指或拇指的选择性致动，惯性测量单元跟踪手持控制器在三维空间中相对于预定参照系的取向并且向微控制器提供取向和加速度数据，并且通信无线电部提供来自微控制器的无线通信，以便向hmd设备的主处理器提供取向数据和用户输入。

除了将手持设备的光学位置跟踪和惯性取向跟踪进行组合之外，通过提供与手部跟踪和姿势辨识不同的识别手持控制器的位置的替代方法，可以进一步减少处理开销。在一个实施例中，手持控制器可以包括伸长形状因子，并且成对的无源ir标记被定位在控制器的每个端处或靠近每个端。当与被定位在hmd上的ir辐射源和ir深度相机组合时，ir标记可以提供有利的方式来定位手持控制器在3d空间中的位置，并且提供附加取向数据，附加取向数据可以与从手持控制器中包含的imu得到的取向数据相组合。伸长形状因子以及两个或更多个ir标记的使用提供了下面更详细讨论的各种优点。

在一个实施例中，该系统用于在通过hmd设备体验到的虚拟现实世界和增强现实世界中进行交互。在另一实施例中，显示器在外部。换句话说，本文描述的发明可以容易地被适配于其他hmd设备及ar和vr系统/环境，以及其他传统的计算系统和环境，包括其他常规的显示设备。

在一个实施例中，控制器具有触笔形状，其具有在每个端处的两个球形反射标记、以及板载imu、微控制器、通信无线电部和按钮。该形状因子带来使该解决方案可行的若干关键优点。首先，该形状因子在两个标记之间建立宽的基线，其以高分辨率改进了对连接两个标记的区段的取向的检测、分割和精确估计。其次，标记中的至少一个标记跨手部取向的完整范围由光学传感器是可见的。仅利用一个光学标记，在手部运动的正常范围内，从hmd的视野来看，单个光学标记可能容易被手部阻挡。利用两个分开的标记，至少一个标记通常将始终对于hmd相机是可见的。

现在参考图7，其图示了具有纤细形状因子的利用无源光学和惯性跟踪的无线手持控制器40的一个实施例(后文有时简称为“控制器40”)。如所示出的，控制器40可以包括形成棒杖或触笔的伸长主体。控制器40具有第一端52、第二端54和伸长中间部分56。定位在第一端52处或靠近第一端52的是第一无源光学反射标记58。定位在第二端54处或靠近第二端54的是第二无源光学反射标记60。

参考图7和图8，被容纳在伸长中间部分56内，控制器40可以包括板载微控制器42、其自己的imu44、通信无线电部46、可再充电电池(未示出)、以及一个或多个状态led48。imu通常包括3轴加速度计和3轴陀螺仪，并且还可以包括3轴磁力计。从imu得到的用户输入和取向数据(俯仰、偏航和滚转)可以由微控制器42经由无线的无线电部46无线地传送到hmd10的cpu。控制器40还可以包括一个或多个瞬时开关50，用于由用户选择性地激活以控制虚拟光标和/或以各种方式操纵虚拟对象(诸如，例如选择、移动、旋转、滚动等)。控制器40还可以包括usb2.0微型b插座，用于为内部电池(未示出)充电。

从加速度计和陀螺仪，imu44可以检测控制器40的取向，但是仅具有三个自由度，即俯仰(高度角)，偏航(方位角)和滚动(旋转)。因为加速度计可以检测重力矢量，所以控制器40的参照系的纵轴容易被识别和对齐。类似地，imu44的陀螺仪可以容易地检测水平面，并且因此水平面容易被识别和对齐。如果imu44还包括磁力计，则磁北可以容易地被识别并且控制器40的参照系可以向北对齐。如果hmd10的imu和控制器40的imu44两者都包括磁力计，则控制器40的参照系将自动与hmd的参照系对齐(经受一些微小的变化/偏移和漂移，这可以随着时间的推移被纠正)。

如果控制器40的imu44不包括磁力计，则imu44在其加电时任意地分配x轴，并且然后从该初始参照系连续跟踪方位变化(水平面中的角旋转)。在该情况下，如下面更详细讨论的，控制器40的参照系将需要与hmd的参照系对齐或校准到hmd的参照系。

如前面讨论的，imu包括加速度计和陀螺仪的组合，可选地加上磁力计。来自imu44的数据可以被融合来以高频率和低时延计算控制器40相对于经重力对齐的某个初始参照系的取向。另外，如果imu44包括磁力计，则磁力计将自动使控制器的参照系与hmd的参照系向北对齐，并且还将减小方位漂移。

hmd10的光学传感器系统16跟踪标记56、58在3d中的位置。光学传感器系统16可以包括照亮无源反射标记56、58的照明源、以及成像传感器。在一个实施例中，照明源辐射ir辐射，并且光学传感器使用主动ir深度相机来检测并直接估计标记56、58在3d中的位置。即使标记是高度反射的以在ir快门图像中容易分割，但是深度相机仍然有可能在标记的每个像素处计算深度。在另一实施例中，立体ir相机对可以用于对标记56、58的3d位置进行三角测量。

在一个实施例中，标记56、58在视觉上隐藏在ir透射材料后面，以阻挡可见光谱中的光，但是允许在光学传感器的ir操作范围中的光穿过。以该方式，光学标记可以从视野中隐藏，而不限制本文描述的功能，从而控制器40可以呈现许多不同对象的形状，诸如，例如触笔、棒杖或vr游戏中通常使用的各种对象(例如，枪、步枪、剑、运动器材等)，控制器40的位置和取向的精确检测对其可能非常重要。

光学跟踪系统16通常通过刚性变换与hmd10的显示参照系机械地相关，刚性变换通过校准来细化。不失一般性，假设hmd设备10通过使用imu和/或其他环境跟踪子系统(例如，hmd中的头部跟踪组件)而处于重力对齐的参照系中。

当hmd10的光学系统16检测到其fov内的光学反射标记(诸如标记56或58)时，它以3dof(x、y和z)恢复位置数据。归因于控制器40中所包含的在两个标记56、58之间的固定几何关系，当hmd在其fov内检测到两个标记56、58时，则两个更多的自由度被恢复(即，方位角和高度角，也称为偏航和俯仰)。更具体地，这是可能的，因为光学系统16能够以高精确度确定每个所检测到的标记56、58的确切位置。此外，归因于两个所检测到的标记56、58之间的地理关系(在所图示的实施例中，几何关系是沿着与控制器40的纵向轴线对齐的直线将两个标记分开的已知距离)，光学系统16有可能(再次以高精确度)计算控制器的高度角/俯仰角和方位角/旋转角。缺失的第六自由度是沿着连接两个标记的轴线的滚转角，其在光学上不受约束，但是其容易从控制器40的imu44恢复。

如前面讨论的，在控制器40参照系和光学传感器16参照系两者中，重力矢量都是已知的。每当控制器40不是水平的时，有可能通过以下方式来区分两个标记56、58：将它们的位置投影到重力矢量上，并且将由hmd10的光学系统16所检测到的高度角和方位角分别与由控制器40的imu44所测量的高度角和方位角相比较。例如，控制器imu44的高度角(垂直倾斜)应当预期与由hmd的光学系统16基于两个标记的光学检测的相对位置所得到的高度角相匹配(在某个公差内)。如果这样的角匹配(在接受的公差内)，则有可能唯一地识别和标注每个标记56、58(通过哪个标记被定位高于另一标记并且反之亦然)。一旦光学系统16已经能够唯一地识别每个标记达到预定置信水平，则唯一的标记id与每个标记56和58相关联。另外，所分配的标记id与控制器40的控制器id(在控制器40最初与hmd10配对时被分配给控制器40)相关联，以用于未来跟踪目的。另一方面，不匹配的值可以用于消除错误的标记检测。

类似地，由hmd10的光学系统16计算的方位角(水平朝向)也预期与由imu44所测量的两个标记的方位角(假设imu44包含磁力计)相匹配(在设定的公差内)。替代地，控制器40参照系和光学传感器16参照系之间的方位偏移可以通过在两个标记56、58都被观测到的若干所捕获的视频帧上的观测而被估计，并且随着时间的推移逐渐被更新，以计算适当的方位偏移角和/或补偿任何imu漂移。

在随后的帧中，即使当标记56、58中的一个标记从光学系统16的视角来看被阻挡，或者移动到光学系统的fov之外时，仍然实现6dof跟踪。由于一个标记足以使hmd10的光学系统16恢复位置，并且先前已经唯一地识别每个标记，因此可以从控制器40的imu44得到剩余的取向数据。标记的标识通过与先前所估计的标记位置的接近度来保持。

如果控制器40完全移动到光学传感器16的fov之外，则控制器40可以基于来自imu44的取向数据恢复回到3dof，和/或它可以基于前向预测算法来预测控制器40的位置，诸如卡尔曼滤波器，其使用对来自imu44的加速度计数据的二重积分操作。

与其他方法相比，反射光学标记56、58的使用提供了更高的分辨率和检测位置和取向的准确度。即使具有良好的手部跟踪和姿势识别，可能仍然难以区分相似的手部配置和/或控制器正如何被握住(例如，控制器在手中的精确取向)。使用两个或更多个标记56、58(物理地分开已知距离，并且与从控制器40的板载imu44所得到的取向数据耦合)提供了增加的准确度和分辨率，而同时减少了其他方法(诸如手部跟踪、姿态识别和/或骨骼分割/分析)所要求的处理开销。虽然手部跟踪在识别手部所位于的ar场中的区域时可能是有用的，但是单独基于手部跟踪可能难以检测精确位置和/或精细旋转细节。

与常规方法相比，两个光学标记56、58之间的物理分离还允许利用光学跟踪的更大角分辨率。通过将从hmd10的光学系统16所得到的位置数据与从控制器40的imu44所得到的取向数据组合，可以实现甚至更高的分辨率。

另外，标记和imu的组合给你更高的准确度和分辨率，而无需执行手部跟踪和姿势识别所必要的计算密集型处理。而且，因为你只是正处理可以由光学传感器16准确识别的在空间中的两个点，所以还有可能检测控制器的取向和/或旋转的小变化。

本发明的另一方面是提供一种系统，该系统包括hud设备与无线手持控制器的组合，该无线手持控制器具有无源光学和惯性跟踪装置，无源光学和惯性跟踪装置具有纤细形状因子。在一个实施例中，该系统可以包括：具有处理器的头戴式显示设备；无线手持惯性控制器，被配置为与处理器通信以选择性地提供一个或多个用户输入，手持惯性控制器包括触笔，触笔具有第一端、第二端、以及在第一端和第二端之间的伸长中间部分，触笔还包括在第一端处或靠近第一端的第一光学反射标记、以及在第二端处或靠近第二端的第二光学反射标记；并且伸长中间部分封闭微控制器、惯性测量单元、通信无线电部以及一个或多个按钮，该一个或多个按钮被配置和定位用于利用用户的手指或拇指的选择性致动，惯性测量单元跟踪手持惯性控制器在三维空间中相对于预定参照系的取向并且向微控制器提供取向和加速度数据，并且通信无线电部提供无线通信，以便向处理器提供取向数据和用户输入；以及位于显示器上的光学传感器，用于确定第一和第二光学反射标记中的每个相对于显示器的位置，并且用于向处理器提供位置数据，其中处理器使用取向数据和位置数据来以六个自由度在三维空间内跟踪手持惯性控制器。

如下面更详细讨论的，本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机。本发明范围内的实施例还包括用于运载或存储计算机可执行指令和/或数据结构的物理计算机可读介质和其他计算机可读介质。这种计算机可读介质可以是由通用或专用计算机系统可以访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。运载计算机可执行指令的计算机可读介质是传输介质。因此，通过示例而非限制的方式，本发明的实施例可以包括至少两个截然不同种类的计算机可读介质：物理计算机可读存储介质和传输计算机可读介质。

物理计算机可读存储介质包括：ram、rom、eeprom、cd-rom或其他光盘存储装置(诸如cd、dvd等)、磁盘存储装置或其他磁存储设备、或者如下的任何其他介质，其可以用于以计算机可执行指令或数据结构的形式存储所需的程序代码部件，并且其可以由通用或专用计算机访问。

“网络”被定义为能够在计算机系统和/或模块和/或其他电子设备之间传输电子数据的一个或多个数据链路。当通过网络或其他通信连接(硬连线、无线、或者硬连线或无线的组合)向计算机传送或提供信息时，计算机恰当地将连接视为传输介质。传输介质可以包括网络和/或数据链路，其可以用于以计算机可执行指令或数据结构的形式承载期望的程序代码部件，并且其可以由通用或专用计算机访问。上述的组合也包括在计算机可读介质的范围内。

此外，一经到达各种计算机系统组件，以计算机可执行指令或数据结构形式的程序代码部件可以自动地从传输计算机可读介质传送到物理计算机可读存储介质(或反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可以缓冲在网络接口模块(例如，“nic”)内的ram中，并且然后最终传送到计算机系统ram和/或计算机系统处的较为易失性的计算机可读物理存储介质。因此，计算机可读物理存储介质可以包括在也(或甚至主要)利用传输介质的计算机系统组件中。

计算机可执行指令包括例如使通用计算机、专用计算机、或专用处理设备执行某种功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、中间格式指令(诸如汇编语言)、或者甚至是源代码。尽管已经采用特定于结构特征和/或方法动作的语言描述了主题，但是将理解，所附权利要求中限定的主题不必然限于所描述的特征或上面描述的动作。相反地，所描述的特征和动作被公开作为实施权利要求的示例形式。

本领域的技术人员将明白，本发明可以在具有许多类型的计算机系统配置的网络计算环境中实践，包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程的消费电子产品、网络pc、小型计算机、大型计算机、移动电话、pda、寻呼机、路由器、交换机等。本发明还可以在分布式系统环境中实践，其中通过网络来链接(通过硬连线数据链路、无线数据链路、或者通过硬连线和无线数据链路的组合)的本地计算机系统和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可以位于本地存储器存储设备和远程存储器存储设备两者中。

替代地或附加地，本文描述的功能可以至少部分地由一个或多个硬件逻辑组件来执行。例如，且不带限制地，可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(fpga)、程序专用集成电路(asic)、程序专用标准产品(assp)、片上系统的系统(soc)，复杂可编程逻辑器件(cpld)等。

本发明可以按其他具体形式来体现而不脱离其精神或特性。所描述的实施例在所有方面将被视为仅是说明性的而非限制性的。本发明的范围因此由所附权利要求而不是由前述描述来指示。在权利要求的等价物的含义和范围内的所有变化都将被涵盖在其范围内。