用于提供虚拟现实环境的用户界面的系统、设备及方法与流程

本发明总体涉及虚拟现实(vr)环境，更具体地，涉及使用身体手势和/或姿势实现与vr环境的自然接口连接的设备和方法。

背景技术：

在阐述本发明的背景之前，阐述将在下文中使用的某些术语的定义可能是有帮助的。

这里使用的术语“虚拟现实”(vr)被定义为可以模拟现实世界或想象世界中的地点的物理呈现的计算机模拟环境。虚拟现实可以再创建感官体验，包括虚拟味觉、视觉、嗅觉、听觉、触觉等。许多传统vr系统使用用于呈现3d虚拟环境的近眼显示器。

本文所用的术语“增强现实”(ar)被定义为物理的、现实世界环境的生动直接或间接视图，其元素通过计算机生成的感官输入(例如声音、视频、图形或gps数据)来增强(或补充)。这与其中通过计算机修改(甚至可能减少而不是增强)现实的视图的称为介导现实的更为广义的概念相关。

如本文所使用的术语“近眼显示器”被定义为包括可佩戴投射显示器的设备，该设备在每个眼睛被呈现略微不同的视场的方面通常是立体的，以便创建3d感知。

术语“虚拟现实头盔”有时称为“护目镜”，是显示计算机输出的环绕视觉接口。通常，计算机显示信息呈现为现实世界环境的三维表示。除了用于保持计算机显示器(可能以智能电话的形式)的简单结构之外，护目镜可以包括或可以不包括光学器件。

图1示出了根据现有技术的传统vr系统，其中，用户10佩戴头戴式立体显示器12(例如，oculusrift^tm)，其将场景的合成图像16投射到用户10的每只眼睛上。通常在vr中，每只眼睛以稍微不同的角度接收合成图像16，以便在用户的大脑中创建3d感知(为了简单起见，未示出立体对)。另外，头戴式显示器12可以设置有诸如可以实时检测用户的视角或注视方向的诸如加速度计或陀螺仪(未示出)的传感器。因此，vr系统可以调整图像16以适配用户的头部方位。因为这种调整是实时进行的，所以可以实现虚拟现实的幻觉，其模仿现实世界中的头部移动。

除了如上所述跟踪用户的视点，vr系统经由诸如操纵杆14(或鼠标、触摸板或甚至键盘)的输入设备提供与虚拟世界的进一步交互。这种输入设备可以使用户10能够执行各种动作。例如，在vr场景上的图像16上指示的光标18可以由用户10经由操纵杆14来控制。自然地，使用这种传统的输入设备会破坏vr用户的整体体验。另外，使用光标18将用户体验限制为从个人计算机已知的标准计算机用户界面。

技术实现要素：

根据本发明的一些实施方式，用户可以佩戴近眼显示器，根据本发明的实施方式的设备可以可能地作为附件安装在近眼显示器上。设备可包括照明器(例如，激光发射器)和捕获单元(例如，照相机)，该捕获单元的视场宽度足以包括用户的任何周围事物。在操作中，近眼显示器被配置为将合成的场景投射在用户的双眼上。照明器可以用图案光照亮用户和/或用户的附近。图案化光的反射可以通过捕获设备捕获，然后由例如可以位于作为近眼显示器的一部分的智能电话中的计算机处理器进行分析，以产生实时变化的指示诸如用户的手部的对象的位置与方向的三维视觉表示。

在另一个实施方式中，该设备可以从智能电话的照相机中受益，智能电话的照相机可以由专用软件配置以捕获由用户控制的手部或其他手势对象的图像。同时，智能电话的处理器被配置为基于由设备捕获的数据来计算相同手部或手势对象的深度图。处理器还被配置为将深度图和可见图像的数据合并成可以被导入到虚拟图像的相应位置的手部的3d图像。通过这种方式，用户的实际手部在保持其3d属性的同时导入vr场景。

本发明的实施方式的这些附加的和/或其他方面和/或优势在随后的详细说明中阐述；其可能从详细说明中推断；和/或可通过本发明的实施方式的实践来习得。

附图说明

为了更好地理解本发明的实施方式并且示出如何实施本发明，现在将仅作为示例参考附图，其中相同的标号始终指示相应的元件或部分。

在附图中：

图1示出了根据现有技术的虚拟现实系统及其环境的示图；

图2是示出了根据本发明的一些实施方式的附接至其周围环境的设备的立体图；

图3是示出了根据本发明的一些实施方式的设备的非限制性实现的示图；

图4是示出了根据本发明的一些实施方式的设备的框图；

图5a和5b是示出了根据本发明的实施方式的一方面的示图；

图6是示出了根据本发明的一些实施方式的在其周围环境中操作的设备的示图；

图7a、7b和7c是根据本发明的实施方式的可能的图案光生成器的框图；以及

图8是示出了根据本发明的实施方式的图案化光的一方面的示图。

具体实施方式

现在具体参考详细附图，应强调的是，所示的特例是示例性方式的，并且仅为了本技术的优选实施方式的说明性讨论的目的，并且为了提供被确信为本技术的原理和概念性方面的最实用和易于理解的说明而呈现。鉴于此，没有试图以比基本理解本技术更详细的方式显示本发明的结构细节，且参照附图的说明使本领域的技术人员清楚在实际中可以如何实施本发明的多个形式。

在详细说明本技术的至少一个实施方式之前，应理解，本发明不限于将其应用于以下描述中所阐述的或在附图中示出的部件的构造和布置的细节。本技术可适用于其他实施方式或者以各种方式实践或者实施。同样，应理解，本文中采用的措词和术语是为了描述的目的且不应被认为是限制。

图2是根据本发明的一些实施方式的封装并且附接到其直接环境200的设备210的立体图，直接环境200是配置用于与诸如智能电话220的移动设备一起使用的虚拟现实(vr)头盔240(护目镜)。设备210可包括诸如红外(ir)图案照明器212的照明器(例如，激光发射器)，诸如ir照相机214的照相机。设备210可以进一步包括被配置为执行初始图像处理的预处理器(未示出)。设备210还被配置为与智能电话220以及与一起形成vr头盔的近眼显示器240物理地和电子地接口连接。这样的vr头盔(护目镜)可以布置为与智能电话一起使用，如本领域中已知的，并且通常包括可以透射智能电话的显示器的光学器件(未示出-面向相对侧)，用于容纳智能电话220(其可以包括照相机222)的套筒250，以及用于将vr头盔(护目镜)紧固到用户的头部的带子230。然而，应当理解，设备210可以与诸如samsunggearvr^tm和oculusrift^tm的近眼显示器接口连接。

在操作中，设备210可以用作一装置，该装置通过增加在vr场景内观看用户的手部或其他身体部位的3d图像的能力来增强vr头盔。这由设备210执行，该设备210提供附接到近眼显示器的必要硬件以及在vr设备处理器上执行的必要软件，用于控制设备并分析由其捕获的数据。在经济上，本发明的一些实施方式消除了对vr特定设备的需要，并且将进一步节省成本。

有利地，设备210仅提供最小的硬件，例如图案化的光照明器和用于捕获图案的反射的照相机。连接到智能电话220的接口可以提供所需的电力并且将所获取的数据传送到正在执行所有处理的智能电话220，利用其计算能力。因此，根据本发明的一些实施方式，安装vr系统变得非常容易，并且使用诸如智能电话和护目镜的现成组件。

图3是根据本发明的一些实施方式的设备的非限制性示例性实施方式的机械示图。立体图示出了印刷电路板(pcb)301，其上安装有组件并且可以物理地附接到基座单元305。示例性实现的主要组件是耦接至激光驱动器320的激光发射器360，激光驱动器320被配置为向激光发射器360馈送足够的功率和可能的调制。照相机330(可能是vga照相机)被配置为接收图案化的光的反射。根据一个实施方式，pcb可包括覆盖照相机330的ir滤光片350。在一些实施方式中，数据(诸如由照相机330接收的与图案光反射相关的数据)例如由信号处理器310初始处理，然后经由端口(诸如usb端口340)传送到第三方处理器(未示出)，例如数据可以通过usb协议传输到智能电话的usb端口，并与在智能电话的处理器上执行的应用交互。用于设备的电力也可以经由usb端口340来提供。用于附加照相机以及诸如初始图像处理器(tip)的各种集成电路(ic)的插座也附接到pcb并且在此示出。

在一些实施方式中，可以从设备省去照相机330并且可以代替使用外部便携式计算平台(智能电话)的照相机。本发明人已经测试了该设备的几个原型，并且已经测量了具有照相机330的设备的低功耗lwatt，而且，测量了没有照相机330的设备的550毫瓦甚至更低的功耗。

图4是示出根据本发明的一些实施方式的如上所述的设备及其直接环境的架构的框图。设备400可包括配置为用图案化光照亮场景的ir照明器；配置为接收图案化光的反射的ir照相机406以及配置为执行来自ir照相机406的数据的初始处理的预处理器。设备400还被配置为与诸如智能电话410的便携式计算平台接口连接，智能电话410可包括处理器414和与设备400相关联的由处理器414执行的软件模块。智能电话410进一步连接到近眼显示器420，该近眼显示器420被配置为向用户呈现合成场景并且还呈现用户的身体部位(例如，手部)的3d图像。应注意，平台还可以是膝上型个人电脑(pc)、平板电脑等。

在操作中，由ir照相机406捕获照明器402照亮的经反射的ir图案，并且在由预处理器404进行一些初始处理之后，将数据传送到智能电话410的处理器414与专用软件416，处理器414基于反射的图案生成用户身体部位的深度图。可见光照相机412可以被配置为捕获用户的被图案化光照亮的相同身体部位(例如，手部)的2d彩色图像。因此，处理器414可以使用身体部位的深度图和2d彩色图像，生成捕获的身体部位的3d彩色图像。最后，处理器414被配置为将捕获的身体部位的所生成的3d彩色图像叠加到合成的vr场景上，使得用户将能够通过近眼显示器420查看vr场景和他或她被捕获的身体部位(例如，手部)作为3d彩色图像，正如其在现实生活中的定位和定向。

图5a和5b是示出了根据本发明的一些实施方式的一方面的示图。看到用户500佩戴根据本发明的一些实施方式的设备510。应注意，为了简化起见，在此仅示出设备，而没有其附带的头盔。图5a示出设备510的照明器和ir照相机的视场。肖像配置中示出的图案化光530a覆盖的区域与ir照相机520a覆盖的区域基本上重叠。图5b示出了类似的，但是以ir照相机旋转90°的风景配置的重叠视场，并且照明器也可以旋转或者替代地其图案生成表面拉伸成实际上变为风景。风景方向的使用对于vr应用来说是有利的，其中整个手的范围对于实现和监视自然姿势和手势是重要的。在实验期间，发明人已经发现，在肖像配置中，本发明的实施方式的大约43°的水平视场和大约55°的垂直视场产生了良好的结果。类似地，大约55°的水平视场和大约43°的水平视场对于风景配置产生了的良好结果。应理解的是，根据本发明的其他实施方式，其他视场可以与其他设备一起使用。

图6是示出了根据本发明的实施方式的设备在其常见环境中的示意图。用户10佩戴近眼显示器630，设备600可以如上所述作为附加装置安装在近眼显示器630上。设备600可包括如上所述的照明器(例如，激光发射器)620和捕获单元(例如，照相机)610，其视场宽度足以包括用户的任何周围事物。

在操作中，近眼显示器630被配置为将合成的场景投射在用户10的双眼上。照明器610可以利用图案化光624照亮用户10的附近。图案化光的反射可以通过捕获设备610捕获，然后由计算机处理器(此处未示出)进行分析，计算机处理器可以位于例如附接至近眼显示器630的智能电话上。智能电话的可见光照相机(或替代地设备600的部件)被配置为捕获用户的手或者由用户10控制的其他手势对象的2d图像。同时，智能电话的处理器被配置为计算手或手势对象的深度图，然后将深度图和可见图像的数据合并成可以导入到虚拟图像660处的对应位置的手662的3d图像。这样，用户10的手的3d图像在vr场景上重叠，同时保持其3d属性。

图7a至7c是示出以多线图案生成器的形式实现照明器(图案化光源)的各种实施方式的图。因此，它包含激光源和将激光束变换成多条线的光学器件。为了提供如何能够实现结构化光的更多细节，仅通过说明的方式，下列申请的全部内容通过引用并入本文：美国专利申请号13/497,586，wipo专利申请公开号wo2013088442和美国临时案件申请号61/863,510、61/894,471和61/926,476。

图7a示出了根据本发明的第一实施方式的图案生成器系统700a的配置。系统700a可包括诸如激光二极管光源的光源710a和单个光学透镜元件120。光学元件720a可以提供以下三个功能(不具体按此顺序)，从而在空间或表面或物体上产生诸如多线图案的图案：a)生成线，b)倍增，c)准直。

根据本发明的第一实施方式，提供一种单透镜光学元件720a，其包括至少两个表面(第一光学表面725a和第二光学表面735a)。在诸如第一光学表面的y-z横截面的第一截面中，透镜元件120具有正光焦度。该正光焦度用于准直慢发散部分中的激光。

在诸如透镜的第一表面725a或第二表面735a的x-z横截面的第二横截面中，元件720a具有线生成器。线生成器可以是正光焦度(例如非球面透镜、柱面透镜或衍射元件)或负光学表面或组合的负/正表面等的形式。单个光学元件700a还包括形成在诸如第二表面735a的y-z横截面的第一横截面中的分束元件。

图7b示出了根据本发明的第二实施方式的图案生成器系统700b的配置。系统700b可包括诸如激光二极管光源的光源710b和两个光学透镜元件(第一透镜元件720b和第二透镜元件740b)。在至少一个横截面(例如，快轴或慢轴)，例如在第一透镜的第一表面725b的y-z横截面中，元件720b具有正光焦度，并且在第一光学元件的另一横截面(即，x-z横截面)中，在第二表面727b中提供倍增功能，用于分割由激光源710b提供的光束。

与第一透镜元件720b相邻或在其附近，设置有第二透镜元件740b，其配置为生成诸如线图案的图案。线图案可以设置在第二元件740b的第一表面745b的第一横截面处，例如在第一表面745b的y-z横截面中。

图7c示出了根据本发明的第三实施方式的图案生成器系统700c的配置。系统700c可包括诸如激光二极管光源的光源710c和两个光学透镜元件(第一透镜元件720c和第二透镜元件730c)。在至少一个横截面中，例如在第一透镜的第一表面755bc的y-z横截面中，元件745c具有正光焦度。

与第一透镜元件720c相邻或在其附近，设置有用于产生两个功能的第二透镜元件740c：1)生成线，以及2)倍增。例如，在第一表面的第一横截面(即，y-z横截面)和第二表面755c的另一横截面(即，x-z横截面)的倍增功能处形成诸如线图案的图案。

根据本发明的一些实施方式，第一元件和第二元件可以通过本领域已知的胶合技术的焊接而彼此联接。

根据本发明的另一实施方式，第二透镜元件的衍射表面面向第一透镜元件的表面以保护敏感衍射表面并防止不期望的外部元件与衍射表面的任何接触。

根据本发明的一些实施方式，可以使用正光学表面、组合的负/正表面或衍射表面来形成线生成功能。

根据示例性实施方式，使用设计成能够检测手部移动(例如手指和拇指的精细动作)的光图案来执行对手部的移动的跟踪。结构光的使用可以是例如在wipopct专利申请公开第wo2013/088442号中所公开的，其全部内容通过引用并入本文。

具体设计的光图案允许跟踪移动，即使在与三维深度图不同的二维视频数据中，也不会将手部与身体的其余部位轻易分离。

可选地，光图案可以专门设计成跟踪二维视频数据(例如，从常规摄像机流传输的视频图像)中的手部的手指头的移动。更具体地，光图案可以设计成使得能够根据图案由于手指头的失真在二维视频数据中检测和跟踪手指头(即，手指和拇指)以及手掌。

可选地，光图案在第一方向(例如，x轴)上具有连续特征并且在基本上垂直于第一方向的方向上(例如，y轴)具有非连续(例如，周期性)特征。在这种图案的一个实例中，光图案包括彼此平行(或近似平行)布置的数个条纹。

图8是示出了根据本发明的实施方式的图案化光的一方面的示图。

以下是关于如何使用生成的图案化光来跟踪由用户做出的手势的更详细的说明。根据示例性实施方式，传感器(这里未示出)可以以一定的y轴距离定位，例如在将条纹图案投射在手部810和背景820(例如，手部所在的桌子表面、墙壁等)上的发射器附近。选择传感器的位置，以便在照相机、光投射仪和从用户的手部810和背景820反射回的光之间产生三角测量效果。

三角测量效果导致沿着条纹的与利用光图案投射的对象具有显着的深度偏移的点处的图案的不连续性。不连续段将条纹(即，划分)至两个或更多个条段，例如位于手部的段831、位于手部左侧的段832和位于手部右侧的段833。

这种深度偏移产生的条段可以位于用户的手部的手掌或手指头的轮廓，其位于照相机和用户的身体之间。也就是说，用户的手指头或手掌将条纹分成两个或更多个条段。一旦检测到这种条段，便于沿着条段至条段的端部。

因此，该设备可以分析二维视频数据，以产生条段的群集。例如，设备可以在光图案中识别通过手部的手指头的条纹分割所产生的一个或多个条段的群集，例如从手部的中指反射的四个段的群集841。因此，设备通过跟踪通过手指头对条纹进行分割而产生的条段的群集或通过跟踪至少一个群集的段来跟踪手指头的移动。

通过由手指头分割(即划分)条纹而产生的条段的群集包括在x轴上具有重叠的条段。可选地，群集中的条段还具有类似的长度(从手指厚度得出)或在y轴坐标中相对邻近。

在x轴上，对于在x-y平面上直线定位的手指头，这些段可以完全重叠，或者对于对角定位的手指头，局部重叠。可选地，设备进一步识别手指头的深度移动，例如通过检测跟踪的群集中的段的数量的变化。例如，如果用户伸展用户的中心手指头，则手指头与光投射仪和照相机的平面(x-y平面)之间的角度会发生变化。因此，群集841的段的数目从四个减少至三个。

可选地，设备进一步在光图案中识别通过手部的手掌对条纹进行分割而产生的一个或多个条段的一个或多个群集。

通过手掌对条纹进行分割而产生的条段的群集包括在x轴上与用户手部的手指的条段群集重叠的上条段831。上条段831在x轴上与四个手指群集重叠，但不超过四个手指群集的底部段的最小和最大x值。

通过手掌对条纹进行分割而产生的条段的群集进一步包括在段831的正下方，与条段831显著重叠的几条条段。通过手掌对条纹进行分割而产生的条段的群集进一步包括延伸到用户的拇指的条段群集851的底部的较长条段。应理解的是，手指头和手掌群集的方向可能因特定的手位置和旋转而不同。

有利地，即使当与智能电话的情况一样源电力受限时，设备的功率消耗充分降低以实现非中断和连续的操作。如上所述，与涉及能量阻塞的现有技术方案相反，本发明的一些实施方式利用基于能量被空间转移的干扰的图案生成。使用干扰底部图案生成在能量方面更有效率。如上面进一步解释的，深度图的生成是能够进行减少计算强度的部分图案处理的反射的基础段。这还有助于减小总功率消耗。在一些实施方式中，可以使用智能电话的自动对焦特征，以便提供关于正在用图案投射的对象的范围的初始数据。这也有助于降低功耗。上述所有低功耗特征都显著有助于将智能电话和近眼显示器的界面作为vr头盔，从功耗角度来看是可能的。

在上述说明中，实施方式是本发明的实例或者实现。“一个实施方式”、“实施方式”或“一些实施方式”的各种外观不一定都指代相同的实施方式。

尽管可以在单个实施方式的上下文中描述本发明的各种特征，但是也可以单独地或以任何合适的组合提供特征。相反地，尽管为了清楚起见在本文中可以在单独的实施方式的上下文中描述本发明，但是本发明也可以实现为单个实施方式。

说明书中对“一些实施方式”、“实施方式”、“一个实施方式”或“其他实施方式”的引用意味着结合实施方式描述的特定特征、结构或特性包括在本发明的至少一些实施方式中，而不必是本发明的所有实施方式。

应当理解，本文采用的语句和术语不应解释为限制性的并且仅用于描述的目的。

参考所附的描述、附图和实例可以更好地理解本发明的教导的原理和用途。

应当理解，本文阐述的细节不构成对本发明的应用的限制。

此外，应当理解，本发明可以以各种方式实施或实践，并且本发明可以在除了上述描述中所概述的实施方式之外的实施方式中实现。

应当理解，术语“包括”、“包含”、“由...组成”和其语法变体不排除添加一个或多个组件、特征、步骤或整体或其组合，并且术语将是被解释为指定组件、特征、步骤或整数。

如果说明书或权利要求涉及“附加”元件，则不排除存在多于一个附加元件。

应当理解，如果权利要求或说明书是指“一个(a)”或“一个(an)”元件，则这样的引用不应被解释为仅存在该元件中的一个。

应当理解，在说明书中声明“可(may)”、“可能(might)”、“能够(can)”或“可以(could)”包括组件、特征、结构或特性的情况下，不需要包括特定组件、特征、结构或特性。

在适用的情况下，尽管可以使用状态图、流程图或二者来描述实施方式，但是本发明不限于这些图或对应的描述。例如，流程不需要通过每个所示的方框或状态，或者以与图示和描述完全相同的顺序。

本发明的方法可以通过手动、自动或其选择的步骤或任务的执行或完成来实现。

权利要求和说明书中呈现的描述、实例、方法和材料不应解释为限制性的，而是仅为说明性的。

除非另有定义，本文所用技术和科学术语的含义通常如本发明所属领域的普通技术人员理解的。

本发明可以利用与本文所述的方法和材料相当或类似的方法和材料在测试或实践中实现。

尽管针对有限数量的实施方式描述了本发明，但这些实施方式不应理解为对本发明的范围的限制，而是作为一些优选实施方式的范例。其他可行的变化、变形和应用也在本发明的范围内。因此，本发明的范围不应被至此所描述的内容所限定，而是受所附权利要求和它们的法律等同物来限定。