自然交互的交互真实性增强的制作方法

专利名称：自然交互的交互真实性增强的制作方法
自然交互的交互真实性增强相关申请的交叉引用本申请要求于2010年7月20日提交的美国临时申请第61/365788号的权益，该美国临时申请据此以引用方式并入。
背景技术：
I.发明领域本发明大体上涉及自然交互系统，特别地涉及自适应真实性增强和三维输入接 □。2.相关技术的描述自然的用户界面在娱乐界和计算机产业中蓄势待发，手势控制正在补充和替代更传统和不太自然的界面，如键盘、鼠标、游戏控制器和远程控制。然而，用户交互仍然继续大量涉及电脑显示器，从而限制了这类界面使用的适用性和易用性。有些手势控制依赖光学三维映射。各种方法在光学三维映射技术中很著名，例如，通过处理对象的光学图像生成对象表面的三维轮廓。这种轮廓也被称为深度图或深度图像，三维映射也称被称为深度映射。有些方法是基于将一个激光散斑图投影到对象上，然后再分析对象上的散斑图的图像。例如，PCT国际公布文件WO 2007/043036，其内容在此以引入方式并入，其描述了用于对象重建的系统和方法，其中，相干光源和随机散斑图的发生器在对象上投影相干的随机散斑图。成像单元检测照明区的光反应，并生成图像数据。对象图像中的散斑图相对于与图样的参照图像的移动被用于对象的3-D地图的实时重建。其他使用散斑图进行3-D映射的方法，在例如PCT国际公布文件WO 2007/105205的文件中有详细描述，其公开内容在此以引入方式并入。

发明内容
在某些实施例中，本发明旨在提供一种改进的内容投影设备，该设备能够察觉到其视野内的对象，辨别出该对象适合于在其上投影内容。通过控制投影内容的比例、失真和焦点以及改变投影内容本身，投影设备可适应对象的几何形状和特性。此外或可选地，投影设备可根据观看者和投影内容的关系调整投影内容，例如，其注视向量、到投影内容表面的距离，以及其他类似的参数。用于分析投影的几何形状的2D和3D输入设备也可用于与投影内容进行交互。根据本发明公开的实施例，提供了用于投影内容的方法和装置，例如，输入设备接口，使用三维输入设备作为确定用作该内容投影的基底的最佳对象的手段。根据本发明的实施例，提供一种数据处理装置，包括用于获取场景的传感元件，包括二维摄像机和三维摄像机，与三维摄像机和二维摄像机相连的处理器，以及该处理器被编程以使用该三维摄像机的输出生成场景的深度图，以及将深度图与通过由二维摄像机捕获的二维图像相协调，从而识别场景中的满足在其上投影图像的预定标准的三维对象，以及内容投影仪，其用于响应于处理器的指示在三维对象上建立投影图像。根据该装置的一方面，协调深度图包括识别三维对象关于参考坐标系的具有6个自由度的位置，其中所述内容投影仪可操作以用于补偿三维对象的比例、俯仰、横摆和角位移。根据装置的另一方面，协调深度图包括参考三维对象定义的数据库和将三维对象与数据库中的定义比较。设备的一个方面包括可佩戴的监控器，其中所述内容投影仪可操作以在可佩戴的监控器或虚拟空间中建立投影图像作为虚拟图像，如虚拟映像。传感元件、处理器和内容投影仪可并入可佩戴的监控器中。根据装置的另一方面，内容投影仪可操作以在虚拟表面上建立投影图像，供用户交互使用。
根据装置的另一方面，处理器可操作以响应于手势来控制计算机应用，其中投影图像包括用于控制计算机应用的用户界面。根据装置的一方面，投影图像包括文字内容。本发明的其他实施例提供了执行上述装置的功能的方法。附图简述为更好地理解本发明，参考本发明的详细描述，其通过举例的方式，可结合附图阅读详细描述，其中相同的元件被给出相同的参考数字，其中图I为交互式三维视频显示系统的示意性立体图，其根据本发明公开的实施例构建和操作；图2为图I所示系统的方框图，其根据本发明的实施例构建和操作；图3为方框图，其示出了示例的处理设备的一部分的功能元件，其根据本发明的实施例构建和操作；图4为根据本发明的实施例，识别场景中的三维对象的示例性流程图；图5示出了根据本发明的实施例的投影到虚拟表面上的移动设备的屏幕；以及图6示出了根据本发明的实施例的交互式三维视频显示系统，该系统包括可佩戴的监控器。发明的详细描述为全面理解本发明的各种原理，在以下描述中列出了许多具体细节。然而，对本领域技术人员显而易见的是，并非所有细节对于实践本发明都是必须的。在本实例中，公知的电路、控制逻辑以及传统算法和流程的计算机程序指令的细节不会列出，以免不必要地混淆基本概念。此处使用的术语“内容投影”可包括在可佩戴的透明监控器例如透视眼镜上建立内容的图像，因此，除了戴眼镜的人之外，其他人是看不到的；或将内容的图像建立到对与该对象交互的任何人可见的物理对象上。该术语不限于上述示例。其可包括通过多种手段形成图像，包括，视网膜投影、在透视眼镜上投影、将图像投影到虚拟空间中，例如，作为全息图，以及用于提高图像的真实性的其他技术。系统构架现在转到附图，首先参考

图1，图I为交互式三维视频显示系统10的示意性立体图，此图根据本发明公开的实施例建立和操作。系统10包含三维(3-D)摄像机12，其可包括红外(IR)投影仪和相应的投影仪的带宽可用的CMOS/CXD摄像机。3-D摄像机12捕获3-D信息，其可包括用户身体(或至少身体的某些部分)，用户使用或操作的用于控制计算机应用的真实的实体，以及3-D摄像机12的视野内的其他对象。此类3-D成像组件的细节在例如PCT国际公布文件WO 2010/004542号和美国专利申请公布文件第2009/0183125号中描述，这两个文件在此以引入方式并入。3-D摄像机12通常在近红外光谱中操作。然而，本发明的原理同样也适用于其变型体，该变型体使3-D摄像机12能够获取在近红外线光谱之外的电磁能量，例如，远红外线或紫外线能量。系统10也可包括二维(2-D)摄像机14，其在可见光谱操作，且能够获取具有足够的分辨率的场景，其允许自动解释 场景中的文字信息，并通常生成红绿蓝(RGB)输出信号。在处理器如计算机18的控制下，3-D摄像机12和2_D摄像机14可与内容投影仪16协作。系统10集3-D摄像机12和2_D摄像机14为一体，适合该系统10的设备为PrimeSensor 参考设计，该设计可从PrimeSense公司购得，该公司位于美国北卡罗来纳州Cambay Ct 104号，邮政编码27513。内容投影仪16可为picop 显示引擎，其可从MicroVision有限公司购得，该公司位于美国华盛顿州雷德蒙东北185大街6222号，邮政编码98052。在一些实施例中，3-D摄像机12和2-D摄像机14可与内容投影仪16集成，作为PrimeSensor参考设计的修改型式。在一个实施例中，3-D摄像机12为一个集成模块，其包括红外投影仪，此投影仪将现场图投影到对象上并获取投影图的图像。可选地，红外投影仪可嵌入单独的模块中(未示出)，其可根据美国临时申请第61/372，729号(2010年8月11日提交)和61/425，788 (2010年12月22日提交)的内容实现，这些临时申请以引用方式并入。本临时申请也教导用户如何重新使用扫描硬件将深度映射所需的红外线和可见内容投影。处理器可使用共同转让的待决的美国专利申请第12/854，187号文件中的教导分析场景，该申请题为“Analysis of Three-Dimensional Scenes”,在此以引用方式并入。计算机18可包括通用计算机处理器，其使用软件编程以执行下述功能。例如，软件可以通过网络以电子形式下载到处理器，或可选地通过非暂时的有形存储介质提供，如光、磁或电子存储介质。可选地或此外，一些或所有的图像功能可在专用硬件中实现，例如，自定义或半自定义的集成电路或可编程的数字信号处理器(DSP)。如图I所示，虽然通过举例的方式，计算机18被示出作为与3-D摄像机12分离的单元，但部分或所有的计算机处理功能可通过与3-D摄像机12和2-D摄像机14关联的适合的专用电路或在3-D摄像机12和2-D摄像机14的外罩内的专用电路执行。如从以下讨论中所见的，系统10的元件可被小型化和并入可佩戴的监控器中，以使用户能够到处移动和近实时地与场景中更自由地交互。在任何情况下，3-D摄像机12和2-D摄像机14用作传感器部件，其观察场景(用户及其周围环境)。计算机18用作感知部件，其综合场景及这些环境中的用户交互，所述用户交互通过内容投影仪16提供的信息进行调节和激发。计算机18可执行诸如Nite 中间件等程序，Nite 中间件可从PrimeSense购得，以配合PrimeSensor参考设计。例如,PrimeSensor参考设计为计算机18中的应用层提供了控制部件，通过控制部件提供一个应用程序接口(API)，该接口将用户的手势或姿势转换为已知的确定的应用输入。中间件在由系统10的组件生成的数据上执行图像处理操作，所述组件包括具有红外线投影仪的3-D摄像机12，以及2-D摄像机14，从而重建用户20和获取的场景的三维图。术语“三维图”指的是一组表示给定的对象表面的三维坐标，三维图的一种形式是指深度图像或深度图，在深度图像或深度图中，每个像素具有一个表明从摄像机到场景中的相应点的距离的值，而不是二维图像中的点的亮度和颜色。基于图案中斑点的横向位移，然后计算机18通过三角测量计算出控制实体表面的点的三维坐标。在典型的应用程序中，由3-D摄像机12捕获的信息由计算机18处理，计算机18驱动内容投影仪16。计算机18可根据被设计用于为用户创建自然的或人为的体验的程序进行操作。如图I所示，系统10识别出了场景中的书22，将售价24投影到书22上“售价$75. 99”。用户20通过手势26对售价做出回应，该手势作为计算机18的输入，计算设备的手动控制在例如共同转让的美国专利申请公布文件第2009/0183125号中有述，该文件在此以引用方式并入，其也教导了将场景投影到虚拟的图像空间中的方法。手动控制包括在Nite 中间件的功能之中，其可用来转译用户20的手势，例如，对三维摄像机12和二维摄像机14获取的售价24作出回应。 此外，随着用户20与书22和售价24的互动，例如，通过用户20握住书22，在计算机18中执行的注视识别模块可发现用户20正在看书22。经过处理获取的二维图像，书的标题可在系统10中被识别和转译。然后，计算最优的投影参数，书的概览被投影到书22上。用户20可以滚动并与投影的书的概览互动，如同他在显示屏上观看一样。通过这种方式，系统10和用户20协作，以特定的方式将书22转换成方便用户20使用的虚拟信息屏幕。系统10可选地包括显示屏幕28以及传统的输入设备，如键盘30和鼠标32，该系统可为使用管理如系统配置提供用户界面，以及为用户20控制系统10的操作提供用户界面。现参考图2，其示出了根据本发明的实施例的系统10 (图I)的方框图。场景34由两个摄像机即2-D摄像机36和3-D摄像机38同时获取，其可为独立单元，或集成为组合单元。可选地，该场景可仅由3-D摄像机38或仅由2-D摄像机36获取，图像分析在任一情况下获取的图像上进行。如上文提到的，这些摄像机可实现为PrimeSensor参考设计。2-D摄像机36和3-D摄像机38输出的数据被输入到处理器40，处理器40执行中间件，例如上述的Nite中间件。中间件配准两个摄像机获取的场景。中间件包括对象分析模块42，该模块识别场景34中的对象，并确定该对象是否适于在其上投影内容。投影仪控制模块44，其为中间件的另一个组件，对场景34中的对象例如对象46的坐标和特性进行转换，并为投影准备图像。模块44为投影仪48发送合适的指令，以便能将通常包含信息内容的图像投影到对象46上。指令包含对由于对象46的比例、姿势和配置造成的失真的校正。可选地或此外，投影机48可包括补偿这类失真的其自身所有的机构。计算投影参数的时候，可能考虑用户的位置和姿态。例如，如上所述，朝向投影内容的注视向量可因用户在场景内的移动而变化。可相应地调节投影参数以弥补这类变化，例如，可通过调整比例、视差和相似的失真，以为用户模拟真实的体验。此类调整的一个示例为对下列现象进行校正，当从不同的方向即对象的不同侧面看去，三维对象会显得不同，或对象的不同的二维投影对观察者是显然的。投影内容可根据注视向量和用户相对于虚拟对象的位置进行调整，从而创造对象的真实体验，就好像在观察者面前一样。注视方向可由本领域中熟知的方法确定。例如，如果设备嵌入在透视眼镜中，头部位置的定位可通过世界相对于该设备的严格配准实现。视线也可被测量，例如，使用眼部跟踪产品，其可从Tobii技术有限公司购得，美国维吉尼亚州福尔斯彻奇市200套房华盛顿街510N，邮政编码22046。可使用由传感器获取的3D信息将视线转换成对象坐标。对象意识用于识别和跟踪身体部位的技术在共同转让的美国专利申请第2011/0052006号文件中有述，标题为“Extraction of Skeletons from 3-DMaps”,该文件在此以引用方式并入。实质上，该技术通过接收包含人类形体的场景的深度图的时间序列而实现。数字处理器处理至少一张深度图，以找到指定的身体部分的位置，例如，基于位置的人类形体的头部或手部的估算尺寸。处理器使用估算的尺寸在系列上对人类形体的运动进行跟踪。上文提到的Nite中间件中使用了这些技术，通过联系本领域技术人员已知的其他识别程序，可加强这些技术。例如，如果要识别人体的头部，处理器可以将三维形体先分割开来并分析，以确定右臂和左臂，然后查找两臂之间的空间以找到头部。此外或可选地，识别技术可以使用。深度图可与头部或其他对象的二维图像配准。处理器可应用图案或脸部识别技术来识别二维图像中的人体的脸部。二维图像中的脸部位置与三位形体中的头部位置相关联。使用相同的技术可对完整的场景进行分析和分割，以及已识别的已知种类的对象可作为在其上投影图像的备选对象。对象处理器先参考图3，其为方框图，该图示意性地示出了示例的处理设备50的一部分的功能元件，其为处理器40 (图2)的一个部件，其根据本发明的实施例构建和操作。处理设备50可被制造为在单个半导体基底上的专用集成电路，其USB端口 52连接到可选的主机54上。设备50可还包括其他接口，以及包括对象分析仪56。对象分析仪56连接到数据库58，数据库58拥有包含待识别的对象的描述的库，其由对象分析仪56进行评估。应理解到，处理设备50的可选配置可由本领域技术人员构建。如上所述，处理设备50的操作可由内置于指令存储器60和数据存储器62内的中间件控制。深度处理器64处理由3-D摄像机12 (图I)捕获的信息，从而生成深度图。深度处理器64使用存储器66中的专用存储空间。该存储器也可由控制器68访问，而通常不由主机54控制，见以下详述。相反，深度处理器64可由主机54通过应用程序接口(API)进行编程。深度处理器64通过深度CMOS接口 70接收来自3_D摄像机12 (图I)的红外输入数据。深度处理器64处理视频数据，以生成连续的深度图，如深度数据帧。深度处理器64将数据加载到USB FIFO单元74中的深度先进先出(FIFO)存储器72中。与深度输入和处理操作并行地，彩色处理块76通过彩色CMOS传感器接口 78接收来自2-D摄像机14 (图I)的彩色视频输入数据。处理块76将原始输入数据转换成RGB视频数据的输出帧，并将这些数据加载到单元74中的RGB FIFO存储器8074。可选地，处理块76可以其他格式输出视频数据，例如，YUV或拜耳马赛克格式。单元74作为各种数据提供者和USB控制器82之间的缓冲区。单元74根据不同的类(例如，USB视频类和USB音频类)将各种数据类型打包和格式化，也起着阻止因USB带宽故障而造成数据丢失的作用。在将数据转移到USB控制器之前，单元74根据USB协议和格式将数据布置到USB数据包内。高带宽总线，例如先进的高性能总线(AHB)矩阵84，用于在处理设备50的组件之间携带数据，特别用于将数据从单元74传送到USB控制器82，然后再传送给主机54。(AHB为英国剑桥ARM公司颁布的总线协议。)当单元74中有准备好的数据包，并且USB控制器82的内存中有可用的空间时，USB控制器82使用直接存储器访问(DMA)通过AHB从模块88和矩阵84从存储器72、存储器80以及音频FIFO存储器86中读取数据。USB控制器82多路传输颜色数据、深度数据和音频数据到单个数据流中，用于经由USB端口 52输出至主机54。为了 USB通信的目的，处理设备50包括一个USB物理层接口，PHY90，该接口可由USB控制器82操作，以通过合适的USB电缆与主机54的USB端口实现通信。USB PHY的时 序由晶体振荡器92和锁相环94(PLL)控制，如本技术领域熟知的。可选地，USB控制器86可以通过USB 2. O收发器宏单元接口(UTMI)和外部PHY96可选地与主机通信。各种外部设备可与处理设备50相连，与主机54协作，这些外部设备包括投影仪控制模块98，投影仪控制模块98接收来自处理设备50和主机54的指令，以将所需图像投影到指定的空间坐标。控制器68负责管理处理设备50的功能，包括启动、自检、配置、电源以及接口管理和参数调整。控制器68可包括数字信号处理器(DSP)内核100和AHB控制器102，用来控制矩阵84中的数据移动。通常，控制器68从引导(boot)只读存储器104处启动，然后将来自闪存(未示出)的程序代码通过闪存接口 106加载到指令随机存取存储器60和数据存储器62中。此外，控制器68具有测试接口 108，如联合测试行动小组(JTAG)接口，用于通过外部计算机110进行调试的目的。控制器68将配置数据和参数通过寄存器配置接口 112如先进外围总线(APB)分配到处理设备50的其他部件中，通过矩阵84和APB桥114将控制器连接到寄存器配置接Π 112。处理设备50的更多细节在上述PCT国际公布文件W02010/004542号中公开。对象分析继续参考图3，对象分析仪与处理块76和单元74协作来评估深度处理器64处理的数据，以评估3-D摄像机12 (图I)捕获的场景。由对象分析仪56执行的算法可由主机54中的应用程序命令。例如，对象分析仪56可被指示为搜索并报告数据库58中指定的场景的一个或多个已知对象。主机54可因此指示内容投影仪16 (图I)将图像投影到选定的对象上。此外或可选地，对象分析仪56可被指示为识别和报告满足预定标准的对象，而无需通过数据库58。由对象分析仪56发送的与识别的对象相关的数据通常包括对象的大小和位置及其方向，优选具有六个自由度，包括相对于参考坐标系的比例、螺距、横摆和角位移。该信息允许投影仪通过适当的缩放和扭曲投影图像来弥补失真，以将信息投影到已选对象上，从而使观察者看到大体上零失真的图像。投影图像的配置在美国专利申请公布文件第20110081072号文件中已有所描述，标题为“Image Processing Device, ImageProcessingMethod, and Program”。为了避免复杂的光学布置的花费，图像可在软件中进行配置，从而避免复杂的光学布置的成本及能够更容易地实现不受离轴图像失真的影响。可选地，如上所述，商用项目可以提供自己的失真控制补偿。现参考图4，图 4为根据本发明实施例的识别场景中的三维对象的方法的示例性流程图。为便于演示，该方法结合在图I和图3中示出的装置，该方法适用于不同配置的装置。为了便于演示，该过程的步骤在图4中以特定的线性序列示出。然而，显而易见的是，其中许多步骤可以同时地、异步地或以不同顺序执行。本领域技术人员也可理解，过程可替代地表示为许多相互关联的状态或事件，例如，以状态图的形式。此外，在实施该过程时，并非所有示出的过程步骤均要求执行。另外，许多细节可根据主机54的命令和应用程序的要求而变化。假设观察者在书店里。在初始步骤116，在主机54中执行的应用程序，将识别一本显示文本信息的翻开的书。这是在数据库58中具有已知定义的三维对象，该三维对象包括至少一个一般的浅色平面。3-D摄像机12启动并且在处理设备50中捕获三维场景。对象分析仪56评估场景，并在三维空间中定位和识别对象。在判断步骤118，确定是否在场景中定位了平面。现在控制进入到判断步骤120，该阶段确定该平面是否符合书的标准。该标准可涉及对应于合上的或打开的书本的内部特征、大小、与某个其他对象的接近程度以及几何特性。如果判断步骤120确定为是，则控制流程进入最后的步骤122。对象分析仪56将书的坐标和方向报告给控制器68，控制器指示投影仪控制模块98与主机54协作，以显示在识别的书上的确定应用的图像(MENU-I)。例如，图像可包括米购项目或获取书的其他 目息例如书的预览、和普及率的选项。事实上，如果3-D摄像机12成功地捕获书名，附加信息可包括在投影图像中。假设主机54可以访问本地或分配的数据库，或能够通过互联网自动查询。如果判断步骤120确定为否，则控制流程进入判断步骤124。当场景中出现多个对象用于处理时，必须作出判断。如果判断步骤124确定为是，则控制流程返回到判断步骤118。如果判断步骤124确定为否，则本方法的第二种状态将开始运作。假设应用程序进入第二个选项，其中如果图像对3-D摄像机12为可见的，图像将投影到用户的手上。控制流程进入判断步骤126，该阶段确定人体部位是否出现在场景中。使用上述美国专利申请公布文件第2011/0052006号的描述可以完成该步骤。如果判断步骤126确定为是，则控制流程进入判断步骤128，该阶段确定人体部位是否为手。如果判断步骤128确定为是，那么控制流程进入最后的步骤130，该步骤类似于步骤122。然而，不同的菜单(MENU-2)被投影到手上，例如，其可包括用于控制计算机应用的控制选项。在最后的步骤122和130中，配置图像，从而当与内容进行交互时，为用户部分创建自然的感觉。如果判断步骤128确定为否，则控制流程进入判断步骤132。如果场景中出现多个对象用于处理时，则作出判断。如果判断步骤132确定为是，则控制流程返回到判断步骤126。否则，控制流程进行到最后的步骤134，在该步骤中，显示屏上呈现传统的菜单显示。最后的步骤134表示未能识别出适合在其上投影图像的外部对象。将理解，图4所示的方法可根据需要被改变和详细制定以符合管理应用程序的规范。可对各种对象和图像的识别与优化进行编程，以适应特定场景的配置和程序本身的需要。可选实施例I本实施例类似于第一实施例，除了供投影图像和用户使用的简便的虚拟表面之夕卜。现在参考图5，其图示了根据本发明的实施例的一般的移动信息设备138的屏幕136，所述移动信息设备138例如移动电话，如被投影到虚拟表面上的“智能手机”。此类设备很小，不能方便地进行交互和使用介质。屏幕136集成了微型投影仪140和传感装置142，其具有与图I的实施方式中的3-D摄像机12和内容投影仪16相同的功能。例如，适合此用·途的投影仪可从Microvision购得。在本实施例中，投影仪140将图像投影到虚拟的投影表面144上,其相对于屏幕136被放大。在一种操作模式中，投影仪140可创建显示在屏幕136上的信息的放大形式。在另一种操作模式中，传感装置142捕获外部场景。移动信息设备138经配置以执行参考图4所述的场景分析的方法。在该示例中，打开的书146在外部场景中被识别出来。在移动信息设备138中执行的应用程序使投影仪140将书146中的图像148投影到投影表面144上，并将菜单150叠加到图像148上。菜单150邀请用户购买售价为$75. 99的书146或取消显示。可选实施例2在第一个实施例中，描述了将图像投影到物理对象上，例如，书或手上。在本实施例中，投影仪可被体现为将内容投影到可佩戴的监控器例如，眼镜上的装置。在本实施例中，在图4的方法中的最后的步骤122和最后的步骤130被修改。现在参考图6，其图示了根据本发明的实施例的具有可佩戴的监控器的交互式三维视频显示系统。该系统被设置为将各自的图像投影到可佩戴的监控器上，而不是投影到对象本身。此类设备为允许参考图4所述的方法产生的计算机生成的图像被生成并可选地叠加到真实场景提供了可能性。在观看外部场景时，该设备可以通过部分反射的镜子来投影计算机生成图像来操作。此外可选地，该设备可电子地将计算机生成的图像和真实场景混合。在图6的示例中，用户152使用了可佩戴的监控器154，该监控器能显示立体图像。可佩戴的监控器154设置有与系统10 (图I)的元件类似的元件或与该元件接口。类似系统10，可佩戴的监控器154用于分析外部场景。在该示例中，其识别出书146，并生成图像156，图像156包括与图像148 (图5)相同的信息。可佩戴的监控器154可为独立的单元，或可以包含系统10的其他组件。在图6的实施例中，可佩戴的监控器154包括微型投影仪158和传感元件160。此外或可选地，可佩戴的监控器154可通过无线连接与外部处理器或传感设备进行通信。用作可佩戴的监控器154的合适的可佩戴的头盔显示器和透视眼镜显不器可从Madison line ofNovero (novero. com)获得，或从Lumus有限公司(位于以色列雷霍沃特2伯格曼街，邮政编码76705)购得。
虽然图像156实际建立在可佩戴的监控器154中，但在一些实施例中，用户152可能认为图像156被叠加在图6所示的空间的外部区域。在该实施例中的可佩戴的监控器154配有定位、头部跟踪和眼部跟踪的子系统。本领域技术人员应理解到，本发明并不局限于特别示出和上文描述的实施例。相反，本发明的方面包括上述各种特征的组合和子组合，以及现有技术没有的特征的变化和修改，本领域技术人员在阅读上述内 容后，这些变化和修改将是显然的。
权利要求
1.一种数据处理装置，包括 传感元件，其用于获取场景，所述传感元件包括三维摄像机； 处理器，其连接到所述三维摄像机且被编程以使用所述三维摄像机的输出产生所述场景的深度图，以及进行场景分析以识别所述场景中的满足在其上投影图像的预定标准的三维对象；以及 内容投影仪，其用于响应于所述处理器的指令来形成图像。
2.根据权利要求I所述的装置，其中，形成所述图像包括将所述图像投影到所述三维 对象上。
3.根据权利要求I所述的装置，其中，形成所述图像包括将所述图像投影到用户的视网膜上。
4.根据权利要求I所述的装置，其中，形成所述图像包括将所述图像投影到透视眼镜上。
5.根据权利要求I所述的装置，其中，形成所述图像包括将所述图像投影到三维虚拟空间。
6.根据权利要求I所述的装置，其中，所述处理器的所述指令响应于所述场景分析，以及其中所述处理器与所述内容投影仪协作，用于响应于所述场景分析改变至少一个投影参数和所述图像的内容。
7.根据权利要求I所述的装置，其中，所述处理器与所述内容投影仪协作，用于响应于用户与所述场景之间的交互来改变所述图像的特性。
8.根据权利要求7所述的装置，其中，所述交互包括所述用户朝向所述三维对象的注视向量的变化。
9.根据权利要求7所述的装置，其中，所述交互包括所述用户的与所述三维对象相关的手势。
10.根据权利要求7所述的装置，其中，改变所述图像的特性包括改变比例和失真补偿中的至少一个。
11.根据权利要求I所述的装置，还包括用于捕获所述场景的二维图像的二维摄像机，其中，所述处理器可操作以用于识别所述二维图像中的与所述三维对象相关的信息，以及还响应于所述识别信息可操作和用于指示所述内容投影仪包括所述图像中的所述三维对象的元数据。
12.根据权利要求I所述的装置，其中，识别所述三维对象包括识别所述三维对象相对于参考坐标系的具有6个自由度的位置，其中，所述内容投影仪可操作以补偿所述三维对象的比例、俯仰、横摆和角位移。
13.根据权利要求I所述的装置，其中，识别所述三维对象包括参考三维对象定义的数据库以及将所述三维对象与所述数据库中的所述定义比较。
14.根据权利要求I所述的装置，还包括可佩戴的监控器，其中所述内容投影仪可操作以在所述可佩戴的监控器中建立所述图像作为虚拟图像。
15.根据权利要求14所述的装置，其中，所述传感元件、所述处理器和所述内容投影仪并入到所述可佩戴的监控器中。
16.根据权利要求14所述的装置，其中，所述可佩戴的监控器包括透视眼镜。
17.根据权利要求I所述的装置，其中，所述内容投影仪可操作以在虚拟表面上建立所述图像，用于用户与之交互。
18.根据权利要求I所述的装置，其中，所述处理器可操作以用于响应于手势来控制计算机应用，以及其中，所述图像包括用于控制所述计算机应用的用户界面。
19.根据权利要求I所述的装置，其中，所述图像包括书面内容。
20.一种用于加强与数据处理系统的交互的方法，包括下述步骤 捕获场景的三维图像； 使用数字处理器处理所述三维图像以定位其中的三维对象，以及确定所述三维对象满足预定的标准；以及 形成用户与之交互的包含内容的图像。
21.根据权利要求20所述的方法，其中，形成所述包含内容的图像包括将所述包含内容的图像投影到所述三维对象中的一个。
22.根据权利要求20所述的方法，其中，形成所述包含内容的图像包括将所述包含内容的图像投影到所述用户的视网膜上。
23.根据权利要求20所述的方法，其中，形成所述包含内容的图像包括将所述包含内容的图像投影到透视眼镜上。
24.根据权利要求20所述的方法，其中，形成所述包含内容的图像包括将所述包含内容的图像投影到三维虚拟空间。
25.根据权利要求20所述的方法，还包括响应于所述用户与所述场景之间的交互来改变所述包含内容的图像的特性的步骤。
26.根据权利要求25所述的方法，其中，所述交互包括所述用户朝向所述三维对象的一个的注视向量的变化。
27.根据权利要求25所述的方法，其中，所述交互包括所述用户的与所述三维对象中的一个相关的手势。
28.根据权利要求25所述的方法，其中，改变包含内容的图像的特性包括改变比例和失真补偿中的至少一个。
29.根据权利要求20所述的方法，还包括下述步骤 捕获与所述三维图像配准的所述场景的二维图像； 识别所述二维图像中的与所述三维对象相关的信息；以及 响应于所识别的信息改变所述包含内容的图像。
30.根据权利要求20所述的方法，还包括下述步骤 识别与所述包含内容的图像相关的手势；以及 响应于所述手势来控制计算机应用。
31.根据权利要求30所述的方法，其中，所述包含内容的图像包括用于控制所述计算机应用的用户界面。
32.根据权利要求20所述的方法，其中，处理所述三维图像包括识别所述三维对象中的一个三维对象关于参考坐标系的具有6个自由度的位置，以及形成包含内容的图像包括补偿所述一个三维对象的比例、俯仰、横摆和角位移。
33.根据权利要求20所述的方法，其中，处理所述三维图像包括参考三维对象定义的数据库以及将所述三维对象与所述数据库中的所述定义比较。
34.根据权利要求20所述的方法，其中，所述三维对象之一为人类形体的一部分。
35.一种用于加强与数据处理系统的交互的方法，包括下述步骤 接收场景的深度图，所述场景包括满足在其上投影图像的第一标准的三维对象； 接收所述场景的二维图像； 使用数字处理器处理所述深度图以定位所述对象； 执行计算机应用以分析所述二维图像，从而根据第二标准识别出所述三维对象中最合适的一个； 将所述计算机应用的用户界面作为包含内容的图像投影到所述三维对象中的所述最合适的一个上； 使用所述数字处理器识别手势； 将所述手势转译为与所述用户界面的交互；以及 响应于所述交互来控制所述计算机应用。
36.根据权利要求35所述的方法，其中，处理所述深度图包括识别所述三维对象中的所述最合适的一个关于参考坐标系的具有6个自由度的位置，以及投影用户界面包括补偿所述最合适的一个的比例、俯仰、横摆和角位移。
37.根据权利要求35所述的方法，其中，处理所述深度图包括参考三维对象定义的数据库以及将所述三维对象与所述数据库中的所述定义比较。
38.根据权利要求35所述的方法，其中，所述深度图中的所述三维对象之一为人类形体的一部分。
39.一种用于加强与数据处理系统的交互的方法，包括下述步骤 接收场景的深度图，所述场景包括满足在其上投影图像的第一标准的三维对象； 使用数字处理器处理所述深度图以定位所述对象； 执行计算机应用以根据第二标准识别出所述对象中的最合适的一个对象； 将所述一个对象的图像投影到虚拟表面上； 使用所述数字处理器识别手势； 将所述手势转译为与所述一个对象的图像的交互；以及 响应于所述交互来控制所述计算机应用。
40.根据权利要求39所述的方法，其中，处理所述深度图包括识别所述一个对象关于参考坐标系的具有6个自由度的位置，以及投影所述一个对象的图像包括补偿所述一个对象的比例、俯仰、横摆和角位移。
41.根据权利要求39所述的方法，其中，处理所述深度图包括参考三维对象定义的数据库以及将所述深度图中的所述三维对象与所述数据库中的所述定义比较。
42.根据权利要求39所述的方法，其中，所述一个对象的图像还包括用于控制所述计算机应用的用户界面。
43.一种用于加强与数据处理系统的交互的方法，包括下述步骤 接收场景的深度图，所述场景包括满足在其上投影图像的第一标准的三维对象； 使用数字处理器处理所述深度图以定位所述对象； 执行计算机应用以根据第二标准识别出所述对象中的最合适的一个对象；将所述一个对象的图像投影到可佩戴的监控器上； 使用所述数字处理器识别用户的手势； 将所述手势转译为与所述一个对象的图像的交互；以及 响应于所述交互来控制所述计算机应用。
44.根据权利要求43所述的方法，其中，处理所述深度图包括识别所述一个对象关于参考坐标系的具有6个自由度的位置，以及投影所述一个对象的图像包括补偿所述一个对象的比例、俯仰、横摆和角位移。
45.根据权利要求43所述的方法，其中，处理所述深度图包括参考三维对象定义的数据库以及将所述三维对象与所述数据库中的所述定义比较。
46.根据权利要求43所述的方法，其中，所述一个对象的图像还包括用于控制所述计算机应用的用户界面。
全文摘要
本发明的实施例提供了用于增强交互真实性的装置和方法，包括二维摄像机(36)和三维摄像机(38)、相关的深度投影仪和内容投影仪(48)、及连接到三维摄像机和二维摄像机的处理器(40)。使用三维摄像机的输出产生场景的深度图，并使之与二维摄像机捕获的二维图像协作，以识别出场景中的满足在其上投影图像的预定标准的三维对象。内容投影仪响应于处理器的指令将内容图像投影到三维对象上，其可通过用户手势的自动识别进行调节。
文档编号G09G5/00GK102959616SQ201180027794
公开日2013年3月6日 申请日期2011年7月18日 优先权日2010年7月20日
发明者阿维亚德·梅泽尔斯, 亚历山大·什蓬特, 塔米尔·贝利纳 申请人:普莱姆森斯有限公司