专利名称：扫描投影机及用于3d映射的图像捕获模块的制作方法
技术领域：
本发明通常涉及用于投影并捕获光辐射的方法及装置，且特别涉及为了 3D映射的目的的投影及图像捕获。背景本领域中已知用于光学3D映射(即，通过处理物体的光学图像来产生物体的表面的3D轮廓)的各种方法。这种3D轮廓也称作3D图、深度图或深度图像，且3D映射也称作深度映射。一些3D映射方法基 于将激光散斑图案投影至物体上，并随后分析物体上的图案的图像。举例而言，PCT国际公布W02007/043036 (其公开内容通过引用被并入本文)描述一种用于物体重构的系统及方法，其中相干光源及随机散斑图案的产生器将相干随机散斑图案投影至物体上。成像单元探测受照区域的光响应并产生图像数据。在实时重构物体的3D图时使用物体的图像中的图案相对于图案的参考图像的移位。用于使用散斑图案来进行3D映射的另外的方法例如在PCT国际公布W02007/105205 (其公开内容通过引用被并入本文)中被描述。其它光学3D映射方法将不同种类的图案投影至待映射的物体上。举例而言，PCT国际公布W02008/120217 (其公开内容通过引用被并入本文)描述一种用于3D映射的照射组件，其包括含有光斑的固定图案的单个透明片。光源用光辐射来透照透明片以便将图案投影至物体上。图像捕获组件捕获物体上的图案的图像，且图像被处理以便重构物体的3D图。概述下文所述的本发明的实施方式提供用于有效地投影图案、特别是用于3D映射以及用于这样的所投影图案的成像的方法及设备。因此，根据本发明的实施方式，提供包括照射模块的用于映射的设备，照射模块包括辐射源，其配置成发射辐射光束；及扫描仪，其配置成在选定角范围内接收并扫描光束。照射光学器件配置成投影所扫描光束以便产生在所关注区域内延伸的光斑的图案。成像模块配置成捕获投影至所关注区域中的物体上的图案的图像。处理器配置成处理图像以便构建物体的三维(3D)图。光斑的图案可在由设备映射的深度范围内不相关。在一些实施方式中，辐射源被控制以便在扫描仪扫描光束时调制光束的强度，由此在所关注区域上产生光斑的图案。照射模块可配置成响应于由成像模块所捕获的图像而修改图案。照射模块可配置成控制辐射源及扫描仪中的至少一个以便修改所关注区域的选定部分内的阵列中的光斑的角密度。可选地或另外，照射模块可配置成控制辐射源及扫描仪中的至少一个以便修改所关注区域的选定区中的光斑的亮度。在可选实施方式中，扫描仪配置成在第一角范围内扫描光束，且光学器件包括光束分离器，光束分离器配置成产生在大于第一角范围的第二角范围内共同延伸的所扫描光束的多个有角度地间隔开的复制物。扫描仪及光束分离器可配置成用由所扫描光束的多个有角度地间隔开的复制物所产生的图案来拼贴所关注区域。在另一实施方式中，光学器件包括图案化元件，图案化元件配置成在由光束照射时在第一角范围内产生图案，且扫描仪配置成引导光束连续地以多个不同角度射到图案化元件以便产生在大于第一角范围的第二角范围内共同延伸的图案的多个有角度地间隔开的复制物。扫描仪及图案化元件可配置成用图案的多个有角度地间隔开的复制物来拼贴所关注区域。在再一实施方式中，扫描仪配置成在第一角范围内扫描光束,且光学器件包括扫描扩展元件，扫描扩展元件配置成分配所扫描光束以便以空间图案覆盖大于第一角范围的第二角范围。扫描扩展元件可选自由凸面反射器与衍射光学元件组成的元件组。在所公开的实施方式中，照射模块包括至少一个光束传感器，至少一个光束传感器位于由扫描仪扫描的角范围内的选定角度处以便周期性地接收所扫描光束并由此验证扫描仪正在操作。通常，照射模块配置成在传感器未能周期性地接收到所扫描光束时抑制来自辐射源的光束的发射。在一些实施方式中，福射源包括第一福射源，其发射红外光束，红外光束被调制以产生光斑的图案；及第二辐射源，其发射可见光光束，可见光光束被调制以将可见图像投影至所关注区域上。扫描仪及光学器件配置成同时将红外光束及可见光光束都投影至所关注区域上。通常，第二辐射源被控制以便响应于3D图而将可见图像投影至物体上。在所公开的实施方式中，处理器布置成通过找到所捕获图像的区中的光斑与属于图案的参考图像的对应参考 光斑位置之间的相应的偏移来得到3D图，其中相应的偏移指示区与图像捕获组件之间的相应的距离。在一些实施方式中，成像模块包括位置灵敏探测器，位置灵敏探测器配置成在由照射模块投影物体上的图案中的每个光斑时感测并输出光斑的偏移。成像模块可配置成与照射模块中的扫描仪同步地或与来自辐射源的光束一起扫描位置灵敏探测器的视域。可选地或另外，照射模块及成像模块布置成使得偏移在第一方向上发生，且成像模块包括在第一方向上延伸的一个或多个行中布置的探测器元件的阵列及配置成将图案成像至阵列上且具有在第一方向上比在第二垂直方向上大的光功率的像散光学器件。在一些实施方式中，成像模块包括传感器及成像光学器件，传感器及成像光学器件界定与照射模块的所扫描光束同步地在所关注区域内被扫描的感测区。传感器可包括具有卷动快门的图像传感器，其中卷动快门与所扫描光束同步。另外或可选地，照射模块中的扫描仪可以是可控制的以动态地改变选定角范围，且成像模块可包括成像扫描仪，成像扫描仪配置成动态地扫描感测区以与所扫描光束的选定角范围相匹配。根据本发明的实施方式，也提供一种包括照射模块的用于映射的设备，照射模块包括辐射源，辐射源配置成发射具有根据所指定的时间调制而改变的强度的辐射光束。扫描仪配置成在所关注区域内接收并扫描光束，以便以由光束的时间调制确定的空间强度图案来将辐射投影至区域上。成像模块配置成捕获投影至所关注区域中的物体上的空间强度图案的图像。处理器配置成处理图像以便构建物体的三维(3D)图。在所公开的实施方式中，时间调制是二进制的，且其中空间强度图案包括通过时间调制所产生的光斑的阵列。在一个实施方式中，成像模块包括传感器及成像光学器件，传感器及成像光学器件界定与照射模块的所扫描光束同步地在所关注区域内被扫描的感测区。根据本发明的实施方式，另外提供一种用于映射的方法，该方法包括在选定角范围内扫描辐射光束以便产生在所关注区域内延伸的光斑的图案。捕获并处理投影至所关注区域中的物体上的图案的图像以便构建物体的三维(3D)图。根据本发明的实施方式，进一步提供一种用于映射的方法，该方法包括产生具有根据所指定的时间调制而改变的强度的辐射光束。在所关注区域内扫描光束，以便以由光束的时间调制确定的空间强度图案来将辐射投影至区域上。捕获并处理投影至所关注区域中的物体上的空间强度图案的图像以便构建物体的三维(3D)图。从结合附图理解的本发明的实施方式的下面详细描述中，将更全面地理解本发明，其中附图的简要说明
图1是根据本发明的实施方式的用于3D映射的系统的示意性俯视
图2A及图2B是根据本发明的实施方式的在两个不同操作阶段中的照射模块的示意性俯视图；图2C是根据本发明的实施方式由图2A及图2B的模块投影的图案的示意性正视图；图3至图5是根据本发明的其它实施方式的照射模块的示意性俯视图；图6是根据本发明的实施方式的在操作中的3D映射系统的示意性示图；图7是根据本发明的再一实施方式的照射模块的示意性俯视图；图8及图9是根据本发明的实施方式的成像模块的示意性示图；及图10是根据本发明的实施方式的3D映射装置的示意性示图。实施方式的详细描述下文描述的本发明的实施方式尤其提供用于有效地投影图案、特别是用于3D映射以及用于这样的所投影图案的有效成像的方法及设备。在本发明的一些实施方式中，照射模块将光斑的图案投影至所关注区域上，且成像模块捕获出现在区域中的物体上的图案的图像。此图像被处理以便找到图像中的光斑的位置，并在此基础上构建所关注区域中的物体的3D图。通常基于图像中的光斑相对于图案的参考图像中的对应参考光斑位置的偏移通过三角量测法来计算图中的深度坐标。在所公开的实施方式中，动态地投影图案，S卩，不是在整个区域上同时投影图案，而是通过扫描由辐射源发射的光束来产生图案。在选定角范围内扫描光束。(所公开的实施方式中的一些实施方式目的在于控制及/或扩展此范围。)通常在扫描期间调制光束的强度以便产生期望图案。扫描在可在映射给定场景的过程中修改图案的方面(例如其密度、亮度及/或角范围)的意义上是“动态的”。尽管下文所述的实施方式具体针对光斑图案而绘制，但本发明的原理可在为了 3D映射的目的而产生其它种类的图案时被类似地应用。
此动态扫描方法在多个重要方面是有利的。举例而言，以此方式的动态扫描在产生图案方面，特别是在可在所关注区域的图像的基础上修改图案方面提供灵活性。举例而言，图案中的光斑的角密度及/或光斑的亮度可根据场景中的所关注物体的场景条件及特征而在不同区中变化。同样可与照射光束的扫描结合来动态地操作成像模块，以便成像模块的活动视域跟踪在扫描中的任一点处被实际照射的图案的区。不一定如在常规图像传感器中的同时捕获所关注区域的如此产生的图像，而是可作为产生3D图的过程的一部分基于在扫描期间由探测器捕获的本地信号以电子方式组合图像。以此方式使照射及探测资源集中于小的移动区中可增强所探测图案的信号/背景比且因此提高3D映射的精度。成像模块的视域可例如以光学方式(可能使用(至少部分地)相同的扫描仪作为照射模块)或以电子方式(使用具有卷动快门的图像传感器)跟踪照射光束的扫描。下文所述的实施方式中的一些实施方式目的在于扩展由照射模块所提供的扫描的角范围。这些实施方式解决一些3D映射系统对远大于一些常规扫描仪的扫描范围的宽视域的需要。在一个这样的实施方式中，投影模块的光学器件包括光束分离器，光束分离器同时产生所扫描光束的多个有角度地间隔开的复制物。这些复制物在比扫描范围为大的角范围内共同延伸。在另一实施方式中，扫描仪引导来自辐射源的光束连续地以多个不同角度射到图案化元件，且因此产生图案的多个有角度地间隔开的复制物。在任一情况下，照射模块的元件都可配置成以此方式用图案来拼贴所关注区域，即，用图案的毗邻复制物来覆盖区域，而无复制物之间的显著重叠或间隙。(在此上下文中，间隙或重叠在其大约为光斑之间的间距或大于此量级的情况下被视为“显著的”。)可选地或另外，照射模块可包括诸如凸面反射器或衍射光学元件(DOE)的扫描扩展元件，扫描扩展元件扩展由所扫描光束覆盖的角范围。下文描述对使用所扫描辐射源的3D映射系统的元件的其它应用及关于使用所扫描辐射源的3D映射系统的元件的变化形式。
系统描述图1是根据本发明的实施方式的用于3D映射的系统20的示意性俯视图。系统20构建于映射装置22周围，映射装置配置成捕获图像并产生场景的3D图。场景此处包括诸如装置的用户的手的物体28。由装置22所产生的3D图中的深度信息可例如由主机计算机(未示出)用作3D用户接口的一部分，3D用户接口使用户能够与在计算机上运行的游戏及其它应用程序以及与显示屏幕上所显示的元件互动。(这种功能例如在美国专利申请公布2009/0183125 (其公开内容通过引用被并入本文)中被描述。)然而，装置22的此特定应用此处仅作为例子被提及，且装置的映射能力也可用于其它目的，且适用于实质上任何合适类型的场景及3D物体。在图1中所示的实例中，映射装置22中的照射模块30将光辐射的图案投影至物体28上，如下文将详细解释的。用于此目的的光辐射通常处于红外(IR)范围内，但可类似地使用可见光或紫外光。(在图7中示出的一个实施方式中，照射模块投影红外及可见光辐射。)成像模块38捕获物体上的图案的图像并对所述图像解码以便产生图像中的每一像素的数字移位值。移位值表示在所捕获图像中的每一像素的区中的图案的单元(通常为光斑)与图案的参考图像中的对应图案单元的参考位置之间的偏移。这些偏移指示对应于像素的实际场景中的点与图像捕获组件之间的相应的距离。可选地，模块38可输出原始像素值，且移位值可由装置22的另一部件或由主机计算机计算。装置22中的处理器46处理移位值(在必要时从模块38所输出的原始像素值计算移位值之后)以便产生由装置22照射且成像的所关注区域的深度图。深度图包括3D坐标的阵列，3D坐标包括物体表面的在预定的视域内的每一点(X、Y)处的深度(Z)坐标值。(在图像相关数据的阵列的上下文中，这些(X、Y)点也称作像素。)在本实施方式中，处理器基于图案的在每一像素处的横向移位通过三角量测法来计算物体28的表面上的点的3D坐标。这样的三角量测法的原理例如在上述PCT公布W02007/043036、W02007/105205及W02008/120217 中被描述。在可选实施方式中，加以必要的变更，装置22的部件可用在其它类型的深度映射系统例如基于进出所关注场景的光脉冲的飞行时间的量测的系统或立体系统以及使用所投影光束的其它种类的应用中。在图1中，X轴被认为是沿着装置22的正面的水平方向，Y轴为垂直方向(在此视图中从页面出来)，且Z轴在物体由组件成像的大体方向上远离装置22延伸。模块30及38的光轴平行于Z轴，其中X轴上的相应的光瞳间隔开已知距离。在此配置中，由模块38捕获的图像中的图案的横向移位将仅(在容许误差内)在X方向上，如上述PCT公布中所解释的。如上所述，照射模块30用光斑的图案(例如光斑的不相关图案)来照射所关注场景。在本专利申请的上下文中且在权利要求中，术语“不相关图案”指位置在横穿投影光束轴的平面中不相关的光斑(其可以是亮的或暗的)的所投影图案。位置在随横向移位而变化的图案的自相关对于大于光斑尺寸且不大于可发生于由系统映射的深度范围内的最大移位的任一移位是不重要的意义上是不相关的。随机、伪随机及准周期性图案通常与由上述定义所指定的范围不相关。
`
为了产生光斑的图案，模块30通常包括合适的辐射源32，例如准直二极管激光器或发光二极管(LED)或具有适当形状的辐射光束的其它光源。光束由合适的扫描仪34及照射光学器件35在角度范围内扫描。光束在扫描期间被调制以便产生图案。举例而言，光束可在时间上通过接通与关断源32来加以调制以产生光斑或其它形式的二进制图案。光学器件35通常包括可在不同实施方式中采取各种不同形式的一个或多个透镜及/或其它光学元件，如下所述。图案在界定投影视域(F0V)36的某角范围内投影至场景上，因此将源32的时间调制转换成在系统20的所关注区域中的物体上延伸的期望空间强度图案。在所公开的实施方式中，扫描仪34包括具有机械扫描驱动器的扫描镜50,虽然也可以可选地使用其它类型的扫描仪(例如声光扫描仪)。扫描仪34可包括例如双向扫描镜或一对单向扫描镜。这样的镜可基于集成微机电系统(MEMS)技术。这种类型的扫描镜由诸如Microvision公司(华盛顿州Redmond市)的多个制造商生产。成像模块38通常包括在传感器40上形成出现在所关注区域中的场景上的投影图案的图像的物镜光学器件42。在图1中所描绘的实例中，传感器40包括CMOS图像传感器，CMOS图像传感器包括探测器元件41的二维矩阵。矩阵的列及行与X及Y轴对准。可选地，可在模块38中使用其它类型的传感器，如下所述。传感器40及物镜光学器件42界定成像视域44，成像视域通常包含于在装置22的所关注区域中的F0V36内。尽管传感器40在图I中被示为具有大致相同数量的列及行的探测器元件41，但在下文中描述的其它实施方式中，传感器可包括仅小数量的行，或甚至仅单个行或单个位置灵敏探测器元件。如上所述，辐射源32通常发射红外辐射。传感器40可包括没有红外截止滤波器的单色传感器，以便探测具有高灵敏度的所投影图案的图像。为了增强由传感器40捕获的图像的对比度，光学器件42或传感器本身可包括带通滤波器(未示出)，带通滤波器使辐射源32的波长通过而阻挡在其它频带中的环境辐射。处理器46通常包括以软件(或固件)编程以实施处理并控制本文中描述的功能的嵌入式微处理器。处理器可例如动态地控制照射模块30及/或成像模块38以调整诸如图案密度、亮度及角范围的参数，如下文详细描述的。存储器48可保存程序代码、查找表及/或临时计算结果。可选地或另外，处理器46可包括用于实施其功能中的一些功能或所有功能的可编程硬件逻辑电路。可适用于处理器46的深度映射处理器的实现的细节在美国专利申请公布2010/0007717 (其公开内容通过引用被并入本文)中被提供。扫描照射模块图2A及图2B是根据本发明的实施方式的在两个不同操作阶段中的照射模块30的示意性俯视图。在此实施方式中，辐射源32包括激光二极管52及准直透镜54。来自辐射源的光束由扫描镜50在由扫描仪的机械及光学性质限制的角度范围内扫描。(为简单起见，从此图及后续图中省略扫描机构。)图2A示出大致在扫描的中心处的镜，而在图2B中镜处于其最极端偏转下。此偏 转界定可由所扫描光束覆盖的最大角范围。为了扩展此范围,诸如合适的衍射光学兀件(DOE)的光束分离器55分离所扫描光束以产生所扫描光束的多个有角度地间隔开的复制物56、58、60。(在没有光束分离器的情况下，模块30将仅投影光束56。)当镜50扫描辐射光束时，复制物56、58、60在所关注区域上平行地掠过，覆盖大于仅由扫描仪提供的扫描范围的角范围。尽管为简单起见，图2A及图2B示出三个复制光束，但光束分离器55也可以可选地配置成给出仅两个复制光束或给出更大数量的复制光束。一般而言，光束分离器55可配置成根据应用要求来产生在实质上任何期望布局中的mXn个光束复制物的实质上任何阵列。图2C是根据本发明的实施方式的由图2A及图2B的照射模块投影的辐射图案的示意性正视图。激光二极管52的接通/关断调制致使每个光束复制物56、58、60、…在视域36的对应子区内产生光斑66的相应的图案64。光束分离器55的扇出角及扫描仪34的角扫描范围通常被选择成使得图案64拼贴所关注区域，而实质上无孔且无图案之间的重叠。这种拼贴布置可有效地用来在3D映射系统中在宽角范围内投影图案。可选地，扇出角及扫描范围可被选择成使得图案64重叠。图案可如在所描绘的实施方式中的是光斑图案，或可包括其它类型的结构光。图3是根据本发明的可选实施方式的照射模块30的示意性侧视图。此实施方式可用于产生图2C中示出的同一种拼贴图案。然而，它不同于此处所述的其它实施方式，因为它与扫描镜50结合来使用衍射光学元件(DOE) 70作为空间调制器以产生对场景的图案化照射。作为此布置的结果，对镜50的要求降低了，使得慢得多的扫描速率是可能的，或镜50可简单地在离散位置之间跳转，且照射源32可以以慢得多的速率脉动地接通及关断。按照光学原理，此实施方式类似于在美国专利申请公布2009/0185274及2010/0284082中描述的基于DOE的方案，这两个申请都通过引用被并入本文。这些公布描述用于使用一对DOE来产生衍射图案的方法，这对DOE中的一个DOE将输入光束分成输出光束的矩阵，而另一个DOE将图案应用于输出光束中的每一个。这两个DOE因此共同将辐射投影至图案的多个毗邻实例中的空间中的区域上。在本实施方式中，在将来自辐射源32的输入光束分成多个中间光束72时，镜50的扫描图案代替DOE中的一个。为此目的，镜50在X及Y方向上扫描到预定角度的矩阵的每一个角度，且在这些角度中的每一个处驻留通常大约几毫秒的某一时间段。每一驻留点界定光束72。D0E70沿着相应的轴76将光束72的每一个衍射成图案化输出光束74。轴76与光束74的发散角之间的扇出角可被选择(通过D0E70及镜50的扫描图案的适当设计)成使得光束74以图2C中所示的方式拼贴视域36。图3的实施方式可与各种类型的图像捕获模块38结合来操作，如下所述。由于光束74被依次照射，因此模块38的图像捕获图案与照射序列同步以便使所关注场景的所捕获图像中的信号/背景比最大化是合意的。某些类型的图像传感器(例如CMOS传感器)具有卷动快门，卷动快门可使用例如在于2010年4月19日提交的美国专利申请12/762,373中描述的技术来与照射序列同步，该申请的公开内容通过引用被并入本文。图4是根据本发明的另一实施方式的照射模块30的示意性侧视图。假定源32为激光器，它发射的光束较强且应由镜50连续扫描以保证眼睛安全。在模块30的正常操作中，源32仅在镜50移动时发射光束，使得在视域36中的所有位置处的驻留时间较短且因此不对眼睛造成任何危险。然而，如果驱动镜50的机构卡住或者发生故障，则光束可在一个位置处驻留一段延长的时间。为了避免此不测事件，模块30包括耦合至处理器46 (未在此图中示出)的诸如光电二极管的一个或多个光束传感器80、82、…。这些传感器位于由镜扫描的角范围内的一个或多个选定角度处以便周期性地接收所扫描光束且因此验证扫描仪正在操作。在此实例中，在F0V36的相对侧上显示两个传感器，但也可以可选地使用单个安全传感器或更大数量的此类传感器。驱动镜50的机构可被编程，例如，以在每次扫描开始时将来自源32的光束引向传感器80且在每次扫描结束时将来自源32的光束引向传感器82。当光束射到传感器中的一个时，该传感器向处理器46输出脉冲。处理器监测脉冲且跟踪从一个脉冲到另一脉冲流逝的时间。如果该时间超过预设最大值，则处理器将立即抑制来自辐射源32的光束的发射(通常通过简单地切断光束)。这种计时事件将在镜50被卡在给定位置处的情况下发生。因此，在这样的情况下，将立即切断来自模块30的光束，且将避免任何潜在的安全隐患。图5是根据本发明的再一实施方式的投影模块30的示意性侧视图。此实施方式目的特别在于相对于镜50的扫描范围扩展F0V36。它解决在诸如MEMS的某些技术中镜50的扫描范围较小而一些3D映射应用要求在宽视域上的映射的问题。在所描绘的实施方式中， 镜50在等于CiniimffA的角范围内扫描，给出通常大约为10°至30°的宽度a mirror的初始F0V。来自镜50的光束射到扫描扩展元件(在这种情况下是凸面反射器88)，扫描扩展元件扩展光束范围，使得F0V36具有可大约为60°至120°的宽度awt。对于二维(X-Y)扫描，元件60可以是球面的，或它可具有在X及Y方向上具有不同曲率半径的表面以便产生在一个维度上比在另一个维度上宽的视域，或它可具有某种其它非球面形状。可选地，扫描扩展反射器可由DOE或具有类似扫描扩展性质的衍射元件(未示出)取代。此外，可选地，反射器88的功能可由同一类型或不同类型的光学元件的组合实现。图6是根据本发明的实施方式的在操作中的3D映射系统90的示意性示图。在此系统中，装置22与游戏控制台92结合来使用以与两个参与者94及96 —起操作互动游戏。为此目的，装置22将光斑100的图案投影至其视域中的物体(包括参与者及背景98，例如系统90所位于的房间的墙壁(及其它元件))上。装置22捕获并处理图案的图像，如上文所解释的，以便产生参与者及场景中的其它物体的3D图。控制台92响应于参与者的身体移动而控制游戏，参与者的身体移动由装置22或控制台92通过分割并分析3D图中的变化而探测到。此处显示系统90以便举例说明3D映射系统可能遇到的一些困难。所映射场景中的物体可能在尺寸上相差很大，且小的物体(例如参与者的手、腿及头)常常快速移动及改变其外观形式。此外，往往正是这些物体需要为了在控制台92上运行的游戏或其它互动应用的目的而被准确地映射。同时，所关注区域中的不同物体可由于反射比的变化和离装置的距离的很大差异而以广泛变化的强度将图案化照射反射回到装置22。作为结果，由成像模块38捕获的图像中的图案的一些区可能太暗而不能提供准确的深度读数。为了克服这样的问题，装置22中的照射模块30适应性地投影图案，响应于场景的几何形状而改变图案的密度及/或亮度。关于场景几何形状的信息由成像模块38所捕获的图像及/或由通过处理这些图像产生的3D图提供。因此，在系统90的操作期间，动态地控制辐射源32及扫描仪34，以在较小的或迅速变化的或者需要密切注意或更好的深度覆盖的重要物体(例如参与者94及96的身体)上以更大密度投影光斑100。另一方面，用较稀疏的图案来覆盖大的平稳物体(例如背景98)。装置22可响应于场景中的变化而在连续图像中适应性地调整图案密度。另外或可选地，装置22可动态地调整辐射源32的输出功率，以便补偿所捕获场景内的距离及反射率的变化。因此，照射模块可朝具有低反射率或远离装置22的物体(例如背景98)以更大亮度投影光斑 ，同时减少明亮的附近物体上的投影功率。可选地或另外，可控制镜的本地扫描速度及因此控制在扫描范围内的每个位置处的驻留时间以在需要更强照射的区中给出更长的本地驻留时间及因此给出更大的本地投影能量。这些种类的自适应功率控制增大了系统90的动态范围且使对可用辐射功率的利用最优化。作为系统90的动态操作的另一个方面(未在图6中示出)，也可动态地调整装置22的照射及成像模块的角范围。举例而言，在首先捕获广角图像并产生所关注区域的广角低分辨率3D图之后，可控制装置22以放大已在区域内被识别出的特定物体。因此，可减小所投影图案的角扫描范围及成像模块的感测范围以提供参与者94及96的身体的更高分辨率深度图。当参与者在场景内移动时，可相应地调整扫描及感测范围。图7是根据本发明的再一实施方式的照射模块110的示意性侧视图。模块110可代替装置22的模块30(图1)来使用，且在使用相同扫描硬件来同时投影红外图案(用于3D映射)及可由装置的用户观看的可见内容时提供增加的能力。在这种实施方式中，装置22可使用红外图案来产生给定物体的3D映射，且随后可将适合于物体的形状及外形的可见图像投影至物体上。这种能力例如在呈现用户接口图形及文字时且特别在“增强现实”应用(针对所述应用，装置22甚至可集成到由用户佩带的护目镜中，使得映射及可见图像投影与用户的视域对准)中是有用的。这种应用例如在于2011年7月18日提交的PCT专利申请PCT/IB2011/053192 (其公开内容通过引用被并入本文)中被描述。如图7中所示，光束组合器114 (例如二向色反射器)将来自辐射源32的红外光束与来自可见光源112的可见光光束对准。源112可以是单色的或多色的。举例而言，源112可包括用于单色照射的适当激光二极管或LED，或它可包括不同颜色的多个激光二极管或LED (未示出)，其光束被调制及组合以便在视域中的每一点处投影期望颜色。出于后一种目的，组合器114可包括两个或更多个二向色元件(未示出)以便对准所有不同颜色的光束及红外光束。当镜50在F0V36内扫描时，处理器46同时调制源32及72 :源32被调制以在视域中的每一点处产生用于3D映射的期望图案，而源112根据将在同一点处投影的可见图像(其可基于在该点处的物体的3D图)的像素值(强度及可能颜色)而被调制。由于可见光光束及红外光束是光学对准及同轴的，因此可见图像将自动地与3D图配准。图像捕获配置图8是根据本发明的实施方式的成像模块38的示意性示图。此实施方式利用照射模块30的扫描图案与成像模块的读出图案之间的同步。此同步使使用具有相对于列的数量的相对小数量的行122的探测器元件41的图像传感器120变得可能。换言之，图像传感器本身具有在Y方向(图中的垂直方向)上的低分辨率，但在X方向上的高分辨率。在所描绘的实施方式中，图像传感器80具有不到十行且可具有例如一千或更多列。可选地，图像传感器可具有更大或更小数量的行，但仍远少于列的行。物镜光学器件42包括将视域44映射至图像传感器120的像散成像部件。光学器件42具有在Y方向上比在X方向上大的放大率，使得图像传感器的每一行122捕获来自视域中的对应矩形区124的光 。举例而言，每一矩形区124的长宽比可大约为10:1 (X:Y),而行122具有大约为1000:1的长宽比。可根据图像传感器中的行及列的数量及视域的期望尺寸按任何期望比来选择光学器件42的不同X及Y放大率。举例而言，在一个实施方式中，光学器件42可包括圆柱形透镜，且传感器120可仅包括单个行的探测器元件。照射模块30以光栅图案在视域44内扫描来自辐射源32的光束，用多个水平扫描线来覆盖区124的每一个。当给定区124中的每一个线由来自照射模块的光斑扫描时，对应行122捕获自场景反射的辐射。来自传感器120的读出与照射扫描同步，使得实质上仅在场景中的对应区124由扫描照射时探测器元件41的行122被读出。作为结果，每一行122针对每一读出合并环境光的时间长度减小了，且因此传感器120的输出的信号/环境比增大了。在此实施方式中由模块38捕获的图像的分辨率由照射扫描的分辨率控制，因为传感器120的每一行122与扫描同步地被多次读出。换言之，在照射模块扫描对应区124时第一行被多次扫描，后面是第二线的多次扫描，然后是第三线的多次扫描。举例而言，如果图像传感器中的第一行负责捕获照射模块的前一百个扫描线(垂直FOV的1/10),则它在第二线被扫描之前被扫描一百次。为此目的，传感器120包括类似于例如常规全分辨率CMOS图像传感器中的读出电路的合适读出电路(未示出)。可选地，可在照射侧上使用垂直扇出元件，且图像传感器的线可同时扫描，每个线与对应照射扫描同步。
可选地，可与照射扫描同步地垂直复用图像传感器120的扫描。举例而言，在此方案中，使用具有一百行的成像传感器，图像传感器的第一行捕获例如照射扫描的第一个、第101个、第201个、第301个扫描线。另外或可选地，成像模块38可实现例如在于2010年12月6日提交的美国临时专利申请61/419，891 (其公开内容通过引用被并入本文)中描述的种类的空间复用成像方案。也可使用上述扫描技术的组合。显示于图8中的图像捕获模块38的布置维持在X方向上的全分辨率，同时依赖于照射模块30的同步扫描来提供Y方向分辨率。此实施方式因此允许使用更简单的读出电路来使图像传感器120变得更小且成本更低，同时潜在地提供在X方向上的增大的分辨率。此X分辨率是有用的，因为在图1中所示的配置中，只有由模块38捕获的图像中的图案的X方向移位指示场景内的深度变化，如上文所解释的。在X方向上的高分辨率因此提供光斑偏移的准确读取，这又会实现深度坐标的准确计算。图9是根据本发明的另一实施方式的成像模块38的示意性示图。此实施方式也利用照射模块30的扫描图案与成像模块的读出图案之间的同步。然而在这种情况下，有效地扫描成像模块38的视域44。在图9的实施方式中，图像捕获模块38包括位置灵敏探测器130，位置灵敏探测器配置成感测并输出由照射模块30投影 至物体上的图案中的每个光斑的X偏移。换言之，当模块30依次将每个光斑投影至所关注区域中的对应位置上时，探测器130感测其图像并指示其从对应参考光斑位置的相应的偏移(及因此在场景中该位置处的深度坐标)。探测器130在图中被示为具有在X方向上延伸的单个行的探测器元件41的线扫描传感器90。可选地，位置灵敏探测器130可包括具有指示当前成像至探测器上的光斑的位置的模拟读出的单一探测器元件。在所描绘的实施方式中，物镜光学器件42将视域44中的矩形区134映射至传感器130中的这行探测器元件41上。光学器件42可如在先前实施方式中的是像散的，在X方向上比在Y方向上有更大的光功率，使得区134具有比传感器中的这行探测器元件为更低的长宽比(X:Y)。扫描镜132与照射模块30的光栅扫描同步地在Y方向上在视域44内扫描区134，使得区134始终包含当前处于图案化照射下的水平线。以此方式，图像捕获模块捕获具有高分辨率及高信号/环境比的场景上的图案的图像，同时使用简单的一维传感器。图10是根据本发明的再一实施方式的3D映射装置140的示意性示图。在此实施方式中，照射模块142及成像模块144的视域共同地由公共镜150在Y方向上扫描。照射模块142包括福射源32及以扫描镜152的形式的光束扫描仪,光束扫描仪在X方向上扫描辐射光束。成像模块144包括探测器154，探测器的视域与扫描镜152同步地由包括扫描镜156的成像扫描仪在X方向上扫描。投影光学器件146将照射光束投影至装置140的所关注区域上以便产生场景中的物体上的光斑的期望图案，且物镜光学器件148将光斑成像至探测器154上。因此与照射模块142的所扫描光束同步地在所关注区域内扫描成像模块144的感测区。探测器154可包括例如如在图9的实施方式中的位置灵敏探测器或探测器元件配置成行及列的小面积图像传感器。如在先前实施方式中的，成像模块144提供光斑偏移的量测，量测随后可被处理以产生深度图。尽管图10中的镜150方便地由照射及成像模块共享，但每一模块也可以可选地具有其自己的经同步的Y方向扫描镜。在后一种情况下，可使用MEMS技术来产生装置140中的所有镜。然而，由于Y方向扫描相对慢，因此具有步进式驱动器的单个镜150对于此应用是可行的且在维持精确同步时是有利的。图10中所示的布置可用来实现不仅对所投影图案中的光斑密度及亮度而且对扫描区的动态控制，如上文所解释的。可操作镜150及152以改变照射光束被扫描的角范围，且镜150及156然后将扫描探测器154的感测区以与所扫描光束的角范围相匹配。以此方式，例如，可首先操作装置140以捕获整个场景的粗3D图，覆盖宽的角范围。可分割3D图以便识别所关注物体，且随后可动态地调整照射组件及成像组件的扫描范围以仅捕获并映射具有高分辨率的物体的区。这种动态控制的其它应用对本领域中的技术人员将是明显的，且被认为在本发明的范围内。上文已示出并描述了用以增强用于图案投影及图像捕获的扫描架构的多个具体方式。这些实施方式作为例子说明本发明的方面如何可尤其用于改善眼睛安全、增大视域、同时使用相同扫描硬件来投影红外图案及可见内容、以及通过使成像模块与照射模块同步来减小成像模块的尺寸。以上实施方式的可选实现及组合也被认为在本发明的范围内。这样的方案可使用以下项的各种组合用于3D映射的扫描投影以及可见信息的投影；用以成形或分离扫描光束的衍射 光学器件；用以扩大投影系统的视域的折射及/或衍射光学器件；及投影及图像捕获的同步扫描。因此应认识到，上文所述的实施方式作为例子被列举，且本发明不限于上文中特别示出及描述的内容。而是，本发明的范围包括上文中所述的各种特征的组合及子组合，以及本领域中的技术人员在阅读上述描述后可想到的且在现有技术中未公开的本发明的变化形式及修改形式。
权利要求
1.一种用于映射的设备，包括 照射模块，其包括 辐射源，其配置成发射辐射光束； 扫描仪，其配置成在选定角范围内接收并扫描所述光束；以及 照射光学器件，其配置成投影所扫描光束以便形成在所关注区域内延伸的光斑的图案； 成像模块，其配置成捕获投影至所述所关注区域中的物体上的图案的图像；以及 处理器，其配置成处理所述图像以便构建所述物体的三维(3D)图。
2.如权利要求1所述的设备，其中所述光斑的所述图案在由所述设备映射的深度范围内不相关。
3.如权利要求1所述的设备，其中所述辐射源被控制以便在所述扫描仪扫描所述光束时调制所述光束的强度，由此在所述所关注区域上产生所述光斑的所述图案。
4.如权利要求3所述的设备，其中所述照射模块配置成响应于由所述成像模块所捕获的所述图像而修改所述图案。
5.如权利要求4所述的设备，其中所述照射模块配置成控制所述辐射源及所述扫描仪中的至少一个，以便修改所述所关注区域的选定部分内的阵列中的所述光斑的角密度。
6.如权利要求4所述的设备，其中所述照射模块配置成控制所述辐射源及所述扫描仪中的至少一个，以便修改所述所关注区域的选定区中的所述光斑的亮度。
7.如权利要求3所述的设备，其中所述扫描仪配置成在第一角范围内扫描所述光束，以及 其中所述光学器件包括光束分离器，所述光束分离器配置成产生在大于所述第一角范围的第二角范围内共同延伸的所述所扫描光束的多个有角度地间隔开的复制物。
8.如权利要求7所述的设备，其中所述扫描仪及所述光束分离器配置成用由所述所扫描光束的所述多个有角度地间隔开的复制物产生的所述图案来拼贴所述所关注区域。
9.如权利要求1-8中的任一项所述的设备，其中所述光学器件包括图案化元件，所述图案化元件配置成在由所述光束照射时在第一角范围内产生所述图案，以及 其中所述扫描仪配置成引导所述光束连续地以多个不同角度射到所述图案化元件以便产生在大于所述第一角范围的第二角范围内共同延伸的所述图案的多个有角度地间隔开的复制物。
10.如权利要求9所述的设备，其中所述扫描仪及所述图案化元件配置成用所述图案的所述多个有角度地间隔开的复制物来拼贴所述所关注区域。
11.如权利要求1-8中的任一项所述的设备，其中所述扫描仪配置成在第一角范围内扫描所述光束，以及 其中所述光学器件包括扫描扩展元件，所述扫描扩展元件配置成分配所述所扫描光束，以便以空间图案覆盖大于所述第一角范围的第二角范围。
12.如权利要求11所述的设备，其中所述扫描扩展元件选自由凸面反射器与衍射光学元件组成的元件组。
13.如权利要求1-8中的任一项所述的设备，其中所述照射模块包括至少一个光束传感器，所述至少一个光束传感器位于由所述扫描仪扫描的角范围内的选定角度处，以便周期性地接收所述所扫描光束并由此验证所述扫描仪正在操作。
14.如权利要求13所述的设备，其中所述照射模块配置成在所述传感器未能周期性地接收到所述所扫描光束时抑制来自所述辐射源的所述光束的发射。
15.如权利要求1-8中的任一项所述的设备，其中所述辐射源包括 第一辐射源，其发射红外光束，所述红外光束被调制以产生所述光斑的所述图案；以及 第二辐射源，其发射可见光光束，所述可见光光束被调制以将可见图像投影至所述所关注区域上， 其中所述扫描仪及所述光学器件配置成同时将所述红外光束及所述可见光光束投影至所述所关注区域上。
16.如权利要求15所述的设备，其中所述第二辐射源被控制以便响应于所述3D图而将所述可见图像投影至所述物体上。
17.如权利要求1-8中的任一项所述的设备，其中所述处理器布置成通过找到所述所捕获图像的区中的光斑与属于所述图案的参考图像的对应参考光斑位置之间的相应的偏移来得到所述3D图，其中所述相应的偏移指示所述区与图像捕获组件之间的相应的距离。
18.如权利要求17所述的设备，其中所述成像模块包括位置灵敏探测器，所述位置灵敏探测器配置成感测并输出在由所述照射模块投影所述物体上的所述图案的每个光斑时所述光斑的偏移。
19.如权利要求18所述的设备，其中所述成像模块配置成与所述照射模块中的所述扫描仪同步地扫描所述位置灵敏探测器的视域。
20.如权利要求18所述的设备，其中所述扫描仪配置成与来自所述辐射源的光束一起扫描所述位置灵敏探测器的视域。
21.如权利要求17所述的设备，其中所述照射模块及所述成像模块布置成使得所述偏移在第一方向上发生，以及 其中所述成像模块包括 探测器元件的阵列，所述探测器元件的阵列被布置为在所述第一方向上延伸的一个或多个行；以及 像散光学器件，其配置成将所述图案成像至所述阵列上且具有在所述第一方向上比在第二垂直方向上大的光功率。
22.如权利要求1-8中的任一项所述的设备，其中所述成像模块包括传感器及成像光学器件，所述传感器及所述成像光学器件界定与所述照射模块的所述所扫描光束同步地在所述所关注区域内被扫描的感测区。
23.如权利要求22所述的设备，其中所述传感器包括具有卷动快门的图像传感器，且其中所述卷动快门与所述所扫描光束同步。
24.如权利要求22所述的设备，其中所述照射模块中的所述扫描仪是可控制的以动态地改变所述选定角范围，且其中所述成像模块包括成像扫描仪，所述成像扫描仪配置成动态地扫描所述感测区以与所述所扫描光束的所述选定角范围相匹配。
25.一种用于映射的设备，包括 照射模块，其包括 辐射源，其配置成发射具有根据所指定的时间调制而改变的强度的辐射光束；以及扫描仪，其配置成在所关注区域内接收并扫描所述光束，以便以由所述光束的所述时间调制确定的空间强度图案来将所述辐射投影至所述区域上； 成像模块，其配置成捕获投影至所述所关注区域中的物体上的所述空间强度图案的图像；以及 处理器，其配置成处理所述图像以便构建所述物体的三维(3D)图。
26.如权利要求25所述的设备，其中所述时间调制是二进制的，且其中所述空间强度图案包括通过所述时间调制所产生的光斑的阵列。
27.如权利要求25所述的设备，其中所述处理器布置成通过找到所述所捕获图像的区中的所述图案与所述图案的参考图像之间的相应的偏移来得到所述3D图，其中所述相应的偏移指示所述区与图像捕获组件之间的相应的距离。
28.如权利要求25-27中的任一项所述的设备，其中所述成像模块包括传感器及成像光学器件，所述传感器及所述成像光学器件界定与所述照射模块的扫描光束同步地在所述所关注区域内被扫描的感测区。
29.—种用于映射的方法,包括 在选定角范围内扫描辐射光束以便产生在所关注区域内延伸的光斑的图案； 捕获投影至所述所关注区域中的物体上的所述图案的图像；以及 处理所述图像以便构建所述物体的三维(3D)图。
30.如权利要求29所述的方法，其中所述光斑的所述图案在通过所述方法映射的深度范围内不相关。
31.如权利要求29所述的方法，其中扫描所述光束包括在扫描所述光束时调制所述光束的强度，由此在所述所关注区域上产生所述光斑的所述图案。
32.如权利要求31所述的方法，其中产生所述图案包括响应于由所述成像模块所捕获的所述图像而修改所述图案。
33.如权利要求32所述的方法，其中修改所述图案包括修改所述所关注区域的选定部分内的阵列中的所述光斑的角密度。
34.如权利要求32所述的方法，其中修改所述图案包括修改所述所关注区域的选定区中的所述光斑的亮度。
35.如权利要求31所述的方法，其中产生所述图案包括在第一角范围内扫描所述光束，并分离所扫描光束以产生在大于所述第一角范围的第二角范围内共同延伸的所述所扫描光束的所述图案的多个有角度地间隔开的复制物。
36.如权利要求35所述的方法,其中分离所扫描光束包括用由所述所扫描光束的所述多个有角度地间隔开的复制物所产生的所述图案来拼贴所述所关注区域。
37.如权利要求29-36中的任一项所述的方法,其中扫描所述光束包括照射配置成在由所述光束照射时在第一角范围内产生所述图案的图案化元件，同时引导所述光束连续地以多个不同角度射到所述图案化元件以便产生在大于所述第一角范围的第二角范围内共同延伸的所述图案的多个有角度地间隔开的复制物。
38.如权利要求37所述的方法，其中引导所述光束包括用所述图案的所述多个有角度地间隔开的复制物来拼贴所述所关注区域。
39.如权利要求29-36中的任一项所述的方法，其中扫描所述光束包括引导在第一角范围内扫描的所述光束，以射到配置成分配所述所扫描光束的扫描扩展元件，以便以空间图案覆盖大于所述第一角范围的第二角范围。
40.如权利要求39所述的方法，其中所述扫描扩展元件选自由凸面反射器与衍射光学元件组成的元件组。
41.如权利要求29-36中的任一项所述的方法，且包括在所述角范围内的选定角度处感测所扫描光束，并通过周期性地在所述选定角度处感测所述所扫描光束来验证所述扫描。
42.如权利要求41所述的方法，其中扫描所述光束包括在未能周期性地感测到所述所扫描光束时抑制所述光束的发射。
43.如权利要求29-36中的任一项所述的方法,其中扫描所述光束包括扫描被调制以产生所述光斑的所述图案的红外光束，且其中所述方法包括与所述红外光束一起扫描可见光光束，同时调制所述可见光光束以便与将所述红外光束及所述可见光光束都投影至所述所关注区域上同时地将可见图像投影至所述所关注区域上。
44.如权利要求43所述的方法，其中调制所述可见光光束包括响应于3D图而产生所述可见图像。
45.如权利要求29-36中的任一项所述的方法，其中处理所述图像包括通过找到所述所捕获图像中的区中的所述光斑与属于所述图案的参考图像的对应参考光斑位置之间的相应的偏移来得到所述3D图，其中所述相应的偏移指示所述区与图像捕获组件之间的相应的距离。
46.如权利要求45所述的方法，其中捕获所述图像包括应用位置灵敏探测器来感测并输出在由所述照射模块投影所述物体上的所述图案的每个光斑时所述光斑的偏移。
47.如权利要求46所述的方法，其中应用所述位置灵敏探测器包括与所述照射模块中的扫描仪同步地扫描所述位置灵敏探测器的视域。
48.如权利要求46所述的方法，其中应用所述位置灵敏探测器包括与来自所述辐射源的光束一起扫描所述位置灵敏探测器的视域。
49.如权利要求45所述的方法，其中指示所述相应的距离的所述偏移在第一方向上发生，且其中捕获所述图像包括使用具有在所述第一方向上比在第二垂直方向大的光功率的像散光学器件来将所述图案成像至在所述第一方向上延伸的一个或多个行中布置的探测器元件的阵列上。
50.如权利要求29-36中的任一项所述的方法，其中捕获所述图像包括与所述照射模块的所述所扫描光束同步地在所述所关注区域内扫描感测区或传感器。
51.如权利要求50所述的方法，其中所述传感器包括具有卷动快门的图像传感器，且其中扫描所述感测区包括使所述卷动快门与所述所扫描光束同步。
52.如权利要求50所述的方法，其中扫描所述光束包括动态地改变所述选定角范围，且扫描所述感测区包括动态地扫描所述感测区以与所述所扫描光束的所述选定角范围相匹配。
53.一种用于映射的方法，包括 产生具有根据所指定的时间调制而改变的强度的辐射光束； 在所关注区域内扫描所述光束，以便以由所述光束的所述时间调制确定的空间强度图案来将所述辐射投影至所述区域上； 捕获投影至所述所关注区域中的物体上的所述空间强度图案的图像；以及 处理所述图像以便构建所述物体的三维(3D)图。
54.如权利要求53所述的方法，其中所述时间调制是二进制的，且其中所述空间强度图案包括通过所述时间调制所产生的光斑的阵列。
55.如权利要求53所述的方法，其中处理所述图像包括通过找到所捕获图像的区中的所述图案与所述图案的参考图像之间的相应的偏移来得到3D图，其中所述相应的偏移指示所述区与图像捕获组件之间的相应的距离。
56.如权利要求53-55中的任一项所述的方法,其中捕获所述图像包括与所扫描光束同步地在所述所关注区域内扫描感测区或传感器。
全文摘要
一种用于映射的设备(20)包括照射模块(30)，所述照射模块包括辐射源(32)，所述辐射源配置成发射辐射光束。扫描仪(34)在选定角范围内接收且扫描所述光束。照射光学器件(35)投影所述所扫描光束以便产生在所关注区域内延伸的光斑的图案。成像模块(38)捕获投影至所述所关注区域中的物体(28)上的所述图案的图像。处理器(46)处理所述图像以便构建所述物体的三维(3D)图。
文档编号H04N13/00GK103053167SQ201180037859
公开日2013年4月17日 申请日期2011年8月10日 优先权日2010年8月11日
发明者亚历山大·什蓬特, 班尼·佩萨克, R·阿克曼 申请人:普莱姆森斯有限公司