三维传感的深度变化光场的制作方法

专利名称：三维传感的深度变化光场的制作方法
技术领域：
本发明总的来说涉及用于为三维(3D)物体绘图的方法和系统，具体地讲涉及3D 光学测距和绘图。
背景技术：
当相干光束穿过漫射体并被投影到一个表面上时，可以在该表面上观察到一级散 斑图案。一级散斑是由漫射光束的不同分量之间的干涉形成的。在本专利申请中，这种意 义上使用的术语“一级散斑”区别于二级散斑，二级散斑是相干光在物体的粗糙表面上漫反 射形成的。Hart在台湾专利TW 527528B和美国专利申请09/616，606中描述了散斑图案在 高速3D成像系统中的应用，通过引用将这两个专利文献的公开内容并入本文。该系统包括 具有主动成像元件和CCD元件的单透镜摄像机子系统以及相关处理子系统。主动成像元件 可以是旋转光圈，该旋转光圈允许对散焦图像间的不等间距进行调整，以得到更大的场深 和更高的子像素位移精度。散斑图案被投影到物体上，从多个角度获得所产生的图案的图 像。采用图像相关技术，这些图像是局部互相关联的，通过采用相关摄像机位置信息来计算 每个局部相关区域的三维坐标，可以解析出这个表面。Hunter等人在美国专利6，101，269中描述了另一种基于散斑的3D成像技术，通过 引用将该专利的内容并入本文。其中，将随机散斑投影到3D表面上，并用多个摄像机对随 机散斑进行成像，以获得多个二维数字图像。处理这些二维图像来获得该表面的三维特征。其他用于3D绘图和测距的方法采用结构化或编码照明。例如，Sazbon等人在 "Qualitative Real-Time Range Extraction for PreplannedScene Partitioning Using Laser Beam Coding", Pattern RecognitionLetters 26(2005)的第 1772—1781 页中描述 了这种距离估计的方法，通过引用将该文的内容并入本文。纯相位滤光片将激光束编码成 对应于工作空间内的M个不同的距离分段的M个不同的衍射图案。从而，用对应于从光 源到每个平面的范围的图案来照到照明场景内的每个平面。可以采用普通摄像机来捕捉 该场景的图像，可以对这些图像进行处理来确定场景内的物体的距离。作者描述了基于 Gerchberg-Saxton算法来设计纯相位滤光片的迭代过程。

发明内容
下文描述的本发明的实施例提供了利用具有形状的斑点照明图案进行3D绘图和 测距的方法和系统。这种图案包括具有受控的可识别形状的亮斑阵列。在一些实施例中， 这些斑点的相对位置是不相关的(例如，在诸如散斑图案之类的随机或伪随机图案中)，但 是，在任何情况下这些斑点都具有相似的预定形状特征。在某些实施例中，在某个方向上拉长斑点，这对于横切于照明光束的给定平面上的所有斑点都是一样的，但是，还可以可选地 采用其他斑点形状在一些实施例中，斑点形状特征随与照明源的距离而变化。可以通过使照明光束 穿过一个或多个光学元件来实现这种随距离变化而改变的形状特征，这些光学元件被设计 为叠加两个光学约束一个是将光束分成多个斑点，另一个是产生随距离变化而改变的形 状。这种叠加方法允许简单灵活地创建多种随距离变化而改变的图案。由于存在这种随距 离变化而改变的形状特征，所以出现在被图案照到的物体的部分表面上的斑点的形状可以 被用来确定这些部分与照明源的距离。在一些实施例中，表面上的部分图案相对于已知范围处的参考图案的横向位移被 用来重构该表面的3D图。基于形状的测距和基于位移的绘图的结合可以被用来创建覆盖 距照明源很大距离的范围的精确3D图。从而，根据本发明的一个实施例提供了一种用于绘图的方法，其包括将带有多个斑点的图案投影到物体上，所述多个斑点具有各自的位置和形状，从 而所述图案中的斑点的位置是不相关的，而所述形状具有共同特征；捕捉物体上的斑点的图像；以及处理该图像，以得出该物体的三维图。在一个实施例中，带有多个斑点的图案包括随机散斑图案。在一些实施例中，这些形状的共同特征作为距图案的源的距离的函数而变化，处 理该图像的操作包括分析在图像中的物体的表面上的斑点的特征来确定表面距源的距离。 在一个实施例中，这些斑点共同具有拉长的形状，该形状作为距图案的源的距离的函数而 旋转，对特征进行分析的操作包括确定在物体表面上的斑点的方向。另外或者可选地是，处 理该图像的操作包括发现图像中的物体的多个区域上的图案和一个参考图像中的图案之 间的各个偏移，并采用这些偏移连同所述距离来得到3D图。发现各个偏移的操作可包括响 应于表面与源的距离而从多个参考图像中选择所述参考图像。在另一个实施例中，图案中的斑点具有在第一方向上拉长的形状，处理该图像的 操作包括发现图像中的物体的多个区域上的图案和一个参考图像中的图案之间的在垂直 于第一方向的第二方向上的各个偏移，以便得出3D图。投影带有多个斑点的图案的操作可 以包括使一束相干光穿过漫射体，其中，该束相干光在漫射体处具有在第二方向上拉长的 轮廓。在公开的实施例中，捕捉图像的操作包括在物体运动时捕捉连续图像，处理该图 像的操作包括通过处理连续图像来跟踪物体的移动。在一个实施例中，物体是人体的一部 分，跟踪运动包括对人体的该部分所形成的姿势进行识别，并响应于该姿势向计算机应用 程序提供输入。根据本发明的一个实施例，还提供了一种成像方法，其包括定义第一光学约束，以便通过将第一光学约束施加到一束光来将该束光分成带有 多个斑点的图案；定义第二光学约束，以便通过将第二光学约束施加到该束光来使该束光形成具有 作为沿该束光的射束轴的距离的函数而以预定方式变化的形状特征； 设计至少一个光学元件来叠加第一光学约束和第二光学约束；以及
使该束光穿过所述至少一个光学元件来将图案投影到一个表面上，从而所述图案中的多个斑点具有所述形状特征。在一些实施例中，所述至少一个光学元件包括用于将该束光分成图案的第一光学 元件和用于施加形状特征的第二光学元件。在一个实施例中，所述图案包括散斑图案，第一 光学元件包括漫射体。另外或者可选地是，所述至少一个光学元件包括衍射光学元件(DOE)。在一个实施 例中，DOE包括至少一个用于给予所述多个斑点拉长的形状的波带片。所述至少一个波带 片可能包括多个叠加的波带片，这些叠加的波带片具有各自不同的周期和角定向，以使斑 点的拉长的形状作为所述距离的函数而旋转。另外或可选地是，所述至少一个光学元件包括折射光学元件。通常，第一光学约束所限定的图案具有不大于1/4的占空比。在一些实施例中，该图案限定了斑点的各个位置，从而这些位置是不相关的。在公开的实施例中，第二光学约束使所述斑点具有作为所述距离的函数而旋转的 拉长的形状。在另一个实施例中，第二光学约束使所述斑点具有环形形状。在一些实施例中，该方法包括捕捉所述表面上的斑点的图像，还包括处理所述图 像的操作，以确定表面与所述至少一个光学元件的距离。根据本发明的实施例，还提供了用于绘图的设备，其包括照明组件，其被配置来将带有多个斑点的图案投影到物体上，所述多个斑点具有 各自的位置和形状，从而图案中的斑点的位置是不相关的，而所述形状具有共同特征；成像组件，其被配置来捕捉物体上的斑点的图像；以及图像处理器，将其耦接来处理该图像以得出该物体的三维(3D)图。根据本发明的实施例还提供了成像设备，其包括至少一个光学元件，其被设计来叠加第一光学约束和第二光学约束，以便通过将 第一光学约束施加到一束光，来将该束光分成带有多个斑点的图案，以及通过将第二光学 约束施加到该束光，来使该束光形成具有作为沿该束光的射束轴的距离的函数以预定方式 变化的形状特征；以及光源，其被配置来使该束光穿过所述至少一个光学元件，以便将图案投影到一个 表面上，从而所述图案中的多个斑点具有所述形状特征。


结合附图，从本发明的实施例的下列详细描述中可以更全面地理解本发明，其 中图1是根据本发明实施例的用于3D测距和绘图的系统的示意图；图2是根据本发明实施例的散斑成像装置的示意性顶视图；图3A是根据本发明实施例的由激光束穿过随机光学元件的投影所产生的散斑图 案的示意图；图3B是根据本发明实施例的由衍射光学元件(DOE)产生的光图案的示意图；图3C和图3D是根据本发明实施例的由激光束穿过图3A和图3B的光学元件的投 影所产生的散斑图案的示意图4是示意地示出了根据本发明的实施例的用于3D测距和绘图的方法的流程 图；图5A-5P是根据本发明实施例的一组处于不同旋转角度的波带片的示意图，这些 波带片被用来制造DOE;
图5Q是根据本发明实施例的通过叠加图5A-5P的波带片所产生的DOE的示意性 正视图；图6A是根据本发明实施例的由激光束穿过随机光学元件的投影所产生的散斑图 案的示意图；图6B是根据本发明实施例的由衍射光学元件(DOE)产生的光图案的示意图；图6C和图6D是根据本发明实施例的由激光束穿过图6A和图6B的光学元件的投 影所产生的散斑图案的示意图。
具体实施例方式系统综述图1是根据本发明实施例的用于3D测距和绘图的系统20的示意图。系统20包 括成像装置22，该成像装置22产生带有多个斑点的图案并将带有多个斑点的图案投影到 物体28上，并捕捉出现在该物体上的斑点图案的图像。在下列附图中示出并参照附图在下 文详细地描述了装置22的设计和操作细节。 在一些实施例中，被成像装置22投影的带有斑点的图案包括散斑图案。在本专利 申请的上下文以及权利要求中，术语“散斑图案”指的是投影的亮斑点图案，这些亮斑点的 位置在横切于投影光轴的平面上是不相关的。在作为横向位移的函数的图案中的散斑位置 的自相关对于任何大于斑点尺寸的位移都无关紧要的意义上，这些位置是不相关的。诸如 由一级激光散斑(如上文所述)生成的图案之类的随机图案在该意义上是不相关的。诸 如伪随机和准随机图案之类的由人或计算机设计产生的图案也可能是不相关的。在2006 年3月14日提交的PCT专利申请PCT/IL2006/000335和在2007年3月8日提交的名为 "Three-Dimensional Sensing Using Speckle Patterns，，的PCT专利申请中描述了可以在 系统20中实现的基于散斑的3D绘图的理论和操作的其他方面。这两个申请被转让给本专 利申请的受让人，在此通过引用将其内容并入本文。在其他的实施例中，可以以诸如通过使照明光束穿过达曼光栅或适当的小透镜阵 列所产生的图案类型之类的规则的、非随机的图案来布置这些斑点。为了实现下文描述的测距和绘图应用中的良好性能，斑点图案具有低占空比是有 利的，即具有高于平均亮度的图案区域的部分不大于Ι/e (期望小于1/4甚至1/10)是有利 的。低占空比在增强用于3D绘图的斑点位移检测的信噪比方面是有利的。它还有助于避 免相邻斑点重叠时产生的干涉效应。即使斑点(散斑)的位置是不相关的，像在通常的激光散斑图案中的一样，但是在 本发明实施例中采用的图案中斑点的形状也不是完全随机的，而是具有共同的形状特征。 例如，如下文所述，在一些实施例中，沿某一轴拉长斑点。另外或可选地是，只要这些形状是 受控的，这些斑点就可以具有其他共同的形状特征，并且作为沿照明光束的光轴的距离的 函数的形状中的变化是可识别的。本文中的术语“形状改变”指的不是通常随着与照明源的距离而出现的斑点尺寸的简单线性增大 的变化。图像处理器24处理由装置22所产生的图像数据，以便执行深度测距以及可选地 进行对物体28的3D绘图。在本专利申请书和权利要求中使用的术语“测距”指的是粗略 测量从成像装置到物体的距离，而术语“3D图”指的是一组表示物体表面的3D坐标。这种 基于图像数据对图的推导被称为“3D绘图”或等价地称为“3D重构”。如下文所述，在3D重 构的过程中，可一起使用作为粗测阶段和精测阶段的测距和绘图。因此，测距还可被视为一 种粗略的3D绘图。执行这种测距和绘图的图像处理器24可以包括通用计算机处理器，对该通用计 算机处理器进行软件编程来执行下文所述的功能。例如，这种软件可通过网络以电子形式 被下载到处理器24，或者可选地是，在诸如光、磁或电子存储器介质之类的实体介质上提供 这种软件。而且或可选地是，可以以诸如订制或半订制集成电路或可编程数字信号处理器 (DSP)之类的专用硬件来实现该图像处理器的一些或全部功能。例如，虽然在图1中将处理 器24示为从成像装置22分离的单元，但是可以通过在图像装置外壳中的或以其它方式与 成像装置相关的适当的专用电路来执行处理器24的一些或全部处理功能。处理器24产生的3D图可以被用于各种不同的目的。例如，可以将该图发送至输 出装置，例如显示物体的伪3D图像的显示器26。在图1所示的例子中，物体28包括实验对 象的身体的全部或一部分(例如手)。在这种情况下，系统20可以被用来提供基于姿势的 用户接口，其中，代替诸如鼠标、操纵杆或其他附件的触觉接口元件，通过装置22检测到的 用户移动控制着交互式计算机应用程序(例如游戏)。可选地是，系统20可以被用来创建 其它类型物体的3D图，实质上可用于任何其中需要3D坐标轮廓的应用程序中。图2是根据本发明实施例的装置22的示意性顶视图。如下文所述，装置22中的 照明组件30包括相干光源34(通常是激光)以及一个或多个光学元件36、38，这两个光学 元件通常被联合使用来创建散斑图案或其他带有斑点的图案。(在本专利申请的上文中的 术语“光”指的是任何类型的光辐射，包括红外光和紫外光以及可见光。)从光源34发射的 光束穿过光学元件36和38，并照到物体28所位于的目标区域46。图像捕捉组件32捕捉 被投影在物体28上的图案的图像。组件32包括物镜光学系统40，其将图像聚焦在图像传 感器42上。通常，传感器40包括诸如CXD或基于CMOS的图像传感器阵列之类的直线阵列 的检测器元件44。在图2所示的实施例中，照明组件30和图像捕捉组件32被保持在固定的空间关 系中。这种结构和下文描述的处理技术使得可以在照明和图像捕捉组件之间没有相对运动 以及在没有运动部件的情况下，利用单个图像捕捉组件来执行3D绘图。可选地是，下文描 述的照明、测距和绘图技术可以与其他种类的图像捕捉组件以各种不同的结构结合使用， 例如在上文的背景技术部分中所描述的那些结构。例如，图像捕捉组件可以相对于照明组 件移动。而且或可选地是，两个或多个图像捕捉组件可被用来从不同的角度捕捉物体28的 图像。为了简化3D图的计算和由于图2结构中的物体28的运动而产生的图中的变化的 计算，可以安装组件30和32，使得通过图像捕捉组件32的入射光孔中心和光源34在光学 元件36上形成的斑点的轴平行于传感器40的一个轴(为了方便起见，记为X轴，而Z轴对 应于距装置22的距离)。在上面提到的名为“Three-Dimensional SensingUsing SpecklePatterns"的PCT专利申请中更进一步地解释了这种装置的优点。具体地讲，通过这种装置中的三角测量，在物体上的斑点的Z向位移δ Z将产生在 图像中观测到的斑点图案中的伴生横向位移SX。从而可以通过测量组件32捕捉到的图像 中的斑点的X坐标相对于在已知距离Z处采集到的参考图像的位移，来确定在物体上的斑 点的Z坐标以及Z坐标随时间的位移。可忽略Y向位移。虽然这种方法的方方面面还适于 与其他类型的斑点图案配合使用，但这种三角测量方法特别适用于采用散斑图案的3D绘 图。
换句话说，将捕捉到的图像的每个区域中的斑点的组与参考图像进行比较，以发 现参考图像中的斑点的最接近匹配组。图像中的斑点的匹配组之间的相对位移给出了捕捉 到的图像的区域相对于参考图像的Z向位移。采用本领域已知的图像相关或其他图像匹配 计算方法可以测量斑点图案中的位移。在上文提到的PCT专利申请中描述了一些示范性方法。产生具有共同形状特征的散斑图案具有共同形状特征的斑点图案可以以多种方式被用来增强系统20的操作。例如， 在上述装置22的结构中，其中在物体的3D重构中只有X向的位移是显著的，采用在Y向拉 长的散斑图案是有利的。因此，当处理器24为了检测Z向位移而计算图像之间的相关性 时，该计算结果对散斑在Y向的小位移是不灵敏的。这种特性改善了 X向位移计算的鲁棒 性(以及使得可以在计算中采用更小的相关窗口)。可以采用多种方法来产生这种散斑图案，这种散斑图案在Y向上被拉长，并且其 位置在X向上是不相关的。一种可行方案是将光学元件36配置为漫射体，该漫射体具有在 X向上被拉长的颗粒的随机排列的阵列。(在这种情况下可能不需要元件38。)例如，这些 颗粒可能是不透明的，或者可选地是，它们具有不同的厚度，以在透射光中产生相位变化。 作为另一种可选方案，元件36可以包括传统的各向同性的漫射体，而来自光源34的光束在 X向上被拉长。例如，在光源和漫射体之间的圆柱形透镜(未示出)可以被用于这个目的。又一个可选方案是元件36包括漫射体(可以是各向同性的)，元件38包括衍射光 学元件(DOE)。为了产生沿Y轴拉长的理想散斑，元件38可以仅包括适当的光栅或者具有 被定向为平行于X轴的线条的波带片。虽然为了概念清楚的缘故，在图2中示出了作为分离部件的元件36和38，但漫射 体和DOE通常彼此接触，可以被粘在一起。可选地是，通过在光学毛坯的一侧形成DOE并研 磨另一侧来形成漫射体，可以将元件36和38制作成单个器件。另外可选地是，例如，可以 在单个DOE中组合漫射体和光栅或波带片所施加的光学约束，其中叠加了 X向的线条和伪 随机扩散图案。在所有这些情况中，在远场中的散斑图案是随机位置分布的卷积，漫射体使 该随机位置分布具有了由DOE的傅立叶变换所限定的形状。可以采用类似的叠加方法来产生随距离Z变化而更复杂图案的DOE。在一些实施 例中，可以设计DOE来产生在不同距离范围内具有不同形状的斑点图案。参照图2，这些斑 点在距离Z1处可具有一种形状，在距离Z2处可具有另一种形状，依此类推。例如，斑点的这 些拉长的形状从一个范围到另一个范围被旋转了 45°。因此，当物体28位于Za时，斑点具 有&范围的定向，而当物体位于Zb时，斑点具有Z3范围的定向。通过检测这些斑点的定向， 处理器24(图1)然后可以独立于基于斑点位置相关性的3D重构过程来确定该物体的距离范围。如下文进一步描述的那样，可以联合使用测距和绘图来产生具有增大的范围和/或 分辨率的3D图 可以采用各种方法来设计产生具有理想的依赖于Z向距离的斑点图案的单个光 学元件。可以被用来设计光学元件38以给出这种依赖于范围的散斑成形的一种方法是采 用迭代Gerchberg-Saxton方法，在上述的Sazbon等人所著的文章中对这种方法进行了描 述。然而，这种方法计算开销大，而且不能保证收敛。可选地是，可以基于约束的叠加来设计用于这种目的的一组一个或多个光学元 件。例如，通过叠加分光镜(其产生具有低占空比和不相关位置的带有斑点的图案)和一 种元件(可以单独在四个预定范围内实现四个定向上的单个Z向变化的图案)，可以产生一 个或多个这种用来产生在各自不同范围内具有四个不同定向的散斑的元件。例如，产生单 个图案的元件可以是四个波带片的叠加，其中每个波带片均将光聚焦到一个范围内的各个 适当方向上的线条上。而且或可选地是，可以在适当的计算机产生的全息图(CGH)或其他DOE中计算然 后实现这种叠加。给定一组可以在距离ZiG = 1,2,…，K)处分别施加于光强(等同于光 的幅度)的约束Ri (i = 1,2,…，K)，要实现这些约束的光学元件被分解为两个图案的卷 积，尺=5 ^，其中，对于R1, R2,…，RK，S相同，而卩^逭土任意变化(i = 1，2，…，K)。禾Ij 用对应于光学元件36和38的两个滤光片Fs、Fv可以如下实现约束 滤光片Fs产生远场的强度图案S，这意味着它是S的适当傅立叶逆变换(可以 采用本领域已知的DOE设计技术来计算)。 滤光片Fv分别在距离Zi (i = 1,2,…，K)处产生强度图案Pi (i = 1,2,…，K)。 这种强度图案通常比上述图案Ri(i = 1,2,…，K)更易于计算，并通常是采用本领域已知 方法单独产生的。组合滤光片F = Fs *FV将分别在距离Zi (i = 1,2,…，K)处实现强度图案氏(土 = 1,2,…，K)。这种方法的一个缺陷是它只对可以被表示为代=5 巧的这种卷积的约束组有 效。采用Fresnel-Sommerfeld等式的线性将任意约束组分解为卷积之和，可以减轻这种缺 陷。然后可以通过上述技术产生每一个这种卷积的滤光片，叠加这些滤光片来给出理想的结果。图3A-3D是通过对穿过根据本发明实施例设计的DOE 36和38的激光束进行投影 所产生的图像的示意图。在这种设计中，物体产生拉长散斑的图案，该散斑的拉长轴在从Ztl 到Ztl+Δ Z的给定范围上作为Z的函数变化超过180°。图3Α和3Β示出了分别由 产生的图案，将Fs和FvS义如下· Fs产生不用随Z变化的随机散斑的远场图案。例如，设计Fs来产生1000X 1000 像素的图案，该图案包括200X200个随机分布的亮散斑50，其余为暗场。取决于斑点的尺 寸，占空比通常大约在4% -25%之间。实现这种图案的光学元件36可包括采用本领域已 知技术所制造的纯相位DOE。· Fv在面Ztl和面Ztl+ Δ Z之间的近场体积内产生N个光强度图案。图3Β示出了一 个在给定Z = Zq+^:ΔΖ的这种图案。这个图案包括VXW个像素，其中，V和W通常很小，在这个例子中，V = W = 5。对于每一个ρ (ρ = 1，...，N)，图案相对于垂直方向被旋转了 θ =180*ρ/Ν度。可以利用上述的Gerchberg-Saxton方法，通过以下所述的方式叠加多个波 带片，或者采用本领域中已知的其他任何合适的DOE设计方法来设计实现这个图案的光学 元件38。由于这个图案比较小，在任何情况下产生DOE所需要的计算都相对简单。
图3C和图3D示出了在不同Z值处通过叠加对应于Fs和Fv的元件36和38所产 生的散斑的图案。这些图案分别包括200X200个以取决于Z的不同角度定向的拉长的散
斑52和54。随着距离从Ztl增大到Ztl+Δ Ζ，散斑旋转了 180°。在将Z = Zq定为距
装置22的表面的范围时，通过检测投影到物体28的表面上的散斑的角度θ，处理器24从 而可以确定P = ΝΘ /180。图4是示意地示出了根据本发明的实施例的用于3D测距和绘图的方法的流程图。 为了表达清楚起见，参照图1和图2中图示的系统20，采用图3C和图3D中所示的散斑图 案，在下文对该方法进行了描述。然而，这种方法可以类似地应用于其他种类的基于散斑的 成像系统，例如在上述参考文献中描述的那些系统。而且，可以可选地产生其他种类的斑点 图案和Z向变化的斑点形状特征，并采用它们来代替在图3C和图3D中所示的散斑的旋转 的线性形状。在对物体进行测距和成像的准备过程中，操作成像装置22来捕捉一个或多个参 考散斑图像。例如，出于这个目的，可以在一个或多个沿Z轴距原点已知基准距离处(例 如，Z1,Z2，Z3,…)放置平面。成像组件32捕捉位于每个距离上的照明组件30投影到表面 上的散斑图案的参考图像。可选地是，由于散斑图案在本质上是Fv的小的Z向变化的图案 和Fs的远场斑点图案的卷积，所以可以分别地确定两个滤光片的各自的参考图像，然后进 行卷积来给出在每个距离Z处的联合图案。这种方法可以减少用来存储参考图案所需要的 存储量。而且可选地是，可以使整个图案的设计标准化，从而不必须捕捉参考图像。在目标区域46中引入物体28，以及在测试捕捉步骤60，装置22捕捉被投影在物 体表面上的散斑图案的测试图像。然后，在测距步骤62，处理器24计算散斑的定向角度。 出于这个目的，例如，处理器可以执行测试图像的光谱分析。光谱的形状(例如，长轴和短 轴的方向)对应于散斑的定向角度，定向角度又指示物体的范围。另外或可选地是，处理器 可以计算出散斑形状和多个不同参考形状之间的互相关度。当然，如果物体纵深足够大，则 散斑角度可在表面上变化，以至于物体的不同部分将具有不同的范围。处理器24可以将散 斑角度中的任何突变的位置识别为物体边缘。处理器24在产生物体28的粗略3D图的过程中可以单独地采用基于形状的范围 测量步骤62。然而，在图4所示的实施例中，在重构步骤64中，处理器在重构物体28的3D 图的过程中采用了与斑点位置三角测量结合的范围测量。出于这个目的，处理器通常测量 在测试图像中物体表面上不同点的散斑图案和在适当的参考图像中的散斑图案的对应区 域之间的局部偏移。然后，基于这个偏移，处理器采用三角测量来确定这些物体点的Z坐 标。在上述PCT专利申请和上文引用的其他参考文献中描述了可以用于这些目的的方法。步骤62的测距和步骤64的3D重构的结合使系统20能以比只通过基于散斑的三 角测量通常可以达到的更高的精度和/或更少的计算开销来执行3D重构，这种结合还可以 被用来增大在其上进行测量的Z向的范围。例如，如果在不同的基准距离上捕捉多个参考图像，像上文提到的那样，处理器可以测量相对于其基准距离最接近在步骤62中所找到的范围的参考图像的局部偏移。即使只采用了单个参考图像，由于处理器24可以采用测距结 果来限制它必须以更高的精度来检查或计算的偏移中的不同的局部偏移值的数量，因此可 以提高在步骤64的三角测量的精度和/或速度。可以连续地重复步骤60至64来跟踪物体28在目标区域46中的运动。出于这个 目的，装置22在物体运动时捕捉连续的测试图像，处理器24重复步骤62和64来跟踪物体 的3D运动。通过假设物体没有从之前的迭代运动得太远，可以在一些迭代中跳过步骤62。在可选的实施例中(在图中未示出)，基于散斑图案位移的三角测量被用作粗略 的范围测量，散斑形状特征的变化被用作精确的3D绘图。三角测量的精度尤其取决于在照 明组件30和图像捕捉组件32之间沿X轴的间隔。如果只需要粗略的三角测量，可以将组 件30和32放置在一起，从而实现装置22的更紧凑的设计。例如，通过在目标区域46内重复几个循环的散斑形状随Z值变化而变化的图案， 可以提高基于形状的Z向测量的精度。换句话说，采用上述的旋转线性散斑形状和图2所 示的布置的例子，在Zl和Z2之间、在Z2和Z3之间、以及在Z3和TA之间，散斑定向变化可 超过180°。处理器24采用散斑三角测量结果来确定物体28位于这三个范围中的哪一个 范围内，然后采用散斑定向来构建在这个范围内的物体的精确3D图。可选地是，如文中早 先提到的，取代图3C和图3D所示的方向变化，可以在上下文中采用其它的随Z值变化而变 化的斑点形状特征。可以采用多种方法来在Z方向上重复多循环的随Z值变化而变化的形状。例如， 采用适当的多焦点透镜(未示出)来将图案聚焦在目标区域46上。例如，这种透镜可以包 括多个具有各个不同焦距的Fresnel波带片的叠加。可选地是，可以采用Ben Eliezer等 人在"AllOptical Extended Depth of Field Imaging System，，，Journal of Opticaand Pure Physics-A,5(2003)第S164-S169页中描述的技术来设计适当的多焦点透镜，通过引 用将该文的内容并入本文。另外，可选的是，可以采用上述的叠加技术来从头开始设计光学 元件38，来给出重复多循环的散斑形状。图5A-5Q示意性地示出了根据本发明实施例的用于生产光学元件38来产生具有 带形状的斑点的图案的方法。图5A-5P是一组波带片70的示意性正视图，而图5Q是通过 叠加图5A-5P的波带片而产生的DOE 72的示意性正视图。DOE 72可以作为滤光片Fv，以 与适当的漫射体或其他分束滤光片一起用来产生在上文图3C和图3D中所示的这种旋转的 线性斑点。每个波带片70均是为波长λ设计的焦距长度为fn(n = 1，…，N，在这个例子中， N= 16)的Fresnel波带片。这种波带片的透射函数由下式给出
权利要求
一种绘图方法，其包括将带有多个斑点的图案投影到物体上，所述多个斑点具有各自的位置和形状，从而所述图案中的斑点的位置是不相关的，而所述形状具有共同特征，所述共同特征作为距所述图案的源的距离的函数而变化；捕捉所述物体上的斑点的图像；以及通过对所述图像中的物体表面上的斑点特征的变化进行分析以及发现所述图像中的物体上的图案和一个参考图像中的图案之间的偏移来处理所述图像，以得出所述物体的三维(3D)图。
2.根据权利要求1所述的方法，其中，所述带有多个斑点的图案包括随机散斑图案。
3.根据权利要求1所述的方法，其中，对所述图案进行投影的操作包括使一束相干光 穿过至少一个光学元件，所述至少一个光学元件被设计来叠加第一光学约束和第二光学约 束，所述第一光学约束将该束相干光分成多个斑点，所述第二光学约束对至少一个斑点施 加所述形状的共同特征。
4.根据权利要求3所述的方法，其中，所述至少一个光学元件包括用于产生所述图案 的第一光学元件和用于施加所述共同特征的第二光学元件。
5.根据权利要求1所述的方法，其中，所述多个斑点都具有拉长的形状，所述拉长的形 状作为距所述图案的源的距离的函数而旋转，以及其中，对所述特征进行分析的操作包括 确定所述物体的表面上的斑点的方向。
6.根据权利要求1所述的方法，其中，发现所述偏移的操作包括响应于所述表面距所 述源的距离来从多个参考图像中选择所述一个参考图像。
7.根据权利要求1所述的方法，其中，发现所述偏移的操作包括基于所述斑点的特征 限制在发现所述偏移的操作中所检查到的不同的局部偏移值的数量。
8.根据权利要求1至4中的任一权利要求所述的方法，其中，所述图案中的斑点具有在 第一方向上拉长的形状，以及其中，处理所述图像的操作包括发现所述图像中的物体的多 个区域上的图案和一个参考图像中的图案之间的在垂直于所述第一方向的第二方向上的 偏移，从而得出所述3D图。
9.根据权利要求8所述的方法，其中，对所述带有多个斑点的图案进行投影的操作包 括使一束相干光穿过漫射体，其中，该束相干光在所述漫射体处具有在所述第二方向上的 拉长的轮廓。
10.根据权利要求1至9中的任一权利要求所述的方法，其中，捕捉所述图像的操作包 括捕捉物体移动时的连续图像，以及其中，处理所述图像的操作包括通过处理所述连续图 像来跟踪所述物体的移动。
11.根据权利要求10所述的方法，其中，所述物体是人体的一部分，以及其中，跟踪移 动的操作包括识别人体的所述部分所做出的姿势，并响应于所述姿势向计算机应用程序提 供输入。
12.一种绘图设备，其包括照明组件，其被配置来将带有多个斑点的图案投影到物体上，所述多个斑点具有各自 的位置和形状，从而所述图案中的斑点的位置是不相关的，而所述形状具有共同特征，所述 共同特征作为距所述图案的源的距离的函数而变化；成像组件，其被配置来捕捉所述物体上的斑点的图像；以及图像处理器，其被耦接来通过对所述图像中的物体表面上的斑点特征的变化进行分析 以及发现所述图像中的物体上的图案和一个参考图像中的图案之间的偏移来处理所述图 像，以得出所述物体的三维(3D)图。
13.根据权利要求12所述的设备，其中，所述带有多个斑点的图案包括随机散斑图案。
14.根据权利要求12所述的设备，其中，所述照明组件包括至少一个光学元件，其被设计来叠加第一光学约束和第二光学约束，所述第一光学约 束将一束相干光分成多个斑点，所述第二光学约束对至少一个斑点施加所述形状的共同特 征；以及光源，其被配置来使一束相干光穿过所述至少一个光学元件。
15.根据权利要求14所述的设备，其中，所述至少一个光学元件包括用于产生所述图 案的第一光学元件和用于对所述形状施加所述共同特征的第二光学元件。
16.根据权利要求12所述的设备，其中，所述斑点都具有拉长的形状，所述拉长的形状 作为距所述图案的源的距离的函数而旋转，以及其中，所述图像处理器被配置来确定所述 物体的表面上的斑点的方向。
17.根据权利要求12所述的设备，其中，所述图像处理器被配置来响应于所述表面距 所述源的距离，从多个参考图像中选择所述一个参考图像。
18.根据权利要求12所述的设备，其中，发现所述偏移的图像处理器被配置来基于所 述斑点的特征限制在发现所述偏移的操作中所检查到的不同的局部偏移值的数量。
19.根据权利要求12至15中的任一权利要求所述的设备，其中，所述图案中的斑点具 有在第一方向上拉长的形状，以及其中，所述图像处理器被配置来发现所述图像中的物体 的多个区域上的图案和一个参考图像中的图案之间的在垂直于所述第一方向的第二方向 上的各个偏移，从而得出所述3D图。
20.根据权利要求19所述的设备，其中，所述照明组件包括漫射体和光源，所述光源被 配置来使一束相干光穿过所述漫射体，其中，该束相干光在所述漫射体处具有在第二方向 上被拉长的轮廓。
21.根据权利要求12至20中的任一权利要求所述的设备，其中，所述成像组件被配置 来在物体移动时捕捉连续图像，以及其中，所述图像处理器被配置来通过处理所述连续图 像来跟踪所述物体的移动。
22.根据权利要求21所述的设备，其中，所述物体是人体的一部分，以及其中，所述图 像处理器被配置来识别人体的所述部分所做出的姿势，并响应于所述姿势向计算机应用程 序提供输入。
全文摘要
本发明公开了三维传感的深度变化光场、绘图方法、成像方法、绘图设备和成像设备。所述绘图方法包括将带有多个斑点(52，54，80，82)的图案投影到物体(28)上，所述多个斑点具有各自的位置和形状，从而图案中的斑点的位置是不相关的，而这些形状具有相同的特征。捕捉和处理物体上的斑点的图像，从而得到该物体的三维(3D)图。
文档编号G06T7/00GK101957994SQ20101050241
公开日2011年1月26日 申请日期2007年3月13日 优先权日2006年3月14日
发明者亚历山大·施蓬特, 泽夫·扎勒夫斯基 申请人:普莱姆传感有限公司