三维几何建模和三维视频内容创建的制作方法
【专利摘要】一种方法和装置，其用于获得图像以使用具有多个不同的可识别的特征类型的二维编码光图样来确定静止或移动物体的三维形状。编码光图样投影到物体上，使得每个可识别的特征类型在可辨别的对极线的预定部分上出现至多一次。捕获物体的图像，并提取被反射的特征类型连同其在被捕获的图像中已知对极线上的位置。根据三角测量映射，在二维图像中被识别的特征类型的位置对应到空间中的三维坐标。因此获得在一个时间处的被成像的物体的三维映射或建模。
【专利说明】三维几何建模和三维视频内容创建
[0001]本申请是申请日为2007年11月20日，申请号为200780050227.5，发明名称为“三维几何建模和三维视频内容创建”的申请的分案申请。
[0002]与现有申请的关系
[0003]本申请要求2006年11月21日提交的美国临时专利60/860，209的优先权，其内容由此通过引用被并入。
[0004]本申请还要求2007年4月4日提交的美国临时专利60/907，495的优先权，其内容由此通过引用被并入。
[0005]本申请还要求2007年5月3日提交的美国临时专利60/924，206的优先权，其内容由此通过引用被并入。
[0006]本申请还要求2007年7月13日提交的美国临时专利60/929，835的优先权，其内容由此通过引用被并入。
[0007]本申请还要求2007年8月13日提交的美国临时专利60/935，427的优先权，其内容由此通过引用被并入。
【技术领域】
[0008]本发明涉及用于使用主动三角测量法(active triangulation method)的物体的三维成像和深度测量的系统和方法，并且尤其但不排它地涉及在静止和在运动中的物体的
三维成像。
【背景技术】
[0009]三维传感器系统用在大量应用中。这些传感器系统确定位于传感器系统视野的场景中的物体的形状和/或表面特征(feature)。近年来，提出了用于实现三维建模系统的很多方法，这些系统能够对各种应用快速获取物体的准确的高分辨率三维图像。
[0010]这样的三维成像系统的精确配置可能被改变。很多基于当前的三角测量的系统使用至少两个或多个摄像机(camera)的阵列来确定称为被动立体对应(passive stereocorrespondence)的深度值。这样的方法依赖于被高纹理(texture)化的成像表面，因而易于产生误差且非鲁棒性的。而且，自动对应算法在来自不同摄像机的镜头的匹配中常常包含大量误差。
[0011]其它方法利用LIDAR (光成像探测和测距)系统来确定远距离目标的范围和/或其它信息。用光脉冲的方法，通过测量光脉冲的传输和反射信号的探测之间的时间延迟来确定到物体的距离。称为飞行时间的这样的方法通常不受三角测量法中一般的阻塞(occlusion)的影响，但准确度和分辨率固有地不如在三角测量法中得到的准确度和分辨率。
[0012]基于主动三角测量的三维传感器系统和方法一般具有作为光源用于投影到表面上的一个或多个投影仪，以及在离投影仪的限定的一般校正的相对位置处的用于使被照明的表面成像的一个或多个摄像机。摄像机和投影仪因此具有不同的光路，且它们之间的距离称为基线。通过了解基线距离以及投影和成像角，已知的几何/三角测量方程用于确定到被成像的物体的距离。在本领域中已知的各种三角测量法中的主要差异在于投影方法以及通常是结构光的所投影的光的类型、以及在于获得三维数据的图像解码的过程。
[0013]光投影的方法从时间方法变化到空间编码的结构光。在本领域中各种形式的投影光的例子包括“激光扇(laser fan) ”和“线编码光”。
[0014]一旦捕获了物体的二维图像，光源被如上所述投影在物体上，图像处理软件通常分析图像，以提取物体的三维几何结构并可能提取物体通过空间的三维运动。这通常通过比较所捕获的图像中的特征与以前捕获的图像和/或与投影光的已知特点和特征来完成。该步骤的实现在当前已知的方法中广泛地变化，一般是用于将光投影到物体上的方法的功能。不管所使用的方法是什么，过程的结果通常是在所捕获的图像中被识别的特征的一种视差/位移图。根据公知的几何方程，特别是三角测量方程，三维空间位置和/或三维运动捕获的最后步骤包括上面提到的视差图到深度数据的转换。
[0015]当今存在数百种方法和系统的绝对事实暗示在根本问题是缺乏足够有效和可靠的用于三维成像的方法。而且，利用主动三角测量法的大多数系统今天被限制到物体的非动态成像。也就是说，即使以高的帧率和快门速度，成像的物体也必须在图像获取期间保持静止。例如，可给建筑物成像，而不是骑自行车的人或在街道上移动的汽车。对三维成像的这个限制是在大多数基于三角测量的三维成像系统中需要的直接结果，以获得一系列图像同时随着时间的过去而改变光源的特点。例如，很多方法利用在一段时间间隔内投影的很多光图样，称为时间编码。
[0016]尽管如此，历年来为移动物体的三维成像引入了很多方法，其中大部分是基于光的单个图样在被成像的物体上的投影，因而从一个或多个同时存在的图像而不是在一段时间间隔内的多个图像来实现深度测量的重建。这些单个图样方法可分成两种主要的类别。第一种是辅助立体方法，其中单个图样被投影，且在来自两个或多个成像系统的两个或多个图像之间进行比较，以计算深度数据。
[0017]第二种是结构光方法，特别是编码结构光方法。这些方法常常只使用一个成像系统或摄像机。编码结构光方法可进一步分成几种编码类型。使用编码结构光的一种这样的类型是空间编码，其因精度和可靠性的各种各样的问题而受到损害，特别是关于特征识别和其它严重的性能限制。因而，空间单个图样系统只以非常有限的方式在商业上实现。本领域中进一步的结构编码技术是谱或彩色编码，这需要中性色表面(color neutralsurface),且通常需要昂贵的成像系统。
[0018]因此，存在对克服上面的缺点的系统和方法的未满足的需要，且具有这样的系统和方法是高度有用的。
【发明内容】
[0019]一种用于从二维图像获得数据以便确定出现在二维图像中的物体的三维形状的方法，该二维图像以可辨别的几何分离的对极线(bipolar line)为特征，所述方法包括:
[0020]提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0021]将编码光图样投影到物体上，[0022]捕获具有投影在物体上的被投影的编码光图样的物体的二维图像，所捕获的二维图像包括被反射的特征类型，
[0023]根据唯一的二维构成提取被反射的特征类型，以及
[0024]提取特征类型在所捕获的图像中相应的对极线上的位置。
[0025]所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定所述被成像的物体的相应的三维空间坐标。
[0026]所述三维空间坐标的编制可包括三维点云。
[0027]所述三维点云可被进一步处理以构成三维网格。
[0028]所述三维网格可被进一步处理以添加所述被成像的物体的纹理数据。
[0029]可通过所述被捕获的图像中所述被反射的特征类型的位置与所述被投影的图样中相同的所述特征类型的位置之间的对应来计算所述三角测量。
[0030]所述编码光图样可以是重复的周期性图样。
[0031 ] 所述编码光图样可以是非周期性图样。
[0032]所述被投影的编码光图样可投影成使得每个所述可识别的特征类型在所述可辨别的对极线的预定部分上至多出现一次。
[0033]所述对极线的所述预定部分可包括所述被捕获的图像中的对极线的整个长度。
[0034]所述对极线的所述预定部分可以是所述被捕获的图像中的对极线的长度的部分。
[0035]所述编码光图样的所述投影可与所述对极线成预定的最佳角。
[0036]所述预定的最佳投影角可与所述编码光图样的尺寸相适应。
[0037]所述预定的最佳投影角可与可辨别的对极线之间的水平距离相适应。
[0038]根据唯一的二维构成对所述特征类型的所述提取步骤可包括确定:
[0039]a)包括所述特征类型的元素；
[0040]b)所述特征类型的所述元素之间的对极距离。
[0041]特征的所述元素可以是在传感器的像素区域上的二维光强度构成。
[0042]可通过在相邻的采样像素值中定位光强度的临界点来识别所述构成。
[0043]所述元素可以是二进制值。
[0044]所述元素的位置可被表示为所述二维图像中的两维坐标。
[0045]所述元素之间的所述对极距离可以是恒定的。
[0046]所述元素之间的所述对极距离可变化。
[0047]所述唯一的二维构成可包括谱编码。
[0048]所述被捕获的图像可在每个连续的时间帧被捕获。
[0049]对于每个所述被捕获的图像，可沿着相应的对极线的所述被反射的特征类型根据三角测量确定所述被成像的物体的相应的三维空间坐标。
[0050]一系列帧的所有这样的帧的所述三维坐标构成可提供三维运动捕获的视频流。
[0051]所述三维坐标可被实时地计算以提供三维运动捕获的实时视频流。
[0052]所述二维编码光图样可通过将多个编码矩阵叠加在菱形图样上来产生，所述矩阵可包括从Debruijn序列得到的二进制值。
[0053]上述方法进一步可包括对具有叠加的编码矩阵的所述菱形图样进行高斯平滑。
[0054]一种用于从二维图像获得数据以便确定出现在二维图像中的物体的三维形状的装置，该二维图像以可辨别的几何分离的对极线为特征，所述装置包括:
[0055]具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0056]投影仪，其用于将编码光图样投影到物体上，
[0057]成像设备，其用于捕获具有投影在物体上的被投影的编码光图样的物体的图像，所捕获的图像包括被反射的特征类型，以及
[0058]解码器，其配置成:
[0059]a)根据唯一的二维构成提取被反射的特征类型，
[0060]b)提取特征类型在所捕获的图像中相应的对极线上的位置。
[0061]所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定所述被成像的物体的相应的三维空间坐标。
[0062]上述装置可进一步配置成在对所述物体的所述成像期间相对于所述物体在三维中移动。
[0063]上述装置可进一步配置成捕获相对于所述装置在三维中移动的所述物体的所述图像。
[0064]一种用于从二维视频图像获得数据以便确定出现在所述二维视频图像中的移动物体的三维形状的方法，该二维视频图像的每个帧以可辨别的几何分离的对极线为特征，所述方法包括:
[0065]提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0066]将编码光图样投影到移动物体上，
[0067]捕获具有投影在移动物体上的被投影的编码光图样的移动物体的二维视频图像，所捕获的二维视频图像包括被反射的特征类型，以及
[0068]对于视频图像的每个被捕获的帧:
[0069]a)根据唯一的二维构成提取被反射的特征类型，
[0070]b)提取特征类型在相应的对极线上的位置。
[0071]对于每个被捕获的帧，所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定所述被成像的物体的相应的三维空间坐标。
[0072]对于每个投影，每个所述可识别的特征类型可在所述可辨别的对极线的预定部分上至多出现一次。
[0073]—种用于从二维视频图像获得数据以便确定出现在所述二维视频图像中的移动物体的三维形状的装置，该二维视频图像的每个帧以可辨别的几何分离的对极线为特征，所述装置包括:
[0074]具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0075]投影仪，其用于将编码光图样投影到移动物体上，
[0076]成像设备，其用于捕获具有投影在移动物体上的被投影的编码光图样的移动物体的二维视频图像，所捕获的二维视频图像包括被反射的特征类型，以及
[0077]解码器，其配置成:[0078]a)根据唯一的二维构成提取被反射的特征类型，
[0079]b)对于视频图像的每个被捕获的帧，提取特征类型在相应的对极线上的位置。
[0080]对于每个被捕获的帧，所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定所述被成像的物体的相应的三维空间坐标。
[0081]一种用于获得包括一个或多个物体的场景的距离数据的方法，所述方法包括:
[0082]将具有多个不同的特征类型的二维编码光图样投影到场景上，以便从场景中不同的相应反射位置反射光图样的每个特征，特征类型根据二维构成在图样上可辨别为唯一的，
[0083]捕获包括被反射的特征的、场景的二维图像，
[0084]对出现在二维图像中的每个被反射的特征:
[0085]a)根据唯一的二维构成确定相应的特征类型，
[0086]b)确定特征类型在相应的对极线上的位置，
[0087]根据相应的确定的特征类型并根据相应的确定的对极线位置，对每个被反射的特征得到相应的相关反射点的相应距离。
[0088]所述相应距离的编制可包括所述被成像的物体的三维几何形状。
[0089]对所述相应的对极线位置的所述确定可包括产生所述被捕获的图像中所述相应的确定的特征类型与所述被投影的图样中相同的所述特征类型的位置之间的关联。
[0090]在包括图样投影装置和图像捕获装置的系统中一种获得场景数据的方法，所述图样投影装置操作地将多个特征类型二维光图样投影到场景上使得多个特征类型二维光图样的每个特征从相应的反射点反射，所述图像捕获装置操作地捕获包括被反射的特征的、场景的二维图像，所述方法包括:
[0091]a)对于特征集合中的每个特征，包括根据唯一的二维构成可辨别的特征，其中二维光图样的第一特征类型不同类的多个对极共线特征与第一对极线相关，而第二特征类型不同类的多个对极共线特征与不同于第一对极线的第二对极线相关，提供了相应的反射点距离:图像点位置关系的相应描述，从而提供多个反射点距离:图像点位置关系，
[0092]b)对于目标场景的被捕获的二维图像，对于特征集合中的每个特征，从场景的被捕获的二维图像根据唯一的二维构成确定相应的特征类型并确定每个特征的相应的对极线标识(identity)；
[0093]c)对特征集合中的每个特征，根据确定的特征类型和对极线标识，使每个特征与从多个反射点距离:图像点位置关系选择的相应的反射点距离:图像点位置关系关联；以及
[0094]d)对特征集合中的每个特征，使用相应的选定的反射点距离:图像点位置关系来根据目标场景的被捕获的二维图像中的位置确定目标场景中相应的反射点的位置。
[0095]一种用于从目标场景获得场景数据的系统，该系统包括:
[0096]a)图样投影装置，其操作地将具有多个不同的特征类型的二维编码光图样投影到场景上，以便每个特征从相应的反射点反射，特征类型根据二维构成在图样中可辨别为唯一的，
[0097]b)图像捕获装置，其操作地捕获包括被反射的特征的、场景的二维图像；以及
[0098]c)图像处理元件，对二维图像的每个被反射的特征，其操作来:[0099]i)对每个被反射的特征:
[0100]A.根据唯一的二维构成确定特征类型；
[0101]B.确定相应的对极线位置；以及
[0102]ii)根据相应的确定的特征类型并根据相应的确定的对极线位置，对每个被反射的特征得出相应的相关反射点的相应距离。
[0103]一种用于从目标场景获得场景数据的系统，该系统包括:
[0104]a)图样投影装置，其操作地将具有多个不同的特征类型的二维编码光图样投影到场景上，以便每个特征从相应的反射点反射，特征类型根据二维构成在图样中可辨别为唯一的，
[0105]b)图像捕获装置，其操作地捕获包括被反射的特征的、场景的二维图像，图样投影装置和图像捕获装置配置成使得每个被反射的特征以不受场景距离影响的方式保持在被捕获的二维图像中确定的对极线上；以及
[0106]c)图像处理元件，其操作来:
[0107]i)根据二维图像中的特征的唯一的二维构成对每个被反射的特征确定相应的特征类型:
[0108]ii)以不受特征的对极线排序影响的方式区别开特征。
[0109]一种用于从目标场景获得场景数据的系统，该系统包括:
[0110]a)图样投影装置，其操作地将具有多个不同的特征类型的二维编码光图样投影到场景上，以便每个特征从相应的反射点反射，特征类型根据二维构成在图样中可辨别为唯一的，
[0111]b)图像捕获装置，其操作地捕获包括被反射的特征的、场景的二维图像，其中图样投影装置和图像捕获装置以不受离目标场景的距离影响的方式操作，使得对于在所捕获的二维图像中多线对极线集合中的每个不同的对极线:
[0112]i) 二维光图样的特征类型不同类的多个投影特征存在于每个对极线上；
[0113]ii)至多一个特征类型存在于每个对极线上。
[0114]一种用于确定出现在两个所得到的二维图像中的被成像的物体的三维形状的方法，所得到的图像通过限定的对极场(bipolar field)彼此相关，所述方法包括:
[0115]提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0116]将编码光图样投影到被成像的物体上，
[0117]捕获被成像的物体的第一二维图像，
[0118]捕获被成像的物体的第二二维图像，
[0119]选择第一二维图像的像素区域PX1，出现在PXl上的内容被约束为出现在第二二维图像中特定的对极线EPm上，
[0120]在第二图像中沿着对极线EPm找到PXl的内容，以及
[0121]确定在第一图像和第二图像之间的PXl的内容出现的相对位置。
[0122]PXl内容的所述出现的所述相对位置可根据三角测量确定被成像的物体的相应的三维空间坐标。
[0123]所述被成像的物体可以是在城市场景中的物体，且所述三维空间坐标可用于对所述场景进行三维建模。
[0124]一种用于确定出现在两个所得到的二维图像中的被成像的物体的三维形状的装置，二维图像从至少两个实质上相邻的成像设备得到，图像通过限定的对极场彼此相关，所述装置包括:
[0125]具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0126]投影仪，其用于将编码光图样投影到被成像的物体上，
[0127]第一成像设备，其用于捕获被成像的物体的第一二维图像，
[0128]第二成像设备，其用于捕获被成像的物体的第二二维图像，
[0129]图像处理设备，其用于
[0130]a)选择第一二维图像的像素区域PX1，出现在PXl上的内容被约束为出现在第二二维图像中特定的对极线EPm上，
[0131]b)在第二图像中沿着对极线EPm找到PXl的内容，以及
[0132]c)确定在第一图像和第二图像之间的PXl的内容出现的相对位置。
[0133]PXl内容的所述出现的所述相对位置可根据三角测量确定被成像的物体的相应的三维空间坐标。
[0134]所述被成像的物体可以是在城市场景中的物体，且所述三维空间坐标可用于对所述场景进行三维建模。
[0135]一种用于城市场景的三维建模的基于三角测量的方法，该方法捕获具有投影在城市场景上的被投影的结构光图样的城市场景的至少两个图像，图像通过限定的对极场彼此相关，每个图像进一步具有与投影仪有关的额外的对极场，所述方法包括:
[0136]提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0137]将编码光图样投影到城市场景上，
[0138]捕获包括被反射的特征类型的城市场景的第一二维图像，
[0139]捕获包括被反射的特征类型的城市场景的第二二维图像，
[0140]选择第一二维图像的像素区域PX1，出现在PXl上的内容被约束为出现在第二二维图像中特定的对极线EPm上，
[0141]在第二图像中沿着对极线EPm找到PXl的内容，以及
[0142]确定在第一图像和第二图像之间的PXl的内容出现的相对位置，以及
[0143]独立地对于每个被捕获的图像，进一步根据唯一的二维构成提取被反射的特征类型和提取特征类型在相应的对极线上的位置。
[0144]所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定在所述城市场景中被成像的物体的相应的三维空间坐标。
[0145]PXl的所述内容的出现的所述相对位置可根据三角测量确定在所述城市场景中被成像的物体的相应的三维空间坐标。
[0146]所述三维空间坐标可用于对所述城市场景进行三维建模。
[0147]城市场景的所述三维建模可在显示器上被显示给用户，所述显示器可允许所述用户在所述城市场景中巡视。[0148]纹理信息可被添加以补充所述城市建模。
[0149]空中数据可被添加以补充所述城市建模。
[0150]一种用于城市场景的基于三角测量的三维建模的装置，该装置包括用于捕获城市场景的至少两个图像的至少两个实质上相邻的成像设备，该装置进一步具有用于将结构光图样投影在场景中的物体上的投影仪，图像通过限定的对极场彼此相关，每个图像进一步具有与投影仪有关的额外的对极场，所述装置包括:
[0151]具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0152]投影仪，其用于将编码光图样投影到城市场景上，
[0153]第一成像设备，其用于捕获包括被反射的特征类型的城市场景的第一二维图像，
[0154]第二成像设备，其用于捕获包括被反射的特征类型的城市场景的第二二维图像，
[0155]图像处理设备，其用于
[0156]a)选择第一二维图像的像素区域PX1，出现在PXl上的内容被约束为出现在第二二维图像中特定的对极线EPm上，
[0157]b)在第二图像中沿着对极线EPm找到PXl的内容，
[0158]c)确定在第一图像和第二图像之间的PXl的内容出现的相对位置，以及
[0159]d)独立地在每个图像中根据唯一的二维构成提取被反射的特征类型和提取特征类型在相应的对极线上的位置。
[0160]所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定在所述城市场景中被成像的物体的相应的三维空间坐标。
[0161]PXl的所述内容的出现的所述相对位置可根据三角测量确定在所述城市场景中被成像的物体的相应的三维空间坐标。
[0162]所述三维空间坐标可用于对所述城市场景进行三维建模。
[0163]城市场景的所述三维建模可在显示器上被显示给用户，所述显示器可允许所述用户在所述城市场景中巡视。
[0164]纹理信息可被添加以补充所述城市建模。
[0165]空中数据可被添加以补充所述城市建模。
[0166]上述装置可进一步配置成在对所述城市场景的所述成像期间相对于所述城市场景中的物体在三维中移动。
[0167]上述装置可进一步配置成捕获相对于所述装置在三维中移动的所述城市场景中的物体的所述图像。
[0168]一种用于从二维图像获得数据以便确定出现在二维图像中的物体的三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述方法包括:
[0169]提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0170]提供二维编码光图样的反图样(inverse)，
[0171]将编码光图样和反的编码光图样投影在物体上，
[0172]捕获:
[0173]I)具有投影在物体上的被投影的编码光图样的物体的第一图像，第一图像包括被反射的特征类型，
[0174]2)具有投影在物体上的反的编码光图样的物体的第二图像，第二图像包括被反射的特征类型，
[0175]从第一被捕获的图像中减去第二被捕获的图像来获得合成图像(resultantimage),以及
[0176]在合成图像中根据唯一的二维构成提取被反射的特征类型和提取特征类型在相应的对极线上的位置。
[0177]所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定所述被成像的物体的相应的三维空间坐标。
[0178]所述光图样可在时间上被投影。
[0179]所述光图样可以光的不同谱值被投影。
[0180]具有不同谱值的所述光图样可在时间上被投影。
[0181]所述第一图像和所述第二图像可在时间上被捕获。
[0182]所述时间成像可在不均匀的时间间隔上实施。
[0183]所述第一图像和所述第二图像可使用谱分化被同时捕获。
[0184]上述方法进一步可包括对所述被成像的物体的第三图像的捕获，所述第三图像可包括纹理信息。
[0185]所述合成图像中所述特征类型的所述提取可通过确定采样点的直接强度值来实施。
[0186]一种用于从两个二维图像获得纹理数据的方法，每个图像包括用于对每个图像独立地获得被成像的物体的深度数据的反射码，所述方法包括:
[0187]提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0188]提供二维编码光图样的反图样，
[0189]将编码光图样和反的编码光图样投影在物体上，
[0190]捕获:
[0191]I)具有投影在物体上的被投影的编码光图样的物体的第一图像，第一图像包括被反射的特征类型，
[0192]2)具有投影在物体上的反的编码光图样的物体的第二图像，第二图像包括被反射的特征类型，
[0193]从第二被捕获的图像与第一被捕获的图像的相加中获得合成图像，合成图像提供被成像的物体的纹理信息。
[0194]一种用于从二维图像获得数据以便确定出现在二维图像中的物体的三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述方法包括:
[0195]提供具有多个不同的可识别的特征类型的第一二维编码光图样，每个特征类型包括光强度变化的点，其中特征类型的一个点为最大值或最小值，
[0196]提供第二二维编码光图样，第二二维编码光图样包括具有最大值或最小值反转了的第一图样，
[0197]将第一编码光图样和第二编码光图样投影在物体上，[0198]捕获:
[0199]I)具有投影在物体上的第一被投影的编码光图样的物体的第一图像，第一图像包括被反射的特征类型，
[0200]2)具有投影在物体上的第二编码光图样的物体的第二图像，第二图像包括被反射的特征类型，
[0201]从第一被捕获的图像中减去第二被捕获的图像来获得合成图像，合成图像包括被反射的特征类型的最大值点和最小值点，以及
[0202]在合成图像中提取最大值点和最小值点以及最大值点和最小值点在相应的对极线上的位置。
[0203]最大值和最小值的所述位置可用于确定所述第一图像中相应的特征类型位置。
[0204]一种用于从二维图像获得数据以便确定出现在二维图像中的物体的三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述方法包括:
[0205]提供具有多个不同的可识别的特征类型的第一二维编码光图样，每个特征类型由光强度变化的点组成，其中特征类型的一个点是最大值或最小值，
[0206]提供第二二维编码光图样，第二二维编码光图样包括具有最大值或最小值反转了的第一图样，
[0207]将第一编码光图样和第二编码光图样投影在物体上，
[0208]捕获:
[0209]I)具有投影在物体上的第一被投影的编码光图样的物体的第一图像，第一图像包括被反射的特征类型，
[0210]2)具有投影在物体上的第二编码光图样的物体的第二图像，第二图像包括被反射的特征类型，
[0211]从第一被捕获的图像与第二被捕获的图像的相加来获得合成图像，合成图像包括被反射的特征类型的非最大值强度点和非最小值强度点，
[0212]在合成图像中提取被反射的特征类型的非最大值点和非最小值点以及非最大值点和非最小值点在相关的对极线上的位置。
[0213]沿着相应的对极线的所述最大值和所述最小值的所述位置以及所述非最大值点和所述非最小值点的沿着相应的对极线的所述位置可根据三角测量确定所述被成像的物体的相应的三维空间坐标。
[0214]一种用于从二维图像获得数据以便确定出现在二维图像中的物体的三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述方法包括:
[0215]提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0216]提供二维编码光图样的反图样，
[0217]将编码光图样和反的编码光图样投影在物体上，
[0218]捕获:
[0219]I)具有投影在物体上的被投影的编码光图样的物体的第一图像，第一图像包括被反射的特征类型，
[0220]2)具有投影在物体上的反的编码光图样的物体的第二图像，第二图像包括被反射的特征类型，
[0221]从第一被捕获的图像与第二被捕获的图像相减的绝对值来获得合成图像，合成图像包括被反射的特征类型的轮廓，
[0222]在合成图像中提取轮廓以及轮廓在相应的对极线上的位置。
[0223]所述轮廓沿着相应的对极线的所述位置可根据三角测量确定所述被成像的物体的相应的三维空间坐标。
[0224]一种用于从二维图像获得数据以便确定出现在二维图像中的物体的三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述方法包括:
[0225]提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0226]将编码光图样投影在物体上，
[0227]捕获:
[0228]I)具有投影在物体上的被投影的编码光图样的物体的第一图像，第一图像包括被反射的特征类型，
[0229]2)具有投影在物体上的环境光的物体的第二图像，
[0230]从第一被捕获的图像中减去第二被捕获的图像来获得合成图像，
[0231]在合成图像中提取被反射的特征类型和特征类型在相应的对极线上的位置。
[0232]所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定所述被成像的物体的相应的三维空间坐标。
[0233]一种用于确定出现在两个所得到的二维图像中的被成像的解剖(anatomical)表面元件的三维形状的方法，所得到的图像通过限定的对极场彼此相关，所述方法包括:
[0234]提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0235]将编码光图样投影到解剖表面元件上，
[0236]捕获解剖表面元件的第一二维图像，
[0237]捕获解剖表面元件的第二二维图像，
[0238]选择第一二维图像的像素区域PX1，出现在PXl上的内容被约束为出现在第二二维图像中特定的对极线EPm上，
[0239]在第二图像中沿着对极线EPm找到PXl的内容，以及
[0240]确定在第一图像和第二图像之间的PXl的内容出现的相对位置。
[0241]PXl内容的所述出现的所述相对位置可根据三角测量确定被成像的解剖表面元件的相应的三维空间坐标。
[0242]一种用于确定出现在两个所得到的二维图像中的被成像的解剖表面元件的三维形状的装置，二维图像从至少两个实质上相邻的成像设备得到，图像通过限定的对极场彼此相关，所述装置包括:
[0243]具有多个不同的可识别的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0244]投影仪，其用于将编码光图样投影到解剖表面元件上，
[0245]第一成像设备，其用于捕获被成像的解剖表面元件的第一二维图像，[0246]第二成像设备，其用于捕获被成像的解剖表面元件的第二二维图像，
[0247]图像处理设备，其用于
[0248]a)选择第一二维图像的像素区域PX1，出现在PXl上的内容被约束为出现在第二二维图像中特定的对极线EPm上，
[0249]b)在第二图像中沿着对极线EPm找到PXl的内容，以及
[0250]c)确定在第一图像和第二图像之间的PXl的内容出现的相对位置。
[0251]PXl内容的所述出现的所述相对位置可根据三角测量确定被成像的解剖表面元件的相应的三维空间坐标。
[0252]一种用于解剖表面元件的三维建模的基于三角测量的方法，该方法捕获具有投影在解剖表面元件上的被投影的结构光图样的解剖表面元件的至少两个图像，图像通过限定的对极场彼此相关，每个图像进一步具有与投影仪有关的额外的对极场，所述方法包括:
[0253]提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0254]将编码光图样投影到解剖表面元件上，
[0255]捕获包括被反射的特征类型的城市场景的第一二维图像，
[0256]捕获包括被反射的特征类型的城市场景的第二二维图像，
[0257]选择第一二维图像的像素区域PX1，出现在PXl上的内容被约束为出现在第二二维图像中特定的对极线EPm上，
[0258]在第二图像中沿着对极线EPm找到PXl的内容，
[0259]确定在第一图像和第二图像之间的PXl的内容出现的相对位置，以及
[0260]独立地对于每个被捕获的图像，进一步根据唯一的二维构成提取被反射的特征类型和特征类型在相应的对极线上的位置。
[0261]所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定被成像的解剖表面元件的相应的三维空间坐标。
[0262]PXl的所述内容的出现的所述相对位置可根据三角测量确定被成像的解剖表面元件的相应的三维空间坐标。
[0263]所述三维空间坐标可用于对所述解剖表面元件进行三维建模。
[0264]解剖表面元件的所述三维建模可在显示器上被显示给用户，所述显示器可允许所述用户在所述解剖表面元件周围巡视。
[0265]纹理信息可被添加以补充所述解剖表面元件建模。
[0266]一种用于对解剖表面元件的基于三角测量的三维建模的装置，该装置包括用于捕获表面元件的至少两个图像的至少两个实质上相邻的成像设备，该装置进一步具有用于将结构光图样投影在解剖元件上的投影仪，图像通过限定的对极场彼此相关，每个图像进一步具有与投影仪有关的额外的对极场，所述装置包括:
[0267]二维编码光图样，其具有多个不同的特征类型，被反射的特征类型根据唯一的二维构成和特征类型在相应的对极线上的位置，
[0268]投影仪，其用于将编码光图样投影到解剖元件上，
[0269]第一成像设备，其用于捕获包括被反射的特征类型的解剖元件的第一二维图像，
[0270]第二成像设备，其用于捕获包括被反射的特征类型的解剖元件的第二二维图像，[0271]图像处理设备，其用于
[0272]a)选择第一二维图像的像素区域PX1，出现在PXl上的内容被约束为出现在第二二维图像中特定的对极线EPm上，
[0273]b)在第二图像中沿着对极线EPm找到PXl的内容，
[0274]c)确定在第一图像和第二图像之间的PXl的内容出现的相对位置，以及
[0275]d)独立地在每个图像中提取被反射的特征类型和特征类型在相应的对极线上的位置。
[0276]所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定被成像的解剖表面元件的相应的三维空间坐标。
[0277]PXl的所述内容的出现的所述相对位置可根据三角测量确定被成像的解剖表面元件的相应的三维空间坐标。
[0278]所述三维空间坐标可用于对所述解剖表面元件进行三维建模。
[0279]解剖表面元件的所述三维建模可在显示器上被显示给用户，所述显示器可允许所述用户在所述解剖表面元件周围巡视。
[0280]纹理信息可被添加以补充所述解剖表面元件建模。
[0281]上述装置可进一步配置成在对所述解剖元件的所述成像期间相对于所述解剖表面元件在三维中移动。
[0282]上述装置可配置成捕获相对于所述装置在三维中移动的所述解剖表面元件的所述图像。
[0283]一种可安装在机动车辆上的装置，该装置配置成获得在离车辆尾部的一定范围内的物体的深度数据，并进一步配置成获得二维图像以便从其确定深度数据，二维图像以可辨别的几何分离的对极线为特征，该装置包括:
[0284]二维编码光图样，其具有多个预定的可识别的特征类型，每个特征类型根据唯一的二维构成是可辨别的，
[0285]投影仪，其用于将编码光图样投影到物体上，
[0286]第一成像设备，其用于捕获具有投影在物体上的被投影的编码光图样的物体的图像，被捕获的图像包括被反射的特征类型，以及
[0287]解码器，其配置成根据唯一的二维构成提取被反射的特征类型和提取特征类型在被捕获的图像中相应的对极线上的位置。
[0288]所述被反射的特征类型沿着相应的对极线的所述位置可根据三角测量确定所述被成像的物体的相应的三维空间坐标。
[0289]上述装置可进一步配置成在对所述对象的所述成像期间相对于所述物体在三维中移动。
[0290]上述装置可配置成捕获相对于所述装置在三维中移动的所述物体的所述图像。
[0291]一种用于获得位于机动车辆后的目标场景的深度数据的系统，该系统包括:
[0292]a)图样投影装置，其操作地将具有多个不同的特征类型的二维编码光图样投影到场景上，使得每个特征从相应的反射点反射，特征类型根据二维构成在图样上可辨别为唯一的；
[0293]b)图像捕获装置，其可安装在机动车辆上，并操作地捕获包括被反射的特征的、场景的二维图像；以及
[0294]c)图像处理元件，其对二维图像的每个被反射的特征操作来:
[0295]i)对每个被反射的特征:
[0296]A.根据唯一的二维构成确定特征类型；
[0297]B.确定相应的对极线位置；以及
[0298]ii)根据相应的确定的特征类型并根据相应的确定的对极线位置，对每个被反射的特征得出相应的相关反射点的相应距离。
[0299]一种用于从二维图像获得数据以便确定出现在二维图像中的物体的三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述方法包括:
[0300]提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0301]将编码光图样投影到物体上，
[0302]捕获:
[0303]I)具有投影在物体上的被投影的编码光图样的物体的第一图像，第一图像包括被反射的特征类型，
[0304]2)具有投影在物体上的均匀光的物体的第二图像，
[0305]从第一被捕获的图像被第二被捕获的图像除，来获得合成图像，
[0306]在合成图像中提取被反射的特征类型和特征类型在相应的对极线上的位置。
[0307]—种用于从二维图像获得数据以便确定出现在二维图像中的物体的三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述方法包括:
[0308]提供具有多个不同的可识别的特征类型的第一二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0309]提供具有多个不同的可识别的特征类型的、不同于第一图样的、第二二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
[0310]将第一编码光图样投和第二编码光图样投影到物体上，
[0311]捕获:
[0312]I)具有投影在物体上的第一被投影的编码光图样的物体的第一图像，第一图像包括被反射的特征类型，
[0313]2)具有投影在物体上的第二编码光图样的物体的第二图像，第二图像包括被反射的特征类型，
[0314]独立地在每个图像中根据唯一的二维构成提取被反射的特征类型和提取特征类型在相应的对极线上的位置，
[0315]比较在第二图像中对极线的区域与在第一图像中沿着相同对极线的相似区域，以验证第一图像中的特征标识。
[0316]除非另外规定，这里使用的所有技术和科学术语具有与本发明所属的领域中的普通技术人员所一般理解的相同的含义。这里提供的资料、方法和例子仅仅是示例性的，且不意味着是限制性的。
[0317]本发明的方法和系统的实现包括手动、自动或组合地执行或完成某些选定的任务或步骤。而且，根据本发明的方法和系统的优选实施方式的实际仪器和设备，一些选定的步骤可通过硬件或通过软件在任何固件的任何操作系统上实现，或由其组合实现。例如，作为硬件，本发明的选定步骤可实现为芯片或电路。作为软件，本发明的选定步骤可实现为多个软件指令，这些软件指令由使用任何适当的操作系统的计算机执行。在任何情况下，本发明的方法和系统的选定阶段可被描述为由数据处理器执行，例如用于执行多个指令的计算平台。
[0318]附图的简要说明
[0319]参考附图，仅作为例子在这里描述了本发明。现在特别详细地参考附图，应强调，显示的细节仅作为例子，并仅为了本发明的优选实施方式的例证性讨论，且介绍细节以便提供被认为是最有用的东西和本发明的原理和概念方面的容易理解的描述。在这方面，不试图显示比基本理解本发明所必需的更详细的本发明的结构细节，采用附图的描述使本发明的一些形式可如何体现在实践中对于本领域技术人员变得明显。
[0320]在附图中:
[0321]图1A-1G是示出本发明的一个实施方式的简图，其显示二维光图样成像如何与对极几何的原理一起使用。
[0322]图2是示出在当前实施方式的三维图像和/或运动图像捕获的过程中的步骤的简化流程图。
[0323]图3示出被投影以获得反射图样的对极分离和相应的图像IPl的示例性空间周期性二维图样P1。
[0324]图4是示出如何得到所捕获的二维图像中的被识别的特征的相应的三维空间位置的简化流程图和图解。
[0325]图5示出通过本发明的实施方式的方法得到的另外的示例性点云。
[0326]图6A是根据对极分离原理投影之后的反射图样的简化示意性表示。
[0327]图6B再次示出反射图样的简化示意性表示，但现在包括相同特征在图像中的给定对极线上的多次出现。
[0328]图7是根据本发明的特定实施方式投影的优选光图样的被捕获的图像的简化图
/Jn ο
[0329]图8是此刻关于对极场的方向、以较小的旋转角投影的图样的简化示意性表示。
[0330]图9是可用在某些实施方式中的非有序和非周期性二维空间图样的简化示意图。
[0331]图10示出包括优选的编码图样Pl的示例性特征类型的图示。
[0332]图11是在从成像立方体(imaged cube)反射之后如所见的图像I’P1的示例性图样Pl的图示。
[0333]图12A和12B示出图样Pl中固有的构造过程和编码方案。
[0334]图12C包括在从被成像的物体反射并被视为成像装置中所捕获的图像的部分之后，图样Pl中的采样点的简化图示。
[0335]图13A示出使用实现对极分离技术的图样Pl的优选投影和成像方法。
[0336]图13B1示出提供增加数量的采样点的优选图样P2。
[0337]图13B2示出图样P2中固有的构造过程和编码方案。
[0338]图13C示出时间编码实施方式的两个优选图样Tl和T2。
[0339]图13D示出时间编码实施方式的优选图样T2的特写。[0340]图14示出示例性字符或特征类型连同示例性图样Pl的图像I’ p10
[0341]图15是涉及Pl和-Pl的本发明的优选双重投影和双重成像实施方式的图示。
[0342]图16是两个图像P1和-P1的相加的图示。
[0343]图17是本发明的双重投影和双重成像方法的优选实施方式。
[0344]图18示出图17的两个成像图样的相加。
[0345]图19示出从图像P1减去-P1的绝对值得到的合成图像的图示。
[0346]图20是从图像P1减去-C的绝对值得到的合成图像的图示。
[0347]图21是双重图样投影和双重图样成像的特定实施方式的图示。
[0348]图22是使用均匀光的双重投影的特定实施方式的图示。
[0349]图23是示出两个图像之间的对极场如何相关的简化图示。
[0350]图24是示出在特定实施方式中分离的对极场对于相应的成像装置和投影仪如何存在的简化图示。
[0351]图25是示出在产生城市地区的三维地图的过程中的步骤的本发明特定实施方式的简化流程图。
[0352]图26是示出在解剖部分的三维成像的过程中的步骤的本发明特定实施方式的简化流程图。
[0353]图27是示出确定在倒车机动车辆的路径中的障碍距离的过程中的步骤的本发明特定实施方式的简化流程图。
[0354]优选实施方式的描述
[0355]本实施方式提供了用于静止和运动物体的三维成像的装置和方法。特别是，通过Ca)将编码二维光图样投影在物体上；以及(b)利用与对极几何和三角测量相关的光学约束和原理来分析反射二维光图样的二维图像，可能确定给定物体的三维空间形状数据。
[0356]参考附图和附随的描述可更好地理解根据本发明的装置和方法的原理和操作。
[0357]在详细解释本发明的至少一个实施方式之前，应理解，本发明在其应用中不限于在下面的描述中阐述或在附图中示出的结构的细节和部件的布置。本发明允许其它实施方式或能够以各种方法实践或实施。此外，应理解，这里使用的措辞和术语是为了描述的目的，而不应被视为限制性的。
[0358]图1A-1G:确定一个或多个物体的三维深度图
[0359]现在参考图1A-1D，其为示出本发明的一个实施方式的简图。在图1A-1D的特定例子中，系统10包括存在于相应的位置(χΛ yip，Zlp)和(χΛχΛζ/)的投影仪12和成像装置14。包括可识别的特征类型的有限集合的预定阵列的编码二维光图样16由投影仪12投影到在包含被成像的物体18a、18b和18c的场景中的表面上。在投影图样中的示例性特征被表示为20a、20b、20d和20f。在该特定例子中，投影图样采取强度变化的单色光束或阵列的形式，其中相邻光束的组合包括具有二维空间构成(b1-dimensional spatial formation)的编码特征或字母。这些特征在不同的反射点19a、19b、19d和19f处与被成像的物体表面相交，并接着在成像装置14的传感器24上捕获的二维图像22中被观察到。投影特征19a、19b、19d和19f因而作为被捕获的图像22中的被反射的特征28a、28b、28d和28f出现。成像装置14可例如是CCD或CMOS数字视频摄像机或任何其它类型的光探测器元件阵列。
[0360]投影仪12和传感器24之间的相对位置30是固定的，因而给予系统10以几何约束。该约束将所捕获的图像22中的任何给定被反射特征28a、28b、28d和28f的位置限制到称为对极线的图像中的唯一一组点。对极线β、φ和P在图中示出。也就是说，对于具有给定光图样以及投影仪和传感器之间的固定相对位置的系统10，对于上面投影了图样的任何物体或一组物体，在所捕获的图像22中特定的单个对极线上总是观察到投影图样的每个特征。而且，如下面将解释的，不管被成像的物体是固定的还是处于与投影仪/成像装置的相对运动中，上面内容都适用。图样中的每个特征和恒定的对极线之间的关系因而与所述特征被反射的三维空间中的反射点无关。
[0361]示例性投影特征的反射点被表示为19a、19b、19d和19f，并具有相关的相应反射距离Da、Db、Dd和Df。反射距离是从成像装置的传感器24到被成像的物体18a、18b、18c上给定特征被反射的三维空间中反射点位置的距离。反射距离有时称为深度。
[0362]因此，如图1A-1D所示，存在于图像22中的每个被反射的特征28a、28b、28d和28f被约束到相应的特定对极线，而与特征被从其反射的空间中的点无关。特征28a因而被约束到与19a的三维位置无关或可选地与反射距离Da无关的对极线φ。特征28b和28d是来自共享相同的对极线β的图样的两个被反射的特征。特征28b和28d总是存在于与反射距离Db和Dd无关的该对极线上。类似地，特征28f总是反射到与反射距离Df无关的对极线P上。
[0363]然而，反射距离或可选地特征被从其反射的三维空间中的点实际上确定沿着该对极线所述特征出现的地方。因此，反射距离不影响给定被反射的特征在其上出现的特定对极线，而更确切地只影响沿着该线的精确位置。
[0364]为了说明依赖于反射距离的沿着对极线的特征的位置的变化，我们现在转到图1E-1G0在图1E、1F和IG的每个中，投影仪和成像装置虽然总是彼此处于固定的相对距离，但相对于物体18a移动。在图1E中，投影仪12和成像装置14分别在(Xlp，yf，Z15)和(χΛ ΥΛ ζ/)位置。当从物体18a上的反射点19a被反射之后，在对极线φ上的被反射的特征28a (投影特征20a)的反射距离被看作Da。在图1F中，投影仪和成像装置移到空间中相应的点(x2P，y2P，z2p)和(χΛ y/，Z2O。当从物体18a上的不同反射点19a’被反射之后，被反射的特征28a的反射距离现在是Da’。作为结果，特征28a现在反射到对极线《P的下部分上。在图1G中，投影仪和成像装置移到空间中的第三组相应的坐标U/，y/, z3p)和(χΛ y3\ Z31)。当从物体18a上又一第三个反射点19a〃被反射之后，被反射的特征28a的反射距离现在是Da〃。作为结果，特征28a现在反射到对极线φ的上部分上。然而，不管反射距离是什么，被反射的特征28a (投影特征20a)都必须总是出现在对极线f上，且只在φ上。为了清楚的目的，每个特征都只与本实施方式中的一个对极线相关。应理解，因为特征包括被捕获的图像中光强度的空间构成，每个特征的元素可位于分立的可辨别的对极线上。
[0365]应理解，系统10和被成像的物体之间的任何相对运动使特定特征的反射距离变化。该相对运动可从被成像的物体的运动、从投影仪/成像系统的运动、或从被成像的物体和投影仪/成像系统两者的运动产生。反射距离的任何变化都引起给定被反射的特征沿着该特征的相关对极线的精确位置的变化。然而，特征在其上出现的特定对极线保持不变。
[0366]因此，我们可断定，对极几何的原理规定图像中的一组二维坐标和由成像装置观察的空间中的三维坐标之间的映射。此外，给定被捕获的特征沿着特定对极线出现的精确位置依赖于特征的反射距离，或换句话说，特征从其被反射的三维空间中的点。[0367]对于每个图像或帧，根据特征类型识别每个被反射的特征，且优选地通过图像处理设备36确定图像中沿着特征的相关对极线的被反射的特征的位置。被识别的特征沿着特征的对极线的精确位置于是对应到该特征在原始投影图样中的位置。特征在图像和投影图样之间这种对应允许基于三角测量的计算，以确定特征从其被反射的三维空间坐标。预先计算的三角测量表可用于确定特征从其被反射的物体上的点的三维空间位置。在一些实施方式中，这些基于三角测量的计算由图像处理设备36实施。
[0368]该过程可对二维图像的多个特征重复，其中每个特征从三维被成像的物体的表面上的不同的相应位置被反射。对于任何给定的图像帧，所捕获的二维图像中每个这样识别的特征导致三维空间位置，所有这样的空间位置的编制(compilation)包括三维空间中位置的点云。此三维点云给出被成像的物体的三维映射。点云的进一步的处理可产生本质上将三维云的点熔合成三维表面的三维网格(mesh)。根据场景中物体的额外的纹理捕获，该网格也可以是给定图形纹理。对于运动中的物体的三维映射，对单个图像描述的上面的过程在产生三维视频的一系列图像上实施。
[0369]图2:三维图像捕获的简化流程图
[0370]参考图2，其为示出在当前实施方式的三维图像和/或运动图像捕获的过程中的步骤的简化流程图。在下面附图中进一步详细地讨论该流程图的每个步骤。流程图连同图1A-1G—起给读者提供这里所述的三维成像过程的简单和总体直观的理解。
[0371]步骤70提供了预定的编码光图样。如在图1A-1D中举例说明的并被表示为16的该编码光图样，是以变化强度的光束的空间构成的形式的特征类型的有限集合的阵列。下面在附图中讨论图样的优选实施方式及其特点。步骤72是该图样在物体上的投影。下面也在附图中讨论几个优选的投影方法。在步骤74中，捕获包含从物体反射的特征的二维图像，图样投影在该物体上。在步骤76，分析图像以识别特征及其沿着相应的对极线的位置。在步骤78，接着使沿着其对极线的特征的位置与特征被反射的空间中的三维坐标相关。下面讨论通过三角测量技术执行的、沿着对极线的特征位置和三维空间坐标之间的此关联过程。对于二维图像中的每个被识别的特征，因而得到指示特征从被成像的物体反射的空间中的点的相应的三维坐标。在步骤80，通过所有这样的三维坐标的编制，得到给出被成像的物体的三维映射的三维点云。点云的进一步的处理可产生本质上将三维云的点熔合成三维表面的三维网格。也可根据该场景中物体的额外的纹理捕获给该网格提供图形纹理。
[0372]在物体或摄像机在运动中的情况下，步骤74-80可连续重复，以获得三维运动捕获。在三维运动捕获的这样的情况下，从移动物体反射的光图样的一系列二维捕获的图像包括视频序列中的帧。该二维视频序列可按在流程图中讨论的方式被逐帧处理，以得到每帧的三维空间坐标。结果是一系列点云，视频序列的每帧有一个点云，其一起包括随着时间的过去的动态三维映射。
[0373]图3:图样投影和对极分离
[0374]图3提供了可投影到物体上的示例性空间周期性二维图样P1。二维图样包括多个不同的特征类型20，其出现在图样内的不同位置处。为了清楚，在本图中，每个唯一的特征类型被任意分配字母字符。如下面在图10中进一步详细解释的，每个图样特征都由黑点和白点的编码空间构成组成。特征在代码中以循环的方式重复。特别地，相同的特征类型在图样的垂直方向上每隔I行并在图样的水平方向上每隔16列重复自身。图样特征的黑点和白点相应于在被成像的物体上的单色光的高或低照明强度的投影。代码中的每个字符因此是投影光强度的二维空间构成。在本实施方式的图样Pi中，该构成是连续的。也可实现具有非连续构成的其它图样。
[0375]在从三维物体反射之后，投影周期性图样Pl的子部分48产生包含反射图样的图像IP1。示出对极线52、54和56。因此，图像Ipi是当从被成像的物体反射时通过成像装置被观察到的反射图样的简化图示。为了简单起见，只示出反射图样，而没有示出也出现在Ipi中的任何反射的被成像的物体。在这个特定的实施方式中，投影仪和成像装置彼此垂直地放置，因而使被捕获的图像中的对极线在实质上垂直的方向上。在另一可能的实施方式中，投影仪和成像装置可彼此水平地放置，在这种情况下被捕获的图像中的对极线实质上是水平的。
[0376]如在上面看到和提到的，任何给定的特征类型在图样的垂直方向上循环地重复自身很多次，并且如果图样无旋转地被投影，相同类型的很多特征在被捕获的图像中在相同的垂直对极线上会被观察到。然而，通过投影图样的稍微旋转，相同类型的特征被反射到图像Ipi中分离的对极线上。例如，都是类型(A)的特征58和60现在反射到两个相邻的但可辨别地分离的对极线52和54上。如将在下面进一步解释的，在被捕获的图像中分离的对极线上的所有相同图样特征类型的分离明确地实现每个特征的识别，该分离在这里称为对极分离。为了理解为什么是这样，接下来是系统校准的简短讨论，以理解在原始投影图样中的特征和被捕获的图像中的对极线之间的关系。
[0377]如上所解释的，给定特定的图样，例如在本实施方式中描述的图样，并假定投影仪和成像装置之间的固定相对位置的几何约束，任何给定的图样特征出现在包含反射图样的图像中恒定的预定对极线上。投影图样中的每个特征和反射图样的图像中相关的对极线之间的此预定关系可用很多方法确定，包括强力(brute force)。确定该关系的过程可称为对极场校准过程，并对于成像设备和投影仪的给定图样和给定配置实施一次。这样的映射的结果是如下面看到的对极场表。
[0378]图样中的特征类型和位置被捕获的图像中的对极线
[0379]
【权利要求】
1.一种方法，包括: 提供具有第一多个特征类型的第一二维编码光图样和具有第二多个特征类型的第二二维编码光图样，并且来自所述第一多个特征类型和所述第二多个特征类型的每个特征类型根据变化的光强度的唯一的二维构成是可辨别的，并且变化的光强度的所述唯一的二维构成中的每一个与多个元素的唯一组合相关联，所述多个元素包括:至少一个最大值或最小值非鞍点元素以及多个鞍点元素，并且 其中，来自所述第二多个特征类型的每个特征类型与来自所述第一多个特征类型的相应的特征类型相对应，以及其中，来自所述第二多个特征类型的每个特征类型的至少一个非鞍点元素相对于来自所述第一多个特征类型的所述相应的特征类型的至少一个非鞍点元素被反转； 将所述第一二维编码光图样和所述第二二维编码光图样投影在物体上； 捕获所述物体的第一图像和所述物体的第二图像，所述第一图像具有投影在所述物体上的所述第一二维编码光图样，所述第二图像具有投影在所述物体上的所述第二二维编码光图样；以及 处理所述第一图像和所述第二图像。
2.根据权利要求1 所述的方法，其中所述鞍点既不是最大值也不是最小值。
3.根据权利要求1所述的方法，其中所述处理包括从所述第一图像减去所述第二图像来获得合成图像。
4.根据权利要求3所述的方法，还包括: 确定所述被反射的特征类型的所述至少一个非鞍点元素和所述多个鞍点元素在所述合成图像中的位置；以及 根据所述被反射的特征类型的所述至少一个非鞍点元素和所述多个鞍点元素在所述合成图像中的位置，确定在所述第一图像或所述第二图像中的特征类型位置。
5.根据权利要求1所述的方法，其中所述处理包括从所述第二图像与所述第一图像的相加来获得合成图像。
6.根据权利要求5所述的方法，其中所述合成图像包括所述第一多个特征类型和所述第二多个特征类型的增强的鞍点，并且，所述方法还包括根据在所述合成图像中的相应的增强的鞍点的强度值来确定所述第一多个特征类型和/或所述第二多个特征类型的鞍点的鞍点识别息。
7.根据权利要求1所述的方法，其中所述处理包括从所捕获的所述第一图像与所捕获的所述第二图像的相减的绝对值来获得合成图像。
8.根据权利要求7所述的方法，其中所述合成图像包括在所述第一图像或所述第二图像中的非鞍点之间的边界线。
9.根据权利要求1所述的方法，其中所述投影包括下列项中的一个: 时间地投影所述第一二维编码光图样和所述第二二维编码光图样； 以不同的光谱值投影所述第一二维编码光图样和所述第二二维编码光图样；或者 以不同的偏振投影所述第一二维编码光图样和所述第二二维编码光图样。
10.根据权利要求1所述的方法，其中所述捕获包括时间地捕获所述第一图像和所述第二图像，产生时间成像。
11.根据权利要求10所述的方法，还包括在不均匀的时间间隔内执行所述时间成像。
12.如权利要求1所述的方法，其中所述捕获还包括通过使用谱分化或极分化来同时捕获所述第一图像和所述第二图像。
13.一种装置，包括: 具有第一多个特征类型的第一二维编码光图样和具有第二多个特征类型的第二二维编码光图样，并且来自所述第一多个特征类型和所述第二多个特征类型的每个特征类型根据变化的光强度的唯一的二维构成是可辨别的，并且变化的光强度的所述唯一的二维构成中的每一个与多个元素的唯一组合相关联，所述多个元素包括:至少一个最大值或最小值非鞍点元素以及多个鞍点元素，并且 其中，来自所述第二多个特征类型的每个特征类型与来自所述第一多个特征类型的相应的特征类型相对应，以及其中，来自所述第二多个特征类型的每个特征类型的至少一个非鞍点元素相对于来自所述第一多个特征类型的所述相应的特征类型的至少一个非鞍点元素被反转； 投影模块，所述投影模块能够将所述第一二维编码光图样和所述第二二维编码光图样投影在物体上； 至少一个成像模块，所述至少一个成像模块能够捕获所述物体的第一图像和所述物体的第二图像，所述第一图像具有投影在所述物体上的所述第一二维编码光图样，所述第二图像具有投影在所述物体上的所述第二二维编码光图样；以及 图像处理模块，所述图像处理模块能够处理所述第一图像和所述第二图像。
14.根据权利要求13所述的装置，其中所述鞍点既不是最大值也不是最小值。
15.根据权利要求13所述的装置，其中所述图像处理模块能够从所述第一图像减去所述第二图像来获得合成图像。
16.根据权利要求15所述的装置，其中所述图像处理模块能够: 确定所述被反射的特征类型的所述至少一个非鞍点元素和所述多个鞍点元素在所述合成图像中的位置；以及能够 根据所述被反射的特征类型的所述至少一个非鞍点元素和所述多个鞍点元素在所述合成图像中的位置，确定在所述第一图像或所述第二图像中的特征类型位置。
17.根据权利要求13所述的装置，其中所述图像处理模块能够从所述第二图像与所述第一图像的相加来获得合成图像。
18.根据权利要求17所述的装置，其中所述合成图像包括所述第一多个特征类型和所述第二多个特征类型的增强的鞍点，并且其中所述图像处理模块能够根据在所述合成图像中的相应的增强的鞍点的强度值来确定所述第一多个特征类型和/或所述第二多个特征类型的鞍点的鞍点识别信息。
19.根据权利要求13所述的装置，其中所述处理模块能够从所捕获的所述第一图像与所捕获的所述第二图像的相减的绝对值来获得合成图像。
20.根据权利要求19所述的装置，其中所述合成图像包括在所述第一图像或所述第二图像中的非鞍点之间的边界线。
21.根据权利要求13所述的装置，其中所述投影模块能够执行下列项中的任意一个: 时间地投影所述第一二维编码光图样和所述第二二维编码光图样；以不同的光谱值投影所述第一二维编码光图样和所述第二二维编码光图样；或者 以不同的偏振投影所述第一二维编码光图样和所述第二二维编码光图样。
22.根据权利要求13所述的装置，其中所述至少一个成像模块能够时间地捕获所述第一图像和所述第二图像，产生时间成像。
23.根据权利要求13所述的装置，所述至少一个成像模块能够在不均匀的时间间隔内执行所述时间成像。
24.如权利要求13所述的装置，其中所述至少一个成像模块能够使用谱分化或极分化来同时捕获所述第一图像和所述第二图像。
25.一种由机器可读取的程序存储设备，其可触知地包含了由机器可执行来实现方法的指令程序，所述方法包括: 提供具有第一多个特征类型的第一二维编码光图样和具有第二多个特征类型的第二二维编码光图样，并且来自所述第一多个特征类型和所述第二多个特征类型的每个特征类型根据变化的光强度的唯一的二维构成是可辨别的，并且变化的光强度的所述唯一的二维构成中的每一个与多个元素的唯一组合相关联，所述多个元素包括:至少一个最大值或最小值非鞍点元素以及多个鞍点元素，并且 其中，来自所述第二多个特征类型的每个特征类型与来自所述第一多个特征类型的相应的特征类型相对应，以及其中，来自所述第二多个特征类型的每个特征类型的至少一个非鞍点元素相对于来自所述第一多个特征类型的所述相应的特征类型的至少一个非鞍点元素被反转； 将所述第一二维编码光图样和所述第二二维编码光图样投影在物体上；` 捕获所述物体的第一图像和所述物体的第二图像，所述第一图像具有投影在所述物体上的所述第一二维编码光图样，所述第二图像具有投影在所述物体上的所述第二二维编码光图样；以及 处理所述第一图像和所述第二图像。
26.—种包括计算机可使用的介质的计算机程序产品，该计算机可使用的介质具有包含在其中的计算机可读程序代码，所述计算机程序产品包括: 用于使计算机提供具有第一多个特征类型的第一二维编码光图样和具有第二多个特征类型的第二二维编码光图样的计算机可读程序代码，并且来自所述第一多个特征类型和所述第二多个特征类型的每个特征类型根据变化的光强度的唯一的二维构成是可辨别的，并且变化的光强度的所述唯一的二维构成中的每一个与多个元素的唯一组合相关联，所述多个元素包括:至少一个最大值或最小值非鞍点元素以及多个鞍点元素，并且 其中，来自所述第二多个特征类型的每个特征类型与来自所述第一多个特征类型的相应的特征类型相对应，以及其中，来自所述第二多个特征类型的每个特征类型的至少一个非鞍点元素相对于来自所述第一多个特征类型的所述相应的特征类型的至少一个非鞍点元素被反转； 用于使所述第一二维编码光图样和所述第二二维编码光图样被投影在物体上的计算机可读程序代码； 用于使所述计算机获得所述物体的第一图像和所述物体的第二图像的计算机可读程序代码，所述第一图像具有投影在所述物体上的所述第一二维编码光图样，所述第二图像具有投影在所述物体上的所述第二二维编码光图样；以及 用于使所述计算机处理所述第一图像和所述第二图像的计算机可读程序代码。
【文档编号】G06K9/20GK103776392SQ201310367081
【公开日】2014年5月7日 申请日期:2007年11月20日 优先权日:2006年11月21日
【发明者】伊亚尔·戈登, 古尔·阿里·比坦 申请人:曼蒂斯影像有限公司