专利名称：三维几何建模和三维视频内容创建的制作方法
三维几何建模和三维视频内容创建
与现有申请的关系
本申请要求2006年11月21日提交的美国临时专利60/860,209的优 先权，其内容由此通过引用被并入。
本申请还要求2007年4月4日提交的美国临时专利60/907,495的优 先权，其内容由此通过引用被并入。
本申请还要求2007年5月3日提交的美国临时专利60/924,206的优 先权，其内容由此通过引用被并入。
本申请还要求2007年7月13日提交的美国临时专利60/929,835的 优先权，其内容由此通过引用被并入。
本申请还要求2007年8月13日提交的美国临时专利60/935,427的 优先权，其内容由此通过引用被并入。
本发明的领域和背景
本发明涉及用于使用主动三角测量法(active triangulation method )的
物体的三维成像和深度测量的系统和方法，并且尤其但不排它地涉及在静 止和在运动中的物体的三维成像。
三维传感器系统用在大量应用中。这些传感器系统确定位于传感器系 统视野的场景中的物体的形状和/或表面特征(feature)。近年来，提出了用 于实现三维建模系统的很多方法，这些系统能够对各种应用快速获取物体 的准确的高分辨率三维图像。
这样的三维成像系统的精确配置可能被改变。很多基于 前的三角测 量的系统使用至少两个或多个摄像机(camera)的阵列来确定称为被动立体对应(passive stereo correspondence)的深度j直。这才羊的方法依赖于4皮 高紋理(texture)化的成像表面，因而易于产生误差且非鲁棒性的。而且， 自动对应算法在来自不同摄像机的镜头的匹配中常常包含大量误差。
其它方法利用LIDAR (光成像探测和测距)系统来确定远距离目标 的范围和/或其它信息。用光脉冲的方法，通过测量光脉冲的传输和反射 信号的探测之间的时间延迟来确定到物体的距离。称为飞行时间的这样的 方法通常不受三角测量法中一般的阻塞(occlusion)的影响，但准确度和分 辨率固有地不如在三角测量法中得到的准确度和分辨率。
基于主动三角测量的三维传感器系统和方法一般具有作为光源用于 投影到表面上的 一 个或多个投影4义，以及在离投影仪的限定的 一般校正的 相对位置处的用于使被照明的表面成像的一个或多个摄像机。摄像机和投 影仪因此具有不同的光路，且它们之间的距离称为基线。通过了解基线距 离以及投影和成像角，已知的几何/三角测量方程用于确定到被成像的物 体的距离。在本领域中已知的各种三角测量法中的主要差异在于投影方法 以及通常是结构光的所投影的光的类型、以及在于获得三维数据的图像解 码的过程。
光投影的方法从时间方法变化到空间编码的结构光。在本领域中各种 形式的投影光的例子包括"激光扇(laser fan)"和"线编码光"。
一旦捕获了物体的二维图像，光源被如上所述投影在物体上，图像处 理软件通常分析图像，以提取物体的三维几何结构并可能提取物体通过空 间的三维运动。这通常通过比较所捕获的图像中的特征与以前捕获的图像 和/或与投影光的已知特点和特征来完成。该步骤的实现在当前已知的方 法中广泛地变化， 一般是用于将光投影到物体上的方法的功能。不管所使 用的方法是什么，过程的结果通常是在所捕获的图像中被识别的特征的一 种视差/位移图。根据公知的几何方程，特别是三角测量方程，三维空间 位置和/或三维运动捕获的最后步骤包括上面提到的视差图到深度数据的 转换。
当今存在数百种方法和系统的绝对事实暗示在根本问题是缺乏足够 有效和可靠的用于三维成像的方法。而且，利用主动三角测量法的大多数系统今天被限制到物体的非动态成像。也就是说，即使以高的帧率和快门 速度，成像的物体也必须在图像获取期间保持静止。例如，可给建筑物成 像，而不是骑自行车的人或在街道上移动的汽车。对三维成像的这个限制 是在大多数基于三角测量的三维成像系统中需要的直接结杲，以获得一系 列图像同时随着时间的过去而改变光源的特点。例如，很多方法利用在一 段时间间隔内投影的很多光图样，称为时间编码。
尽管如此，历年来为移动物体的三维成像引入了很多方法，其中大部 分是基于光的单个图样在被成像的物体上的投影，因而从一个或多个同时 存在的图像而不是在一段时间间隔内的多个图像来实现深度测量的重建。 这些单个图样方法可分成两种主要的类别。第一种是辅助立体方法，其中 单个图样被投影，且在来自两个或多个成像系统的两个或多个图像之间进 行比较，以计算深度数据。
第二种是结构光方法，特别是编码结构光方法。这些方法常常只使用 一个成像系统或摄像机。编码结构光方法可进一步分成几种编码类型。使 用编码结构光的 一种这样的类型是空间编码，其因精度和可靠性的各种各 样的问题而受到损害，特别是关于特征识别和其它严重的性能限制。因而， 空间单个图样系统只以非常有限的方式在商业上实现。本领域中进一步的
结构编码^支术是语或彩色编码，这需要中性色表面(color neutral surface),
且通常需要昂贵的成像系统。
因此，存在对克服上面的缺点的系统和方法的未满足的需要，且具有 这样的系统和方法是高度有用的。
发明内容
一种用于从二维图像获得数据以便确定出现在二维图像中的物体的 三维形状的方法，该二维图像以可辨别的几何分离的对极线(epipolar line) 为特征，所述方法包括
提供具有多个不同的特征类型的二维编码光图样,每个特征类型根据 唯一的二维构成是可辨别的，将编码光图样投影到物体上，
捕获具有投影在物体上的被投影的编码光图样的物体的二维图像，所 捕获的二维图像包括被反射的特征类型，
根据唯一的二维构成提取被反射的特征类型，以及
提取特征类型在所捕获的图像中相应的对极线上的位置。
一种用于从二维图像获得数据以便确定出现在二维图像中的物体的 三维形状的装置，该二维图像以可辨别的几何分离的对极线为特征，所述
装置包括
具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一 的二维构成是可辨别的，
投影仪，其用于将编码光图样投影到物体上，
成像设备，其用于捕获具有投影在物体上的被投影的编码光图样的物 体的图像，所捕获的图像包括被反射的特征类型，以及
解码器，其配置成
a) 根据唯一的二维构成提取被反射的特征类型，
b) 提取特征类型在所捕获的图像中相应的对极线上的位置。
一种用于从二维视频图像获得数据以便确定出现在所述二维视频图 像中的移动物体的三维形状的方法，该二维视频图像的每个帧以可辨别的 几何分离的对极线为特征，所述方法包括
提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据 唯一的二维构成是可辨别的，
将编码光图样投影到移动物体上，
捕获具有投影在移动物体上的被投影的编码光图样的移动物体的二 维视频图像，所捕获的二维视频图像包括被反射的特征类型，以及
对于视频图像的每个被捕获的帧
a)根据唯一的二维构成提取被反射的特征类型，b)提取特征类型在相应的对极线上的位置。
一种用于从二维视频图像获得数据以便确定出现在所述二維视频图 像中的移动物体的三维形状的装置，该二维视频图像的每个帧以可辨别的 几何分离的对极线为特征，所述装置包括
具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一 的二维构成是可辨别的，
投影仪，其用于将编码光图样投影到移动物体上，
成像设备，其用于捕获具有投影在移动物体上的被投影的编码光图样 的移动物体的二维视频图像，所捕获的二维视频图像包括被反射的特征类
型，以及
解码器，其配置成
a) 根据唯一的二维构成提取被反射的特征类型，
b) 对于视频图像的每个被捕获的帧，提取特征类型在相应的对 极线上的位置。
一种用于获得包括一个或多个物体的场景的距离数据的方法，所述方 法包括
将具有多个不同的特征类型的二维编码光图样投影到场景上，以便从 场景中不同的相应反射位置反射光图样的每个特征，特征类型根据二维构 成在图样上可辨别为唯一的，
捕获包括被反射的特征的、场景的二维图像，
对出现在二维图像中的每个被反射的特征
a) 根据唯一的二维构成确定相应的特征类型，
b) 确定特征类型在相应的对极线上的位置，
根据相应的确定的特征类型并根据相应的确定的对极线位置，对每个 被反射的特征得到相应的相关反射点的相应距离。
在包括图样投影装置和图像捕获装置的系统中一种获得场景数据的方法，所述图样投影装置操作地将多个特征类型二维光图样投影到场景上 使得多个特征类型二维光图样的每个特征从相应的反射点反射，所述图像 捕获装置操作地捕获包括被反射的特征的、场景的二维图像，所述方法包 括
a) 对于特征集合中的每个特征，包括根据唯一的二维构成可辨别的 特征，其中二維光图样的第 一特征类型不同类的多个对极共线特征与第一 对极线相关，而第二特征类型不同类的多个对极共线特征与不同于第一对 极线的第二对极线相关，提供了相应的反射点距离图像点位置关系的相 应描述，从而提供多个反射点距离图像点位置关系，
b) 对于目标场景的被捕获的二维图像，对于特征集合中的每个特征， 从场景的被捕获的二维图像根据唯一的二维构成确定相应的特征类型并 确定每个特征的相应的对极线标识(identity);
c) 对特征集合中的每个特征，根据确定的特征类型和对极线标识， 使每个特征与从多个反射点距离图像点位置关系选择的相应的反射点距 离图像点位置关系关联；以及
d) 对特征集合中的每个特征，使用相应的选定的反射点距离图像点 位置关系来根据目标场景的被捕荻的二维图像中的位置确定目标场景中 相应的反射点的位置。
一种用于从目标场景获得场景数据的系统，该系统包括
a) 图样投影装置，其操作地将具有多个不同的特征类型的二维编码 光图样投影到场景上，以便每个特征从相应的反射点反射，特征类型根据 二维构成在图样中可辨别为唯 一 的，
b) 图像捕获装置，其操作地捕获包括被反射的特征的、场景的二维 图像；以及
c) 图像处理元件，对二维图像的每个被反射的特征，其操作来
i)对每个一皮反射的特征
A.根据唯一的二维构成确定特征类型；
30B.确定相应的对极线位置；以及
ii)根据相应的确定的特征类型并根据相应的确定的对极线位
置，对每个被反射的特征得出相应的相关反射点的相应距离。
一种用于从目标场景获得场景数据的系统，该系统包括
a) 图样投影装置，其操作地将具有多个不同的特征类型的二维编码 光图样投影到场景上，以便每个特征从相应的反射点反射，特征类型根据 二维构成在图样中可辨别为唯一的，
b) 图像捕获装置，其操作地捕获包括被反射的特征的、场景的二维 图像，图样投影装置和图像捕获装置配置成使得每个被反射的特征以不受 场景距离影响的方式保持在被捕获的二维图像中确定的对极线上；以及
c) 图像处理元件，其操作来
i) 根据二维图像中的特征的唯一的二维构成对每个^L反射的特 征确定相应的特征类型ii) 以不受特征的对极线排序影响的方式区别开特征。 一种用于从目标场景获得场景数据的系统，该系统包括
a) 图样投影装置，其操作地将具有多个不同的特征类型的二维编码 光图样投影到场景上，以便每个特征从相应的反射点反射，特征类型根据 二维构成在图样中可辨别为唯一的，
b) 图像捕获装置，其操作地捕获包括被反射的特征的、场景的二维 图像，其中图样投影装置和图像捕获装置以不受离目标场景的距离影响的 方式操作，使得对于在所捕获的二维图像中多线对极线集合中的每个不同 的对极线
i) 二维光图样的特征类型不同类的多个投影特征存在于每个对
极线上；
ii) 至多一个特征类型存在于每个对极线上。
一种用于确定出现在两个所得到的二维图像中的被成像的物体的三 维形状的方法，所得到的图像通过限定的对极场(epipolar field)彼此相关，所述方法包括
提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据 唯一的二维构成是可辨别的，
将编码光图样投影到被成像的物体上， 捕获被成像的物体的第一二维图像， 捕获被成像的物体的第二二维图像，
选择第一二维图像的像素区域PXl,出现在PX1上的内容被约束为
出现在第二二维图像中特定的对极线EPm上，
在第二图像中沿着对极线EPm找到PX1的内容，以及
确定在第一图像和第二图像之间的PX1的内容出现的相对位置。
一种用于确定出现在两个所得到的二维图像中的被成像的物体的三 维形状的装置，二维图像从至少两个实质上相邻的成像设备得到，图像通 过限定的对极场彼此相关，所述装置包括
具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一 的二维构成是可辨别的，
投影仪，其用于将编码光图样投影到被成像的物体上，
第 一成像设备，其用于捕获被成像的物体的第一二维图像，
第二成像设备，其用于捕获被成像的物体的第二二维图像，
图像处理设备，其用于
a) 选择第一二维图像的像素区域PX1，出现在PX1上的内容被 约束为出现在第二二维图像中特定的对极线EPm上，
b) 在第二图像中沿着对极线EPm找到PX1的内容，以及
c) 确定在第一图像和第二图像之间的PX1的内容出现的相对位置。
一种用于城市场景的三维建模的基于三角测量的方法，该方法捕获具 有投影在城市场景上的被投影的结构光图样的城市场景的至少两个图像，图像通过限定的对极场彼此相关，每个图像进一步具有与投影仪有关的额 外的对^f及场，所述方法包括
提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据 唯一的二维构成是可辨别的，
将编码光图样投影到城市场景上，
捕获包括被反射的特征类型的城市场景的第一二维图像， 捕获包括被反射的特征类型的城市场景的第二二维图像，
选择第一二维图像的像素区域PXl,出现在PX1上的内容被约束为 出现在第二二维图像中特定的对极线EPm上，
在第二图像中沿着对极线EPm找到PX1的内容，以及
确定在第一图像和第二图像之间的PX1的内容出现的相对位置，以
及
独立地对于每个被捕获的图像，进一步根据唯一的二维构成提取被反 射的特征类型和提取特征类型在相应的对极线上的位置。
一种用于城市场景的基于三角测量的三维建模的装置，该装置包括用 于捕获城市场景的至少两个图像的至少两个实质上相邻的成像设备，该装 置进一步具有用于将结构光图样投影在场景中的物体上的投影仪，图像通 过限定的对极场彼此相关，每个图像进一步具有与投影仪有关的额外的对 极场，所述装置包括
具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一 的二维构成是可辨别的，
投影仪，其用于将编码光图样投影到城市场景上，
第一成像设备，其用于捕获包括被反射的特征类型的城市场景的第一 二维图像，
第二成像设备，其用于捕获包括被反射的特征类型的城市场景的第二 二维图像，
图像处理设备，其用于a) 选择第一二维图像的像素区域PXl,出现在PX1上的内容被
约束为出现在第二二维图像中特定的对极线EPm上，
b) 在第二图像中沿着对极线EPm找到PX1的内容，
c) 确定在第一图像和第二图像之间的PX1的内容出现的相对位
置，以及
d) 独立地在每个图像中根据唯一的二维构成提取被反射的特征 类型和提取特征类型在相应的对极线上的位置。
一种用于从二维图像获得数据以便确定出现在二维图像中的物体的 三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述 方法包4舌
提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征 类型根据唯一 的二维构成是可辨别的，
提供二维编码光图样的反图样(inverse)，
将编码光图样和反的编码光图样投影在物体上，
捕获
1) 具有投影在物体上的被投影的编码光图样的物体的第一图像，第 一图像包括被反射的特征类型，
2) 具有投影在物体上的反的编码光图样的物体的第二图像，第二图 像包括被反射的特征类型，
从第一被捕获的图像中减去第二被捕获的图像来获得合成图像 (resultant image)， 以及
在合成图像中根据唯一 的二维构成提取被反射的特征类型和提取特 征类型在相应的对极线上的位置。
一种用于从两个二维图像获得紋理数据的方法，每个图像包括用于对 每个图像独立地获得被成像的物体的深度数据的反射码，所述方法包括
提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征 类型根据唯一的二维构成是可辨别的，提供二维编码光图样的反图样，将编码光图样和反的编码光图样投影在物体上，捕获1) 具有投影在物体上的被投影的编码光图样的物体的第一图像，第 一图像包括被反射的特征类型，2) 具有投影在物体上的反的编码光图样的物体的第二图像，第二图 像包括被反射的特征类型，从第二被捕荻的图像与第一被捕获的图像的相加中获得合成图像，合 成图像提供被成像的物体的紋理信息。一种用于从二維图像获得数据以便确定出现在二维图像中的物体的 三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述 方法包4舌提供具有多个不同的可识别的特征类型的第一二维编码光图样，每个 特征类型包括光强度变化的点，其中特征类型的一个点为最大值或最小 值，提供第二二维编码光图样，第二二维编码光图样包括具有最大值或最 小值反转了的第一图样，将第 一编码光图样和第二编码光图样投影在物体上，捕获1 )具有投影在物体上的第一被投影的编码光图样的物体的第一图像， 第 一 图像包括被反射的特征类型，2)具有投影在物体上的第二编码光图样的物体的第二图像，第二图 像包括被反射的特征类型，从第 一被捕获的图像中减去第二被捕获的图像来获得合成图像,合成 图像包括被反射的特征类型的最大值点和最小值点，以及在合成图像中提取最大值点和最小值点以及最大值点和最小值点在 相应的对极线上的位置。一种用于从二维图像获得数据以便确定出现在二维图像中的物体的 三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述方法包4舌提供具有多个不同的可识别的特征类型的第一二维编码光图样，每个 特征类型由光强度变化的点组成，其中特征类型的一个点是最大值或最小 值，提供第二二维编码光图样，第二二维编码光图样包括具有最大值或最 小值反转了的第一图样，将第一编码光图样和第二编码光图样投影在物体上，捕获1 )具有投影在物体上的第一被投影的编码光图样的物体的第一图像， 第 一 图像包括被反射的特征类型，2)具有投影在物体上的第二编码光图样的物体的第二图像，第二图 像包括被反射的特征类型，从第一被捕获的图像与第二被捕获的图像的相加来获得合成图像,合 成图像包括被反射的特征类型的非最大值强度点和非最小值强度点，在合成图像中提取被反射的特征类型的非最大值点和非最小值点以 及非最大值点和非最小值点在相关的对极线上的位置。一种用于从二维图像获得数据以便确定出现在二维图像中的物体的 三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述 方法包括提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据 唯一的二维构成是可辨别的，提供二维编码光图样的反图样，将编码光图样和反的编码光图样投影在物体上，捕获1)具有投影在物体上的被投影的编码光图样的物体的第一图像，第36一图像包括被反射的特征类型，
2)具有投影在物体上的反的编码光图样的物体的第二图像，第二图 像包括被反射的特征类型，
从第 一被捕获的图像与第二被捕获的图像相减的绝对值来获得合成 图像，合成图像包括被反射的特征类型的轮廓，
在合成图像中提取轮廓以及轮廓在相应的对极线上的位置。
一种用于从二维图像获得数据以便确定出现在二维图像中的物体的 三维形状的方法，该二維图像以可辨别的几何分离的对极线为特征，所述
方法包括
提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征 类型根据唯 一 的二维构成是可辨别的，
将编码光图样投影在物体上，
捕获
1) 具有投影在物体上的被投影的编码光图样的物体的第一图像，第 一图像包括被反射的特征类型，
2) 具有投影在物体上的环境光的物体的第二图像，
从第 一被捕获的图像中减去第二被捕获的图像来获得合成图像，
在合成图像中提取被反射的特征类型和特征类型在相应的对极线上 的位置。
一种用于确定出现在两个所得到的二维图像中的被成像的解剖 (anatomical)表面元件的三维形状的方法，所得到的图像通过限定的对极 场彼此相关，所述方法包括
提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征 类型根据唯一的二维构成是可辨别的，
将编码光图样投影到解剖表面元件上，
捕获解剖表面元件的第一二维图像，捕获解剖表面元件的第二二维图像，
选择第一二维图像的像素区域PXl,出现在PX1上的内容被约束为
出现在第二二维图像中特定的对极线EPm上，
在第二图像中沿着对极线EPm找到PX1的内容，以及
确定在第一图像和第二图像之间的PX1的内容出现的相对位置。
一种用于确定出现在两个所得到的二维图像中的被成像的解剖表面 元件的三维形状的装置，二维图像从至少两个实质上相邻的成像设备得 到，图像通过限定的对极场彼此相关，所述装置包括
具有多个不同的可识别的特征类型的二维编码光图样，每个特征类型 根据唯一的二維构成是可辨别的，
投影仪，其用于将编码光图样投影到解剖表面元件上，
第一成像设备，其用于捕获被成像的解剖表面元件的第一二维图像，
第二成像设备，其用于捕获被成像的解剖表面元件的第二二维图像，
图像处理设备，其用于
a) 选择第一二维图像的像素区域PX1，出现在PX1上的内容被 约束为出现在第二二维图像中特定的对极线EPm上，
b) 在第二图像中沿着对极线EPm找到PX1的内容，以及
c) 确定在第一图像和第二图像之间的PX1的内容出现的相对位置。
一种用于解剖表面元件的三维建模的基于三角测量的方法，该方法捕 获具有投影在解剖表面元件上的被投影的结构光图样的解剖表面元件的 至少两个图像，图像通过限定的对极场彼此相关，每个图像进一步具有与 投影仪有关的额外的对极场，所述方法包括
提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据 唯一的二维构成是可辨别的，
将编码光图样投影到解剖表面元件上，捕获包括被反射的特征类型的城市场景的第一二维图像， 捕获包括被反射的特征类型的城市场景的第二二维图像， 选择第一二维图像的像素区域PXl,出现在PX1上的内容被约束为
出现在第二二维图像中特定的对极线EPm上，
在第二图像中沿着对极线EPm找到PX1的内容， 确定在第一图像和第二图像之间的PX1的内容出现的相对位置，以
及
独立地对于每个被捕获的图像，进一步根据唯一的二维构成提取被反 射的特征类型和特征类型在相应的对极线上的位置。
一种用于对解剖表面元件的基于三角测量的三维建模的装置，该装置 包括用于捕获表面元件的至少两个图像的至少两个实质上相邻的成像设 备，该装置进一步具有用于将结构光图样投影在解剖元件上的投影仪，图 像通过限定的对极场彼此相关，每个图像进一步具有与投影仪有关的额外 的对极场，所述装置包括
二维编码光图样，其具有多个不同的特征类型，被反射的特征类型根 据唯一的二维构成和特征类型在相应的对极线上的位置，
投影仪，其用于将编码光图样投影到解剖元件上，
第 一成像设备，其用于捕获包括被反射的特征类型的解剖元件的第一 二维图像，
第二成像设备，其用于捕获包括被反射的特征类型的解剖元件的第二 二维图像，
图像处理设备，其用于
a) 选择第一二维图像的像素区域PX1，出现在PX1上的内容被 约束为出现在第二二维图像中特定的对极线EPm上，
b) 在第二图像中沿着对极线EPm找到PX1的内容，
c) 确定在第一图像和第二图像之间的PX1的内容出现的相对位
置，以及d)独立地在每个图像中提取被反射的特征类型和特征类型在相 应的对极线上的位置。
一种可安装在机动车辆上的装置，该装置配置成获得在离车辆尾部的 一定范围内的物体的深度数据，并进一步配置成获得二维图像以便从其确 定深度数据，二维图像以可辨别的几何分离的对极线为特征，该装置包括
二维编码光图样，其具有多个预定的可识别的特征类型，每个特征类 型根据唯一的二维构成是可辨别的，
投影仪，其用于将编码光图样投影到物体上，
第一成像设备，其用于捕获具有投影在物体上的被投影的编码光图样 的物体的图像，被捕获的图像包括被反射的特征类型，以及
解码器，其配置成根据唯一的二维构成提取被反射的特征类型和提取 特征类型在被捕荻的图像中相应的对极线上的位置。
一种用于荻得位于机动车辆后的目标场景的深度数据的系统，该系统
包括
a) 图样投影装置，其操作地将具有多个不同的特征类型的二维编码 光图样投影到场景上，使得每个特征从相应的反射点反射，特征类型根据 二维构成在图样上可辨别为唯一的；
b) 图像捕获装置，其可安装在机动车辆上，并操作地捕获包括被反 射的特征的、场景的二维图像；以及
c) 图像处理元件，其对二维图像的每个被反射的特征操作来
i) 对每个被反射的特征
A. 根据唯一的二维构成确定特征类型；
B. 确定相应的对;f及线位置；以及
ii) 根据相应的确定的特征类型并根据相应的确定的对极线位 置，对每个被反射的特征得出相应的相关反射点的相应距离。
一种用于从二維图像获得数据以便确定出现在二维图像中的物体的 三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述方法包4舌
提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征 类型根据唯一的二维构成是可辨别的，
将编码光图样投影到物体上，
捕获
1) 具有投影在物体上的被投影的编码光图样的物体的第一图像，第 一图像包括被反射的特征类型，
2) 具有投影在物体上的均匀光的物体的第二图像，
从第 一被捕获的图像被第二被捕获的图像除，来获得合成图像，
在合成图像中提取被反射的特征类型和特征类型在相应的对极线上 的位置。
一种用于从二维图像获得数据以便确定出现在二维图像中的物体的 三维形状的方法，该二维图像以可辨别的几何分离的对极线为特征，所述 方法包4舌
提供具有多个不同的可识别的特征类型的第一二维编码光图样，每个 特征类型根据唯一的二维构成是可辨别的，
提供具有多个不同的可识别的特征类型的、不同于第一图样的、第二 二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，
将第一编码光图样投和第二编码光图样投影到物体上，
捕获
1 )具有投影在物体上的第 一被投影的编码光图样的物体的第 一 图像， 第 一 图像包括被反射的特征类型，
2)具有投影在物体上的第二编码光图样的物体的第二图像，第二图 像包括被反射的特征类型，
独立地在每个图像中根据唯一 的二维构成提取被反射的特征类型和 提取特征类型在相应的对极线上的位置，比较在第二图像中对极线的区域与在第一图像中沿着相同对极线的 相似区域，以验证第 一 图像中的特征标识。
除非另外规定，这里使用的所有技术和科学术语具有与本发明所属的 领域中的普通技术人员所一般理解的相同的含义。这里提供的资料、方法 和例子仅仅是示例性的，且不意味着是限制性的。
本发明的方法和系统的实现包括手动、自动或组合地执行或完成某些 选定的任务或步骤。而且，根据本发明的方法和系统的优选实施方式的实 际仪器和设备，一些选定的步骤可通过硬件或通过软件在任何固件的任何 操作系统上实现，或由其组合实现。例如，作为硬件，本发明的选定步骤 可实现为芯片或电路。作为软件，本发明的选定步骤可实现为多个软件指 令，这些软件指令由使用任何适当的操作系统的计算机执行。在任何情况 下，本发明的方法和系统的选定阶段可被描述为由数据处理器执行，例如 用于执行多个指令的计算平台。
附图的简要说明
参考附图，仅作为例子在这里描述了本发明。现在特别详细地参考附 图，应强调，显示的细节仅作为例子，并仅为了本发明的优选实施方式的 例证性讨论，且介绍细节以便提供被认为是最有用的东西和本发明的原理 和概念方面的容易理解的描述。在这方面，不试图显示比基本理解本发明 所必需的更详细的本发明的结构细节，采用附图的描述使本发明的 一 些形 式可如何体现在实践中对于本领域技术人员变得明显。
在附图中
图1A-1G是示出本发明的一个实施方式的简图，其显示二维光图样 成1象如<可与对极几何的原理一起使用。
图2是示出在当前实施方式的三维图像和/或运动图像捕获的过程中 的步骤的简化流程图。
图3示出被投影以获得反射图样的对极分离和相应的图像Ip,的示例 性空间周期性二维图样P1 。
42图4是示出如何得到所捕获的二维图像中的被识别的特征的相应的 三维空间位置的简化流程图和图解。
图5示出通过本发明的实施方式的方法得到的另外的示例性点云。
图6A是根据对极分离原理投影之后的反射图样的简化示意性表示。
图6B再次示出反射图样的筒化示意性表示，但现在包括相同特征在
图像中的给定对极线上的多次出现。
图7是根据本发明的特定实施方式投影的优选光图样的被捕获的图
像的简化图示。
图8是此刻关于对极场的方向、以较小的旋转角投影的图样的简化示 意性表示。
图9是可用在某些实施方式中的非有序和非周期性二维空间图样的 筒化示意图。
图10示出包括优选的编码图样P1的示例性特征类型的图示。
图11是在从成像立方体(imaged cube)反射之后如所见的图像I'P1的示 例性图样Pl的图示。
图12A和12B示出图样P1中固有的构造过程和编码方案。
图12C包括在从被成像的物体反射并被视为成像装置中所捕获的图 像的部分之后，图样P1中的采样点的筒化图示。
图13A示出使用实现对极分离技术的图样Pl的优选投影和成像方法。
图13B1示出提供增加数量的采样点的优选图样P2。
图13B2示出图样P2中固有的构造过程和编码方案。
图13C示出时间编码实施方式的两个优选图样T1和T2。
图13D示出时间编码实施方式的优选图样T2的特写。
图14示出示例性字符或特征类型连同示例性图样P1的图像/『
图15是涉及P1和-P1的本发明的优选双重投影和双重成像实施方式
43的图示。
图16是两个图像P,和-P,的相加的图示。
图17是本发明的双重投影和双重成像方法的优选实施方式。
图18示出图17的两个成像图样的相加。
图19示出从图像P,减去-P,的绝对值得到的合成图像的图示。
图20是从图像P,减去-C的绝对值得到的合成图像的图示。
图21是双重图样投影和双重图样成像的特定实施方式的图示。
图22是使用均匀光的双重投影的特定实施方式的图示。
图23是示出两个图像之间的对极场如何相关的简化图示。
图24是示出在特定实施方式中分离的对极场对于相应的成像装置和 投影仪如何存在的简化图示。
图25是示出在产生城市地区的三维地图的过程中的步骤的本发明特 定实施方式的简化流程图。
图26是示出在解剖部分的三维成像的过程中的步骤的本发明特定实 施方式的简化流程图。
图27是示出确定在倒车机动车辆的路径中的障碍距离的过程中的步 骤的本发明特定实施方式的简化流程图。
优选实施方式的描述
本实施方式提供了用于静止和运动物体的三维成像的装置和方法。特 别是，通过(a)将编码二维光图样投影在物体上；以及(b)利用与对极 几何和三角测量相关的光学约束和原理来分析反射二维光图样的二维图 像，可能确定给定物体的三维空间形状数据。
参考附图和附随的描述可更好地理解根据本发明的装置和方法的原 理和操作。
在详细解释本发明的至少一个实施方式之前，应理解，本发明在其应用中不限于在下面的描述中阐述或在附图中示出的结构的细节和部件的 布置。本发明允许其它实施方式或能够以各种方法实践或实施。此外，应 理解，这里使用的措辞和术语是为了描述的目的，而不应被视为限制性的。
确定一个戚多个浙体的三维深度慰
现在参考图1A-1D，其为示出本发明的一个实施方式的简图。在图 1A-1D的特定例子中，系统10包括存在于相应的位置(x,p, y,p， z,p)和(x人 y,i, z。的投影仪12和成像装置14。包括可识别的特征类型的有限集合的 预定阵列的编码二维光图样16由投影仪12投影到在包含被成像的物体 18a、 18b和18c的场景中的表面上。在投影图样中的示例性特征被表示 为20a、 20b、 20d和20f。在该特定例子中，投影图样采取强度变化的单 色光束或阵列的形式，其中相邻光束的组合包括具有二維空间构成 (bi-dimensional spatial formation)的编码特征或字母。这些特征在不同 的反射点19a、 19b、 19d和19f处与被成像的物体表面相交，并接着在成 像装置14的传感器24上捕获的二维图像22中被观察到。投影特征19a、 19b、 19d和19f因而作为被捕获的图像22中的被反射的特征28a、 28b、 28d和28f出现。成像装置14可例如是CCD或CMOS数字视频摄像机或 任何其它类型的光探测器元件阵列。
投影仪12和传感器24之间的相对位置30是固定的，因而给予系统 10以几何约束。该约束将所捕获的图像22中的任何给定被反射特征28a、 28b、 28d和28f的位置限制到称为对极线的图像中的唯——组点。对极 线P、 cp和p在图中示出。也就是说，对于具有给定光图样以及投影仪和 传感器之间的固定相对位置的系统10,对于上面投影了图样的任何物体 或一组物体，在所捕获的图像22中特定的单个对极线上总是观察到投影 图样的每个特征。而且，如下面将解释的，不管被成像的物体是固定的还 是处于与投影仪/成像装置的相对运动中，上面内容都适用。图样中的每 个特征和恒定的对极线之间的关系因而与所述特征被反射的三维空间中 的反射点无关。
示例性投影特征的反射点被表示为19a、 19b、 19d和19f，并具有相 关的相应反射距离DA. Db、 Dd和Df。反射距离是从成像装置的传感器24到被成像的物体18a、 18b、 18c上给定特征被反射的三维空间中反射点位 置的距离。反射距离有时称为深度。
因此，如图1A-1D所示，存在于图像22中的每个被反射的特征28a、 28b、 28d和28f被约束到相应的特定对极线，而与特征被从其反射的空 间中的点无关。特征28a因而被约束到与19a的三维位置无关或可选地与 反射距离DA无关的对极线(p。特征28b和28d是来自共享相同的对极线 (3的图样的两个被反射的特征。特征28b和28d总是存在于与反射距离 Db和DD无关的该对极线上。类似地，特征28f总是反射到与反射距离 Dp无关的对极线p上。
然而，反射距离或可选地特征被从其反射的三维空间中的点实际上确 定沿着该对极线所述特征出现的地方。因此，反射距离不影响给定被反射 的特征在其上出现的特定对极线，而更确切地只影响沿着该线的精确位置。
为了说明依赖于反射距离的沿着对极线的特征的位置的变化，我们现 在转到图1E-1G。在图1E、 1F和1G的每个中，投影仪和成像装置虽然 总是彼此处于固定的相对距离，但相对于物体18a移动。在图1E中，投 影仪12和成像装置14分别在(x,P， y,P, z,P)和(x,i， yr， z,)位置。当从物体18a 上的反射点19a被反射之后，在对极线cp上的被反射的特征28a (投影特 征20a)的反射距萬被看作Da。在图1F中，投影仪和成像装置移到空间 中相应的点(X2P，y/, z/)和(X2i,yi,z力。当从物体18a上的不同反射点19a' 被反射之后，被反射的特征28a的反射距离现在是DA'。作为结果，特征 28a现在反射到对极线cp的下部分上。在图1G中，投影仪和成像装置移 到空间中的第三组相应的坐标(x/, y3p， z/)和(xA y3i, z3j)。当从物体18a上 又一第三个反射点19a"被反射之后，被反射的特征28a的反射距离现在 是Da"。作为结果，特征28a现在反射到对极线cp的上部分上。然而，不 管反射距离是什么，被反射的特征28a (投影特征20a)都必须总是出现 在对极线cp上，且只在cp上。为了清楚的目的，每个特征都只与本实施 方式中的一个对极线相关。应理解，因为特征包括被捕获的图像中光强度 的空间构成，每个特征的元素可位于分立的可辨别的对极线上。应理解，系统10和被成^f象的物体之间的任何相对运动使特定特征的 反射距离变化。该相对运动可从被成像的物体的运动、从投影仪/成像系 统的运动、或从被成像的物体和投影仪/成像系统两者的运动产生。反射 距离的任何变化都引起给定被反射的特征沿着该特征的相关对极线的精 确位置的变化。然而，特征在其上出现的特定对极线保持不变。
因此，我们可断定，对才及几何的原理规定图像中的一组二维坐标和由 成像装置观察的空间中的三维坐标之间的映射。此外，给定被捕获的特征 沿着特定对极线出现的精确位置依赖于特征的反射距离，或换句话说，特 征从其被反射的三维空间中的点。
对于每个图像或帧，根据特征类型识别每个被反射的特征，且优选地 通过图像处理设备36确定图像中沿着特征的相关对极线的被反射的特征 的位置。被识别的特征沿着特征的对极线的精确位置于是对应到该特征在 原始投影图样中的位置。特征在图像和投影图样之间这种对应允许基于三 角测量的计算，以确定特征从其被反射的三维空间坐标。预先计算的三角 测量表可用于确定特征从其被反射的物体上的点的三维空间位置。在一些
实施方式中，这些基于三角测量的计算由图像处理设备36实施。
该过程可对二维图像的多个特征重复，其中每个特征从三维被成像的 物体的表面上的不同的相应位置被反射。对于任何给定的图像帧，所捕获 的二维图像中每个这样识别的特征导致三维空间位置，所有这样的空间位 置的编制(compilation)包括三维空间中位置的点云。此三维点云给出被成 像的物体的三维映射。点云的进一 步的处理可产生本质上将三维云的点熔 合成三维表面的三维网格(mesh)。根据场景中物体的额外的紋理捕获，该 网格也可以是给定图形紋理。对于运动中的物体的三维映射，对单个图像 描述的上面的过程在产生三维视频的 一 系列图像上实施。
慰么'三维厨像捕获的简化流程街
参考图2,其为示出在当前实施方式的三维图像和/或运动图像捕获 的过程中的步骤的筒化流程图。在下面附图中进一步详细地讨论该流程图 的每个步骤。流程图连同图1A-1G—起给读者提供这里所述的三维成像 过程的简单和总体直观的理解。步骤70提供了预定的编码光图样。如在图1A-1D中举例说明的并被 表示为16的该编码光图样，是以变化强度的光束的空间构成的形式的特 征类型的有限集合的阵列。下面在附图中讨论图样的优选实施方式及其特点。步骤72是该图样在物体上的投影。下面也在附图中讨论几个优选的 投影方法。在步骤74中，捕获包含从物体反射的特征的二维图像，图样 投影在该物体上。在步骤76,分析图像以识别特征及其沿着相应的对极 线的位置。在步骤78,接着使沿着其对极线的特征的位置与特征被反射 的空间中的三维坐标相关。下面讨"i仑通过三角测量技术执行的、沿着对极 线的特征位置和三维空间坐标之间的此关联过程。对于二维图像中的每个 被识别的特征，因而得到指示特征从被成像的物体反射的空间中的点的相 应的三维坐标。在步骤80，通过所有这样的三维坐标的编制，得到给出 被成像的物体的三维映射的三维点云。点云的进一步的处理可产生本质上 将三维云的点熔合成三维表面的三维网格。也可根据该场景中物体的额外 的紋理捕获给该网格提供图形紋理。在物体或摄像机在运动中的情况下，步骤74-80可连续重复，以获得 三维运动捕获。在三维运动捕获的这样的情况下，从移动物体反射的光图 样的一系列二维捕获的图像包括视频序列中的帧。该二維视频序列可按在 流程图中讨论的方式被逐帧处理，以得到每帧的三维空间坐标。结杲是一 系列点云，视频序列的每帧有一个点云，其一起包括随着时间的过去的动 态三维映射。厨l街袢拔影和对极分离图3提供了可投影到物体上的示例性空间周期性二维图样P1。 二维 图样包括多个不同的特征类型20,其出现在图样内的不同位置处。为了 清楚，在本图中，每个唯一的特征类型被任意分配字母字符。如下面在图 10中进一步详细解释的，每个图样特征都由黑点和白点的编码空间构成 组成。特征在代码中以循环的方式重复。特别地，相同的特征类型在图样 的垂直方向上每隔1行并在图样的水平方向上每隔16列重复自身。图样 特征的黑点和白点相应于在被成像的物体上的单色光的高或低照明强度 的投影。代码中的每个字符因此是投影光强度的二维空间构成。在本实施方式的图样P1中，该构成是连续的。也可实现具有非连续构成的其它图样。在从三维物体反射之后，投影周期性图样P1的子部分48产生包含 反射图样的图像Ip,。示出对极线52、 54和56。因此，图像Ip,是当从被 成像的物体反射时通过成像装置被观察到的反射图样的简化图示。为了简 单起见，只示出反射图样，而没有示出也出现在IP1中的任何反射的被成 像的物体。在这个特定的实施方式中，投影仪和成像装置彼此垂直地放置， 因而使被捕获的图像中的对极线在实质上垂直的方向上。在另一可能的实 施方式中，投影仪和成像装置可彼此水平地放置，在这种情况下被捕获的 图像中的对极线实质上是水平的。如在上面看到和提到的，任何给定的特征类型在图样的垂直方向上循 环地重复自身很多次，并且如果图样无旋转地被投影，相同类型的很多特 征在被捕获的图像中在相同的垂直对极线上会被观察到。然而，通过投影 图样的稍微旋转，相同类型的特征被反射到图像IPI中分离的对极线上。 例如，都是类型(A)的特征58和60现在反射到两个相邻的但可辨别地 分离的对极线52和54上。如将在下面进一步解释的，在被捕获的图像中 分离的对极线上的所有相同图样特征类型的分离明确地实现每个特征的 识别，该分离在这里称为对极分离。为了理解为什么是这样，接下来是系 统校准的简短讨论，以理解在原始投影图样中的特征和被捕获的图像中的 对极线之间的关系。如上所解释的，给定特定的图样，例如在本实施方式中描述的图样， 并假定投影仪和成像装置之间的固定相对位置的几何约束，任何给定的图 样特征出现在包含反射图样的图像中恒定的预定对极线上。投影图样中的 每个特征和反射图样的图像中相关的对极线之间的此预定关系可用很多 方法确定，包括强力(bmte force)。确定该关系的过程可称为对极场校准 过程，并对于成像设备和投影仪的给定图样和给定配置实施一次。这样的 映射的结果是如下面看到的对极场表。厨样中的特征类型和位f被捕获的^傢中的对极钱 (A,)在X,，Y, E,(A2)在X2,Y2 E2(AN)在X3， Y3 EN(B,)在 X4, Y4 E,(B2)在X5,Y5 E2(Bm)在X6, Y6 EN如从表中看到的，图样中特征类型的每次出现与不同的对极线相关 对出现在图像中的投影图样中的同样数量的(A)类型出现，(A,)与E, 、 (A2) 与E2，依此类推。当然不同类型的特征例如(AO和(B,)可落在相同的对极 线例如E,上。因此，从校准过程知道了落在这些对极线上的原始图样中 所有的对极线位置和特定的特征。如所提到的，包含反射图样的任何给定的图像包括某个尺寸的 一组特 征类型。在本实施方式的图样中，这组包括32个类型。用于给被捕获的 图像解码的解码引擎根据包括对极线的图像中的特征类型和位置坐标，给 每个特征解码。接着使这个被解码的图像特征与原始投影图样中特定的特 征一致。例如，如果发现特征类型(A)在对极线E2上，则从对极场校准表中，我们知道该图像特征唯一地相应于原始图样中的特征(A2),而不是图样中的任何其它特征。此外，如果循环图样没有旋转地被投影，相同类型 的很多特征将被捕获的图像中在相同的对极线上被观察到。因为根据特征 类型来识别被反射的特征，在相同的图像特征类型与其在原始图样中相应 的特征之间将无法在一对一的基础上对应。换句话说，没有对图像中的哪 个被识别的(A)特征类型对应于投影图样中的哪个(A)类型特征的指示。然而，通过将每个特征类型限制到在被捕获的图像中特定对极线上的 单个出现，可进行该特定图像特征和图样中该特征的出现的关联。因此每 个对极线都有给定特征类型的至多 一个特征。所以，对于所有的图样特征， 图样P1中的每个(A)特征类型落在图像中不同的对极线上，每个(B)特征 类型落在独立的对极线上，依此类推。类似地，每个对极线优选地具有多50个特征，只要它们具有可辨别的类型。例如，参考图1A-1D，注意，特征28b和28d都存在于相同的对极线(3上，然而可与相应的图样出现进 行比较，因为它们具有不同的可辨别的特征类型。特定的图像特征和图样中该特征的出现之间的明确匹配导致正确的 三角测量，其确定特征从其被反射的空间中的精确三维位置。应认识到，当前实施方式利用校正的成像系统，意味着成像装置的平 面和投影仪的平面位于相同的空间平面上。因此，在投影仪和成像装置之 间只存在垂直或水平移位。在这样的校正系统中，被捕获的图像中的对极 线一起包括单向对极场。因为图像中的对极线这样彼此平行，重复图样的 旋转将重复的特征类型放置在分离的对极线上。所以，总之，作为投影方法和代码的内部结构的结果，每个对极线具 有给定特征类型的至多一个特征。此外，虽然图样是循环的且因此特征类 型在图样中出现很多次，但上面描述的相同的特征类型放置在分离的对极 线上意味着在图像中该特征类型的多次出现之间没有混淆。对于图像流中 的每个图像，每个特征的位置确定新的一组三维空间坐标，其提供当前被 成像的物体位置的三维图。参考图1A-1G,图像处理设备36优选地至少包括图像处理引擎，图 像处理引擎用于识别(1 )被捕获的二维图像中的特征及其相关的对极线， 以及(2)在其对极线上的特征位置。图像处理设备一般还有包含用于投 影图样中的所有特征的坐标的数据库。处理设备使图像中的每个被识别的 特征与该特征在图样中的相应特征匹配。基于三角测量的计算随即用于将 空间中的三维坐标分配到每个被识别的特征，以得到被成像的物体的三维 点云。这些基于三角测量的计算优选地存储在存储器中的表中，以帮助三 维空间坐标的快速处理。点云的进一步的处理可能被可选地期望。这样的 处理可包括对于更丰富的逼真的三维图像A见频确定来自三维点云的网格 或三维表面。也可增加紋理数据。点云的这样的处理可利用用于三維点云 处理的已知的处理引擎。因此，通过这里描述的将对极几何的上面原理与结构光投影和编码/ 解码方案合并在一起的新技术，当前实施方式提供高分辨率、高准确度三维成像，例如对HDTV、 4CIF、百万像素成像和类似的应用所描述的。在优选实施方式中，对于短距离，获得具有少于1毫米的准确度。也就是 说，三角测量误差是±毫米。如所述，即使在物体处于运动中的情况下，也可优选地实现该系统和 方法，因为本发明的优选实施方式利用单个编码图样的投影。在由成像装 置确定的每个时间间隔处，只有编码光图样的单个投影需要捕获物体的表 面点，因而使连续的图像能够捕获在运动中的物体的变化的表面点。也就 是说，在场景中的物体和/或摄像机和投影仪系统可相对于彼此在三维空 间中移动，因而实现在运动中的三维物体的动态深度捕获。当物体移动时， 在欧几里得空间中的物体的三维坐标动态地变化。因此，在一系列被捕获 的图像上的深度变化，对于每个被捕获的图像，在特征沿着其相应的对极 线的移动或位移中得到反映。作为结果，对每个图像帧得出不同的点云。在优选实施方式中，成像装置和投影仪一^:包含在单个设备壳体中。被投影的二维光图样可由任何光源投影，包括但不限于视频投影仪、在打印的图样情况下的幻灯投影仪、或激光/LED投影仪。在优选实施方式中 单个图样投影仪的使用允许衍射投影的直接使用，这导致低功率消耗、紧 凑性、归因于窄带型信号的噪声过滤、和对不可见的NIR辐射应用的很 强的适合性。成像装置可以是一般具有CCD或CMOS传感器的专卖的或 现货供应的视频或静止摄像机。应进一步理解，在被捕获的图像中的对极 线可具有非线性形状，且图1A-1G和图3中的线性线仅用于举例说明的 目的。参考图4，其为示出如何得到在所捕荻的二维图像中被识别的特征的 相应的三维空间位置的简化流程图和图解。图4的流程图从二维图像捕获 阶段一也在图2中看到的阶段74—开始。三个不同的示例性特征类型(A)、 (B)和(C)共享被捕获的二维图像84中的对极线，图像84包括在二维中的 被成像的物体和反射图样。在编码图样中的示例性特征类型被投影到被成 像的物体上，且所有特征类型随后在二维图像84中沿着单个对极线 被观察到，如在步骤76看到的。下一步骤包括沿着对极线的每个被识别 的特征和投影二维编码光图样中的发起(originating)特征之间的相应(步三角测量法计算特征从其被反射的空间中的 三维点或深度坐标(步骤78b )。特别地，步骤78a和78b合并，如在图2 的流程图中的步骤78看到的。所有这样的三角测量特征的合计产生被成 像的物体的三维点云(步骤80)。在优选实施方式中，在步骤82，点云 80进一步被处理以获得三维图像/视频图像的紋理和表面。因为所示特征类型是不同的，可使所有三个类型容易地对应投影图样 中的相应的特征。如果在对极线上有比如(B)的多次出现，则当试图使(B) 的每次出现与投影图样中的相应出现关联时将产生模糊。作为在单个对极 线上特征类型的多次出现的结果的模糊，将必然导致在被成像的物体上空 间位置的三角测量误差和虛假测量。本发明的实施方式因此确保任何给定 特征类型在对极线上的至多单次出现，在这里称为对极分离，以确保在图 样中所乂见察的特征和特^E的出现之间的一对一的匹配过程。此外，在当前实施方式中，被成像的物体可为静止的或在运动中。如 果被成像的物体在运动中，则重复步骤74-82以提供三维视频。可选地， 成像和投影仪装置可相对于物体处于运动中。在动态应用中，以视频帧率 计算三角测量方程，以给出在运动中的物体的实时三维坐标。而且，如下面将在附图中示出的，当被捕获的图像中可辨别的对极线 的总数增加时，编码光可以通过允许被捕获的图像中特征的更多出现的方 式而被投影。可辨别的对极线的总数可能由于很多因素而增加，包括但不 限于特征结构或形状、作为高分辨率传感器的结果的低噪声水平、系统的 光学特性或更准确的坐标检泪'J算法。图5示出通过本发明的实施方式的方法得到的另外的示例性点云。图 示86示出人挥手的点云的前视图。云中的每个点都有空间中的三维(x， y, z)坐标。图示88示出提供另一深度透视的侧视图。参考图6A。图6A现在示出在根据上面讨论的对极分离原理被投影 之后，在反射空间编码图样的图像中的出现的示意性表示500。也就是说， 光图样以使任何给在本实施方式中，任何给定特征类型在对极线上的单次出现通过投影在本例中是垂直的，并由对极线102A、 102B和102C表示。反射光图样 的示意图500示出相同的10x2矩阵90的周期性或循环的砖瓦式结构构 成。每个矩阵都有20个特征类型A-T。矩阵图样在图像的长度和宽度上 重复自身。现在，当在附图中，图样投影以被指定为94的角旋转时，图像中特 征类型的周期性图样在长度H,上在任何给定的对极线上重复自身。因此， 对于在成像装置垂直视场H,上的每个可辨别的对极线，任何特征类型至 多出现一次。通过使图样的投影角倾斜，实现相同的特征类型到可辨别的 对极线上的分离。例如，在图样的y方向上每隔一个特征重复的特征96、 98和100分离到在被捕获的图像中分开的可辨别的对极线102A、 102B 和102C上。结果，可在整个图像区域上识别相当数量的特征。在所捕获 的图像中被识别的特征的总数称为图像容量或覆盖度。因此，紧密周期性代码的对极分离允许大量可识别的特征在图像中被 捕获，导致高分辨率。而且，图样的周期性性质允许包含少量重复的特征 类型的编码图样，从而使每个特征能够保持小尺寸，并进一步促成高分辨 率图像。作为例子，在具有640 x480像素分辨率的一般传感器上，每个 特征可具有10个像素的近似面积。这转换成对每帧大约31,000个特征的 图4象容量，因而31,000个三维空间坐标。在上面和当前实施方式中，为了解释的简单和清楚，没有考虑二维图 像中的图样特征的宽度。因此，每个特征都与对极线相关，如同特征具有 无限小的尺寸一样，且每个特征都只由一个对极线辨别。在实际实践中， 不是单个对极线与分立的特征相关，而是包括特征的空间构成位于可辨别 的实质上相邻的对^f及线上。返回到图6A，被表示为D,和D2的距离是在可辨别的对极线之间的 等距距离。在可辨别的对极线之间的已知的水平距离依赖于成像装置和图 像处理设备，并有助于图像中被反射的特征的明确识别和验证。例如，被 反射的特征类型(A)98在被捕获的图像中在沿着对极线102B的某个y坐54标处被检测到。因此，最近的特征类型(A)如果在所得到的图像中确实被捕获，则可仅存在于到对极线102B的右边和左边即102A和102C最 近的可辨别的对极线上。虽然为了说明的目的，在附图中所有的对极线都 完全垂直，但其它实施方式是可能的，其中对极线可为具有变化的x和/ 或y坐标的直线或曲线。限定性的对极线分离因素是区分开在被捕获的图像中分离的对极线 所必需的最小水平距离。区分开分离的对极线上的特征的能力基于几个因 素。首先，特征的形状常常确定特征在从被成像的物体反射之后是否具有 可检测的坐标位置。具有可被较精确地分配坐标的特征的代码允许区分开 在不断靠近的对极线上的特征。物体表面类型也可以有效果，因为例如来 自金属表面、玻璃和其它透明或非常黑暗的表面的特征被不太精确地反 射。低投影仪SNR和内部传感器光学器件可限制可辨别的对极线之间的 距离。现在参考图6B。如到现在所解释的，只要相同的特征类型落在分离 的可辨别的对极线上，就可在被捕获的图像中识别每个特征类型，而不用 考虑其间的混淆。然而，在现在将讨论的已知被反射的特征仅存在于对极 线的预定部分上的某些情况下，则沿着相同的对极线的相同特征类型的分 离甚至是可能的。在被成像的物体在一系列图像上在非常有限的深度范围 内移动的情况下，在相同对极线上的相同类型的两个分立的特征可只出现 在其上的有限部分上。也就是说，如果被成像的物体移动被限制到离成像 系统的特定距离范围，则相同特征类型的多次出现可发生在单个对极线 上。如果三维空间中被成像的物体的移动是轻微的，则被反射的特征沿着 其各自的对极线的相应移动很小。在这样的情况下，可能分离在单个对极 线上给定特征类型的多次出现，其中每个特征类型出现在沿着对极线的预 定限制范围内。为了举例说明，我们现在转到图6B，其示出与图6A相同的示意性 表示500。对极线p、 lj、 0、 e、 cp和卩被示出，且表示为Hr的图像高度 现在较大，以包括相同特征在图像中给定对极线上的多次出现。在对极线 lj上，例如特征96和506是出现在相同对极线上的两个分立的特征，并55具有相同的类型，即(A)。如果这些特征中的每个都自由地出现在图像中 对极线y的任何部分上，则在特征识别期间在两个特征之间可能产生混淆。如所解释的，特征96和506的每个与特征在投影图样中的唯一出现 之间的对应受误差影响。但在本实施方式中，特征96的出现被保证只出 现在对极线IJ的子部分96A上，而特征506的出现被保证只出现在相同 对极线y的子部分506A上。在这样的情况下，两个子部分之间的距离 Dv大到足以使得两个相同特征类型之间的混淆的顾虑不存在。在特征识 别过程期间，存在于对极线1J的子部分506A上的(A)类型特征被明确地 识别为特征506，而存在于部分96A上的(A)类型特征被明确地识别为特 征96。区域96A和506A是两个界限分明的间隔开的区域。同样，在对 极线0上的特征98和504的出现仅分别在范围98A和504A内。最后， 特征100和502也只出现在沿着对极线0的相应范围100A和502A内。 在所有前面的三种情况中，足够大的距离存在于沿着单个对极线的范围之 间，两个相同的特征类型可落在该对极线上。因此，相同类型的两个分开 的特征的识别是可能的。在对极线上有相同特征类型的多于一次出现的一种方法是通过将图 像高度从H,增加到Hr。图像高度的增加导致相同特征类型沿着图像中对 极线的多次出现。相同特征类型的多次出现是由于图样的周期性循环，该图样沿着增大的H,或H「的长度重复自身。可选地，如果图像传感器的分 辨率增加，且图样特征在尺寸上减小，则特征类型可沿着对极线重复自身。只要深度测量被限制到被成像的物体移动的某个范围内，沿着对极线的任 何给定特征就对每帧只移动一段短的距离。因此，甚至两个相同的特征也 可在单个对极线上被区分开，只要它们在其上移位的对极线的部分是有限的且间隔开足够远。对极线到预定部分的划分依赖于深度范围限制。通过 这样的深度范围限制，更多的点在图像中被采样，且当被捕获的图像中深 度读数的数量较大时分辨率进一步增加。我们现在参考图7，其为优选光图样的被捕获的图像的简化图示，该 图样根据对极分离被投影以确保相同的特征类型落在可辨别的分离的对 极线上。附图示出几何原理，其通过以与对极场成的角度投影优选图样来提供相当大数量的可识别的特征。投影周期性图样的偏角调节确保相同的 特征类型被捕获在分离的可辨别的对极线上。特征优选地由在空间上布置 的采样点的唯一组合组成，且被捕获的图像中的采样点的数量称为图像容 量或覆盖度因子。可提问的问题是为什么不构造具有与覆盖由传感器高度H表示的图像帧所需要的一样多的特征类型的代码，从而不需要对极分离？答案在于以下事实单个图样成像系统力求有尽可能小的特征类型，因而提供每 图像较高的采样密度。为了这个目的，在空间编码方法和系统中，非常希 望以最小数量的特征类型给投影光编码，因为每个特征类型都由某个有限 区域的空间代码表示。也就是说，在代码中的特征越少，需要给特征编码 的像素区域就越小，因为每个特征出现在图像传感器上，作为在一定数量 的方形像素上的光强度构成。通过借助于重复的代码限制特征类型的数 量，表示给定特征类型所需要的像素的数量被最小化。因此，在二维图像 中可识别的特征的数量增加了 ，因而相应的点云点的数量或点云密度也增 加了 。较高数量的点云点导致较高分辨率的三维图像。因此，给大量特征类型编码以便避免在本实施方式中使用对极线分离 技术将不是有效的或不希望有的。通过在实施方式中描述的对极分离的技 术，相当小的矩阵代码可提供图像容量的"膨胀"，因为可为每个被捕获 的图像帧观察到更多唯一可识别的特征。图7示出由特征类型的一系列10x2矩阵组成的投影编码图样104 的示意性图像，其中投影再次与对极场成一角度。图样的每个特征具有方 形像素尺寸CxC。因此，图样中每个周期性矩阵的长度是XC二10C，而 高度是YC = 2C。距离P表示图像中可辨别的对极线之间的像素中的水平 距离。如所看到的，投影图样104相对于对极场以角106旋转。可表明， 图样的Y方向上的每隔一个特征，或换句话说，相同特征的每次重新出 现都落在可辨别的对极线上。应认识到，矩阵可具有不同的尺寸，且该尺 寸仅仅是为了例证目的的例子。使用在相似三角形的几何结构中已知的原 理，可证明，具有边H-U-V的三角形和具有边YC-h-P的三角形是相似三 角形，因而下列一般方程成立H/U = YC/P 其中U = XC ~> H = XYC2/PH因而是出现在对极线108上的像素的数量。当对极分离P降低时， 角106变得较小。从该方程中我们看到，对于恒定的图样面积尺寸，如果 只有对极线分离P降低，则H变得较大。例如，特征110—(A)类型特征一按需要只在对极线108上出现一次。 特征112表示特征IIO之后特征类型(A)的下次出现，并表示图像高度的 上限。如果可辨别的对极线之间的距离P减小，则角106也减小，且具 有相同数量的特征的相同编码图样因而从对极场旋转得较少。相同的特征 现在由仍然可辨别的较近的对极线分离，且旋转^:影图样以获得对极分离 的效应变得更明显。特征110在对极线108上的不断增大的距离内重复自 身，因而扩大了H的值，且因而扩大了图像中的唯一可识别的特征的数 量或分辨率。角106的下限在对极线不再是可辨别时出现，也就是说，相 同的特征类型落在两个相邻的对极线上，这两个对极线太近而不能被准确 地辨别。从该方程中，我们看到，只要总矩阵尺寸不改变，矩阵的X和Y尺 寸的任何组合就对图像覆盖率没有影响。例如，如果矩阵代码的Y分量 增加而X分量减小，比如从所示的10 x 2矩形到5x4类似正方形的形状， 我们现在有较接近于正方形的矩阵形状，而不是细长的(long skinny)矩形。 然而，总矩形面积(XY)保持相同。角106减小，且图样从对极场旋转得 较少，以确保在每个可辨别的对极线上的对极分离。如从方程看到的，H 保持相同，因而图像覆盖率不增加。特别地，矩阵结构使得在X方向上的周期长度比在Y方向上的周期 长度大得多。这样的矩阵代码结构在这里称为优选的方向编码。在实际光 学组装、校准、操作物理和灵敏性方面，X比Y大得多是合理的。例如， 成像系统的振动或其它晃动可使非常小的旋转角106对对极区别变得太 小。而且，作为非优选方向编码图样的结果的较小的旋转角需要通过较大 的安全因子降低图像视场，以便确保对极分离。现在参考图8，其为图6A的被捕获的图像的图示，反射光图样500 现在以相对于对极场的方向的较小的旋转角114被投影。可辨别的对极线、 118和120是在图样的y方向上每隔一 个特征重复自身的相同的特征类型。这些特征现在落到对极线122A、 122B和122C上。才艮据图7描述的方程，因为图样没有改变，意味着X、 Y和C是不变的，但P降低，H变得较大。因此，H2是比图6A的H,大 的垂直图像高度，提供了更多的采样点，因而在被捕获的图像中提供更高 的分辨率。成像系统现在可在遭遇模糊之前采样被捕获的图像中更多的 点，意味着不可能沿着相同对极线遇到相同的特征类型。可选地，代替增 加图像视场，具有较小的特征的图样可使用高分辨率传感器被投影。然而，当角114减小得太多时，不希望有的系统模糊出现。当角114 变得太接近于O度时，被校准的投影仪/成像装置中任何微小的移动或晃 动可能引起失真，并妨碍清楚的对极线区分。此外，当图样中的周期性矩 阵在X方向上减小而在Y方向上增加时，例如上面提到的几乎正方形形 状，确保H不减小而需要的投影角要求P降低到一点，该点太小而不能 为对极线区分提供安全的水平距离。作为上面的几何因素和导致误差的可 能性的额外因素的结果，代码优选地利用在X方向上的优选方向代码。 虽然本实施方式利用旋转的图样来获得对极分离的结果，但存在包括但不 限于使投影图样倾斜的其它实施方式。虽然在前面的实施方式中，投影图样是周期性的，但应理解，在可选 实施方式中，其它编码方案是可能的，包括但不限于可被^L影以实现对极 分离的非有序和/或非周期性编码图样。以前的实施方式描述了使用唯一 的结构空间编码图样Pl的空间编码:技术。然而，应i人识到，另外的实施 方式可包括时间编码、谱编码、其组合、或任何其它二维编码方案或其组 合，包括涉及空间编码实施方式例如这里描述的实施方式的组合，其实现 沿着可辨别的对极线的多个特征类型的区别。参考图9，其为非有序和非周期性图样的示意图。在非周期性代码中 的二维空间构成的每个特征类型在图样中被表示为数字。应认识到，每个 特征类型一在附图中的数字1到6—在任何给定的对极线上出现不多于一 次。示例性对极线是124、 126和128。所示的示例性空间编码是类似于 多米诺的图样。空间编码当然可具有很多形式，可能与在图3和下面图10中看到的代码类似或相同。其它结构光编码技术可包括双调、灰度和/ 或多光谱技术。现在参考图10,其为包括优选的编码图样P1的示例性特征类型的图示。特征A-J是二进制空间编码特征类型的例子。每个特征由5个黑点和 白点的空间组合或空间构成组成，这5个点由l个黑(局部最小值)或白 (局部最大值)中心点130和4个黑或白外围或点132组成。5个 黑点和白点的所有可能组合产生32个唯一的字符或特征类型的字母表。 图10中的示例性特征类型是任意指定的A-J，每个相应于1个中心点和4 个鞍点的不同组合。具有白中心点的特征类型相应于投影图样中的局部最 大照明强度，而具有黑中心点的特征类型相应于投影图样中的局部最小照 明强度。每个字母的外围点相应于既非最大也非最小的照明强度，其中白 外围点更接近于最大强度而不是最小强度，而黑外围点更接近于最小强度 而不是最大强度。注意，其它实施方式可使用具有或多或少的鞍点的组合 的特征。例如，如果每个特征包含6个鞍点，则字母表现在有128个唯一 的字符或特征类型，因而有较大的图样周期。这样的编码特征将适合于具 有较多采样点的较大图样的应用，例如高分辨率百万像素成像。为了进一步举例说明，参考图11，其为在从成像立方体134反射之 后在图像I'P,中看到的示例性图样P1的图示。周期性图样包括在图10中 描述的特征类型。示出立方体的一部分的图像的特写显示在附图的底部。 白中心点136表示图像的紧邻周围的像素区域内的最大强度反射。黑中心 点138表示图像的紧邻周围的像素区域内的最小强度反射。白鞍点140 示出较接近于最大值而不是最小值的反射强度。黑鞍点142相反，并示出 较接近于最小值而不是最大值的反射强度。当投影图样的特征从被成像的物体反射到图像传感器上时，任何给定 特征的5个点中的每个点变成被捕获的图像中的采样点。这些采样点包含 在相邻的传感器像素上，被反射的特征在这些像素上成像。应理解，特定 的采样点是否是最大值、最小值或鞍点取决于在该点上的投影光强度以及 在该点处被成像的物体的材料的反射特性。最大值、最小值和鞍点优选地通过识别其在图像中的微商而被提取。这意味着它们通过照明中的局部变化来确定。例如，如果被从黑暗表面反 射，表示投影图样中局部最大照明强度的投影特征的白中心点在成像传感 器上获得低像素强度或灰度值。如果这样的中心点独立于该中心点的周围 采样点被编码，则解码引擎可能将低强度值错误地解释为指示局部最小 值，或黑中心点。然而，当分析从黑暗表面反射的白采样点的周围像素时， 解码引擎将看到甚至更低强度的像素值，因而出现将采样点作为局部最大 〃f直的正确识别。同样，如果被从明亮表面反射，表示投影图样中局部最小照明强度的 投影特征的黑中心点在成像传感器上获得高像素强度。再次，这样的采样 点的直接强度估计将错误地识别为包含局部最大值或白中心点的特征。然 而，通过测量在这样的点周围的局部强度的变化，解码引擎将识别甚至更 高的值的像素值。作为结果，出现将采样点作为局部最小值的正确识别。 因此，当分析单个投影图样的反射的图像时，使用临界点检测。临界点检 测意指使用通过已知的推导分析方法的局部照明强度的变化，而不是直接 强度估计，以确保解码过程中的正确特征检测。而且，在之前实施方式的周期性重复代码中，特征的鞍点和最小值或 最大值之间的相对水平距离是不变的。在解码过程期间，确定特征的元素 或分量之间的矢量或距离集合，并预期恒定的矢量。这样的矢量实现了准确的特征读数的验证。从噪声和被成像的物体上的紋理差异产生的错误读 数可通过特征的点之间的距离的验证过程来最小化。例如，如果鞍点和最 小值之间的距离大于预期的差异，则解码系统可判断被识别的特征元素仅 仅是噪声而不是特征的一部分。可能通过相邻点灰度值的交叉参考，相邻鞍点和最大值的已知值进一 步用于特征验证过程和错误校正。例如，在识别和验证过程中，已知字母 表中的某些字符在其空间值布置与已知相邻字符的空间值布置矛盾的情 况下可被消除。用于给特征识别解码的另 一方法是通过将半有效的字符合并到已知的字符组。示例性情况是4个鞍点之一没有被清楚地识别，但其 它3个被验证。应理解，字符识别的很多不同实现是可能的，包括波长分 析或本领域中已知的任何其它方法。应认识到，编码方案不限于二进制代码，也不限于二进制代码的任何 优选光学实现，例如双调、单色或双极冲殳影，并且如在上面之前的实施方 式中给出的几个例子中的，编码方案可用其它方法实现，包括但不限于谱 编码、非周期性编码和时间编码。现在参考图12A和12B,其示出图样P1中固有的构造过程和编码方 案。首先参考图12A,过程以Debruijn序列144开始。序列144在字符 空间SJ^ {0,1，2，3}上创建。系列具有长度2，意味着两个数字的每个序 列出现至多一次。因此，Debruijn序列的长度是ISI叫E、^二16。通过用矩阵的二进制表示代替矩阵144中的每个数字，且以列的方式 写每个二进制数字，由矩阵144产生矩阵146。矩阵148通过翻转偶数列 从矩阵146得到，换句话说，矩阵的偶数列的上部行中的二进制值移到底 部行，反之亦然。执行矩阵146中偶数列的翻转，以避免代码重复的情况， 意味着确保在图样中矩阵的任何给定循环中没有字母出现多于一次。现在转到图12B。图12A的矩阵148被映射到具有两种颜色的灰度 的菱形的二维图样I50,每种颜色表示矩阵148中的1或0。这两种颜色 灰度图样重复地映射到黑、白和灰色菱形的图样152上。构成具有4种颜 色灰度的合成的图样154。图样150的每种灰度菱形给图样152中的灰色 菱形之一涂上两种灰度阴影之一。黑和白菱形保持不变。在接下来的两个 步骤中，执行菱对形图样154的二值化，可能通过高斯平滑，接着通过获 得称为锐利强度阈值的项，虽然其它技术是可能的。如最初在图3中示出 的合成的图样P1为允许上述对极分离技术的投影提供了双调尖锐图样。应理解，这里描述的编码是构造可行的基于二维空间构成的光代码的 仅一种方法，该代码具有将在本发明的优选实施方式中使用的多个特征类 型，且其它代码类型例如完备映射、M阵列和伪随机码是可能的。参考图12C,其为在从被成像的物体反射并被视为成像装置中所捕获 的图像的部分之后，图样P1中的采样点的简化图示。图样164是前面附 图的图样154的特写。矩阵150的32个二进制值被看作32个鞍点168。 这32个鞍点的每个都变成采样点。每组4个鞍点具有在中央的白点172 或黑点170。黑点和白点是图样154中的黑和白菱形，并且也成为采样点。62总之，在图样中代码的每次循环中有64个采样点。这些点显示在明亮的区域173中。图样166是图样P1的特写。在图样166中，在用高斯平滑 和尖锐强度阈值处理图样之后看到采样点。参考图13A，其示出实现上述对极分离技术的优选投影和成像方法。 再一次，示出前面的实施方式的编码光图样。如在图3中的，编码光图样 在这里被看到相对于被捕获的图像中的对极线174旋转某个角度，因而将 代码的相同的特征类型放置在分离的对极线上。旋转角由下列方程描述。Sin -1 CP/YC)通过选#^旋转角，可实施上面描述的对极分离技术。本领域中已知的 校准方法用于确定被捕获的图像中对极线的确切位置。而且，为了确保没 有代码的两个相同的特征在给定的对极线上重复自身，投影图样高度HP 被限制在投影仪装置中，如图样中明亮的区域175所例示的。作为结果， 每个周期的每个对角列被不同的对极线切割。被捕获的图像中的每个对极 线因此包含每种类型的一个且仅一个特征。如果所测量的深度范围是有限 的，则如上面在图6B中讨论的，多于一个的相同的特征类型可出现在图 像中的每个对极线上。像素中的图像高度H可由上面图7中的方程描述。 因为阴影区域的长宽比为4/3 ，关于采样像素的总表面积由下列方程定义A= H2(4/3) = X2Y2C4/P2 (4/3)参考图13B1。对于某些三维成像应用，需要较大数量的采样点来获 得期望的分辨率。为了这样的目的，可利用在上面实施方式中图样P1的 变化的编码方案，在这里称为P2。在图13B1中示出P2图样。如在Pl 中的，P2是包含由5个黑和白元素或点的空间组合组成的特征类型的二 进制空间编码周期性图样。同样，如在P1中的，黑(局部最小值)或白 (局部最大值)中心点被4个鞍点围绕。然而，在图样P2中，每个字母 的两个几何变体包括在代码的每次循环中，因而字母组从32到64重复。 也就是说，每个字母有一个变形Yl和另一变形XI,在变形Y1中，中央 点朝着左边移位，变为较接近于左鞍点，而在变形X1中，中央点朝着右 边移位，变为较接近于右鞍点落。交替的最大值和最小值在垂直方向上没 有如在编码图样Pl中那样一个落在另一个的顶部上，而相反，每个最大给定循环中，总共有32个黑最小值，32个白最小值以及64个鞍点，总共包括128个采样点。特别地，如上讨论的，图像中每个特征的点之间的相对水平距离现在 允许表示编码的矢量。也就是说，除了允许25 = 32特征代码的特征的5 个点以外，给定特征的点之间的变化的水平距离允许额外的特征类型出现 于每个图样中，因而增加对给定图像可能的采样点的数量。相同的5个特 征点的水平距离的各种组合是可能的。我们现在转到图13B2。使用Debruijn序列,以与上面在图12A、 12B 中描述的类似的方法，构造图样P2。基于稍微更改的Debruijn序列的二 进制矩阵被映射到具有两种颜色灰度的菱形的二维图样282。此两种颜色 灰度菱形图样被重复地映射到黑、白和灰菱形的图样284上。构成具有4 种颜色灰度的合成的图样286。图样282的每个灰色菱形给图样284中的 灰色菱形之一涂上两种灰度阴影之一。黑和白菱形保持不变。在接下来的 两个步骤中，可能通过高斯平滑，接着通过获得称为锐利强度阈值的项， 执行对菱形图样286的二值化，虽然其它技术是可能的。如最初在图13B1 中示出的合成的图样P2为允许上述对极分离技术的投影提供了双调尖锐 图样。在菱形阵列上实施本领域中已知的图形处理，以获得允许如上所述的 每个字母的两个移位变形的"Z字型"图样。此外，栅格图样的旋转确保以交替方式出现在每个对角列上的每两个 相同的特4正不落在相同的对极线上。解码的过程特征在于比较表示最小值、最大值或鞍点的不同采样点之 间的相对水平距离。如上所述，解码过程试图识别最大值、最小值和鞍点 的位置。这样的点之间的水平距离用于验证在二维图像中该位置处的特征 的存在。在本实施方式中，这些水平距离可用于识别这样的Z字型图样 中的特征。例如，通过确定被识别的最大值和最大值相关的鞍点之间的相 对水平距离，可确定包括这样的点阵列的字母标识。参考图13C和13D。在图13C中，呈现两个图样T1和T2。 Tl就是 在前面实施方式中在高度上加倍的图样Pl。图样Tl与Pl —样包含32 个特征并且周期循环为16。包含投影图样T1的被捕获的图像被示为ITI, 并允许图样在垂直方向上的两次循环。因此，每个特征在图像I"中的给 定对极线上出现两次。显著地，这些特征彼此处于等于图样P1的高度的 距离处。
在高度上等于图样T1的T2是具有不同于T1的唯一二维构成的周期 性空间编码图样。图样T2包括32个特征类型。每个特征类型在循环中 连续出现两次(不同于在每次循环中出现一次的4个唯一的特征类型)。 每对相邻的相同特征类型共享共同的鞍点。例如，在图13D中，特征350a 和350b具有相同的类型，并相邻于彼此出现。每个特征由极值和4个鞍 点组成。每个特征的4个鞍点中的两个鞍点对于两个特征是共同的。因此， 每对相邻的特征包括两个极值和6个鞍点。两个相同特征的每个序列在图 样中每隔32线重复自身。
作为在图样T2循环内这样的重复的结果，当图样以对成像传感器的 成的旋转角被投影时，特征类型再次出现在合成的所得到的图像中相同对 极线上的紧密邻近的范围内。参考图13D，在对极线354上看到这样的例 子，其中相同的特征350a和350b出现在紧密邻近范围内的线上。如在附 图中看到的，相同的特征350a和350b在循环中^C此相邻。因此，旋转将 相似的特征类型放置在对极线上的紧密邻近范围内。同样，相同的特征 360a、 360b和360c以三个一组出现，如在循环中看到的。这三个特征因 此在如所示的紧密邻近范围内沿着对极线362出现。因此知道了沿着对极 线的每个特征类型的位置范围。
返回到图13C，我们看到，增大的图样T1的优点是可被成像和关联 到空间中深度点的增大数量的采样点。然而，相似的特征类型在相同对极 线上的出现可能引起如上讨论的编码过程中的模糊。例如，相同的特征 366a和366b在ITI中相同的对极线370上。为了解决这样的模糊，第二 图样T2可间歇地用Tl投影。因为T2具有两倍于Tl的长度的循环，接 着在具有与图像It,相同的高度的固像It2中，相同的特征组364或368在图像的长度上不重复自身。每个特征组仅沿着图像IT2的长度出现一 次。 现在，当图样Tl和T2在投影仪装置中对准并被在时间上
(temporally)投影时，可在连续图像中沿着平行对极线的范围内，在所 观察的特征之间进行比较。特征从In的第一图像到112的第二图像中的同 类型的(sister)特征的匹配可允许第一图像中的特征验证。作为例子， 特征366a被看到在反射图样ITI的第 一 图像中沿着给定对极线370的特定 范围内。同样，特征366b在第 一 图像ITI中沿着此相同的对极线出现，虽 然离366a有一段距离。这样的情况可导致ITI中的模糊。
具有反射图样T2的继第一图像之后被连续捕获的第二图像IT2包括 在相同的对极线370上的相同的特征集364a、 364b和364c,如出现在图 像ITI中的特征366a。此外，在图像1.12中此相同的对极线的不同区域中 出现相同的特征集368a、 368b和368c。因为这些特征集在对极线上是不 同的，每集可分别与特征366a和366b比较。也就是说，通过使来自I-n 的特征366a与IT2中的特征集364a、 364b和364c关联，以及使来自In 的特征366b与IT2中的特征集368a、 368b和368c关联，可消除模糊。这 是因为在第一图像中的特征366a和366b的每个都与第二图像中的特征集 匹配。
投影和解码的过程如下。T1和T2被交替地投影，与摄像机同步。图 像起先被分别解码。如在上面的实施方式中描述的，执行IT,的解码，虽 然每个特征携带两个图像坐标，因为它在对极线上出现两次。同样In以 与上面实施方式相同的方式被解码，且相似的特征被发现沿着相同的对极 线彼此垂直。因此，如果没有在帧之间出现的被成像的物体中的运动，则 图像序列In、 IT2、 IT1内的每个特征可通过两个图像之间的关联被验证。 如果IT1和ITI相同，则成像场景对成像时间帧是静止的。IT2充当分辨图 样，因为图像IT2中的特定位置处的每个特征都不同于图像IT1中的相应位 置处的特征。因为相同类型的多个特征类型在紧密邻近范围内再次出现在 It2上，即使移动出现在帧之间，匹配过程仍然能识别两个图像之间相关 的特征。本质上，上面的过程合并来自时间和空间两种编码方法的原理。
在时间编码技术中，其中多于一个图样被投影在每个被捕获的图像的物体上，应理解，必须对正在被成像的物体的运动速度提出限制。
参考图14，其示出图像Ip,以及图样Pl的示例性字符或特征类型。
字符176表示在图样的每个周期内被编码的特征，这样的特征的性质在上 面图10中被描述。注意，在本图中对特征类型的字母的分配与图IO无关。 图样P1的每个周期的长度是16，而高度是2。也就是说，相同的特征类 型或者属于相同的对角列，例如相同的特征A和E，或属于列模数 (modulo ) 16,例如相同的特征A和F。模数16意。未着相同的特征每16 个对角列周期性地隔开。然而，不是模数16的来自对角列的特征总是具 有不同的类型，例如特征A、 B、 C和D。在每个对角列上，只有两个不 同的特征类型以交替的方式出现， 一个特征具有黑中心值，而一个具有白 中心值，例如A和G。如所解释的，特征A、 E和F是出现在图样中的 具有相同类型的分立的特征。为了清楚的目的，这些分立的特征在图3 和示出Pl的其它附图中只称为特征类型(A),而在本图中，每个分开的特 征被分别分配唯一的字母A、 E和F。
相同的特征不落在相同的对极线上。作为例子，特征A和E是在图样中 具有相同类型的两个分立的特征。特征A落在对极线178上。与特征A 相同的特征E被发现是在同 一对角线上比A低4个特征。在该对角线上， A/E特征类型每隔一个特征出现。特征E落在与178水平地区分的对极线 180上。我们看到图像中的每个特征可根据特征类型和特征的相关对极线 表示。
上面实施方式讨论了单个图样到被成像的物体上的投影。第二图样的 投影在确定第三维或深度时可进一步提供有价值的信息。特别是，双重投 影与双重成像一起可明显增加特征类型识别的准确性和可靠性，以及提供 在深度读数中达到非常高的分辨率的新方法。而且，在某些实施方式中， 从这里讨论的双重投影方法得到的信息中可提取紋理信息。
双重投影方法可包括时间方法和/或光谱方法。时间方法是这样的， 其中两个或多个图样在分开的时间间隔内被投影。光谱方法是这样的，其 中两个或多个图样以不同的光波长被投影。时间方法可利用空间光调制
67器，例如LCD、 DLP或DMD。光i普方法可例如由光复用器4丸4亍。
在下面的实施方式中，在光谱分离实现的情况下，光谱分离优选地很 小，以便允许反射强度的直接比较。也就是说，在不同的但相邻的波长处 投影到被成像的物体上的两个相同的图样将以实质上相同的反射强度反 射。所以例如，在第一图像IV,中，高强度或白点在某个波长处投影到特 定的明亮表面上，并被大部分反射。在第二反的图像I'-p,中，低强度或黑 点在相邻波长处投影到相同的明亮表面上，并被大部分吸收。因为I'-FM 中的黑点在相邻波长处被投影，黑点对于给定表面、以与在I'p,中被投影 的白点相反的方式来表现，并被大部分吸收。同样，在图像中在两个相邻 波长处投影的白点都以几乎相同的方式反射。在图像中在两个相邻波长处 投影的黑点都以几乎相同的方式吸收。
参考图15，其为本发明的优选双重投影和双重成像实施方式的图示。 I'iM是具有前面实施方式的图样Pl的Rubik立方体的图像，如在图3和 11中详细解释的，投影到立方体上。图像I'-h是具有投影在立方体上的 图样P1的负图样(negative)的立方体的第二图像。最后，图像IV,-l'-P1 是从I'P,减去r.p,得到的合成图像。特写182和184是来自图像I'fM和I'^ 中立方体的4个右下正方形的相应图样反射。在图像IV,和I'-Pl中，成像 的白点是最大光强度在成像立方体的此表面位置上的投影和其后的反射 的结果。同样，成像的黑点是最小光强度在成像立方体的此表面位置上的 投影和其后的反射的结果。所以，如果在IV,中，看到反射白点在立方体 上的特定表面位置上，则在I'.p,中，观察到反射黑点在立方体上的相同表
面位置上。例如，图像i'iM中所看到的白色最大值点186被看作图像r-p,
中的黑点188。同样，图像I'p,中的白鞍点190由图像I'-H中的黑鞍点192 代替。
因为Rubik立方体包括变化颜色的正方形，反射图样在从明亮颜色的 正方形例如194反射时显示高对比度，而当从较暗颜色的正方形例如196 反射时显示较低的对比度。这是下列事实的结果投影白点的能量或光强 度最大值从明亮表面反射比从黑暗表面反射的能量程度大得多，在黑暗表 面中大量能量被吸收。从明亮颜色的表面反射的投影白点在图像中呈现为白色，表示具有高强度反射的被成像的物体的区域。相反，当投影白点从 黑暗颜色的表面反射时，反射白点在图像中呈现得非常接近于黑，表示具 有低强度反射的被成像的物体的区域。然而在任一情况下，投影白点将总 是从任何给定的被成像的物体表面点、以比在该相同点上被投影的黑点更 高的强度反射。
因此，不管成像表面反射特性是什么，成像黑点在被成像的物体表面 上的相同位置处总是具有比成像白点低的反射强度。因此，从图像I'n中 特定位置处的白点强度值186减去图像I'-p,中相同位置处的黑点强度值
188将总是产生正的强度值200。同样，从都在相同的图像位置处的图像 I'PI中的黑点204减去图像I'-Pl中的白点202将总是产生负的强度值206。 因此，合成图像中的每个像素的值符号为正或负。为了显象目的，因为显 示屏和打印不能理解负像素值，标准化标度可用于表示正和负的合成的强度值。
通过将图样和负图样投影在物体上，并从反射原始图样的图像减去反 射负图样的图像，图像IVi中的最大值和最小值位置可直接由合成图像I'n -I'-Pl中的相同的图像位置的灰度级或强度的测量来确定。IV,-I'-p,图像中
的所有正的强度值指示白点，而i'n-r—p,图像中的所有负的强度值指示黑 点。再次，因为显示屏可能不理解负的强度值，标准化标度可用于图像显 示。使用这样的双重投影的最大值和最小值的此直接测量与上面在图11 中描述的单个图样投影情况不同。在单个图样投影的情况下，优选最大值 和/或最小值的周围点的局部强度值的额外分析，以确保较高水平的正确 特征类型识别。因此，本发明的相减方法允许鲁棒性更大的图样识别分析， 因而允许较可靠和强大的引擎，用于从被捕获的二维图像中被识别的特征 得到三维空间坐标。
而且，在i'p广r.p,图像中的强度值的动态范围通过两个图样的相减而 加倍。这产生更增强的图样，因而有助于特征类型识别。另一优点是合成 图像rP1 - r.PI上环境光的效应的抵消。合成图像显示具有被成像的物体紋 理的较少干扰的增强的图样。
应理解，通过4吏用"i普分化(spectral differentiation)可在时间上拍摄两个图像或同时拍摄两个图像。同样，两个图样可使用光谱或极性分离被 同时或在时间上投影，或两个图样可具有相同的波长或极性，但投影在时 间上分离。只要光谱分离接近，两个反射图样的反射强度就在任何给定的 被成像的物体表面位置处实质上确切地为负。
参考图16,其为两个图像I'p,和I'-p,的相加的图示。两个图像与投影
在其上的相反的图样照明强度的相加导致在rPI + r.PI图像中图样的抵消。 这是因为在两个图像中任何给定相同位置的任何两个反射强度的相加导 致显示最大光强度从物体上所有点的反射的合成图像。反射强度的变化因 而仅仅依赖于被成像的物体的紋理。也就是说，被成像的物体的变化的紋 理影响反射强度，白点以该强度从被成像的物体的不同点被反射。合成图
像从在图像I'p,和I'-Pl中观察到的成像图样来分离深度被成像的物体的紋理。
现在参考图17，其为本发明的双重投影和双重成像方法的优选实施 方式。如在前面附图中的，I'p,是具有投影在立方体上的图样Pl的Rubik
立方体的图像。图像r《是具有与在rPI中投影在其上的相同的图样的立 方体的第二图像，只是最大值和最小值被对调。也就是说，图像iv,中的
最大值186被看作图像1'《中的最小值210。然而，鞍点例如图像IV,中的 白鞍点190保持为图像I'-c中的白鞍点212。因此，最大值由最小值代替， 反之亦然，但鞍点在两个图像中保持不变。最后，图像IV,-r—c是从图像
rPI减去图像i'-c的合成图像。
如在特写214中看到的，图像I'p,-I'-c中保留的是,最大值和最小值，
有时称为代码的载体。此外，对于在图像传感器上的任何给定位置，图像 rPI中的反射局部强度最大值点由图像r.c中的反射局部强度最小值点代 替。局部强度最大值作为图像中的白点出现，而局部强度最小值作为图像 中的黑点出现。鞍点在两个图像中是相同的。所以，例如，当图像r.c中
的位置的强度值210从图像IV,中的相同位置的强度值186减去时，在合 成图像I'p, - 1'《中得到白点强度值216。类似地，当图像I'.c中的位置的 强度值218从图像IV,中的相同位置的强度值220减去时，在合成图像I'p , -1'《中得到黑点强度值222。相反，当图像1'《中的鞍点212从相同强度和相同位置的鞍点190减去时，鞍点作为白鞍点或黑鞍点的标识消失。另 一方面，在图像IV,中的鞍点的位置现在通过相减被加重和增强。两个图 像的相减因此中和了图像中的鞍点值，但清楚地描绘了其位置。而且，两 个图像的相减导致环境光的抵消。
合成图像I'P,-I'-C现在可容易对最大值、最小值和鞍点位置被扫描。 如上解释的，在图10中，成像图样中的最大值和最小值代表图样中被反 射的特征的中心点。当合成图像只显示鞍点位置，而不是值时，对最大值 和最小值的搜索因而被简化，且变得更快和更防止错误。这些最大值和最 小值接着指示特征的存在，且可确定在图像中特征的对极线位置。剩下的 是通过鞍点的识别来确定特征类型。这可通过如在单个图样情况中的或如
文中描述的rPI的分析来完成。
参考图18,其示出图17的两个成像图样I'fM和r-c的相加。两个图像
的相加导致合成图像，其显示最大光强度对所有载体位置的反射。换句话 说，所有以前的载体位置在合成图像中变成白的。只有鞍点保留。两个图 像的相加导致两个相反的载体反射强度在两个图像中的相同位置处的相 力口。相反，鞍点在两个图像中是相同的，所以两个图像的相加导致鞍点的增强。
例如，在I'p,图像的特写224中，示出具有中心点226的黑特征。特 征的两个上部鞍点228和230是黑的。左下鞍点232也是黑的，而右下鞍 点234是白的。在I'《图像中Rubik立方体上相同位置的特写236中，相 同的特征现在具有白中心点238而不是黑的。鞍点240-246保持相同。因 此，合成图像特写248显示4个鞍点250-256。因为在合成图像 中所有栽体变成白的，鞍点可被清楚地识别，而不与局部最大值和最小值 混淆。图17和18表明，载体从鞍点的分离允许鲁棒性更大的解码过程， 因为载体和鞍点的检测被简化。图像I'PI -I'.c提供载体和鞍点检测以及位
置信息，而图像rP1+r.c提供鞍点识别信息。
参考图19,其为从图像I'p,减去图像I'.p,的结果的绝对值得到的合成 图像的图示。合成图像270是图样的轮廓。如上面图15和16讨论的，因 为两个图像是彼此的反图像，分立的图样可被表示为两个相反的正弦曲线。图形260是包括两个反的图样中的每个的正弦曲线的截面。图像I'H 中的每个局部最大值和白鞍点分别由图像I'-Pl中的局部最小值和黑鞍点 代替。相反，图像I'p,中的每个局部最小值和黑鞍点分别由图像l'-p,中的 局部最大值和白鞍点代替。两个图像中从相同位置关于任何两个极值或鞍
点的绝对相减(absolute subtraction)导致在合成图像IIV, - I'-p,l中的亮强 度点。因此，任何最大值、最小值或鞍点在图像IIV, - I'-p,I中是亮的。这 在合成图像的特写272中被看到。
虛曲线262和264指示相应的图像I'p,和I'-Pl的黑点和白点之间的边 界区域。在正弦图上，这些虛曲线由图像l'p,和I'-p,的相应图之间的交汇 点或0点表示。在这些点交汇的地方，绝对相减ii'p,-r-d的结果为0。这 些交汇点出现在合成图像中的两维平面中，产生图样的黑轮廓266。黑轮 廓在图像270中表示最小值，并在合成图像中提供高度可识别的曲线的连 续性的子像素分辨率。沿着该图样轮廓的点可通过不同的三角测量技术与 空间坐标相关。
参考图20,其为从图像iv,减去图像r—c的绝对值得到的合成图像的 图示。如上面在图17和18中讨论的，立方体的I'—c图像具有与投影在其 上的IV,中相同的图样，只是最大值和最小值对调了。也就是说，图像IV, 中的最大值186被看作图像r《中的最小值210。然而，图像IV,中的白鞍 点190保持图像1'《中的白鞍点212。因此，最大值由最小值代替，反之 亦然，但鞍点在两个图像中保持不变。
从图像rP,减去I'-c的结果的绝对值产生图像274。从图像I'PI中的黑 或白载体与图像r.c中的黑或白载体的绝对相减导致在特写图像276中看
到的全白载体。黑交叉点表示rPI和r—c图像中的黑和白载体之间的边界 线区域。边界线区域是白载体开始变黑的区域，反之亦然。在精确的边界 线处，像素既不是黑的也不是白的，因为值精确地在最大值和最小值之间。
这些像素的绝对相减导致图像274中的0值、或黑点或最小值点。合成图 像有较少的环境光并允许较清楚的解码和极值的准确定位。
参考图21，其为双重图样投影和双重图样成像的特定实施方式的图 示。第一图像是I'p,,而第二个是有照亮图像的环境光的立方体的图像。具有环境光的立方体的图像从具有投影在立方体上的图样P1的立方体图 像I'n的相减提供了实质上无环境光的合成图像。作为结果，合成图像中
的图样被增强，因而更容易解码。这在合成图像278的特写中被看到，其
中图像的黑点和白点比在原始rP1图像中看到的更清楚。
参考图22，其为双重图样投影和双重图样成像的特定实施方式的图 示。第一图像是IV,，而第二个是有照亮图像的均匀或相对均匀的光的立 方体的图像。立方体图像I'p,被具有投影在立方体上的均匀光的立方体图 像除，提供了实质上无物体紋理的合成图像。作为结果，合成图像中的图 样被增强，因而更容易解码。这在合成图像280的特写中被看到，其中图 像的黑点和白点比在原始I'P1图像中看到的更清楚。
在附图15-22的所有双重投影和成像实施方式中，两个图像中被成像 的物体之间的对准或相对空间位置被稍微限制。成像帧之间运动被限制的 程度一般依赖于成像设备的成像策略和速度。时间和空间成像设备可用在 以前的实施方式上，以捕获双重图像。
例如，在以前实施方式中双重图样的时间成像的最简单的实现是通过 在两个时间间隔内成像设备的两个"快照"。被现代摄像机系统支持的时 间双重成像的 一个先进方法是非均匀曝光计时。现代摄像机传感器在摄像 机传感器的曝光时间内实现控制。所以，例如，可能提供彼此接近地安排 的间隔的曝光时间对，而不是在时间上均匀地间隔开。例如，可在1=0毫 秒拍摄图像Il,在{=5毫秒拍摄图像I2，在100毫秒拍摄图像I3,在105 毫秒拍摄图像I4，依此类推。作为结果，以每秒20个图像的平均速率得
拍摄的图像对。作为结果，如果出现在第一和第二时间间隔之间的运动足 够轻微，或可选地如果成像设备足够快速，则可与以前实施方式中一样执 行两个图像之间的比较。
在相邻的时间间隔的两个连续的图像的上面策略依赖于快速投影速 度。成像装置传感器应理想地不对超过投影时间的任何时间曝光，因为这 将导致成像图样中的环境光破坏。其它传感器设计成对包括某些CMOS 基于每像素的计算传感器的本发明的实施方式增加成像速度。当像素接收光强度时，这些特别设计的传感器立即在每个像素位置执行计算。这与在 传感器对计算模块腾空之后计算像素值相反。
而且，可实现上面的双重成像策略以获得与被捕获的深度信息并行的
紋理图像。在优选实施方式中，图样每隔一个图像帧被^:影。在剩余的图
像帧中，均匀照明被投影到物体上，且物体被成像。假设两个帧之间的最 小相对运动，可能把在将均匀光投影到物体上时所得到的紋理信息，应用 到包含投影图样的图像中所捕获的深度信息。
应理解，捕获两个图样的频谱方法也是可能的。这样的实现可包括多
个CCD的使用。
某些高紋理表面的反射特征可在单个成像设备系统中导致特征识别 误差。因此，为了确保得到正确的三维空间坐标，可将额外的成像设备增 加到系统。除了这里在前面描述的单个图像解码方法以外，额外的成像装 置还允许被称为立体深度解码的方法。
例如，使用某些实施方式的方法和装置的双重成像系统可方便地安装 在城市环境中的移动车辆上，以捕获在城市场景中静止和移动的建筑物、 路标和其它物体的三维中的几何结构。
为了进一步理解使用优选实施方式的方法和装置的立体深度解码，我 们参考图23。在基于立体的深度成像和解码系统中，彼此接近地放置的 两个成像设备优选地同时捕获给定的场景。表示为图像A和图像B的两 个图像几乎是相同的。然而，因为两个图像从稍微不同的角度被拍摄，被 成像的物体出现在两个图像中稍微不同的像素位置。对每个帧给定成像设 备之间的固定距离，曾经出现在图像A中某个像素位置上的任何物体必 然出现在图像B中特定的对极线上。同样，曾经出现在图像B中某个像 素位置上的任何物体出现在图像A中特定的对极线上。出现在一个图像 中某个像素位置的被成像的物体的距离影响在第二图像中物体沿着相应 的对极线出现的位置。
现在，当投影仪被添加在两个被成像的物体或摄像机之间时，结构光 图样例如上面讨论的图样可投影到成像的城市物体上。在两个图像的每个
74中，反射图样特征与被成像的物体的紋理一起出现，如在图11中看到的。 任一图像中的给定像素可包含被反射的特征的部分，因而图像的任何随机 选择的方形像素区域除了被成像的物体紋理之外还可包含特征或特征的 部分。特征或特征的部分以及被成像的物体紋理包括关于任何给定像素的 信息的全体。出现在图像A中方形像素位置的信息将总是出现在图像B
中一组唯一的坐标(一组特定的对极线)上。同样，出现在图像B中方 形像素位置的任何信息将总是出现在图像A中一组唯一的对极线上。进
一步地，如果利用与图样结构和投影相关的对极分离技术，特征类型仅在 每个对极线上出现一次。因此，在每个图像中沿着对极线的每个小区域是 唯一的，且特征为每个图像提供不重复的"人造紋理"。通常通过本领域 中已知的立体校准或立体装备校准技术来确定包括图像之间的对极场的 一组点。
图像B、 EP1B中的对极线包括点的总体，在这些点上，包含在图像 A中像素区域PX1上的信息可在图像B中找到。同样，图像A中的对极 线EP1A包括点的总体，在这些点上，包含在图像B中像素区域PX2上 的信息可在图像A中找到。图像A中的像素位置与图像B中像素位置之 间的关系称为对极场。
参考图24，存在两个额外的对极场。这些场是l)投影仪和图像A 之间的对极场，以及2 )投影仪和图像B之间的对极场。这些场表现为如 上面在以前的实施方式中描述的，且不在这里进一步解释。值得注意的是， 根据上面的讨论，除了被成像的物体的紋理以外，特征F1可出现在图像 A中像素区域PX1处。在这样的情况下，特征F1和被成像的物体都出现 在图像B中EP1"上相同的点处。 立体对应可接着如下实施。在任一图像例如图像A中某个位置处选 择像素的特定组或"窗口"。只有沿着图像B中某组对极线才能找到在图 像A中选择的像素的相似组。图像B沿着这些对极线对像素的匹配组扫 描。当找到匹配的像素组时，记下图像B中的位置。我们现在知道每个 图像A和B中匹配的像素窗口及其相应的位置。两个成像装置之间的距 离连同对每个摄像机/成像装置的图像捕获和投影的角是已知的。三角测量方法现在可用于确定在每个图像中那些像素位置上成像的物体的三维 空间坐标。该过程对每个像素组位置继续，以对每个帧得到被成像的物体 的三维点云。
在包含反射图样的两个图像的立体深度解码中，特征并非如在单个图 像情况下那样被解码。更确切地，图样特征充当非常密集的和高对比度"人
造紋理"。在两个图像之间比较像素的"窗口"，以找到匹配的像素区域。 而且，因为当使用当前实施方式的投影技术时，特征类型不沿着对极线重 复自身，所以像素的每个小"窗口"沿着相应的对极线是唯一的。此外， 这些窗口可不包括完全的图样特征，而仅仅是特征的部分。在任一情况下， 特征充当沿着在被成像的物体的紋理的顶部上的对极线的唯一的"人造紋 理"。
在单个成像系统中可能导致特征识别错误的表面包括例如高紋理表
面、透明和半透明表面以及黑暗表面。这是因为^:影在高紋理表面上的编 码光的特征可能变成变形的，因而作为从高紋理表面的反射的结果是不可 解码的。虽然被反射的特征可能是不可译码的，但它们仍将沿着对极线的 唯一特征添加到已经有紋理的图像上。两个被捕获的二维图像之间的比较 变得容易，因为唯一的"窗口，，可彼此匹配。被反射的特征图样的相加有 助于立体匹配过程。在非紋理或低紋理表面例如墙壁或玻璃中，特征可从 一个图像提取，如在前面的实施方式中描述的。
额外的成像设备因此首先提供"另外的机会"来得到给定图像帧的给 定场景的深度坐标。总体来说，使用本实施方式的配置的给定场景的三维 坐标被计算三次。在每个图像中分开地通过被反射的特征解码一次，以及 第三次是来自第 一和第二图像之间的对应性的比较。
以下是系统几何约束，加以系统几何约束以便除了单个图像解码以外 还实现立体深度解码。在第 一成像设备和投影仪之间以及在第二成像设备 和投影仪之间设置有时称为基线的适当位移。两个成像设备理想地在投影 仪的相对侧上，每个在离投影仪的180度处。因此，两条基线彼此平行， 且三个光学中心(投影仪和两个成像设备)在单线上或几乎在单线上。投 影仪和成像设备的顺序可变化。然而，对极分离技术施加了所有投影仪和成像设备都相对于彼此位于实质上直线内的约束。投影图样以适当的倾角 被投影，如在上面的实施方式中描述的，以确保对极分离都沿着成像设备 和才殳影仪之间的对极场以及两个成像i殳备之间的对极场。
实际上，可进一步期望将投影仪更接近于成像设备之一比如第一成像 设备放置。第 一成像设备和投影仪之间的较小距离特别适合于从那些物体 反射的特征的解码。第二成像设备和投影仪之间的中等位移特别适合于从 在更远处的物体反射的特征的解码。最后，第一成像设备和第二成像设备 之间的大位移适合于遥远的被成像的物体的立体匹配。因为投影仪具有有 限的能量，投影图样可能常常不能到达遥远的物体。在这样的情况下，通
匹配。因此，对立体匹配的任务保留最大的基线。
现在参考图25,其为示出在产生城市地区的三维地图的过程中的步 骤的简化流程图。在图25的例子中，城市地区不限于单个"规划"或风 景。相反，当移动的车辆在不同的位置时，例如通过将投影仪和/或成像 装置安装在移动的车辆上并捕获图像，从不同位置和不同角度捕获多个三 维图像。
流程图示出投影仪和两个成像装置的例子，但具有更多投影仪和成像 装置的其它配置是可能的。如上解释的，在当前实施方式中使用至少两个 成像装置的原因是，除了到现在为止所描述的使用单个成像装置的主动三 角测量法以外，还实现立体深度测量。
该过程如下。首先，在步骤sl中，如在以前实施方式中的产生两维 编码光图样。该两维图样应构造成使得上面讨论的对极分离技术能够被实 现。在以前实施方式中的图样P1特别适合于城市建模，因为图样是可缩
放的，并可对城市物体被做得相当大。其次，在步骤s2中，图样从安装 在移动车辆上的投影仪被投影到城市场景中的物体上。这些城市物体可包
括建筑物、汽车、植物、街道标志、人或任何其它物体。如上讨论的投影 _忮术确<呆对才及分离。
在步骤s3中，从优选地以与场景成稍微不同的角度定位的两个成像 装置中的每个成像装置捕获图像。图像优选地被同时捕获，并显示原始紋理和图样的合并。在步骤S4中，如在前面的实施方式中的，根据沿着相 应的对极线的特征及其位置，两个被捕获的图像中的每个被独立分析。除 了步骤s4以外，在两个图像之间执行使用如上所述的立体对应的比较。
在该比较中，识别两个图像中类似的像素区域。如所讨论的，类似的像素 区域指示了相同的成像位置出现在每个图像中的何处。沿着其它图像中某 些对极线搜索一个图像中给定的像素区域，并找到对应性。
现在，在步骤S5中找到每个图像中的特征和原始图样之间的对应性，
如上面的实施方式中描述的。此外，在步骤5中，计算两个图像中相应的
像素"窗口"之间的相对位置。根据对应性，使用三角测量找到三维空间
坐标，见步骤s6。
如上所讨论的，图像之间的比较允许从富紋理表面、黑暗表面、局部 不平滑表面、透明表面、有光泽的表面等推导三维坐标，而在单个图样条 件下这些表面可能被错误地识别或根本不能被识别。在一起采用的被成像
的物体的3个三维坐标映射允许成像场景的三维点云的构造，如在步骤 s7中看到的。该点云可进一步被处理，以得到网状或三维表面，如在步 骤s8中看到的。三维表面可接着与来自额外的摄像机或CCD的紋理数据 一起被进一步处理。也可增加城市场景的空中数据(aerial data )。这样的 紋理和空中数据可补充通过步骤si-s8得到的深度三维深度图。
一般通过图像处理设备或本领域中已知的各种设备实施步骤s4到 s9。紋理数据可用很多方法获得。 一种方法是通过增加额外的CCD。另 一种是通过将可调滤波器添加到单个"可转换的"CCD,以便在某些时 间间隔CCD捕获图样，因而捕获深度信息，而在其它时间间隔CCD捕 获紋理信息。又一方法是通过简单地增加紋理专用摄像机以与深度捕获系 统并行工作。
如所述，在优选实施方式中使用的单个图样方法允许成像/投影仪系 统和成像^i市物体之间的相对运动。因此，该方法和装置特别适合于一种 实现，其中成像装置安装在以不同速度在整个城市环境中移动的地面车辆 上。
为了获得在三维中的动态场景建模，重复步骤s2到s8,并获得一序
78列三维图像。来自移动物体的数据处理可通过适当的处理软件和硬件实时 地出现，以从物体的三维点云及其随着时间的过去在三维空间中的运动得 到表面和形状。
因为图25中的本实施方式可通过单个图样结构光代码的投影来实 现，图像捕获的速度一般只被图样在其中实现的成像装置的速度限制，因 而对城市风景的快速三维建模是可能的。城市场景建模的上面的实施方式 不是限制性的，且利用立体解码方法和装置的其它实施方式是可能的。
被动或主动的立体匹配提供对成像场景的非常密集的采样。这是因为 比如第 一 图像的任何给定像素的内容提供相对于在第二图像中出现的相 同内容的不一致性测量。该不一致性测量对每个给定像素意味着深度值。
所以如果CCD传感器包含X个像素，则得到X深度坐标。
相反，在如上解释的单个图像的解码中，被解码的每个特征在传感器
上具有某个空间区域。让我们假定一般有IO个方形像素，所以解码的二 维图像具有X/10深度坐标，从该二维图像对三维空间坐标作三角测量。 所以立体匹配实现具有IO倍之多的深度坐标，因而有较密集的采样。
而且，在立体匹配中，通过执行两个被捕获的图像的两个向上采样的 版本之间的匹配过程，子像素分辨率是可能的。例如，在两个图像中的每 个中，像素的每个4x4块被4倍向上采样，达到大小为16x 16像素块。 在第一图像中选择某个向上采样的块。接着在第二图像中搜索与像素的该 向上采样的块类似的块。像素之间的对应性现在是就向上采样的像素而言 的。所以如果在两个图像之间发现比如21个像素的不一致性，则这等于 21/4=5.25个原始像素。剩余的四分之一像素是是就原始图像分辨率的子 像素分辨率而言的。
本发明的基于运动的三维图像捕获和深度测量的方法和装置对医学 成像领域有特定的应用。对于静止和移动的表面解剖的建模，可实时地计 算在三维中确定解剖表面部分的形状和尺寸的表面图像。可进一步处理通 过上面的实施方式确定的三维点云，以得到物体的表面和形状以及其随着 时间的过去在三维空间中的运动。这些表面和形状称为三角剖分 (triangulation mesh)。这样的三维建模数据可能对各种医学应用特别有用，包括但不限于用 于肺瘤分析、皮肤生长分析、骨骼结构分析、牙齿外科应用、上颔面和其 它切骨手术、皮肤癌和黑素瘤诊断、修复术应用、康复目的、运动医学应 用和整形外科以及其它美容医疗过程的外部三维成像。
列举几个，在重建、整形和牙齿外科的领域中，生物力学建模在手术 规划和术后复查中可利用人体测量数据的动态三维建模。手术的预期美容 结果对患者很重要，且当前实施方式的成像系统允许三维的软组织预测。 解剖变化的术后复查，例如乳房假体和缩小、皮肤填充物、面部和颈部除 皱术可通过使用当前实施方式的三维成像系统来实现。
对于解剖部分的康复应用骨架建模，例如在美国专利号6,133,921中 讨论的骨架建模可根据三维点云的分析来实施。可接着执行骨架模型的运 动分析。在牙齿应用的领域中，三维辅助建模和其它面部骨骼分析是可能 的。其它应用包括肿瘤形状和尺寸的测量、重建的手术规划和诊断、牙齿 和整形外科、修复术、康复和皮肤癌分析。
现在参考图26，其为示出在根据本发明的表面解剖的三维图像捕获 过程中的步骤的简化流程图。在步骤300中，产生两维编码光图样。接着， 在步骤302中，所产生的图样投影到外部解剖部分上。因为皮肤表面是自 然的低紋理表面，当前实施方式的结构光图样自然适合于皮肤表面成像。 在步骤304中，解剖部分的二维成像和反射图样被成像设备捕获。在步骤 306中，被捕获的图像被发送到处理器，用于提取被反射的特征类型及其 在被捕获的图像中沿着相应的对极线的位置。在步骤308，使特征沿着其 对极线的位置接着与反射该特征的成像解剖部分上的三维坐标相关。沿着 对极线的特征位置和三维空间坐标之间这个对应过程确定解剖形状。该过 程通过三角测量技术实施，如上所讨论的。对于二维图像中的每个被识别 的特征，因此得到指示特征从解剖部分反射的空间中的点的相应的三维坐 标。通过所有这样的三维坐标的编制，在步骤310得到三维点云，其给出 成像解剖部分的三维图。如果解剖部分移动，则重复步骤304到310,并 得到空间中的三维坐标的序列。在步骤312,该序列包括随着时间的过去 设置的点云数据，据此可产生运动中的骨架。在优选实施方式中，该静止或动态骨架模型被进一步处理，并优选地 输出到二维或三维屏幕用于观看。如所述，可对静止或运动的解剖实时地 处理三维坐标。通过后处理，例如，点云和/或骨架模型被传输到表示成 像解剖部分的尺寸的三维表面中。处于运动或静止的三维成像表面可用在 附图的底部所示出的和上面所讨论的应用中。
在可选实施方式中，特别是在修复术或康复应用中，解剖部分可用布 (clothing)或其它材料覆盖。而且，上面的实施方式可与额外的成像设备特 别是基于 一 个或多个紋理的成像设备一起实现，以得到紋理信息连同深度
信息。这样的实现的例子包括RGBZ、椅背板(splat)、彩色体素和紋理表 面。 一般，这些实现包括增加紋理专用的摄像机以与深度捕获系统并行地
及通过避免阻塞的增加的可见度。而且，这样的额外基于紋理的摄像机允 许高对比度、高紋理的非平滑表面例如毛发的重建。
而且，其它实施方式可优选地利用如上所述的第二成像设备。立体主 动三角测量技术提供了 一些优点。在所得到的三维图像中出现较少的阻 塞，因为物体或解剖元件现在从多于一个的视点成像。对于上面提到的高 对比度、高紋理的表面，例如被毛发、斑点、黑素瘤覆盖的身体部分，立 体成像被优选为如上讨论的。最后，使用如上讨论的立体匹配也得到较高 的分辨率。因为人类身体通常是低紋理表面，对于需要静止或移动的身体 部分的几何形状的大多数应用，利用单个图像解码和三维空间坐标推导。
很多医学应用需要三维运动捕获，用于解剖运动分析。而且，人类身 体即使在休息时也不是静止的。作为结果，密集的采样对每个帧是必要的。
当前实施方式的基于运动的三维图像捕获和深度测量的仍然进一步 的应用在机动车领域。 一个重要的应用是机动车辆的三维备援摄像机 (backup camera )。测量在倒车的车辆^各径中的可能障碍的深度并及时警 告驾驶员的能力是重要的安全需要。对于在倒车的车辆的路径中的任何给 定的被识别的物体，期望确定物体的分类，例如尺寸、准确的位置、物体 -车辆相对速度和重要地物体有生命的还是无生命的。
在图27中示出机动车应用的一般流程图。如上所提到的，至少一个
81投影仪和至少一个传感器装置安装在车辆的后侧上。在步骤324,投影仪
可能使用来自激光LED投影仪的IR光来投影二维编码光图样。图样在限 定的侧面和深度范围内，在车辆后面从静止和移动的物体^皮反射。传感器 接着捕获反射图样和紋理信息，如在步骤326所看到的。在步骤328，该 数据接着被车栽处理单元处理，以识别特征及其在二维图像中沿着相应的 对极线的位置。在步骤332，特征的这些位置接着对应到被识别的物体的 距离。这些距离接着用于可听得见地或在用于距离的仪表板上的显示屏上 可见地警告驾驶员。该过程随着时间的过去连续重复，以向驾驶员提供连 续的实时信息。
优选实施方式利用窄带单色成像，其比捕获彩色图像简单和便宜。单 色成像允许低成本不可见IR光的投影。
预期在患者的生命期间，很多相关的设备和系统将发展，且在这里术 语的范围被规定为先验地包括所有这样的新技术。
术语"光图样"、"光代码"和"光代码图样"在这里用于指任何光编 码技术，包括但不限于结构光、编码光和本领域中已知的其它等效形式。
术语"对极共线"简单地指两个独立的特征在给定二维图像中相同的 对极线上出现。
术语"反射点距离图像点位置关系"指被捕获的二维图像中的每个 点和三维空间中的点之间的一对一关系。可例如在非易失性存储器如闪存 中提供该关系。
术语"特征类型不同类多个(feature-type-inhomogeneous plurality )，' 指一组特征，其中每个特征是唯一的。
由这里描述的方法和装置成像的物体可以被可选地称为"目标场景" 或在校准的情况下为"校准场景"。
除了其它图像捕获装置以外，也可使用光电探测器的二维阵列。
术语"不受对极线排序影响"等效于说"不受场景距离影响"。
应认识到，为了清楚而在分开的实施方式的上下文中描述的本发明的某些特征也可结合单个实施方式被提供。相反，为了简洁而在单个实施方 式的上下文中描述的本发明的各种特征也可分开地或在任何适当的子组 合中被提供。
虽然结合其中的特定实施方式描述了本发明，显然很多可选、更改和 变化形式将对本领域技术人员是很明显。因此，意图是包括落在所附权利 要求的实质和大范围内的所有这样的可选、更改和变化形式。在本说明书 中提到的所有公布、专利和专利申请在这里都通过引用被全部并入本说明 书中，以达到好像每个单独的公布、专利和专利申请被特别和单独地指示 为在这里通过引用被并入的相同程度。此外，在本申请中任何参考资料的 引用或识别不应被解释为承认本发明可利用这样的引用作为现有技术。
权利要求
1.一种方法，其用于从二维图像获得数据以便确定出现在所述二维图像中的物体的三维形状，所述二维图像以可辨别的几何分离的对极线为特征，所述方法包括提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，将所述编码光图样投影到所述物体上，捕获具有投影在所述物体上的所述被投影的编码光图样的所述物体的二维图像，所述被捕获的二维图像包括被反射的所述特征类型，根据所述唯一的二维构成提取所述被反射的特征类型，以及提取所述特征类型在所述被捕获的图像中相应的所述对极线上的位置。
2. 如权利要求1所述的方法，其中所述被反射的特征类型沿着相应 的对极线的所述位置根据三角测量确定所述被成像的物体的相应的三维 空间坐标。
3. 如权利要求2所述的方法，其中所述三维空间坐标的编制包括三 维点云。
4. 如权利要求3所述的方法，其中所述三维点云被进一步处理以构 成三维网格。
5. 如权利要求4所述的方法，其中所述三维网格被进一步处理以添 加所述被成像的物体的紋理数据。
6. 如权利要求2所述的方法，其中通过所述被捕获的图像中所述被 反射的特征类型的位置与所述被投影的图样中相同的所述特征类型的位 置之间的对应来计算所述三角测量。
7. 如权利要求l所述的方法，其中所述编码光图样是重复的周期性图样。
8. 如权利要求1所述的方法，其中所述编码光图样是非周期性图样。
9. 如权利要求l所述的方法，其中所述被投影的编码光图样投影成 使得每个所述可识别的特征类型在所述可辨别的对极线的预定部分上至 多出现一次。
10. 如权利要求9所述的方法，其中所述对极线的所述预定部分包括 所述被捕获的图像中的对极线的整个长度。
11. 如权利要求9所述的方法，其中所述对极线的所述预定部分是所述被捕获的图像中的对极线的长度的部分。
12. 如权利要求9所述的方法，其中所述编码光图样的所述投影与所 述对极线成预定的最佳角。
13. 如权利要求12所述的方法，其中所述预定的最佳投影角与所述 编码光图样的尺寸相适应。
14. 如权利要求12所述的方法，其中所述预定的最佳投影角与可辨 别的对极线之间的水平距离相适应。
15. 如权利要求1所述的方法，其中根据唯一的二维构成对所述特征 类型的所述提取步骤包括确定a) 包括所述特征类型的元素；b) 所述特征类型的所述元素之间的对极距离。
16. 如权利要求15所述的方法，其中特征的所述元素是在传感器的 像素区域上的二维光强度构成。
17. 如权利要求16所述的方法，其中通过在相邻的采样像素值中定 位光强度的临界点来识别所述构成。
18. 如权利要求15所述的方法，其中所述元素是二进制值。
19. 如权利要求15所述的方法，其中所述元素的位置被表示为所述 二维图像中的两维坐标。
20. 如权利要求15所述的方法，其中所述元素之间的所述对极距离 是恒定的。
21. 如权利要求15所述的方法，其中所述元素之间的所述对极距离变化。
22. 如权利要求1所述的方法，其中所述唯一的二维构成包括谱编码。
23. 如权利要求1所述的方法，其中所述被捕获的图像在每个连续的 时间帧;波捕获。
24. 如权利要求23所述的方法，其中对于每个所述被捕获的图像， 沿着相应的对极线的所述被反射的特征类型根据三角测量确定所述被成 像的物体的相应的三维空间坐标。
25. 如权利要求24所述的方法，其中一系列帧的所有这样的帧的所 述三维坐标构成提供三维运动捕获的视频流。
26. 如权利要求25所述的方法，其中所述三维坐标被实时地计算以 提供三维运动捕获的实时视频流。
27. 如权利要求1所述的方法，其中所述二维编码光图样通过将多个 编码矩阵叠加在菱形图样上来产生，所述矩阵包括从Debruijn序列得到 的二进制值。
28. 如权利要求27所述的方法，进一步包括对具有叠加的编码矩阵 的所述菱形图样进行高斯平滑。
29. —种装置，其用于从二维图像获得数据以便确定出现在所述二维 图像中的物体的三维形状，所述二维图像以可辨别的几何分离的对极线为 特征，所述装置包括具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一 的二维构成是可辨别的，投影仪，其用于将所述编码光图样投影到所述物体上， 图样的所述物体的图像，所述被捕获的图像包括被反射的所述特征类型，以及解码器，其配置成a) 根据所述唯一的二维构成提取所述被反射的特征类型，b) 提取所述特征类型在所述被捕获的图像中相应的所述对极线 上的位置。
30. 如权利要求29所述的装置，其中所述被反射的特征类型沿着相 应的对极线的所述位置根据三角测量确定所述被成像的物体的相应的三 维空间坐标。
31. 如权利要求29所述的装置，其进一步配置成在对所述物体的所 述成像期间相对于所述物体在三维中移动。
32. 如权利要求29所述的装置，其进一步配置成捕获相对于所述装 置在三维中移动的所述物体的所述图像。
33. —种方法，其用于从二维视频图像获得数据以便确定出现在所述 二维视频图像中的移动物体的三维形状，所述二维视频图像的每个帧以可 辨别的几何分离的对极线为特征，所述方法包括提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据 唯一的二维构成是可辨别的，将所述编码光图样投影到所述移动物体上，捕获具有投影在所述移动物体上的所述被投影的编码光图样的所迷 移动物体的所述二维视频图像，所述被捕获的二维视频图像包括被反射的所述特征类型，以及对于所述视频图像的每个被捕获的帧a) 根据所述唯一的二维构成提取所述被反射的特征类型，b) 提取所述特征类型在相应的所述对极线上的位置。
34. 如权利要求33所述的方法，其中，对于每个被捕获的帧，所述 被反射的特征类型沿着相应的对极线的所述位置根据三角测量确定所述 -波成Y象的物体的相应的三维空间坐标。
35. 如权利要求33所述的方法，其中对于每个投影，每个所述可识
36. —种装置，其用于从二维视频图像获得数据以便确定出现在所述 二维视频图像中的移动物体的三维形状，所述二维视频图像的每个帧以可 辨别的几何分离的对极线为特征，所述装置包括具有多个不同的特征类型的二维编码光图样，每个特征类型4艮据唯一 的二维构成是可辨别的，投影仪，其用于将所述编码光图样投影到所述移动物体上，成像设备，其用于捕获具有投影在所述移动物体上的所述被投影的编 码光图样的所述移动物体的所述二维视频图像，所述被捕获的二维视频图 像包括被反射的所述特征类型，以及解码器，其配置成a) 根据所述唯一的二维构成提取所述被反射的特征类型，b) 对于所述视频图像的每个被捕获的帧，提取所述特征类型在 相应的所述对极线上的位置。
37. 如权利要求36所述的装置，其中，对于每个被捕获的帧，所述 被反射的特征类型沿着相应的对极线的所述位置根据三角测量确定所述 被成像的物体的相应的三维空间坐标。
38. —种方法，其用于获得包括一个或多个物体的场景的距离数据， 所述方法包括将具有多个不同的特征类型的二维编码光图样投影到所述场景上，以 便从所述场景中不同的相应反射位置反射所述光图样的每个特征，所述特 征类型根据二维构成在所述图样上可辨别为唯一的，捕获所述场景的二维图像，所述二维图像包括所述被反射的特征，对出现在所述二维图像中的每个所述被反射的特征a) 根据所述唯一的二维构成确定相应的特征类型，b) 确定所述特征类型在相应的所述对极线上的位置，根据所述相应的确定的特征类型并根据所述相应的确定的对极线位 置，对所述每个被反射的特征得到相应的相关反射点的相应距离。
39. 如权利要求38所述的方法，其中所述相应距离的编制包括所述 被成像的物体的三维几何形状。
40. 如权利要求38所述的方法，其中对所述相应的对极线位置的所述确定包括产生所述被捕获的图像中所述相应的确定的特征类型与所述 被投影的图样中相同的所述特征类型的位置之间的关联。
41. 在包括图样投影装置和图像捕获装置的系统中，所述图样投影装 置操作地将多特征类型二維光图样投影到场景上使得所述多特征类型二 维光图样的每个特征从相应的反射点反射，所述图像捕获装置操作地捕获 所述场景的二维图像，所述二维图像包括所述被反射的特征， 一种获得场 景数据的方法，所述方法包括a) 对于包括根据唯一的二维构成可辨别的特征的特征集合中的每个 特征，其中所述二维光图样的第 一特征类型不同类的多个对极共线特征与 第 一对极线相关，而第二特征类型不同类的多个对极共线特征与不同于所 述第 一对极线的第二对极线相关，提供相应的反射点距离图像点位置关 系的相应描述，从而提供多个所述反射点距离图像点位置关系，b) 对于目标场景的被捕获的二维图像，对所述特征集合中的每个特 征，从所述场景的所述被捕获的二维图像根据所述唯一的二维构成确定相 应的特征类型并确定所述每个特征的相应的对极线标识；c) 对所述特征集合中的所述每个特征，根据所述确定的特征类型和 所述对极线标识，使所述每个特征与从所述多个反射点距离图像点位置 关系选4奪的相应的所述反射点距离图像点位置关系关联；以及d) 对所述特征集合中的所述每个特征，使用所述相应的选定的反射 点距离图像点位置关系来从所述目标场景的所述被捕获的二维图像中的 位置确定所述目标场景中相应的反射点的位置。
42. —种系统，其用于从目标场景获得场景数据，所述系统包括a)图样^投影装置，其操作地将具有多个不同的特征类型的二维编码光图样投影到所述场景上，以便每个特征从相应的反射点反射，所述特征 类型根据二维构成在所述图样中可辨别为唯一的，b) 图像捕获装置，其操作地捕获所述场景的二维图像，所述二维图像包括所述被反射的特征；以及c) 图像处理元件，其对所述二维图像的每个所述被反射的特征操作来i) 对每个所述被反射的特征A. 根据所述唯一的二维构成确定特征类型；B. 确定相应的对一及线位置；以及ii) 根据所述相应的确定的特征类型并根据所述相应的确定的对 极线位置，对每个所述被反射的特征得出相应的相关反射点的相应距离。
43. —种系统，其用于从目标场景获得场景数据，所述系统包括a) 图样投影装置，其操作地将具有多个不同的特征类型的二维编码 光图样投影到所述场景上，以便每个特征从相应的反射点反射，所述特征 类型根据二维构成在所述图样中可辨别为唯一的，b) 图像捕获装置，其操作地捕获场景的二维图像，所述二维图像包 括所述被反射的特征，所述图样投影装置和所述图像捕获装置配置成使得 每个所述被反射的特征以不受场景距离影响的方式保持在所述被捕获的 二维图像中确定的对极线上；以及c) 图像处理元件，其操作来i)根据所述二维图像中的所述特征的所述唯一的二维构成对每 个被反射的特征确定相应的特征类型
44. 一种系统，其用于从目标场景获得场景数据，所述系统包括a)图样投影装置，其操作地将具有多个不同的特征类型的二维编码 光图样投影到所述场景上，以便每个特征从相应的反射点反射，所述特征 类型根据二维构成在所述图样中可辨别为唯一的，b)图像捕获装置，其操作来捕获所述场景的二维图像，所述二维图 像包括所述被反射的特征，其中所迷图样投影装置和所述图像捕获装置以 不受离所述目标场景的距离影响的方式操作，使得对于在所述被捕获的二维图像中的多线对极线集合中的每个不同的对极线i) 所述二维光图样的特征类型不同类的多个投影特征存在于所述每个对极线上；ii) 至多一个特征类型存在于所述每个对极线上。
45. —种方法，其用于确定出现在两个得到的二維图像中的被成像的 物体的三维形状，所述得到的图像通过限定的对极场彼此相关，所述方法 包括提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据 唯一的二维构成是可辨别的，将所述编码光图样投影到所述被成像的物体上，捕获所述被成像的物体的第一二维图像，捕获所述被成像的物体的第二二维图像，选择所述第一二维图像的像素区域PX1，出现在PX1上的内容被约 束为出现在所述第二二维图像中特定的对极线EPm上，在所述第二图像中沿着所述对极线EPm找到PX1的所述内容，以及确定在所述第一图像和所述第二图像之间的PX的所述内容的出现 的相对位置。
46. 如权利要求45所述的方法，其中PX1内容的所述出现的所述相 对位置根据三角测量确定被成像的物体的相应的三维空间坐标。
47. 如权利要求46所述的方法，其中所述被成像的物体是在城市场 景中的物体，且所述三维空间坐标用于对所述场景进行三维建模。
48. —种装置，其用于确定出现在两个得到的二维图像中的被成像的 物体的三维形状，所述二维图像从至少两个实质上相邻的成像设备得到， 所述图像通过限定的对极场彼此相关，所述装置包括具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一 的二维构成是可辨别的，投影仪，其用于将所述编码光图样投影到所述被成像的物体上，第 一成像设备，其用于捕获所述被成像的物体的第一二维图像，第二成像设备，其用于捕获所述被成像的物体的第二二维图像，图像处理设备，其用于a) 选择所述第一二维图像的像素区域PX1，出现在PX1上的内 容被约束为出现在所述第二二维图像中的特定的对极线EPm上，b) 在所述第二图像中沿着所述对极线EPm找到PX1的所述内容，以及c) 确定在所述第一图像和所述第二图像之间的PX1的所述内容 的出现的相对位置。
49. 如权利要求48所述的装置，其中PX1内容的所述出现的所述相 对位置根据三角测量确定被成像的物体的相应的三维空间坐标。
50. 如权利要求49所述的装置，其中所述被成像的物体是在城市场 景中的物体，且所述三维空间坐标用于对所述场景进行三维建模。
51. —种基于三角测量的方法，其用于对城市场景的三维建模，所述 方法捕获具有投影在所述城市场景上的被投影的结构光图样的所述城市 场景的至少两个图像，所述图像通过限定的对极场彼此相关，每个图像进 一步具有与投影仪有关的额外的对极场，所述方法包括提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据 唯一的二维构成是可辨别的，将编码光图样投影到所述城市场景上，捕获包括被反射的所述特征类型的、所述城市场景的第一二维图像， 捕获包括被反射的所述特征类型的、所述城市场景的第二二维图像， 选择所述第一二维图像的像素区域PX1，出现在PX1上的内容被约束为出现在所述第二二维图像中特定的对极线EPm上，在所述第二图像中沿着所述对极线EPm找到PX1的所述内容，以及确定在所述第一图像和所述第二图像之间的PX1的所述内容的出现 的相对位置，以及独立地对于每个所述被捕获的图像，进一步根据所述唯一的二维构成 提取所述被反射的特征类型，并提取所述特征类型在相应的对才及线上的位置。
52. 如权利要求51所述的方法，其中所述被反射的特征类型沿着相 应的对极线的所述位置根据三角测量确定在所述城市场景中一皮成像的物 体的相应的三维空间坐标。
53. 如权利要求51所述的方法，其中PX1的所述内容的出现的所述 相对位置根据三角测量确定在所述城市场景中被成像的物体的相应的三 维空间坐标。
54. 如权利要求53所述的方法，其中所述三维空间坐标用于对所述 城市场景进行三维建模。
55. 如权利要求54所述的方法，其中城市场景的所述三维建模在显 示器上被显示给用户，所述显示器允许所述用户在所述城市场景中巡视。
56. 如权利要求54所述的方法，其中纹理信息被添加以补充所述城 市建模。
57. 如权利要求56所述的方法，其中空中数据被添加以补充所述城 市建模。
58. —种装置，其用于对城市场景进行基于三角测量的三维建模，所 述装置包括用于捕获所述城市场景的至少两个图像的至少两个实质上相 邻的成像设备，所述装置进一步具有用于将结构光图样投影在所述场景中 的物体上的投影仪，所述图像通过限定的对极场彼此相关，每个图像进一 步具有与所述投影仪有关的额外的对极场，所述装置包括具有多个不同的特征类型的二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，投影仪，其用于将所述编码光图样投影到所述城市场景上，第一成像设备，其用于捕获包括被反射的所述特征类型的、所述^^市 场景的第一二维图像，第二成像设备，其用于捕获包括被反射的所述特征类型的、所述城市 场景的第二二维图像，图像处理设备，其用于a) 选择所述第一二维图像的像素区域PX1，出现在PX1上的内 容被约束为出现在所述第二二维图像中特定的对极线EPm上，b) 在所述第二图像中沿着所述对极线EPm找到PX1的所述内答,c) 确定在所述第一图^f象和所述第二图像之间的PX1的所述内容 的出现的相对位置，以及d) 独立地在每个图像中根据所述唯一的二维构成提取所述被反 射的特征类型并提取所述特征类型在相应的对极线上的位置。
59. 如权利要求58所述的装置，其中所述被反射的特征类型沿着相 应的对极线的所述位置根据三角测量确定在所述城市场景中被成像的物 体的相应的三维空间坐标。
60. 如权利要求59所述的装置，其中PX1的所述内容的出现的所述 相对位置根据三角测量确定在所述城市场景中被成像的物体的相应的三 维空间坐标。
61. 如权利要求60所述的装置，其中所述三维空间坐标用于对所述 城市场景进行三维建模。
62. 如权利要求61所述的装置，其中城市场景的所述三维建模在显 示器上被显示给用户，所述显示器允许所述用户在所述城市场景中巡视。
63. 如权利要求61所述的装置，其中紋理信息被添加以补充所述城 市建模。
64. 如权利要求61所述的装置，其中空中数据被添加以补充所述城 市建模。
65. 如权利要求61所述的装置，其进一步配置成在对所述城市场景 的所述成像期间相对于所述城市场景中的物体在三维中移动。
66. 如权利要求61所述的装置，其进一步配置成捕获相对于所述装 置在三维中移动的所述城市场景中的物体的所述图像。
67. —种方法，其用于从二维图像获得数据以便确定出现在所述二维 图像中的物体的三维形状，所述二维图像以可辨别的几何分离的对极线为 特征，所述方法包括提供具有多个不同的可识别的特征类型的二维编码光图样，每个所述 特征类型根据唯一的二维构成是可辨别的，提供所述二维编码光图样的反图样，将所述编码光图样和所述反的编码光图样投影在所述物体上， 捕获1 )具有投影在所述物体上的所述被投影的编码光图样的所述物体的 第一图像，所述第一图像包括被反射的所述特征类型，2)具有投影在所述物体上的所述反的编码光图样的所述物体的第二 图像，所述第二图像包括被反射的所述特征类型，从所述第一被捕获的图像中减去所述第二被捕荻的图像来荻得合成 图像，以及在所述合成图像中，根据所述唯一的二维构成提取所述被反射的特征 类型并提取所述特征类型在相应的对极线上的位置。
68. 如权利要求67所述的方法，其中所述被反射的特征类型沿着相 应的对极线的所述位置根据三角测量确定所述被成像的物体的相应的三 维空间坐标。
69. 如权利要求67所述的方法，其中所述光图样在时间上被投影。
70. 如权利要求67所述的方法，其中所述光图样以光的不同谱值被投影。
71. 如权利要求70所述的方法，其中具有不同谦值的所述光图样在 时间上被投影。
72. 如权利要求67所述的方法，其中所述第一图像和所述第二图像 在时间上被捕获。
73. 如权利要求72所述的方法，其中所述时间成像在不均匀的时间 间隔上实施。
74. 如权利要求67所述的方法，其中所述第一图像和所述第二图像 使用谱分化被同时捕获。
75. 如权利要求67所述的方法，进一步包括对所述被成像的物体的 第三图像的捕获，所述第三图像包括紋理信息。
76. 如权利要求67所述的方法，其中所述合成图像中所述特征类型 的所述提取通过确定采样点的直接强度值来实施。
77. —种方法，其用于从二维图像获得数据以便确定出现在所述二维 图像中的物体的三维形状，所述二维图像以可辨别的几何分离的对极线为 特征，所述方法包括提供具有多个不同的可识别的特征类型的第一二维编码光图样，每个 特征类型根据唯一的二维构成是可辨别的，提供具有多个不同的可识别的特征类型的、不同于所述第一图样的第 二二维编码光图样，每个特征类型根据唯一的二维构成是可辨别的，将所述第一编码光图样和所述第二编码光图样投影在所述物体上，捕获1)具有投影在所述物体上的所述第一被投影的编码光图样的所述物 体的第 一 图像，所述第 一图像包括被反射的所述特征类型，2)具有投影在所述物体上的所述第二被投影的编码光图样的所述物 体的第二图像，所述第二图像包括被反射的所述特征类型，独立地在每个图像中根据所述唯 一 的二维构成提取所述被反射的特征类型并提取所述特征类型在相应的对极线上的位置；比较所述第二图像中的对极线的区域与第 一 图像中沿着相同的对极 线的相似区域，以^S正第 一图像中的特征标识。
78. —种方法，其用于从两个二维图像获得紋理数据，每个所述图像 包括用于对每个图像独立地获得被成像的物体的深度数据的反射码，所述方法包括提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征 类型根据唯一 的二维构成是可辨别的，提供所述二维编码光图样的反图样，将所述编码光图样和所述反的编码光图样投影在所述物体上，捕获1 )具有投影在所述物体上的所述被投影的编码光图样的所述物体的 第一图像，所述第一图像包括被反射的所述特征类型，2)具有投影在所述物体上的所述反的编码光图样的所述物体的第二 图像，所述第二图像包括被反射的所述特征类型，从所述第二被捕获的图像与所述第 一被捕获的图像的相加中获得合 成图像，所述合成图像提供所述被成像的物体的纹理信息。
79. —种方法，其用于从二维图像获得数据以便确定出现在所述二维 图像中的物体的三维形状，所述二维图像以可辨别的几何分离的对极线为 特征，所述方法包括提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征 类型由变化的光强度的点组成，其中所述特征类型的一个点是最大值或最 小值，提供第二二维编码光图样，所述第二二维编码光图样包括具有所述最 大值或最小值反转了的所述第一图样，将所述第一编码光图样和所述第二编码光图样投影在物体上，捕获` 1 )具有投影在所述物体上的所述第一被投影的编码光图样的所述物 体的第 一 图像，所述第 一 图像包括被反射的所述特征类型，`2)具有投影在所述物体上的所述第二被投影的编码光图样的所述物 体的第二图像，所述第二图像包括被反射的所述特征类型，从所述第 一被捕获的图像中减去所述第二被捕获的图像来获得合成 图像，所述合成图像包括所述被反射的特征类型的所述最大值点和所述最 小值点，以及在所述合成图像中提取所述最大值点和所述最小值点以及在所述相 应的对极线上的所述最大值点和所述最小值点的位置。
80. 如权利要求79所述的方法，其中最大值和最小值的所述位置用 于确定所述第一图像中相应的特征类型位置。
81. —种方法，其用于从二维图像获得数据以便确定出现在所述二维 图像中的物体的三维形状，所述二维图像以可辨别的几何分离的对极线为 特征，所述方法包括提供具有多个不同的可识别的特征类型的第一二维编码光图样，每个 特征类型由变化的光强度的点组成，其中所述特征类型的 一个点是最大值 或最小值，提供第二二维编码光图样，所述第二二维编码光图样包括具有所述最 大值或最小值反转了的所述第 一 图样， 将所述第一编码光图样和所述第二编码光图样^:影在所述物体上，捕获`1 )具有投影在所述物体上的所述第一被投影的编码光图样的所述物 体的第 一图像，所述第 一 图像包括被反射的所述特征类型，`2)具有投影在所述物体上的所述第二被投影的编码光图样的所述物 体的第二图像，所述第二图像包括被反射的所述特征类型，从所述第 一被捕获的图像与所述第二被捕获的图像的相加来获得合 成图像，所述合成图像包括所述被反射的特征类型的非最大值强度点和非最小值强度点，以及在所述合成图像中提取所述被反射的特征类型的所述非最大值点和 所述非最小值点以及所述非最大值点和所述非最小值点在所述相关的所 述对极线上的位置。
82. 如权利要求79和81所述的方法，其中沿着相应的对极线的所述最大值和所述最小值的所述位置以及所述非最大值点和所述非最小值点 的沿着相应的对极线的所述位置根据三角测量确定所述被成像的物体的 相应的三维空间坐标。
83. —种方法，其用于从二维图像获得数据以便确定出现在所述二维 图像中的物体的三维形状，所述二维图像以可辨别的几何分离的对极线为 特征，所述方法包括提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据 唯一的二维构成是可辨别的，提供所述二维编码光图样的反图样，将所述编码光图样和所述反的编码光图样投影在所述物体上， 捕获1 )具有投影在所述物体上的所述被投影的编码光图样的所述物体的 第一图像，所述第一图像包括被反射的所述特征类型，2)具有投影在所述物体上的所述反的编码光图样的所述物体的第二 图像，所述第二图像包括被反射的所述特征类型，从所述第一被捕获的图像与所述第二被捕获的图像的相减的绝对值 来获得合成图像，所述合成图像包括所述被反射的特征类型的轮廓，在所述合成图像中提取所述轮廓以及所述轮廓在相应的所述对极线 上的位置。
84. 如权利要求83所述的方法，其中所述轮廓沿着相应的对极线的 所述位置根据三角测量确定所述被成像的物体的相应的三维空间坐标。
85. —种方法，其用于从二维图像获得数据以便确定出现在所述二维图像中的物体的三维形状，所述二维图像以可辨别的几何分离的对极线为特征，所述方法包括提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征 类型根据唯一 的二维构成是可辨别的，将所述编码光图样投影在所述物体上，捕获1)具有投影在所述物体上的所述被投影的编码光图样的所述物体的 第一图像，所述第一图像包括被反射的所述特征类型，2)具有投影在所述物体上的环境光的所述物体的第二图像，从所述第一被捕获的图像中减去所述第二被捕获的图像来获得合成 图像，在所述合成图像中提取所述被反射的特征类型和所述特征类型在相 应的所述对极线上的位置。
86. 如权利要求85所述的方法，其中所述被反射的特征类型沿着相 应的对极线的所述位置根据三角测量确定所述被成像的物体的相应的三 维空间坐标。
87. —种方法，其用于确定出现在两个得到的二维图像中的被成像的 解剖表面元件的三维形状，所述得到的图像通过限定的对极场彼此相关， 所述方法包括提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征 类型根据唯一 的二维构成是可辨别的，将所述编码光图样投影到所述解剖表面元件上，捕获所述解剖表面元件的第一二维图像，捕获所述解剖表面元件的第二二维图像，选择所述第一二维图像的像素区域pxi，出现在PX1上的内容被约 束为出现在所述第二二维图像中特定的对极线EPm上，在所述第二图像中沿着所述对极线EPm找到PX1的所述内容，以及确定在所述第一图像和所述第二图像之间的PX1的所述内容的出现 的相对位置。
88. 如权利要求87所述的方法，其中PX1内容的所述出现的所述相 对位置根据三角测量确定被成像的解剖表面元件的相应的三维空间坐标。
89. —种装置，其用于确定出现在两个得到的二维图像中的被成像的 解剖表面元件的三维形状，所述二维图像从至少两个实质上相邻的成像设 备得到，所述图像通过限定的对极场彼此相关，所述装置包括具有多个不同的可识别的特征类型的二维编码光图样，每个特征类型 根据唯一的二维构成是可辨别的，投影仪，其用于将所述编码光图样投影到所述解剖表面元件上，第一成像设备，其用于捕获所述被成像的解剖表面元件的第一二维图像，第二成像设备，其用于捕获所述被成像的解剖表面元件的第二二维图像，图像处理设备，其用于a) 选择所述第一二维图像的像素区域PXl,出现在PX1上的内 容被约束为出现在所述第二二維图像中特定的对极线EPm上，b) 在所述第二图像中沿着所述对极线EPm找到PX1的所述内容，以及c) 确定在所述第一图像和所述第二图像之间的PX1的所述内容 的出现的相对位置。
90. 如权利要求89所述的装置，其中PX1内容的所述出现的所述相 对位置根据三角测量确定被成像的解剖表面元件的相应的三维空间坐标。
91. 一种基于三角测量的方法，其用于对解剖表面元件的三维建模， 所述解剖表面元件的至少两个图像，所述图像通过限定的对极场彼此相关，每个图像进一步具有与投影仪有关的额外的对极场，所述方法包括提供具有多个不同的特征类型的二维编码光图样，每个特征类型根据 唯一的二维构成是可辨别的，将所述编码光图样投影到所述解剖表面元件上，捕获包括被反射的所述特征类型的、所述解剖元件的第一二维图像， 捕获包括被反射的所述特征类型的、所述解剖元件的第二二维图像，选择所述第一二维图像的像素区域PX1，出现在PX1上的内容被约 束为出现在所述第二二维图像中特定的对极线EPm上，在所述第二图像中沿着所述对极线EPm找到PX1的所述内容，以及确定在所述第一图像和所述第二图像之间的PX1的所述内容的出现 的相对位置，以及独立地对于每个所述被捕获的图像，进一步根据所述唯一的二维构成 提取所述被反射的特征类型并提取所述特征类型在相应的对极线上的位置。
92. 如权利要求91所述的方法，其中所述被反射的特征类型沿着相 应的对极线的所述位置根据三角测量确定被成像的解剖表面元件的相应 的三维空间坐标。
93. 如权利要求92所述的方法，其中PX1的所述内容的出现的所述 相对位置根据三角测量确定被成像的解剖表面元件的相应的三维空间坐标。
94. 如权利要求93所述的方法，其中所述三维空间坐标用于对所述 解剖表面元件进行三维建;f莫。
95. 如权利要求94所述的方法，其中解剖表面元件的所述三维建模 在显示器上被显示给用户，所述显示器允许所述用户在所述解剖表面元件 周围巡-见。
96. 如权利要求94所述的方法，其中紋理信息被添加以补充所述解 剖表面元件建模。
97. —种装置，其用于对解剖表面元件进行基于三角测量的三维建模， 所述装置包括用于捕获所述解剖元件的至少两个图像的至少两个实质上 相邻的成像设备，所述装置进一步具有用于将结构光图样投影在解剖元件 上的投影仪，所述图像通过限定的对极场彼此相关，每个图像进一步具有与所述投影仪有关的额外的对极场，所述装置包括二维编码光图样，其具有多个不同的特征类型，所述被反射的特征类 型依据所述唯 一 的二维构成以及所述特征类型在相应的对极线上的位置，投影仪，其用于将所述编码光图样投影到所述解剖元件上，第一成像设备，其用于捕获包括被反射的所述特征类型的、所述解剖 元件的第一二维图像，第二成像设备，其用于捕获包括被反射的所述特征类型的、所述解剖 元件的第二二维图像，图像处理设备，其用于a) 选择所述第一二维图像的像素区域PX1，出现在PX1上的内 容被约束为出现在所述第二二维图像中特定的对极线EPm上，b) 在所述第二图像中沿着所述对极线EPm找到PX1的所述内容,c) 确定在所述第一图像和所述第二图像之间的PX1的所述内容 的出现的相对位置，以及d) 独立地在每个图像中提取所述被反射的特征类型和所述特征 类型在相应的所述对极线上的位置。
98. 如权利要求97所述的装置，其中所述被反射的特征类型沿着相 应的对极线的所述位置根据三角测量确定被成像的解剖表面元件的相应 的三维空间坐标。
99. 如权利要求98所述的装置，其中PX1的所述内容的出现的所述 相对位置根据三角测量确定被成像的解剖表面元件的相应的三维空间坐标。
100. 如权利要求99所述的装置，其中所述三维空间坐标用于对所述 解剖表面元件进行三维建模。
101. 如权利要求100所述的装置，其中解剖表面元件的所述三维建 模在显示器上被显示给用户，所述显示器允许所述用户在所述解剖表面元 件周围巡视。
102. 如权利要求100所述的装置，其中紋理信息被添加以补充所述 解剖表面元件建才莫。
103. 如权利要求97所述的装置，其进一步配置成在对所述解剖元件 的所述成像期间相对于所述解剖表面元件在三维中移动。
104. 如权利要求97所述的装置，其配置成捕获相对于所述装置在三 维中移动的所述解剖表面元件的所述图像。
105. —种可安装在机动车辆上的装置，所述装置配置成获得在离所 述车辆的尾部的一定范围内的物体的深度数据，并进一步配置成获得二维 图像以便从所述二维图像确定所述深度数据，所述二维图像以可辨别的几 何分离的对极线为特征，所述装置包括二维编码光图样，其具有多个预定的可识别的特征类型，每个特征类 型根据唯一的二维构成是可辨别的，投影仪，其用于将所述编码光图样投影到所述物体上，图样的所述物体的图像，所述被捕获的图像包括被反射的所述特征类型， 以及解码器，其配置成根据所述唯一的二维构成提取所述被反射的特征类 型并提取所述特征类型在所述被捕获的图像中相应的所述对极线上的位置。
106. 如权利要求105所述的装置，其中所述被反射的特征类型沿着 相应的对极线的所述位置根据三角测量确定所述被成像的物体的相应的 三维空间坐标。
107. 如权利要求105所述的装置，其进一步配置成在对所述对象的所述成像期间相对于所述物体在三维中移动。
108. 如权利要求105所述的装置，其配置成捕获相对于所述装置在 三维中移动的所述物体的所述图像。
109. —种系统，其用于获得位于机动车辆后的目标场景的深度数据， 所述系统包括a) 图样投影装置，其操作地将具有多个不同的特征类型的二维编码 光图样」投影到所述场景上，使得每个特征从相应的反射点反射，所述特征 类型根据二维构成在所述图样上可辨别为唯一的；b) 图像捕获装置，其可安装在所述机动车辆上，并操作地捕获所述 场景的二维图像，所述二维图像包括所述被反射的特征；以及c) 图像处理元件，其对所述二维图像的每个所述被反射的特征操作来i) 对所述每个^f皮反射的特征A. 根据所述唯一的二维构成确定特征类型；B. 确定相应的对极线位置；以及ii) 根据所述相应的确定的特征类型并根据所述相应的确定的对 极线位置，对每个所述被反射的特征得出相应的相关反射点的相应距离。
110. —种方法，其用于从二维图像获得数据以便确定出现在所述二 维图像中的物体的三维形状，所述二维图像以可辨别的几何分离的对极线 为特征，所述方法包括提供具有多个不同的可识别的特征类型的二维编码光图样，每个特征 类型根据唯一的二维构成是可辨别的，将所述编码光图样投影到所述物体上， 捕获1)具有投影在所述物体上的所述被投影的编码光图样的所述物体的 第一图像，所述第一图像包括被反射的所述特征类型，2)具有投影在所述物体上的均匀光的所述物体的第二图像， 从所述第一被捕获的图像被所述第二被捕获的图像除，来获得合成图像，在所述合成图像中提取所述被反射的特征类型和所述特征类型在相 应的所述对4及线上的位置。
111. 一种系统或方法，其用于实质上如在上文或在任何附图中描述 或示出的三维成像。
全文摘要
一种方法和装置，其用于获得图像以使用具有多个不同的可识别的特征类型的二维编码光图样来确定静止或移动物体的三维形状。编码光图样投影到物体上，使得每个可识别的特征类型在可辨别的对极线的预定部分上出现至多一次。捕获物体的图像，并提取被反射的特征类型连同其在被捕获的图像中已知对极线上的位置。根据三角测量映射，在二维图像中被识别的特征类型的位置对应到空间中的三维坐标。因此获得在一个时间处的被成像的物体的三维映射或建模。
文档编号G01B11/25GK101627280SQ200780050227
公开日2010年1月13日 申请日期2007年11月20日 优先权日2006年11月21日
发明者伊亚尔·戈登, 古尔·阿里·比坦 申请人:曼蒂斯影像有限公司