三维成像中的人工痕迹消除的制作方法

专利名称：三维成像中的人工痕迹消除的制作方法
技术领域：
本发明涉及三维扫描，更具体地讲，涉及有关处理三维数据偏差 中人工痕迹的技术。
2. 相关领域描述
三维成像的数据釆集通常包括人工痕迹，这些人工痕迹与(例如) 成像主体、环境条件以及用于数据采集的光学和电子系统的固有特性 有关。
普通校正技术可能通过直接测量已知靶标，以及对成像系统的不 理想方面进行数学建模来表征这些误差。建模技术一个明显的弊端是 它会造成特征化困难并可能无法找到成像人工痕迹的实际根源。相反， 强力校正可能耗费大量时间，并且通常需要专业化的、灵敏的硬件平 台。强力校正还会生成非常大的校正文件，对三维成像中使用的多维 数据集来说更是如此。在这些现有可选技术中选择哪一种，通常取决
于被校正系统的特性，并且往往迫使设计者做出一定程度的妥协。在 多孔装置和具有一个以上光学通道的其它系统中，选择合适的校正机 制可能会更加困难，原因是每个通道会具有影响校正的不同特性。仍然需要改进校正技术，以适合具有一个以上光学通道的光学装 置，诸如多孔成像系统。

发明内容
通过使用基于模型的校正和査找表，根据(例如)X位移、y位 移和/或成像视差数据来分辨深度，可以改善三维成像系统的性能及其 校正。在实施例中，查找表存储用于计算校正的结果的局部参数化数 据。


通过参考下列附图可以理解本发明及其某些实施例的以下具体实 施方式。
图1示出三维成像系统。
图2示出三维成像系统的坐标系。
图3示出查找表的构造方法及使用方法。
图4示出校正方法的各个方面。
图5示出校正方法的各个方面。
具体实施例方式
下面描述一种用于校正三维成像系统的技术。尽管查找表和校正 技术是结合某些使用视差信息复原深度的多孔系统来进行描述的，但 应当理解的是，变化和可供选择的实施例对于本领域的普通技术人员 来说应该是显而易见的，并且从本意上说属于本公开范围之内。例如， 系统可以使用时间、空间频谱差值或任何其它标准，只要适合编制和 检索在深度编码和校正计算中使用的参数。
在下列描述中，术语"图像"通常是指一组二维像素，该组二维 像素形成主体在成像平面内的二维视图。术语"图像集"通常是指一组关联的二维图像，这组图像能够被转化成三维数据。尽管并不一定， 图像集通常包括主体的两个或更多个图像，这些图像基本上是用不同 的摄像机或孔同时捕获，或者是用相同的孔多次捕获到的。术语"点 云"通常是指一组形成主体三维视图的三维点，主体由大量二维视图 重构而成。在三维图像捕获系统中，也可以记录大量这类点云并将其 合并到移动摄像机(或移动主体)捕获的图像所构成的点云聚集体中。 因此，应当理解，除非具体指明或从上下文可以清楚地看出，像素通 常是指二维数据，点通常是指三维数据。
图1示出图像捕获系统。通常，系统100可以包括扫描器102，
该扫描器用于在视场106范围内捕获主体104的图像并将图像发送 到计算机108，该计算机可以包括显示器110和一个或多个用户输入 装置，诸如鼠标112或键盘114。
扫描器102可以包括任何摄像机或摄像机系统，只要适合捕获可 恢复为三维点云的图像。例如，摄像机102可以釆用例如美国专利公 开No. 20040155975 (Hart等人)中所描述的多孔系统，该专利全文 以引用方式并入本文。虽然Hart公开的是一种多孔系统，但应当理解， 同样也可以采用适合用大量二维图像重构出三维点云的任何多孔、多 光瞳、多摄像机或其它多通道光学系统。在一个多孔实施例中，扫描 器102可以包括多个孔隙，这些孔隙包括沿透镜中心光轴布置的中心 孔和任何相关的成像硬件。扫描器102也可以(或代替)包括立体式、 三镜头等多镜头摄像机或其它构造，其中多个摄像机或光路彼此之间 保持固定关系，以便从多个略微不同的视角中获得物体的二维图像。 扫描器102可以包括合适的处理系统，以便从一个或多个图像集得出 三维点云，或者也可以将每张二维图像集传输到外部处理器，诸如下 文所述计算机108。在其它实施例中，扫描器102可以采用结构化光、 激光扫描、直接测距或其它任何技术，只要适于采集三维数据或者适 于采集可以转化为三维数据的二维数据。在一个实施例中，扫描器102 是可自由定位的手持探针，该探针具有至少一个用户输入装置(诸如按钮、操纵杆、拨号盘、拇指轮或开关等)，以便使用者对图像捕获 系统100开始扫描或停止扫描等操作进行控制。
尽管图1中没有示出，但应当理解，图像捕获过程中采用多个辅 助照明系统可能是有益的。例如，可以用照亮主体104的一个或多个 聚光灯、环形灯或同轴光源来增强环境亮度，加快图像采集速度和增
大视场深度(或空间分辨深度)。扫描器102也可以(或取而代之)
包括频闪观测器、闪光灯或其它光源，以便在图像釆集过程中为主体
104提供辅助照明或不同光谱带的照明。
主体104可以是任何物体、物体的集合、物体的一部分或其它物 质主体。尽管图1中是以简单的几何形式示出，主体104可以包括 复杂得多的表面以及任意数量的独立元件。例如，在牙科成像应用中， 主体104可以包括牙齿、牙齿象限或一整套牙齿，其中包括可获得所 需虚拟牙印的相对两个圆弧。主体104也可以(或取而代之)包括假 牙，诸如镶嵌物、牙冠或任何其它假牙、植入物等。主体104可以包 括牙齿模型，诸如牙齿、软组织或其一些组合的石膏模型、蜡型、印 模或阴模。在某些情况下，可以在主体104的表面施加光学或纹理成 像剂，改善三维点的捕获效果。在其它实施例中，主体104可以是人 头部或其一部分，用来形成自定义拟合助听器、眼镜、护目镜等所需 的三维模型。在其它实施例中，主体104可以是用于数码动画物体的 物理模型，诸如用于三维数码动画处理的物理縮微模型。由前面的例 子可以明显看出，釆用本文所述技术的系统适合于各种广泛的应用， 可用于距离相对较短、分辨率较高的三维图像采集。然而，本领域的 技术人员将会知道可对图像捕获系统100进行适当的改变，使其适 用于基于多孔或多摄像机系统以及其它三维成像系统和技术的多种其 它三维成像应用，并且所有这些变形本质上都在本公开范畴之内。
视场106可以包括摄像机102的二维视场。应当理解，本文所 用术语"视场"是指成像环境中的平面，而不是指用于捕获图像的光学传感器(诸如胶片或传感器)内部的平面。虽然视场106以矩形示 出，但它可以(例如)形成正方形、圆形或可由扫描器102产生的任
何其它几何形状。 一般来讲，扫描器102将具有一定的视场深度或深 度分辨率范围，该视场深度或深度分辨率范围与视场106 —起限定了 扫描器102的测量体积。视场深度可能随诸如环境光线之类的环境条 件而变化。
计算机108可以是(例如)个人计算机或其它处理装置。在一个 实施例中，计算机108包括一台个人计算机，配有2.8GHzOpteron中 央处理器、2G内存、TY AN Thunder K8WE主板和250G的10,000 rpm硬盘。该系统可以使用本文所述的技术运行，每个图像集实时捕 获大约1，500点，并且可以保存超过一百万个点组成的聚集点云。在 其它实施例中使用可商购获得的性能更高的硬件，每个图像集可以实 时捕获大约3,000点。具体实施例中每个图像的点数可能取决于多种 因素，其中包括传感器和其它成像硬件的密度和构造。更为普遍地， 计算机108的处理能力会随着主体104的大小、图像采集的速度和 所需的三维点空间分辨率而变化。计算机108还可能包括外围设备 (诸如键盘114、显示器110和鼠标112)，以利于使用者与摄像机 系统100的交互。显示器110可以是触摸屏显示器，使用者可以通 过直接物理接触显示器110来进行输入。
计算机108和扫描器102之间可使用任何合适的通信连接方式 建立通信，这些通信连接方式包括有线连接或无线连接，例如任何基 于IEEE 802.il (也称为无线以太网)、蓝牙或任何其它合适的无线标 准(例如使用射频、红外或其它无线通信介质)的无线连接。在医学 成像或其它敏感应用中，使用无线手段可以将图像从扫描器102安全 地传输到计算机108。计算机108可以产生对扫描器102的控制信 号，除了图像采集命令外，这些信号还可包括聚焦或变焦等常规摄像 机控制。在三维图像捕获系统100的普通操作实例中，扫描器102可以 在经过主体表面上方时采集二维图像集。该二维图像集可以被传送到
计算机108以得到三维点云。通过采用多种不同技术，可以得到每个 新采集的二维图像集的三维数据，并可将该三维数据与现有三维数据 进行拟合。这类技术的一个可用实例在共同拥有的美国专利申请No. 11/270,135中有所描述，该申请提交于2005年11月9日，并且全 部内容以引用方式并入本文中。然而，应当理解，本实例不是限制性， 并且本文所述原理可以广泛应用于各种三维图像捕获系统中。
图2示出多孔成像系统(诸如上述系统)的坐标系。应当理解， 如本文所用，术语多孔本意是指具有两个或更多个小孔(或光瞳等) 的单个摄像机，或诸如在立体成像中使用的两个或更多个单孔摄像机， 或这些摄像机的一些组合。 一般来讲，在摄像机206的视场204内 的物体202具有世界坐标(U^ZJ、摄像机坐标和图 像集坐标fc.,乂，么(x,.，少,.》(i =视场204的处理网格内的1到N个 点或像素)，其中在是包含一个或多个视差值的视差矢量，这些视差 值表征对于多个小孔的视场204内的点的位移。该视差矢量可以用 (例如)与摄像机206的中心通道(如果有的话)的相对位移来表示。 一般来讲，视差矢量用于对深度进行编码，而在其它三维成像系统中， 该视差矢量可以替换成一个或多个用于对深度进行编码的其它测量 值。因此，诸如视差矢量、视差值和视差数据之类的术语应当被广泛 地理解为包括由系统测得的任何一个或多个标量和/或矢量数值，用于 对深度信息进行编码。
在常规校正中，通过旋转和/或平移可以使世界坐标与未校正的图 像集坐标相关联，这类旋转和/或平移操作可以用一连串带有硬件夹具 的校正测量装置进行特征化。在捕获图像集坐标时，可以使用校正床 (或类似硬件)使靶标(诸如具有图案的平面靶标)穿过多个己知位 置和/或相对于摄像机206旋转。许多模型都可以用来将图像集坐标数 据与摄像机坐标关联。同样，如果校正靶的位置已知，并且该靶标具有一个或多个可识别的特征，则可以直接将测量体积内的点对射变换 为世界坐标内的Iw、 &和Zw值。这类校正的总体目标是为了有效
测定从摄像机206到主体202上的点的真实距离，或者为了测定主
体上点的世界坐标或摄像机坐标。
图3表示査找表的构造方法及使用方法。概括地讲，图像数据是 在初始校正(如步骤301所示)过程中经多个校正循环从已知靶标中 进行采集。在后续工序302中可以对上述校正加以修正，并可以使用 图像结果(例如，来自扫描器的数据和/或由该数据衍生的视差数据， 或对深度信息进行编码的其它数据)和可得自校正系统的真实位置数 据(例如，已知靶标位置和/或取向，或点到相机的已知距离) 一起对 修正结果进行参数化(如步骤304所示)。来自校正系统的真实位置 数据可以包括得自校正夹具的位置数据，或在一个或多个校正循环中 通过处理靶标而获得的位置数据，或者这些位置数据的组合。参数化 结果可以用来构造查找表，如步骤305所示。最后，可以使用查找表 从图像捕获系统所捕获的二维图像推导出三维数据，如步骤309所 示。 一般来讲，该方法的目标是为了获得真实的三维数据结果，该目 标可以很容易实现，例如形成通过使用查找表获得校正的实时三维结 果的体系。
现在对步骤301校正数据的初步采集进行详细说明。可以使用受 控制的校正床进行对已知靶标的数据采集，该校正床在每个校正循环 使靶标向仪器移动预定的距离。例如，校正床在每个校正循环使靶标 向仪器移动25微米。在每个距离处，都可以获得相应的图像集坐标。 摄像机206可以包括中心孔，在这种情况下，可以使用校正测量装置 捕获非本质的摄像机参数，即，收集到的点集从世界坐标到摄像机坐 标的旋转和平移。更为普遍地是，多孔数据可以表示为每个传感器的 坐标系内的x和y坐标以及视差矢量，视差矢量表征对于不同小孔， 点到参照系(例如，中心孔)中相应点的位移。校正可以在参照系上 进行(例如从中心通道或中心孔开始)，所得的査找表用来将视差数据转换成X、 Y和Z坐标。
可以使用多种可用的靶标。例如，可以使用棋盘或其它靶标。一 般来讲，对成像系统进行校正最好使用具有独特的中心特征或其它框 标的耙标。也可以使用无规图形来辨别图像视差场。也可以使用混合 靶标，该靶标包括多个框标(例如，均匀分布在矩形网格上的九个点)， 以及这些框标之间的无规图形。这样可以构造查找表，使其与其它摄 像机校正一起来解释如何处理图像处理算法(诸如基于区域的算法， 而非基于点的算法)的人工痕迹。这样的靶标可以(例如)允许在中 心图像与周边图像之间以及周边图像与周边图像之间进行对射变换。 例如，可以使用已知的框标构造在摄像机坐标系内复原靶标位置(诸 如从中心通道图像开始)，并且可以使用无规图形来复原使用周边通 道图像的平面点。可以为所恢复的平面点拟合垂直平面，使该点到拟 合平面的垂直距离可以度量成像系统中的噪声，如因视差估计及查找 表等所产生的噪声。虽然下文将对査找表的验证进行详细讨论，但此 处应当指出的是，框标确定的平面和通过对混合靶标的无规元素应用 查找表系统而确定的平面之间可能存在差别，利用该差别可以确认或 验证根据本文所述系统和方法创建的具体的査找表。
使用框标范围内的多个无规图形还有助于计算总平均视差，以减
少校正过程中的RMS噪声。在一个实施例中，可以将诸如无规噪声
和/或框标的耙标图形投影到耙标上，例如用数码数据投影机背投到全 息扩散片上，以便在一个或多个校正循环内使用不同的图形。
在一个方面，可以使用任意平面或三维校正靶位置和取向进行第 一校正。该第一步骤可以采用标准技术进行，用于在不复原随深度变 化项的情况下进行校正。
如步骤302所示，可以对该校正进行改进。第二校正可以使用具 有任意未知取向和在任意未知方向上具有已知步增量(例如，200微米)的一系列平面校正靶。假设靶标平行运动，且对应的校正硬件提 供基本上平行的靶标运动，可以通过第二步校正来复原含有随深度变 化项的二维几何失真模型。此外，该步校正可用来复原耙标取向和运 动，这将有利于放宽对相应校正硬件的限制。这种校正技术可有效应 用于任何光学系统，只要该光学系统具有至少一个经过良好表征的光 学通道(例如，上述中心通道)，也就是说，通道与一个或多个适于 参数化的已知失真模型贴合。
通常，用于创建查找表的校正循环将使用处于系统的理想分辨率 或其附近的Z增量对整个测量体积进行取样。然而，当视差与深度之 间存在紧密约束关系(例如由基于散焦的已知几何公式决定的关系) 时，在用已知函数拟合视差和深度点之后可以构建具有等距视差值的 密集查找表。因此，本文在一个方面公开了一项技术，该技术用于推 导密集的查找表，以便使用用于成像装置的己知几何散焦获得校正的 距离量度。假设视差与深度之间存在紧密的约束关系，并且该关系由 基于散焦的给定几何公式决定，则在使用上述技术对视差和深度点进 行良好拟合之后，可以使用等距视差值以解析的方式构建密集査找表。 反之，可以以较低的分辨率对基于査找表的系统的视差/深度空间进行 取样，并解析构建全分辨率的査找表。
可对该校正加以改进，例如通过强加具有随Z变化的失真模型的 平行靶标约束。这类校正改进的结果可以包括摄像机坐标系内的一组 点和相应的视差数据。在改进的一个方面，可以确定随Z变化的失真 参数。在改进的另一方面，可以推导可用于获得校正的输出的其它模 型参数，诸如摄像机焦距、图像平面或处理网格随X变化的项、图像
平面或处理网格随y变化的项等等。也可以将视差内插到良好表征的
通道(例如，多孔系统的中心通道)的固定处理网格上，以縮短通常 与全面校正相关的处理时间。
通常应当理解的是，可以通过各种透镜和/或离轴光程将所采集的图像中随Z变化的失真引入光学系统中。虽然光学系统的失真通常主 要是径向和偏轴失真，并且对于大多数相机校正来说，校正这两种失 真就够了，但对于精确的相机校正来说，随深度变化的失真可能会非 常重要。在一个方面，第一校正可以处理某些主项(诸如径向失真)， 然后在后续精校正中加入一个或多个随深度变化的项。
如步骤304所示，可以使校正循环的结果参数化，以便更加方便 灵活地使用查找表。可以使用的参数化模型很多。虽然下面的实例通 常采用视差矢量作为査找表的输入，应当理解的是，可以由采集到的 数据计算出z值，并可以有选择地使用所采集的图像的x、 y和(算 出的)z值作为查找表的指数，并对后续处理进行适当的改变。
为使校正结果参数化，可以将来自每个校正靶位置/取向的数据表 征为一个或多个阵列，所述阵列包含摄像机视场的处理网格中每个x 和y位置的视差值。可以将视差的标量特征(如相对于视场的x轴 视差dx、相对于视场的y轴视差dy或|d|、视差矢量的大小)作为 数据点与所采集数据的一个或多个真实摄像机坐标保存在一起。通过 这种保存，可以使用查找表直接查找摄像机坐标^d,Z」，下文将对 此进行详细说明。
在另一个实施例中，可以使用例如曲线拟合技术对这些变量的相 互关系构建数学模型，实现真实值(如Z值)与视差参数(如上述某 个标量视差值)的对射变换。在一个与y轴视差的局部经验数据有关 的可用实例中，Z与dy (也可使用dx或|d|)相关，使得
<formula>formula see original document page 15</formula>且将数据可符合一般关系式<formula>formula see original document page 16</formula>
(在图像平面内给定的(x,y)处)的参数矢量dy可以表示为<formula>formula see original document page 16</formula>且Z值可由下列关系确定<formula>formula see original document page 16</formula>
在该实例中，可以将式3的参数矢量p存储在按x、y和dy进 行索引的査找表中，以便利用未校正的图像结果得到式4的参数，并 继而利用所得到的参数计算Z值。根据上下文，应当理解的是，Z通 常是指深度变量，该变量在具体实施中可能对应于世界坐标、摄像机 坐标、摄像机深度或任何其它反映深度数据的合适数量。同样应当理 解的是，选择y坐标视差仅仅为了举例说明，且不以任何方式限制本 公开的范围。同时，某些实际存在的摄像机系统可以显示具有主要随y 变化的视差矢量，诸如当多个小孔沿处理网格的y轴方向同轴取向 时。更为普遍地，摄像机系统的物理属性(例如，光瞳象差)可能意 味着一致失真，诸如从相当于多孔摄像机中心孔的光学中心测得的随 Z变化的径向或切向失真。通过将校正数据采集结果拟合到一个或多 个对应模型，并进而形成一个更紧密的査找表(和/或需要更少的校正 测量)，可以用参数化的模型来解释这种已知的有规律的失真图形。 在另一方面，第一粗校正可以处理随Z变化的径向或切向失真，然后 在后续精校正的参数化过程中加入其它项。
在另一个实施例中，可以对参数表面本身建模。其中参数表面让 步于相对简单的模型，当摄像机系统在可识别的点或区域周围产生一 致的x、 y和/或z失真时就是这种情况，此时，经参数化的参数模型可以在物理内存或存储量方面大大縮小査找表校正系统。在这一前提 下，根据经验应当指出，在上述图像捕获系统100的实施例中随Z变 化的失真分量含有下式的主项
&(Z)^+, + /c3.Z [式5]
如步骤305所示，通过使用任何适当的拟合、错误最小化或其它 技术，将校正测试结果拟合到一个或多个模型以获得上述模型参数， 可以为上述校正数据和模型构建査找表，或更为普遍地构建查找表系 统。査找表的构建将取决于具体实施方式
，部分内容将在下文做详细 说明。通常，对于图像捕获系统来说，査找表的具体实施会形成这样 的机制，图像捕获系统新采集到的数据与成像主体表面上点的坐标数 据关联。这样对成像系统进行校正的显著优点是，可以对用来在视差 值与物体空间数据之间建立联系的相机模型进行局部化，换言之，也 就是创建局部模型阵列，该局部模型阵列符合更一般的参数化模型。
如步骤306所示，可以使用多种技术对查找表或査找表系统进行 验证和/或改进。
在一个通用方法中，通过将校正的系统置于各种控制条件或目标 下，并测量所得输出的精度，可以对基于查找表的模型进行验证。可 以在已知位置处放置混合靶标(如上所述)，并将从校正的系统的对 应图像获得的结果与该靶标的预期结果进行比较。也可以(或取而代 之)反馈比较结果，以完善査找表。在另一方面，使用从基于查找表 的系统输出的点云中的噪声来确定总系统和/或查找表中的噪声。
尽管具有多种图形的平面靶标为校正系统提供了一种有用的介 质，应当理解，具有不同几何形状的靶标也可以(或取而代之)用于 构造和验证查找表。例如，可以使用球体、锥体或其它形状增加靶标 的维度，并可使用校正的系统来测量靶标的(已知)维度特征。因此，在验证过程的实例中，可以采集球体的一个或多个图像，并可用采集 到的数据计算出球体的半径并与已知值进行比较。也可以(或取而代 之)反馈比较结果，以完善查找表。
可以通过其它方式使用诸如球体之类的形状来验证或确认基于査 找表的校正。例如，利用诸如球形或其它形状的物体，和/或其在成像 系统测量体积内的一部分，可采用已知技术进行轮廓检测，以定位该 物体的外缘，即该物体在图像平面上的投影。使用球体的实例可以检 测到圆形，并根据球体位置和摄像机位置以及随Z变化或与Z无关 的摄像机模型(诸如上述模型)以解析的方式测定该圆形。通过迭代 优化解析和分析测得的轮廓收敛(例如，错误或偏差最小化)的球体 的参数，可以算出测得的球体的位置。因此，在一个方面，本文公开 了一种校正验证方法。在该方法中，可以从二维图像获得三维物体的 第一轮廓，该三维物体的第二轮廓由该三维物体在该二维图像的图像 平面上的投影以解析的方式确定，然后在两个或更多个变型之间就三 维物体的参数对第一轮廓和第二轮廓进行迭代比较。通过评估迭代比 较结果可以发现第一轮廓和第二轮廓之间的偏差，并且更具体地讲， 以便将两个轮廓之间的偏差縮至最小。在一个实施例中，该三维物体 为球体，并且该参数是该球体的半径。在另一个实施例中，该参数是 球体的位置。两个或更多个参数可以是变化的。以解析的方式确定第 二轮廓可以包括在成像系统中应用一个或多个摄像机模型。类似技术 可以用于例如圆锥、棱锥、具有台阶的棱锥等形状。此外，虽然上述 内容通常(尽管不是排他性地)与中心通道的建模有关，但本文所述 基于模型的验证技术可以适用于任何通道(诸如多孔系统的一个或多 个侧通道)，前提条件是该通道的模型足够好，可以用解析的方式确 定预期结果。
通常如方法330所示，査找表或查找表系统可以应用于新图像数 据(诸如来自图像捕获系统100的图像集)，以实现对所采集图像的 高速校正。
一旦构建完毕，查找表的使用就变得简单明了，包括直接从查找表查找结果，使用从査找表中获得的参数进行相对简单的计算， 以及任何合适或所需的线性或其它内推运算，以及它们的组合。
更具体地讲，可能从图像采集系统获取数据时就开始使用査找表， 如步骤307所示。可以使用本领域已知的各种技术获得多通道(或多
摄像机)成像系统的一个或多个通道的视差数据，如步骤308所示。
尽管已知其它深度信息编码技术，该视差数据通常包括处理网格位置 和该位置处的一个或多个视差量，并可结合本文所述系统和方法共同 使用。
如步骤309和310所示，来自成像系统的数据可以应用于査找 表系统，以推导校正结果。根据(例如)与实施方式有关的任何设计 偏好和/或任何可由具体校正实施方式的特性取得的处理或存储改善， 可以使用(例如)指数、矢量、参数和/或参数化的参数对査找表系统
加以改变，使其适合多种配置。
一般来讲，査找表的运算过程如下
应当理解，尽管一般来讲指数i和j可能对应于处理网格坐标， k可能对应于视差数据(可以是标量或矢量)，但也可能有其它的指 数排列方式，包括由上述任何公式计算出的指数。应当进一步理解的 是，基于査找的方案可以有任意数量的变型，包括(例如)用于复原 参数的中间査找表，被复原的参数继而可以用来计算最终结果，或计 算附加的査找表的指数。此外，应当理解，可以在基于查找的系统内 使用线性内推法或其它内推法。例如，可以用线性内推法内插来自相 邻的査找表结果的最终值。又如，当适合具体模型时，可以将内推法 用于诸如指数或参数之类的中间结果。内推法也可以考虑由于透视投 影等原因，数据在t^,K，z」坐标系内的具体散布。例如，如果点落 在查找表的点之间，距离加权的内推法会引起误差，通过寻找(用内 推法) 一条与具体(x， y)图像位置相交的投影线，并通过其它内推法确定该条线上的^rct，z」点，可以处理这种误差。
上述技术构思出无数种变型，诸如使用不同的校正靶和硬件，使 用不同的失真或摄像机模型，以及不同程度的经验和/或理论建模。此
外，图3中示出的方法也可能有多种变型。例如，采集校正数据和使
结果参数化的步骤可以分多次进行(诸如每个耙标位置一次)，并且 也可以在处理强度较大时分多个处理器或处理线程进行处理。此外， 在进行下一个校正循环之前，可以用每个校正循环的结果填充査找表。 在一个实施例中，校正改进步骤可以使用附加的约束来改善使用(例
如) 一组共面和等距靶标的校正。因此，尽管图3中示出的处理流程
从概念上讲层次较高，但不应理解为限制本文所公开的方法和系统的 范围，或限制本领域的普通技术人员能够理解的各种变形或修改形式。 所有这类变形和修改形式都理应属于本公开范围之内。
图4和图5仅以举例的方式而非限制性地示出采用上述技术的 校正系统和方法的各个方面。
图4示出校正过程的各个方面。如图所示，中心通道图像平面 402具有对应于摄像机坐标系406的Z轴的主点404，该平面可以 包含校正靶408的图像，该图像上的点在摄像机坐标系406和世界 坐标系410内具有位置。视差值412 (诸如视差矢量)可以表征该点 从中心通道图像平面402到另一个图像平面(诸如侧通道图像平面， 未示出)的位移。视差值412可以包括(例如)该点在各通道之间的 x位移和y位移，或者能对距离数据编码并用于本文所述校正技术的 任何其它值。为了改善检测和所得的校正，该点可以是由相邻黑白方 块形成的x结。然而，应当理解，其它图像类型也可以用作校正方法 中的点。图4所公开的一般技术可用于对中心通道进行初始标准基准 校正，该校正使用本文所述的随Z变化的失真模型。
在一个方面，本文公开了一种对使用x结的校正的改进。虽然x结的高度局部性使棋盘(包括X结)成为常用的校正靶，但使用这种 X结会因为失焦点而产生较大误差，并且很容易受到不利的局部人工 痕迹(诸如透镜的污垢、划痕或其它物理污染)的影响。相对于失焦 点，精度取决于被捕获图像的模糊量，并且通过测量体积捕获数据的 能力很大程度上取决于具体图像捕获的视场深度。
在这种情况下，可以使用全局约束(诸如多个X结在校正耙上的 共线性)结合图像平面内校正靶和不失真点之间的单应约束对校正加 以改进。为了应用这类约束，X结图像(或者更为普遍地，靶标图像) 必须不失真，诸如通过应用径向失真模型、切向失真模型或任何其它 已知模型应用到系统中。然后可以引入全局约束，诸如通过扭曲图像， 使其适形X结位置以达到已知的共线性。采用普通的正交直线拟合法 可以避免奇点，并且可以使连接不失真点的不失真线彼此相交，并利 用这种相交和任何计算出的失真参数来改进失真的X结位置，以便进 行后续校正。通过在靶标点和失真X结位置之间强加一个确切的(或 基本确切的)单应关系，视差矢量用于将失真点与未失真点联系起来 的畸变场。该畸变场可以允许直接在来自成像系统的失真图像上进行 后续操作。
所得的校正可以有效减少可能会因交替的黑白图像特征产生的偏 差，并降低光学人工痕迹(诸如透镜或其它表面上的污垢和划痕)对 校正的影响。
如上所述，查找表扫描可以包括使校正靶408通过一个或多个平 行平面414，并采集数据以改进中心通道摄像机参数，如随Z变化的 失真。该改进步骤可以为上述査找表的生成提供摄像机坐标数据点的 准真实数据集。在实施例中，通过移动间距416已知而方向418未 知的校正靶408可以有效实现校正扫描。
图5示出校正方法的其它方面。在校正过程中，第一图像平面502、第二图像平面504和第三图像平面506 (诸如单个透镜、三通 道成像系统或三个独立摄像机的中心通道和两个侧通道的图像平面) 可以在校正耙508的査找表扫描过程中采集视差信息，该校正靶可以 是(例如)本文所述的任何校正靶。在校正过程中，具有已知摄像机 坐标的一个或多个点510的视差数据，可以例如其中一个图像平面 (502、 504或506)的处理网格内的x和y坐标，以及其它图像平 面内的视差数据进行捕获。校正靶508的每个位置可以更普遍地产生 视差矢量场(或其它视差数据)，该视差矢量场可以内插到固定的处 理网格上。根据该数据可以产生将视差数据局部映射到深度的査找表。 在应用中，可以复原使用该查找表复原参数，以便计算基于视差数据 的校正的坐标。在多种实施例中，可以用位置和/或视差数据值对该查 找表进行检索。
因此，本文公开了査找表的许多应用。在一个实施例中，可以将 包括两个处理网格坐标和一个视差值(指定处理网格坐标处的图像集 的数据之间)的图像数据用作査找表的指数，该査找表为成像点提供 相机坐标。上述应用可能有许多种变化和修改形式。在另一个实施例 中，可以将包括两个处理网格坐标和一个视差值的图像数据用作査找 表的指数，该査找表为第二个查找表提供校正的指数。位置数据可以 包括(例如)成像点到摄像机的距离、成像点的一个或多个世界坐标 或成像点的一个或多个摄像机坐标。在另一方面，本文公开了实时三 维图像捕获系统，该系统使用参数化的查找表提高精度。
应当理解，上述方法可以通过硬件、软件或适合本文所述三维成 像技术的任意硬件和软件的组合加以实现。该方法可以在这些设备内 实现 一个或多个微处理器、微控制器、嵌入式微控制器、可编程的 数字信号处理器或其它可编程装置以及内部和/或外部存储器。该方法 也可以(或取而代之)包括专用集成电路、可编程门阵列、可编程阵 列逻辑或可以被构造为处理电子信号的任何其它装置。应当进一步理 解的是，该过程可以被实现为计算机可执行的代码，该代码由结构化编程语言(如C语言)、面向对象的编程语言(如C++)或任何其 它高级或低级编程语言(包括汇编语言、硬件描述语言和数据库编程 语言)及技术产生，并可以进行存储、编译或解释，以便在上述一种 装置、不同类处理器的组合、处理器架构或不同硬件和软件的组合上 运行。同时，可以将处理过程以多种方式分配到摄像机和/或计算机上， 或者将所有功能集中到专用的独立式图像捕获装置中。所有这类排列 和组合都旨在属于本公开范围之内。
尽管本发明是结合某些优选实施例一起公开的，但本领域的普通 技术人员应认识到其它实施例，并且所有这类变形、修改形式和替代 形式都旨在属于本公开范围之内。因此，应当以法律允许的最广泛的 含义来理解本文所公开的发明。
权利要求
1.一种方法，其包括采集多个校正图像集；和从所述校正图像集构建查找表系统，所述查找表系统将图像集数据与一个或多个参数相关联，以计算出校正的三维数据。
2. —种方法，其包括采集图像集，每个图像集包括至少一个与所述图像集的处理网格 内的位置相关联的视差值；将所述处理网格内的所述位置和所述至少一个视差值应用到査找表系统，所述査找表系统以一个或多个参数作为响应；以及根据所述一个或多个参数和所述视差值计算出校正的三维数据。
3. 根据权利要求2所述的方法，其中所述一个或多个参数用来 计算一个或多个模型参数，所述一个或多个模型参数又反过来用于计 算所述校正的三维数据。
4. 根据权利要求2所述的方法，其中所述査找表系统包括多个 查找表。
5. 根据权利要求4所述的方法，其中所述多个査找表包括一个 对应于每个处理网格指数的查找表。
6. 根据权利要求4所述的方法，其中所述多个査找表包括一个 对应于所述图像集的各个独立变量的査找表。
7. 根据权利要求2所述的方法，其中所述视差值包括视差大小。
8. 根据权利要求2所述的方法，其中所述视差值包括视差矢量。
9. 根据权利要求2所述的方法，其中所述视差值包括x位移或 y位移中的至少一个。
10. 根据权利要求2所述的方法，其中所述查找表系统为随深度 变化的失真而进行参数化。
11. 根据权利要求2所述的方法，其中所述查找表系统为径向失 真和切向失真中的至少一个而进行参数化。
12. 根据权利要求2所述的方法，其中所述查找表的构建包括通 过将来自所述图像集的数据拟合到参数化的摄像机模型来改进校正。
13. 根据权利要求2所述的方法，其中所述查找表的构建包括根 据摄像机模型内插一个或多个参数值。
14. 一种校正多通道成像系统的方法，其包括 确定所述成像系统的第一通道的模型；通过采集图像数据集并将来自所述图像数据集的数据拟合到所 述模型，校正所述第一通道；以及通过将所述图像数据集的一个或多个视差值映射到已知深度，校 正第二通道。
15. 根据权利要求14所述的方法，其中所述模型包括至少一个 随深度变化的项。
16. 根据权利要求14所述的方法，其中所述第一通道是所述成 像系统的中心通道。
17. 根据权利要求14所述的方法，其中所述第二通道是所述成像系统的偏心通道。
18. 根据权利要求14所述的方法，其中所述模型使用所述成像 系统的己知特性，所述已知特性包括失真、光轴、焦距、主距和主点 位置中的至少一个。
19. 根据权利要求14所述的方法，其中对所述第二通道的校正 包括将所述图像数据集的数据映射到世界坐标系中的至少一个点X、 Y 或Z。
20. —个成像系统，其包括多个光学通道，所述光学通道为测量体积内的点提供图像数据； 存储在存储器内的査找表，所述查找表存储随深度变化的模型的一个或多个参数；处理器，其被构造为通过应用所述图像数据和一个或多个来自所述查找表的参数来恢复校正的输出。
21. 根据权利要求20所述的成像系统，其中所述校正的输出包 括深度。
22. 根据权利要求20所述的成像系统，其中所述校正的输出包 括位于摄像机坐标系内的三维数据。
23. 根据权利要求20所述的成像系统，其中所述査找表以所述 图像数据的一个或多个视差值进行索引。
24. 根据权利要求20所述的成像系统，其中所述査找表以一个 或多个处理网格坐标进行索引。
25. 根据权利要求20所述的成像系统，其中所述多个光学通道包括中心通道。
26. —种对成像系统的校正进行改进的方法，其包括 从测量体积中采集图像数据，所述测量体积包括具有一个或多个已知参数的三维物体；识别所述三维物体在所述图像数据内的第一投影轮廓； 使用所述一个或多个己知参数和所述成像系统的模型以解析法确定所述三维物体的第二投影轮廓；以及通过最大程度减小所述第一投影轮廓和所述第二投影轮廓之间的偏差，改进对所述成像系统的校正。
27. 根据权利要求26所述的方法，其中所述三维物体是一个球 体，并且所述一个或多个已知参数包括所述球体的半径。
28. —种校正靶，其包括 平表面；在所述平表面上具有已知位置的多个框标；以及 位于所述多个框标之间的无规图形。
29.根据权利要求28所述的校正靶，其中所述多个框标包括中 心框标和在矩形网格上规则隔开的多个附加框标。
30.根据权利要求28所述的校正靶，其中所述多个框标和所述 无规图形中的至少一个被投影到所述平表面上。
全文摘要
通过使用基于模型的校正和查找表，根据(例如)x位移、y位移或成像视差数据来分辨距离，以提高三维成像系统的精度。在实施例中，所述查找表存储用于计算校正的结果的局部参数化数据。
文档编号G06K9/00GK101292255SQ200680039394
公开日2008年10月22日 申请日期2006年9月22日 优先权日2005年9月22日
发明者彤 张, 道格拉斯·P·哈特, 雅诺什·罗哈利 申请人:3M创新有限公司