专利名称：校准照相机系统的制作方法
技术领域：
本发明涉及校准照相机系统的方法、具有校准装置的照相机系 统、用于照相机系统中的校准装置以及用于实现所述方法的软件。
背景技术：
计算机视觉系统通常包括用于捕获立体图像的立体照相机系统， 所述立体图像随后以数字的方式进行处理。这样的照相机系统要经过 校准，使得图像数据是进一步处理的正确输入。照相机校准的目的是
确定从三维(3D)世界坐标到二维(2D)图像坐标的变换。 一旦该 变换已知，那么就可以根据一幅或多幅图像中的2D信息获得有关真 实世界的3D信息。
在"Camera Self-Calibration: Theory and Experiments", /Voc. 5Warnd五wo/;e"w CVm/ 。附/7她/* WwV rt, pp. 321-334， May 1992中，O. Faugeras、 T. Luong和S. Maybank描述了 一种校准方法，该方法仅需要 来自图像序列的点匹配。作者们宣称仅仅通过使照相机指向环境、选 择感兴趣点并且随着照相机的运动在图像中跟踪这些点来校准照相 机是可能的。无需知道照相机的运动。他们的照相机校准在两个步骤 中进行计算.第一步，找出核(印ipolar)变换.第二步，使用Kruppa 方程将核变换与绝对锥(absolute cone )的图像关联。
在"Maintaining Stereo Calibration by Tracking Image Points", CT尸/ ,iVewKwA，/""e/9W中，J. Crawley、 P. Bobet和C. Schmid探讨了 当照相机的聚焦、捕获、缩放或聚散角动态改变时更新照相机校准矩 阵的主动3D视觉中的问题。作者们提出了 一种无需进行矩阵求逆的 根据场景中的五个半点计算投影矩阵的技术。然后，他们提出了一种 通过跟踪参考点来校正投影变换矩阵的技术。实验表明，聚焦的变化 可以通过跟踪三个点获得的仿射变换(affine transform)来校正。对于 照相机聚散度的改变，基于跟踪四个像点的投影校正比仿射校正矩阵 稍精确些。他们还展示了立体重建如何使得参考框架从一个目标"跳 跃"到另一个目标成为可能。场景中的四个非共面点的任何集合可以定义这种参考框架。他们展示了如何在立体头平移或旋转时保持参考
框架被锁定到四点集合上。这些技术使得在目标的本征坐标内重建目
标的形状而不必使新的观察与部分重建的描述匹配成为可能。
在"Online Stereo Camera Calibration", 7 m Afe挑o iV汰79"-卯2， wprffl^/ 6/9/2卯5中，N. Thacker和P. Courtney指出立体视觉在真实世界 应用中的成功实现需要自调谐系统。他们描述了一种用于组合许多信 息源以便校准立体照相机系统的统计框架，其导致允许在照相机的正 常使用期间持续进行重新校准的校准系统。这些作者借助工作视觉系 统中所测量的3D目标、精确的机器人运动以及匹配的立体特征展示 了这点。更具体而言，Thacker等人使用用于等效匹配的特征点进行 变换的迭代估计过程以及照相机参数来校准立体照相机系统。
发明内容
以上Faugeras和Crawley的出版物中提及的系统依赖于跟踪运动 的参考目标以进行其照相机校准。Thacker的出版物中的系统使用方 法中的参数采用迭代过程中使用特征点来估计。
本发明人提出了可替换的方法，该方法不需要选择适当的参考 点。本发明提供了无需直接求解投影参数的校准照相机系统的方法。 该方法包括处理第一对图像的步骤。该处理步骤包括通过平面上的投 影图或投影映射对所述笫一对的笫一和第二图像中的至少一幅进行 变换。该图取决于一个或多个参数值，以便将所述第一对的第一图像 中的核线与该对的第二图像中的相应核线对准，进而得到第二对图 像。然后，针对视差估计对应的值，这些值将沿着所述第二对的第一
图像中的第一核线的对应第一像素与沿着所述第二对的第二图像中 的相应第二核线的对应第二像素关联.视差指示深度。随后，依照对
应像素的视差的对应值使所述第二固像对的第一图像中的第一核线 的对应像素移位。然后，确定所述第二图像对的第一和第二图像之间 的误差度量。该误差度量取决于所述一个或多个参数值.接下来，确 定用于所述一个或多个参数值的更新以便降低误差度量的值，并且使 用这样确定的更新来更新所述一个或多个参数值.
在本发明中，深度估计结果与所述移位的匹配的质量用作照相机 校准参数的更新准则。因此，使用深度估计以高效的方式执行所述操 作。本发明因而提供了无需直接方式求解投影参数的校准照相机系统的方法，并且以无需选择适当的参考点的方式实现了这点。
依照本发明的第一实施例，所述变换步骤包括通过所述第一对的 第一和第二图像中的某幅图像的平面上的投影图矫正所述第一对的 第一和第二图像中的另一图像。通过这种方式，可以校准照相机，并 且此外只需要矫正所述第一对的单幅图像，从而降低了处理的量.
依照本发明的第二实施例，所述变换步骤包括通过在同一平面上 的单独的投影图矫正所述笫一对的第一和第二图像，以便水平对准所 述第二对的图像中的对应核线。尽管矫正两幅图像需要额外的处理， 但是两幅图像中核线的水平放置有助于进一步的处理，
依照本发明的方法优选地包括使下一对图像经过所述处理操作 的步骤，以便在照相机系统的操作使用时在进行的迭代过程中校准该 照相机系统。
本发明的实施例涉及包括用于校准照相机系统的校准装置的照 相机系统、用于这种系统中的校准装置以及用于实现本发明的方法的 软件，它们全部在所附的权利要求中进行限定。
下面将通过举例的方式并且参照附图进一步详细地解释本发明，
其中
图1为说明根据3D世界中的目标建立2D图像的图示； 图2为说明从不同的位置并且以不同的取向建立目标的两幅2D图 像的图示；
图3为说明用于匹配不同图像中图像位置的几何配置图示；
图4给出了解释本发明中的处理的公式；
图5和图6为解释视差估计的图示和公式；
图7为依照本发明第一实施例的系统的图示；
图8为依照本发明第二实施例的系统的图示；
图9为标识本发明方法的步骤的过程图。
在所有附图中，相似或相应的特征由相同的附图标记表示。
具体实施例方式
在计算机视觉中，可以使用多个照相机通过立体成像来获得深度估计。然后，从不同角度的相同目标拍摄的立体对的对应图像之间的 视差可以用于测量距离或深度。人类视觉系统使用视差作为双眼线索， 以便通过使用左右眼观看的视差来确定深度。在机器视觉中，类似的 技术用于诸如机器人导航和困像分析之类的应用领域中。
存在若干种从一对二维图像中提取三维结构的方法。在称为校准 方法的第一种方法中，需要针对某个世界坐标系统来校准照相机。然 后，通过提取该系统的"本质"矩阵来计算对极几何结构(参见下面
的图2和图3)。这允许计算成像场景的三维欧几里德(Euclidean) 结构.之后，可以通过仅仅搜索核线上的等效物来估计视差。称为非 校准方法的第二种方法相应于其中生物系统根据视觉确定三维结构的 方式。在非校准系统中，根据图像的相应关系计算称为基本矩阵的量， 并且其然后用来确定成像场景的投影三维结构。本发明涉及校准方法。
典型地，视差估计基于核线上可获得的信息，以便建立详细的深 度图。"核线(epipolar line)"的概念将参照图2和图3更加详细地 加以描述。为了确保核线方法正确地工作，必须适当地对准(即校准) 照相机，以便使得对应图像的对应像素行与对应照相机的核线重合。
机械照相机校准是一个棘手的过程，其典型地需要操作者的手工 干预，有时如果照相机在操作使用时受到抖动或震动，甚至需要连续 地或周期地进行手工干预。
本发明中使用的术语"校准"指的是通过仅仅使用由照相机系统 拍摄的图像中可获得的信息计算该照相机系统的本征参数的过程。无 需校准框架或已知的目标用于立体照相机系统，因为两幅图像反映了 相同时刻的场景。使相同场景的两个不同视点彼此关联的几何信息完 全包含在称为本质矩阵的数学构造中。这两个视点可以是立体对的图 像或者时间对的图像，在后一种情况下，两幅图像在不同的时间拍摄， 照相机在图像采集之间移动。首先参照图2和图3考虑相同场景的两 幅不同图像的几何结构，其称为核几何结构。它基于三角测量。
图1为说明建立3D世界中的目标的2D图像的图示。3D世界中 的目标102由2D图像104中的照相机捕获。3D坐标中目标102的位 置给定为M(X，Y，Z)，其中X、 Y和Z为该位置相对于某个参考坐标系 106的笛卡尔坐标值。图像104包括目标102在位置m(u,v)处的像， 其中u和v为目标102的像的位置相对于坐标系108的笛卡尔坐标值。为了方便起见，坐标系108使其原点位于光轴与图像104平面的交点 处，图像104中的位置m(u，v)由目标102沿投影中心110的方向在图 像104平面上的投影确定。
图2为说明从不同位置并且以不同取向拍4菱的目标102的两幅2D 图像建立的图示，目标102现在由左边的照相机和右边的照相机捕获， 给出左边由投影中心204确定的图像202以及右边由投影中心208确 定的图像206。目标102的3D位置通过三角测量的确定取决于将图像 202中的目标102的图像位置210与图像206中的目标102的位置212 匹配，
图3为说明用于使图像位置210和212彼此匹配的几何配置的图 示。目标102以及投影中心204和208确定3D世界中的平面302。平 面302与图像202具有交线304，其由图像位置210和中心204、 208 决定。交线304是线段.类似地，平面302还与图像206具有交线306， 其由图像位置210和中心204、 208决定.其中线段304和306与连接 中心204和208的基线312相交的位置308和310称为"核(epipolar)"。 线段304和306称为"核线"，核308可以看作中心208在左边照相 机中的像。类似地，核310可以看作中心204在右边照相机中的像。 平面302称为"核平面"，
因此， 一旦具有有关图像位置210和212其中之一的信息，比如 说位置210，以及有关核308和310的信息，那么平面302已知并且 因而核线304和306已知。结果，能够获得在核线306上的另一图像 位置，即位置212。
依照本发明，如果图像首先经过称为矫正的步骤，那么可以有效 得多地解决所述立体匹配问题，以及立体图像中的位置匹配的问题， 这个步骤包括对图像进行变换，使得核线彼此对准，优选地水平对准。 然后，将图像的平面映射到包括投影中心之间的直线的另外的平面上. 参照图3,将图像202和206的平面映射到包括基线312的平面上. 在这种情况下，立体匹配算法可以利用核约束并且将搜索空间减小到 一维(即矫正图像的相应行).所述核约束于是将匹配问题约简为沿 着共辄核线的一维搜索。优选地，不通过将一幅图像的核线上的单个 像素与另一幅图像的核线上的单个像素进行比较来执行所述搜索。相 反地，比较沿着核线的像素窗口以寻找最佳匹配.在本发明中，通过将图像206直接映射到图像202平面上来实现 所述矫正步骤，因为本发明中的系统通过其光轴近似平行的照相机来 使用立体视觉。本发明通过调节照相机图像之一使得两幅图像中的核 线重合来校准所述系统，可选地，调节两幅照相机图像，使得核线相 应于两幅图像中的水平像素行.
参照图4，等式(402) - (410)具体说明了所述变换，其用图像 202平面的坐标x和y表示图像206平面中的坐标x，和y，。表达式(406) 中量m的阵列中的值代表照相机的校准参数。在G(x，y，m)的表达式中， 由参数ni4引入竖直平移(vertical shift)，而从F(x，y,m)的表达式中 省略了水平平移(horizontal shift)，因为要将视差作为单独的实体 (entity)来考虑。
现在可以根据估计的视差图和校准参数建立图像202与矫正的图 像206之间误差的度量。估计的视差图包括对应像素(x,y)的估计的视 差值d(x,y),下文将描述视差估计过程.关于表达式(406)的校准参 数最小化该误差给出所搜索的校准值。
表达式(412)中给出了误差度量E(m)的实例。该误差度量E(m) 是特定项的平方和，每个特定项是左边图像202的核线上坐标x、 y处 的特定窗口 Aleft中的像素与右边图像206中沿x方向估计的视差值 d(x，y)移位的坐标(x，,y)处的特定窗口 Aright中的像素之间的差值。应当 指出的是，由于核线与水平对准，y坐标对于左边的窗口 Aw和右边 的窗口 Aright是相同的。通过对所有窗口最小差值平方求和形成总和 E(m).术语"最小"将在下文进一步进行解释.然后，和E(m)用作更 新投影参数的标准。
存在若干种通过数值方法寻找最小平方和的问题的解的方法。 Levenberg-Marquardt算法提供了最小化若干通常为非线性的依赖于 公共的参数集合的函数的平方和这一数学问题的数值求解方案。这种 最小化问题尤其出现在最小二乘曲线拟合中，Levenberg-Marquardt 算法(LMA)介于高斯-牛顿算法(GNA)和梯度下降法之间。 一方 面，LMA比GNA鲁棒性更强，这意味着在许多情况下，即使它开始 时非常远离最终的最小值，它也能找到解。另一方面，对于表现良好 的函数以及合理的起始参数而言，LMA倾向于比GNA稍慢。LMA 是最为流行的曲线拟合算法之一；欲知更多的信息，参见，Levenberg,K.的"A Method for the Solution of Certain Problems in Least Squares." Quart. Appl. Math. 2， 164-168， 1944或者Gill， P. E.和 Murray, W.的"Algorithms for the solution of the nonlinear least-squares problem", SIAM J. Numer. Anal. 15] 977-992， 1978， 两篇论文都通过援引的方式纳入本说明书。
参照图5和图6描述了用于估计单独的像素(x，y)的视差的过程的 实例.首先，考虑左边图像202中的比如3x3像素的窗口 502以及右 边图像206中的类似的窗口 504。窗口 502以像素坐标(x，y)为中心环绕， 并且窗口 504以像素坐标(x+d，y)为中心环绕，其中表达式x+d估计值 在0与N之间，N为图像的宽度.例如根据图6中的公式602将窗口 502的像素值与窗口 504的像素值进行比较。基本上，公式602针对 特定视差值d给出坐标(x，y)处绝对差值(SAD)的和。下一步是确定 使表达式602最小的值d，该值d可以用作像素(x，y)的视差d(x，y)的估 计。SAD(x，y;d)的最小值用SAD^(x，y)表示。
对于所有对应的像素依次求取SAD^n(x，y)的和，得到公式(412) 的表达式表示的误差度量E(m)。
现在，可以通过使用如图7所示的系统700的配置来快速执行图 4中示出的程序。系统700分别包括左边和右边的照相机704和702。 系统700还包括深度估计器706，其从照相机702和704拍摄的立体 图像中提取出深度图708。这种提取器在本领域中是已知的，并且不 必在这里进一步进行详细的描述。深度估计基于视差。L. Falkenhagend发表在 Proc. of European Workshop on combined Real and Synthetic Image Processing for Broadcast and Video Production, Hamburg, November 1994的"Depth Estimation from Stereoscopic Image Pairs Assuming Piecewise Continuous Surfaces", 中提出了从视差获取深度估计的详细的描述.参照图4、图5和图6 描述基于视差导出误差度量E(m)。在最小化器710中，通过计算阵列 m712中的校准参数的更新值来最小化误差度量E(m).在上面，参照 图4描述了最小化器710的操作的一个实例.然后，在校准单元714 中使用校准参数的更新以便改变来自照相机702的图像的像素的坐 标。深度估计器706、误差最小化器710、阵列m712和校准单元714 是校准装置716的一部分。在本发明的一个实施例中，校准单元714是来自照相机702的数据路径中的软件模块。于是，所述校准以纯软 件实现。另一个实施例至少对于照相机702使用全景-倾斜-缩放照相 机。在该实施例中，校准单元714包括在最小化器710的控制下调节 照相机702的全景、倾斜和缩放的全景-倾斜-缩放单元。于是，校准 单元714的全景-倾斜-缩放单元包括例如实现照相机702处的调节的 步进电机或另一换能器。
当启动系统700的操作使用时，利用阵列m中的某一参数值初始 化系统700。初始化阵列m方法如下。将参数 mo、 ni3 和ni7i殳为单位 1.如果没有倾斜，则将m7设为单位1,将参数n^、 m2、 m4、 ins和 ni6设为0。
参照图8，系统800表示一种照相机系统，其能够同时记录至少 两幅图像并且包括构成立体照相机系统的两个照相机702和704以及 经过设置处理来自对应照相机的第一对图像的校准装置716。系统800 进一步包括校准单元814，该校准单元经过设置能够在深度估计器706 处理之前对从对应照相机获得的第一对图像的第一和第二图像进行变 换。
图9为说明系统700的迭代操作的过程图900,在步骤卯2中， 利用初始值设置等式402的阵列m.在步骤904中，捕获一对图像(202， 206),在步骤906中，对所述对的第一图像进行变换，以便将该对的 第一图像中的核线(304)与该对的第二图像中的相应核线(306)对 准.该变换使用了通过第二图像的平面上的投影图(402， 404)来矫 正第一图像。该图取决于当前存储在阵列m中的一个或多个参数值。 在步骤卯8中，确定视差值。所使用的视差值优选地为将沿着第一核 线的对应第一像素与沿着第二核线的对应第二像素关联，如参照图5 和图6所描述的。在步骤910中，在经过变换的第一图像中将经过变 换的核线的像素或者将以经过变换的核线为中心的窗口中的像素按照 这些像素的视差的值进行移位.在步骤912中，确定经过变换的笫一 和第二图像之间的误差度量(412).该误差取决于阵列m中的一个 或多个参数。在步猓914中，减少该度量，从而确定阵列m中的所述 一个或多个参数值的更新。在步骤916中，这样确定的更新用来更新 阵列m中的一个或多个参数值.然后，该过程返回到步骤904从而获 取要利用阵列m中的更新值进行处理的下一对图像.应当指出的是，上述实施例说明了而不是限制了本发明，并且本 领域技术人员应当能够设计出许多可替换的实施例而不脱离所附权利 要求的范围。
在权利要求中，置于括号中的任何附图标记都不应当被视为对权 利要求的限制。动词"包括"及其变体的使用并没有排除权利要求中 未列出的元件或步骤的存在。元件之前的冠词"一"并没有排除多个 这样的元件的存在。
本发明可以借助于包括若干不同元件的硬件以及借助于经过适当 编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装 置中的一些可以由同一硬件项实施 在相互不同的从属权利要求中陈 述某些技术措施这一事实并不意味着这些技术措施的组合不可以加以 利用。
权利要求
1.一种校准照相机系统(700)的方法，所述照相机系统能够同时记录至少两幅图像，该方法包括处理第一对图像(202，206)的步骤，其中该处理步骤包括通过平面上的投影图(402，404)对所述第一对的第一和第二图像中的至少一幅进行变换(906)，该投影图取决于一个或多个参数值(406)，以便将第一对的第一图像中的核线(304)与第一对的第二图像中的相应核线(306)对准，从而得到第二对图像；估计(908)视差对应的值，这些值将沿着所述第二对的第一图像中的第一核线的对应第一像素与沿着所述第二对的第二图像中的相应第二核线的对应第二像素关联；依照对应像素的视差的对应值将第二图像对的第一图像中第一核线的对应像素移位(910)；确定(912)所述第二图像对的第一和第二图像之间的误差度量(412)，该误差度量取决于一个或多个参数；确定(914)所述一个或多个参数值的更新，以便降低所述误差度量值；以及使用所述更新来更新(916)所述一个或多个参数值。
2. 权利要求l的方法，其中所述变换步骤包括通过第一对的第一 和第二图像中一个图像的平面上的投影图(402， 404)矫正所述第一 对的第一和第二图像中的另一幅图像。
3. 权利要求l的方法，其中所述变换步骤包括通过在同一平面上 的单独的投影图(402， 404)矫正笫一对的第一和第二图像，以便水 平对准第二对的图像中的对应核线.
4. 权利要求l的方法，包括使下一对图像经过所述处理操作的步
5. 权利要求1或2的方法，其中所述照相机系统包括立体照相机系统。
6. 用于校准照相机系统(700 )的软件，所述照相机系统能够同 时记录至少两幅图像，该软件包括用于处理第一对图像(202， 206) 的指令，操作这些指令用来执行以下步骤通过平面上的投影图(402， 404)对笫一对的笫一和第二图像中的至少一幅进行变换(卯6)，该图取决于一个或多个参数值(406)， 以便将第一对的第一图像中的核线(304)与该第一对的第二图像中 的相应核线(306)对准，从而得到笫二对图像；估计(908)视差对应的值，这些值将沿着所述第二对的第一图 像中第一核线的对应第一像素与沿着所述第二对的第二图像中相应 的笫二核线的对应第二像素关联；依照对应像素的视差的对应值将第二图像对的第一图像中第一 核线的对应像素移位(910);确定(912)所述第二图像对的第一和第二图像之间的误差度量 (412),该误差度量取决于所述一个或多个参数；确定(914)用于所述一个或多个参数值的更新以便降低所述误 差度量的值；以及使用所述更新来更新(916)所述一个或多个参数值.
7. —种计算机程序产品，包括存储在计算机可读介质上的程序 代码装置，其用于当所述程序代码在计算机上执行时，执行权利要求 l-5中任何一项的方法。
8. —种能够同时记录至少两幅图像的照相机系统(700)，该照 相机系统包括照相机和校准装置(716)，该校准装置经过设置用于处 理第一对图像(202， 206)用以校准所述照相机系统，其中所述校准 装置包括矫正器装置，设置用于对所述第一对的第一和第二图像中的至少 一幅进行变换，以便将笫一对的第一图像中的核线(304)与该第一 对的第二图像中的相应核线(306)对准，从而得到第二对图像；估计装置，设置用于估计(卯8)视差的对应值，这些值将沿着 所述第二对的第一图像的第一核线的对应第一像素与沿着所述第二 对的第二图像的相应第二核线的对应第二像素关联；移位装置，设置用于依照对应像素的视差对应值使所述第二图像 对的第一图像中的第一核线的对应像素移位(910);误差确定装置，设置用于确定(912)所述第二图像对的第一和 第二图像之间的误差度量(412 )，该误差度量取决于一个或多个参数；误差减小装置(710)，用于确定(914) 一个或多个参数值的更 新，以降低所述误差度量值；以及更新装置，用于使用所述更新来更新(916)所述一个或多个参 数值.
9. 权利要求8的系统，包括用于获取由所述校准装置处理的另一 对图像的获取装置.
10. 权利要求8或9的照相机系统，包括立体照相机系统。
11. 校准装置(714)，用于权利要求8的照相机系统中。
全文摘要
描述了一种校准照相机系统的方法，所述照相机系统能够同时记录至少两幅图像。该方法包括处理第一对图像的步骤，其中该处理步骤包括通过平面上的投影图对所述第一对的第一和第二图像中的至少一幅进行变换，该图取决于一个或多个参数值，以便将所述第一对的第一图像中的核线与该第一对的第二图像中的相应核线对准，从而得到第二对图像。该方法还包括针对视差估计对应的值，这些值将沿着所述第二对的第一图像中的第一核线的对应第一像素与沿着所述第二对的第二图像中的相应第二核线的对应第二像素关联；以及依照对应像素的视差的对应值使所述第二图像对的第一图像中的第一核线的对应像素移位。该方法还包括确定所述第二图像对的第一和第二图像之间的误差度量，该误差度量取决于所述一个或多个参数；确定用于所述一个或多个参数值的更新以便降低所述误差度量的值；以及使用所述更新来更新所述一个或多个参数值。
文档编号G06T7/00GK101563709SQ200780046895
公开日2009年10月21日 申请日期2007年12月14日 优先权日2006年12月18日
发明者R·P·克莱霍斯特 申请人:皇家飞利浦电子股份有限公司