校准方法和测量工具的制作方法

校准方法和测量工具的制作方法
【专利摘要】一种校准方法用于校准立体相机。所述校准方法包括：测量在所述立体相机与为了落入所述立体相机的图像捕获区域内而放置的对象之间的相对位置；获取由所述立体相机捕获的并且包括所述对象的捕获的图像；以及基于所述相对位置和所述捕获的图像，确定用于校准所述立体相机的校准参数。
【专利说明】
校准方法和测量工具
技术领域
[0001] 本发明涉及校准方法和测量工具。
【背景技术】
[0002] 使用能够测量到对象的距离的立体相机。例如，通过使用在汽车上搭载的立体相 机(此后，被称为"车载立体相机"），通过测量到在汽车前面的对象的距离来控制汽车的技 术已经投入实际使用。例如，通过车载立体相机测量的距离被用于向驾驶员给出警告或者 控制刹车、方向盘等，实现用于防止汽车碰撞，对汽车之间的距离控制等的目的。
[0003] -般地，车载相机常常安装在汽车的前风挡里面。这是因为，如果车载立体相机安 装在汽车外面，它需要在防水、防尘等方面具有更高的耐久性。如果立体相机安装在汽车里 面，它通过前风挡捕获在汽车外面的风景的图像。一般地，前风挡具有复杂的弯曲形状，并 且与诸如在相机里面的透镜之类的光学组件相比，前风挡具有畸变的形状。因此，前风挡使 得通过前风挡捕获的捕获图像受到畸变。此外，依赖于在将立体相机安装在汽车中时的安 装位置和安装方向，改变所捕获的图像的畸变的特性。为校准在所捕获的图像中包括的这 样的畸变，通过将立体相机安装在车辆的预定位置处并且然后在该状态中使用通过前风挡 捕获的捕获图像，有必要计算用于校准(校正)捕获图像的畸变的校准参数。
[0004] 用于计算所捕获的图像的畸变的校准参数的一般方法是使用图表的方法，在该图 表中描述用于测量距离的具体标记等。采用该方法，基于如下两项之间的差来计算用于校 准所捕获的图像的畸变的校准参数：以基于关于在标记与立体相机之间的相对位置的理论 来计算并且在捕获的图像上出现的标记(对象）的位置、以及当实际上由立体相机来捕获标 记的图像时所获得的在所捕获的图像上的标记的位置。也就是，计算校准参数，其确定转换 以便于消除差异。
[0005] 专利文献1公开了一种装置，其通过使用基于在一组图像数据与另一组图像数据 之间的坐标上的差的校准参数，将从在立体相机中包括的一对相机输出的一对图像数据集 合中的每一个图像数据集合进行转换，以便于通过图像处理来调节立体相机的光学畸变和 位置偏差。
[0006] 然而，如果在立体相机与图表之间的相对位置中存在误差，则在所捕获的图像中 以及在理论上计算的对象的坐标中出现误差；因此，误差还在用于校准所捕获的图像的畸 变的校准参数中出现。特别地，存在的问题在于，在图表与在对象(例如车辆）中安装的立体 相机之间的相对位置中容易出现误差。
[0007] 考虑到上述，需要提供一种校准方法和测量工具，使得可以计算用于校准立体相 机的高精度校准参数。

【发明内容】

[0008] -种校准方法用于校准立体相机。所述校准方法包括:测量在所述立体相机与为 了落入所述立体相机的图像捕获区域内而放置的对象之间的相对位置;获取由所述立体相 机捕获的并且包括所述对象的捕获的图像；以及基于所述相对位置和所述捕获的图像，确 定用于校准所述立体相机的校准参数。
[0009] -种用于通过使用测量工具来校准立体相机的校准方法，所述测量工具包括第一 部件、光源和第二部件，所述第一部件具有包括被用于校准所述立体相机的图表的表面，所 述光源安装在所述表面上并且发射具有均匀强度的光而不管在所述表面上的位置如何，并 且所述第二部件覆盖所述光源并且通过多个孔发射所述光。所述校准方法包括:获取捕获 的图像，所述捕获的图像由所述立体相机来捕获并且包括作为对象的所述测量工具;基于 在所述捕获的图像中的最大亮度的位置来测量所述测量工具的方向与所述立体相机的面 对位置的偏差；以及基于所述测量工具的方向的偏差和所述捕获的图像来确定用于校准所 述立体相机的校准参数。
[0010] -种测量工具，包括:第一部件，其具有包括被用于校准立体相机的图表的表面； 光源，其安装在所述表面上并且发射具有均匀强度的光而不管在所述表面上的位置如何； 以及第二部件，其覆盖所述光源并且通过多个孔发射所述光。
【附图说明】
[0011]图1是示出在根据第一实施例的测量工具、立体相机和校准装置之间的关系的示 例的图。
[0012] 图2是示出根据第一实施例的立体相机的配置的示例的图。
[0013] 图3是示出使用立体相机的距离测量原理的图。
[0014]图4是示出根据第一实施例的测试工具的示例的图。
[0015] 图5是示出根据第一实施例的距离测量装置的示例的图。
[0016] 图6是示出根据第一实施例的校准装置的配置的示例的图。
[0017]图7是示出根据第一实施例的对象坐标系统的示例的图。
[0018]图8是示出用于确定三维坐标的方法的示例的图，该三维坐标指示根据第一实施 例的第一相机的位置。
[0019]图9是不出根据第一实施例的第一相机的相机坐标系统的不例的图。
[0020]图10是根据第一实施例的校准方法的总体示意性流程图。
[0021]图11是示出根据第一实施例的用于校准装置的校准方法的示例的图。
[0022] 图12是示出根据第一实施例的校准方法的总体流程的示例的流程图。
[0023] 图13是示出一种情况的示例的图，在这种情况中，通过使用中间测量点，根据第一 实施例的变形例的距离测量装置测量到第一相机(第二相机)的距离。
[0024] 图14是示出在第二实施例的测量工具、立体相机和校准装置之间的关系的示例的 图。
[0025] 图15A是示出根据第二实施例的角度测量板的横截面的横截面视图。
[0026] 图15B是示出根据第二实施例的角度测量板的前表面的前视图。
[0027] 图16是根据第二实施例的第一部件的前视图。
[0028] 图17是示出从第一相机的光学中心的位置看到在第二部件上形成的孔106、孔107 和孔108的情况的图。
[0029]图18A是示出当从第一相机的光学中心的位置看到孔106时的孔106的形状的图。
[0030]图18B是示出当从第一相机的光学中心的位置看到孔107时的孔107的形状的图。 [0031]图18C是示出当从第一相机的光学中心的位置看到孔108时的孔108的形状的图。 [0032]图19A是示出在不包括光学模糊(optical unsharpness)的情况中的角度测量板 的图像的图。
[0033]图19B是示出在包括光学模糊的情况中的角度测量板的图像的图。
[0034] 图20是示出在图19B中的亮度山（mountain of brightness)的底部的半径的测量 的图。
[0035] 图21是示出图像捕获表面的亮度峰值的位置与角度测量板的倾斜之间的关系的 图。
[0036] 图22是示出一种方法的图，该方法用于确定指示测量工具的位置的平面的等式。
[0037] 图23是示出根据第二实施例的校准装置的配置的示例的图。
[0038]图24是根据第二实施例的校准方法的总体示意性流程图。
[0039] 图25是示出根据第二实施例的用于校准装置的校准方法的示例的流程图。
[0040] 图26是示出根据第三实施例的角度测量板的横截面的横截面视图。
[0041] 图27是示出光被折射的角度的图。
[0042]图28是示出根据第三实施例的通过角度测量板发射的光的图。
[0043]图29是示出在测量工具的倾斜与亮度峰值的位置偏差之间的关系的图。
[0044] 图30是示出在莫尔周期与亮度峰值的移动范围之间的关系的图。
[0045] 图31是示出由于邻近孔的亮度峰值的位置的图。
[0046] 图32是根据第一实施例到第三实施例的立体相机和校准装置的硬件配置的示例 的图。
【具体实施方式】
[0047] 参考附图，下面给出校准方法和测量工具的实施例的详细的说明。
[0048] 第一实施例
[0049]图1是示出在根据第一实施例的测量工具20、立体相机10和校准装置30之间的关 系的示例的图。图1是对于由安装在汽车前风挡里面的立体相机1〇(车载立体相机)所捕获 的捕获图像进行校准的情况的示例。安装测量工具20使其落在立体相机10的图像捕获区域 内。例如，将测量工具20安装在离立体相机10大约2m的距离处，使得它们几乎彼此面对。使 用测量工具20以获取测量数据，所述测量数据用于确定校准参数以校准立体相机10。测量 数据被输入到计算机(校准装置30)，并且校准参数由计算机来确定。首先，给出作为待校准 目标的立体相机10的说明。
[0050] 图2是示出根据第一实施例的立体相机10的配置的示例的图。根据本实施例的立 体相机10包括第一相机1、第二相机2、存储单元3、外部I/F 4、校正单元5和计算单元6。第一 相机1捕获对象的图像，以便于获取第一捕获的图像。第二相机2捕获对象的图像，以便于获 取第二捕获的图像。平行布置第一相机1和第二相机2使得它们的光轴彼此平行。第一相机1 和第二相机2的图像捕获时机是同步的，并且它们同时捕获相同对象的图像。
[0051] 存储单元3存储第一捕获的图像、第二捕获的图像和校准参数。校准参数是用于校 正第一捕获的图像和第二捕获的图像的畸变的参数。通过使用根据本实施例的校准方法确 定校准参数。外部I/F 4是用于输入以及输出存储单元3的数据的接口。通过使用根据本实 施例的校准方法确定由立体相机10使用的校准参数，并且通过使用外部I/F 4将该校准参 数存储在存储单元3中。
[0052]校正单元5从存储单元3读取第一捕获的图像、第二捕获的图像和校准参数。通过 使用对应于校准参数的图像校正等式，校正单元5校正第一捕获的图像和第二捕获的图像。 图像校正等式是用于通过转换第一捕获的图像(第二捕获的图像）的坐标来校正第一捕获 的图像(第二捕获的图像)的等式。例如，在通过仿射变换校正第一捕获的图像(第二捕获的 图像）的坐标的情况中，如图像校正等式可通过使用矩阵来表示时，校正参数是矩阵的要 素。此外，如果通过非线性变换来校正第一捕获的图像(第二捕获的图像)的坐标，则校准参 数是表示变换的多项式等的系数。此外，校正单元5可校正第一捕获的图像和第二捕获的图 像中的任一个。具体地，图像校正等式可以是用于通过使用捕获的图像中的任一个作为基 准来校正捕获的图像中的另一个的校正等式。校正单元5将校正后的第一捕获的图像和校 正后的第二捕获的图像输入到计算单元6。
[0053]计算单元6计算来自校正后的第一捕获的图像和校正后的第二捕获的图像的每个 对象的视差。在此，给出视差和使用视差的距离测量原理的说明。
[0054]图3是示出使用立体相机10的距离测量原理的图。在图3的示例中，安装第一相机1 (焦距f、光学中心〇〇和图像捕获表面S〇)，使得Z轴在光轴的方向上。此外，安装第二相机2(焦 距f、光学中心〇i和图像捕获表面S〇，使得Z轴在光轴的方向上。将第一相机1和第二相机2布 置为平行于X轴并且在彼此相隔距离B(基线长度）的位置处。此后，图3的坐标系统被称为 "相机坐标系统"。此外，第一相机1的光学中心是基准的坐标系统被称为"第一相机坐标系 统"。此外，第二相机2的光学中心是基准的坐标系统被称为"第二相机坐标系统"。
[0055] 对象A(位于与第一相机1的光学中心0〇远离在光轴方向上的距离d的位置处）的图 像形成于P〇上，该P〇是直线A-Oo与图像捕获表面So之间的交点。此外，采用相机2,相同对象A 的图像形成于在图像捕获表面31上的位置丹上。
[0056] 在此，P</是图像捕获表面S1与穿过第二相机2的光学中心仏并且平行于直线A-Oo 的直线之间的交点。此外，D是以与?:之间的距离。距离D表示当通过两个相机取得相同对象 的图像时在图像上的位置偏差(视差)的程度。三角形A-〇『〇A三角形仏-以士类似。因此， 提供以下等式(1)。
(1)
[0058]具体地，从基线长度B、焦距f和视差D可确定到对象A的距离d。此外，如果准确定位 第一相机1和第二相机2,通过使用第一相机坐标系统计算的距离d(第一相机1的光学中心 0〇与对象A之间的在光轴的方向上的距离）与通过使用第二相机坐标系统计算的距离d(第 二相机2的光学中心(h与对象A之间的在光轴的方向上的距离)相同。
[0059]前述是通过立体相机10的距离测量原理。为了准确地获得到对象A的距离，需要准 确地定位第一相机1和第二相机2。然而，有可能以围绕X轴、Y轴或Z轴旋转的这样的方向来 位移第一相机1(第二相机2)。这导致第一捕获的图像(第二捕获的图像)的坐标以实质上向 上、向下、向左或向右的方向来位移。此外，在通过前风挡捕获对象的图像的车载立体相机 的情况中，由于前风挡的影响，在第一捕获的图像(第二捕获的图像）中发生畸变。通过使用 用于校正视差误差的校正参数的信号处理，立体相机10校正第一捕获的图像(第二捕获的 图像），该视差误差由如下项造成：由于两个相机的装配公差引起的第一捕获的图像(第二 捕获的图像)的位移，以及由于前风挡引起的第一捕获的图像(第二捕获的图像)的畸变。
[0060] 回到图2,通过使用作为对计算视差的基准而使用的捕获的图像(第一捕获的图像 或第二捕获的图像）的像素的密度值，计算单元6逐个像素地生成用于代表视差的视差图 像。此外，通过使用视差图像和等式(1)，计算单元6计算到对象的距离。
[0061] 接着，给出测量工具20的说明。图4是示出根据第一实施例的测试工具20的示例的 图。根据本实施例的测量工具20具有像方形板的结构。此外，测量工具20的形状和材料可以 是可选的。具体地，测量工具20可以是具有用于获取被用于校准的数据的区域的任何部件。 测量工具20的表面包括五个标记21。标记21被用作测量图表以计算视差。此外，标记21的形 状、数量和位置不限于根据本实施例的配置并且可以是可选的。此外，测量工具20的表面具 有阴影图案，使其更容易检测在第二捕获的图像中的与在第一捕获的图像中的点相对应的 对应点。此外，像方形板的测量工具20的四个角上设置距离测量装置22a、距离测量装置 22b、距离测量装置22c和距离测量装置22d。此后，如果距离测量装置22a、距离测量装置 22b、距离测量装置22c和距离测量装置22d彼此不区分，则它们被简称为距离测量装置22。 [0062]图5是示出根据第一实施例的距离测量装置22的示例的图。距离测量装置22具有 双轴可旋转的保持机构，该双轴可旋转的保持机构围绕先前设定的测量点23在向上、向下、 向左和向右的方向上可旋转。根据本实施例的距离测量装置22通过使用激光24的T0F(飞行 时间）来测量距离。此外，距离测量装置22的距离测量方法可以是可选的。例如，距离测量装 置22可通过使用超声波来测量距离。
[0063] 距离测量装置22获取用于指示到第一相机1的光学中心0〇(参见图3)的距离的距 离信息(在此，被称为"第一距离信息"）以及指示到第二相机2的光学中心0K参见图3)的距 离的距离信息(在此，被称为"第二距离信息"）。此外，在图4中，为何距离测量装置22设置在 测量工具20的四个角上的理由是，图5的测量点23彼此尽可能远地定位。因此，可以获得具 有尽可能不同的值的多条第一距离信息(第二距离信息），并且可以改善精度，该精度为下 述校准装置30计算在第一相机1(第二相机2)与测量工具20之间的距离(在第一相机1的光 轴的方向上的距离或在第二相机2的光轴的方向上的距离)时的精度。此外，距离测量装置 22的数量和位置不限于根据本实施例的配置并且可以是可选的。
[0064]图6是示出根据第一实施例的校准装置30的配置的示例的图。根据本实施例的校 准装置30包括接收单元31、第一相机位置计算单元32、第一相机方向计算单元33、第二相机 位置计算单元34、第二相机方向计算单元35、距离计算单元36、理想视差计算单元37、视差 计算单元38和确定单元39。校准装置30是信息处理设备(计算机）。
[0065]接收单元31接收:多条(在本实施例中四条)第一距离信息、多条(在本实施例中四 条)第二距离信息、包括作为对象的测量工具20的第一捕获的图像、包括作为对象的测量工 具20的第二捕获的图像、与在对象坐标系统中的多个(在本实施例中五个)标记21有关的三 维坐标信息，以及与在对象坐标系统中的距离测量装置22(测量点23)有关的三维坐标信 息。例如，依照在校准装置30上的用户操作，接收单元31接收指示如下项的输入:多条第一 距离信息、第一捕获的图像、第二捕获的图像、与标记21有关的三维坐标信息，以及与距离 测量装置22有关的三维坐标信息。在此，给出对象坐标系统的说明。
[0066]图7是示出根据第一实施例的对象坐标系统的示例的图。图7是三维坐标的原点位 于测量工具20最左下处的情况的示例。可以准确地获得指示在对象坐标系统中的距离测量 装置22a(测量点23a)、距离测量装置22b(测量点23b)、距离测量装置22c(测量点23c)和距 离测量装置22d(测量点23d)的位置的四个三维坐标。也就是，已知在对象坐标系统中的四 个三维坐标。此外，还已知与在对象坐标系统中的多个(在本实施例中五个)标记21有关的 三维坐标信息。
[0067]回到图6,接收单元31向距离计算单元36输入与在对象坐标系统中的多个(在本实 施例中五个)标记21有关的三维坐标信息。接收单元31向视差计算单元38输入第一捕获的 图像和第二捕获的图像。
[0068]此外，接收单元31向第一相机位置计算单元32输入第一距离信息和与在对象坐标 系统中的距离测量装置22(测量点23)有关的三维坐标信息。此外，接收单元31向第二相机 位置计算单元34输入第二距离信息和与在对象坐标系统中的距离测量装置22(测量点23) 有关的三维坐标信息。
[0069]此外，接收单元31向第一相机方向计算单元33输入第一捕获的图像和与在对象坐 标系统中的距离测量装置22(测量点23)有关的三维坐标信息。此外，接收单元31向第二相 机方向计算单元35输入第二捕获的图像和与在对象坐标系统中的距离测量装置22(测量点 23)有关的三维坐标信息。
[0070] 基于多条(在本实施例中四条)第一距离信息和与在对象坐标系统中的距离测量 装置22(测量点23)有关的三维坐标信息，第一相机位置计算单元32通过使用对象坐标系统 来计算指示第一相机1的光学中心〇〇的位置的三维坐标(此后被称为"第一相机坐标"）。
[0071] 图8是示出用于确定三维坐标的方法的示例的图，该三维坐标指示根据第一实施 例的第一相机1的位置。通过距离测量装置22a获取的第一距离信息由d0来表示。也就是，它 表示从测量点23a到第一相机1的距离。通过距离测量装置22b获取的第一距离信息由dl来 表示。也就是，它表示从测量点23b到第一相机1的距离。通过距离测量装置22c获取的第一 距离信息由d2来表示。也就是，它表示从测量点23c到第一相机1的距离。
[0072]通过使用如下面描述的理论上的对象坐标系统，可计算指示第一相机1的位置的 三维坐标。首先，将测量点23a设定为中心，确定代表具有半径d0的球面的点集合25a。接着， 将测量点23b设定为中心，确定代表具有半径dl的球面的点集合25b。然后，将测量点23c设 定为中心，确定代表具有半径d2的球面的点集合25c。然后，确定被包括在点集合25a和点集 合25b点二者中的点集合。该点集合是图8的dO&dUdO&dl是通过使用在表示具有半径d0的 球面的点集合与表示具有半径dl的球面的点集合之间的交点所代表的点集合（圆弧）。然 后，确定被包括在点集合25b和点集合25c二者中的点集合。该点集合是图8的 是通过使用在表示具有半径dl的球面的点集合与表示具有半径d2的球面的点集合之间的 交点所代表的点集合（圆弧）。最后，确定在由图8的dO&dl代表的圆弧与由dl&d2代表的圆弧 之间的交点C，借此可计算第一相机坐标。也就是，理论上，如果存在三条第一距离信息，则 可计算第一相机坐标。
[0073]然而，考虑到距离测量装置22的测量误差，最好通过使用更多的测量点23(在本实 施例中四个)来计算第一相机坐标。因此，第一相机位置计算单元32通过使用例如以下等式 (2)实行最小二乘近似来计算交点C，借此计算第一相机坐标。
[0074] ￡：? -/?| -t//) (2)
[0075] 在此，n是测量点23的数量。pi是第i测量点23的三维坐标。di是通过距离测量装置 22测量的从第i测量点23到第一相机1的距离。
[0076]回到图6,第一相机位置计算单元32向第一相机方向计算单元33输入通过使用对 象坐标系统计算的第一相机坐标。此外，第一相机位置计算单元32向距离计算单元36输入 通过使用对象坐标系统计算的第一相机坐标。
[0077]第一相机方向计算单元33从接收单元31接收第一捕获的图像和与在对象坐标系 统中的距离测量装置22(测量点23)有关的三维坐标信息。此外，第一相机方向计算单元33 从第一相机位置计算单元32接收通过使用对象坐标系统计算的第一相机坐标。
[0078]第一相机方向计算单元33使用相机坐标系统，以基于测量点23(23a、23b、23c、 23d)的三维坐标、在第一捕获的图像中的测量点23(23&、2313、23〇、23(1)的图像的二维坐标 以及第一相机1的焦距，来计算第一相机1的方向（光轴的方向）。具体地，第一相机方向计算 单元33首先将通过使用对象坐标系统计算的测量点23的三维坐标转换成其原点在第一相 机1的光学中心〇〇的相机坐标系统中。具体地，该相机坐标系统是这样一种坐标，即在其中， 在针孔相机模型中，针孔的位置是原点。此外，此时，相机坐标系统仍然不符合相机坐标系 统的方向，这是由于第一相机的方向偏差所导致。接着，第一相机方向计算单元33计算三轴 旋转角度r= (al，m，y 1)，以使得由于第一相机的方向偏差所导致的相机坐标系统符合相 机坐标系统的方向。
[0079]图9是示出根据第一实施例的第一相机1的相机坐标系统的示例的图。测量点23 (对象）的三维坐标是(x，y，z)，在图像捕获表面40上的二维坐标是(u，v)，以及第一相机1的 焦距是f。在此，在图像捕获表面40上的测量点23的图像41的位置可通过使用以下等式(3) 来表示。
(3)
[0081] 一般地，通过使用等式(3)，基于相机的光学中心的位置、相机的焦距f、测量点23 的三维坐标口=(1，7,2)，以及相机方向（三轴旋转角度1=((11，01，丫1))，可计算在图像捕 获表面40上的二维坐标(u，v)。此外，al表示相对于X轴的旋转角度，m表示相对于Y轴的旋 转角度，以及y 1表示相对于Z轴的旋转角度。
[0082]相反，通过使用等式（3)，基于相机的光学中心的位置、相机的焦距f、测量点23的 三维坐标p = (x，y，z)，以及在图像捕获表面40上的二维坐标(u，v)，可确定相机方向（三轴 旋转角度r=(al，m, Y 1))。
[0083]通过使用等式(3)的关系，基于三轴旋转角度r=(al，m，y 1)以及测量点23的三 维坐标p=(x，y，z)，获得用于计算在图像捕获表面40上的二维坐标(u，v)的函数F ((u，v)= F(r,p))〇
[0084]第一相机方向计算单元33通过使用以下等式(4)来实行最小二乘近似，借此计算 三轴旋转角度r=(al，m，y 1)。 2
[0085] ￡,(/')- ^ |F{i\ pi) - (ui, vv')| (4) i=l
[0086] 在此，n是测量点23的数量。pi是第i测量点23的三维坐标。（ui ,vi)是对应于第i测 量点23并且在图像捕获表面40上的二维坐标。
[0087]因为相机方向（三轴旋转角度r)具有三个变量，如果在图像捕获表面40上的两个 点的二维坐标存在约束条件，则相机方向可通过使用等式(3)来确定。为何第一相机方向计 算单元33通过使用等式(4)来计算三轴旋转角度r=(al，m，yl)的理由是第一捕获的图像 通过前风挡来捕获。具体地，因为第一捕获的图像具有由于前风挡导致的畸变，因此最好通 过使用大量的测量点23并且通过实行使用等式(4)的最小二乘近似来计算三轴旋转角度r = (al，01, y 1)0
[0088] 此外，如果畸变取决于(u，v)而不同，并且例如，如果先前预测，图像的周边部分相 比于画面的中间而大大地畸变，则可因此定位测量点的位置，使得测量点23在第一捕获的 图像的中间部分显现。此外，在等式(4)中，可依赖于测量点23来施加权重。
[0089] 此外，距离测量装置22的测量点23被用作测量点23;然而，如果任意的测量点23的 坐标在对象坐标系统中已知，则可使用任意的测量点23。例如，可使用在测量工具20上的并 且适合于测量的任意的测量点23,或者还可使用不在测量工具20上的并且适合于测量的任 意测量点23。
[0090]回到图6,第一相机方向计算单元33向距离计算单元36输入通过使用上述等式(4) 计算的第一相机1的方向（三轴旋转角度r=(al，01, y 1))。
[0091] 基于多条(在本实施例中四条)第二距离信息，通过使用对象坐标系统，第二相机 位置计算单元34计算用于指示第二相机2的光学中心(h的位置的三维坐标（之后，被称为 "第二相机坐标"）。因为用于计算第二相机坐标的方法与用于计算第一相机坐标的方法相 同，其详细的说明被省略。第二相机位置计算单元34向第二相机方向计算单元35输入通过 使用对象坐标系统计算的第二相机坐标。此外，第二相机位置计算单元34向视差计算单元 38输入通过使用对象坐标系统计算的第二相机坐标。
[0092] 第二相机方向计算单元35从接收单元31接收第二捕获的图像和与在对象坐标系 统中的距离测量装置22(测量点23)有关的三维坐标信息。此外，第二相机方向计算单元35 从第二相机位置计算单元34接收通过使用对象坐标系统计算的第二相机坐标。
[0093]第二相机方向计算单元35使用相机坐标系统，以基于测量点23(23a、23b、23c、 23d)的三维坐标、在第二捕获的图像中的测量点23(23&、2313、23〇、23(1)的图像的二维坐标 以及第二相机2的焦距，来计算第二相机2的方向（光轴的方向）。因为用于计算第二相机2的 方向的方法与用于计算第一相机1的方向的方法相同，其详细的说明被省略。第二相机方向 计算单元35向距离计算单元36输入第二相机2的方向（三轴旋转角度r=(a2,02, y 2))。 [0094]距离计算单元36从接收单元31接收与在对象坐标系统中的标记21有关的三维坐 标信息。此外，距离计算单元36从第一相机位置计算单元32接收通过使用对象坐标系统计 算的第一相机坐标。此外，距离计算单元36从第一相机方向计算单元33接收第一相机1的方 向（三轴旋转角度r= (a 1,01，y 1))。此外，距离计算单元36从第二相机位置计算单元34接 收通过使用对象坐标系统计算的第二相机坐标。此外，距离计算单元36从第二相机方向计 算单元35接收第二相机2的方向（三轴旋转角度r= (a2，P2，y 2))。
[0095]相对于每个标记21，基于第一相机1的方向和第一相机坐标，通过使用第一相机坐 标系统，距离计算单元36计算在第一相机1的光学中心0〇与在第一相机1的光轴的方向上的 标记21之间的距离d。
[0096]具体地，基于第一相机1的方向（三轴旋转角度r= (al ,01，y 1))，距离计算单元36 首先将第一相机坐标为原点的相机坐标系统旋转，借此将其转换成第一相机坐标系统。也 就是，第一相机坐标系统是这样一种坐标系统，即在其中，第一相机坐标是原点，第一相机1 的光轴的方向是Z轴，穿过与包括原点的Z轴相垂直的平面上的水平方向上的原点的直线是 X轴，以及穿过与包括原点的Z轴相垂直的平面上的垂直方向上的原点的直线是Y轴。接着， 距离计算单元36使用第一相机坐标系统和等式（1)来计算在第一相机1的光学中心0〇与在 第一相机1的光轴的方向上的标记21之间的距离d(参见图3)。因此，在对象(标记21)与立体 相机1〇(第一相机1的光学中心〇〇)之间的相对位置被明确确定。距离计算单元36向理想视 差计算单元37输入用于指示每个标记21与立体相机10之间的距离d的距离信息。
[0097]此外，基于第二相机2的方向和第二相机坐标，通过使用第二相机坐标系统，距离 计算单元36计算在第二相机2的光学中心(h与在第二相机2的光轴的方向上的标记21之间 的距离d。
[0098] 理想视差计算单元37从距离计算单元36接收上述的距离信息。基于上述距离信 息，通过使用相对于每个标记21的等式（1)，理想视差计算单元37计算用于指示被包括在第 一捕获的图像中的标记21与被包括在第二捕获的图像中的标记21之间的理想视差的理想 视差。理想视差计算单元37向确定单元39输入理想视差。
[0099]视差计算单元38从接收单元31接收第一捕获的图像和第二捕获的图像。相对于每 个标记21，视差计算单元38计算被包括在第一捕获的图像中的标记21与被包括在第二捕获 的图像中的标记21之间的视差。视差计算单元38向确定单元39输入视差。
[0100] 确定单元39从理想视差计算单元37接收理想视差，并且从视差计算单元38接收视 差。此外，确定单元39从接收单元31接收第一捕获的图像和第二捕获的图像。基于视差和理 想视差，确定单元39确定用于校正第一捕获的图像和第二捕获的图像的校准参数。例如，确 定单元39确定用于校正的校准参数，使得在视差与理想视差之间的差变成零。
[0101] 此外，如果在垂直方向（Y轴方向）中产生视差，确定单元39确定用于校正的校准参 数，使得不管到对象(多个标记)的距离如何，在垂直方向上的视差变成零。这样做的理由是 假设视差仅在水平方向(X轴方向）上产生。
[0102] 图10是根据第一实施例的校准方法的总体示意性流程图。立体相机10获取捕获的 图像(步骤S101)。具体地，第一相机1获取第一捕获的图像，以及第二相机2获取第二捕获的 图像。
[0103] 接着，校准装置30测量立体相机10与对象之间的相对位置(步骤S102)。具体地，通 过实行下面描述的步骤S6到S10,校准装置30测量在立体相机10的第一相机1的光学中心0〇 与在测量工具20上的标记21之间的相对位置。
[0104]接着，校准装置30基于相对位置确定校准参数(步骤S103)。具体地，校准装置30确 定用于校正第一捕获的图像和第二捕获的图像中的至少一个的校准参数，使得被包括在第 一捕获的图像的标记21与被包括在第二捕获的图像中的标记21之间的视差与指示基于在 步骤S102测量的相对位置的理想视差的理想视差相匹配。
[0105] 接着，参考流程图给出根据本实施例的校准装置30的校准方法的详细说明。图11 是示出根据第一实施例的用于校准装置30的校准方法的示例的流程图。
[0106] 接收单元31接收与测量工具20有关的坐标信息(步骤S1)。坐标信息是与在对象坐 标系统中的多个(在本实施例中五个)标记21有关的三维坐标信息，以及与在对象坐标系统 中的多个(在本实施例中四个)距离测量装置22(测量点23)有关的三维坐标信息。此外，接 收单元31接收多条(在本实施例中四条)第一距离信息（步骤S2)。此外，接收单元31接收多 条(在本实施例中四条)第二距离信息（步骤S3)。此外，接收单元31接收包括测量工具20作 为对象的第一捕获的图像(步骤S4)。此外，接收单元31接收包括测量工具20作为对象的第 二捕获的图像(步骤S5)。
[0107] 接着，基于多条第一距离信息以及与在对象坐标系统中的距离测量装置22(测量 点23)有关的三维坐标信息，通过使用对象坐标系统，第一相机位置计算单元32计算用于指 不第一相机1的光学中心〇 〇的位置的第一相机坐标(步骤S 6)。
[0108] 接着，基于多条第二距离信息以及与在对象坐标系统中的距离测量装置22(测量 点23)有关的三维坐标信息，通过使用对象坐标系统，第二相机位置计算单元34计算用于指 示第二相机2的光学中心&的位置的第二相机坐标(步骤S7)。
[0109]接着，第一相机方向计算单元33使用相机坐标系统，以基于测量点23(23a、23b、 23c、23d)的三维坐标、在第一捕获的图像中的测量点23的图像的二维坐标以及第一相机1 的焦距，来计算第一相机1的方向（光轴的方向）（步骤S8)。
[0110]接着，第二相机方向计算单元35使用相机坐标系统，以基于测量点23(23a、23b、 23c、23d)的三维坐标、在第二捕获的图像中的测量点23的图像的二维坐标以及第二相机2 的焦距，来计算第二相机2的方向（光轴的方向）（步骤S9)。 接着，相对于每个标记21，距离计算单元36使用第一相机坐标系统(其基于第一相 机1的方向和第一相机坐标)来计算在第一相机1的光学中心〇〇与在第一相机1的光轴的方 向上的标记21之间的距离d(步骤S10)。在步骤S6到S10，在对象(标记21)与立体相机10 (第 一相机1的光学中心〇〇)之间的相对位置被明确确定。
[0112]接着，基于第一相机1的光轴的方向上的在步骤S10计算的距离d，通过使用相对于 每个标记21的等式（1)，理想视差计算单元37计算用于指示被包括在第一捕获的图像中的 标记21与被包括在第二捕获的图像中的标记21之间的理想视差的理想视差(步骤S11)。 [0113]接着，相对于每个标记21，视差计算单元38计算被包括在第一捕获的图像中的标 记21与被包括在第二捕获的图像中的标记21之间的视差(步骤S12)。
[0114] 接着，确定单元39确定用于校正第一捕获的图像和第二捕获的图像的校准参数， 使得在视差与理想视差之间的差变成零(步骤S13)。
[0115] 此外，在上述步骤S10,距离计算单元36使用第二相机坐标系统(其基于第二相机2 的方向和第二相机坐标)来计算在第二相机2的光学中心0i与在第二相机2的光轴的方向上 的标记21之间的距离d。
[0116] 接着，给出根据本实施例的使用上述测量工具20和上述校准装置30的校准方法的 总体流程的说明。图12是示出根据第一实施例的校准方法的总体流程的示例的流程图。 [0117]首先，将测量工具20安装在搭载立体相机10的车辆的前面，使得它们几乎彼此面 对(步骤S21)。接着，测量工具20测量在立体相机10的光学中心0〇与在测量工具20上的测量 点23之间的距离(步骤S22)。具体地，在测量工具20的四个角上的距离测量装置22适当地旋 转，并且到立体相机10的光学中心〇〇的距离通过车辆的前风挡来测量。接着，在不改变测量 工具20的位置的情况下，立体相机10通过前风挡捕获测量工具20的图像(步骤S23)。
[0118] 接着，将在步骤S22测量的测量数据输入到校准装置30(步骤S24)。此时，同时输入 在对象坐标系统中并且指示在测量工具20上的标记21的坐标，以及在对象坐标系统中并且 指示在测量工具20上的测量点23的坐标。接着，将在步骤S23捕获的捕获图像输入到校准装 置30(步骤S25)。
[0119] 接着，校准装置30计算在测量工具20与立体相机10的光学中心0〇之间的相对位置 (步骤S26)。具体地，校准装置30计算立体相机10的位置和方向（图11的步骤S6到步骤S9)。 然后，校准装置30计算在测量工具20(标记21)与在第一相机1的光轴的方向上的立体相机 1 〇的光学中心〇〇之间的距离d(图11的步骤S10)。
[0120] 接着，基于在步骤S26计算的相对位置，校准装置30计算理想视差(步骤S27)。具体 地，通过使用在图11中的步骤S11的方法，校准装置30计算理想视差。然后，基于在步骤S25 输入的捕获的图像，校准装置30计算视差(步骤S28)。具体地，通过使用在图11中的步骤S12 的方法，校准装置30计算视差。接着，基于相对位置和捕获的图像，校准装置30确定用于校 准立体相机10的校准参数(步骤S29)。具体地，基于从相对位置计算的理想视差以及从捕获 的图像计算的视差，校准装置30确定用于校准由立体相机10捕获的捕获图像的校准参数 (图11的步骤S13)。
[0121] 如上所述，采用根据第一实施例的校准方法，测量在立体相机10与落入立体相机 10的图像捕获区域内而安装的测量工具20之间的相对位置，基于该相对位置以及由立体相 机10捕获的并且包括作为对象的测量工具20的捕获图像，确定用于校准立体相机10的校准 参数。因此，相对于在难以确保安装位置精度的车辆中安装的立体相机10,可以计算具有高 精度的校准参数。
[0122] 此外，在第一实施例中，给出在被安装在汽车中的立体相机10上实行校准的情况 的说明。然而，根据第一实施例的校准方法可施加于立体相机10,该立体相机10不限于安装 在例如汽车的车辆(可移动对象）中，还可安装在任何对象中。此外，即使立体相机10未安装 在对象上，如果需要在立体相机10上实行较高精度校准，仍可应用根据本实施例的方法。
[0123] 第一实施例的变形例
[0124] 接着，给出根据第一实施例的校准方法的变形例的说明。采用根据第一实施例的 变形例的校准方法，距离测量装置22不测量到第一相机1(第二相机2)的光学中心的距离， 而是测量到中间测量点的距离，该中间测量点位于相对于第一相机1(第二相机2)的光学中 心的中间。这是因为，由于相机的光学中心通常位于透镜里面，所以难以直接测量相机的光 学中心。
[0125] 图13是示出如下一种情况的示例的图，在这种情况中，通过使用中间测量点，根据 第一实施例的变形例的距离测量装置22测量到第一相机1(第二相机2)的距离。图13是这样 一种情况的示例，即在其中，中间测量点61位于垂直于测量装置20的方向上，并且接近于第 一相机1(第二相机2)的位置62来定位。例如，中点测量点61位于前风挡上。
[0126] 距离测量装置22测量距离信息(此后被称为"第一中间距离信息"），该第一中间距 离信息指示在测量工具20上的测量点23与在第一相机1的光学中心附近设置的中间测量点 之间的距离。此外，距离测量装置22测量距离信息(此后被称为"第二中间距离信息"），该第 二中间距离信息指示在测量工具20上的测量点23与在第二相机2的光学中心附近设置的中 间测量点之间的距离。
[0127] 接收单元31接收第一中间距离信息和第二中间距离信息。此外，接收单元31接收 从中间测量点61到第一相机1(第二相机2)的光学中心的距离，作为从测量值、设计值等单 独获取的距离信息。
[0128] 第一相机位置计算单元32(第二相机位置计算单元34)首先通过使用等式(2)来确 定用于指示中间测量点61的位置的坐标。接着，通过使用用于指示中间测量点61的位置的 坐标，以及使用用于指示从中间测量点61到第一相机1(第二相机2)的光学中心的距离的距 离信息，第一相机位置计算单元32(第二相机位置计算单元34)计算第一相机1(第二相机2) 的光学中心的坐标。
[0129] 此外，通过使用相机坐标系统而不使用测量工具20的对象坐标系统，可单独地测 量从中间测量点61到第一相机1(第二相机2)的光学中心的距离。此外，如果在相机光轴63 的方向与垂直于测量工具20的直线的方向之间的差是小的，位于与测量工具20垂直的直线 上的位置65可被视为第一相机1(第二相机2)的光学中心的位置。这是因为，来自第一相机1 (第二相机2)的实际位置的误差64难以觉察地小。
[0130] 此外，通过使用测量卷尺等而不使用距离测量装置22,可测量在中间测量点61与 测量工具20的测量点23之间的距离。
[0131] 第二实施例
[0132] 接着，给出第二实施例的说明。在第二实施例中的用于立体相机10的校准的测量 工具与在第一实施例中的测量工具不同。第一相机1和第二相机2中的任一个被用于在第二 实施例中的立体相机10的校准。虽然给出在第二实施例中通过使用第一相机1的说明，但还 可使用第二相机2。
[0133] 图14是示出在第二实施例的测量工具120、立体相机10和校准装置30之间的关系 的示例的图。根据第二实施例，使用测量工具120而不是测量工具20。因为立体相机10和校 准装置30的说明与在图1中的相同，它们被省略。测量工具120被用于测量与立体相机10的 相对位置，如同第一实施例的测量工具20的情况;然而，其配置与根据第一实施例的测量工 具20的配置不同。根据第二实施例的测量工具120包括角度测量板101和第一部件102。角度 测量板101被用于测量指示在水平方向上倾斜的测量工具120的位移的角度，以及测量指示 在垂直方向上倾斜的测量工具120的位移的角度。第一部件102被用作用于立体相机10的校 准的图表。
[0134] 参考图15A到图16,给出测量工具120的配置的详细说明。图15A是示出根据第二实 施例的角度测量板101的横截面的横截面视图。图15B是示出根据第二实施例的角度测量板 101的前表面的前视图。图16是根据第二实施例的第一部件102的前视图。
[0135] 角度测量板101包括光源103和第二部件104。光源103是具有均匀亮度分布的平面 扩散光源。具体地，不管在第一部件102的表面上的位置如何，光源103发射具有均匀强度的 光(依赖于在表面上的位置的光强度的差落入预定范围内的光）。
[0136] 安装第二部件104,使其覆盖光源103,并且光源103的光通过多个孔105来发射。每 个孔105形成于与第一部件102的表面相垂直的方向上且具有预定的间距。在图15B的示例 中，形成具有直径b的圆孔105,使得它们在垂直和水平方向上以间距a对齐。此外，孔105的 布置的数量、形状和方式不限于图15B的配置并且可以是可选的。此外，第二部件104的材料 可以是可选的。第二部件104的材料例如是金属。
[0137] 角度测量板101 (第二部件104)位于第一部件102的表面的中间。此外，第一部件 102包括在角度测量板101(第二部件104)的顶部的标记111。标记111被用作用于计算在第 一部件102(测量工具120)与作为待校准目标的立体相机10(第一相机1)之间的距离的基准 点。此外，如根据第一实施例的测量工具20的表面的情况，第一部件102的表面具有一种阴 影图案，该阴影图案使其更容易检测在第二捕获的图像上的并且与在第一捕获的图像上的 点相对应的对应点。
[0138] 图17是示出从第一相机1的光学中心0〇的位置看到在第二部件104上形成的孔 106、孔107和孔108的情况的图。相对于孔106的位置，来自光学中心0〇的位置的视线呈直角 运行到第二部件104的表面；因此，位于第二部件104后面的光源103的光看起来像图18A的 形状。相对于孔107的位置，来自光学中心0〇的位置的视线倾斜地进入第二部件104的孔 107;因此，位于第二部件104后面的光源103的光看起来像图18B的形状。相对于孔108的位 置，来自光学中心〇〇的位置的视线不进入第二部件104的孔108;因此，位于第二部件104后 面的光源103的光是不可见的（图18C)。
[0139] 具体地，如果通过具有与孔的间距相比高很多的分辨率的第一相机1来捕获角度 测量板1〇1(第二部件104)的图像，则接近某点的孔的图像在所捕获的图像中是大的，在该 点中，来自第一相机1的光学中心〇〇的视线呈直角运行到第二部件104的表面。此外，随着远 离来自第一相机1的光学中心〇〇的视线呈直角运行到第二部件104的表面所在的点，孔的图 像面积减少，并且没有捕获在很大程度上远离位置处的孔的图像。
[0140] 在此，给出第二部件104的孔105的间距a的说明。将在图15B中的孔105的间距a设 定为低于立体相机1〇(第一相机1)的分辨率限制。例如，如果条件是20度的（半)视角、2m的 图像捕获距离(校准距离）和640X480的像素传感器，并且根据以下等式(5)，如果间距a大 致等于或小于2mm，则其小于像素间距。
[0141] tan(20[deg])X2000/320 ~2.3 (5)
[0142] 在间距a小于像素间距的情况中，如果通过立体相机10(第一相机1)捕获角度测量 板101(第二部件104)的图像，则捕获的图像看起来像图19A。然而，实际上，即使间距a大致 等于或小于2mm，由于像素孔径特征、成像形成光学系统的模糊，或者在彩色相机情况中的 光学LPF(低通滤波器)等的光学模糊，该间距a超过分辨率限制。因此，难以在捕获的图像中 的单体孔当中作出区分。并且获得在形式上如同将图19A的图像遮蔽掉的像图19B的单个大 的亮度山（亮度分布）。在图19B中的亮度山的顶点对应于例如在图17中的孔106的附近。此 外，在图19B中的亮度山的底部对应于例如在图17中的孔108的附近。
[0143] 图20是示出在图19B中的亮度山的底部的半径c的测量的图。假设，第二部件104的 厚度是40mm并且孔108的直径是1mm。此外，假设立体相机10(第一相机1)的（半)视角是20 度，并且像素传感器具有640X480个像素。在此，根据以下等式(6)，亮度山的底部的半径c 是大约22个像素。
[0144] c = f/40 X1 = 320/tan(20[deg])/40 ^ 22 (6)
[0145] 如上所述，考虑大的平滑的连续的亮度山，而不是图15B的单体孔105的图像；因 此，即使立体相机1〇(第一相机1)的光学中心〇0不是正好在孔105之上的位置与垂直于角度 测量板101表面的方向相对应，仍可确定指示与角度测量板101的表面相垂直的方向的亮度 峰值的位置。因此，不管立体相机1〇(第一相机1)的光学中心〇〇的位置如何，确定通过捕获 角度测量板101的图像所得到的所捕获的图像的亮度山（亮度分布)的亮度峰值的位置指示 与角度测量板101的表面相垂直的方向。
[0146] 此外，通过使用诸如高斯函数(eXp(-r2))的函数来近似整个亮度山，并且估计大 量像素值的平均分布；因此，可减小被包括在单体像素值中的随机噪声的影响，并且可准确 地估计亮度峰值的位置。
[0147] 图21是示出图像捕获表面40的亮度峰值的位置与角度测量板101的倾斜之间的关 系的图。图像捕获表面40的中间被用作原点并且以像素为单位来表示。在此，在图像捕获表 面40(捕获的图像)上的亮度峰值的位置的坐标(i P，jP)表示从立体相机10(第一相机1)的光 学中心〇〇到角度测量板101绘制的垂直线的底部的位置。因此，如果角度测量板101面对立 体相机1〇(第一相机1)，即如果到测量工具120的表面的法线平行于立体相机10(第一相机 1)的光轴，则亮度峰值的位置应该出现在捕获的图像的中间（原点）。具体地，如果亮度峰值 的位置(i P，jP)偏离捕获的图像的中间（原点），则从在捕获的图像(图像捕获表面40)上并且 指示亮度峰值的位置的坐标(i P，jP)，可以确定指示相对于面对方向倾斜的测量工具120的 水平方向上的位移的角度以及指示在垂直方向上的位移的角度。具体地，如果立体相机10 (第一相机1)的焦距（以像素为单元)是f，则针对角度测量板101的法线的方向可通过使用 (i P，jP，f)来确定。换句话说，可以确定面对角度测量板101的立体相机1〇(第一相机1)的方 向，安装该角度测量板101使其相对于面对方向倾斜。
[0148] 接着，给出如下一种方法的详细说明，该方法用于确定指示角度测量板101(测量 工具120)的位置的平面的等式。图22示出如下一种方法的图，该方法用于确定指示测量工 具120的位置的平面的等式。在使用立体相机10(第一相机1)的光学中心0〇作为原点的坐标 系统中，以下等式(7)表示指示测量工具120的平面的等式。
[0149] ax+by+cz+d = 0 (7)
[0150] 如在图21中所示，到角度测量板101的法线的方向可被表示为（iP，jP，f)。因此，如 可通过使用^乂力来确定平面的法线向量心九幻^:^^八接着力确定平面的等 式的变量d，通过使用激光测距仪等测量上述测量工具120(第一部件102)的标记111，并且 距离被定义为d。。此外，表示在捕获的图像上的标记111的位置的坐标是（i c，jc)。如果立体 相机1 〇 (第一相机1)的焦距(逐个像素地)是f，在向量（ic，jc，f)的方向上通过距离cy勺点 (^。， 2。)是表示标记111的位置的坐标。具体地，通过使用以下等式(8)，可计算表示标记 111的位置的平面上的坐标(xc^yc^z。）。
(M
[0152] 因此，通过使用以下等式(9)和以下等式（10)，可确定平面的等式的变量d。因此， 可确定表示测量工具120的平面的等式(a、b、c、d)。
[0153] axc+byc+czc+d = 0 (9)
[0154] d = ipxc-jpyc-fzc (10)
[0155] 通过使用角度测量板101的捕获的图像，可以计算指示由于角度测量板101在水平 方向上的倾斜而引起的位移的角度，以及由于在垂直方向上的倾斜而引起的位移的角度； 然而，不能确定到角度测量板101的距离。因此，在上面的说明中，使用在捕获的图像上的标 记111的位置以及到标记111的距离信息d。。否则，可以使用图22的实际测量dl等方法。此 外，如果与立体相机1〇(第一相机1)的校准的可接受的精度相比，测量工具120的位置精度 更高(并且角度精度更低），则固定的值可被用作距离信息，而没有实际测量在标记111与立 体相机10之间的距离。
[0156]接着，给出根据第二实施例的校准装置30的配置的说明，该校准装置30用于通过 使用上述方法的立体相机1〇(第一相机1)的校准。图23是示出根据第二实施例的校准装置 的配置的示例的图。根据第二实施例的校准装置30包括接收单元131、测量单元136、理想视 差计算单元137、视差计算单元138和确定单元139。
[0157]接收单元131接收由立体相机10捕获的并且包括作为对象的测量工具120的捕获 的图像（由第一相机1捕获的第一捕获的图像以及由第二相机2捕获的第二捕获的图像）。此 外，接收单元131接收上述距离信息d c(参见图22)。接收单元131向测量单元136输入第一捕 获的图像和距离信息dc。此外，接收单元131向视差计算单元138输入捕获的图像(第一捕获 的图像和第二捕获的图像）。
[0158]测量单元136接收第一捕获的图像和来自接收单元131的距离信息dc。基于第一捕 获的图像的最大亮度的位置，通过使用在图21中示出的方法，测量单元136确定与测量工具 120 (角度测量板101)的表面相垂直的方向（法线向量）。因此，测量单元136测量相对于立体 相机1 〇 (第一相机1)的面对位置的测量工具120的方向的偏差(指示由于在水平方向上的倾 斜引起的位移的角度，以及指示由于在垂直方向上的倾斜引起的位移的角度）。此外，基于 法线向量和距离信息d。，通过使用在图22中示出的方法，确定指示在第一相机坐标系统(第 一相机1的光学中心〇〇为原点的坐标系统）中的测量工具120的位置的平面的等式。测量单 元136向理想视差计算单元137输入指示平面的等式的信息。
[0159]理想视差计算单元137从测量单元136接收指示测量工具120的位置的平面的等 式。理想视差计算单元137使用在图3中示出的方法来计算指示在一种情况中的视差的理想 视差，在该情况中，捕获由等式表示的平面的图像。理想视差计算单元137向确定单元139输 入理想视差。
[0160]视差计算单元138从接收单元131接收捕获的图像(第一捕获的图像和第二捕获的 图像）。视差计算单元138使用测量工具120(第一部件102)的阴影图案等，以检测在第二捕 获的图像中的与在第一捕获的图像中的点相对应的对应点，由此计算出视差。视差计算单 元138向确定单元139输入视差。
[0161] 确定单元139从理想视差计算单元137接收理想视差，并且从视差计算单元138接 收视差。此外，确定单元139从接收单元131接收第一捕获的图像和第二捕获的图像。基于视 差和理想视差，确定单元139确定用于校正第一捕获的图像和第二捕获的图像的校准参数。 确定单元139确定例如用于校正第一捕获的图像和第二捕获的图像中的至少一个的校准参 数，使得在视差与理想视差之间的差变成零。
[0162] 图24是根据第二实施例的校准方法的总体示意性流程图。立体相机10获取所捕获 的图像(步骤S201)。具体地，第一相机1获取第一捕获的图像，以及第二相机2获取第二捕获 的图像。
[0163] 接着，校准装置30测量立体相机10与对象之间的相对位置(步骤S202)。具体地，在 之后描述的步骤S32到步骤S34,校准装置30测量在立体相机10的第一相机1的光学中心0〇 与测量工具120之间的相对位置。
[0164] 接着，校准装置30基于相对位置确定校准参数(步骤S203)。具体地，校准装置30确 定用于校正第一捕获的图像和第二捕获的图像中的至少一个的校准参数，使得通过使用测 量工具120(第一部件102)的阴影图案来检测在第二捕获的图像中的并且与在第一捕获的 图像中的点相对应的对应点而计算的视差，与指示基于在步骤S202测量的相对位置的理想 视差的理想视差相匹配。
[0165] 接着，参考流程图，给出根据第二实施例的用于校准装置30的校准方法的细节的 说明。图25是示出根据第二实施例的用于校准装置30的校准方法的示例的流程图。
[0166] 接收单元131接收包括作为对象的测量工具120的捕获图像(第一捕获的图像和第 二捕获的图像)（步骤S31)。此外，接收单元131还接收距离信息d c(步骤S32)。
[0167] 接着，测量单兀136测量出测量工具120的方向与立体相机10的面对位置的偏差 (步骤S33)。具体的，基于在第一捕获的图像中的最大亮度的位置，通过使用在图21中示出 的方法，测量单元136确定与测量工具120(角度测量板101)的表面相垂直的方向（法线向 量），借此测量出测量工具120的方向的偏差。
[0168] 接着，基于法线向量和距离信息d。，通过使用在图22中示出的方法，测量单元136 确定指示在第一相机坐标系统(第一相机1的光学中心〇〇为原点的坐标系统）中的测量工具 120的位置的平面的等式(步骤S34)。
[0169] 接着，理想视差计算单元137使用在图3中示出的方法来计算指示在一种情况中的 视差的理想视差，在该情况中，捕获由在步骤S34确定的等式来表示的平面的图像（步骤 S35)。接着，视差计算单元138使用测量工具120(第一部件102)的阴影图案等，以检测在第 二捕获的图像中的与在第一捕获的图像中的点相对应的对应点，借此计算视差(步骤S36)。
[0170] 接着，确定单元139确定用于校正第一捕获的图像和第二捕获的图像中的至少一 个的校准参数，使得在视差与理想视差之间的差变成零(步骤S37)。
[0171] 根据使用上述测量工具120和上述校准装置30的第二实施例的校准方法的整体流 程图与根据第一实施例的在图12中说明的相同；因此省略其说明。
[0172]如上所述，采用根据第二实施例的校准方法，基于第一捕获的图像的最大亮度的 位置，测量出测量工具120的方向与立体相机10的面对位置的偏差。另外，基于从第一捕获 的图像和第二捕获的图像计算的视差，以及考虑测量工具120的方向的偏差时的理想视差， 确定用于校准立体相机10的校准参数。因此，相对于在难以确保安装位置精度的车辆中安 装的立体相机10,可以容易地计算具有高精度的校准参数。此外，根据本实施例，相对于没 有安装在车辆等中的立体相机10,通过使用简单的配置可以实现具有更高精度的校准。此 外，在本实施例中，角度测量板的孔是圆孔;然而这不是限制。例如，还可使用方孔等。
[0173] 第三实施例
[0174]接着，说明第三实施例。在第三实施例中，给出使用测量工具220(角度测量板101) 的情况的说明，该测量工具220(角度测量板101)具有与根据第二实施例的测量工具120(角 度测量板101)的配置不同的配置。在第三实施例的说明中，说明与第二实施例中的点不同 的点。
[0175]图26是示出根据第三实施例的角度测量板201的横截面的横截面视图。因为角度 测量板201的前视图与在图15B中的相同，因此省略对其的说明。角度测量板201包括光源 103、光屏蔽板202、透明玻璃203和光屏蔽板204。因为光源103与在第二实施例中的相同，因 此省略对其的说明。光屏蔽板202、透明玻璃203和光屏蔽板204对应于根据第二实施例的第 二部件104。
[0176]根据第三实施例的角度测量板201使用具有在其两个表面布置不透明光屏蔽区域 (光屏蔽板202和光屏蔽板204)的透明玻璃板。设置透明玻璃板203以固定光屏蔽板202和光 屏蔽板204的位置。光屏蔽板202和光屏蔽板204之间的间隙填充有玻璃；因此，可以抵抗机 械位移并且减小由温度、随着时间的形变等导致的测量误差。透明玻璃203可以是任何透明 的对象。
[0177]根据第三实施例的角度测量板201与根据第一实施例的角度测量板101的相同之 处在于，由于在前侧和后侧的光屏蔽表面的孔，在与角度测量板201基本上相垂直的方向上 进入的光穿过并且透射通过相对的孔(例如孔208和孔209)。然而，因为光在透明玻璃203与 空气之间的边界面处折射，因此捕获的图像的亮度分布与第二实施例的不同。
[0178]图27是示出光被折射的角度的图。如已知的（斯涅尔定律(snell's law))，由于在 玻璃空气边界表面上的折射，输出透射光的方向被改变。如果具体的折射率是R，图27的角 度01和02之间的关系是以下等式（11)。
(11)
[0180]因此，如果光屏蔽板202、透明玻璃203和光屏蔽板204的总体厚度与根据第二实施 例的第二部件104的总体厚度以及孔的直径相同，并且由于玻璃的折射，可看到更远的孔 (参见图28)。因此，捕获的图像的亮度分布山的底部尺寸比在第二实施例中的更大。然而， 获得相同的特性，使得亮度峰值的位置对应于光屏蔽板204的法线方向，而不管立体相机10 (第一相机1)的光学中心〇〇的位置如何。
[0181]与根据第一实施例的第二部件104不同的是，根据第三实施例的角度测量板201允 许通过不面对的并且位于由图28的虚线指示的方向而非前面方向的孔的光透射。例如，关 于孔207,由于折射的影响，通过与孔208相对的孔209的光透射通过孔207。
[0182 ]因此，与第二实施例的情况不同的是，从角度测量板201的捕获的图像观察到亮和 暗周期性重复的莫尔条纹。因此，有可能在图像捕获区域内存在多个亮度峰值。然而，如果 先前确定立体相机10 (第一相机1)和测量工具220的安装角度的精度，通过考虑与基于安装 偏差的范围的亮度峰值位置的移动范围相对应的莫尔周期，可以避免面对孔的亮度峰值的 位置被误以为与邻近孔相对应的亮度峰值。
[0183]图29是示出在测量工具220的倾斜与亮度峰值的位置偏差之间的关系的图。如在 图29中，如果测量工具220的安装角度具有与面对方向的等于或小于±X度的角度偏差，则 亮度峰值的位置出现在与面对位置(画面的中心）的等于或小于X度的范围中。具体地，如在 图30中所示，可调节孔的间隔使得邻近孔的亮度峰值位于与亮度峰值的期望的位置偏差超 过两倍远的位置处。通过使用图31的角度巾（具体地，ftan(巾））来确定邻近孔的亮度峰值 的位置，并且角度巾具有采用光屏蔽表面的孔间距(P)、玻璃板厚度(d)和玻璃折射率(n)的 以下等式(12)的关系。
(1:2)
[0185] 根据等式（12)，应理解，可确定玻璃板厚度(d)和孔间距(p)，使得满足以下等式 (13)〇
[0186] O =arcsin(nsin(arctan(p/d))) >2X (13)
[0187] 在上述说明中，只有安装角度的精度被视为期望邻近亮度峰值的位置。然而，实际 上，通过考虑每个可想到的安装偏差(例如立体相机10的安装角度、测量工具220的平移偏 差或立体相机10的平移偏差而不是测量工具220的安装角度），有必要期望一种范围，在其 中指示面对位置的亮度峰值存在。此外，确定玻璃板厚度(d)和孔间距(p)，使得邻近孔的亮 度峰值不落入期望的亮度峰值位置的范围内；因此，可以唯一地确定在与面对立体相机10 的孔相对应的期望范围内的亮度峰值的位置。
[0188] 可以使用诸如印刷或光刻的技术，作为当形成光屏蔽板202(204)时在平板上形成 光屏蔽区域的方法。一般地，采用这些技术，与根据通过使用在具有钻孔等的厚板中形成孔 的方法而形成的第二实施例的第二部件104相比，容易形成具有小直径或窄间距的孔。根据 孔直径到板厚度的比率（以及折射率），确定亮度山的尺寸。例如，如果板厚度（光屏蔽板 202、透明玻璃203和光屏蔽板204的总体厚度)是6mm和孔直径是0.05mm，可获得与在第二实 施例的情况中的亮度分布基本上相同的亮度分布。
[0189] 如上所述，关于根据第三实施例的测量工具220,即使与根据第二实施例的角度测 量板101相比，角度测量板201是更加轻量、更小以及更薄的板，仍可以实现对根据第二实施 例的角度测量板101的等效的校准精度。
[0190]此外，为了简单地阻止光，光屏蔽板202和光屏蔽板204可安装在与玻璃的两侧上 的光屏蔽区域相同的位置处，而不安装透明玻璃203。
[0191]最后，给出根据第一实施例到第三实施例的校准装置30的硬件配置的示例的说 明。图32是根据第一实施例到第三实施例的立体相机10和校准装置30的硬件配置的示例的 图。
[0192] 根据第一实施例到第三实施例的校准装置30包括控制装置51、主存储装置52、辅 助存储装置53、显示装置54、输入装置55和通信装置56。控制装置51、主存储装置52、辅助存 储装置53、显示装置54、输入装置55和通信装置56经由总线57彼此连接。
[0193] 根据第一实施例到第三实施例的立体相机10包括图像捕获装置151、图像捕获装 置152、通信装置153、控制装置154、主存储装置155、辅助存储装置156、显示装置157和输入 装置158。图像捕获装置151、图像捕获装置152、通信装置153、控制装置154、主存储装置 155、辅助存储装置156、显示装置157和输入装置158经由总线159彼此连接。
[0194] 控制装置51 (控制装置154)是CPU。控制装置51 (控制装置154)执行从辅助存储装 置53(辅助存储装置156)被读取到主存储装置52(主存储装置155)的程序。主存储装置52 (主存储装置155)是存储器，例如ROM或RAM。辅助存储装置53(辅助存储装置156)是HDD(硬 盘驱动器）、存储卡等。显示装置54(显示装置157)显示校准装置30(立体相机10)等的状态。 输入装置55(输入装置158)从用户接收输入。校准装置30的通信装置56和立体相机10的通 信装置153经由有线或无线网络彼此通信。
[0195] 图像捕获装置151对应于第一相机1(参见图2)。图像捕获装置152对应于第二相机 2(参见图2)。
[0196] 将要通过根据第一实施例到第三实施例的立体相机10和校准装置30来执行的程 序作为计算机程序产品来提供，其以可安装和可执行文件的形式存储在由计算机可读的记 录介质中，例如⑶-R0M、存储卡、⑶-R或DVD(数字多用途磁盘）。
[0197] 此外，配置还可以是这样，将要由根据第一实施例到第三实施例的立体相机10和 校准装置30执行的程序存储在经由网络（例如互联网）连接的计算机中并且经由网络通过 被下载来提供。此外，配置还可以是这样，将要由根据第一实施例到第三实施例的立体相机 10和校准装置30执行的程序经由网络(例如互联网）来提供而不被下载。
[0198] 配置还可以是这样，提供用于由根据第一实施例到第三实施例的立体相机10和校 准装置30的程序，使其预先安装在ROM等中。
[0199] 将要通过根据第一实施例的校准装置30来执行的程序具有包括上述功能块(接收 单元31、第一相机位置计算单元32、第一相机方向计算单元33、第二相机位置计算单元34、 第二相机方向计算单元35、理想视差计算单元37、视差计算单元38和确定单元39)的模块化 配置。此外，将要通过根据第二实施例和第三实施例的校准装置30来执行的程序具有包括 上述功能块(接收单元131、测量单元136、理想视差计算单元137、视差计算单元138和确定 单元139)的模块化配置。
[0200] 此外，将要通过根据第一实施例到第三实施例的立体相机10来执行的程序具有包 括上述功能块(校正单元5和计算单元6)的模块化配置。
[0201] 关于上述功能块，在实际的硬件方面，控制装置51(控制装置154)从上述记录介质 读取程序并且执行该程序，以便于加载上述功能块到主存储装置52(主存储装置155)中。也 就是，在主存储装置52(主存储装置155)中生成上述功能块。
[0202] 此外，上述功能块中的全部或一些功能块可通过诸如1C(集成电路）的硬件来实 施，而不通过软件来实施。
[0203] 实施例提供了如下优点，即可计算用于校准立体相机的高精度校准参数。
[0204] 虽然已经关于特定实施例将本发明描述为完整和清晰的公开，所附权利要求并不 因此受限，而是被解释为体现完全落入在本文中的前述基本教导之内的可对本领域技术人 员发生的所有修改和替代。
[0205] 参考标记列表
[0206] 1 第一相机
[0207] 2 第二相机
[0208] 3 存储单元
[0209] 4 外部 I/F
[0210] 5 校正单元
[0211] 6 计算单元
[0212] 1〇立体相机
[0213] 20测量工具
[0214] 21 标记
[0215] 22距离测量装置
[0216] 23测量点
[0217] 24激光束
[0218] 30校准装置
[0219] 31接收单元
[0220] 32第一相机位置计算单元
[0221] 33第一相机方向计算单元
[0222] 34第二相机位置计算单元
[0223] 35第二相机方向计算单元
[0224] 36距离计算单元
[0225] 37理想视差计算单元
[0226] 38视差计算单元
[0227] 39确定单元
[0228] 51控制装置
[0229] 52主存储装置
[0230] 53辅助存储装置
[0231] 54显示装置
[0232] 55输入装置
[0233] 56通信装置
[0234] 57 总线
[0235] 101角度测量板
[0236] 102第一部件(图表）
[0237] 103 光源
[0238] 104第二部件(光屏蔽板）
[0239] 120测量工具
[0240] 131接收单元
[0241 ] 136测量单元
[0242] 137理想视差计算单元
[0243] 138视差计算单元
[0244] 139确定单元
[0245] 201角度测量板
[0246] 202光屏蔽板
[0247] 203透明玻璃
[0248] 204光屏蔽板
[0249] 220测量工具 [0250]引用列表
[0251] 专利文献
[0252] [专利文献1 ]日本专利No ? 4109077
【主权项】
1. 一种用于校准立体相机的校准方法，所述校准方法包括： 测量在所述立体相机与为了落入所述立体相机的图像捕获区域内而放置的对象之间 的相对位置； 获取由所述立体相机捕获的并且包括所述对象的捕获的图像；以及 基于所述相对位置和所述捕获的图像，确定用于校准所述立体相机的校准参数。2. 根据权利要求1所述的校准方法，其中所述相对位置的测量包括： 测量从所述对象到所述立体相机的距离；以及 测量所述对象的方向与所述立体相机的面对位置的偏差。3. 根据权利要求2所述的校准方法，其中到所述立体相机的距离的测量包括： 测量从在所述对象上的点到位于所述对象与所述立体相机之间的中间测量点的距离； 以及 测量从所述中间测量点到所述立体相机的距离。4. 根据权利要求2所述的校准方法，其中所述方向的偏差的测量包括： 通过使用在其中所述对象的位置为基准的对象坐标系统，测量指示所述立体相机的位 置的坐标； 将使用所述对象坐标系统的所述立体相机的坐标和使用所述对象坐标系统的所述对 象的坐标转换成使用相机坐标系统的坐标，在所述相机坐标系统中所述立体相机的光学中 心的位置是基准，以及 基于使用所述相机坐标系统的指示所述立体相机的位置的坐标、使用所述相机坐标系 统的指示所述对象的位置的坐标、以及在捕获的图像中的所述对象的图像的坐标，测量所 述立体相机的方向。5. 根据权利要求4所述的校准方法，其中通过使用所述对象坐标系统测量指示所述立 体相机的位置的坐标包括： 测量从在所述对象上设置的多个测量点到所述立体相机的距离；以及 基于多个测量的距离来测量所述立体相机的位置。6. 根据权利要求5所述的校准方法，其中所述距离的测量包括： 测量第一距离，所述第一距离是到位于所述测量点与所述立体相机的所述光学中心之 间的中间测量点的距离； 测量第二距离，所述第二距离是从所述中间测量点到所述立体相机的所述光学中心的 距离；以及 通过使用所述第一距离和所述第二距离来测量从所述测量点到所述立体相机的距离。7. 根据权利要求6所述的校准方法，其中在车辆的前风挡里面安装所述立体相机并且 在所述车辆的前风挡上设置所述中间测量点。8. -种用于通过使用测量工具来校准立体相机的校准方法，所述测量工具包括第一部 件、光源和第二部件，所述第一部件具有包括被用于校准所述立体相机的图表的表面，所述 光源安装在所述表面上并且发射具有均匀强度的光而不管在所述表面上的位置如何，并且 所述第二部件覆盖所述光源并且通过多个孔发射所述光，所述校准方法包括： 获取捕获的图像，所述捕获的图像由所述立体相机来捕获并且包括作为对象的所述测 量工具； 基于在所述捕获的图像中的最大亮度的位置来测量所述测量工具的方向与所述立体 相机的面对位置的偏差；以及 基于所述测量工具的方向的偏差和所述捕获的图像来确定用于校准所述立体相机的 校准参数。9. 根据权利要求8所述的校准方法，其中 所述确定步骤包括： 从捕获的图像计算所述图表的视差； 考虑所述测量工具的方向的偏差来计算理想视差；以及 基于所述视差和所述理想视差来确定用于校准所述立体相机的校准参数。10. -种测量工具，包括： 第一部件，其具有包括被用于校准立体相机的图表的表面； 光源，其安装在所述表面上并且发射具有均匀强度的光而不管在所述表面上的位置如 何；以及 第二部件，其覆盖所述光源并且通过多个孔发射所述光。11. 根据权利要求10所述的测量工具，其中所述第二部件是单个平板，在所述单个平板 中，在垂直于所述表面的方向上以预定间隔来形成所述多个孔。12. 根据权利要求10所述的测量工具，其中 所述第二部件是两个平板，在所述两个平板中，在垂直于所述表面的方向上以预定间 隔来形成所述多个孔，并且 所述两个平板平行于所述表面而布置，使得当从所述表面的面对方向捕获所述测量工 具时，所述多个孔位于在表面上的同等位置处。13. 根据权利要求12所述的测量工具，其中所述两个平板通过位于所述两个平板之间 的透明对象来固定。14. 根据权利要求10所述的测量工具，其中所述多个孔是圆形的，并且所述多个孔的直 径和所述多个孔的间隔的总和等于或小于用于校准在所述立体相机与所述测量工具之间 的距离的所述立体相机的分辨率限制。
【文档编号】G01C3/06GK105934648SQ201580005397
【公开日】2016年9月7日
【申请日】2015年1月28日
【发明人】青木伸, 菊池直树, 长尾景洋, 岸和田润
【申请人】株式会社理光