摄像机校正装置以及方法和车辆的制作方法

专利名称：摄像机校正装置以及方法和车辆的制作方法
技术领域：
本发明涉及摄像机校正装置以及方法，其实现了用于把摄像机的摄影 图像投影到规定面上所必要的校正处理。此外，涉及利用它们的车辆。
背景技术：
伴随着近年的安全意识的提高，常常在汽车等车辆中搭载摄像机(车 载摄像机)。特别是支援车辆后方的安全确认的后摄像机的准备正在盛行。 该后摄像机的摄影图像在形成汽车导航的显示装置中显示，为了避免车辆 和车辆后方的障碍物的碰撞而被利用。为了避免这样的碰撞，重要的是驾驶员正确地把握车体和障碍物的距 离。可是，通常向斜下设置后摄像机，所以原封不动显示该摄影图像时， 难以正确把握距离。因此，已经提案了如下的技术即通过对摄影图像进 行坐标变换(换言之，图像变换)，生成从地面的上方观察的鸟瞰图并显 示。作为这样的坐标变换的手法，周知有使用透视投影变换的手法和平面 射影变换的手法。无论使用哪种手法，为了以高精度进行坐标变换，有必 要适当调整坐标变换用的变换参数。在透视投影变换中，根据摄像机的安装角度和摄像机的设置高度等摄 像机外部信息和摄像机的焦距(或者视场角)等摄像机内部信息，计算用 于把摄影图像投影到设定平面(路面等)上的变换参数。因此，为了以高 精度进行坐标变换，有必要正确把握摄像机外部信息。常常事先设计摄像 机的安装角度或摄像机的设置高度等，但是在这些设计值与实际在车辆中 设置时的它们之间，会产生误差，所以常常难以计测或者推测正确的变换 参数。在平面射影变换中，进行如下那样的校正作业即在摄影区域内配置 校正图案，根据拍摄的校正图案，求出表示拍摄图像的坐标(二维摄像机坐标)和变换图像的坐标(二维世界坐标)的对应关系的变换矩阵。该变换矩阵一般称作同形(尔千夕、'，:7 —)矩阵。根据平面射影变换，不需要 摄像机外部信息或摄像机内部信息，此外，根据实际拍摄的校正图案，指 定摄影图像和变换图像之间的对应坐标，所以不受摄像机的设置误差的影 响(或者，难以受到)。在使用平面射影变换时的校正作业中，通常在摄影区域全体配置校正图案，设定校正图案中包含的特征点的坐标值。图12 (a)的符号300表 示该校正作业时的摄像机的摄影图像。在与摄影图像300对应的例子中， 在摄影区域全体配置包含坐标值为已知的4以上的特征点的方格花纹的校 正图案。摄影图像300的点301 304是摄影图像300上的4个特征点。然后，求出把这4个特征点在变换图像上变换到所希望的位置的同形 (尔乇夕、、，7—)矩阵。图12 (b)的符号310表示使用该同形矩阵进行 坐标变换的变换图像(变换后的图像)。变换图像310的点301 304是变 换图像310上的4个特征点。在变换图像310上，从地面的上方观察地没 有变形地描写市松花纹。可是，在这样的手法中，有必要定义覆盖摄影区域全体的坐标系，所 以必须设置上述那样的大的校正图案。即在校正环境的配备上花费很多工 夫，校正作业全体的负担增大。通常，设置在乘用车的后方的后摄像机以 支援宽视野的安全确认的目的设置，所以常常是广角，由它拍摄的路面的 范围变为4mX5m左右。在校正作业时，有必要准备具有4mX5m左右的 尺寸的校正图案，并且有必要占有用于设置校正图案的地方。此外，在求 出同形矩阵时，有必要设定校正图案中包含的特征点的坐标值。为了提高 校正作业的效率，要求更简便的校正方法。为了简化校正环境的配备，考虑使用在摄影区域的一部分配置的校正 图案，计算变换参数(同形矩阵)的手法。即如图13 (a)的摄影图像320 所示，在摄影区域内的限制的小区域内配置4个特征点321 324,使用这 4个特征点321 324，取得变换图像。为了便于说明，拍摄与图12 (a) 的摄影图像300的市松花纹相同的风景，但是在图13 (a)所示的例子中， 连接4个特征点321 324的小的四边形被捕捉为校正图案。图13 (b)的符号330表示由该手法取得的变换图像。使用校正时指定的4个特征点321 324，计算变换参数(同形矩阵)，在校正图案的周 边，坐标变换的精度比较好，但是随着远离校正图案，设定的坐标值相对 于4个特征点321 324的误差的影响增大，坐标变换的精度变差。另外，也提出了使用在多个位置拍摄的图像，对基于平面射影变换的 变换参数进行调整的手法。可是，在该手法中，有必要在多个图像之间设 定公共的坐标(二维世界坐标)系，所以未解决在校正环境的配备上花费 工夫的问题。发明内容本发明所涉及的第一摄像机校正装置，具有参数导出机构，所述参数 导出机构求算用于把摄像机的摄影图像投影到规定面上的参数，其特征在 于，所述参数导出机构根据来自所述摄像机的校正用摄影图像，求出所述参数，所述校正用摄影图像，包含配置在所述摄像机的摄影区域内的相 互不同的位置的、形状已知的多个校正图案。具体而言，例如，所述多个校正图案，包含第一校正图案和第二校正 图案；所述参数导出机构，基于所述校正用摄影图像上的所述第一校正图案的坐标信息和关于所述第一校正图案的形状的第一已知信息求出初始 参数后，使用所述初始参数对所述校正用摄影图像上的所述校正图案进行 坐标变换，根据该坐标变换后的所述第二校正图案的形状和与该形状相关 的第二已知信息，调整所述初始参数，经过该调整，最终求出所述参数。此外，所述第一校正图案至少包含4点的特征点，所述第一已知信息 确定所述4点的特征点之间的相对位置关系。本发明的第二摄像机校正装置，具有求算用于把摄像机的摄影图像投 影到规定面上的参数的参数导出机构，其特征在于，所述参数导出机构， 根据来自所述摄像机的校正用摄影图像，求出所述参数，所述校正用摄影 图像，包含配置在所述摄像机的摄影区域内的、形状已知的校正图案，所 述参数导出机构使用基于预先设定的信息的初始参数，对所述校正用摄影 图像上的所述校正图案进行坐标变换，并根据该坐标变换后的所述校正图 案的形状和关于该形状的已知信息，调整所述初始参数，经过该调整，最 终求出所述参数。本发明的车辆设置摄像机和图像处理装置，所述图像处理装置包含上 述任何一项所记载的摄像机校正装置。本发明的第一摄像机校正方法，求出用于把摄像机的摄影图像投影到 规定面上的参数，其特征在于，具有参数导出步骤，其中根据来自所 述摄像机的校正用摄影图像求出所述参数，在所述校正用摄影图像中包含 配置在所述摄像机的摄影区域内的相互不同的位置的、形状已知的多个校 正图案。本发明的第二摄像机校正方法，求出用于把摄像机的摄影图像投影到 规定面上的参数，其特征在于，具有参数导出步骤，其中根据来自所述 摄像机的校正用摄影图像，求出所述参数，在所述校正用摄影图像中包含 有配置在所述摄像机的摄影区域内的、形状已知的校正图案，所述参数导 出步骤，具有使用基于预先设定的信息的初始参数，对所述校正用摄影图 像上的所述校正图案进行坐标变换，根据该坐标变换后的所述校正图案的 形状和关于该形状的已知信息，调整所述初始参数的参数调整步骤，并经 过该调整，最终求出所述参数。本发明的意义乃至效果根据以下表示的实施方式所涉及的说明，变得 更清楚。可是，以下的实施方式，不过是本发明的一个实施方式，本发明 乃至各构成要件的用语的意义并不局限于以下的实施方式中记载的。


图1是本发明实施方式所涉及的、从上方观察设置摄像机的车辆的图。图2是本发明实施方式所涉及的视场支援系统的构成框图。 图3是表示本发明第1实施例所涉及的变换参数校正处理的步骤的程 序流程图。图4 (a) ~ (c)是表示按照图3的变换参数校正处理，进行校正的样 子的图。图5是本发明第1实施例所涉及的、表示变换图像上的实际的校正图 案的形状和变换图像上的理想的校正图案的形状的误差的图。图6是表示本发明第2实施例所涉及的变换参数校正处理的步骤的流 程图。图7 (a)和(b)是表示摄像机相对于图1的车辆的设置误差(旋转 部分)的图。图8 (a)和(b)是用于说明本发明第2实施例的旋转校正的图。 图9是表示本发明的第3实施例所涉及的变换参数校正处理的步骤的 流程图。图IO是从侧面观察图1的车辆的图，是表示摄像机相对于该车辆的 安装状态的图。图11是从上方观察描绘校正图案的校正板的图。图12 (a)和(b)是用于说明基于以往的平面射影变换的校正手法的 问题的图。图13 (a)和(b)是用于说明基于以往的平面射影变换的校正手法的 问题的图。
具体实施方式
以下，对于本发明的实施方式参照附图，具体进行说明。在参照的各 图中，对相同的部分付与相同的符号，作为原则，省略关于相同的部分的 重复的说明。以后说明第1实施例 3，但是首先，说明各实施方式中公 共的事项或各实施方式中参照的事项。图1是从上方观察汽车即车辆100的图。在车辆100的后部，设置作 为摄像装置的摄像机1。在车辆100的后方一侧具有视野地把摄像机1设 置在车辆100上。为了避免车辆100与障碍物等碰撞而设置这样的摄像机 1。因此，通常在摄像机1的视野中也包含车辆100的一部分。在图1的 例子中，在摄像机1的视野中包含设置在车辆100的车体后端的保险杆 101。另外，作为车辆ioo，列举普通乘用车，但是车辆100也可以是普通乘用车以外(卡车)。付与符号iio的虚线扇形区域表示摄像机1的摄影区域。符号Al、 A2和A3分别是摄像机1摄影区域内，并且配置在地面上的平面状(二维 的)校正图案。校正图案A1 A3在进行摄像机1的校正时使用(后面描 述细节)。另外，在以下的说明中，地面位于水平面上，"高度"表示以地 面为基准的高度。图2表示本发明实施方式所涉及的视场支援系统的构成框图。摄像机 l进行摄影，把表示由摄影取得的图像(以下，也称作摄影图像)的信号 发送给图像处理装置2。图像处理装置2把摄影图像通过视点变换，变换 为鸟瞰像。可是，对于作为鸟瞰像的基础的摄影图像，实施透镜 变形校正等图像处理，把该图像处理后的摄影图像变换为鸟瞰像。显 示装置3把该鸟瞰像作为图像而显示。鸟瞰像是把实际的摄像机l的摄影图像变换为从虚拟摄像机的视 点(虚拟视点)观察的图像。更具体而言，鸟瞰像，是把实际的摄像 机1的摄影图像变换为在铅直方向俯视地面的图像。这种图像变换一般也 称作视点变换。通过显示这样的鸟瞰像，支援驾驶员的车辆后方的视 场，车辆后方的安全确认变得容易。作为摄像机l，例如使用应用CCD (Charge Coupled Devices)的摄像 机、使用CMOS (Complementaiy Metal Oxide Semiconductor)摄像传感器 的摄像机。图像处理装置2由集成电路形成。显示装置3由液晶显示面板 形成。也可以把汽车导航系统等中包含的显示装置作为视场支援系统的显 示装置3挪用。此外，图像处理装置2能作为汽车导航系统的一部分嵌入。 图像处理装置2和显示装置3设置在车辆100的驾驶席附近。为了支援宽视野的安全确认，摄像机l的视场角成为广角。因此，摄 像机1的摄影区域具有例如4mX5m (米)左右的尺寸。在图1的例子中， 使用3个比该摄影区域的尺寸更小的校正图案(A1 A3)。校正图案Al A3分别具有正方形形状，该正方形的一边的长度为lm 左右。校正图案A1 A3没必要一定是全部相同的图案，为了便于说明， 它们的形状为全部相同。这里的形状是也包含尺寸的概念。因此，校正图 案A1 A3全部相同。在鸟瞰像上，各校正图案的形状理想上应该成 为正方形。各校正图案是正方形形状，所以具有4个特征点。在现在的例子的时 候，4个特征点相对于形成正方形的4个顶点。图像处理装置2预先把各 校正图案的形状作为已知信息识别。根据该已知信息，确定后面描述的变 换图像上(实际空间上的)理想的校正图案(Al、 A2或A3)的4个特征 点之间的相对的位置关系。校正图案的形状意味着通过连接该校正图案中包含的特征点，形成的图形的形状。例如，具有正方形形状的3个校正板为3个校正图案Al A3，各校正板的4个角作为各校正图案的4个特征点处理。或者，例如， 准备描画校正图案Al的校正板、描画校正图案A2的校正板、描画校正 图案A3的校正板。这时，校正板自身的外形与校正图案的外形不一致。 作为例子，图11表示描画校正图案Al的正方形的校正板200的平面图。 校正板200成为白底，在校正板200的4角分别描画2个在1顶点彼此连 接的涂黑的正方形。然后，校正板200的4角的2个涂黑的正方形的连接 部分211 214相当于校正图案A1的特征点。通过恰当选择校正板自身的颜色或者校正板上描画的花纹的颜色，摄 像机l (和图像处理装置2)能明确地与路面等区别校正图案的各特征点。 可是，在本实施方式中，以下，为了便于图示和说明，忽略校正板的存在， 只着眼于校正图案。各校正图案配置为纳入摄像机1的摄影区域内，但是其它配置的方法 是自由的。即各校正图案的摄影区域内的配置位置是任意的，此外，不同 的校正图案之间的位置关系也是任意的。可是，各校正图案配置在摄影区 域内的彼此不同的位置。此外，以各校正图案不重叠的方式，彼此分离配 置校正图案。从参照图13 (a)和(b)说明的以往技术的问题的发生理由 和后面描述的说明也能理解，但是为了提高校正的精度，跨某种程度宽的 区域，分散配置3个校正图案。为了生成鸟瞰像，用于把摄影图像变换为鸟瞰像的变换参数 成为必要。图像处理装置2为例取得适当的鸟瞰像，即在鸟瞰像 上，各校正图案的形状成为正方形(或者大致正方形)地校正变换参数， 使用校正后的变换参数，把摄影图像变换为鸟瞰像。作为关于该校正 处理的实施方式，以下，列举第1 第3实施例。<第1实施例>首先，说明第1实施例。图3是表示第1实施例的变换参数校正处理 的步骤的程序流程图。步骤S1的处理由摄像机1 (和图像处理装置2)实 现，步骤S2 S5的各处理由图像处理装置2实现。首先，在步骤S1中，在上述的摄影区域内配置校正图案A1 A3的状态下，使摄像机1进行摄影，取得摄影图像。把该摄影图像称作校正用摄影图像。在图4 (a)中，符号121表示校正用摄影图像。此外，在图4 (a) (c)中，在图像上出现保险杆101的一部分。接着，在步骤S2中，进行初始校正。在初始校正中，使用校正用摄 影图像中包含的3个校正图案A1 A3中的任意一个校正图案，进行平面 射影变换，计算相当于最终应该求出的变换参数的初始值的初始参数。该 初始参数是用于取得鸟瞰像的同形矩阵的初始值。在计算初始参数 时，使用哪个校正图案是任意的，但是现在使用位于中央的校正图案A1。说明步骤S2的处理。把使用同形矩阵，对校正用摄影图像进行坐标 变换(图像变换)，取得的图像称作校正用变换图像。在步骤S2中，把校 正用摄影图像和校正用变换图像分别作为原图像和变换图像捕捉。用(x， y)表示原图像上的各点的坐标，用(X, Y)表示变换图像上的各点的坐 标。使用同形矩阵H，如以下表达式(1)那样表示原图像上的坐标(x， y)和变换图像上的坐标(X， Y)的关系。同形矩阵H是3行3列的矩阵， 用h广h9表示该矩阵的各要素。h9=l (以hfl的方式把矩阵标准化)。此 外，从表达式(1)，坐标(x， y)和坐标(X， Y)的关系也能由以下表 达式(2a)和(2b)表示。<formula>formula see original document page 11</formula>在步骤S2中，图像处理装置2对原图像进行边缘检测处理等，由此 确定原图像上的校正图案Al的4个特征点的坐标值。确定的4个坐标值 为(x,， y,)、 (x2， y2)、 (x3， y3)、 (x4， y4)。此外，按照预先识别的己知 信息，确定变换图像上的校正图案Al的4个特征点的坐标值。确定的4 个坐标值为(Xp Y,)、 (X2， Y2)、 (X3， Y3)、 (X4， Y4)。校正图案Al 的形状是正方形，所以能把坐标值(X" Y》、(X2， Y2)、 (X3， Y3)、 (X4， Y4)定义为(0， 0)、 (1， 0)、 (0， 1)、 (1， 1)。如果在原图像和变换图像之间知道4点的坐标值对应关系，则唯一决 定同形矩阵。作为根据原图像和变换图像之间的4点的坐标值对应关系， 求出同形矩阵(射影变换矩阵)的手法，使用众所周知的手法。例如，可 以使用特开2004-342067号公报中记载的手法(特别是参照该公报的段落 "0059" "0069")中记载的手法。即，以原图像上的坐标值(Xl， y,)、 (x2， y2)、 (x3, y3)、 (x4， y4)分别变换为变换图像上的坐标值(X,， Y!)、 (X2， Y2)、 (X3， Y3)、 (X4， Y4)的方式，求出同形矩阵H的要素h广hs。 实际上，以该变换的误差(特开2004-342067号公报的评价函数)最小化 的方式，求出要素h广hs。具有这里求出的要素h广h8 (h9)的同形矩阵H 是在步骤S2中应该求出的初始参数。一旦，如果求出同形矩阵H，就按照所述表达式(2a)和(2b)，能 把原图像上的任意的点变换为变换图像上的点。在图4 (b)中，符号122 表示步骤S2中的初始校正之后的变换图像(即使用初始参数变换的变换 图像)。在该变换图像122中，位于中央的校正图案Al的形状成为正方形， 但是通常，由于误差(坐标值指定误差)的原因，位于左右的校正图案 A2和A3的形状不成为正方形。在初始参数的计算后，评价变换图像上的实际的各校正图案的形状和 理想的各校正图案的形状之间的误差，通过重复计算，以该误差最小化的 方式进行变换参数的调整。具体而言，在步骤S3中，首先，计算表示变换图像上的实际的各校 正图案的形状和变换图像上的理想的各校正图案的形状之间的误差的误 差评价值D。参照图5，说明误差评价值D的计算方法。在图5中，付与符号140的正方形表示变换图像上的理想的校正图案(Al、 A2或者A3)的形状。 而付与符号150的四边形表示变换图像上的实际的校正图案(Al、 A2或 者A3)的形状。即四边形150表示使用同形矩阵，对校正用摄影图像上 的校正图案进行坐标变换，取得的坐标变换后的校正图案的形状。如上所 述，正方形140的形状对于图像处理装置2是已知的。在图5中，符号141 144表示正方形140的4个顶点，符号151 154 表示四边形150的4个顶点。按照所述表达式(2a)和(2b)，把原图像 上的校正图案的各顶点(即各特征点)的坐标(x， y)变换为变换图像上 的坐标(X， Y)，取得四边形150的各顶点151 154的坐标。该变换中 使用的同形矩阵H的要素h^h9—度在步骤S2中计算，但是在后面描述 的步骤S5中，进行更新。在步骤S3中，使用最新的要素hr4i9计算各顶 点151 154的坐标。现在，在变换图像上，使顶点141和顶点151的坐标一致。而且，例 如，将连接顶点141和顶点142的线段和连接顶点151和顶点152的线段 重叠。即考虑以顶点141和顶点151的坐标一致并且所述2个线段重叠的 方式把形状已知的正方形140配置到变换图像上。可是，在图5中，为了 便于图示，把正方形140和四边形150错开一些表示。在这时，设变换图像上的顶点142和顶点152之间的位置误差为dl， 设顶点143和顶点153之间的位置误差为d2，设顶点144和顶点154之间 的位置误差为d3。位置误差dl为变换图像上的顶点142和顶点152之间 的距离。位置误差d2和d3也同样。对于校正图案A1 A3，分别计算这样的位置误差dl d3。即对于一 个变换图像，计算9个位置误差。误差评价值D为这9个位置误差的总和。 位置误差是对比的顶点之间的距离，所以总取0或者正的值。在表达式(3) 示出了误差评价值D的计算式。在表达式(3)的右边，针对(dl+d2+d3) 的￡，意味着取得校正图案的按个数的总和。<formula>formula see original document page 13</formula>(3)在步骤S3中计算误差评价值D后，转移到步骤S4，判断误差评价值 D是否为规定的阈值以下。误差评价值D不是阈值以下时，转移到步骤 S5,变更变换参数。即调整同形矩阵的各要素h, h9 (从以前各要素进行 变更)，返回到步骤S3。通过步骤S5，回到步骤S3时，使用调整后的各 要素h, h9，进行与上述同样的处理。另一方面，误差评价值D是规定的阈值以下时，通过由步骤S3 S5 构成的重复计算，判断变换参数最优化，把最终取得的变换参数(即由调 整取得的最新的同形矩阵H)作为校正完毕的变换参数处理。在图4 (c) 中，符号123表示变换参数最优化后的变换图像(即用校正完毕变换参数 变换后的变换图像)。然后，结束图3的变换参数校正处理。实际上，例如，按照最新的同形矩阵H，生成表示原图像上的各坐标 (x， y)和变换图像上的各坐标(X， Y)的对应关系的表数据，把它存 储在未图示的存储器(查找表)中。如果使用该査找表，就能把摄影图像 变换为鸟瞰像，在该鸟瞰像中，各校正图案变为正方形。这时， 能把所述表数据捕捉为校正完毕变换参数。另外，作为在步骤S3 S5中实现的变换参数的最优化的手法，能使 用众所周知的手法。例如，可以使用多维的下降简化法(downhill simplex method)、鲍威尔法(Powell)等(例如，参照"WilliamH. Press, "Numerical recipe in C，基于C语言的数值计算的方法"，技术评论社，1993年发行")。 这些手法是众所周知的，所以省略这里的说明。此外，作为从各图像检测特征点的手法，采用使用上述的图像处理的 自动检测手法，但是也可以采用基于向操作部(未图示)的手动操作的手 动检测手法。图3的变换参数校正处理后，图2的图像处理装置2使用校正完毕变 换参数，把由摄像机一个接一个取得的摄影图像一个接一个变换为鸟瞰图 图像。这时，把各摄影图像作为原图像处理，并且把各鸟瞰像作为变 换图像处理。因此，摄影图像上的各点的坐标由(x， y)表示，鸟瞰 像上的各点的坐标由(X， Y)表示。图像处理装置2，把表示各鸟瞰 像的影像信号提供给显示装置3。显示装置3把各鸟瞰像作为动画像 显示。在第l实施例中，用平面射影变换进行校正，所以能吸收摄像机的设 置误差。此外，使用比摄影区域更小的校正图案，通过在摄影区域内自由 配置它从而准备校正环境，所以与基于以往的平面射影变换的校正手法相 比，校正环境的准备是简便的。在以往，使用小的校正图案时，存在校正 精度下降的问题，但是使用多个形状已知的校正图案，执行变换参数的调 整，取得了校正精度的提高效果。构筑本实施方式所涉及的对于车辆的驾驶员的视场支援系统时，可以 考虑，在校正环境的准备困难的销售店中，在停车场暂时配置校正图案而 执行校正的使用方法。此外，能够期待如下效果对于摄影区域，能大幅 度地减小校正图案，所以能把校正图案(或者描画了校正图案的校正板) 变为能容易搬运的尺寸，校正作业的负担减轻。<第2实施例>下面，说明实施方式2。图6是表示实施方式2的变换参数校正处理 的步骤的程序流程图。实施方式2的变换参数校正处理由步骤S1 S5的 各处理、步骤S6的处理构成。步骤S6的处理由图像处理装置2实现。步骤S1 S5的各处理与第1实施例的它们相同。因此，省略重复的 说明。可是，在实施方式2中，在步骤S4中，误差评价值D是规定的阈 值以下时，通过由步骤S3 S5构成的重复计算，判断同形矩阵H最优化， 并转移到步骤S6。可是，为了车辆100的后方确认而设置的摄像机1，通常设置为能左 右均等地没有倾斜地拍摄车辆100的后方。可是，通常，产生设置误差， 所以在摄影图像中产生倾斜。例如，产生图7 (a)所示的水平方向的旋转 设置误差、图7 (b)所示的摄像机1的围绕光轴1的旋转设置误差，它们 使得摄影图像中产生倾斜。参照表示与图4 (c)相同的变换图像123的图8 (a)。这样的设置误 差本来应该与图像的水平方向平行，使图像上的保险杆101和地面上的边 界线161倾斜。因此，在第2实施例中，在步骤S1 S5之后，以也校正 该倾斜的方式进行角度调整。具体而言，在步骤S6中，2点地设定变换图像123的保险杆101和地 面的边界点。在图8 (a)(和后面描述的图8 (b))中，符号171和172表示设定的2个边界点，边界点171和172在边界线161上。而且，在变 换图像123上，求出连接边界点171和172的直线和变换图像的水平线所 成的角度e (该角度e是锐角)。水平线是在图像的水平方向延伸的线。 另外，作为检测边界点的手法，采用使用图像处理的自动检测手法，也可 以采用基于向操作部(不图示)的手动操作的手动检测手法。如果将用于使变换图像123上的边界线161与图像的水平线平行的旋 转矩阵设为R，就使用角度9，通过以下表达式(4)，表示旋转矩阵R。图8 (b)的符号124，表示根据旋转矩阵R，使变换图像123旋转， 取得的图像。如果用(X， Y)表示基于旋转矩阵R的旋转校正前的图像 (例如变换图像123)的各点的坐标，用(X', Y')表示基于旋转矩阵R 的旋转校正后的图像(例如，图像124)的各点的坐标，以下表达式(5) 的关系就成立。如果结束步骤S6的处理，就结束图6的变换参数校正处理。在实施 方式2中，由步骤S3 S5的调整取得的最新的同形('+、壬夕'，7 ^ )矩 阵H和所述旋转矩阵R，被作为校正完毕变换参数处理。实际上，根据最新的同形矩阵H和所述旋转矩阵R，生成表示原图像 上的各坐标(x， y)和旋转校正后的图像上的各坐标(X，， Y')的对应关 系的表数据，把它存储在未图示的存储器(查找表)中。如果使用该査找 表，就能把摄影图像变换为鸟瞰像，在该鸟瞰像中，各校正图案 变为正方形，并且能校正由摄像机l的设置误差等引起的图像的倾斜。这 时，也能把所述表数据捕捉为校正完毕变换参数。图6的变换参数校正处理后，图2的图像处理装置2使用基于同形矩 阵H和旋转矩阵R的校正完毕变换参数，把由摄像机1 一个接一个取得 的摄影图像变换为鸟瞰像。这时，把各摄影图像作为原图像处理，并且把各鸟瞰像作为旋转校正后的图像处理。因此，摄影图像上的各点的坐标由(x， y)表示，鸟瞰像上的各点的坐标由(X'， Y')表示。 图像处理装置2把表示各鸟瞰像的图像信号提供给显示装置3。显示 装置3把各鸟瞰像作为动画像显示。根据本实施方式，能校正主要由摄像机1的设置误差引起的图像的倾 斜。当然，也能实现与第1实施例同样的效果。<第3实施例>下面，说明第3实施例。图9是表示第3实施例所涉及的变换参数校 正处理的步骤的程序流程图。在第3实施例所涉及的变换参数校正处理中， 用透视投影变换计算初始参数。计算初始参数之后的动作与第1实施例或 者第2实施例同样。在图9的变换参数校正处理中，作为计算初始参数之 后的动作，应用第2实施例的，但是也能应用第l实施例的(即也能省略 步骤S6)。图9的变换参数校正处理由步骤Sll和S12的各处理、步骤S3 S6 的各处理构成。步骤S3 S6的各处理与实施方式2的同样。首先，在步骤S11中，进行初始校正。在初始校正中，用透视投影变 换计算初始参数。关于透视投影变换，是众所周知的(例如，参照特开 2006-287892号公报)。如果用(xbu， ybu)表示摄影图像上的各点的坐标， 用(xau， yau)表示用透视投影变换把该摄影图像变换后的鸟瞰像上的 各点的坐标，则用于把坐标(xbu， ybu)变换为(xau， yau)的表达式由以 下表达式(6)表示。<formula>formula see original document page 17</formula>加,<formula>formula see original document page 17</formula>(6)这里，68是图IO所示的地面和摄像机1的光轴所成的角度(其中， 90°<9a<180 °)。 H是基于摄像机1的高度的量(摄像机坐标系和世界坐 标系的高度方向的平行移动量)。F是摄像机l的焦距。如上所述，鸟瞰图 图像是把实际的摄像机1的摄影图像变换为从虚拟摄像机的视点(虚拟视点)观察的图像，Ha表示该虚拟摄像机的高度。0a、 h、和Ha能捕捉为摄像机外部信息(摄像机1的外部参数)，f 能捕捉为摄像机内部信息(摄像机1的内部参数)。将透视投影变换所必要的0a、 h、 f和Ha进行总称，称作透视投影用设定信息。透视投影用设 定信息，例如在设计阶段中事先设定，并预先提供给图像处理装置2。在图9所示的例子中，根据表达式(2)，作为初始参数，求出以下表 达式(7)的同形矩阵H。从用于进行透视投影变换的表达式(6)求出同 形矩阵H的手法是众所周知的。例如，可以如第l实施例中说明的那样， 根据摄影图像和鸟瞰像之间的4点的坐标值对应关系，求出同形矩阵 H。能够从表达式(6)取得4点的坐标值对应关系。、<formula>formula see original document page 18</formula>步骤Sll的初始参数的计算，例如在根据摄像机1向车辆100的安装 状态，设定透视投影用设定信息(特别是9a和h)后，在图2的图像处理 装置2中进行。可是，如果决定e a和h的、摄像机1的设置条件被确定， 并且按照该设置条件决定安装摄像机1，则在图像处理装置2的设计阶段 中，也可以根据包含该设置条件的透视投影用设定信息，预先计算初始参 数。这在车辆制造时安装摄像机时是有效的。在步骤S11之后，在步骤S12中，在把校正图案A1 A3配置在上述的摄影区域内的状态下，使摄像机l进行摄影，取得校正用摄影图像。与 第1实施例同样，将使用在步骤Sll中求出的同形矩阵H对该校正用摄影 图像进行坐标变换所取得的图像称作校正用变换图像。如果把校正用摄影 图像和校正用变换图像分别作为原图像和变换图像捕捉，与第1实施例同 样，用(x， y)表示原图像上的各点的坐标，用(X， Y)表示变换图像上 的各点的坐标，所述表达式(1)和表达式(2a)和(2b)就成立。在步骤S11和S12中，求出初始参数，取得校正用摄影图像之后的处理与第2实施例的同样。即步骤S12之后，转移到步骤S3，计算所述误差 评价值D，执行由步骤S3 S5构成的重复计算，并以误差评价值D变为规 定的阈值以下的方式进行同形矩阵H的最优化。然后，在步骤S6中，求 出倾斜校正用的旋转矩阵R。如果步骤S6结束，就结束图9的变换参数校 正处理。在第3实施例中，由步骤S3 S5的调整取得的最新的同形矩阵H、 上述旋转矩阵R，作为校正完毕变换参数，而被处理。实际上，例如按照最新的同形矩阵H和所述旋转矩阵R，生成表示原 图像上的各坐标(x， y)和旋转校正后的图像上的各坐标(X' ， Y')的对 应关系的表数据，并把它存储在未图示的存储器(查找表)中。如果使用 该查找表，就能把摄影图像变换为鸟瞰像，在该鸟瞰像中，各校 正图案变为正方形，并且能校正摄像机1的设置误差等引起的图像的倾斜。 这时，也能把上述表数据捕捉为校正完毕变换参数。图9的变换图像校正处理后，图2的图像处理装置2使用基于同形矩 阵H和旋转矩阵R的校正完毕变换参数，把由摄像机1 一个接一个取得 的摄影图像变换为鸟瞰像。这时，把各摄影图像作为原图像处理，并 且把各鸟瞰像作为旋转校正后的图像处理。因此，摄影图像上的各点 的坐标由(x， y)表示，鸟瞰像上的各点的坐标由(X', Y')表示。 图像处理装置2把表示各鸟瞰像的影像信号提供给显示装置3。显示 装置3把各鸟瞰像作为动画像显示。通过透视投影变换，求出用于把摄影图像变换为鸟瞰像的变换参 数时，该变换参数受到摄像机l的设置误差的影响，通常在鸟瞰像上 应该观察到的正方形的校正图案，而没有呈现出到正方形。因此，如上所 述，把通过透视投影变换求出的变换参数作为变换参数的初始值(初始参 数)处理，利用形状已知的校正图案，调整变换参数。据此，能吸收摄像 机1的设置误差。此外，在第1实施例或第2实施例中，在车辆100设置摄像机1后， 有必要在图像处理装置2内计算初始参数，但是在第3实施例中，能在设 计阶段中求出该初始参数。即使不在设计阶段中求出初始参数，只通过提 供透视投影用设定信息，就能容易计算初始参数。即在第3实施例中，能 省略或者简化图像处理装置2内的初始参数的计算处理。<变形等>作为上述的实施方式所涉及的变形例或者注释事项，以下记载注释1 注释6。各注释中记载的内容只要没有矛盾，就能任意组合。 [注释1]虽然例示了各校正图案的形状是正方形的情形，但是各校正图案的形 状能为任意的形状。 [注释2]在上述的各实施方式中，在校正用摄影图像中包含3个校正图案Al A3，根据3个校正图案的各特征点，进行变换参数的调整，但是校正用摄 影图像中应该包含的校正图案的总数为2以上就可以。在如第1实施例或 2那样，用平面投影变换求出变换参数的初始值(初始参数)时，用初始 参数计算用的校正图案(例如，校正图案A1)变换参数的初始值后，使用 调整用的校正图案(例如，校正图案A2)调整它，就能取得上述的效果。 另外，在上述的第1实施例或者2中，初始参数计算用的校正图案也兼顾 作为调整用的校正图案的功能。在第3实施例中，通过透视投影变换计算初始参数，所以也能省略初 始参数计算用的校正图案。即也能够使校正用摄影图像中应该包含的校正 图案的总数为l。即使校正图案为一个，也能取得摄像机1的设置误差的 吸收效果。这时， 一个校正图案作为调整用的校正图案起作用。此外，虽然预想到调整效果的降低，但是所述调整用的校正图案的形 状也可以是三角形或者线段。即调整用的校正图案中包含的特征点的总数 为3或2。即使调整用的校正图案的形状是线段且只包含2个特征点，如 果该形状已知(变换图像上的2个特征点的相对位置关系己知)，就能根 据变换图像上的调整用的校正图案的实际的形状和理想的形状之间的误 差，把变换参数的初始值(初始参数)调整为更好的。[注释3]上述的鸟瞰像相当于把摄像机1的摄影图像投影到地面上的图 像。即在上述的实施方式中，通过把摄像机1的摄影图像投影到地面上而 生成鸟瞰像，但是应该投影摄影图像的面也能为地面以外的任意的规 定面(例如规定平面)。[注释4]虽然列举使用作为车载摄像机的摄像机1的视场支援系统，说明本发 明的实施方式，但是在车辆以外也能设置应该连接在图像处理装置2上的 摄像机。即本发明对于设置在建筑物上的监视系统能够应用。在这种监视 系统中，与上述的实施方式同样，把摄影图像投影到规定面上，把由投影 取得的图像在显示装置上显示。[注释5]图2的图像处理装置2的功能能由硬件、软件、或者硬件和软件的组 合实现。也可以把由图像处理装置2实现的功能的全部或者一部分记述为 程序，在计算机上执行该程序，从而实现该功能的全部或者一部分。[注释6]在校正处理中进行变换参数的调整，导出校正完毕变换参数的参数导 出机构内置在图像处理装置2中，具有该参数导出机构而进行摄像机的校 正处理的摄像机校正装置，也内置在图像处理装置2中。参数导出机构， 包含导出初始参数的初始参数导出机构和实施变换参数的调整的参数调 整机构。校正处理后，图像处理装置2把摄影图像投影到规定面上，从而 作为生成投影图像(在上述的实施方式中为鸟瞰像)的投影机构而起 作用。
权利要求
1、一种摄像机校正装置，具有参数导出机构，所述参数导出机构求出用于把摄像机的摄影图像投影到规定面上的参数，其特征在于，所述参数导出机构根据来自所述摄像机的校正用摄影图像，求出所述参数，所述校正用摄影图像，包含配置在所述摄像机的摄影区域内的相互不同的位置的、形状已知的多个校正图案。
2、 根据权利要求l所述的摄像机校正装置，其特征在于， 所述多个校正图案，包含第一校正图案和第二校正图案； 所述参数导出机构，基于所述校正用摄影图像上的所述第一校正图案的坐标信息和与所述第一校正图案的形状相关的第一己知信息求出初始 参数后，使用所述初始参数对所述校正用摄影图像上的所述第二校正图案 进行坐标变换，根据该坐标变换后的所述第二校正图案的形状和与该形状 相关的第二已知信息，调整所述初始参数，经过该调整，最终求出所述参 数。
3、 根据权利要求2所述的摄像机校正装置，其特征在于， 所述第一校正图案至少包含4点的特征点， 所述第一已知信息确定所述4点的特征点之间的相对位置关系。
4、 一种摄像机校正装置，具有求出用于把摄像机的摄影图像投影到 规定面上的参数的参数导出机构，其特征在于，所述参数导出机构，根据来自所述摄像机的校正用摄影图像，求出所 述参数，所述校正用摄影图像，包含配置在所述摄像机的摄影区域内的、形状 已知的校正图案，所述参数导出机构使用基于预先设定的信息的初始参数，对所述校正 用摄影图像上的所述校正图案进行坐标变换，并根据该坐标变换后的所述 校正图案的形状和关于该形状的已知信息，调整所述初始参数，经过该调 整，最终求出所述参数。
5、 一种车辆，设置摄像机和图像处理装置，其特征在于，所述图像处理装置包含权利要求1所述的摄像机校正装置。
6、 一种车辆，设置摄像机和图像处理装置， 所述图像处理装置包含权利要求4所述的摄像机校正装置。
7、 一种摄像机校正方法，求出用于把摄像机的摄影图像投影到规定 面上的参数，其特征在于，具有-参数导出步骤，根据来自所述摄像机的校正用摄影图像求出所述参数，在所述校正用摄影图像中包含配置在所述摄像机的摄影区域内的相 互不同的位置的、形状已知的多个校正图案。
8、 一种摄像机校正方法，求出用于把摄像机的摄影图像投影到规定 面上的参数，其特征在于，具有参数导出步骤，根据来自所述摄像机的校正用摄影图像，求出所述参数，在所述校正用摄影图像中包含有配置在所述摄像机的摄影区域内的、 形状已知的校正图案，所述参数导出步骤，具有使用基于预先设定的信息的初始参数，对所 述校正用摄影图像上的所述校正图案进行坐标变换，根据该坐标变换后的 所述校正图案的形状和关于该形状的已知信息，调整所述初始参数的参数 调整步骤，并经过该调整，最终求出所述参数。
全文摘要
本发明提供一种摄像机校正装置，具有求出用于把摄像机的摄影图像投影到规定面上的参数的参数导出机构，其特征在于，所述参数导出机构，根据来自所述摄像机的校正用摄影图像，求出所述参数，所述校正用摄影图像，包含配置在所述摄像机的摄影区域内的彼此不同的位置的、形状已知的多个校正图案。
文档编号G06T7/00GK101236655SQ200810008640
公开日2008年8月6日 申请日期2008年2月1日 优先权日2007年2月1日
发明者奥田浩三, 浅利圭介, 石井洋平, 蚊野浩 申请人:三洋电机株式会社