专利名称：图像处理装置和方法、驾驶支持系统、车辆的制作方法
技术领域：
本发明涉及对来自摄像机的输入图像实施图像处理的图像处理装置和方法。另 外，本发明涉及使用了这些装置和方法的驾驶支持系统(driving support system)和车辆。
背景技术：
对车辆的驾驶者来说，车辆后方容易为死角。因此，提出了将监视容易为驾驶者的 死角的区域的摄像机装载在车辆上，而将从摄像机得到的图像显示到配置在驾驶席附近的 显示装置这种方法。另外，考虑到若原样显示从摄像机得到的图像，则难以把握远近感，还 开发了将从摄像机得到的图像转换为俯瞰像加以显示的技术。由于俯瞰像是从上空眺望车辆的图像，所以在显示屏幕上容易捕捉远近感， 但是俯瞰像在其特性上视野范围窄。考虑该情形，提出了在对应于车辆附近的第1图 像区域中显示俯瞰像，另一方面，在对应于车辆远方的第2图像区域中显示远方用图 像的技术(例如，参考专利文献1)。也将与第1图像区域的俯瞰像和第2图像区域的远方用图像的合成图像相当 的图像称作扩展俯瞰像。图14(a)中的图像900表示从摄像机得到的摄像机图像的例 子。图14(b)和(c)分别表示从摄像机图像900得到的俯瞰像910和扩展俯瞰像 920。摄像机图像900通过拍摄在路面上描绘的2条平行白线而得到。另外，作为被摄体的 人物位于该白线的侧面。由于车辆上设置的摄像机的俯角不是90度，所以摄像机图像900 内的2条白线不平行，但是在俯瞰像910内的2条白线与实际空间上的情形相同，为平 行。另外，图14(b)和(c)所示的斜线区域是通过摄像机没有拍摄到的区域(原先没有图 像信息的区域)。图14(a) (c)中，下方侧对应于车辆侧。在扩展俯瞰像920上设置分界线921。并且，在位于分界线921的下方侧的第 1图像区域上描绘从摄像机图像的第1部分图像得到的表示车辆附近情形的俯瞰像， 在位于分界线921的上方侧的第2图像区域上描绘从摄像机图像的第2部分图像得到的表 示车辆远方情形的远方用图像。扩展俯瞰像920相当于通过视点变换，将摄像机图像900变换为从虚拟摄像 机的视点看到的图像的情形。这时，如图15(a)所示，将第1图像区域内的俯瞰像的生 成时的虚拟摄像机的俯角固定为90度，另一方面，如图15 (b)所示，第2图像区域内的远方 用图像生成时的虚拟摄像机的俯角小于90度，且随着越向图像的上方侧，其俯角从90度以 预定的角度变化率慢慢接近实际摄像机的俯角(例如45度)。因视野范围狭窄，在俯瞰像910上几乎没有描绘出作为被摄体的人物(俯瞰 像910上仅描绘了脚部)，在扩展俯瞰像920中，与摄像机图像900相同程度地描 绘该人物。若显示这种扩展俯瞰像，则可享受俯瞰像带来的容易把握远近感的优 点，同时还可支持对车辆远方的视场。即，在大范围中可以得到好的可视性。专利文献1 日本特开2006-287892号公报
在可生成扩展俯瞰像的驾驶支持系统中，事先设置用于从摄像机图像生成扩 展俯瞰像的图像变换参数，在实际工作时，使用该图像变换参数来生成扩展俯瞰 像。图像变换参数是对定义摄像机图像的坐标面上的坐标值和定义扩展俯瞰像的坐标 面上的坐标值的对应关系进行规定的参数。为了生成扩展俯瞰像，需要实际的摄像机 的倾斜角度和设置高度等的信息，图像变换参数根据该信息来加以设置。在车辆的制造阶段中安装摄像机的情形等知道摄像机的倾斜角度和设置高度完 全固定的情况下，通过根据上述信息来事先决定适当的图像变换参数，并持续原样使用该 参数，而可一直生成适当的扩展俯瞰像。但是，在用户与车辆单独地另外准备摄像机，并与车辆的形状等匹配来将摄像机 设置在车辆上的情况下，由于摄像机的倾斜角度等没有保持为一定，所以需要对应于摄像 机的倾斜角度等的变化来适当调整图像变换参数。在使用了不恰当的图像变换参数的情况 下，在所生成的扩展俯瞰像内发生了图像的丢失。图16表示发生了该丢失的扩展俯瞰 像的例子。所谓图像的丢失是指在应表现扩展俯瞰像的整体像的扩展俯瞰像的整 体区域内包含图像丢失区域。所谓图像丢失区域是指不存在基于摄像机图像的图像数据得 到的图像数据的区域。图16上方的涂黑部分是图像丢失区域。本来应根据基于摄像机的 拍摄结果得到的摄像机图像的图像数据，生成扩展俯瞰像的所有像素的图像数据，但 是若图像变换参数不恰当，则摄像机图像内不存在扩展俯瞰像内的一部分像素的对应 像素，结果发生了图像丢失。在显示扩展俯瞰像的系统中，当然应尽量不发生图像丢失。
发明内容
因此，本发明所要解决的技术问题是提供一种可抑制通过坐标变换来自摄像机的 图像而得到的变换图像上的图像丢失的图像处理装置和图像校正方法。另外，本发明所要 解决的技术问题是还提供一种使用了该装置和方法的驾驶支持系统和车辆。本发明的图像处理装置，其特征在于，包括图像取得单元，根据拍摄车辆周边的 摄像机的拍摄结果来取得输入图像；图像变换单元，通过坐标变换，将所述输入图像变换为 变换图像，该变换图像包含从第1虚拟摄像机看到的第1要素图像和从与所述第1虚拟摄 像机不同的第2虚拟摄像机看到的第2要素图像；参数存储单元，存储用于将所述输入图像 变换为所述变换图像的图像变换参数；丢失判断单元，判断在使用所述参数存储单元中存 储的图像变换参数而从所述输入图像得到的所述变换图像的整体区域内，是否包含不存在 基于所述输入图像的图像数据得到的图像数据的图像丢失区域；和参数调整单元，在判断 为在所述变换图像的整体区域内包含所述图像丢失区域时，调整所述图像变换参数，抑制 所述图像丢失区域的发生。由此，可以生成抑制了图像的丢失的变换图像。具体上，例如，所述图像变换单元按照所述图像变换参数，将所述输入图像划分为 包含出现距所述车辆的距离较短的被摄体的第1部分图像和出现距所述车辆的距离较长 的被摄体的第2部分图像的多个部分图像，并通过将所述第1和第2部分图像分别变换为 所述第1和第2要素图像而生成所述变换图像。
例如，设置调整前后的所述图像变换参数，使得所述第2虚拟摄像机的俯角比所 述第1虚拟摄像机的俯角小，且以所述第1要素图像和所述第2要素图像的分界线为起点， 随着离开所述第1要素图像，所述第2虚拟摄像机的俯角按照规定的角度变化率减小；所述 参数调整单元，在判断为所述变换图像的整体区域内包含所述图像丢失区域时，通过沿所 述图像丢失区域的大小减小的方向来调整所述角度变化率，从而进行所述图像变换参数的 调整。如上这样，图像变换参数依赖于角度变化率，通过调整角度变化率，变换图像的视 野范围变化。因此，通过调整角度变化率，可以抑制图像丢失区域的发生。或者，例如，设置调整前后的所述图像变换参数，使得所述第2虚拟摄像机的俯角 比所述第1虚拟摄像机的俯角小；所述参数调整单元，在判断为所述变换图像的整体区域 内包含所述图像丢失区域时，沿所述图像丢失区域的大小减小的方向，使所述第1要素图 像和所述第2要素图像的分界线在所述变换图像内移动，由此来进行所述图像变换参数的 调整。由于第2虚拟摄像机的俯角比第1虚拟摄像机的俯角小，所以例如、若沿第2要 素图像的图像尺寸缩小的方向使上述分界线在变换图像内移动，则变换图像的视野范围缩 小。因此，可以通过调整分界线的位置来抑制图像丢失区域的发生。或者，例如，所述参数调整单元，在判断为所述变换图像的整体区域内包含所述图 像丢失区域时，沿所述图像丢失区域的大小减小的方向来调整所述第1和第2虚拟摄像机 的高度，由此进行所述图像变换参数的调整。由于变换图像是将输入图像变换为从虚拟摄像机看到的图像而得到的，所以例如 若使虚拟摄像机的高度降低，则可缩小变换图像的视野范围。因此，通过调整虚拟摄像机的 高度可以抑制图像丢失区域的发生。或者，例如、设置调整前后的所述图像变换参数，使得所述第2虚拟摄像机的俯角 比所述第1虚拟摄像机的俯角小，且将所述第1要素图像和所述第2要素图像的分界线作 为起点，随着离开所述第1要素图像，所述第2虚拟摄像机的俯角按照规定的角度变化率减 小，所述参数调整单元，在判断为所述变换图像的整体区域内包含所述图像丢失区域时，将 所述角度变化率、所述变换图像上的所述分界线的位置、和所述第1和第2虚拟摄像机的高 度分别作为第1、第2和第3调整对象处理，并通过沿抑制所述图像丢失区域发生的方向来 调整第1 第3的调整对象内的其中1个以上，而进行所述图像变换参数的调整，并重复执 行所述图像变换参数的调整，直到图像丢失区域不包含在所述变换图像的整体区域内。具体上，例如，通过所述图像变换参数，来规定对应于所述变换图像内的各像素的 坐标值的坐标变换前的坐标值；所述丢失判断单元在其坐标变换前的坐标值全部是所述 输入图像内的坐标值的情况下，判断为所述变换图像的整体区域内不含有所述图像丢失区 域，在所求出的所述坐标值中包含所述输入图像外的坐标值的情况下，判断为所述变换图 像的整体区域内含有所述图像丢失区域。本发明的驾驶支持系统，其特征在于，包括所述摄像机和所述图像处理装置，将基 于由所述图像处理装置的图像变换单元得到的变换图像的图像输出到显示单元。本发明的车辆，其特征在于，设有所述摄像机和所述图像处理装置。本发明的图像处理方法，其特征在于，执行下述步骤图像取得步骤，根据拍摄车辆周边的摄像机的拍摄结果来取得输入图像；图像变换步骤，通过坐标变换，将所述输入图 像变换为变换图像，该变换图像包含从第1虚拟摄像机看到的第1要素图像和从与所述第 1虚拟摄像机不同的第2虚拟摄像机看到的第2要素图像；参数存储步骤，存储用于将所述 输入图像变换为所述变换图像的图像变换参数；丢失判断步骤，判断在使用所存储的所述 图像变换参数而从所述输入图像得到的所述变换图像的整体区域内，是否包含不存在基于 所述输入图像的图像数据得到的图像数据的图像丢失区域；和参数调整步骤，在判断为在 所述变换图像的整体区域内包含所述图像丢失区域时，调整所述图像变换参数，抑制所述 图像丢失区域的发生。发明的效果根据本发明，可以提供抑制了通过对来自摄像机的图像进行坐标变换而得到的变 换图像上的图像丢失的图像处理装置和图像校正方法。另外，可以提供利用了这些装置和 方法的驾驶支持系统和车辆。本发明的意义和效果可通过下面所示的实施方式的说明来进一步明确。但是，下 面的实施方式始终是本发明的一实施方式，本发明和各构成要件的用语的含义并不限于下 面实施方式记载的内容。
图1是本发明的实施方式的驾驶支持系统的示意结构框图；图2是适用了图1的驾驶支持系统的车辆的外观侧面图；图3是表示了摄像机的俯角和地面(水平面)的关系的图；图4是表示摄像机的光学中心和定义摄像机图像的摄像机坐标面的关系的图；图5是表示摄像机坐标面和俯瞰图坐标面的关系的图；图6(a)是表示从图1的摄像机得到的摄像机图像的图，(b)是表示基于该摄像机 图像的俯瞰像的图；图7是表示由图1的图像处理装置生成的扩展俯瞰像的结构的图；图8是表示摄像机图像和扩展俯瞰像的关系的图；图9是表示从图6(a)的摄像机图像得到的扩展俯瞰像的图；图10是包含图像处理装置的功能框图的图1的驾驶支持系统的详细框图；图11是表示图1的驾驶支持系统的动作流程的流程图；图12是表示在图10的图像处理装置内定义的俯瞰图坐标面上的扩展俯瞰像 的外形的图；图13(a)是图像没有丢失的情况下的摄像机图像和扩展俯瞰像的关系图； (b)是图像有丢失的情况下的摄像机图像和扩展俯瞰像的关系图；图14(a)、(b)和(c)分别是表示现有技术的摄像机图像、俯瞰像和扩展俯瞰 像的图；图15(a)和(b)是在扩展俯瞰像的生成时假定的虚拟摄像机的图像图；图16是示例发生了图像丢失的扩展俯瞰像的图。图中1-摄像机；2-图像处理装置；3-显示装置；11-图像输入部；12-透镜变形 校正部(lens distortion correction portion) ；13-图像变换部；14-丢失判断部；15-参数调整部；16-参数存储部；17-显示用图像生成部。
具体实施例方式下面，根据本发明的实施方式，来参考附图进行具体说明。在参考的各图中，对同 一部分添加同一附图标记，并以省略与同一部分有关的重复说明作为原则。图1表示本发明的实施方式的驾驶支持系统的示意结构框图。图1的驾驶支持系 统包括摄像机1、图像处理装置2和显示装置3。摄像机1进行拍摄，并将表示通过拍摄得 到的图像的信号输出到图像处理装置2。图像处理装置2从由摄像机1得到的图像中生成 显示用图像。图像处理装置2将表示所生成的显示用图像的视频信号输出到显示装置3，显 示装置3根据所提供的视频信号将显示用图像作为视频加以显示。将通过摄像机1的拍摄得到的图像称作摄像机图像。摄像机1的输出信号本身表 示的摄像机图像受透镜变形的影响多。因此，图像处理装置2对通过摄像机1的输出信号 本身表示的摄像机图像实施透镜变形校正，并根据透镜变形校正后的摄像机图像来进行显 示用图像的生成。只要不特别指出，以下所描述的摄像机图像是指透镜变形校正后的摄像 机图像。但是，有时根据摄像机1的特性，省略透镜变形校正处理。图2是表示适用图1的驾驶支持系统的车辆100的外观侧面图。如图2所示，在 车辆100的后部向后方倾斜向下配置摄像机1。车辆100例如是汽车。水平面和摄像机1 的光轴所成的角有图2中用e表示的角度和用e，表示的角度。关于作为观察者的某摄 像机，一般将水平面和该摄像机的光轴所成的锐角称作俯角(或下视角)。角度e ’是摄 像机1的俯角。现在，将角度0作为摄像机1相对水平面的倾斜角度来捕捉。90度< e < 180度，且e + e，= 180度成立。摄像机1拍摄车辆100的周边。尤其，将摄像机1设置在车辆100上，使得车辆 100的后方侧具有视野。摄像机1的视野中包含位于车辆100的后方侧的路面。在下面的 说明中，将地面设作水平面上，“高度”表示以地面为基准的高度。本实施方式中，地面与路 面含义相同。作为摄像机1，采用使用了 CCD (Charge Coupled Devices)和 CMOS (Complementary Metal Oxide Semiconductor)图像传感器等的固体摄像元件的摄像机。图像处理装置2例 如由集成电路形成。显示装置3由液晶显示面板等形成。也可将汽车导航系统等中含有的 显示装置用作驾驶支持系统的显示装置3。图像处理装置2可作为汽车导航系统的一部分 组装。图像处理装置2和显示装置3设置在例如、车辆100的驾驶席附近。[关于通常的俯瞰像]图像处理装置2可通过使用坐标变换，将摄像机图像变换为从虚拟摄像机的视点 看到的图像而生成俯瞰像。将从摄像机图像生成俯瞰像用的坐标变换称作“俯瞰 变换”。图像处理装置2可生成如特开2006-287892号公报所描述的这种扩展俯瞰像， 但是首先说明作为其基础的俯瞰变换。参考图4和图5。将与摄像机1的光轴方向正交的面设作摄像机坐标面。图4和 图5中，用面Pbu表示摄像机坐标面。摄像机坐标面是与摄像机的固体摄像元件的摄像面平 行的摄像机图像的投影面，摄像机图像通过在摄像机坐标面上二维排列的各像素来形成。 若用0c表示摄像机1的光学中心，同时将通过光学中心0c且与摄像机1的光轴方向平行的轴设作Z轴。将Z轴和摄像机坐标面的交点作为摄像机图像的中心点。将摄像机坐标面 上的彼此正交的坐标轴设作Xbu轴和Ybu轴。Xbu轴和Ybu轴分别与摄像机图像的水平方向和 垂直方向平行。并且，用坐标值(xbu，yj表示摄像机坐标面(和摄像机图像)上的某个像 素的位置。Xbu轴和Ybu轴分别表示该像素在摄像机坐标面(和摄像机图像)上的水平位置 和垂直位置。另外，用0表示包含摄像机坐标面的二维正交坐标面的原点。摄像机图像的 垂直方向对应于距车辆100的距离方向，在摄像机坐标面上，若某个像素的Ybu轴分量(即、 yj增大，则摄像机坐标面上的该像素与车辆100和摄像机1的距离增大。将与地面平行的面设作俯瞰图坐标面。图5中，用面Pau表示俯瞰图坐标面。俯瞰 像通过在俯瞰图坐标面上二维排列的各像素形成。将俯瞰图坐标面上的正交坐标轴设 作Xau轴和Yau轴。Xau轴和Yau轴分别别与俯瞰像的水平方向和垂直方向平行。用坐标 值(xau，yj表示俯瞰图坐标面(和俯瞰像)上的某个像素的位置。xau*yau分别表 示该像素在俯瞰图坐标面(和俯瞰像)上的水平位置和垂直位置。俯瞰像的垂直 方向对应于距车辆100的距离方向，若俯瞰图坐标面上，某个像素的Yau轴分量(即、yau)增 大，则俯瞰图坐标面上的该像素与车辆100和摄像机1的距离增大。俯瞰像相当于将摄像机坐标面上定义的摄像机图像投影到俯瞰图坐标面上 的图像，可通过公知的坐标变换来实现进行该投影用的俯瞰变换。例如、在使用透视投影变 换的情况下，可以通过根据下述式⑴将摄像机图像上的各像素的坐标值(xbu，ybu)变换为 俯瞰像上的坐标值(xau，yj而生成俯瞰像。这里，f是摄像机1的焦点距离。H是 配置摄像机1的高度(设置高度)、即摄像机1的视点高度。H是配置上述虚拟摄像机的高 度，即虚拟摄像机的视点高度。式权利要求
一种图像处理装置，其特征在于，包括图像取得单元，根据拍摄车辆周边的摄像机的拍摄结果来取得输入图像；图像变换单元，通过坐标变换，将所述输入图像变换为变换图像，该变换图像包含从第1虚拟摄像机看到的第1要素图像和从与所述第1虚拟摄像机不同的第2虚拟摄像机看到的第2要素图像；参数存储单元，存储用于将所述输入图像变换为所述变换图像的图像变换参数；丢失判断单元，判断在使用所述参数存储单元中存储的图像变换参数而从所述输入图像得到的所述变换图像的整体区域内，是否包含不存在基于所述输入图像的图像数据得到的图像数据的图像丢失区域；和参数调整单元，在判断为在所述变换图像的整体区域内包含所述图像丢失区域时，调整所述图像变换参数，抑制所述图像丢失区域的发生。
2.根据权利要求1所述的图像处理装置，其特征在于所述图像变换单元按照所述图像变换参数，将所述输入图像划分为包含出现距所述车 辆的距离较短的被摄体的第1部分图像和出现距所述车辆的距离较长的被摄体的第2部分 图像的多个部分图像，并通过将所述第1和第2部分图像分别变换为所述第1和第2要素 图像，来生成所述变换图像。
3.根据权利要求2所述的图像处理装置，其特征在于设置调整前后的所述图像变换参数，使得所述第2虚拟摄像机的俯角比所述第1虚拟 摄像机的俯角小，且以所述第1要素图像和所述第2要素图像的分界线为起点，随着离开所 述第1要素图像，所述第2虚拟摄像机的俯角按照规定的角度变化率减小；所述参数调整单元，在判断为在所述变换图像的整体区域内包含所述图像丢失区域 时，通过沿所述图像丢失区域的大小减小的方向来调整所述角度变化率，从而进行所述图 像变换参数的调整。
4.根据权利要求2所述的图像处理装置，其特征在于设置调整前后的所述图像变换参数，使得所述第2虚拟摄像机的俯角比所述第1虚拟 摄像机的俯角小；所述参数调整单元，在判断为所述变换图像的整体区域内包含所述图像丢失区域时， 沿所述图像丢失区域的大小减小的方向，使所述第1要素图像和所述第2要素图像的分界 线在所述变换图像内移动，由此来进行所述图像变换参数的调整。
5.根据权利要求2所述的图像处理装置，其特征在于所述参数调整单元，在判断为所述变换图像的整体区域内包含所述图像丢失区域时， 沿所述图像丢失区域的大小减小的方向来调整所述第1和第2虚拟摄像机的高度，由此进 行所述图像变换参数的调整。
6.根据权利要求2所述的图像处理装置，其特征在于设置调整前后的所述图像变换参数，使得所述第2虚拟摄像机的俯角比所述第1虚拟 摄像机的俯角小，且以所述第1要素图像和所述第2要素图像的分界线作为起点，随着离开 所述第1要素图像，所述第2虚拟摄像机的俯角按照规定的角度变化率减小，所述参数调整单元，在判断为所述变换图像的整体区域内包含所述图像丢失区域时，将所述角度变化率、所述变换图像上的所述分界线的位置、和所述第1和第2虚拟摄像机的高度分别作为第1、第2和第3调整对象处理，并通过沿所述图像丢失区域的大小减小 的方向来调整第1 第3调整对象内的其中1个以上，而进行所述图像变换参数的调整，并 重复执行所述图像变换参数的调整，直到所述图像丢失区域不包含在所述变换图像的整体 区域内为止。
7.根据权利要求1至6的任意一项所述的图像处理装置，其特征在于通过所述图像变换参数，来规定与所述变换图像内的各像素的坐标值对应的坐标变换 前的坐标值；所述丢失判断单元在该坐标变换前的坐标值全部是所述输入图像内的坐标值的情况 下，判断为所述变换图像的整体区域内不含有所述图像丢失区域，在所求出的所述坐标值 中包含所述输入图像外的坐标值的情况下，判断为所述变换图像的整体区域内含有所述图 像丢失区域。
8.一种驾驶支持系统，其特征在于包括权利要求1至6的任意一项所述的摄像机和图像处理装置，将基于通过所述图像 处理装置的图像变换单元得到的变换图像的图像输出到显示单元上。
9.一种车辆，其特征在于设置有权利要求1至6的任意一项所述的摄像机和图像处理装置。
10.一种图像处理方法，其特征在于，执行下述步骤图像取得步骤，根据拍摄车辆周边的摄像机的拍摄结果来取得输入图像；图像变换步骤，通过坐标变换，将所述输入图像变换为变换图像，该变换图像包含从第 1虚拟摄像机看到的第1要素图像和从与所述第1虚拟摄像机不同的第2虚拟摄像机看到 的第2要素图像；参数存储步骤，存储用于将所述输入图像变换为所述变换图像的图像变换参数；丢失判断步骤，判断在使用所存储的所述图像变换参数而从所述输入图像得到的所述 变换图像的整体区域内，是否包含不存在基于所述输入图像的图像数据得到的图像数据的 图像丢失区域；和参数调整步骤，在判断为在所述变换图像的整体区域内包含所述图像丢失区域时，调 整所述图像变换参数，抑制所述图像丢失区域的发生。
全文摘要
一种驾驶支持系统，使用视点变换，从车载摄像机所得到的摄像机图像生成与第一和第二要素图像的合成图像相当的扩展俯瞰像来加以显示。第一要素图像是表示车辆附近情形的俯瞰像，第二要素图像是表示车辆远方情形的远方用图像。扩展俯瞰像是将摄像机图像变换到从虚拟摄像机的视点看到的图像而得到图像，第一要素图像生成时的虚拟摄像机的俯角是90度，第二要素图像的俯角小于90度。在根据实际的摄像机的倾斜角度等生成扩展俯瞰像时，自动判断是否发生了图像的丢失，在发生了图像的丢失的情况下，调整第一和第二要素图像的分界线的位置、虚拟摄像机的视点的高度等，使该丢失消失。
文档编号H04N7/18GK101978694SQ20098010937
公开日2011年2月16日 申请日期2009年2月3日 优先权日2008年3月19日
发明者本乡仁志 申请人:三洋电机株式会社