图像处理装置、图像处理方法、以及程序的制作方法

专利名称：图像处理装置、图像处理方法、以及程序的制作方法
技术领域：
本发明涉及图像处理装置、图像处理方法、以及程序，尤其涉及在 通过移动立体视觉方式计测车辆与物体之间的距离的情况下，能够将计 测误差设为一定值的图像处理装置、图像处理方法、以及程序。
背景技术：
以往，已开发出一种系统，其使用由安装于汽车等车辆前方或后方 的摄像头拍摄到的图像，检测位于汽车前方或后方的障碍物，进行报警 等。
这样的系统例如包括采用立体摄像方式的系统(例如，参照专利文
献1)和采用移动立体视觉方式的系统(例如，参照专利文献2)。该采 用立体摄像方式的系统中，在车辆的相隔一定距离的位置上设置2个摄 像头，使用由2个摄像头拍摄到的2张图像，根据三角测量的原理，检 测图像中物体的三维位置，检测是否是障碍物；该采用移动立体视觉方 式的系统中，在车辆上仅设置1个摄像头，使用由该1个摄像头在不同 时间、不同位置拍摄到的2张图像，根据三角测量的原理，检测图像中 物体的三维位置，检测是否是障碍物。
图1是表示采用移动立体视觉方式的三维计测的概念的图。 在使用了移动立体视觉方式的三维计测中，使用在预定时刻t拍摄 到的图像Pt和在从时刻t起经过预定时间间隔At之后的时刻t+At采用相 同的摄像头拍摄到的图像Pt+厶t的2张图像。
由于经过时间间隔At，设置有摄像头的车辆进行移动。从而，移动 前的图像Pt和移动后的图像Pt+At之间的光学中心(optical center)间距 离相隔B(下面称作基准长度B)，根据图像Pt上的物体Q的位置(xb yi) 和图像Pt+At上的物体Q的位置(Xu，yJ，采用与立体摄像方式相同的三
5角测量原理，能够检测物体Q的三维位置(X，Y，Z)，在此得到的Z坐标 值为车辆与物体Q之间的距离。
以往，如上所述，在釆用移动立体视觉方式来计测图像中的车辆与 物体之间的距离的情况下，将时间间隔At设为一定值，使用每隔一定的 时间间隔At取得的图像，检测出了图像中的车辆与物体之间的三维位置。
专利文献1:日本特开2006-53754号公报
专利文献2:日本特开2000-74645号公报
采用上述的移动立体视觉方式计测车辆与物体之间的距离时的距离 误差(车辆与物体之间的距离的计测误差)AZ以下述式(1)表示。 AZ--暮厶d …(1)
式(1)中，B为基准长度，Ad为视差误差，Z为待求距离，f为焦距。
艮卩，由式(1)可知，距离误差AZ根据基准长度B而改变，基准长 度B越大，距离误差AZ越小，相反，基准长度B越小，距离误差AZ 越大。
在此，作为便于理解现有问题的例子，如图2所示，考虑如下情况， 在车辆(轿车)后方设置摄像头，后退到障碍物跟前，进行停车。该情 况例如会在车库或停车场的预定位置进行停车等情况下发生。
如图2所示，后退到障碍物跟前，进行停车的情况下，作为驾驶员 的用户越接近停车目标位置，就越接近障碍物，所以通常会降低车辆速 度(慢慢开)。
因此，若对降低速度之前的速度快时相隔时间间隔At拍摄到的2张 图像之间的基准长度Bl和降低速度之后的速度慢时相隔时间间隔At拍 摄到的2张图像之间的基准长度B2进行比较，则由于基准长度B2比基 准长度Bl短，所以采用基准长度B2的2张图像计测到的车辆与物体之 间的距离的计测误差要大于采用基准长度Bl的2张图像计测到的车辆与 物体之间的距离的计测误差。
艮口，本应是越接近障碍物，车辆与物体之间的距离的计测越要求更 高精度，相对于此，使用每隔一定时间间隔At取得的图像计测车辆与物
6体之间的距离的情况下，不仅是计测精度根据因经过时间间隔At而产生 的移动距离发生偏差，通常计测精度也变差。

发明内容
本发明是鉴于这种情况而提出的，其能够在采用移动立体视觉方式 计测车辆与物体之间的距离的情况下，使计测误差恒定。
本发明的一方面的图像处理装置，该图像处理装置使用由安装于移 动车辆上的摄像装置拍摄到的图像，计测车辆与预定物体之间的距离， 其中，所述图像处理装置包括移动检测单元，其检测所述车辆从所述 摄像装置拍摄到第一图像的位置是否移动了一定量；图像取得单元，其 取得所述第一图像和第二图像，所述第二图像是通过所述移动检测单元
检测为所述车辆移动了一定量时的图像；以及计测单元，其使用由所述
图像取得单元取得的所述第一图像和第二图像，釆用移动立体视觉方式 计测车辆与所述物体之间的距离。
在本发明的一方面的图像处理装置中，检测到车辆从安装于移动车 辆上的摄像装置拍摄到第一图像的位置是否移动了一定量，取得第一图 像和通过移动检测单元检测到车辆移动了一定量时的图像、即第二图像， 使用第一图像和第二图像，采用移动立体视觉方式计测车辆与物体之间 的距离。
因此，第一图像和第二图像的拍摄位置间距离恒定，所以不受速度 变化影响，能够使障碍物计测的计测精度恒定。
所述移动检测单元、所述图像取得单元、以及所述计测单元例如由
CPU构成。
所述移动检测单元能够根据来自安装于所述车辆上的传感器的信 号，检测所述车辆是否移动了一定量，作为来自安装于所述车辆上的传 感器的信号，例如可以采用车速脉冲信号、表示车速的信号、以及表示 车辆发动机转速的信号和表示所选择的档位的档位选择信号。由此，能 够使用拍摄位置间距离恒定的第一图像和第二图像，计测车辆与物体之 间的距离，所以能够使障碍物计测的计测精度恒定。所述移动检测单元能够对由所述摄像装置拍摄到的图像进行处理， 从而检测所述车辆是否移动了一定量。所述移动检测单元能够根据过去 拍摄到的图像的图像间隔与移动量之间的关系，检测所述车辆是否移动 了一定量。并且，所述移动检测单元能够对由拍摄到的图像依次计算出 的移动量进行累计，从而检测所述车辆是否移动了一定量。
由此，能够使用拍摄位置间距离恒定的第一图像和第二图像来计测 车辆与物体之间的距离，所以能够使障碍物计测的计测精度恒定。并且, 无需来自安装于车辆上的传感器的信号，所以即使没有外部信号，也能 够检测到是否移动了一定量。
所述图像取得单元能够取得所述第二图像，所述第二图像是在通过 所述移动检测单元检测为所述车辆从拍摄到所述第一图像的位置移动了 一定量时拍摄到的图像。由此，能够取得拍摄位置间距离恒定的第一图 像和第二图像，所以能够使障碍物计测的计测精度恒定。
图像处理装置还具备存储通过所述摄像装置拍摄到的图像的图像存 储单元，
所述图像取得单元取得如下的图像作为所述第二图像在通过所述 移动检测单元检测为所述车辆从拍摄到所述第一图像的位置移动了一定 量时存储于所述图像存储单元的图像之中最新的图像。由此，能够取得 拍摄位置间距离恒定的第一图像和第二图像，所以能够使障碍物计测的
计测精度恒定。该图像存储单元例如由RAM (Random Access Memory) 等构成。
所述图像取得单元能够取得如下的图像作为所述第二图像在通过 所述移动检测单元检测为所述车辆从拍摄到所述第一图像的位置移动了 一定量之后刚刚拍摄到的图像。由此，能够取得拍摄位置间距离恒定的 第一图像和第二图像，所以能够使障碍物计测的计测精度恒定。
图像处理装置还具备存储通过所述摄像装置拍摄到的图像的图像存 储单元，
所述图像取得单元取得如下的图像作为所述第二图像在通过所述 移动检测单元检测为所述车辆从拍摄到所述第一图像的位置移动了一定量的检测时刻存储于所述图像存储单元的图像之中最新的图像，或在所 述检测时刻之后刚刚拍摄到的图像之中接近所述检测时刻的时刻拍摄到 的图像。由此，能够取得拍摄位置间距离恒定的第一图像和第二图像， 所以能够使障碍物计测的计测精度恒定。该图像存储单元例如由RAM
(Random Access Memory)等构成。
本发明的一方面的图像处理方法，该图像处理方法使用由安装于移 动车辆上的摄像装置拍摄到的图像，计测车辆与预定物体之间的距离，
其中，所述图像处理方法包括执行如下处理的步骤检测所述车辆从所 述摄像装置拍摄到第一图像的位置是否移动了一定量；取得所述第一图 像和第二图像，所述第二图像是在检测为所述车辆移动了一定量时的图 像；以及使用所取得的所述第一图像和第二图像，采用移动立体视觉处 理计测车辆与所述物体之间的距离。
在本发明的一方面的图像处理方法中，检测到车辆从摄像装置拍摄 到第一图像的位置是否移动了一定量，取得第一图像和检测到车辆移动 了一定量时的图像、即第二图像，使用第一图像和第二图像，采用移动 立体视觉方式计测车辆与物体之间的距离。
因此，第一图像和第二图像的拍摄位置间距离恒定，所以不受速度 变化的影响，能够使障碍物计测的计测精度恒定。
该步骤例如由如下通过CPU执行的步骤构成，检测车辆从摄像装置 拍摄到第一图像的位置是否移动了一定量；取得第一图像和检测到车辆 移动了一定量时的图像、即第二图像；使用所取得的第一图像和第二图 像，采用移动立体视觉方式计测车辆与物体之间的距离。
本发明的一方面的程序，该程序使计算机使用由安装于移动车辆上 的摄像装置拍摄到的图像，计测车辆与预定物体之间的距离，其中，所 述程序使计算机执行包括如下步骤的图像处理检测所述车辆从所述摄 像装置拍摄到第一图像的位置是否移动了一定量；取得所述第一图像和 第二图像，所述第二图像是检测为所述车辆移动了一定量时的图像；以 及使用所取得的所述第一图像和第二图像，采用移动立体视觉处理计测 车辆与所述物体之间的距离。在本发明的一方面的程序中，检测到车辆从摄像装置拍摄到第一图像的位置是否移动了一定量，取得第一图像检测到车辆移动了一定量时的图像、即第二图像，使用第一图像和第二图像，釆用移动立体视觉方式计测到物体的距离。
因此，第一图像和第二图像的拍摄位置间距离恒定，所以不受速度变化的影响，能够使障碍物计测的计测精度恒定。
该步骤例如由如下通过CPU执行的步骤构成，检测车辆从摄像装置拍摄到第一图像的位置是否移动了一定量；取得第一图像和检测到车辆移动了一定量时的图像、即第二图像；使用所取得的第一图像和第二图
像，采用移动立体视觉方式计测到所述物体的距离。
根据本发明的一方面，在采用移动立体视觉方式计测车辆与物体之间的距离的情况下，能够使计测误差恒定。


图1是说明移动立体视觉方式的图。
图2是说明现有课题的图。
图3是表示应用了本发明的障碍物检测系统的第一实施方式的结构例的框图。
图4是说明摄像头坐标系和路面坐标系的图。图5是说明移动检测部的处理的图。图6是说明障碍物检测处理的流程图。图7是说明障碍物检测的图。
图8是说明应用了本发明的障碍物检测系统的效果的图。图9是说明应用了本发明的障碍物检测系统的第二实施方式的结构例的框图。
图10是表示应用了本发明的障碍物检测系统的第三实施方式的结构例的框图。
图11是表示应用了本发明的障碍物检测系统的第四实施方式的结构例的框图。图12是说明本发明的障碍物检测系统中的第一图像和第二图像的选择的图。
图13是说明应用了本发明的障碍物检测系统的第五实施方式的结构例的框图。
图14是表示应用了本发明的计算机的一实施方式的结构例的框图。
符号说明
l障碍物检测系统；12移动检测部；13图像取得部；14障碍物检测部；21障碍物检测系统；22移动检测部；31障碍物检测系统；32移动检测部；41障碍物检测系统；42图像存储部；51障碍物检测系统；52
移动检测部
具体实施例方式
图3表示应用了本发明的障碍物检测系统的第一实施方式的结构例。
图3的障碍物检测系统1由摄像部11、移动检测部12、图像取得部13、障碍物检测部14、以及检测结果输出部15构成，用于检测接近本车(具备障碍物检测系统1的车辆)的障碍物。
摄像部11例如由摄像头(摄像装置)构成，按照来自图像取得部13的控制，对预定范围进行拍摄，将得到的图像提供给图像取得部13。换言之，摄像部11根据来自图像取得部13的拍摄指令进行拍摄，将得到的图像提供给图像取得部13。
在本说明书中说明的实施方式中，如图4所示，摄像头设置于本车后方，且摄像头安装成摄像头的光轴与本车的平移移动方向平行(大致平行)。
在此，以摄像头为基准的坐标系(摄像头坐标系)如下将拍摄得
到的图像的横向设为X轴，纵向设为Y轴，与图像面垂直的方向设为Z
轴。并且，以路面为基准的坐标系(路面坐标系)如下将本车平移移
动方向设为Zg轴，与Zg轴垂直且与路面垂直的方向设为Yg轴，与Zg轴和Yg轴垂直的方向设为Xg轴。
ii移动检测部12、图像取得部13、以及障碍物检测郎14例如由具备
CPU (Central Processing Unit)禾卩RAM (Random Access Memory)等的
图像处理装置构成。
移动检测部12根据本车移动时从车辆的驱动部(未图示)发送出的 车速脉冲信号，检测本车是否移动了一定量。移动检测部12在检测到本 车移动了一定量的情况下，将检测信号提供给图像取得部B。
图5是说明移动检测部12的处理的图。
如图5A所示，车轮上等间隔配置有IO个脉冲传感器，以便在车轮 每转1圈时，输出IO个脉冲。另外，配置在车轮上的脉冲传感器的个数 不限于10个，也可以是其他数量。移动检测部12在每当从脉冲传感器 获得脉冲(高电平的车速脉冲信号)供给时，将检测信号提供给图像取 得部13。在图5B所示的脉冲例中，在时刻t,、 t2、 t3、 t4、 ts的各个时刻， 从移动检测部12向图像取得部13供给检测信号。
脉冲是取决于移动量来输出的，所以检测信号彼此的时间间隔、即 时刻^到时刻t2的时间间隔、时刻t2到时刻t3的时间间隔、时刻t3到时
刻t4的时间间隔、以及时刻t4到时刻t5的时间间隔各不相同(不限于相同)。
但是，从时刻"到时刻t2的时间、时刻t2到时刻t3的时间、时刻t3
到时刻t4的时间、以及时刻t4到时刻t5的时间的任意时间段中本车移动 的移动量相同。
返回到图3，图像取得部13取得每当本车移动一定量时由摄像部11 拍摄到的图像。即，图像取得部13在从移动检测部12获得检测信号供 给时，将拍摄指令提供给摄像部ll。并且，图像取得部13取得由摄像部 11根据拍摄指令拍摄到的图像。图像取得部13每当从移动检测部12获 得检测信号供给时重复上述处理，从而将在第一定时拍摄到的第一图像 和在第二定时拍摄到的第二图像依次提供给障碍物检测部14，该第二定 时是本车从拍摄到第一图像的位置移动了预先决定的量(一定量)的定 时。另外，第二图像在图像取得部13内保持预定时间，还成为接下来提 供给障碍物检测部14时的第一图像。
12障碍物检测部14使用依次从图像取得部13供给的第一图像和第二 图像，釆用移动立体视觉方式，检测图像内的预定物体。并且，障碍物 检测部14对检测到的物体判断是否是障碍物，在判断为是障碍物的情况
下，将针对该障碍物的信息提供给检测结果输出部15。
检测结果输出部15例如由监视器等显示装置构成，输出从障碍物检 测部14供给的针对障碍物的信息。例如，检测结果输出部15将车辆与
障碍物之间的距离显示到显示装置上，或显示如下的图像在摄像部11
拍摄到的图像上标记了根据从障碍物检测部14供给的针对障碍物的信息
确定的障碍物位置的图像。
接着，参照图6的流程图，说明通过图3的障碍物检测系统1执行 的障碍物检测处理。该处理例如在本车发动机起动时开始。
首先，在步骤S1中，移动检测部12判断是否从本车的驱动部供给 了脉冲(高电平的车速脉冲信号)，进行待机，直到判断为供给了脉冲。
而且，在步骤S1中，在判断为供给了脉冲的情况下，在步骤S2中， 移动检测部12将检测信号提供给图像取得部13,图像取得部13将拍摄 指令提供给摄像部ll。此外，图像取得部13从摄像部11取得根据拍摄 指令拍摄到的图像。将在此取得的图像设为釆用移动立体视觉方式进行 比较的2张图像中的第一图像。即，图像取得部13取得与检测信号对应 地摄像到的第一图像。
在步骤S3中，移动检测部12判断是否从本车的驱动部供给了脉冲， 进行待机，直到判断为供给了脉冲。
而且，在步骤S3中，判断为供给了脉冲的情况下，在步骤S4中， 移动检测部12将检测信号提供给图像取得部13，图像取得部13将拍摄 指令提供给摄像部ll。此外，图像取得部13从摄像部11取得根据拍摄 指令拍摄到的图像。将在此取得的图像设为采用移动立体视觉方式进行 比较的2张图像中的第二图像。即，图像取得部13取得与检测信号对应 地拍摄到的第二图像。
在步骤S5中，图像取得部13将所取得的第一图像和第二图像提供 给障碍物检测部14。在步骤S6中，障碍物检测部14从供给的第一图像中提取物体的特 征点。例如，障碍物检测部14将物体的边缘或角部等点(部位)作为特 征点提取。特征点的提取方法没有特别限定，可以釆用任意提取方法。
在步骤S7中，障碍物检测部14针对供给的第二图像，检索与第一
图像中提取到的特征点对应的点、即对应点。对应点的检索方法没有特 别限定，可以采用模式匹配等任意方法。
在步骤S8中，障碍物检测部14使用在步骤S6和S7中提取到的物 体的特征点和由该对应点求出的物体的动态向量，计算摄像头之间的参 数。
摄像头之间的参数是指设置于本车上的摄像头的摄像头坐标系中的 绕x轴的旋转角度(倾角)0、绕y轴的旋转角(仰角)c[;、以及绕z轴 的旋转角(滚角)cf)，例如摄像头间参数可以采用下述方式求取。
从图像检测到的物体的动态向量和摄像头间参数可以定义为如下关系。
f XXpX0十f XYpX0— (Xp2+Yp2) X <f> —vx XXp+vy XYp=0 '…(2) 在式(2)中，f表示摄像头的焦距，其为摄像头固有的值，所以实 质上为常数。并且，Vx表示动态向量在图像坐标系中的x轴方向分量， Vy表示检测到的物体的动态向量在图像坐标系中的y轴方向分量，Xp表 示与动态向量对应的特征点在图像坐标系中的x轴方向的坐标，Yp表示 与动态向量对应的特征点在图像坐标系中的y轴方向的坐标。
式(2)中，在焦距f、动态向量的x轴方向的分量Vx和y轴方向的 分量vy、以及特征点在x轴方向的坐标Xp和y轴方向的坐标Yp是已知 的情况下，变量为倾角9、仰角4 、以及滚角c))的一元线性方程式。因此， 作为线性优化问题，通过对式(2)进行求解，能够求出倾角e、仰角cf)、 以及滚角4> 。
计算出摄像头间参数后，在步骤S9中，障碍物检测部14计算检测 到的物体的三维信息。
例如，检测到的物体为静止物体的情况下，静止物体的动态向量(光 流optical flow)可以采用下述式(3)表示。<formula>formula see original document page 15</formula>(3)
式(3)中，tx、 ty、 tz表示摄像头的x轴、y轴、z轴方向的平移，X、 Y、 Z表示摄像头坐标系中物体的X坐标值、Y坐标值、Z坐标值。
若对式(3)进行变形，使得X、 Y、 Z分别位于左边，则得到式(4) 至式(6)。
<formula>formula see original document page 15</formula>(4)
<formula>formula see original document page 15</formula>(5)
<formula>formula see original document page 15</formula>(6)
而且，物体的摄像头坐标系的位置(X,Y，Z)可以采用式(7)转换
成路面坐标系的位:
<formula>formula see original document page 15</formula>(7)
式(7)中，a、 (3、 Y表示摄像头的设置滚角、设置倾角、设置仰角， H表示摄像头从路面起的高度。
采用上述方式，能够计算检测到的静止物体的三维信息、即路面坐 标系的位置(Xg,Yg,Zg)，即使在检测到的物体移动的情况下，也能够计 算该物体的路面坐标系的位置(Xg, Yg， Zg)。因此，在步骤S9中，障碍物检测部14对从图像中检测到的全部物体求取三维信息。
接着，在步骤S10中，障碍物检测部14从检测到的物体中检测障碍
物。例如，如图7所示，障碍物检测部14将路面坐标系上2mx2m (Xg 方向xZg方向)设为检测范围，使50cmx50cm的窗口以25cm刻度在该 检测范围内移动的同时进行扫描。并且，在窗口内存在5个以上高度为 30cm以上的点时，障碍物检测部14将该物体检测为障碍物。针对作为 障碍物检测到的物体的信息被提供给检测结果输出部15。
在步骤Sll中，检测结果输出部15显示检测结果，结束处理。例如， 检测结果输出部15取得由摄像部11拍摄到的图像，显示对根据由障碍 物检测部14供给的针对障碍物的信息确定的障碍物位置进行了标记的图 像，结束处理。
在图6中，方便起见，说明了仅针对采用移动立体视觉方式计测距 离所需的最低限的1组图像(第一图像和第二图像)的处理，但实际上， 伴随脉冲的供给，摄像部11依次生成图像，因此步骤Sl至Sll的处理 部分并行重复执行。
根据图6的障碍物检测处理，如图8所示，在障碍物检测部14中依 次处理的第一图像和第二图像存在如下关系，即被拍摄到时的位置间距 离始终为一定量的距离。因此，式(1)中的基准长度B不变，所以距离 误差AZ (车辆与物体之间的距离的计测误差)恒定。即，不受速度变化 影响，能够始终得到恒定的计测精度。
因此，对于参照图2说明的、后退到障碍物跟前、进行停车的情况 下，用户即使在越接近停止目标位置越降低车辆速度来进行驾驶的情况 下，也能够使计测障碍物的计测精度恒定，能够进行维持了设计上所设 定的计测精度的障碍物检测。
接着，对使用车速脉冲信号以外的信号来使第一和第二图像间的距 离始终一定的、障碍物检测系统的其他实施方式进行说明。
图9是表示作为应用了本发明的障碍物检测系统的第二实施方式的 障碍物检测系统21的结构例的框图。
另外，在图9以及后述的其他图中，对于与图3的障碍物检测系统l对应的部分，赋予相同符号，并适当省略其说明。
图9的障碍物检测系统21中，替代移动检测部12，设置移动检测 部22，除此之外，结构与障碍物检测系统1相同。
向移动检测部22供给表示本车当前车速的信号、即车速信号。移动 检测部22内置有进行计时的定时器，通过对本车的车速乘以时间(车速 x时间)，在达到从预定时刻的位置移动了一定量的定时的时刻，将检测 信号提供给图像取得部13。移动检测部22以先前(刚刚)供给了检测信 号的位置为基准，在移动了一定量的定时供给检测信号，重复此操作。
因此，即使在障碍物检测系统21中，也能够不受速度变化影响，使 障碍物计测的计测精度恒定，能够进行维持了设计上所设定的计测精度 的障碍物检测，并且在障碍物检测系统21中，无需车速脉冲信号，因此 在未能取得车速脉冲的情况下，也可以进行计测精度恒定的障碍物检测。
图10是表示作为应用了本发明的障碍物检测系统的第三实施方式 的障碍物检测系统31的结构例的框图。
图10的障碍物检测系统31中，替代移动检测部12，设置移动检测 部32，除此之外，结构与障碍物检测系统l相同。
向移动检测部32供给作为表示车辆发动机转速的信号的转速信号 和表示当前选择的档位的信号的档位选择信号。移动检测部32将可选择 的多个档位的齿轮比和车轮(轮胎)的外径存储到内部存储器中，对当 前发动机的转速乘以当前选择的档位的齿轮比(发动机转速x齿轮比)， 从而当达到从预定时刻的位置移动了一定量的定时的时刻，将检测信号 提供给图像取得部13。移动检测部32以先前(刚刚)供给了检测信号的 位置为基准，在移动了一定量的定时供给检测信号，重复此操作。
因此，即使在障碍物检测系统31中，也能够不受速度变化影响，使 障碍物计测的计测精度恒定，能够进行维持了设计上所设定的计测精度 的障碍物检测。并且，在障碍物检测系统31中，无需车速脉冲信号，因 此在未能取得车速脉冲的情况下，也可以进行计测精度恒定的障碍物检
而且，在上述的实施方式中，由移动检测部12 (22或32)供给了检测信号时，将拍摄指令提供给摄像部11，迸行拍摄，但也可以使摄像 部ll始终以预定的帧率进行拍摄，仅使用所得到的图像之中、与被供给 检测信号的定时对应的图像。
图11是应用了本发明的障碍物检测系统的其他实施方式(第四实施 方式)，表示摄像部11始终以预定帧率进行拍摄时的障碍物检测系统的 结构例。
图11的障碍物检测系统41中，在摄像部11和图像取得部13之间
新设置有图像存储部42，除此之外，结构与障碍物检测系统l相同。
摄像部11始终以预定帧率进行拍摄，将所得到的图像提供给图像存
储部42。图像存储部42将被供给的图像存储预定时间。
图像取得部13取得第二图像，所述第二图像是在从移动检测部12 供给了检测信号的定时拍摄到的图像，即在被移动检测部12检测到车辆 移动了一定量时拍摄到的图像。并且，图像取得部13将第二图像和与之 前刚刚供给的检测信号对应起来从图像存储部42取得的第一图像一起提 供给障碍物检测部14。
另外，因摄像部11正在进行拍摄的帧率的关系，不能与被供给检测 信号的定时一致地进行拍摄，不能取得检测到移动了一定量时的图像的 情况下，图像取得部13也可以在被供给检测信号的定时，将存储于图像 存储部42的图像之中的最新图像，作为第二图像取得。并且，图像取得 部13将在被供给检测信号的定时之后马上用摄像部11拍摄到的图像， 作为第二图像取得。或者，也可以在被供给检测信号的定时，将存储于 图像存储部42的图像之中的最新图像、被供给检测信号的定时之后马上 用摄像部ll拍摄到的图像之中、与被供给检测信号的定时(检测时刻) 最接近的时刻拍摄到的图像，作为第二图像取得。
在上述实施方式中，方便起见，如图12A所示，说明了每个脉冲输 出检测信号的情况，但由式(1)可知，基准长度B越大，距离误差AZ 越小，因此选取较大的基准长度B较好。
但是，如图12B所示，在每预定数量的脉冲取得图像时，可以增大 基准长度B，但输出检测信号的频率(检测分辨率)下降。于是，将以预定帧率拍摄到的图像在图像存储部42中存储了预定时
间的障碍物检测系统41中，如图12C所示，将最新取得的第二图像和与 该第二图像相隔足够大的基准长度B的过去的第一图像组合，维持第一 图像和第二图像的图像间隔(基准长度B)的状态下，与脉冲供给同步， 错开地从图像存储部42取得该组合，从而能够以较高的检测分辨率进行 减少了计测误差的障碍物计测(检测)。
另外，有时也存在移动量较少而不能确保图12C所示的足够大的基 准长度B的情况，所以可以适当组合(切换)使用图12A至12C所示的 基准长度的选取方法。
并且，作为障碍物检测系统41，说明了根据车速脉冲信号检测移动 了一定量的例子，但替代车速脉冲信号，也可以根据在第二和第三实施 方式中采用的车速信号或转速信号以及档位选择信号，检测移动了一定 量的情况。
接着，说明应用了本发明的障碍物检测系统的又一其他实施方式。 图13是表示作为应用了本发明的障碍物检测系统的第五实施方式 的障碍物检测系统51的结构例的框图。
障碍物检测系统51与图11的障碍物检测系统41的结构相比，替代 移动检测部12，而设置移动检测部52，在该移动检测部52中，替代车 速脉冲信号，从图像存储部42得到图像供给。障碍物检测系统51的其 他结构与图11的障碍物检测系统41相同。
在上述的障碍物检测系统的第一至第四实施方式中，根据车速脉冲 信号、车速信号等，从安装在车辆上的传感器发出的信号，检测出本车 移动了一定量；但在障碍物检测系统51中，由障碍物检测系统内部得到 的信息，更具体地说，根据存储于图像存储部42的图像，检测出本车移 动了一定量。因此，在障碍物检测系统51中，即使没有车速脉冲信号、 车速信号等外部信号，也能够检测到移动了一定量。
首先，简单说明由2张图像求取移动量的求取方式。 例如，检测到的物体为静止物体的情况下，静止物体的动态向量(光 流叩ticalflow)可以采用如上所述的式(3)表示，只要能够从已知三维信息的静止图像(例如，路面等)得到3个以上动态向量，
用下述式(8)，求取摄像头的x轴、y轴、z轴方向的平移tx、 XKA丁A)"A丁B ... (8) 在此，A、 X、 B表示
Xp^ f
就能够使
ty、 tz<
A-
Yp] 一Xp!—
1 f Xp!Yp，
XPn2
YPn -f-f XpnYpn
-Xpr
f
XPjPn - , YPn2
0
Xp，、
0
f
0
f
0
化
Tl 乂
X- (0 ^ 0
LX 4 4
)T，B =
VX1 Vy1
xn
另外，式(8)是得到n个动态向量时的式。
并且，使用通过式(8)求出的、摄像头的x轴、y轴、z轴方向的 平移tx、 ty、 tz，能够通过式(9)求取本车的移动量。 移动量-(sina siny+cosa sin卩 cosy)tx 十(sina sin卩 cosy-cosa sin力ty+(cos卩 cos力tz …(9)
移动检测部52对存储于图像存储部42的预定的2张图像进行处理， 从而能够检测本车移动了预先决定的量(一定量)。
例如，移动检测部52对不同时刻拍摄到的2张图像进行处理，从而 计算在拍摄到该2张图像的时间间隔内本车移动的移动量。并且，移动 检测部52根据计算出的移动量，计算移动量达到预先决定的量需要重复 几次与进行了图像处理的2张图像间隔相同的时间间隔，在经过了计算出的次数的时间间隔的时刻，将检测信号提供给图像取得部13。具体而
言，从2张图像间隔计算出的移动量为5cm，预先决定的量为30cm的情 况下，通过重复6次(后面5次)相同的图像间隔，能够求出移动量达 至!j 30cm。
另外，无需重复预定次数相同的图像间隔，只要计算在下次取得图 像的时刻为移动了预先决定的一定量的定时的图像间隔即可。该情况下， 下次的图像间隔可以采用下述方式求取，此次的移动量除以此次的图像 间隔得到商，再用预先决定的移动量除以所得到的商(下次的图像取得 间隔=预先决定的移动量+ (此次的移动量+此次的图像间隔))。
像这样，移动检测部52根据过去得到的图像的图像间隔和移动量之 间的关系，能够检测到移动了一定量。
并且，例如，也可以通过对从拍摄到的图像依次计算出的移动量进 行累计，来检测移动了一定量。即，移动检测部52对不同时刻拍摄到的 2张图像进行处理，从而计算本车在拍摄到该2张图像的时间间隔内移动 的移动量。而且，移动检测部52对从作为基准的位置(与第一图像对应 的位置)依次计算出的移动量进行累计，在移动量达到预先决定的量时， 将检测信号提供给图像取得部13亦可。具体地说，预先决定的量为30cm， 由2张图像间隔计算出的移动量沿时序为7cm、 5cm、 5cm、 4cm、...的 情况下，计算出从基准位置起的移动量分别为7cm、 12cm、 17cm、 21cm、...，因此重复相同的处理，直到得出30cm。计算移动量的2张图 像间隔可以是一定的，也可以按照越接近目标的移动量而图像间隔越小 等方式改变。
采用这种方式，在障碍物检测系统51中，通过对摄像部ll拍摄到 的图像进行处理，从而不受速度变化影响，使障碍物计测的计测精度恒 定，能够进行维持了设计上所设定的计测精度的障碍物检测。
与图像处理装置对应的、移动检测部52 (12、 22、 32)、图像取得 部13、障碍物检测部14、以及图像存储部42进行的处理可以采用硬件 执行，也可以采用软件执行。在通过软件执行该处理的情况下，构成该 软件的程序从程序记录介质安装到组装在专用硬件上的计算机、或通过
21安装各种程序而能够执行各种功能的例如通用个人计算机等中。
图12是表示通过程序来执行作为图像处理装置的移动检测部52
(12、 22、 32)、图像取得部13、障碍物检测部14、以及图像存储部42 进行的处理的计算机硬件的结构例的框图。
计算机中，CPU (Central Processing Unit) 101、 ROM (Read Only Memory) 102、 RAM (Random Access Memory) 103通过总线104相互 连接。
总线104上还连接有输入输出接口 105。输入输出接口 105上连接 有由键盘、鼠标、传声器等构成的输入部106;由显示器、扬声器等构成 的输出部107;由硬盘、非易失性存储器等构成的存储部108;由网络接
口等构成的通信部109;用于驱动磁盘、光盘、光磁盘、或半导体存储器
等可移动存储介质111的驱动器110。
在这样构成的计算机中，CPU 101例如将存储于存储部108的程序 经由输入输出接口 105和总线104，下载到RAM 103中执行，从而能够 进行上述一连串处理。
计算机(CPU 101)执行的程序记录在例如由磁盘(包括软盘)、光 盘(CD-ROM (Compact Disc-Read Only Memory)、 DVD (Digital Versatile Disc)等)、光磁盘、或半导体存储器等构成的封装介质、即可移动存储 介质(removable media) 111中，或经由局域网、因特网、数字卫星播放 这样的有线或无线传送介质提供。
而且，将可移动存储介质111装配到驱动器110上，从而将程序经 由输入输出接口 105安装到存储部108中。并且，程序还可以经由有线 或无线的传送介质，利用通信部109接收，安装到存储部108中。除此 之外，程序也可以预先安装到ROM 102或存储部108中。
另外，计算机所执行的程序可以是按照本说明书中说明的顺序依时 序进行处理的程序，或是在被调出时等的必要定时进行处理的程序。
本说明书中，流程图中记述的步骤不仅包括按照所记载的顺序依时 序进行的处理，还包括不一定是依时序，而是并列或单独执行的处理。
上述例子中，对检测本车后方障碍物的例子进行了说明，但即使在
22检测本车前方及其他汽车周边的障碍物的情况下，也同样能够采用上述
的障碍物检测处理。
本说明书中，系统表示由多个装置构成的整个装置。
本发明的实施方式不限于上述的实施方式，可以在不脱离本发明的 宗旨的范围内进行各种变更。
权利要求
1. 一种图像处理装置，该图像处理装置使用由安装于移动车辆上的摄像装置拍摄到的图像，计测车辆与预定物体之间的距离，其中，所述图像处理装置包括移动检测单元，其检测所述车辆从所述摄像装置拍摄到第一图像的位置是否移动了一定量；图像取得单元，其取得所述第一图像和第二图像，所述第二图像是通过所述移动检测单元检测为所述车辆移动了一定量时的图像；以及计测单元，其使用由所述图像取得单元取得的所述第一图像和第二图像，采用移动立体视觉方式计测车辆与所述物体之间的距离。
2. 根据权利要求1所述的图像处理装置，其中，所述移动检测单元 根据来自安装于所述车辆上的传感器的信号，检测所述车辆是否移动了 一定量。
3. 根据权利要求2所述的图像处理装置，其中，来自安装于所述车 辆上的传感器的信号是车速脉冲信号。
4. 根据权利要求2所述的图像处理装置，其中，来自安装于所述车 辆上的传感器的信号是表示车速的信号。
5. 根据权利要求2所述的图像处理装置，其中，来自安装于所述车 辆上的传感器的信号是表示所述车辆的发动机转速的信号和表示所选择 的档位的档位选择信号。
6. 根据权利要求1所述的图像处理装置，其中，所述移动检测单元 对由所述摄像装置拍摄到的图像进行处理，从而检测所述车辆是否移动 了一定量。
7. 根据权利要求6所述的图像处理装置，其中，所述移动检测单元 根据过去拍摄到的图像的图像间隔与移动量之间的关系，检测所述车辆 是否移动了一定量。
8. 根据权利要求6所述的图像处理装置，其中，所述移动检测单元 对由拍摄到的图像依次计算出的移动量进行累计，从而检测所述车辆是否移动了一定量。
9. 根据权利要求1所述的图像处理装置，其中，所述图像取得单元 取得所述第二图像，所述第二图像是在通过所述移动检测单元检测为所 述车辆从拍摄到所述第一图像的位置移动了一定量时拍摄到的图像。
10. 根据权利要求1所述的图像处理装置，其中，所述图像处理装置 还具备存储通过所述摄像装置拍摄到的图像的图像存储单元，所述图像取得单元取得如下的图像作为所述第二图像在通过所述 移动检测单元检测为所述车辆从拍摄到所述第一图像的位置移动了一定 量时存储于所述图像存储单元的图像之中最新的图像。
11. 根据权利要求l所述的图像处理装置，其中，所述图像取得单元 取得如下的图像作为所述第二图像在通过所述移动检测单元检测为所 述车辆从拍摄到所述第一图像的位置移动了一定量之后刚刚拍摄到的图
12. 根据权利要求1所述的图像处理装置，其中，所述图像处理装置 还具备存储通过所述摄像装置拍摄到的图像的图像存储单元，所述图像取得单元取得如下的图像作为所述第二图像在通过所述 移动检测单元检测为所述车辆从拍摄到所述第一图像的位置移动了一定 量的检测时刻存储于所述图像存储单元的图像之中最新的图像，或在所 述检测时刻之后刚刚拍摄到的图像之中接近所述检测时刻的时刻拍摄到 的图像。
13. —种图像处理方法，该图像处理方法使用由安装于移动车辆上的 摄像装置拍摄到的图像，计测车辆与预定物体之间的距离，其中，所述 图像处理方法包括执行如下处理的步骤检测所述车辆从所述摄像装置拍摄到第一图像的位置是否移动了一取得所述第一图像和第二图像，所述第二图像是在检测为所述车辆移动了一定量时的图像；以及使用所取得的所述第一图像和第二图像，采用移动立体视觉处理计 测车辆与所述物体之间的距离。
14.一种程序，该程序使计算机使用由安装于移动车辆上的摄像装置 拍摄到的图像，计测车辆与预定物体之间的距离，其中，所述程序使计 算机执行包括如下步骤的图像处理检测所述车辆从所述摄像装置拍摄到第一图像的位置是否移动了一取得所述第一图像和第二图像，所述第二图像是检测为所述车辆移 动了一定量时的图像；以及使用所取得的所述第一图像和第二图像，釆用移动立体视觉处理计 测车辆与所述物体之间的距离。
全文摘要
本发明提供图像处理装置、图像处理方法、以及程序，其能够在通过移动立体视觉方式计测车辆与物体之间的距离的情况下，将计测误差设定为恒定。障碍物检测系统(1)装配在移动车辆上，使用由摄像部(11)拍摄到的图像，检测位于车辆后方的障碍物。移动检测部(12)检测车辆从摄像部(11)拍摄到第一图像的位置移动了一定量。图像取得部(13)取得第一图像和通过移动检测部(12)检测到车辆移动了一定量时的图像、即第二图像，提供给障碍物检测部(14)。障碍物检测部(14)使用第一图像和第二图像，采用移动立体视觉方式计测车辆与物体之间的距离。本发明能够应用于例如安装于车辆上的障碍物检测系统中。
文档编号B60R21/00GK101497329SQ20091000594
公开日2009年8月5日 申请日期2009年1月22日 优先权日2008年1月29日
发明者小板桥宏礼 申请人:欧姆龙株式会社