图像处理装置的制作方法

本发明涉及图像处理装置。

背景技术：

以往，公知有在使用车载照相机取得的图像中识别对象物，进行用于避免与识别出的对象物碰撞的处理的技术(参照专利文献1)。

专利文献1：日本特开2008－308024号公报

为了提高对象物的识别精度，可考虑当在多个帧中能够连续地识别出同一对象物时，最终判断为识别到对象物的处理方法。该情况下，因本车辆、周围的状况等而存在无法恰当地识别对象物的担忧。

技术实现要素：

一个实施方式提供能够恰当地识别对象物的图像处理装置。

实施方式的图像处理装置具备：图像取得单元，每隔规定时间取得使用被搭载于本车辆的照相机来拍摄上述本车辆的外部而得到的图像；对象物候补识别单元，在上述图像中识别对象物候补；对象物判定单元，以在连续的n帧(n为自然数)的上述图像中识别出同一上述对象物候补作为条件，将该对象物候补判定为对象物；参数x取得单元，取得与静止的对象物在上述图像中表观上进行移动时的移动速度相关的参数x；以及n设定单元，上述参数x的值越是增大上述移动速度，将上述n设定得越小。

附图说明

图1是表示图像处理装置的构成的框图。

图2是表示图像处理装置执行的对象物识别处理的流程图。

图3是表示图像处理装置执行的n设定处理的流程图。

图4是表示关联对象物候补的说明图。

图5是表示坐标y的说明图。

图6是表示坐标y与na的关系的图表。

图7是表示大小s的说明图。

图8是表示大小s与nb的关系的图表。

图9是表示转向角度与nc的关系的图表。

图10是表示加速度g与nd的关系的图表。

图11是表示车速与ne的关系的图表。

图12a是表示坐标y与n的关系的图表。图12b是表示大小s与n的关系的图表。图12c是表示转向角度与n的关系的图表。图12d是表示加速度g与n的关系的图表。图12e是表示车速与n的关系的图表。

具体实施方式

基于附图对本发明的实施方式进行说明。

＜第一实施方式＞

1.图像处理装置1与和其关联的构成的说明

图像处理装置1是被搭载于车辆的车载装置。以下，将搭载图像处理装置1的车辆称为本车辆。图像处理装置1为具备cpu、ram、rom等的公知的计算机。图像处理装置1根据存储于rom的程序，执行后述的处理。

图像处理装置1在功能上具备：图像取得单元3、对象物候补识别单元5、对象物判定单元7、参数x取得单元9、参数y取得单元11、n设定单元13以及信息输出单元14。各单元的功能将后述。

本车辆除了图像处理装置1之外，还具备车载照相机15、车速传感器17、偏航传感器19、g传感器21、转向角传感器23、方向指示开关25、gps27、地图信息存储部29以及车辆控制装置31。

车载照相机15为搭载于本车辆的照相机。车载照相机15每隔规定时间反复拍摄本车辆的外部，生成图像。车载照相机15的光轴相对于本车辆被固定。此外，以下将通过一次拍摄获得的图像称为一帧。

车速传感器17检测本车辆的车速。偏航传感器(yawsensor)19检测本车辆的横摆率。g传感器21检测本车辆的前后方向的加速度g。此外，加速度g与本车辆的俯仰(pitching)的大小存在相关，加速度g越大，俯仰越大。转向角传感器23检测本车辆的转向角度。方向指示开关25接受本车辆的驾驶员的操作，根据该操作进行方向指示。另外，方向指示开关25将表示方向指示的内容的信号输出至图像处理装置1。

gps27取得本车辆的位置信息。地图信息存储部29存储地图信息。车辆控制装置31从图像处理装置1接受后述的对象物信息，根据该对象物信息执行碰撞避免辅助处理(例如，自动制动、制动辅助、警报输出、自动转向操纵等)。车辆控制装置31为具备cpu、ram、rom等的公知的计算机。车辆控制装置31根据存储于rom的程序，执行上述的处理。

2.图像处理装置1执行的对象物识别处理

基于图2、图4对图像处理装置1每隔规定时间反复执行的对象物识别处理进行说明。在图2的步骤s1中，图像取得单元3使用车载照相机15取得一帧的图像。

在步骤s2中，对象物候补识别单元5针对在上述步骤s1中取得的一帧的图像执行公知的图像识别处理。

在步骤s3中，对象物候补识别单元5判断是否在上述步骤s2中识别出对象物候补。对象物候补意味着针对一帧的图像进行了图像识别处理的结果是推断为是对象物，但最终不作出是对象物这一判定。在判断为识别出对象物候补的情况下，该处理进入步骤s4，在判断为无法识别对象物候补的情况下，进入步骤s13。

在步骤s4中，对象物判定单元7进行跟踪。跟踪是在上次的帧中查找能够与在上述步骤s2中识别出的对象物候补相关联的对象物候补(以下，称为关联对象物候补)的处理。关联对象物候补是能够推断为是与在上述步骤s2中识别到的对象物候补相同的对象物候补的对象物候补。

是关联对象物候补的条件是与在上述步骤s2中识别到的对象物候补进行对比，对象物候补的位置变化与对象物候补的大小的变化分别为规定的阈值以下。

例如，如图4所示，在上次的帧中，在图像39中识别出大小s1的对象物候补35，在最新的帧中，识别出大小s2的对象物候补37。如果对象物候补35与对象物候补37的位置变化的大小d为阈值以下，并且大小s1与大小s2的变化量为阈值以下，则对象物候补35与对象物候补37处于关联对象物候补的关系。

返回到图2，在步骤s5中，对象物判定单元7判断上述步骤s4中的跟踪的结果是否是在上次的帧中存在在上述步骤s2中识别到的对象物候补的关联对象物候补。在关联对象物候补存在于上次的帧的情况下，进入步骤s6，在关联对象物候补不存在于上次的帧的情况下，进入步骤s7。

在步骤s6中，对象物判定单元7对该时刻的识别次数i加上1，来更新识别次数i的值。识别次数i表示在该时刻前连续地发现了关联对象物候补的帧的累积数。因此，若识别次数为i，则在到最新的帧为止的连续的i帧的图像中，持续发现了关联对象物候补。

在步骤s7中，对象物判定单元7将识别次数i的值设为1。

在步骤s8中，n设定单元13设定n的值。该n为接下来的步骤s9中的判定所使用的自然数。n的设定方法将后述。

在步骤s9中，对象物判定单元7判定在上述步骤s6或者s7中设定的识别次数i是否为在上述步骤s8中设定的n以上。在识别次数i为n以上的情况下，该处理进入步骤s10，在小于n的情况下，该处理进入步骤s12。

在步骤s10中，对象物判定单元7将在上述步骤s2中识别出的对象物候补判定为对象物。

在步骤s11中，信息输出单元14输出与在上述步骤s10中判定为对象物的对象物相关的对象物信息。在该对象物信息中包含有图像中的对象物的位置、图像中的对象物的大小、对象物的形状等。此外，车辆控制装置31接收对象物信息，使用该对象物信息，判断对象物的位置、对象物的方位、对象物的种类等。然后，基于该判断结果，执行碰撞避免辅助处理。

在步骤s12中，对象物判定单元7存储最新的i的值。

另一方面，当在上述步骤s3中判断为否定的情况下，进入步骤s13，对象物判定单元7将识别次数i的值更新为0，结束该处理。

3.图像处理装置1执行的n设定处理

基于图3、图5～图12e对上述步骤s8的n设定处理进行说明。在图3的步骤s21中，参数y取得单元11在上述步骤s1中取得的图像中，取得在上述步骤s2中识别出的对象物候补的上下方向上的位置。上下方向上的位置如图5所示，当在图像39中假定纵轴41时，是该纵轴41中的对象物候补37的坐标y。坐标y为正值，对象物候补37的上下方向上的位置越高，则坐标y的值越大。此外，坐标y为与从本车辆至对象物的距离相关的参数y的一个例子。从本车辆至对象物的距离越大，坐标y越大。

在步骤s22中，n设定单元13根据在上述步骤s21中取得的坐标y计算na。na为自然数。n设定单元13预先具备若输入坐标y则输出na的映射(map)，通过向该映射输入坐标y，从而计算na。坐标y与na的关系如图6所示，是坐标y的值越大则na越大的关系。

在步骤s23中，参数y取得单元11在上述步骤s1中取得的图像中，取得在上述步骤s2中识别出的对象物候补的大小。如图7所示，对象物候补的大小是图像39中的对象物候补37的大小s。此外，大小s是与从本车辆至对象物的距离相关的参数y的一个例子。从本车辆至对象物的距离越大，大小s越小。

在步骤s24中，n设定单元13根据在上述步骤s23中取得的大小s计算nb。nb为自然数。n设定单元13预先具备若输入大小s则输出nb的映射，通过向该映射输入大小s，从而计算nb。上述的映射按对象物候补的种类(例如，行人、车辆等)被区分使用。大小s与nb的关系如图8所示，是大小s的值越大则nb越小的关系。

在步骤s25中，参数x取得单元9使用转向角传感器23，取得本车辆的转向角度。此外，转向角度是与静止的对象物在图像中表观上进行移动时的移动速度相关的参数x的一个例子，且是与横摆(yawing)的大小具有相关的参数x的一个例子。转向角度越大，静止的对象物在图像中表观上进行移动时的移动速度越大。此外，静止的对象物是指相对于地球静止的对象物。

在步骤s26中，n设定单元13根据在上述步骤s25中取得的转向角度来计算nc。nc为自然数。n设定单元13预先具备若输入转向角度则输出nc的映射，通过向该映射输入转向角度，从而计算nc。转向角度与nc的关系如图9所示，是转向角度越大则nc越小的关系。

在步骤s27中，参数x取得单元9使用g传感器21，取得加速度g。此外，加速度g是与静止的对象物在图像中表观上进行移动时的移动速度相关的参数x的一个例子，且是与俯仰的大小相关的参数的一个例子。加速度g越大，俯仰越大，静止的对象物在图像中表观上进行移动时的移动速度越大。

在步骤s28中，n设定单元13根据在上述步骤s27中取得的加速度g来计算nd。nd为自然数。n设定单元13预先具备若输入加速度g则输出nd的映射，通过向该映射输入加速度g，从而计算nd。加速度g与nd的关系如图10所示，是加速度g越大则nd越小的关系。

在步骤s29中，参数x取得单元9使用车速传感器17，取得本车辆的车速。此外，车速为与静止的对象物在图像中表观上进行移动时的移动速度相关的参数x的一个例子。车速越大，静止的对象物在图像中表观上进行移动时的移动速度越大。

在步骤s30中，n设定单元13根据在上述步骤s29中取得的车速来计算ne。ne为自然数。n设定单元13预先具备若输入车速则输出ne的映射，通过向该映射输入车速，从而计算ne。车速与ne的关系如图11所示，是车速越大则ne越小的关系。

在步骤s31中，n设定单元13使用在上述步骤s22中计算出的na、在上述步骤s24中计算出的nb、在上述步骤s26中计算出的nc、在上述步骤s28中计算出的nd以及在上述步骤s30中计算出的ne来设定n。n设定单元13预先具备若输入na、nb、nc、nd以及ne则输出n的映射，向该映射输入na、nb、nc、nd以及ne，从而计算n。

n与坐标y、大小s、转向角度、加速度g以及车速的关系如下。在大小s、转向角度、加速度g以及车速恒定时，如图12a所示，坐标y越大，n越大。

另外，在坐标y、转向角度、加速度g以及车速恒定时，如图12b所示，大小s越大，n越小。

另外，在坐标y、大小s、加速度g以及车速恒定时，如图12c所示，转向角度越大，n越小。

另外，在坐标y、大小s、转向角度以及车速恒定时，如图12d所示，加速度g越大，n越小。

另外，在坐标y、大小s、转向角度以及加速度g恒定时，如图12e所示，车速越大，n越小。

4.图像处理装置1起到的效果

(1a)转向角度、加速度g以及车速是与静止的对象物在图像中表观上进行移动时的移动速度相关的参数。例如，转向角度越大，本车辆的横摆越大，静止的对象物在图像中表观上进行移动时的移动速度越大。另外，加速度g越大，本车辆的俯仰越大，静止的对象物在图像中表观上进行移动时的移动速度越大。另外，车速越大，静止的对象物在图像中表观上进行移动时的移动速度越大。

若在静止的对象物在图像中表观上进行移动时的移动速度大的状况下n也被固定，则在连续的n帧的图像中从对象物候补至识别决定需要时间，从而产生车辆控制的响应性的延迟。

转向角度、加速度g以及车速越大(对象物在图像中表观上进行移动时的移动速度越大)，图像处理装置1将n设定得越小。据此，能够缩短识别时间，使车辆控制装置的控制响应性提高。

另外，图像处理装置1在转向角度、加速度g以及车速小时，增大n，能够提高对象物的识别精度。

(1b)图像处理装置1使用转向角度、加速度g以及车速作为n的设定所使用的参数。据此，能够容易地取得参数，容易地进行n的计算。

(1c)图像处理装置1使用与横摆的大小具有相关的转向角度以及与俯仰的大小具有相关的加速度g作为n的设定所使用的参数。据此，能够更恰当地进行n的计算。

(1d)坐标y以及大小s是与从本车辆至对象物的距离相关的参数。例如，坐标y越小，从本车辆至对象物的距离越小。另外，大小s越大，从本车辆至对象物的距离越小。

在从本车辆至对象物的距离小时，要求迅速地识别对象物(提高对象物的识别中的响应性)，但若n被固定，则提高响应性较困难。

坐标y越小、大小s越大时(从本车辆至对象物的距离越小时)，图像处理装置1将n设定得越小。据此，针对接近本车辆的对象物的响应性提高。

另外，图像处理装置1在从本车辆至对象物的距离大时，增大n，从而能够提高对象物的识别精度。

＜其他的实施方式＞

以上，对本发明的实施方式进行了说明，但本发明不限定于上述实施方式，能够采用各种方式。

(1)在上述步骤s25中，也可以代替转向角度，而取得转向角速度、横摆率以及横摆率变化率的任一个参数，在上述步骤s26中，根据该参数计算nc。转向角速度等与nc的关系如下。转向角速度越大，nc越小。横摆率越大，nc越小。横摆率变化率越大，nc越小。

(2)在上述步骤s27中，也可以代替加速度g，而取得俯仰角或者俯仰角变化率，在上述步骤s28中，根据俯仰角或者俯仰角变化率计算nd。俯仰角、俯仰角变化率与nd的关系如下。俯仰角越大，nd越小。俯仰角变化率越大，nd越小。

(3)图像处理装置1也可以具备若输入坐标y、大小s、转向角度、加速度g以及车速，则输出n的映射。而且，也可以向该映射输入在上述步骤s21、23、25、27、29中取得的坐标y、大小s、转向角度、加速度g以及车速，来计算n。

(4)图像处理装置1也可以使用na、nb、nc、nd以及ne中的一部分来计算n。例如，也可以根据na与nb计算n。在该情况下，坐标y、大小s与n的关系也能够如图12a、图12b所示。

另外，也可以根据nc、nd、ne计算n。在该情况下，转向角度、加速度g、车速与n的关系也能够如图12c、图12d、图12e所示。

(5)图像处理装置1也可以根据使用了由车载照相机15取得的图像的道路形状识别、来自方向指示开关25的信号、使用了gps27以及地图信息存储部29的道路形状识别来判断本车辆的左右拐弯(与横摆相关的条件)。而且，在左右拐弯过程中的情况下，与其他的情况相比，能够将n设定得较小。据此，能够缩短识别时间，从而能够提高车辆控制装置的控制响应性。

另外，图像处理装置1也可以根据使用了由车载照相机15取得的图像的道路形状识别、使用了gps27以及地图信息存储部29的道路形状识别来判断道路的起伏(与俯仰相关的条件)。而且，道路的起伏越激烈，能够将n设定得越小。据此，能够缩短识别时间，从而能够提高车辆控制装置的控制响应性。

(6)图像处理装置1也可以具备取得气候、时刻的机构。而且，在气候、时刻为难以识别图像的条件(例如，雨天、夜间等)的情况下，能够增大n。由此，对象物的识别精度提高。

(7)图像处理装置1也可以在上述步骤s21中取得图像的左右方向上的对象物的位置x，根据该位置x计算na。位置x是与从本车辆至对象物的距离相关的参数y的一个例子。位置x越远离图像的左右方向上的中心，从本车辆至对象物的距离越增大。对于位置x与na的关系而言，位置x越远离图像的左右方向上的中心，na越大。

(8)在车载照相机15的镜头为广角透镜且形变修正前的情况下，静止的对象物在图像中表观上进行移动时的移动速度在图像的中央快，在图像的周边部慢。图像处理装置1能够根据拍摄图像的形变来设定n。在车载照相机15的镜头为广角透镜，且对象物候补处于图像的周边部的情况下，与处于中央的情况相比，能够将n设定得较大。由此，处于图像的周边部的对象物候补的识别精度提高。

(9)也可以使上述实施方式中的一个构成要素所具有的功能分散为多个构成要素、或使多个构成要素具有的功能统一为一个构成要素。另外，也可以将上述实施方式的构成的至少一部分置换成具有相同的功能的公知的构成。另外，也可以省略上述实施方式的构成的一部分。另外，也可以使上述实施方式的构成的至少一部分附加于其他的上述实施方式的构成或者与之置换。

(10)除了上述的图像处理装置之外，通过以该图像处理装置为构成要素的系统、用于使计算机作为该图像处理装置发挥功能的程序、记录了该程序的介质、图像处理方法等各种方式也能够实现本发明。

本实施方式的图像处理装置具备：图像取得单元，每隔规定时间取得使用被搭载于本车辆的照相机来拍摄本车辆的外部而得到的图像；对象物候补识别单元，在图像中识别对象物候补；对象物判定单元，以在连续的n帧(n为自然数)的图像中识别出同一对象物候补作为条件，将该对象物候补判定为对象物；参数x取得单元，取得与对象物在图像中表观上进行移动时的移动速度相关的参数x；以及n设定单元，参数x的值越是增大移动速度，将n设定得越小。

对象物在图像中表观上进行移动时的移动速度越大，本实施方式的图像处理装置将n设定得越小。由此，能够缩短突然出现的对象物的识别时间，从而能够提高车辆控制装置的控制响应性。

本实施方式的图像处理装置具备：图像取得单元，每隔规定时间取得使用被搭载于本车辆的照相机来拍摄本车辆的外部而得到的图像；对象物判定单元，以在连续的n帧(n为自然数)的图像中识别出同一对象物候补作为条件，将该对象物候补判定为对象物；参数y取得单元，取得与从本车辆至对象物的距离相关的参数y；以及n设定单元，与参数y的值对应的上述距离越小时，将n设定得越小。

从本车辆至对象物的距离越小，本实施方式的图像处理装置将n设定得越小。由此，能够缩短假定为需要紧急性高的应对的接近本车辆的对象物的识别时间，从而能够提高车辆控制装置的控制响应性。

附图标记说明

1…图像处理装置；3…图像取得单元；5…对象物候补识别单元；7…对象物判定单元；9…参数x取得单元；11…参数y取得单元；13…n设定单元；14…信息输出单元；15…车载照相机；17…车速传感器；19…偏航传感器；21…g传感器；23…转向角传感器；25…方向指示开关；27…gps；29…地图信息存储部；31…车辆控制装置；35、37…对象物候补；39…图像；41…纵轴。