专利名称：车载摄像头位置变化量检测装置的制作方法
技术领域：
本发明涉及一种利用车载摄像头拍到的拍摄图像来检测该车载摄像头位置变化
量的装置。
背景技术：
作为检测车载摄像头位置变化量的方法之一，例如有人提出如下一种方法:为了修正因摄像头摇动而产生的画面的错位，在车载摄像头拍到的拍摄图像中设定错位检测区域，检测按照时间序列拍到的各拍摄图像中的错位检测区域的亮度的重心位置，根据该重心位置的变化情况来计算因摇动而产生的摄像头位置变化量(例如参照专利文献I)。专利文献1:日本发明专利公开公报特开平4-287579号由上述专利文献I记载的方法可知，在检测车载摄像头位置变化量时，在车辆行驶时，尤其是受到车辆的纵摇(纵向摇动)的影响时，利用摄像头按照时间序列拍到的各拍摄图像中的错位检测区域内的拍摄对象会有不同。而且在此时，若各拍摄图像中的错位检测区域的亮度的重心位置对应的是不同物体的拍摄部分，会出现无法精准地检测出摄像头位置变化量的问题。
发明内容
鉴于上述情况，本发明的目的在于提供如下一种车载摄像头位置变化量检测装置:其能利用车载摄像头拍到的拍摄图像来精准地检测出摄像头位置变化量。为实现上述目的，本发明所述的车载摄像头位置变化量检测装置具有:参照值求出部，对由车载摄像头所拍到的拍摄图像，将规定的测定用区域划分为多个测定单位区域，并将各测定单位区域内的像素的灰度值或色饱和度值的总和或平均值作为各测定单位区域的参照值，其中，该测定单位区域是在与实际空间中的铅垂方向相当的特定方向上，以规定像素数为宽度将车载摄像头所拍到的拍摄图像划分而成的区域；摄像头位置变化量求出部，由上述摄像头所拍到的第I图像中由上述参照值求出部求出的各参照值在上述特定方向上的分布状态为第I分布状态，以及由上述摄像头在不同于上述第I图像的拍摄时刻时所拍到的第2图像中由上述参照值求出部求出的各参照值在上述特定方向上的分布状态为第2分布状态，所述摄像头位置变化量求出部将该第I分布状态或该第2分布状态在上述特定方向上进行移动，而求出两者的相关度，并且根据相关度最大时的移动量来求出从上述第I图像的拍摄时刻到第2图像的拍摄时刻的上述摄像头位置变化量(技术方案I)。由技术方案I可知，对由上述摄像头所拍到的拍摄图像，能够由上述参照值求出部求出上述测定用区域中，各上述测定单位区域的参照值。该参照值表示各测定单位区域的灰度或色饱和度的整体变化倾向，由于各测定单位区域是在特定方向上，以上述宽度将上述测定用区域划分而得的，所以各参照值在上述特定方向上的分布状态表示上述测定用区域中，在上述特定方向上的灰度或色饱和度的整体分布状态。另外，对由不同时刻所拍到的上述第I图像和上述第2图像，根据上述第I图像中的上述第I分布状态以及上述第2图像中的上述第2分布状态，由上述摄像头位置变化量求出部将上述第I分布状态或上述第2分布状态在上述特定方向上进行移动，求出两者的相关度。还有，上述摄像头位置变化量求出部根据相关度最大时两者的移动量来求出上述摄像头位置变化量。此时，上述第I分布状态和上述第2分布状态可以是表示上述测定用区域中整体的灰度或色饱和度的分布状态。因此，上述摄像头位置变化量求出部能够通过降低由于上述摄像头位置变化而产生的、在上述第I图像和上述第2图像中，因上述测定用区域中的拍摄对象的改变而带来的影响，求出上述测定区域中的被拍摄物在上述特定方向上的移动量。另外，因上述特定方向相当于实际空间中的铅垂方向，所以上述摄像头位置变化量求出部能根据该移动量精准地求出上述摄像头在铅垂方向上的位置变化量。另外，在技术方案I的基础上，上述摄像头的拍摄范围包括搭载有该摄像头的车辆前方的道路，根据由上述摄像头拍到的拍摄图像中道路的图像部分的位置来设定上述测定用区域(技术方案2)。由技术方案2可知，通过设定上述测定用区域，能提高由上述摄像头位置变化量求出部所求出的上述摄像头位置变化量精度，其中，所述测定用区域包括灰度或色饱和度的分布状态平稳的道路的图像部分。另外，在技术方案2的基础上，还具有测定用区域变更部，其根据由上述摄像头拍到的拍摄图像中的道路的图像部分的位置，或道路周围的所在物的位置来变更上述测定用区域(技术方案3)。由技术方案3可知，由上述测定用区域变更部根据由上述摄像头拍到的拍摄图像中的道路的图像部分的位置，或道路周围的所在物的位置来变更上述测定用区域，变更结果为或加大上述测定用区域内的道路的图像部分所占的比例，或去除其他车辆的图像部分。这样通过变更上述测定用区域，可以防止因道路的图像部分以外的图像部分的影响而减少由上述摄像头位置变化量求出部求出的上述摄像头位置变化量精度的情况出现。
图1是用于说明摄像头和车辆行驶辅助装置安装在车辆上的方式的图。图2是表示车辆行驶辅助装置的构成的图。图3是由车辆行驶辅助装置求出垂直灰度矢量的处理流程图。图4是用于说明垂直灰度矢量的图。图5是用于说明根据时序图像中的垂直灰度矢量的相关度来求出摄像头位置变化量的图。图6是用于说明变更测定用区域的例子的图。
具体实施例方式下面，参照图1 图5说明本发明的实施方式。参照图1可知，在本实施方式中，由本发明的车载摄像头位置变化量检测装置构成车辆行驶辅助装置10的一部分，该车辆行驶辅助装置10搭载在车辆I (自己车辆)上。在车辆I上搭载有摄像头20 (车载摄像头)和车辆行驶辅助装置10。
摄像头20安装在车内，能透过前挡风玻璃来拍摄车辆I的前方，实际空间中的坐标系是这样定义的:以摄像头20的安装部位原点，以车辆I左右方向(车宽方向)为X轴、上下方向(铅垂方向)为Y轴、前后方向(行进方向)为Z轴。参照图2可知，车辆I除了车辆行驶辅助装置10以外，还具有速度传感器21、加速度传感器22、横向角速度传感器23、转向装置30和制动装置31。由速度传感器21来输出车辆I的速度检测信号，由加速度传感器22来输出车辆I的加速度检测信号，由横向角速度传感器23来输出车辆I的横向角速度检测信号。车辆行驶辅助装置10是由CPU、存储器等构成的电子单元，来自摄像头20的影像信号和各传感器21、22、23的检测信号输入其中。由车辆行驶辅助装置10来检测出摄像头20因车辆I在上下方向上的摇动而在Y轴方向上的位置变化量，并由车辆行驶辅助装置10修正(差值修正)由摄像头20拍到的拍摄图像的错位，用于检测该位置变化量的装置相当于本发明的车载摄像头位置变化量检测装置。车辆行驶辅助装置10中，用于对差值进行修正的、测定用区域变更部11、参照值求出部12、摄像头位置变化量求出部13和差值修正部14的功能，通过使CPU中运行存储在存储器中的车辆行驶辅助用控制程序来实现。由车辆行驶辅助装置10对由摄像头20拍到的拍摄图像进行差值修正，再从经过差值修正之后的拍摄图像中检测出设在道路上的行车道标记以感知车辆I的行车道位置。车辆I上还搭载有转向装置30和制动装置31，由车辆行驶辅助装置10来控制转向装置30和制动装置31之一或两者的工作状况时，就能进行驶辅助控制而不会使车辆I偏离行车道。下面根据图3所示的流程来说明由参照值求出部12完成的处理。在STEP(步骤、下同)10中，由摄像头20拍到的图像(彩色图像)输入车辆行驶辅助装置10，此时在STEP20中，对由摄像头20输出的像素进行图像重组处理(demosaicing)(亦称逆马赛克变换处理)以求出各像素的RGB颜色数据。还有，由于本实施方式中的摄像头20采用拜耳(Bayer)排列的单片感光元件，因此在STEP20中进行了图像重组处理，如果使用三片独立型RGB感光元件，则无需进行图像重组处理。STEP30 STEP50是由参照值求出部12进行的处理。如图4所示，由摄像头20拍到的图像是垂直坐标(y坐标)为O N(像素)、水平坐标(X坐标)为O M(像素)的(N+l) X (M+1)像素的图像Im。另外，y轴方向相当于实际空间中的铅垂方向，该实际空间中的铅垂方向又相当于本发明中的特定方向。由参照值求出部12执行STEP30中的循环程序1，在STEP31中，将图像Im的各坐
标(x、y) (x = 0、1、2.....M,y = 0、1、2.....N)的像素的R、G、B数据变换为灰度值，得到
各像素的灰度值I (x、y、t) (t为拍摄时刻)。还有，也可选择各像素的R、G、B数据中的一个以得到各像素的灰度值。在接下来的STEP40的循环程序中，由参照值求出部12将图像Im划分为y坐标相同X坐标为O M的、具有IX (M+1)像素的N+1个测定单位区域。还有，测定单位区域在I轴方向上的宽度也可以不是I个像素(I条线)而是多个像素。接下来，由参照值求出部12按照下式(I)求出各测定单位区域的像素的灰度值的平均值，将其作为各测定单位区域的参照值re (y、t) (y = 0、1、2.....N, t为图像Im的拍摄时刻)。[式I]
权利要求
1.一种车载摄像头位置变化量检测装置，其特征在于，具有: 参照值求出部，对由车载摄像头所拍到的拍摄图像，将规定的测定用区域划分为多个测定单位区域，并将各测定单位区域内的像素的灰度值或色饱和度值的总和或平均值作为各测定单位区域的参照值，其中，所述测定单位区域是在与实际空间中的铅垂方向相当的特定方向上，以规定像素数为宽度将车载摄像头所拍到的拍摄图像划分而成的区域； 摄像头位置变化量求出部，由上述摄像头拍到的第I图像中由上述参照值求出部求出的各参照值在上述特定方向上的分布状态为第I分布状态，以及由上述摄像头在不同于上述第I图像的拍摄时刻时所拍到的第2图像中由上述参照值求出部求出的各参照值在上述特定方向上的分布状态为第2分布状态，所述摄像头位置变化量求出部将该第I分布状态或者该第2分布状态在上述特定方向上进行移动，求出两者的相关度，根据相关度最大时的移动量来求出从上述第I图像的拍摄时刻到第2图像的拍摄时刻的上述摄像头位置变化量。
2.根据权利要求1所述的车载摄像头位置变化量检测装置，其特征在于， 上述摄像头的拍摄范围包括搭载有该摄像头的车辆前方的道路， 根据由上述摄像头拍到的拍摄图像中的道路的图像部分的位置来设定上述测定用区域。
3.根据权利要求2所述的车载摄像头位置变化量检测装置，其特征在于， 还具有测定用区域变更部，其根据由上述摄像头拍到的拍摄图像中的道路的图像部分的位置，或道路周围的所在物的位置来变更上述测定用区域。
全文摘要
本发明提供一种车载摄像头位置变化量检测装置，具有参照值求出部(12)，对由车载摄像头(20)所拍到的拍摄图像，将测定用区域(Ea)划为多个测定单位区域(D0～DN)，并将各测定单位区域内的像素的灰度值的平均值作为各测定单位区域的参照值re(0、t)、re(1、t)、...、re(N、1)，且设定表示各参照值在垂直方向上的分布状态的垂直灰度矢量VEC(t)；摄像头位置变化量求出部(13)，将t2时刻的拍摄图像的垂直灰度矢量VEC(t2)在垂直方向(y方向)上移动以求出t1时刻的拍摄图像的垂直灰度矢量VEC(t1)和该t2时刻的拍摄图像的垂直灰度矢量VEC(t2)之间的相关度，根据相关度最大时的移动量求出t1～t2的摄像头(20)的位置变化量。
文档编号H04N5/225GK103109522SQ20118004400
公开日2013年5月15日 申请日期2011年11月9日 优先权日2010年11月16日
发明者森直树 申请人:本田技研工业株式会社