专利名称：车辆周围监视装置的制作方法
技术领域：
本发明涉及通过车载摄像机计算至本车辆周边的障碍物的距离的车辆周围监视
直O
背景技术：
作为现有的车辆周围监视装置，有如下的系统将摄像机搭载于车辆，基于拍摄的车辆周围的影像，检测至有冲撞的危险性的障碍物的距离。尤其在使用车载摄像机的装置的情况下，即使在产生了起因于车辆动作的纵摇(Pitch，纵方向的摇动)等摄像机的姿势变化时也能够稳定地检测是很重要的。因此，已知基于由摄像机拍摄的图像，通过利用了道路的边界线或消失点的图像处理，计算姿势变化量，从而进行校正的方法(参照专利文献1和2)。另外，已知从由摄像机获得的图像中，提取多个对象物，计算这些多个对象物的高度方向的位置的变位量的平均值作为纵摇，从而校正坐标的方法(参照专利文献幻。(特許文献3参照)。现有技术文献专利文献[专利文献1]日本特开2002-259995号公报[专利文献2]日本专利第3820874号公报[专利文献3]日本专利第3910345号公报
发明内容
发明要解决的问题然而，在现有的车辆用监视装置中，使用如专利文献1、2中记载的左右的道路行驶边界线的高度、行驶道路的宽度信息或者从左右的边界线计算出的消失点信息，校正起因于纵摇的摄像机姿势的变化，因此，在行驶在无边界线的道路的情况下，尤其在停车场等不存在边界线的情况下、或者在虽然画有停车框但几乎不进入后方摄像机的摄像范围等情况下，无法使用边界线的信息，无法排除起因于纵摇的影响。另外，在专利文献3所记载的不利用边界线而基于对象物的高度的变化校正纵摇的方法中，原理上需要用于正确地测量至对象物的距离的手段，专利文献3中具体说明立体摄像机装置。并排了两个摄像机的立体式距离计算装置，其系统结构复杂且大，而且要求摄像机间的较高的校正精度，因此存在系统成本或对车辆的设置成本增大的问题。另外，还存在如下的问题在对象物中混合存在移动物体时，无法判断是由于摄像机姿势的纵摇产生偏移，还是由于对象物移动而产生偏移，由此无法正确地校正。本发明的目的是提供一种车辆周围监视装置，该装置能够降低因发生纵摇等的摄像机姿势所造成的距离误差的影响，而正确地显示至对象物的距离。解决问题的方案
3
本发明的车辆周围监视装置包括摄像单元，拍摄本车辆周围的情况；车辆信息取得单元，检测车速；摄像机姿势估计单元，基于由所述车辆信息取得单元获得的车速，计算用于所述摄像单元的摄像机的姿势；距离计算单元，基于由所述摄像单元拍摄的图像以及由所述摄像机姿势估计单元估计出的摄像机姿势的变化量，计算至对象物的距离；距离信息存储单元，存储由所述距离计算单元计算出的距离信息；距离信息更新判断单元，基于由所述摄像机姿势估计单元估计出的摄像机姿势的变化量，判断使用由所述距离计算单元计算出的距离信息，还是使用存储在所述距离信息存储单元中的距离信息来更新距离信息；以及输出信息生成单元，根据所述距离信息更新判断单元的判断内容，生成输出信息。发明的效果本发明的车辆周围监视装置通过设置距离信息更新判断单元，其基于由摄像机姿势估计单元估计出的摄像机姿势的变化量，判断使用由距离计算单元计算出的距离信息、 还是使用存储在距离信息存储单元中的距离信息来更新距离信息，从而能够估计纵摇等摄像机姿势的变化对距离数据的影响，正确地输出至对象物的距离。
图1是表示本发明的一实施方式的车辆周围监视装置的结构的方框图。图2是表示该装置中，对车辆设置摄像机的图。图3是表示该装置的摄像机与外部世界的关系的图。图4是用于说明该装置的动作的流程图。图5是表示该装置的摄像机的姿势变化的图。图6是表示该装置的车辆的加速度与摄像机姿势的俯仰角度变化的关系的图。图7是关于该装置显示车辆的行驶环境的图。图8是表示该装置的距离数据显示的图。图9是表示该装置中，车辆移动时的移动量的图。图10是表示该装置的使用先前的存储信息的距离数据显示的图。图11是表示该装置中，在车辆移动中新的对象物接近的情况下的图。图12是表示该装置中，在车辆移动中新的对象物接近时的、使用先前的存储信息的距离数据显示的图。标号说明1摄像单元2车辆信息取得单元4摄像机姿势估计单元5距离信息更新判断单元6距离信息存储单元7距离计算单元8输出信息生成单元9显示单元
具体实施方式
下面，使用
本发明一实施方式的车辆周围监视装置。图1是表示车辆周围监视装置的的结构的方框图。摄像单元1摄像本车辆周围的情况，车辆信息取得单元2取得车速等。摄像单元1包括作为器件的CCD相机或CMOS相机、 以及设置于车辆后部的牌照或标牌附近、或者最上部的、拍摄本车辆后面的后置摄像机、或者设置于外后视镜的、拍摄本车辆的侧面的侧置摄像机等。车辆信息取得单元2例如取得从车辆获得的车速信号，在其为模拟信号的情况下通过A/D变换接口取得，在其为CAN(控制器局域网络)信息的情况下通过用于取得CAN信号的接口取得。此外，也可以取得照度传感器的信息或方向盘舵角的值作为车辆信息。信号处理单元3使用由摄像单元1拍摄的图像数据和由车辆信息取得单元2取得的车辆信息，对图像数据进行处理，将至对象物的距离信息输出到显示单元9。信号处理单元3由摄像机姿势估计单元4、距离信息更新判断单元5、距离信息存储单元6、距离计算单元7以及输出信息生成单元8构成。摄像机姿势估计单元4输入由车辆信息取得单元2取得的车辆速度，基于车辆的动作变化，估计摄像机的姿势。距离信息更新判断单元5基于由摄像机姿势估计单元4估计出的姿势状态，判断是基于摄像单元1拍摄的图像计算距离信息，还是使用存储在距离信息存储单元6中的距离信息。在距离信息更新判断单元5判断为基于由摄像单元1拍摄的图像计算距离信息时，距离信息存储单元6存储由距离计算单元7计算的距离信息。输出信息生成单元8将由距离计算单元7计算出的距离信息、或者从距离信息存储单元6读取的距离信息作为输出信息生成数据。下面说明如上构成的车辆周围监视装置的动作。首先说明将摄像机设置在车辆的设置例以及距离数据的取得方法。图2表示将摄像机设置在车辆的设置例，摄像机设置在自路面高度h20处。另外，对于摄像机的姿势，将车辆前后方向的后退方向设为正，而且平行于地面的方向设为Z轴(摄像机的光轴方向)、 相对于Z轴，将车辆的宽度方向且平行于地面的方向设为X轴，将与Z轴垂直且向下的方向设为Y方向。如图3所示，这样设置于车辆的摄像机在其设置条件(自路面的高度(h)、光轴的方向)和摄像机特性(摄像元件的像素间隔(iu，iv)、焦距(f)、透镜失真校正数据)为已知时，根据光学系统的几何限制条件，在摄像图像的坐标(U，v)与路面的各地点的坐标(X， y，z)间成立如下的关系，以此能够计算距离。u = f/iuXx/h ...式(1)ν = f/ivXy/h ...式 O)利用该原理，预先在摄像机中，将对于摄像画面内的各坐标的距离数据存储到存储器中。图4表示本实施方式的车辆周围监视装置中的信号处理的流程图。每次进行本信号处理时，首先在步骤S40，信号处理单元3从摄像单元1读取新的图像数据，将其与取得时的时刻一起存储到存储器。在步骤S41中，车辆信息取得单元2取得车辆速度，将其与取得时的时刻一起，逐次存储到存储器。在步骤S42中，基于从上次计算距离的时刻的时刻变化，求每单位时间的车辆速度并计算加速度。
在步骤S43中，基于在步骤S42计算出的加速度，摄像机姿势估计单元4估计车辆的动作变化，即摄像机的姿势。在此说明从加速度估计的车辆的动作变化。图5表示设置于车辆的摄像机的坐标轴，是将车辆前后方向的后退方向设为正， 而且平行于地面的方向设为Z轴(摄像机的光轴方向)、相对于Z轴，将车辆的宽度方向且平行于地面的方向设为X轴，将与Z轴垂直且向下的方向设为Y方向的例子。一般在车辆的加速度大的情况下，车辆的动作变化大，例如在加速时，摄像机的姿势绕X轴变化θ 1，车辆行进方向的Z轴向Z’方向(纵摇是正方向)倾斜，垂直方向Y轴向 y’倾斜。相反地，在踩刹车等来控制车辆时，绕X轴变化Θ2，Ζ轴向ζ”方向(纵摇是负方向)倾斜，垂直方向Y轴向y”倾斜。对于车辆的动作变化量的值，可以准备如图6所示的预先使车辆的加速度与俯仰角度的变动量关联的数据。另外，在加速度较大，车辆动作剧烈变动时，每微小时间的动作变化也大，若不使用其它的姿势传感器，很难计算与摄像机摄像图像对应的正确的车辆姿势的变化量。因此，采用在相对于地面的安装于车辆的摄像机的姿势为已知的前提下的距离测定方法时，误差大。在步骤S44中，基于在步骤S43中估计出的车辆动作变化量，距离信息更新判断单元5在动作变化为阈值以内时，进至步骤S45以基于在步骤S40中读取的图像计算距离，在阈值以上时，判断为若通过图像处理计算距离则误差变大而进至步骤S47。可以在对于如图6所示的车辆动作变化(俯仰角度)预先设定在ROM中的几个模式(例如，Lo:加速度0.5、1^(1:加速度1.0、见加速度1.5)的值中，由用户选择阈值，或者也可以考虑车辆的重量以及悬架的弹簧或阻尼器等车辆特性来预先设定阈值。在步骤S45，基于在步骤S40中读取的图像，距离计算单元7计算至图像内摄像的对象物的距离。计算距离时，通过图像处理提取对象物与路面接触的部分的边缘，并对于该边缘的位置，根据上述的光学系统的几何限制条件，使用摄像画面的坐标与路面的各地点的坐标的关系式(1)和O)、以及在步骤S43中估计出的俯仰角来进行计算。在步骤S46，距离信息存储单元6将在步骤S40取得的图像数据、在步骤S43估计的车辆动作变化量和在步骤S45计算的距离，与时刻信息一起存储。在步骤S44距离信息更新判断单元5判断车辆的动作变化为阈值以上，也就是判断为若从图像计算至对象物的距离则误差变大的情况下，在步骤S47，距离信息存储单元6 取得在车辆动作变化少的状态时存储的距离数据和存储时的时刻信息。在步骤S48，输出信息生成单元8将在步骤S45计算出的距离信息或者在步骤S47 取得的距离信息作为从本车辆至对象物的距离信息而生成输出信息。根据是实时计算的距离数据还是使用先前的信息估计出的距离数据，将输出信息的内容分开而生成输出信息。使用如图7那样向有墙壁和柱子的环境使车辆后退的情况，示出输出信息。图8内的左图是实时计算至对象物的距离信息时的显示例。因为基于摄像图像实时计算距离，所以显示单元9通过与显示图像重叠的方法，显示至对象物的计算距离。图8内的右图是进一步考虑基于距离计算时的动作变化量估计出的误差而进行显示的例子。若因车辆动作而产生摄像机姿势的纵摇方向的变动，则至对象物的距离越大 (远离)，误差越大，因此显示单元9进行考虑到其可靠性的显示。下面是使用先前的距离信息时的显示例。
首先，在图9中，对于先前的信息的距离信息，考虑如d91所示的从计算距离数据时的时刻到当前的时刻为止的车辆的移动量，相对于图8内的左图，如图10所示将图像数据移位车辆移动量d91，对于图像中的对象物更新距离数据(本例中，对于图8的状态为30 厘米)。通过对从车辆信息取得并存储在存储器中的车速信息进行经过时间区间的积分，从而能够获得移动量。另外，因为不是实时的信息，应考虑对象物的消失、新对象物的出现和对象物的移动等。例如，如图11内的左图所示，在从距离数据的计算时刻到当前时刻为止的期间，有移动物体接近时，按理说必须如图11的右图那样进行提示，但是由于使用先前的图像数据， 所以无法向用户提示这种接近物的信息。为了引起对这种新障碍物的存在的可能性的注意，在图12中进行如rl21所示那样意图引起特别注意对象物和本车辆的中间的区域的显
7J\ ο另外，在本实施方式中，举出了基于车辆速度的变化估计纵摇方向的动作变化而计算至对象物的距离或者将先前的信息判断为距离信息的例子，但也可以采用如下结构， 艮口，使用舵角(方向盘旋转角、或者从左右的各车轮脉冲计算)作为车辆信息，也考虑车辆的旋转(roll)方向的动作变化，由此获得同样的效果。根据这样的本实施方式的车辆周围监视装置，因为距离信息更新判断单元5基于车辆速度的变化估计摄像机的动作变化，并根据该动作量，判断是基于拍摄的影像实时计算至对象物的距离，还是使用先前存储的距离数据，所以能够正确地计算至对象物的距离。2009年9月30日提交的日本专利申请特愿2009_2沈942号所包含的说明书、说明书附图和说明书摘要的公开内容全都引用于本申请。工业实用性如上所述，本发明的车辆周围监视装置中设置了使用车辆信息来估计摄像机姿势的单元，由此具有能够估计纵摇等摄像机姿势的变化对距离数据的影响，稳定地输出至对象物的距离的效果，适用于计算至本车辆周边的障碍物的距离的车辆周围监视装置。
权利要求
1.车辆周围监视装置，包括 摄像单元，拍摄本车辆周围的情况； 车辆信息取得单元，检测车速；摄像机姿势估计单元，基于由所述车辆信息取得单元获得的车速，计算用于所述摄像单元的摄像机的姿势；距离计算单元，基于由所述摄像单元拍摄的图像以及由所述摄像机姿势估计单元估计出的摄像机姿势的变化量，计算至对象物的距离；距离信息存储单元，存储由所述距离计算单元计算出的距离信息； 距离信息更新判断单元，基于由所述摄像机姿势估计单元估计出的摄像机姿势的变化量，判断使用由所述距离计算单元计算出的距离信息，还是使用存储在所述距离信息存储单元中的距离信息来更新距离信息；以及输出信息生成单元，根据所述距离信息更新判断单元的判断内容，生成输出信息。
2.如权利要求1所述的车辆周围监视装置，设有显示单元，在所述距离信息更新判断单元使用存储在所述距离信息存储单元中的距离信息来更新距离信息时，进行意图引起对于对象物和本车的中间区域的注意的显示， 以使驾驶员注意到新的障碍物。
全文摘要
公开了车辆周围监视装置，该装置能够估计纵摇等摄像机姿势的变化对距离数据的影响，正确地输出至对象物的距离。摄像机姿势估计单元(4)基于从车辆信息取得单元(2)获得的车速的变化，估计摄像机的姿势变化量。距离信息更新判断单元(5)基于摄像机的姿势变化量，判断由距离计算单元(7)重新计算距离信息并进行更新，还是使用存储在距离信息存储单元中的距离信息进行更新。显示单元(9)在距离信息更新判断单元(5)判断为重新计算距离信息并进行更新时，显示由距离计算单元(7)基于实时图像计算出的距离信息，而在判断为使用先前存储的距离信息进行更新时，显示从距离信息存储单元(6)读取的先前的距离信息。
文档编号G06T1/00GK102549631SQ20108004313
公开日2012年7月4日 申请日期2010年9月27日 优先权日2009年9月30日
发明者福田久哉 申请人:松下电器产业株式会社