接近物体检测系统的制作方法

专利名称：接近物体检测系统的制作方法
技术领域：
本发明涉及一种接近物体检测系统，详细地说，涉及一种基于通过摄像机拍摄到的按照时间顺序连续的两个以上的图像来检测接近的物体的系统。
背景技术：
目前，通过用设置在车辆中的摄像机拍摄车辆周围，并将获得的图像显示在驾驶室内的监视器上，从而进行通过监视器的显示图像来弥补在驾驶员等乘客的目视中向作为死角的区域的注意力。而且，也提案有如下的技术通过对用摄像机获得的图像进行处理，从而自动地检测在其图像内所映现的移动体，如果该移动体是接近来的移动体，则就会引起乘客注意。在这里，作为接近本车辆的移动体的检测方法，诸如有通过基于按照时间顺序连续的多个图像的光流处理(optical flow)，将在按照时间顺序连续的图像间位置已变化的区域(图像的一部分)检测作为移动体的方法(专利文献1及专利文献2)。此外，也提案有如下的技术(专利文献3)基于图像指定与移动体对应的区域，并基于在该指定了的与移动体对应的区域中垂直边缘间的距离的变化来求出放大率，从而基于该放大率判断该移动体是否正在接近。日本专利文献1 特开2007-257025号公报日本专利文献2 特开2004-056763号公报日本专利文献3 特开2007-233469号公报不过，在通过上述光流处理检测出图像内的移动体的情况下，需要在按照时间顺序连续的两个以上的图像(帧)间，求出构成图像的各个像素中的每个像素的速度矢量 (光流)，但该速度矢量通过以注目像素(注目画素)为中心对所有的方向进行搜索来指定，且需要将构成图像的所有像素依次适用作为注目像素，从而计算处理的负荷较大。尤其，在将摄像机设置在车辆上并想要检测向该车辆接近来的其他车辆等的情况下，如果考虑其他车辆等的行驶速度，则需要以非常短的间隔获得图像并大致实时地计算出光流，从而通过安装在车辆上的普通车载微型机等运算处理机来进行应对是很困难的。另一方面，日本专利文献3中公开的技术中，虽然由于运算负荷轻，所以用车载微型机可充分应对，但对于上述垂直边缘的检测精度有困难，从而误检测变多，缺乏实用性。

发明内容
本发明鉴于上述的问题，其目的在于提供一种接近物体检测系统，其能够在减轻运算处理的负荷的同时，高精度地检测正接近的移动体。本发明所涉及的接近物体检测系统通过以只检测向指定方向的速度矢量的方式对图像进行光流处理，在减轻运算处理负荷的同时，高精度地提取具有向指定方向的速度矢量的图像部分，并通过对该已提取的图像部分，沿与所述指定方向不同的方向进行基于动态规划法的处理，从而判断该图像部分是否是真正接近过来的物体，由此，可高精度地检测接近来的移动体。也就是说，本发明所涉及的接近物体检测系统，包括摄像机，固定在规定的位置上，用于拍摄图像；第一移动区域检测单元，基于通过所述摄像机拍摄获得的按照时间顺序连续的多个图像，通过光流处理，检测(提取)所述图像中按照时间顺序向指定方向移动的图像部分；第二移动区域检测单元，对所述多个图像的各个图像中通过所述第一移动区域检测单元检测出的各图像部分，进行基于动态规划法的处理，求出所述图像部分沿与所述指定方向不同的方向的大小的变动；以及接近物体判断单元，根据所述变动，判断与所述图像部分对应的移动体是否是对所述摄像机的接近物。在这里，优选指定方向理想上是单一的(方向)，但是根据与使摄像机的摄像元件成像用的透镜的视场角等之间的关系，在只检测沿单一方向的速度矢量时担心发生漏检测，所以只要是包含作为指定基准的方向的窄角范围(例如，不足90度的角度范围)的方向，则就能够应用作为上述指定的方向。这时，既可以是该窄角范围的两端角度的方向(两个方向)和作为基准的方向 (一个方向)这三个方向，又可以将其窄角范围分割成四个方向、五个方向等。但是，当较多地设定该指定方向时，由于光流处理的运算负荷增大，所以不优选过度地进行细分化。此外，上述动态规划法是指用于判断在所谓的图论的最佳路径探索中所使用的考虑了伸缩的类似性的方法，也被称为DP (Dynamic Programming 动态规划)匹配。也就是说，通过将基于该动态规划法的处理应用于类似的两个图像，从而能够获得在这两个图像的伸缩前后的放大率或者缩小率。另外，优选第二移动区域检测单元在对图像部分进行基于动态规划法的处理时的 “与指定方向不同的方向”是与上述第一移动区域检测单元通过光流处理想要检测的速度矢量的“指定方向”大致正交的方向。作为“指定方向”在如上述那样不是单一方向时(窄角范围所包括的多个方向时) 的优选方向，能够应用与这些多个方向中作为基准的一个方向大致正交的方向。根据如上述构成的本发明所涉及的接近物体检测系统，第一移动区域检测单元通过基于按照时间顺序连续的多个图像的光流处理，在这些图像中检测(提取)按照时间顺序向指定(特定)方向移动的图像部分，第二移动区域检测单元通过对各检测图像部分沿与指定方向不同的方向进行基于动态规划法的处理，从而求出按照时间顺序在后的图像中的其图像部分相对于按照时间顺序在前的图像中的其图像部分的大小的变动，根据其大小的变动，接近物体判断单元判断与其图像部分对应的移动体是否正在接近。而且，根据本发明所涉及的接近物体检测系统，基于第一移动区域检测单元的光流处理是只检测向指定方向的速度矢量的处理，所以能够在减轻运算处理负荷的同时，高精度地检测(提取)具有向指定方向的速度矢量的图像部分，基于第二移动区域检测单元的动态规划法的处理是运算处理简单的处理，且通过对通过第一移动区域检测单元检测出的图像部分，沿与所述指定方向不同的方向进行基于动态规划法的处理，获得大小的变动， 从而接近物体判断单元能够高精度地判断移动体是否正在接近。在本发明所涉及的接近物体检测系统中，优选所述第二移动区域检测单元对在所述多个图像的各个图像中通过所述第一移动区域检测单元检测出的各图像部分，进行基于动态规划法的处理，从而对所述各图像部分中的每个图像部分，求出沿与所述指定方向不同的方向的信号值的分布，根据所述按照时间顺序连续的多个图像中的所述各图像部分的所述信号值的分布的对应关系，求出所述大小的变动。根据这样优选构成的本发明所涉及的接近物体检测系统，因为第二移动区域检测单元对在多个图像的各个图像中通过第一移动区域检测单元检测出的各图像部分，进行基于动态规划法的处理，从而对应各图像部分，求出沿与指定方向不同的方向的信号值的分布(曲线)，并通过使按照时间顺序在前的图像中的图像部分的信号值的分布(沿与指定方向不同的方向的信号值的分布)和按照时间顺序在后的图像中的图像部分的信号值的分布(沿与指定方向不同的方向的信号值的分布)对应，从而能够简单地求出两图像部分的大小比，且能够将该大小的比作为本发明所涉及的接近物体检测系统中的“大小的变动”。在本发明所涉及的接近物体检测系统中，优选所述第一移动区域检测单元将所述图像中的与水平方向对应的方向和相对于所述水平方向向上15度到向下15度的角度范围内的规定的一个或两个以上的方向应用作为所述光流处理的对象的所述指定方向，所述第二移动区域检测单元将所述图像中的与垂直方向对应的方向应用作为基于所述动态规划法的处理中的与所述指定方向不同的方向。根据这样优选构成的本发明所涉及的接近物体检测系统，由于第一移动区域检测单元将在所述图像中的与水平方向对应的方向和相对于所述水平方向向上15度到向下15 度的角度范围内的方向应用作为光流处理的对象的所述指定的方向，所以能够检测主要在水平方向上移动的移动体。而且，这时，由于不仅能够检测出沿水平方向这样的单一方向的方向上的速度矢量，也能够检测出从以该水平方向为中心的向上15度到向下15度的角度范围内的方向的速度矢量，所以不仅能够严密地检测在水平方向上移动的移动体，也能够检测出相对于水平方向稍具有角度的方向上的移动体，从而能够防止主要在水平方向上移动的移动体的漏检测。此外，基于第二移动区域检测单元的动态规划法的处理，对于通过第一移动区域检测单元检测出的包括主要在水平方向的方向上移动的移动体的图像部分，将在该图像部分中沿与垂直方向对应的方向的信号值的分布视为对象，从而能够检测出图像部分相对于垂直方向是放大了还是缩小了或者既不放大也不缩小。通过这样，当沿大致水平方向移动(基于第一移动区域检测单元的检测结果)且垂直方向的大小被放大(基于第二移动区域检测单元的检测结果)时，接近物体判断单元判断检测出的图像部分中的移动体是正在接近摄像机的移动体(接近物体)。此外，当沿大致水平方向移动(基于第一移动区域检测单元的检测结果)且垂直方向的大小被缩小(基于第二移动区域检测单元的检测结果)时，接近物体判断单元判断检测出的图像部分中的移动体是正在远离摄像机的移动体。而且，当沿大致水平方向移动(基于第一移动区域检测单元的检测结果)且垂直方向的大小既不放大也不缩小(基于第二移动区域检测单元的检测结果)时，接近物体判断单元判断检测出的图像部分中的移动体对于摄像机的透镜的直径方向正在接近，但对于光轴方向正在远离，从而判断该移动体不是接近物体。因此，能够避免将关于上述的摄像机的透镜的直径方向正在接近，但对于光轴方向正在远离的移动体误判断为接近物体，从而能够使接近物体的检测精度提高。在本发明所涉及的接近物体检测系统中，优选所述接近物体判断单元在所述大小向变大的方向变动时，判断所述图像部分中的移动体是接近物。根据这样优选构成的本发明所涉及的接近物体检测系统，由于只有在第二移动区域检测单元的检测结果大小向变大的方向变动时，接近物体判断单元判断在图像部分中的移动体是接近物，所以与只基于第一移动区域检测单元的检测结果判断接近物体的情况相比，能够提高判断接近物体的精度。在本发明所涉及的接近物体检测系统中，优选所述第一移动区域检测单元在通过所述光流处理检测所述移动的图像部分之前，从通过所述摄像机拍摄获得的图像中除去上空及地面中的至少一个的区域。根据这样优选构成的本发明所涉及的接近物体检测系统，由于上空和地面为本发明想要检测的接近物体的对象外，所以在光流处理前，通过从图像中预先除去这些上空、地面，从而能够进一步减轻光流处理的运算负荷。另外，由于在图像中的上空、地面通常是浓度(亮度)、色调大致一样的区域，所以第一移动区域检测单元将那样的浓度(亮度)分布大致平坦的(大致一样的)区域判断为上空区域或地面区域，并在光流处理之前，通过除去那样的浓度(亮度)分布大致平坦的 (浓度(亮度)大致一样的)区域，以除去不成为光流处理的对象，从而能够减轻运算量。在本发明所涉及的接近物体检测系统中，优选所述第一移动区域检测单元通过基于按照所述时间顺序连续的两个图像(两帧)的光流处理，检测所述图像中按照时间顺序向指定方向移动的图像部分，所述第二移动区域检测单元通过基于作为所述光流处理的对象的所述两个图像(两帧)的动态规划法的处理，求出所述大小的变动。根据这样优选构成的本发明所涉及的接近物体检测系统，只基于按照时间顺序连续的两个图像就能够高精度地检测接近物体。在本发明所涉及的接近物体检测系统中，优选所述摄像机固定在所述车辆的后部，以拍摄所述车辆后方的图像。根据这样优选构成的本发明所涉及的接近物体检测系统，诸如在不是后退而是前进停车时，虽然从该停车场或车库出来时成为后退的出库，在视觉上也很难视认车辆后方， 但是由于对于本发明所涉及的接近物体检测系统中的摄像机为固定在车辆的后部上的结构而言，即使处在视觉上很难视认的后退时，该系统也能可靠地检测正在接近该后退的车辆的接近物体，所以能够安全地支持车辆的驾驶操作。在本发明所涉及的接近物体检测系统中，优选所述摄像机安装在车辆上，所述接近物体检测系统包括车辆信息取得单元，取得包括车速的与所述车辆的行驶状态有关的车辆信息；以及图像处理部，在所述车辆信息表示所述车辆的移动时，在按照所述时间顺序连续的所述图像中，在抑制发生与所述车辆的移动对应的图像的大小的变化的方向上，执行校正所述图像的大小的尺寸校正。
根据这样优选构成的本发明所涉及的接近物体检测系统，由于在安装了摄像机的车辆已移动时，图像处理部通过执行尺寸校正，从而在抑制因车辆移动而导致的在图像上的图像的大小变化的方向上进行校正，所以能够抑制将因车辆移动导致在图像上的图像的大小已变化的图像误检测为移动物体的情况发生。因此，在指定光流的方向性的同时，即使是使用动态规划法的运算处理负荷轻的方法，也能够抑制因安装了摄像机的车辆的移动的原因引起的误检测，从而提高移动物体的检测精度。另外，优选图像处理部在尺寸校正时，根据在按照所述时间顺序连续的图像间的车辆的移动距离，改变所述图像的放大率。根据这样优选构成的本发明所涉及的接近物体检测系统，由于在图像处理部的尺寸校正执行时，根据按照时间顺序连续的图像间的车辆移动距离变更放大率，所以与变更在图像上的指定部分的大小相比较，能够抑制运算负荷，而且，通过根据移动距离改变放大率，从而能够更进一步抑制因本车辆的移动导致的非移动物体的大小变化。在本发明所涉及的接近物体检测系统中，优选所述第一移动区域检测单元包括 偏差计算部，用于求出在按照所述时间顺序连续的图像间向所述指定方向移动的移动体所占的区域的形状的偏差，所述接近物体判断单元在所述区域的形状的偏差大于预先设定的设定值的情况下，判断所述移动体为行人。根据这样优选构成的本发明所涉及的接近物体检测系统，能够基于在图像上的移动体所占的区域的形状的偏差进行行人的判断。也就是说，在为行人时，移动速度慢或移动方向不稳定，并与车辆相比较，则往往存在有在按照时间顺序连续的图像间的指定方向的光流的表现形式不显著或基于动态规划法的大小的变动不显著的情况。不过，由于行人挥动胳膊或迈动脚步，身体的一部分的移动方向进行变化，所以相对于在通过指定方向的光流获得的坐标上产生有偏差，像车辆那样的形状为固定的，形状的偏差小。因此，通过在移动体所占的区域的形状的偏差达到某程度大时，将移动体判断为行人，从而在指定光流的方向性的同时，即使使用动态规划法的运算处理负荷轻的方法，也能够高精度地检测行人。另外，优选偏差(〃，7 * )计算部求出在按照所述时间顺序连续的图像中，向指定方向移动的移动体所占的区域的面积的差，且将针对按照所述时间顺序连续的多个图像累积所述差而得的值作为所述偏差。根据这样优选构成的本发明所涉及的接近物体检测系统，通过针对多个图像累积在按照时间顺序连续的图像间的移动体所占的区域的面积差，从而即使像行人那样的移动速度低，在按照时间顺序连续的邻接图像间形状变化少，也能够高精度地判断为行人。发明效果根据本发明所涉及的接近物体检测系统，其能够在减轻运算处理的负荷的同时， 高精度地检测正接近来的移动体。


图1是表示本发明的实施例1所涉及的接近物体检测系统100的构成框图。图2是表示使用如图1所示的接近物体检测系统100的状况的典型例的模式图。图3是表示接近物体检测系统100的处理顺序的流程图。图4是表示通过摄像机摄影到的时间顺序的图像的例子的图，图4(a)是最旧的图像，图4(b)是第二旧的图像，图4(c)是最新的图像。图5是表示求出光流的对象的方向的示意图，图5(a)是表示现有的对象的方向 (360度全周)，图5(b)是表示本实施例的对象的方向(只大致水平方向)。图6是表示已求出的光流和基于该光流获得的沿大致水平方向移动的区域的图。图7是表示包括移动区域的矩形的图像部分的沿垂直方向的信号值的分布(曲线)的图。图8是表示将相对按照时间顺序在前的图像中的图像部分的图像信号值的分布、 和相对按照时间顺序在后的图像中的图像部分的图像信号值的分布通过信号值对应的状况的曲线图。图9是表示相对于车辆判断为正在接近的物体的移动状态、判断为正在远离的物体的移动状态、以及判断为既不接近也不远离的移动状态的模式图。图10是表示将引起注意的框显示在图像显示装置上的例子的图。图11是表示本发明的实施例2所涉及的接近物体检测系统IOOb的框图。图12是表示通过摄像机10及摄像机20拍摄的实际影像和向二维平面投影的图像P之间的关系的说明图。图13是表示本车辆200前进时的图像P所投影的物体图像的放大情况的具体例的说明图，其中，图13(a)示出本车辆200的前进前的状况，图13(b)示出本车辆200的前进后的状况。图14是实施例2的接近物体检测系统IOOb中的透镜失真校正的说明图，其中，图 14(a)示出透镜失真校正执行后的状态，图14(b)示出透镜失真校正执行前的状态。图15是表示实施例2的接近物体检测系统IOOb的处理顺序的前半部分的流程图。图16是表示实施例2的接近物体检测系统IOOb的处理顺序的后半部分的流程图。
具体实施例方式下面，参照附图对本发明的实施例1的接近物体检测系统100进行说明。实施例1图1是表示本发明的一实施例(实施例1)所涉及的接近物体检测系统100的构成框图，图2是表示使用如图1所示的接近物体检测系统100的状况的典型例的模式图，且示出安装有该接近物体检测系统100的车辆200进入十字路口的状况，图3是表示接近物体检测系统100的处理顺序的流程图。另外，为了与后述的其他车辆300加以区分，在下面， 将安装有接近物体检视系统100的车辆200称为本车辆200。图示的接近物体检测系统100包括摄像机10，固定在本车辆200的前端部上，以便在本车辆200的前端部将车辆侧方(右侧方)的景色Jm拍摄为图像P (t)；第一移动区域检测单元30，基于通过该摄像机10拍摄获得的按照时间顺序连续的两个图像P (t)、P (t+1) (参照图4)，通过光流处理，在图像P(t)、P(t+l)中检测(提取)包括按照时间顺序向大致水平方向(指定方向)移动的区域q(t)、q(t+l)(参照图6)的矩形的图像部分Q(t)、 Q(t+1)(参照图7)；第二移动区域检测单元40，对两个图像P(t)、P(t+1)的各自的通过第一移动区域检测单元30检测出的各图像部分Q(t)、Q(t+1)，进行基于动态规划法的处理， 从而求出图像部分Q(t)、Q(t+l)的沿垂直方向(与指定方向不同的方向)的大小的变动； 以及接近物体判断单元50，根据该大小的变动，判断与图像部分Q(t)、Q(t+1)对应的区域 q(t)、q(t+l)即移动体相对于安装有摄像机的本车辆200是否为接近物。在这里，本实施例的接近物体检测系统100在本车辆200的前端部，除了具有用于拍摄本车辆200的右侧方的景色Jm的摄像机10之外，还具有用于拍摄本车辆200的左侧方的景色Jn的摄像机20。另外，也可以应用诸如具有180度以上的广角光学系统的单独的摄像机来替代上述两个摄像机10、20，这时，只要将通过在拍摄到的图像中切出与右侧方的风景Jm对应的视角范围而获得的图像应用作为通过右侧方用的摄像机10拍摄获得的图像即可，且只要将通过在拍摄到的图像中切出与左侧方的风景Jn对应的视角范围而获得的图像应用作为通过左侧方用的摄像机20拍摄获得的图像即可。接着，对本实施例的接近物体检测系统100的作用进行说明。首先，如图2所示， 在安装有该接近物体检测系统100的本车辆200进入十字路口的状况下，本车辆200的驾驶室内的驾驶员往往有时很难直接视觉确认或忽略通行在与本车辆200正在前进的道路交叉的道路上的其他车辆或自行车、行人等的情况发生。另一方面，由于本车辆200的前端部已位于十字路口内，所以该前端部所设置的摄像机10能够拍摄交叉的道路的右侧方的景色Jm，此外，同样，前端部所设置的摄像机20 能拍摄交叉的道路的左侧方的景色Jn (图3中的步骤#1)。下面，在本实施例的接近物体检测系统100的说明中，由于只对通过摄像机10拍摄到的右侧方的景色Jm进行说明，对通过摄像机20拍摄到的左侧方的景色Jn只要与右侧方的景色Jm左右对称来应用即可，所以适当省略说明。用摄像机10拍摄到的图像在图像取得部25中，例如以VGA尺寸(横向640[pix] X 纵向480[pix])、视频信号标准NTSC，作为30[帧/sec]的图像P被取得(图3中的#2)。图4(a)、图4(b)及图4(c)表示在通过这样获得的时间顺序的图像P(t)、P(t+Ι)、 P(t+2)、……中的图像P(t)、P(t+l)、P(t+2)，图4(a)的图像P(t)是最旧的图像，图4(b) 的图像P(t+1)是第二旧的图像，图4(c)的图像P(t+2)是这些三个图像中最新的图像。这些图像P (t)、P (t+1)、P (t+2)描绘在交叉的道路上通行的其他车辆300正前进的情况。但是，该其他车辆300是否在移动只观察一个图像是不能判断出来的，只有对比按照时间顺序连续的两个以上图像P(t)、P(t+l)等，基于其他车辆300所描绘的位置的不同， 才能进行判断。通过摄像机10拍摄并通过图像取得部25获取到的按照时间顺序连续的图像 P(t) ,P (t+1) ,P (t+2)、……被输入到第一移动区域检测单元30，该第一移动区域检测单元 30基于这些输入的图像P(t)、P(t+l)、P(t+2)、……，通过光流处理，检测(提取)在图像 P(t)、P(t+l)、……中包括按照时间顺序向水平方向(指定方向)移动的区域q(t)、q(t+l)、 q(t+2)、……的矩形的图像部分Q (t)、Q (t+1)、Q (t+2)……(图3中的#3、#4)。具体地说，第一移动区域检测单元30在按照时间顺序连续的两个图像P(t)、 P(t+1)间(以下，在图像P(t+l)、P(t+2)间、在图像P(t+2)、P(t+;3)间、……、在……间也同样)，求出光流。
这时，作为求出光流的方向，限定于大致水平方向。也就是说，通常在通过光流处理提取移动体时，作为求出光流的方向，如图5(a)所示，以注目像素为中心，对360度的方向求出光流。这时，作为角度间隔，诸如为1度间隔、或者为5度间隔，在为1度间隔时，每一个注目像素都需要进行360次的搜索，在为5度间隔时，每一个注目像素都需要进行72次的搜索(图5(a)以10度间隔来表示方向)。针对于此，如图5(b)所示，本实施例中的第一移动区域检测单元30以注目像素为中心，只对水平方向(0度及180度的方向)、相对于该水平方向向上15度的方向和相对于水平方向向下15度的方向的合计六个方向，视为求出光流的对象。因此，实施例中的第一移动区域检测单元30对每个注目像素进行的搜索仅为六次。其结果，与对整个圆周的角度360度进行光流处理的现有的运算负荷相比，能够格外地降低光流处理所需要的运算负荷。而且，通过减轻运算负荷，从而能够用一般的车载微型机作为第一移动区域检测单元30所使用的运算微型机，从而也能够实现制造成本的降低。另外，作为视为光流处理的对象的方向，通过应用大致水平方向的方向(上述水平方向及上下15度的方向)，从而能够在图像P中检测(提取)沿大致水平方向移动的物体作为移动体。也就是说，由于其他车辆300或自行车、行人等道路通行物体通常是在水平方向上移动的移动体，所以可不漏检作为上述向大致水平方向移动的移动体的通行中的其他车辆300或自行车、行人等。并且，作为视为该光流处理的对象的方向，在本实施例中虽然限定为六个方向，但是也可以应用作为稍微细的5度间隔的14个方向或其他的角度间隔(也可以不是等角度间隔)。而且，在本实施例中，视为检测对象的移动体由于是其他车辆300或自行车、行人等在大致水平方向上移动的移动体，所以作为视为光流处理的对象的方向，限定为大致水平方向，但是当作为视为检测对象的移动体是从上方向下方或从下方向上方移动的物体 (下落物体、雨点等、起重机的吊荷等)时，由于这些是在大致垂直方向进行移动的移动体， 所以作为视为光流处理的对象的方向只要限定于大致垂直方向即可。通过以上的处理，基于图像P (t)、P (t+Ι)，求出图6 (a)的光流OP (t t+1)，基于图像？({+1)、？({+2)，求出图6(13)的光流OP(t+Ι t+2)。另外，在图6(a)及图6(b)中， 各自左侧的图的灰色的着色部分是具有向大致水平方向的速度矢量(光流)的区域。而且，第一移动区域检测单元30基于已获得的光流0P(t t+Ι)，指定在各图像 P(t)、P(t+l)内的向大致水平方向移动的移动体所占的区域q(t)、q(t+l)(图3中的#3)。同样，第一移动区域检测单元30基于已获得的光流OP (t+Ι t+幻，指定在各图像 P (t+1)、P (t+2)内的向大致水平方向的移动体所占的区域q (t+1)、q (t+2)(图3中的#3)。 另外，在图6(a)及图6(b)中，各自右侧的图的着色部分是向大致水平方向移动的移动体所占的区域q。而且，第一移动区域检测单元30矩形地包围在图像P (t)内的区域q(t)，并将其设定为包括移动区域的图像部分Q (t)，同样，矩形地包围在图像P (t+Ι)内的区域q (t+1)，并将其设定为包括移动区域的图像部分Q(t+1)(参照图7(a))，同样，矩形地包围在图像 P(t+2)内的区域q(t+2)，并将其设定为包括移动区域的图像部分Q(t+2)(参照图7(a)、图 3中的#4)。接着，通过第一移动区域检测单元30检测出的图像部分Q(t)、Q(t+1)、 Q(t+2),……被输入给第二移动区域检测单元40。另外，图像部分Q从第一移动区域检测单元30被输入到第二移动区域检测单元40的定时(timing)是一旦通过第一移动区域检测单元30指定图像部分Q就依次被输入。第二移动区域检测单元40针对依次输入来的图像部分Q，在按照时间顺序连续的两个图像部分Q(t)、Q(t+l)间、在图像部分Q(t+l)、Q(t+2)间、……、在……间，分别进行 DP 匹配(matching)处理(图 3 中的 #5、#6、#7)。具体地说，如图7(a)及图7(b)分别所示，对应每个输入的图像部分Q，求出沿在其水平方向上的预先设定的规定位置上的垂直方向的图像信号值(亮度值等的像素值) 的分布(曲线)(图3中的#5)，接着，如图8所示，对在按照时间顺序相连续的两个图像组中的各图像部分，对应相对按照时间顺序在前的图像P (t+Ι)中的通过#5求出的图像部分 Q(t+1)的图像信号值的分布、和相对按照时间顺序在后的图像P(t+2)中的通过#5求出的图像部分Q(t+》的图像信号值的分布(图3中的#6)，并根据由该对应的匹配，计算图像部分Q(t+2)相对于两图像部分Q (t+1)的大小的放大率K (或比(K = l/(tane))(图3中的 #7)。对在其他按照时间顺序连续的两个图像组中的各图像部分也同样按依次进行基于DP匹配的处理，并将获得的放大率K依次输入接近物体判断单元50。接近物体判断单元50基于通过第二移动区域检测单元检测出的放大率K，判断其图像部分Q中包括的区域q(移动体(在图中例示出其他车辆300)的图像)相对于本车辆 200，其或是正在接近的移动体、或是正在远离的移动体、或者虽然对于大致水平方向正在接近却是沿摄像机10的光轴方向正在远离的移动体(例如，进行平行行驶的并行车辆等)， 从而整体不是正在接近的移动体(图3中的#8、#9、#10、#11、#12)。具体地说，在放大率为超过1.0的值时，由于在按照时间顺序相连续的两个图像 P(t)、P(t+l)中，相对按照时间顺序在后的图像P(t+1)中的图像部分Q(t+1)的尺寸比相对按照时间顺序在前的图像p(t)中的图像部分Q(t)的尺寸大，所以能够判断其大小处于增大倾向(图3中的#8)，并如图9的Al所示，判断与其图像部分Q中包括的区域q对应的移动体为正在接近本车辆200的物体(例如，接近车辆)(图3中的#9)。另一方面，在放大率是未超过1.0的值时，在按照时间顺序相连续的两个图像 P(t)、P(t+l)中，相对按时间顺序在后的图像P(t+1)中的图像部分Q(t+1)的尺寸与相对按照时间顺序在前的图像P(t)中的图像部分Q(t)的尺寸相比未变大，所以能够判断其大小不是处于增大倾向(图3中的#8)，接着，判断其大小是否处于等倍倾向(图3中的#10)。也就是说，在放大率大致为1. 0时，由于在按照时间顺序相连续的两个图像P、P 中，相对按照时间顺序在后的图像p(t+l)中的图像部分Q(t+1)和相对按照时间顺序在前的图像P(t)中的图像部分Q(t)的尺寸大致相等，所以能够判断其大小处于等倍倾向(图 3中的#10)，如图9的A2所示，判断与其图像部分Q中包括的区域q对应的移动体虽然相对于大致水平方向正在接近本车辆200，却是沿摄像机10的光轴方向正在远离的物体(例如，进行平行行驶的并行车辆等)(图3中的#11)。此外，在放大率K为低于1.0时，由于在按照时间顺序相连续的两个图像P(t)、 P(t+1)中，相对按照时间顺序在后的图像P(t+1)中的图像部分Q(t+1)相对于相对按照时间顺序在前的图像P (t)中的图像部分Q (t)，其尺寸变小，所以能够判断其尺寸不处于等倍倾向(图3中的#10)，如图9的A3所示，判断与其图像部分Q中包括的区域q对应的移动体是正在远离本车辆200的物体(图3中的#12)。如上所述，根据本实施例所涉及的接近物体检测系统100，第一移动区域检测单元 30通过基于按照时间顺序相连续的两个图像P、P的光流处理，分别检测(提取)在这些的图像P、P中按照时间顺序向大致水平方向移动的图像部分Q、Q，第二移动区域检测单元40 通过相对于各图像部分Q、Q，沿垂直方向进行基于动态规划法的处理，从而求出按照时间顺序在后的图像P(t+1)中的其图像部分Q(t+1)相对于按照时间顺序在前的图像P(t)中的其图像部分Q(t)的大小的变动，按照该大小的变动，接近物体判断单元50判断与该图像部分Q(t)、Q(t+l)对应的移动体是否正在接近。而且，根据接近物体检测系统100，由于基于第一移动区域检测单元30的光流处理是只检测向大致水平方向的速度矢量的处理，所以能够在减轻运算处理负荷的同时，高精度地检测(提取)在大致水平方向上移动的与其他车辆300等对应的图像部分Q，基于第二移动区域检测单元40的动态规划法的处理是运算负荷轻的处理，并且通过相对于通过第一移动区域检测单元30检测的图像部分Q，对应垂直方向进行基于动态规划法的处理并获得大小的变动，从而接近物体判断单元50能够高精度地进行移动体是否正在接近的判断。因此，在防止在大致水平方向上移动的移动体的漏检的同时，只在该移动体为实际接近来的物体的情况下，才作为接近物体进行检测，所以能够抑制误检测，并能够在降低运算负荷的同时，高精度地检测接近物体。此外，根据本实施例所涉及的接近物体检测系统100，第二移动区域检测单元40 对于在两个图像P、P的各自的通过第一移动区域检测单元30检测出的各图像部分Q、Q，进行基于动态规划法的处理，从而对应各图像部分Q、Q中的每个图像部分Q、Q，求出沿垂直方向的信号值的分布(曲线)，并通过对应按照时间顺序在前的图像P(t)中的图像部分Q(t) 的信号值的分布、和按照时间顺序在后的图像P(t+1)中的图像部分Q(t+1)的信号值的分布，使这些信号值彼此对应，从而能够简单地求出两图像部分Q(t)、Q(t+1)间的大小的比， 通过这样，能够简单地判断移动体是否为真正接近来的物体。另外，本实施例所涉及的接近物体检测系统100在检测到正在接近本车辆200的物体(例如，接近车辆)时(图3中的#9)，接近物体判断单元50向驾驶室的驾驶员等乘客引起注意、或者输出用于给予警报的信号S。而且，接受了该信号S的现有的车载系统(例如，汽车导航系统或语言导航系统、 视频监视系统、倒车报警音发生系统等)中的图像显示装置、警报装置只要向乘客引起注意、或者以给予警报的方式显示该内容或产生该内容的声音即可。例如，如图10所示，作为使图像显示装置显示该内容的形式，也可以采用使围上表示接近物体的区域q的矩形的框T闪烁、或者使框T以在视觉上给予刺激那样的鲜艳颜色来显示等。
上述实施例的接近物体检测系统100的说明虽然只对通过摄像机10拍摄到的右侧方的景色Jm进行了说明，但是对通过摄像机20拍摄到的左侧方的景色Jn只要与右侧方的景色Jm左右对称来应用即可。此外，在本实施例的接近物体检测系统100中，也可以在第一移动区域检测单元 30通过光流处理检测移动了的区域q(图像部分)之前，进行预先除去在通过摄像机10拍摄而获得的图像P中的在与上空对应的区域及与地面对应的区域中的至少一个区域的处理。这样，由于上空的区域和地面的区域是本实施例的接近物体检测系统100想要检测的接近物体的对象以外，所以通过在光流处理前，从图像P中预先除去这些上空的区域和地面的区域，从而能够进一步使光流处理的运算负荷减轻。另外，由于在图像中的上空和地面通常是浓度(亮度)、色调大致一样的区域，所以第一移动区域检测单元将那样的浓度(亮度)分布大致平坦的(浓度(亮度)大致一样的)区域，判断为上空的区域(在图4(a)中用符号Ps表示)或地面的区域(在图4(a)中用符号Pr表示)，通过在光流处理之前，除去那样的浓度(亮度)分布大致平坦的区域，以使其不成为光流处理的对象，从而能够使运算量减轻。在本实施例所涉及的接近物体检测系统100中，第一移动区域检测单元30通过基于按照时间顺序相连续的两个图像(两帧)的光流处理，检测在图像P中按照时间顺序向指定方向移动了的区域q，第二移动区域检测单元40通过基于根据视为光流处理的对象的两个图像(两帧)的动态规划法的处理，求出大小的变动，从而只基于按照时间顺序相连续的两个图像就能够高精度地检测正接近来的移动体。实施例2接着，对实施例2的接近物体检测系统IOOb进行说明。另外，实施例2的接近物体检测系统IOOb是实施例1的变形例，对与实施例1同样的结构标注了与实施例1相同符号从而省略说明，并仅以与实施例1的不同点为中心进行说明。图11所示的本实施例2的接近物体检测系统IOOb除具有实施例1所示的构成外， 还具有摄像机240、图像处理部210以及偏差计算部220。摄像机240固定在本车辆200的后部上，用于拍摄本车辆200的后方。图像处理部210基于从车辆信息取得部230获得的车辆信息，对通过图像取得部25获得到的图像P 施加校正并输出给第一移动区域检测单元30b。另外，车辆信息取得部230从控制车辆的行驶的未图示的控制单元，通过CAN通信等取得车辆信息。作为该车辆信息，包括表示车辆的移动位置的移动信息、用于求出车辆的移动距离的车速信息以及用于求出车辆的旋转成分的舵角信息。另外，作为车速信息，不仅来自未图示的车速传感器的信号，也可以在车速传感器的检测精度低的低速时，从未图示的车轮速传感器的信号来获得。图像处理部210执行图像P的尺寸校正及透镜失真校正。首先，对尺寸校正进行说明。图12是表示用摄像机10、20拍摄的实际影像和投影到二维平面的图像P之间的关系的说明图，如图12所示，通过在Oc的位置上的摄像机10、20拍摄的实际影像(三维的摄像机坐标Pc)被转换成投影到二维平面的屏幕上的图像P。在这种状态下，当本车辆200前进或后退时，投影到摄像机坐标Pc所投影的图像P的物体根据本车辆200的移动方向变大或变小。例如，当本车辆200因前进而接近摄像机坐标Pc时，投影到图像P的物体图像被放大。参照图13对具体例进行说明，当在本车辆200前进之前的时刻，在获得在图13(a) 所示的图像P(a)中的物体图像B(a)的情况下(该物体图像B(a)所示的车辆处于停止的状态)，如图13(b)所示，在本车辆200接近摄像机坐标Pc之后，图像P (b)上的物体图像 B(b)被放大。因此，在图像处理部210中，基于由车辆信息取得部230获得的车速信息，计算诸如在图13(a)所示的图像P(a)和图13(b)所示的图像P(b)之间的本车辆200的移动量， 并将其用作透视投影(坐标变换)的距离校正值，并以在当前的图像P(b)中的物体图像 B(b)的投影尺寸和在前帧中的图像P(a)的物体图像B(a)的投影尺寸为相同的方式，进行获得使图像P的放大率降低的图像P(c)的校正。通过这样，即使本车辆200移动(前进、 后退)，也能够使在各图像P中的背景等非移动物体的尺寸均勻化，并能够只使移动物体正接近的物体图像放大，此外，使远离的物体图像缩小。接着，对透镜失真校正进行说明。该透镜失真校正是使因摄像机10、20、240的透镜特性而产生的失真解除或缓和的校正。也就是说，对于透镜而言，有时透镜周边部和透镜焦点部的影像不同。例如，图14(b)示出出现有桶形失真像差型的失真的例子，在这种情况下，帧框wx、wy产生有弯曲的失真。因而，当透镜具有这样的失真时，以帧框wx、wy分别为在图中用虚线示出那样的直线状的方式，进行形成图14(a)所示的无失真的帧框wX、wy的图像处理(透镜失真校正)。通过该透镜失真校正，能够使图像P上的物体的大小和与本车辆200的距离之间的关系无论在图像P上的哪个位置上都均等。第一移动区域检测单元30b对在图像处理部210中进行校正之后的按照时间顺序连续的图像P进行光流处理，从而检测按照时间顺序向指定方向移动的图像部分Q。该光流处理与实施例1同样，因此省略说明。而且，在第一移动区域检测单元30b中，通过偏差计算部220 (参照图11)，求出移动体所占的区域q的形状的偏差。该形状的偏差在后述的接近物体判断单元50b中用于行人的判断。在本实施例2中，求出按照时间顺序连续的图像P间的移动体所占的区域q的面积的差，并使用在预先设定的多个帧间连续累计该差的值，作为表示区域q的形状的偏差的值。也就是说，接近物体为车辆时，形状是固定的，前后的帧间的面积的变化也小。另一方面，当为行人时，由于手、脚的移动方向进行变化，所以虽然具有水平方向的光流的区域 q的大小变化，但是当为行人时，由于移动速度、手足的速度低，所以前后帧彼此之间的变化小。因而，通过连续多个帧积累该面积差，从而在帧间连续地产生有形状(面积)的变化的区域q越多越成为较大的值，并能够将该值视为表示区域q的形状的偏差的程度的值。接近物体判断单元50b除了进行在实施例1中已说明的接近车辆、平行行驶车辆、 远离的车辆的判断外，还进行行人判断。这时，接近物体判断单元50b作为图像部分Q而提取具有行人或其他车辆300的可能性高的大小的图像部分Q，作为判断对象物体，并当作为该判断对象物体被提取的图像部分Q具有比预先设定的值(程度)大的形状的偏差时，判断为行人。这时，通过在上述的前后的图像P中的区域q的面积差的积累值是否比预先设定的阈值大来进行判断。
此外，当判断对象物体不具有比预先设定的值(程度)大的形状的偏差时，基于由第二移动区域检测单元40求出的放大率K，当放大率K为比1大的增加倾向时，判断是正在接近的其他车辆300，当放大率K为大致1的等倍倾向时，判断是与本车辆200进行平行行驶的平行行驶车辆，当放大率K不足1时，判断是远离的车辆(移动物体)。接着，参照图15及图16的流程图，对实施例2的接近物体检测系统IOOb的处理 (将其称为接近物体检测处理)的流程进行说明。另外，该接近物体检测处理虽然是像上述图2所示那样的在前进行驶时进入十字路口时或后退行驶时执行的处理，但是该接近物体检测处理既可以在检测出进入这样的十字路口或后退行驶时自动开始执行、或者也可以通过驾驶员接通指令接近物体检测处理的开始的开关(switch)开始执行。此外，对于在前进行驶时的进入十字路口的检测，为了控制简单，既可以将通过驾驶员的制动操作在车速低至设定速度以下时视为进入十字路口、或者也可以基于未图示的汽车导航系统或其他的运转支援系统的信息，判断进入十字路口。首先，在步骤Sl中，车辆信息取得部230取得车辆信息，并移至后续的步骤S2。在步骤S2中，在选择在车辆前部的摄像机10、20和车辆后部的摄像机240中的任一个，开始摄影(=#1)之后，前进到步骤S3。也就是说，当基于通过车辆信息取得部230 获得的车辆信息，判断本车辆200为前进行驶时，通过车辆前部的摄像机10、20执行摄影， 另一方面，当判断为后退行驶时，通过车辆后部的摄像机240执行摄影。另外，在以下的说明中，对在图2所示的状况下，以通过车辆前部的摄像机10、20进行了摄影的情况为例进行说明。在步骤S3中，在图像取得部25中，从通过摄像机10、20拍摄到的影像中，按照处理时间取得图像P ( = #2)，并移至后续的步骤S4。另外，图像P在本实施例中像上述那样每一秒钟取得30帧。在步骤S4中，在图像处理部210进行了上述尺寸校正及透镜失真校正之后，前进到步骤S5。在步骤S5中，在第一移动区域检测单元30b中，通过光流处理，进行在图像P中的移动物体所占的区域q的检测(=#3)，并前进到步骤S6。接着，在步骤S6中，在第一移动区域检测单元30b的偏差计算部220中，求出在步骤S5中获得的移动体所占的区域q的形状的偏差(前后的图像间的面积差的积累)。在步骤S7中，在第一移动区域检测单元30b中，设定基于第二移动区域检测单元 40的动态规划法的亮度图案计算所用的图像部分Q( = #4)，并前进到步骤S8。在步骤S8 SlO中，在第二移动区域检测单元40中，通过动态规划法，计算按照时间顺序连续的图像部分Q的放大率K(或者也可以是比K = l/(tan θ ))(与实施例1的 #5 #7同样)。在步骤Sll S18中，通过接近物体判断单元50b，进行有无行人以及接近车辆、平行行驶车辆、远离的车辆的判断。首先，在步骤Sll中，判断图像部分Q是否某程度大，并当达到某程度大时，前进到步骤S12，当不到某程度大时，前进到步骤S14。在这里，所谓某程度大是指在图像P上的图像部分Q的大小为避免与本车辆200的冲撞的必要性足够高的大小，也就是说，图像P上的图像部分Q的大小与移动物体本身的大小和与本车辆200的距离对应。例如，当移动物体为其他车辆300时，虽然具有其本身某程度的大小，但是由于移动速度高，所以从以某程度远的方式存在(图像P上的大小小)的时刻开始，需要加以用于避免接触的注意。另一方面， 当移动物体为行人时，虽然其本身的大小比其他车辆300小，但是由于移动速度低，所以在某程度接近本车辆200 (图像P上的大小变大)的时刻，需要加以用于避免接触的注意。根据这些，基于实测值，无论移动物体为其他车辆300和行人中的哪个，都要预先设定需要识别作为接近物体的在图像P上的大小的阈值，在步骤Sll中，比较该阈值和区域q的大小来进行判断。在步骤S12中，判断在步骤S6中获得的移动体所占的区域q的形状的偏差(在本实施例2中，在前后的图像P中的区域q的面积差的设定帧间的积累值)是否达到某程度大，并当达到某程度大时，前进到步骤S13，当不到某程度大时，前进到步骤S14。另外，所谓某程度大是指形状的偏差的大小可视为是行人或自行车的可能性高的大小，并通过与预先基于行人或自行车等的实测值设定的阈值进行比较来进行判断。在前进到形状的偏差达到某程度大时的步骤S13中，判断图像部分Q为包含自行车的行人，并返回到步骤Si。另外，当移动体所占的区域q的图像为行人的图像时，虽然像上述那样的形状的偏差变大，但是由于区域q的重心位置的变化少，所以也可以加上其作为行人判断的“与”(and)条件。前进到形状的偏差不到某程度大时的步骤S14及其之后的步骤S15 S18与实施例1的#8 #12是同样的，而且，当放大率K为增加倾向时，前进到步骤S15，判断图像部分 Q为接近车辆，当放大率K为等倍增加倾向时，前进到步骤S17,判断为平行行驶车辆，当放大率K不是增加也不是等倍时，前进到步骤S18，判断为远离的车辆(非接近物体)。接着，关于本实施例2的接近物体检测系统IOOb的作用，与实施例1同样，如图2 所示，对安装有该接近物体检测系统IOOb的本车辆200刚进入到十字路口的状况的动作进行说明。在这样的十字路口，实施例2的接近物体检测系统IOOb开始物体检测处理，首先， 取得车辆信息(步骤Si)。而且，当基于车辆信息，并以这样的前进行驶进入到十字路口时， 通过在车辆前端部所安装的摄像机10、20拍摄左右的景色Jm、Jn (步骤S2)，在图像取得部 25中，取得摄像机10、20拍摄到的图像P作为按照时间顺序连续的图像P(步骤S3)。接着，在图像处理部210中，基于车辆信息，当本车辆200未停止而移动时，根据移动信息及车速信息，执行校正帧倍率的尺寸校正，以使当前的图像p(t)中的停止物体(背景)的投影尺寸和前一个图像P(t-1)中的停止物体(背景)的投影尺寸变为相同，并以不产生有因本车辆200的行驶而导致的在图像P中的停止物体图像的大小的变化的方式进行校正。而且，也执行透镜失真校正，并以在图像P(t)中的图像成为没有失真的图像的方式进行校正(步骤S4)。另外，当本车辆200停止时不执行该尺寸校正。接着，第一移动区域检测单元30b基于进行上述校正处理的图像P(t)、P(t+1)、 P(t+2)、……，进行光流处理，在图像P(t)、P(t+l)、……中检测按照时间顺序向水平方向 (指定方向)移动的移动体所占的区域q(t)、q(t+l)、q(t+2)(步骤S5)。此外，在第一移动区域检测单元30b的偏差计算部220中，计算移动体所占的区域q中的外形形状的偏差，在本实施例2中，求出面积的偏差(步骤S6)。而且，在第一移动区域检测单元30b中，设定包括移动体所占的区域q的矩形的图像部分Q (t)、Q(t+1)、Q(t+2)、……(步骤S7)。
接着，在第二移动区域检测单元40中，提取在图像部分Q中的纵向的亮度(步骤 S8)，而且，进行在连续的图像P的图像部分Q中的水平方向尺度和位置的对应(步骤S9)， 并计算出图像部分Q的放大率K (步骤S10)。接着，在接近物体判断单元50b中，基于通过第二移动区域检测单元40检测出的放大率K、和在偏差计算部220中计算出的偏差，进行图像部分Q表示的物体是其他车辆 300、行人、平行行车车辆、远离的车辆中的哪一个的判断。在这种情况下，在接近物体判断单元50b中，由于在图像P中通过光流判断为有动作的移动体所占的区域q的大小达到某程度大、且形状的偏差某程度大，形状不是固定的， 所以判断为包括自行车的行人(Sll — S12 — S13)。另一方面，当在通过光流判断为有动作的区域q中，放大率K处于增加倾向时，判断为正在接近的其他车辆300 (Sll — S12 — S14 — S15)，当放大率K处于等倍倾向时，判断为平行行驶车辆(Sll — S12 — S14 — S16 — S17)。此外，将在通过光流判断为有动作的区域q中的放大率K未处于增加倾向及等倍倾向的移动体，作为当前对本车辆的危险度少的移动体，从而将其作为远离的车辆从检测对象物中进行排除。另外，即使在本实施例2中，当检测出行人或其他车辆300时，也与实施例1同样， 使用视频监视系统等，向驾驶员等的本车辆乘客执行引起注意的动作。这时，优选使接近车辆和行人的显示不同。此外，在后退时，通过车辆后部的摄像机240拍摄本车辆200的后方的景色，并执行与上述同样的处理，并当存在有接近的物体时，与上述同样，执行引起注意的动作。例如， 当在停车场等中不是后退而是前进停车时，虽然在从该停车场出库时，变成后退地出来，在视觉上很难视觉确认车辆后方，但是如上所述，通过车辆后部固定有摄像机的接近物体检测系统，即使在乘客通过目视很难视觉确认的后退时，由于该系统可靠地检测正在接近该后退的车辆的接近物体，所以也能够安全地支援车辆的驾驶操作。(实施例的效果)下面，列举本发明的实施例2的接近物体检测系统IOOb所取得的效果。首先，根据实施例2的接近物体检测系统100b，与实施例1同样，可以获得下述的 a)、b)、c)、d)的效果。a)第一移动区域检测单元30b在从按照时间顺序连续的两个图像 P、P提取移动的某物体时，由于用只检测出向大致水平方向的速度矢量的光流处理来进行， 所以与用全方向的速度矢量进行检测的情况相比较，能够在减轻运算处理负荷的同时，精度高且短时间地检测出(提取)在大致水平方向上移动的物体。b)基于第二移动区域检测单元40的动态规划法，并通过在按照时间顺序连续的图像P间的移动体的放大率K，求出在图像P中的移动体是否正在接近。基于这样的第二移动区域检测单元40的动态规划法的处理是运算负荷轻的处理，从而能够在短时间且高精度地检测出接近物体。c)在像上述b)那样求出放大率K时，在第二移动区域检测单元40中，对应各图像部分Q、Q，求出沿垂直方向的信号值的分布(曲线)，并通过对应按照时间顺序在前的图像P(t)中的图像部分Q(t)的信号值的分布和按照时间顺序在后的图像P(t+1)中的图像部分Q(t+1)的信号值的分布，使这些的信号值彼此对应，从而求出放大率K。通过这样，基于放大率K，能够简单地判断移动体是否为真正接近来的物体。d)基于上述a)、b)，在按照时间顺序连续的图像P中，将光流的方向指定为大致水平方向，从而在抑制运算处理负荷的同时，例如，能够通过动态规划法抑制像从正面进行接近的物体那样向大致水平方向的移动量少的移动体的漏检，并能够在降低运算负荷的同时，高精度地检测接近物体。而且，根据实施例2的接近物体检测系统100b，取得以下e) f)的实施例2的特有的效果。e)第一移动区域检测单元30b在检测出接近物体时，当本车辆200处于非停止状态时，基于本车辆200的车速及前进方向，将图像P的放大率向非移动物体(背景)的大小没变化的方向进行校正。因此，能够防止因本车辆200进行前后移动而导致的在图像P 上的非移动物体(背景)的大小变化的误检测。因此，在将光流限定为指定方向的同时，边使用动态规划法的运算处理负荷轻的方法，边除去因本车辆200的移动导致的在图像P上的非移动物体图像(背景)的大小变化，从而能够使接近物体的检测精度提高。并且，由于通过改变图像P的放大率进行除去这样的非移动物体的尺寸变化，所以与进行在图像P内的指定像的图像处理相比较，校正处理的负荷变小了。f)对在各摄像机10、20、240中的镜头进行失真校正。因此，能够抑制因镜头的失真的原因导致在镜头焦点部和镜头周边部，离本车辆200的距离和在图像P上的大小的关系不同的误检测的发生。g)由于根据通过光流获得的移动体所占的区域q的形状的偏差(面积变化)检测出包括自行车的行人，所以在将光流的检测方向进行指定方向的同时，即使采用动态规划法的运算处理负荷轻的方法，也能够高精度地检测出行人。当为行人时，由于移动方向不稳定、或移动速度慢，所以诸如在按照时间顺序连续邻接的图像P间，很难出现有光流，而且， 放大率K也低、且很难检测，但能够通过基于按照时间顺序连续的多个图像P连续的形状的偏差(面积差的积累值)，判断为行人，并使与车辆或非移动物体(背景)的差异明确，从而提高检测精度。尤其在本实施例2中，当本车辆200移动时也进行接近物体的判断，并当存在有接近本车辆200的附近的行人时，与本车辆200停止时相比较，与行人的接触的可能性变高。 因此，作为这样的接近物体，进行行人判断为更有效。而且，由于移动体所占的区域q的大小缩至到某程度大而进行行人的判断，并从判断中除去接触的可能性低的远离的行人，所以能够减轻相对于行人判断的运算处理的负荷。h)在求出移动体所占的区域q的形状的偏差时，基于在规定时间连续积累前后的图像P中的区域q的面积差的数值，判断偏差。这样，由于为基于面积的处理，所以比较简单且能够使运算简易化。此外，由于积累面积差来进行判断，所以即使像行人那样在前后邻接的图像P间通过光流及动态规划法难以判断的情况下，也可实现高精度地行人的判断。以上，参照附图，对本发明的实施例进行了详述，但是具体的构成并不限定于该实施例，只要没脱离本发明的要旨程度的设计的变更都包含在本发明中。例如，在实施例2中，虽然示出了将摄像机10、20、240固定在本车辆200的前部及后部上，但是在本发明中摄像机的设置位置并不限定于这些，本发明所涉及的接近物体检测系统中的摄像机可以固定到车辆的任何部分上，例如，也可以设置在车辆侧部等上。此外，摄像机并不限定于固定在如实施例1及实施例2所示那样的车辆上，也可以安装在建筑物等上。此外，在实施例2中，虽然示出了当本车辆200正在移动时，以在图像P中的非移动物体(背景)的图像的大小为相同的方式进行校正的例子，但是只要进行在抑制由本车辆200引起的图像的大小变化的方向上的校正，则图像的大小也可以不完全相同。这时，如果与不进行校正的情况相比较，则可抑制误检测。而且，在本实施例2中，虽然作为在图像处理部210中的当车辆已移动时的校正， 示出了根据车辆的前后移动量在按照时间顺序连续的图像中以停止物体的大小为相同的方式执行尺寸校正的情况，但是还可以加上下述的校正。也就是说，在图像处理部中，也可以当通过车辆的转弯在图像P上的图像在水平方向上移动了时，以非移动物体的图像停留在图像P上的同一地方的方式，根据转向角度和车速，进行使图像P的中心在水平方向(X 轴方向)上移动的校正。
权利要求
1.一种接近物体检测系统，其特征在于，包括 摄像机，固定在规定的位置上，用于拍摄图像；第一移动区域检测单元，基于通过所述摄像机拍摄获得的按照时间顺序连续的多个图像，通过光流处理，检测所述图像中按照时间顺序向指定方向移动的图像部分；第二移动区域检测单元，对所述多个图像的各个图像中通过所述第一移动区域检测单元检测出的各图像部分，进行基于动态规划法的处理，求出所述图像部分沿与所述指定方向不同的方向的大小的变动；以及接近物体判断单元，根据所述变动，判断与所述图像部分对应的移动体是否是对所述摄像机的接近物。
2.根据权利要求1所述的接近物体检测系统，其特征在于，所述第二移动区域检测单元对在所述多个图像的各个图像中通过所述第一移动区域检测单元检测出的各图像部分，进行基于动态规划法的处理，从而对所述各图像部分中的每个图像部分，求出沿与所述指定方向不同的方向的信号值的分布，根据所述按照时间顺序连续的多个图像中的所述各图像部分的所述信号值的分布的对应关系，求出所述大小的变动。
3.根据权利要求1或2所述的接近物体检测系统，其特征在于，所述第一移动区域检测单元将所述图像中的与水平方向对应的方向和相对于所述水平方向向上15度到向下15度的角度范围内的规定的一个或两个以上的方向应用作为所述光流处理的对象的所述指定方向，所述第二移动区域检测单元将所述图像中的与垂直方向对应的方向应用作为基于所述动态规划法的处理中的与所述指定方向不同的方向。
4.根据权利要求1至3中的任一项所述的接近物体检测系统，其特征在于，所述接近物体判断单元在所述大小向变大的方向变动时，判断所述图像部分中的移动体是接近物。
5.根据权利要求1至4中的任一项所述的接近物体检测系统，其特征在于，所述第一移动区域检测单元在通过所述光流处理检测所述移动的图像部分之前，从通过所述摄像机拍摄获得的图像中除去上空及地面中至少一个的区域。
6.根据权利要求1至5中的任一项所述的接近物体检测系统，其特征在于，所述第一移动区域检测单元通过基于按照所述时间顺序连续的两个图像的光流处理， 检测所述图像中按照时间顺序向指定方向移动的图像部分，所述第二移动区域检测单元通过基于作为所述光流处理的对象的所述两个图像的动态规划法的处理，求出所述大小的变动。
7.根据权利要求1至6中的任一项所述的接近物体检测系统，其特征在于， 所述摄像机固定在所述车辆的后部，以拍摄所述车辆后方的图像。
8.根据权利要求1至7中的任一项所述的接近物体检测系统，其特征在于， 所述摄像机安装在车辆上，所述接近物体检测系统包括车辆信息取得单元，取得包括车速的与所述车辆的行驶状态有关的车辆信息；以及图像处理部，在所述车辆信息表示所述车辆的移动时，在按照所述时间顺序连续的所述图像中，在抑制发生与所述车辆的移动对应的图像的大小的变化的方向上，执行校正所述图像的大小的尺寸校正。
9.根据权利要求8所述的接近物体检测系统，其特征在于，所述图像处理部在尺寸校正时，根据在按照所述时间顺序连续的图像间的车辆的移动距离，改变所述图像的放大率。
10.根据权利要求1至9中的任一项所述的接近物体检测系统，其特征在于，所述第一移动区域检测单元包括偏差计算部，用于求出在按照所述时间顺序连续的图像间向所述指定方向移动的移动体所占的区域的形状的偏差，所述接近物体判断单元在所述区域的形状的偏差大于预先设定的设定值的情况下，判断所述移动体为行人。
11.根据权利要求10所述的接近物体检测系统，其特征在于，所述偏差计算部求出在按照所述时间顺序连续的图像中，向指定方向移动的移动体所占的区域的面积的差，且将针对按照所述时间顺序连续的多个图像累积所述差而得的值作为所述偏差。
全文摘要
本发明公开了接近物体检测系统，在减轻运算处理的负荷的同时，高精度检测接近的移动体。第一移动区域检测单元(30)对通过摄像机(10)拍摄(#1)获得的图像(P)，只检测向大致水平方向的光流(#3)，基于获得的光流，设定包括在大致水平方向上移动的区域的矩形的图像部分(Q)(#4)，第二移动区域检测单元(40)对设定的矩形的图像部分(Q)，求出沿垂直方向(纵向)的信号值分布(曲线)(#5)，第二移动区域检测单元(40)进一步通过基于动态规划法的处理，使按时间顺序连续的两个图像(P、P)的图像部分(Q、Q)的信号值分布彼此对应(#6)，求出放大率(K)(#7)，接近物体判断单元(50)根据放大率，判断是否为真正接近的物体。
文档编号G06T7/20GK102257533SQ20098014580
公开日2011年11月23日 申请日期2009年11月19日 优先权日2008年11月19日
发明者内田吉孝, 青木利幸 申请人:歌乐牌株式会社