专利名称：目标探测装置的制作方法
技术领域：
本发明涉及一种用于探测目标的目标探测装置。
背景技术：
传统上，日本专利申请公布No. 2008-276308 (JP-A-2008-276308)、日本专利申请公布No. 2008-238927 (JP-A-2008-238927)等中所描述的装置可以被用于探测目标。 JP-A-2008-276308描述了一种视频处理装置，其探测来自安装在可移动主体上的成像元件所捕捉的视频的光流。上述视频处理装置包括计算单元，其用于将视频中所包含的帧划分为多个区并且计算每个区在不同条件下的光流；以及参数确定单元，其根据所述可移动主体的状态来至少改变帧划分的模式或条件。该装置改变目标帧和基准帧之间的帧间隔，用于根据待探测目标处于短距离还是长距离来探测光流。当使用上述装置来探测目标时，目标图像在横向方向上进行相当大地移动的情况下，诸如当目标在横向方向上距离图像中心很远时或者当可移动主体要进行大转向时，光流的量值将意外地增大。因此，在这种情况下探测目标的精确度会降低。此外，JP-A-2008-238927中所描述的装置基于块匹配方法来探测移动目标，所述块匹配方法使用广角相机在不同时间分别捕捉的图像来计算所捕捉图像的每个块的运动矢量。当像利用上述装置那样使用图像的运动矢量(位移)来探测目标时，在这样的目标在图像中不明显的情况下难以探测到目标。然而，在广角相机所捕捉的广角图像中，中心区域的图像面积相对于中心区域中所捕捉的空间尺寸小。因此，目标的移动难以在图像的中心区域中显现，并且基于图像运动矢量来探测目标的精度会降低。
发明内容
本发明提供了一种在不考虑在图像中的目标的位置的情况下能够以高精确度来探测目标的目标探测装置。本发明的一个方面提供了一种目标探测装置，其包括成像单元，其安装在可移动主体上；目标探测单元，其计算所述成像单元在不同时间所捕捉的两个图像之间的局部图像的图像位移，并且至少基于所述图像位移来执行用于从图像探测目标的探测处理；以及控制单元，其基于所述可移动主体的横向方向的图像中的位置而改变所述探测处理的执行方式。利用本发明的一个方面，通过根据横向方向上的图像中的位置而以适当方式执行从图像探测目标。因此，在不考虑目标在图像中的位置的情况下可以以高精确度来探测目标。在本发明的一个方面中，所述控制单元可以基于横向方向上的图像中的位置而改变两个图像的时间间隔。这里，所述控制单元可以随着横向方向上的图像中的位置和横向方向上的图像中心位置之间的位置偏移增加而缩短所述时间间隔。
禾Ij用之前的配置，可以基于横向方向上的图像中的位置来设定适当的时间间隔并且以高精确度来计算图像位移。因此，探测目标时的精确度被提高。除了之前的配置之外，可以包括探测移动目标的转向状态的转向状态探测单元， 并且所述控制单元基于转向状态而改变时间间隔。这里，所述控制单元随着可移动主体的转向半径的减小而可以缩短所述时间间隔。利用之前的配置，可以基于转向状态而设定适当的时间间隔并且以高精确度来计算图像位移。因此，探测目标的精确度被提高。在之前的配置中，所述控制单元基于横向方向上的图像中的位置的瞬时变化而改变所述时间间隔。这里，所述控制单元可以随着所述瞬时变化的增加而缩短所述时间间隔。利用之前的配置，可以根据横向方向上的图像中的位置的瞬时变化而设定适当的时间间隔并且以高精确度来计算图像位移。因此，探测目标的精确度被提高。在本发明的一个方面中，所述目标探测单元可以基于目标的形状来执行第一探测处理以探测所述目标，并且基于图像位移来执行第二探测处理以探测所述目标，并且所述控制单元基于横向方向上的图像中的位置而改变所述第一探测处理和第二探测处理的执行方式。利用之前的配置，所述第一探测处理和第二探测处理的执行方式基于横向方向上的图像中的位置而改变。接着，根据改变的方式使用第一探测处理和/或第二探测处理来探测目标。结果，可以通过向第一探测处理给予优先级来执行目标探测，所述第一探测处理基于图像中难以显现目标移动的区域中的目标形状来探测目标，并且可以通过向第二探测处理给予优先级来执行目标探测，所述第二探测处理基于图像被相当大地失真的区域中的图像位移来探测目标。如上所述，利用之前的配置，在不考虑其在图像中的位置的情况下能够以高精确度来探测目标，并且即使其是其中图像会失真的广角图像，也能够跨越整个图像以高精确度来探测目标。在以上的配置中，所述控制单元可以基于横向方向上的图像中的位置而在所述第一探测处理和第二探测处理之间进行切换。利用该配置，由于根据横向方向上的图像中的位置来简单地切换第一探测处理和第二探测处理，所以可以容易地改变探测处理的方式。 此外，在这种配置中，所述控制单元可以基于横向方向上的图像中的位置而设定要经受第一探测处理的第一探测区域以及要经受第二探测处理的第二探测区域。利用该配置，由于基于横向方向上的图像中的位置来设定第一探测区域和第二探测区域，所以这两个探测区域可以利用高精确度而进行设定。在之前的配置中，所述控制单元可以确定横向方向上的图像中的位置与横向方向上的图像中心位置之间的位置偏移是否小于第一阈值，可以在其中位置偏移小于第一阈值的第一探测区域中执行第一探测处理，并且在其中位置偏移等于或大于第一阈值的第二探测区域中执行第二探测处理。利用该配置，作为根据横向方向上的图像中的位置与横向方向上的图像中心位置之间的位置偏移而在第一探测处理和第二探测处理之间进行切换的结果，可以通过分别以适合于图像中心和图像外围的方式执行探测处理来探测目标。在之前的配置中，所述控制单元可以计算图像的光流，并且可以基于所述光流的量值而在所述第一探测处理和第二探测处理之间进行切换。
利用该配置，作为根据在图像的各个位置处所观察到的光流而在第一探测处理和第二探测处理之间进行切换的结果，可以通过以适合于图像中的位置的方式执行探测处理来探测目标。除了之前的配置之外，可以包括探测可移动主体的转向状态的转向状态探测单元，并且所述控制单元可以基于所述转向状态而在第一探测处理和第二探测处理之间进行切换。如果安装有成像单元的可移动主体的行进方向左右地偏移，则图像中难以显现图像位移的区域也将也将左右地偏移。因此，利用该配置，作为根据可移动主体的转向状态 (行进方向)而在第一探测处理和第二探测处理之间进行切换的结果，可以通过以适合于图像中的位置的方式执行探测处理来探测目标。在之前的配置中，所述控制单元可以基于横向方向上的图像中的位置而设定第一目标探测处理的贡献度和第二目标探测处理的贡献度。利用该配置，可以根据横向方向上的图像中的位置而改变各个贡献水平(目标探测的优先程度)，来跨越整个图像以高精确度探测目标。
本发明之前和其他的目标、特征和优势将通过参考附图对示例性实施例所进行的描述而变得显而易见，其中相同的附图标记被用于表示相同的元件，其中图1是根据本发明第一实施例的目标探测装置的配置图；图2是示出根据本发明第一实施例的目标探测装置中的控制处理的流程图；图3是示出由相机所捕捉的图像示例的示意图；图4A和4B是用于计算帧间隔的示意图示例；图5A和5B是用于计算帧间隔的示意图示例；图6是示意性示出图像帧的帧间隔的示意图；图7是根据本发明第二实施例的周围监视系统的配置图；图8是用于获得车辆后部图像的相机所捕捉的图像示例；图9是图8的图像中的图形识别探测区域的图像；图10是图8的图像中的光流探测区域的图像；图11是用于获得车辆后部图像的相机在车辆转向时所捕捉的图像示例；图12是示出图7的电子控制单元(ECU)中的处理流程的流程图；图13是根据本发明第三实施例的周围监视系统的配置图；图14是用于获得车辆后部图像的相机所捕捉的图像示例，并且是示出所捕捉图像中的光流的图像；以及图15是示出图13的E⑶中的处理流程的流程图。
具体实施例方式现在参考附图来详细解释根据本发明的目标探测装置的实施例。顺便提及，对各个附图中的相同或相应元件给予相同的附图标记，并且省略了对其冗余的解释。首先，对根据本发明第一实施例的目标探测装置101的配置进行解释。图1是根据本发明第一实施例的目标探测装置101的配置图。目标探测装置101是具有计算所捕捉图像的光流并且基于计算结果探测目标的功能的装置。如图1所示，目标探测装置101包括E⑶201、毫米波雷达300和相机400。目标探测装置101被安装在作为可移动主体的车辆上。毫米波雷达300是通过使用毫米带的无线电波来探测目标的雷达传感器。毫米波雷达300安装在车辆的前部中心。此外，毫米波雷达300被安装在使得能够探测到诸如障碍物的要被探测的目标的高度。毫米波雷达300在扫描车辆横向方向的同时传送车辆前方的毫米波，并且接收从目标所反射的毫米波。在车辆垂直方向传送毫米波的角度是固定的，并且在车辆停止时被设定为与道路表面平行的角度。毫米波雷达300向ECU 201发送毫米波信号，所述毫米波信号包含来自所接收的毫米波被反射的各个反射点的毫米波信息(横向方向的扫描方位角、传输时间、接收时间、反射强度等)。例如，如果车辆前部处于图3所示的状态，则毫米波雷达300可以通过探测到探测点Pl而探测目标(图3中的另一车辆Ml)。相机400是用于对车辆的前方进行成像的单镜头相机。相机400安装在车辆的前部中心。相机400对车辆的前方进行成像，并且将所捕捉的图像信息作为图像信号传送到 ECU 201。所捕捉的图像从每个给定时间段(例如，1/30秒)的帧间隔的图像帧进行配置。 如果成像范围在车辆的水平方向宽并且车道很少，则相机400可以捕捉充分包括机动车道之外的人行道和路肩以及即将出现的通车车道的区域的图像。在这样的情况下，可以获得如图3所示的图像。E⑶201是用于控制整个目标探测装置101的电子控制单元。E⑶201主要由诸如中央处理器(CPU)进行配置，并且包括只读存储器(ROM)、随机存取存储器(RAM)、输入信号电路、输出信号电路、电源电路等。ECU 201包括图像处理区域提取单元211、相对速度计算单元212、距离计算单元213、横向位置计算单元214、估计R计算单元215、帧间隔计算单元 216、光流计算单元217和目标探测单元218。图像处理区域提取单元211具有基于从毫米波雷达300输出的毫米波信号来探测处于车辆前方的目标，基于该目标的位置信息来识别其中目标在相机400输出的图像中存在的区域，并且提取所识别的区域作为图像处理区域Fl的功能。具体地，图像处理区域提取单元211使用当前时间的毫米波信息以探测具有最强反射强度的发射毫米波的反射方向，以基于反射方向来获取车辆行进方向所形成的探测角度和探测点Pl的方向，并且通过基于探测角度计算探测点Pl的位置来探测所述目标。此外，图像处理区域提取单元211识别图像中的探测点Pl并且提取其相邻区域作为图像处理区域Fl。距离计算单元213具有基于毫米波信息来计算车辆和目标之间的相对距离的功能。具体地，距离计算单元213使用当前时间的毫米波信息以基于从毫米波的传输到接收的时间来计算与前方目标的相对距离。相对速度计算单元212具有基于毫米波信息来计算车辆和目标的相对速度的功能。具体地，相对速度计算单元212基于利用距离计算单元213所计算的当前时间的距离与当前时间之前预定时间的距离之间的变化来计算与前方目标的相对速度。横向位置计算单元214具有基于从相机400输出的所捕捉图像来计算目标的横向位置的功能。这里，术语“横向位置”是指图像的横向方向(车辆的横向方向)上的目标位置相对于由相机400拍摄图像的中心轴(图像的中心位置)的位置偏移。横向位置计算单元214通过分析所捕捉的图像来计算目标的横向位置。例如，可以通过识别图像中与目标在宽度方向上的边缘相对应的柱状图中的峰值，并且从这两个边缘的位置计算目标在宽度方向上的中心位置来获得目标的横向位置。横向位置计算单元214还可以使用毫米波信息来计算横向位置。估计R计算单元215具有计算车辆的转向半径的功能，所述转向半径即所谓的估计R。可以基于转向角传感器500的输出信息来计算估计R。估计R在车辆直线行进时增大，而在使车辆急转弯时减小。帧间隔计算单元216具有基于相对速度计算单元212、距离计算单元213、横向位置计算单元214和估计R计算单元215的计算结果来计算用于计算光流的适当帧间隔的功能。这里，帧间隔是在计算光流中使用的两个不同图像之间的时间间隔。如图6所示，两个不同图像之一是当前时间(t)的帧的图像，以及另一个是当前时间(t)之前的时间(t-x) 处的帧的图像。通常，之前帧的图像，也就是时间(t-i)处的帧被用来计算光流。然而，在该实施例中，根据预定条件来计算用于计算光流的帧间隔。帧间隔计算单元216具有基于横向位置的瞬时变化来改变帧间隔的功能。帧间隔计算单元216附加地具有基于目标在图像中的横向位置而改变帧间隔的功能以及基于车辆的转向状态而改变帧间隔的功能。帧间隔计算单元216还具有基于与目标相关的相对距离或相对速度而改变帧间隔的功能。具体地，帧间隔计算单元216根据如图4A所示的曲线来设定适当的帧间隔，以使得帧间隔随着目标的横向位置增加而被设定得更短，并且使得帧间隔随着横向位置减小而被设定得更长。此外，帧间隔计算单元216根据如图4B所示的曲线来设定适当的帧间隔，以使得帧间隔随着车辆的估计R增加(即，随着路径变得更直) 而被设定得更长，并且使得帧间隔随着估计R减小(即随着曲线变得更陡)而被设定得更短。此外，帧间隔计算单元216根据如图5A所示的曲线来设定适当的帧间隔，以使得帧间隔随着相对速度增加而被设定得更短，并且使得帧间隔随着相对速度减小而被设定得更长。 此外，帧间隔计算单元216根据如图5B所示的曲线来设定适当的帧间隔，以使得帧间隔随着相对距离增加而被设定得更长，并且使得帧间隔随着相对距离减小而被设定得更短。帧间隔计算单元216还可以通过全面考虑基于相对距离、相对速度、横向位置和估计R分别获得的适当帧间隔来设定帧间隔。光流计算单元217具有基于帧间隔计算单元216的计算结果而使用两个图像来计算每个局部图像的光流的功能。这里，局部图像表示诸如特征点、像素的特定点，或者诸如图像内的特定形状的区域，并且光流是示出局部图像在下一瞬间行进的方向以及行进多远的矢量。目标探测单元218具有基于利用光流计算单元218计算的光流的量值来从图像探测目标的功能。例如，目标探测单元218具有在目标的光流大于预定值的情况下将目标探测为障碍物的功能。目标探测单元218附加地具有通过将之前的探测结果与毫米波雷达 300的目标探测结果相比较来确定装置探测结果的可靠性的功能。目标探测单元218还具有将探测结果输出到诸如警报装置、车辆控制装置、乘客保护装置等的驾驶辅助系统并由此通过警报等执行驾驶辅助的功能。现在参考图2对根据该实施例的目标探测装置101的操作进行解释。图2是示出根据该实施例的目标探测装置101的操作的流程图。顺便提及，为了便于解释和理解，将对在车辆行进时探测到作为待探测目标的图3所示的另一车辆Ml的情形进行解释。图2所示的控制处理在E⑶201中反复地执行，例如从点火装置接通以预定时序执行。首先，图像处理区域提取单元211提取如图3所示的图像处理区域(步骤S10)。 具体地，图像处理区域提取单元211基于从毫米波雷达300所输出的毫米波信号来探测另一车辆M1，识别另一车辆Ml在图像中存在的区域，并且将所识别的区域提取为图像处理区域F1。随后，距离计算单元213计算车辆和另一车辆Ml的相对距离(步骤S11)。相对速度计算单元212基于在Sll处计算的相对距离来计算车辆和另一车辆Ml的相对速度(步骤Si》。横向位置计算单元214基于从相机400输出的捕捉图像来计算另一车辆Ml的横向位置(步骤Si； )。估计R计算单元215基于来自偏航率传感器或转向角传感器的输出信息来计算车辆的估计R(步骤S14)。随后，帧间隔计算单元216基于Sll处计算的相对距离、S12处计算的相对速度、 S13处计算的横向位置以及S14处计算的估计R来计算适当的帧间隔(步骤SK)。具体地， 帧间隔计算单元216通过将图4A至5B所示的各个曲线与各个因子的值进行比较而获得与各个因子相对应的帧间隔来计算适当的帧间隔；即，相对距离、相对速度、横向位置和估计 R以及全面考虑的那些帧间隔。结果，例如如果通过缩短帧间隔而提高光流计算精确度，则选择图6中所示的帧间隔D1，并且如果通过加长帧间隔而提高光流计算精确度，则选择图6 所示的帧间隔D2。随后，光流计算单元217使用具有S15处计算的适当帧间隔的两个图像来计算光流(S16)。目标探测单元218随后基于S16的计算结果来探测另一车辆Ml。在S 17的处理完成之后，图2所示的控制处理结束，并且再次从SlO开始处理。如以上所描述的，利用根据第一实施例的目标探测装置101，帧间隔基于图像中目标的横向位置而变化。例如，如果目标位于图像外围附近；即，如果横向位置大，则图像上目标的横向位置将在不同时间之间大幅地改变。其间，如果目标位于图像中心附近，则横向位置几乎将不会在不同时间之间改变。因此，作为帧间隔基于目标在图像中横向位置而变化的结果，在不考虑目标的位置的情况下，可以以高精确度来计算光流，并且可以以高精确度来探测目标。此外，利用根据第一实施例的目标探测装置101，帧间隔基于车辆的转向状态而变化。例如，当车辆转向时；即，当估计R小时，目标在图像上的横向位置将在不同时间之间大幅变化。其间，当车辆直线行进时，横向位置将在不同时间之间非常小。因此，作为帧间隔基于转向状态而变化的结果，在不考虑驾驶条件的情况下，可以以高精确度计算光流，并且可以以高精确度来探测目标。如以上所描述的，利用根据第一实施例的目标探测装置，帧间隔基于横向位置的瞬时变化而改变。具体地，帧间隔被改变以使得帧间隔将随着横向位置增加的瞬时变化而变得更短。因此，可以通过根据横向位置的瞬时变化而设定适当的帧间隔来以高精确度计算光流，并且可以提高探测目标的精确度。现在将参考图7至15对本发明的第二和第三实施例进行描述。在第二和第三实施例中，根据本发明的目标探测装置被应用于车辆上所安装的周围监视系统。所述周围监视系统探测车辆周围的障碍物(例如，另一车辆、自行车、行人、坠 9落的物体等)。接着，所述周围监视系统将所探测的障碍物信息输出到驾驶辅助系统(例如，碰撞防止装置、泊车辅助装置等)，或者利用音频或显示器向驾驶员提供相同内容。第二实施例是根据图像的横向位置而设定探测区域的示例，而第三实施例是根据光流的量值来设定探测区域的示例。顺便提及，虽然障碍物的探测范围可以覆盖车辆的所有方向，但是其也可以被限制为车辆的特定方向。现在参考图7至11对根据第二实施例的周围监视系统102进行解释。图7是根据第二实施例的周围监视系统102的配置图。图8是用于拍摄车辆后部图像的相机所捕捉的图像示例。图9是图8的图像中的图形识别探测区域的图像。图10是图8的图像的光流探测区域的图像。图11是用于拍摄车辆后部图像的相机在车辆转向时所捕捉的图像示例。周围监视系统102通过使用图形识别处理和光流处理从广角图像来探测障碍物。 具体地，周围监视系统102在图像的中心部处设定用于图形识别处理的区域，并且在图像的外围部处设定用于光流处理的探测区域。周围监视系统101包括相机400、转向角传感器 500 和 ECU202。顺便提及，在第二实施例中，相机400用作成像单元，并且E⑶202用作目标探测单元和控制单元。相机400是用于拍摄车辆周围的图像的相机，并且是具有广角视野的广角相机。 为了获取所在车辆整个外围的图像，相机400安装在车辆的多个预定位置(例如，前部、后部、右侧、左侧)。每个相机400在每个给定时间长度内以广角捕捉各个方向的图像，并且将所捕捉的广角图像作为图像信号发送到ECU 202。图8示出利用安装在车辆后部的相机400在停车场内所捕捉的图像示例。该图像包括多个停驻的车辆、人员等。此外，由于该图像是由广角相机所捕捉的图像，所以图像的外围被相当大地失真，并且车辆等的图像被变形。转向角传感器500是探测所在车辆的转向轮的转向角的传感器。转向角传感器500在每个给定时间长度内探测转向角，并且将所述转向角作为转向角信号发送到ECU 202。E⑶202是由CPU、ROM、RAM、图像处理芯片等配置的电子控制单元，并且控制整个周围监视系统102。ECU 202在每个给定时间长度内从相机400接收图像信号以及从转向角传感器500接收转向角信号，并且将广角图像等按时间排序进行存储。ECU 202附加地执行处理以基于存储信息从图像中探测障碍物信息，并且将所探测的障碍物信息(例如，位置、 行进方向、行进速度)输出到驾驶辅助系统或者将相同内容提供给驾驶员。ECU 202基于转向角来确定车辆是在直线行进还是转向。如果确定了车辆在直线行进，则E⑶202将中心环绕广角图像WAI的中心位置的矩形区域设定为图形识别探测区域PA，并且将剩余的外围区域设定为光流探测区域OA(参见图8至10)。其间，如果确定了车辆正在转向，则E⑶202基于转向角来计算广角图像WAI中与转向车辆的行进方向中心的延伸相对应的位置CP(图像的中心位置以横向方向移动的位置)(参见图11)。在图11中，还利用箭头示出广角图像WAI的各个位置中的光流。与位置CP (在转向时行进方向的中心位置)越接近，光流的量值越小(即，图像中的位移越小)。 E⑶202将中心环绕广角图像WAI的位置CP的矩形区域设定为图形识别探测区域PA，并且将剩余的外围区域设定为光流探测区域0A(参见图11)。该图形识别探测区域PA的尺寸和形状与车辆直线行进时的图形识别探测区域PA相同。因此，车辆转向时的图形识别探测区域PA是根据转向角对车辆直线行进时的图形识别探测区域PA的横向方向位置进行校正的结果。顺便提及，在设定图形识别探测区域PA的尺寸和形状是考虑相机400的镜头参数 (视角等)。例如，基于位置CP和位置之间的位置偏移是否小于阈值来设定矩形区域在横向方向上的两个边缘(即，使得偏移小于阈值的区域处于矩形区域中，以及偏移等于或大于阈值的区域处于矩形区域之外)。此外，提前设定矩形区域在垂直方向上的两个边缘的位置。之前的阈值以及垂直方向上的两个边缘的位置基于相机400的镜头参数等来决定。在广角图像中，由于接近图像中心的图像区域相对于图像区域中所捕捉空间的尺寸而言小，所以目标在所述图像区域中的位移极小。因此，难以使用指示目标在接近图像中心的图像中的移动的光流(图像位移)来执行目标探测。然而，由于接近图像中心的区域是目标存在于车辆行进方向中的区域，所以必须确保方向精确性。因此，使用基于目标的形状执行探测的图形识别，将接近于图像中心的区域设定为探测区域。其间，在广角图像中，在图像的外围处，图像被相当大地失真，并且目标在图像中的形状将改变。因此，在图像的外围部处，不再获得与诸如模板的基准形状的相关性，并且使用图形匹配(图形识别)进行目标探测会变得困难。然而，虽然图像的外围处于车辆行进方向的侧边，但是可能有横穿道路的行人等，并且必须确保方向精确性。因此，使用指示目标在图像中的移动的光流，将图像的外围设定为探测区域。ECU 202随后在图形识别探测区域PA内每次移动指定数目的像素的同时在所述图形识别探测区域PA中设定子窗口 SW(参见图9)。ECU 202此后使用当前时间(t)的帧的广角图像WAI以执行每个子窗口 SW中待探测的各个障碍物的图形识别，并且基于图形识别结果来设定障碍物信息。作为图形识别方法，可以应该传统的方法，并且例如使用待探测障碍物的各个模板来执行图形匹配。通过参考，子窗口 SW越小，像素的数目越小，并且因此可以缩短处理时间。E⑶202使用当前时间(t)的帧的广角图像WAI以及当前时间(t)之前的时间 (t-Ι)的帧的广角图像WAI以计算光流探测区域OA中的每个预定区域(或每个像素)的光流(参见图10)。作为光流计算方法，可以应用传统的方法。ECU 202随后基于光流探测区域OA的各个区域中的光流来提取指示与其外围中的光流相比不同量值和方向的光流。如果存在来自图像背景的不同目标(障碍物)，则目标的光流将显示出与其外围(背景)相比明显不同的量值和方向。因此，作为提取不同于其外围的唯一光流的结果，可以识别障碍物的光流。ECU202基于所提取的光流来附加地设定障碍物信息。现在参考图7对周围监视系统201的操作进行解释。具体地，参考图12的流程图对E⑶202所要执行的处理进行解释。图12是示出图7的E⑶202所要执行的处理流程的流程图。每个相机400在每个给定时间长度内以围绕所在车辆的各个方向捕捉图像，并且将图像信号发送到ECU 202。ECU 202在每个给定时间长度内从相机400接收图像信号， 并且每帧的广角图像被输入其中(S20)。每帧的广角图像按照时间顺序被临时存储在ECU 202 中。
转向角传感器500在每个给定时间长度内探测转向角，并且将转向角信号发送到 ECU 202。ECU 202在每个给定时间长度内从转向角传感器500接收转向角信号，并且转向角被输入其中(S21)。在每个给定时间长度内，E⑶202基于转向角、相机400的特性等在广角图像WAI 内设定图形识别探测区域和光流探测区域(S22)。随后，ECU 202在图形识别探测区域中使用当前时间⑴的帧的广角图像来执行图形识别，并且从图形识别结果来探测障碍物(S23)。此外，ECU 202在光流探测区域中使用当前时间⑴的帧的广角图像以及之前时间(t-i)的帧的广角图像来计算图像中各个位置的光流，并且从光流探测区域中各个位置的光流探测障碍物(S24)。ECU 202随后将探测结果输出到驾驶辅助系统或者将相同内容通过音频或显示器提供给驾驶员(S25)。根据周围监视系统102，作为将广角图像的中心部设定为用于使用图形识别探测障碍物的图形识别探测区域，并且将外围部设定为用于使用光流探测障碍物的光流探测区域的结果，能够跨越整个广角图像以高精确度来探测障碍物。具体地，根据周围监视系统102，可以通过基于广角图像相对于图像的中心位置的横向方向上的位置设定探测区域，来以高精确度设定探测区域。此外，根据周围监视系统 102，可以通过根据车辆的行进方向(转向角)校正探测区域以在横向方向上移动，来以甚至更高的精确度来设定探测区域。现在参考图13和14对根据第三实施例的周围监视系统103进行解释。图13是根据第三实施例的周围监视系统103的配置图。图14是用于拍摄车辆后部图像的相机所捕捉的图像示例，并且是示出所捕捉图像中的光流的图像。周围监视系统103通过使用图形识别处理和光流处理从广角图像中探测障碍物。 具体地，周围监视系统103对整个图像执行光流处理，并且基于所计算光流的量值来设定图形识别处理的探测区域和用于光流处理的探测区域。周围监视系统103包括相机400和 E⑶203。顺便提及，在第三实施例中，E⑶203用作目标探测单元和控制单元。E⑶203是由CPU、ROM、RAM、图像处理芯片等配置的电子控制单元，并且控制整个周围监视系统103。E⑶203在每个给定时间长度内从相机400接收图像信号，并且按照时间顺序存储广角图像。ECU203附加地执行处理以基于存储信息来探测障碍物信息，并且将所探测的障碍物信息输出到驾驶辅助系统或者将相同内容提供给驾驶员。ECU 203使用当前时间(t)的帧的广角图像WAI和之前时间(t_l)的帧的广角图像WAI，以便跨越整个广角图像WAI来计算每个预定区域的光流(参见图14)。如图14所示，与图像中的车辆行进方向的中心(如果车辆直线行进则是图像的中心)越近，光流的量值(对应于图14中的箭头长度)变得越小，并且与中心越远则其变得更大。因此，在光流的量值小的区域中，难以使用指示目标在图像中的移动的光流来执行目标探测。其间，在光流的量值大的区域中，使用光流的目标探测将是有效的。因此，ECU 203确定光流的量值是否小于阈值。该阈值是用于确定是否能够使用光流、基于光流的量值来执行目标探测的阈值，并且基于测试结果等来提前进行设定。ECU 203将光流的量值确定小于所述阈值的区域被设定为图形识别探测区域PA。此外，ECU 203将光流的量值确定等于或大于所述阈值(光流的量值不小于所述阈值)的区域被设定为光流探测区域OA。如第二实施例一样，E⑶203基于图形识别对PA执行障碍物探测。其间，如第二实施例一样，ECU 203使用所计算的光流并且基于所述光流对光流探测区域OA执行障碍物探测。现在参考图13对周围监视系统103的操作进行解释。具体地，参考图15的流程图对要由E⑶203所执行的处理进行解释。图15是示出要由图13的E⑶203执行的处理流程的流程图。每个相机400在每个给定时间长度内捕捉围绕所在车辆的各个方向的图像，并且将图像信号发送到ECU 203。ECU 203在每个给定时间长度内从相机400接收图像信号， 并且每帧的广角图像被输入其中(S20)。每帧的广角图像按照时间顺序被临时存储在ECU 203 中。在每个给定的时间长度内，E⑶203通过使用当前时间(t)的帧的广角图像以及之前时间(t-Ι)的帧的广角图像，跨越整个广角图像来计算图像中各个位置的光流(S31)。 ECU 203随后确定图像中各个位置的光流的量值是否小于阈值(S32)。ECU 203将光流的量值确定为小于阈值的区域被设定为图形识别探测区域 (S33)。ECU 203随后通过使用当前时间(t)的帧的广角图像在图形识别探测区域中执行图形识别，并且从图形识别结果来探测障碍物(S34)。ECU 203将光流的量值确定大于阈值的区域被设定为光流探测区域(S35)。ECU 203随后基于光流探测区域中的各个位置的光流来探测障碍物。ECU 203随后向驾驶辅助系统输出探测结果或者利用音频或显示器向驾驶员提供相同内容。根据周围监视系统103，作为将其中光流的量值小于阈值的区域设定为用于基于图形识别来探测障碍物的图形识别探测区域，并且将其中光流的量值大于阈值的区域设定为用于基于光流来探测障碍物的光流探测区域的结果，可以跨越整个广角图像以高精确度来探测障碍物。具体地，根据周围监视系统103，可以通过基于广角图像中所观察到的光流的量值设定探测区域，来以高精确度设定探测区域。虽然以上已经对本发明的实施例进行了解释，但是以上实施例仅说明了根据本发明的目标探测装置的示例。根据本发明的目标探测装置不局限于根据以上实施例的目标探测装置，并且根据所述实施例的目标探测装置可以在不改变各个权利要求中所要求保护的要旨的情况下被修改或者用于其他应用。例如，在第一实施例中，虽然相对速度、相对距离、横向位置和估计R都被计算，并且基于之前的结果来计算帧间隔，但是帧间隔也可以至少基于横向位置或估计R来计算。例如，虽然本发明在第二和第三实施例中用于要安装在车辆上的周围监视系统并且用于探测车辆周围的障碍物，但是本发明也可以被应用于从图像探测目标的各种目标探测装置。此外，本发明也可以被安装在诸如机器人的其他可移动主体上。此外，本发明也可以被应用于不安装在可移动主体上的监视相机等。此外，在第二和第三实施例中，虽然图形识别探测区域是矩形形状，并且其他区域被设定为光流探测区域，但是各种形状和尺寸都可以应用于图形识别探测区域和光流探测区域。此外，在第一和第二实施例中，虽然转向角传感器用作用于探测车辆转向状态 (估计R、行进方向)的探测单元，但是诸如偏航率传感器的其他传感器也可以用于探测，并且也可以从导航系统等获得有关行进方向的信息。此外，在第二实施例中，虽然配置是使得探测区域的横向方向位置基于转向角 (车辆的转向状态)进行校正，但是所述配置也可以不执行上述校正。此外，在第二和第三实施例中，虽然分别设定了图形识别探测区域和光流探测区域，但是可以根据图像的中心位置(图像中在车辆转向时与行进方向中心相对应的位置) 和横向位置的偏移是否小于阈值来切换使用图形识别的障碍物探测和使用光流的障碍物探测。此外，在第二和第三实施例中，可以基于横向位置来分别设定基于图形识别的目标探测的贡献度和基于光流的目标探测的贡献度，并且也可以通过基于各个贡献度来使用基于图形识别的目标探测和基于光流的目标探测，来执行目标探测。顺便提及，各个目标探测的贡献度是指各个目标探测对于综合目标探测结果的程度(比率)。例如，其是在融合各个目标探测的结果时的权重。这里，优选地，图像的横向位置与图像的中心位置(图像中在车辆转向时与行进方向中心相对应的位置)越接近，基于图形识别的目标探测的贡献度就被设定得越高，而图像的横向位置离图像中心越远，基于光流的目标探测的贡献度就被设定得越高。此外，在如第三实施例中跨越整个图像执行的光流处理之后，可以基于除了光流之外的图形识别的结果，在其中光流的量值小的区域中探测到障碍物。
权利要求
1.一种目标探测装置，包括成像单元，所述成像单元安装在可移动主体上；目标探测单元，所述目标探测单元计算由所述成像单元在不同时间捕捉的两个图像之间的局部图像的图像位移，并且至少基于所述图像位移来执行用于从图像探测目标的探测处理；以及控制单元，所述控制单元基于所述可移动主体的横向方向上的所述图像中的位置来改变执行所述探测处理的方式。
2.如权利要求1所述的目标探测装置，其中，所述控制单元基于所述横向方向上的所述图像中的所述位置来改变所述两个图像的时间间隔。
3.如权利要求2所述的目标探测装置，进一步包括转向状态探测单元，所述转向状态探测单元探测所述可移动主体的转向状态，其中，所述控制单元基于所述转向状态来改变所述时间间隔。
4.如权利要求2所述的目标探测装置，其中，所述控制单元基于所述横向方向上的所述图像中的所述位置的瞬时变化来改变所述时间间隔。
5.如权利要求2所述的目标探测装置，其中，所述控制单元随着在所述横向方向上的所述图像中的所述位置与所述横向方向上的所述图像的中心位置之间的位置偏移的增加而缩短所述时间间隔。
6.如权利要求3所述的目标探测装置，其中，所述控制单元随着所述可移动主体的转向半径的减小而缩短所述时间间隔。
7.如权利要求4所述的目标探测装置，其中，所述控制单元随着所述瞬时变化的增加而缩短所述时间间隔。
8.如权利要求1所述的目标探测装置，其中，所述目标探测单元基于所述目标的形状来执行第一探测处理以探测所述目标，并且基于所述图像位移来执行第二探测处理以探测所述目标，并且，所述控制单元基于所述横向方向上的所述图像中的所述位置来改变执行所述第一探测处理和所述第二探测处理的方式。
9.如权利要求8所述的目标探测装置，其中，所述控制单元基于所述横向方向上的所述图像中的所述位置而在所述第一探测处理和所述第二探测处理之间进行切换。
10.如权利要求9所述的目标探测装置，其中，所述控制单元基于所述横向方向上的所述图像中的所述位置来设定要经受所述第一探测处理的第一探测区域以及要经受所述第二探测处理的第二探测区域。
11.如权利要求10所述的目标探测装置，进一步包括转向状态探测单元，所述转向状态探测单元探测所述可移动主体的转向状态，其中，所述控制单元基于所述转向状态对所述第一探测处理区域和所述第二探测处理区域中的至少一个进行校正。
12.如权利要求9所述的目标探测装置，其中，所述控制单元确定在所述横向方向上的所述图像中的所述位置与所述横向方向上的所述图像的中心位置之间的位置偏移是否小于第一阈值，以及所述控制单元在所述位置偏移小于所述第一阈值的第一探测区域中执行所述第一探测处理，并且在所述位置偏移等于或大于所述第一阈值的第二探测区域中执行所述第二探测处理。
13.如权利要求9所述的目标探测装置，其中，所述控制单元计算图像的光流，并且基于所述光流的量值而在所述第一探测处理与所述第二探测处理之间进行切换。
14.如权利要求13所述的目标探测装置，其中，所述控制单元确定所述光流的量值是否小于第二阈值，以及所述控制单元在所述光流的量值小于所述第二阈值的第一探测区域中执行所述第一探测处理，并且在所述光流的量值等于或大于所述第二阈值的第二探测区域中执行所述第二探测处理。
15.如权利要求9所述的目标探测装置，进一步包括转向状态探测单元，所述转向状态探测单元探测所述可移动主体的转向状态，其中，所述控制单元基于所述转向状态而在所述第一探测处理和所述第二探测处理之间进行切换。
16.如权利要求8所述的目标探测装置，其中，所述控制单元基于所述横向方向上的所述图像中的所述位置来设定所述第一目标探测处理的贡献度和所述第二目标探测处理的贡献度。
17.如权利要求1所述的目标探测装置，其中，所述图像位移是光流。
全文摘要
一种目标探测装置，包括成像单元(400)，其安装在可移动主体上；目标探测单元(201)，其计算所述成像单元(400)在不同时间所捕捉的两个图像之间的局部图像的图像位移，并且至少基于所述图像位移来执行用于从图像探测目标的探测处理；以及控制单元(201)，其基于所述可移动主体的横向方向上的图像中的位置来改变探测处理的执行方式。
文档编号G06T7/20GK102396002SQ201080016738
公开日2012年3月28日 申请日期2010年4月14日 优先权日2009年4月15日
发明者内田尚秀, 名波刚, 后藤宏晃, 深町映夫, 白石达也, 西嵨征和 申请人:丰田自动车株式会社