车辆周围监视装置的制作方法

本发明涉及一种对车辆的周围进行监视的车辆周围监视装置。

背景技术：

现有技术中，已知一种车辆周围监视装置，其根据由车载摄像头(camera)得到的摄影图像(captured image)来检测存在于自车辆周围的监视目标(监视对象物)，并告知驾驶员该监视目标存在于自车辆周围的情况。

从该种车辆周围监视装置中的摄影图像检测到的目标(例如，步行者)等的图像部分的形状存在随着摄像头与该目标的距离的变化而变化的情况。例如存在如下情况：当步行者存在于距离摄像头规定的距离以上的位置时，该步行者的全身像被拍摄，另一方向，当步行者存在于距离摄像头规定的距离以内的位置时，只有该步行者的头部被拍摄。此时，若使用针对步行者的全身像的特征量来进行步行者的识别处理时，可能无法将只有头部的图像部分识别为是步行者的图像。其结果，尽管步行者等的监视目标就存在于自车辆周围，仍可能不向驾驶员告知该信息。

鉴于这样的课题，提出了一种图像识别装置，其将摄影图像的判别对象的物体的图像部分与规定的物体的整体(例如，步行者的全身)图案的比较中没有被识别为是步行者的图像的图像部分，与规定的物体的特定部位(例如，步行者的头部)的图案进行比较(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本发明专利公开公报特开2008-21034号

技术实现要素：

然而，在专利文献1的技术中，由于是将可能是判别对象的目标的图像部分与整体的图案(pattern)的比较和与特定部位的图案进行的比较，因此，可能会导致计算量或存储器使用量增大。

本发明是鉴于该背景而完成的，其目的在于，提供一种车辆周围监视装置，其能够在抑制计算量和存储器使用量的情况下，确切地识别存在于车辆的周围的监视目标并告知驾驶员该监视目标。

本发明是为了实现上述目的而完成的，本发明涉及一种根据由摄像头得到的多个时间点的自车辆周围的摄影图像来检测监视目标，并将该监视目标存在于自车辆周围的情况向自车辆的驾驶员告知的车辆周围监视装置、车辆和车辆周围监视方法。

本发明的车辆周围监视装置的特征在于具有警报处理部，该警报处理部构成为，当在过去的摄影图像(past captured image)中被检测到的监视目标从最新的摄影图像中未被检测到时，该警报处理部根据所述过去的摄影图像来推定在实际空间上的告知区域是否存在该监视目标，且当推定为该监视目标存在于该告知区域时告知所述驾驶员。

根据该结构的车辆周围监视装置，即使在根据最新的摄影图像没有检测到监视目标的情况下，当根据过去的摄影图像推定为在告知区域存在该监视目标时，也告知驾驶员。其结果，不需要分析最新的摄影图像以检测没有检测到的目标，因此，能够抑制计算量和存储器使用量，并且确切地告知驾驶员存在监视目标。

在本发明的车辆周围监视装置中，优选当由所述过去的摄影图像检测到的所述监视目标与自车辆在自车辆的行进方向上的距离为规定的第1距离以下的条件、和该监视目标与自车辆在自车辆的车宽方向上的距离在规定的第2距离以下的条件中的至少一方的条件被满足时，所述警报处理部推定所述监视目标存在于所述告知区域。

根据该结构的车辆周围监视装置，对在过去的摄像(摄影)时间点存在于自车辆的附近的监视目标，在最新的摄像时间点推定监视目标存在于告知区域内，因此，能够更恰当地告知驾驶员存在监视目标。

在本发明的车辆周围监视装置中，优选当在过去的规定期间内从摄影图像检测到该监视目标的次数为规定次数以上时，所述警报处理部推定所述监视目标存在于所述告知区域。

根据该结构的车辆周围监视装置，当在过去的规定期间内由摄影图像检测到监视目标的次数在规定次数以上时，推定所述监视目标存在于所述告知区域，因此，当该监视目标实际上存在于告知区域的可能性高时进行告知。因此，根据该结构的车辆周围监视装置，能够更恰当地告知驾驶员存在监视目标。

在本发明的车辆周围监视装置中，优选当从没有检测到所述监视目标之后经过规定时间以内时，所述警报处理部推定为所述监视目标存在于所述告知区域。

即使过去检测到监视目标，由于时间的经过，该监视目标存在于告知区域的可能性变低。根据着眼于该点而构成的该结构的车辆周围监视装置，当在检测不到监视目标之后经过规定时间以内时，推定在告知区域存在该监视目标。据此，能够高精度地推定监视目标存在于告知区域的情况。

在本发明的车辆周围监视装置中，优选所述警报处理部根据在所述过去的摄影图像中检测到的监视目标相对于自车辆的相对速度，来推定当前的监视目标是否存在于所述告知区域。

根据该结构的车辆周围监视装置，根据与车辆的相对速度来推定监视目标是否存在于告知区域。其结果，即使监视目标是移动的物体，也能够高精度地推定监视目标是否存在于告知区域。

本发明的车辆的特征在于具有警报处理部，该警报处理部构成为，当在过去的摄影图像中被检测到的监视目标从最新的摄影图像中未被检测到时，该警报处理部根据所述过去的摄影图像来推定在实际空间上的告知区域中是否存在该监视目标，且当推定为在该告知区域存在该监视目标时告知所述驾驶员。

根据本发明的车辆，能够得到与上述的本发明的车辆周围监视装置相同的作用效果。

本发明的车辆周围监视方法的特征在于包含警报处理工序，当在过去的摄影图像中被检测到的监视目标从最新的摄影图像中未被检测到时，该警报处理工序根据所述过去的摄影图像来推定在实际空间上的告知区域中是否存在该监视目标，且当推定为该监视目标存在于该告知区域时告知所述驾驶员。

通过将本发明的车辆周围监视方法应用于车辆并实施，能够得到与上述的本发明的车辆周围监视装置相同的作用效果。

附图说明

图1是车辆周围监视装置的结构图。

图2A是车辆周围监视处理的流程图。

图2B是车辆周围监视处理的流程图。

图3A是表示过去检测到目标时的过去的实际空间上的目标与车辆的位置关系的图。

图3B是表示无法检测到目标时的当前的实际空间上的目标与车辆的位置关系的图。

具体实施方式

以下参照图1～图3对本发明的车辆周围监视装置的实施方式进行说明。

(车辆周围监视装置的结构)

参照图1，车辆周围监视装置10被搭载于具有摄像头2(彩色摄像头)、车速传感器3、扬声器5和显示器6的车辆1(相当于本发明的车辆)。

车辆周围监视装置10是由未图示的CPU、存储器、各种接口电路等构成的电子单元，由CPU执行保存在存储器中的车辆周围监视用的程序，据此，作为图像取得部11、边缘图像生成部12、目标信息取得部13、对象图像部分提取部14、是否警报判定部15和告知部16来发挥作用。另外，由车辆周围监视装置10来实施本发明的车辆周围监视方法。

另外，由目标信息取得部13、对象图像部分提取部14、是否警报判定部15和告知部16来构成本发明的“警报处理部”。

车辆周围监视装置10具有由存储器或硬盘构成的存储部20。存储部20具有摄影图像存储部21a、边缘图像存储部21b和目标信息存储部22。

(车辆周围监视处理)

以下，按照图2A和图2B所示的流程图，对通过车辆周围监视装置10来检测存在于车辆1周围的监视目标W并向驾驶员告知监视目标W存在于车辆周围的情况的处理进行说明。车辆周围监视装置10在规定的每个控制周期执行基于图2A和图2B所示的流程图的处理。

图2A/STEP1是基于图像取得部11进行的处理。图像取得部11输入从摄像头2输出的车辆1的前方(相当于本发明的车辆周围)的影像信号，对该影像信号的彩色组成部分(R值、G值、B值)去除马赛克(demosaicing)，取得作为各像素的数据的、具有R值、G值、B值的彩色的摄影图像。取得的摄影图像的数据被保存在摄影图像存储部21a中。

边缘图像生成部12进行将保存在摄影图像存储部21a中的摄影图像的各像素的彩色组成部分转换成亮度的处理，生成灰度(gray scale)图像(多值图像)(图2A/STEP2)。并且，边缘图像生成部12从灰度图像中提取边缘点(与周围部的像素(图像部分)的亮度差(亮度的变化量)为规定值以上的像素。包含亮度从暗变明的正的边缘点和亮度从明变暗负的边缘点)，生成边缘图像，并保存在边缘图像存储部21b中(图2A/STEP3)。

另外，当摄像头2为单色摄像头时，根据各像素的亮度得到灰度的摄影图像，因此，不需要从上述彩色的摄影图像来生成灰度图像的处理。

接着的图2A/STEP4是基于对象图像部分提取部14进行的处理。对象图像部分提取部14对存储在边缘图像存储部21b中的边缘图像，进行将聚集在一起的边缘点(以下，称为边缘部分)添加标记的标记添加和将接近的边缘部分作为同一物体的图像部分而建立关联的聚类(clustering)。

接着的图2B/STEP5是基于目标信息取得部13进行的处理。目标信息取得部13从存储在目标信息存储部22中的多个目标信息，取得距离车辆1最近的三维物体(与车辆1(摄像头2)的距离最短的三维物体)的信息作为目标W的信息。

在此，作为目标W的信息，读入在后述的图2B/STEP 9的处理中被保存在目标信息存储部22中的目标W的过去的信息中的如下信息，即最后的摄像时间点的该目标W的图像部分的重心、该目标W的图像部分的面积、从摄像头2到该目标W的实际空间上的距离、该目标W的图像部分的外接四边形的纵横比(ASPECT比)和从车辆1观察到的该目标W的相对速度。以下，将这些信息分别称为过去重心、过去面积、过去距离、过去纵横比和过去速度。

图2B/STEP6是基于对象图像部分提取部14进行的处理。对象图像部分提取部14从由图2A/STEP3生成的最新的摄影图像(边缘图像)，提取与由目标信息取得部13取得出的目标W相同的目标W的图像部分。

更详细地讲，对象图像部分提取部14参照边缘图像存储部21b，提取在图2A/STEP3中生成的最新的摄影图像内，满足以下的条件(a)、(b)和(c)的全部条件的图像部分。

另外，对于在图2A/STEP3生成的最新图像的各图像部分而言，将该图像部分的重心、该图像部分的面积、从摄像头2到相当于该图像部分的目标W的实际空间上的距离、该图像部分的外接四边形的纵横比(ASPECT比)和从车辆1观察到的该目标W的相对速度分别称为最新重心、最新面积、最新距离、最新纵横比和最新速度。另外，作为从车辆1观察到的该目标W的相对速度，可以采用车速传感器3所示的车辆1的速度。

(a)当设过去重心的位置坐标为(x0，y0)，设最新重心的位置坐标为(x1，y1)时，满足以下的式(1)和式(2)的关系。

【数学公式1】

|x1-x0|＜Px ··(1)

其中，Px：x方向(水平方向)上的图像上的移动量的容许值。

【数学公式2】

|y1-y0|＜Py ··(2)

其中，Py：y方向(垂直方向)的图像上的移动量的容许值。

(b)当设过去面积为S0，设最新面积为S1时，满足以下的式(3)的关系。

【数学公式3】

其中，Ps：面积变化的容许值。

(c)当设过去纵横比为AS0，设最新纵横比为AS1时，满足以下的式(4)的关系。

【数学公式4】

其中，Pas：纵横比变化的容许值。

在接着的图2B/STEP7中，对象图像部分提取部14判定是否能够提取与由目标信息取得部13取得到的目标W相同的物体的图像部分。

当该判定结果为肯定时(图2B/STEP7‥YES)，对象图像部分提取部14将最新重心、最新面积、最新距离、最新纵横比和最新速度存储在目标信息存储部22中(图2B/STEP8)。在接着的图2B/STEP 9中，是否警报判定部15根据最新重心、最新面积、最新距离、最新纵横比和最新速度来判定目标W和车辆1是否存在接触的可能性。当该判定结果为肯定时(图2B/STEP 9‥YES)，告知部16通过扬声器5和显示器6中的至少一方，来向驾驶员警告与车辆1有接触可能性的目标W存在于车辆1的周围(图2B/STEP10)。

另一方面，当图2B/STEP7的判定结果为否定时(图2B/STEP7‥NO)，是否警报判定部15参照存储于目标信息存储部22的目标W的信息，来判定过去的规定期间中的多个摄影图像中，检测到目标W的摄影图像数是否为规定数以上(图2B/STEP11)。

当该判定结果为否定时(图2B/STEP11‥NO)，车辆周围监视装置10执行图2B/STEP17以下的处理。

当该判定结果为肯定时(图2B/STEP11‥YES)，是否警报判定部15判定过去摄像时间点的目标W是否存在于实际空间上的规定的警戒区域D1(图2B/STEP12)。警戒区域D1是指在车辆1的前方规定的规定区域，在本实施方式中，如图3A所示，是车辆1的行进方向的长度为d1，车辆1的车宽方向的长度为w1的区域。

车辆1的行进方向的长度d1被设定为：比从摄像头2到无法对步行者的全身像进行摄像的区域的距离远(长)的长度。另外，无法对步行者的全身像进行摄像的距离通过实验来求得、确定。

另外，车辆1的车宽方向上的长度w1被设定为与车辆1的车宽相同，或者稍比该车宽短的长度。

当该判定结果为肯定时(图2B/STEP12‥YES)，是否警报判定部15判定在图2B/STEP7中无法检测到该目标W之后经过的时间是否超过规定时间(图2B/STEP13)。

当该判定结果为否定时(图2B/STEP13‥NO)，告知部16通过扬声器5和显示器6中的至少一方来向驾驶员警告与车辆1有接触可能性的目标W存在于车辆1的周围(图2B/STEP14)。即在本实施方式中，所谓图2B/STEP13的判定结果为否定的情况是指以下情况：在过去的规定期间内检测到目标W规定次数以上(图2B/STEP11‥YES)，且最后检测到时的目标W存在于警戒区域D1(图2B/STEP12‥YES)，而且没有检测到之后的经过时间在规定时间以内(图2B/STEP13‥NO)，因此，目标W不是噪声(干扰)，并且目标W几乎不从最后检测到时的位置(警戒区域D1)上移动。另一方面，由于车辆1向前方移动，因此，推定为目标W存在于车辆1的前方的告知区域D2。因此，告知部16通过扬声器5和显示器6中的至少一方来向驾驶员进行警告。

另外，当图2B/STEP12的判定结果为否定时(图2B/STEP12‥NO)或图2B/STEP13的判定结果为肯定时(图2B/STEP13‥YES)，是否警报判定部15根据过去距离和过去速度，来推定当前的目标W的位置(图2B/STEP15)。另外，是否警报判定部15也可以代替过去速度，而根据车速传感器3所示的当前的车辆1的速度来推定目标W的当前位置。

在接着的图2B/STEP16中，是否警报判定部15判定在图2B/STEP15推定出的目标W的位置是否包含于告知区域D2。

告知区域D2是指在车辆1的前方确定的规定区域，在本实施方式中，如图3B所示，是车辆1的行进方向上的长度为d2，车辆1的车宽方向上的长度为w2的区域。

车辆1的行进方向的长度d2被设定为：比从摄像头2到无法对步行者的全身像进行摄像的区域的距离短的长度。另外，无法对步行者的全身像进行摄像的距离通过实验来求得、确定。

另外，车辆1的车宽方向上的长度w2被设定为与车辆1的车宽相同的长度。

当该判定结果为肯定时(图2B/STEP16‥YES)，告知部16通过扬声器5和显示器6中的至少一方来向驾驶员警告与车辆1有接触可能性的目标W存在于车辆1的周围(图2B/STEP14)。

当图2B/STEP11的判定结果为否定时(图2B/STEP11‥NO)，在图2B/STEP14的处理之后，当图2B/STEP16的判定结果为否定时(图2B/STEP16‥NO)，或在图2B/STEP10的处理之后，对象图像部分提取部14对存储于目标信息存储部22的所有的目标W，判定是否进行了图2B/STEP5～图2B/STEP16的处理(图2B/STEP17)。当该判定结果为否定时(图2B/STEP17‥NO)，车辆周围监视装置10对未处理的目标W执行图2B/STEP5以下的处理。当该判定结果为肯定时(图2B/STEP17‥YES)，车辆周围监视装置10结束车辆周围监视处理的这次周期的处理。

另外，图2B/STEP5～图2B/STEP7和图2B/STEP11～图2B/STEP16相当于本发明的“警报处理工序”。

(本实施方式的作用效果)

根据该结构的车辆周围监视装置10，即使在从最新的摄影图像没有检测到监视目标W的情况下(图2B/STEP7‥NO)，当根据过去的摄影图像推定为在告知区域D2存在该监视目标W时(图2B/STEP11‥YES，图2B/STEP12‥YES且图2B/STEP13‥NO，或图2B/STEP16‥YES)，告知驾驶员。其结果，不需要分析最新的摄影图像以检测没有检测到的监视目标W，因此，能够抑制计算量和存储器使用量，并确切地告知驾驶员存在监视目标W。

根据该结构的车辆周围监视装置10，对在过去的摄像时间点存在于自车辆的附近的监视目标W，以其他的条件充足(满足)为必要条件推定为在最新的摄像时间点，该监视目标W存在于告知区域D2内(参照图2B/STEP12‥YES以下的处理)，因此，能够更确切地告知驾驶员存在监视目标W。

根据该结构的车辆周围监视装置10，当在过去的规定期间内根据摄影图像检测到监视目标W的次数在规定次数以上时，以其他的条件充足(满足)为必要条件推定所述监视目标W存在于告知区域D2，因此，当该监视目标W实际上存在于告知区域D2的可能性较高时进行告知。因此，根据该结构的车辆周围监视装置10，能够更确切地告知驾驶员存在监视目标W。

即使过去检测到监视目标W，由于时间的经过，该监视目标W存在于告知区域D2的可能性变低。根据着眼于该点而构成的该结构的车辆周围监视装置10，当在没有检测到监视目标W之后的规定时间以内时，以其他的条件充足(满足)为必要条件推定在告知区域D2存在该监视目标W(图2B/STEP13‥NO)。据此，当监视目标W实际上存在于告知区域D2的可能性高时，能够告知驾驶员。

根据该结构的车辆周围监视装置10，根据与车辆1的相对速度来推定监视目标W是否存在于告知区域D2(图2B/STEP15～图2B/STEP16)。其结果，即使监视目标W是移动的物体，也能够高精度地推定监视目标W是否存在于告知区域D2。

另外，在本实施方式中，当在过去的摄像时间点，监视目标W存在于警戒区域D1(图2B/STEP12‥YES)，并且没有检测到之后经过时间在规定时间以内时(图2B/STEP13‥NO)进行警报处理，当在过去的摄像时间点，监视目标W不存在于警戒区域D1(图2B/STEP12‥NO)，或者没有检测到之后的经过时间在规定时间以上时(图2B/STEP13‥YES)，推定最新的摄像时间点的监视目标W的位置，并判定是否进行警报处理(图2B/STEP15～图2B/STEP16)。

当在过去的摄像时间点，监视目标W存在于警戒区域D1(图2B/STEP12‥YES)，并且没有检测到之后的经过时间在规定时间以内时(图2B/STEP13‥NO)，不依存于监视目标W的移动量，而推定在最新的摄像时间点，监视目标W存在于与车辆1有接触可能性的区域(告知区域D2)，因此，向驾驶员进行告知的必要性高。另一方面，当在过去的摄像时间点，监视目标W不存在于警戒区域D1(图2B/STEP12‥NO)，或者没有检测到之后的经过时间在规定时间以上时(图2B/STEP13‥YES)，根据监视目标W相对于车辆1的移动量，在车辆1和监视目标W有接触可能性的告知区域D2可能存在监视目标W。因此，是否警报判定部15根据监视目标W的过去距离和过去速度来推定最新的摄像时间点的监视目标W的位置(图2B/STEP16)。通过该处理，减少不必要的警报处理，而确切地向驾驶员进行警报。

(其他的实施方式)

也可以省略图2B/STEP11～图2B/STEP13和图2B/STEP15～图2B/STEP16中的一部分的处理。

也可以在图2B/STEP15和图2B/STEP16的处理之后执行图2B/STEP12的处理。

附图标记说明

1…车辆(自车辆)、2‥摄像头、3‥车速传感器、10‥车辆周围监视装置、13‥目标信息取得部、14‥对象图像部分提取部、15‥是否警报判定部、16‥告知部、W‥目标(监视目标)、D2‥告知区域。

权利要求书(按照条约第19条的修改)

1.一种车辆周围监视装置，

其根据由摄像头得到的多个时间点的自车辆周围的摄影图像中所包含的步行者的全身像来检测监视目标，并向自车辆的驾驶员告知该监视目标存在于自车辆周围的情况，其特征在于，

具有警报处理部，当在过去的摄影图像中被检测到的监视目标从最新的摄影图像中未被检测到时，该警报处理部根据所述过去的摄影图像来推定该监视目标是否存在于实际空间上的告知区域，且当推定为该监视目标存在于该告知区域时告知所述驾驶员，其中所述告知区域被设定为：其被包含在所述摄像头的摄像范围内，并且自车辆的行进方向的长度比无法拍摄到所述步行者的全身像的距离短。

2.根据权利要求1所述的车辆周围监视装置，其特征在于，

当满足从所述过去的摄影图像被检测到的所述监视目标与自车辆在自车辆的行进方向上的距离为规定的第1距离以下的条件、和该监视目标与自车辆在自车辆的车宽方向上的距离为规定的第2距离以下的条件中的至少一方的条件时，所述警报处理部推定所述监视目标存在于所述告知区域。

3.根据权利要求1或2所述的车辆周围监视装置，其特征在于，

当在过去的规定期间内从摄影图像，该监视目标被检测到的次数为规定次数以上时，所述警报处理部推定所述监视目标存在于所述告知区域。

4.根据权利要求1～3中任一项所述的车辆周围监视装置，其特征在于，

当检测不到所述监视目标之后的经过时间在规定时间以内时，所述警报处理部推定所述监视目标存在于所述告知区域。

5.根据权利要求1～4中任一项所述的车辆周围监视装置，其特征在于，

所述警报处理部根据在所述过去的摄影图像中被检测到的监视目标相对于自车辆的相对速度，来推定当前的监视目标是否存在于所述告知区域。

6.一种车辆，其根据由摄像头得到的多个时间点的自车辆周围的摄影图像中所包含的步行者的全身像来检测监视目标，并向自车辆的驾驶员告知该监视目标存在于自车辆周围的情况，其特征在于，

具有警报处理部，当在过去的摄影图像中被检测到的监视目标从最新的摄影图像中未被检测到时，该警报处理部根据所述过去的摄影图像来推定该监视目标是否存在于实际空间上的告知区域，且当推定为该监视目标存在于该告知区域时告知所述驾驶员。

7.一种车辆周围监视方法，其根据由摄像头得到的多个时间点的自车辆周围的摄影图像中所包含的步行者的全身像来检测监视目标，并向自车辆的驾驶员告知该监视目标存在于自车辆周围的情况，其特征在于，

包含警报处理工序，当在过去的摄影图像中被检测到的监视目标从最新的摄影图像中未被检测到时，该警报处理工序根据所述过去的摄影图像来推定该监视目标是否存在于实际空间上的告知区域，且当推定为该监视目标存在于该告知区域时告知所述驾驶员。