图像处理装置的制作方法

1.本发明涉及例如用于自身车辆附近的环境中的基于图像的障碍物检测和识别的车载用图像处理装置。


背景技术：

2.近年来，为了检测附近的移动物体和静态物体(障碍物)，使用了使用图像的物体检测装置。
3.上述基于图像的物体检测装置可以用于检测侵入或异常的监视系统、或者辅助汽车的安全驾驶的车载系统的用途。
4.在车载用途中，这种装置被设计成向驾驶员显示周围环境和/或检测车辆周围的移动物体或静态物体(障碍物)，通知驾驶员车辆与障碍物碰撞的潜在风险，并基于决定系统自动停止车辆以避免车辆与障碍物碰撞。
5.作为这样的物体检测装置，例如公知有对拍摄车辆周围的图像进行鸟瞰转换，并使用时间上不同的两个鸟瞰转换图像(以下也称为鸟瞰图像)的差分来检测障碍物的装置(参照专利文献1、2)。现有技术文献专利文献
6.专利文献1：日本专利第6003986号公报专利文献2：日本特开2016-134764号公报


技术实现要素：

发明要解决的问题
7.但是，上述专利文献1、2所记载的装置在检测障碍物时，使用时间上不同的两个鸟瞰转换图像的差分。
8.因此，在自身车辆和对象障碍物处于碰撞路径、自身车辆和对象障碍物(行人等)接近碰撞点的速度相同、因此在它们到达碰撞点之前对象障碍物与自身车辆的相对角度保持相同的情景下使用该系统时，在由搭载在自身车辆上的传感器获取的图像上产生对象障碍物的运动最小的效果，由此，会减少由传感器取得的图像间的差异量，因此，有可能产生误检测或错误的物体检测结果，降低系统的可靠性。
9.本发明是鉴于上述情况而完成的，本发明的目的在于提供一种用于障碍物检测和识别的图像处理装置，即使对象移动障碍物相对于自身车辆的相对角度保持一定，也能够适当地对对象移动障碍物的差分数据进行聚类(分组)，即使如碰撞路径的情景那样，对象障碍物的差分数据减少，也能够提高障碍物的检测和识别的可靠性。解决问题的技术手段
10.为了实现上述目的，本发明的图像处理装置是检测图像中映出的周围物体的图像处理装置，具有：图像差分计算部，其计算时刻不同的多个鸟瞰图像的差分数据；差分数据
聚类部，其对所述差分数据进行聚类；集群结合部，其使用所述差分数据聚类部的结果，根据所述鸟瞰图像的特征来将集群彼此结合；集群结合判定部，其根据对象物体的特征来判定所述集群结合部的结合结果。发明的效果
11.本发明的图像处理装置通过采用该构成，使用集群结合部结合差分数据集群，接着使用集群结合判定部判定为执行了适当的结合，由此，即使对象障碍物的差分数据减少，也能够通过适当地对对象移动障碍物的差分数据进行聚类(分组)来进行障碍物检测，因此，能够提高障碍物检测以及识别的可靠性乃至精度，因此，即使在碰撞路径的情景下，也能够避免错误的障碍物检测。
12.根据本发明，对对象移动障碍物的差分数据进行聚类(分组)，结合差分数据集群，判定为执行了适当的集群结合，由此，即使在对象障碍物的差分数据减少时，也能够提高障碍物检测以及识别的可靠性乃至精度。
13.上述以外的课题、构成及效果通过以下的实施方式的说明而得以明确。
附图说明
14.图1是本发明一实施方式的图像处理装置的概略构成图。图2是说明在示例性情景中由传感器获取并且由图像转换部进行了转换的图像空间以及由图像差分计算部计算出的差分的图。图3是表示自身车辆和对象行人向碰撞点移动的状况的两个不同的期间的图，(a)是表示以前的期间的图，(b)是表示当前的期间的图。图4是说明自身车辆和对象行人向碰撞点移动的状况的差分图像(差分数据)计算的图。图5是说明自身车辆和对象行人向碰撞点移动的状况的差分数据分组化的图。
具体实施方式
15.以下，参照附图说明本发明的图像处理装置的优选实施方式。
16.参照图1～图5，对本实施方式的图像处理装置110的构成和动作进行说明。虽然省略了图示，但图像处理装置110是cpu、ram、rom等经由总线连接的构成，cpu通过执行存储在rom中的各种控制程序来控制系统整体的动作。
17.在以下说明的构成中，2台摄像机传感器(以下有时简称为摄像机或传感器)作为单个车载立体摄像机而成为一对，与感测部111对应。然而，这并不是限制单个单眼摄像机是在作为感测部111而使用的其它构成中使用的装置。
18.图1是示出本发明一实施方式的图像处理装置的构成的框图。本实施方式的图像处理装置110例如是搭载在车辆(自身车辆)上，对由摄像机传感器(感测部111)拍摄的周围的图像进行鸟瞰转换，使用在时间上(时刻)不同的多个鸟瞰转换图像(鸟瞰图像)的差分来检测和识别障碍物(映在图像上的周围的物体)的装置。
19.在图1中，图像处理装置110具备：包含位于相同高度的两个摄像机传感器的感测部111、图像获取部121、图像转换部131、图像差分计算部141、差分数据聚类部151、集群结合部161、集群结合判定部171、障碍物检测部181以及控制应用处理部191。
20.(图像获取部)图像获取部121处理由对应于感测部111的两个摄像机传感器中的一个或两个所获取的图像，以调整图像特性用于进一步处理。该处理可以包括但不限于能够缩小或放大输入图像以改变作为结果的图像尺寸的图像分辨率调整，以及从原来的输入图像裁剪(修剪)输入图像的特定区域以用于进一步处理的图像关心区域选择。可以基于当前驾驶环境和条件(速度、旋转速度等)来控制用于图像分辨率调整和图像关心区域选择的参数。
21.(图像转换部)图像转换部131具有根据预先计算或调整的特定的几何学式或转换表，进行由图像获取部121获取及处理的图像的几何学图像转换的功能。这种图像转换可以包括但不限于旋转、放大缩小、剪切和参考平坦地面的鸟瞰图像转换等仿射变换。
22.例如，如图2所示，获取到的图像ct21和ct22被图像转换部131转换，结果成为鸟瞰转换图像ct31和鸟瞰转换图像ct32。
23.(图像差分计算部)图像差分计算部141具有计算表示由图像转换部131转换的时刻不同的至少两个图像之间的差异的差分图像的功能。可以将包括但不限于简单的像素间差分计算和基于滤波器的图像差分计算的已知方法应用于差分计算。
24.例如，如图2所示，表示能够从行人p0产生的差分数据p0d和能够从规定的物体ob0产生的差分数据ob0d的差分图像ct41，基于与以前的期间对应的鸟瞰转换图像ct31和与当前的期间对应的鸟瞰转换图像ct32，并且在执行图像差分计算处理之前，为了调整/对位图像而使用自身车辆的运动数据，由此由图像差分计算部141计算。
25.(差分数据聚类部)差分数据聚类部151具有对由图像差分计算部141计算的差分图像的像素进行聚类(分组)的功能。考虑点(像素)之间距离的已知聚类方法可用于该任务(例如k-means算法)。因此，结果是相互接近的、可以表示道路上的对象障碍物的差分像素(差分数据)的集群(参见图4和图5以及图2)。
26.(集群结合部)集群结合部161具有基于集群组和差分图像的特性，将由差分数据聚类部151生成的差分数据的集群彼此结合(组合)的功能。例如，(在差分图像上)相对于自身车辆处于相同放射状位置的各个集群由于具有属于相同的对象障碍物的倾向,在满足规定条件集(例如，规定尺寸或像素数)的情况下，将其结合成单个组。还可以包括结合集群彼此的其它方法。
27.(集群结合判断部)集群结合判定部171具有判定集群结合部161进行的多个集群结合的可靠性的功能。原则上，该判定是基于对象障碍物的可观测特征(例如，在对象是行人的情况下，为能够执行的尺寸/形状)的规定条件集来进行的。作为结果，该判定成为集群结合部161进行的结合操作的有效化或取消。如果结合操作有效，则由集群结合部161结合的集群(的结合)保持原样。当取消了结合操作时，由集群结合部161结合的集群被分离，返回到集群结合部161进行的操作之前的原来的状态。
28.作为示例性的判定，如针对系统聚焦于检测的与对象障碍物类别相对应的识别器
(例如行人识别器)进行规定的结合集群的测试，并且可以根据作为结果的识别分数来使结合集群有效化或取消。可以使用其他方法，例如像素亮度分析和结合的集群之间的比较，或者边缘(图像中亮度急剧变化的像素)分析和结合的集群之间的比较。还可以包括用于判断多个集群结合的其他方法。
29.(障碍物检测部)障碍物检测部181具有如下功能：使用图像获取部121获取到的图像、图像差分计算部141计算出的差分图像、差分数据聚类部151的结果、以及根据集群结合判定部171的结果而被有效化的集群结合部161的结果，检测图像中映出的立体物，并计算其位置。
30.注意，在本说明书中，“障碍物检测”至少指执行下面的任务的处理。即，对象物体检测(图像空间内的位置)、对象物体识别(汽车/车辆、二轮车、自行车、行人、杆等)、三维空间中自身车辆到对象物体的距离测定、对象物体的速度/快慢的计算。
31.(控制应用处理部)控制应用处理部191具有根据由障碍物检测部181识别出的障碍物来决定搭载有该图像处理装置110的车辆所执行的控制应用的功能。
32.在此，参照图3的(a)、(b)说明将图像处理装置110作为监视车辆v的周围的系统而应用的情况。图3的(a)、(b)表示图3的(b)在图3的(a)之后发生的、用已知的期间划分的不同的时间帧的情景。从上面看到的场景分别由ct11和ct12表示，在由与感测部111对应的传感器获取到的图像中看到的场景分别由ct21和ct22表示，由图像转换部131转换、获取的场景的图像分别由ct31和ct32表示。
33.在以下说明的情况下，车辆v和行人p1向碰撞点cp1(交叉路口等)以相同速度移动，由此，即使在车辆v和行人p1随着接近碰撞点cp1而x1(p1～cp1)、z1(v～cp1)、以及x2(p1～cp1)、z2(v～cp1)所示的距离减少的情况下，如图3的(a)中角度(θ1)和图3的(b)中角度(θ2)所示，车辆v和行人p1之间也成为一定的相对角度。行人p1相对于车辆v的位置变化在ct11和ct12的坐标中清楚可见，但是行人p1和车辆v之间的一定的相对角度的影响反映在由ct21和ct22所示的传感器(感测部111)获取到的图像以及由ct31和ct32所示的它们的相应转换的双方所显示的最小运动中，并且随后影响由图像差分计算部141所计算的差分图像。
34.(图像差分计算部的处理例)图4示出图像差分计算部141的结果的一例。在图4中，来自旧期间的数据(ct31)首先与来自新期间的数据(ct32)对齐，并且基于已知方法例如基于滤波器的图像差分执行图像差分计算。例如，可以实现基于相邻像素差分滤波器得分的简单方法来计算两个鸟瞰图像之间的差分。比较(例如，倾斜地分离的)滤波器中的基准像素的相邻像素对，计算它们的亮度差，然后比较针对同一基准像素上的两个不同图像的滤波器结果，计算最终值的差分计数。在该简单的方法中，值的差分计数越多，两个图像之间的差分越大，因此可以将这样的差与图像内的运动相关联。因此，对值的差分计数设置阈值能够认为是可靠的差分，并且可以执行噪声去除。然后，在噪声去除之后，所得到的差分图像被准备用于进一步处理。
35.另外，在像素比较中使用的配置被称为滤波器。定义滤波器的被分析像素的形状、数量和比较方向(例如，倾斜、水平、垂直等)可以基于应用来调整。
36.在去除噪声之前的差分图像的示例性结果由ct41表示，并且可以看出，在如上所
述的情景中，只有行人p1的特定部分看起来在两个不同的期间获取到的数据之间移动(在该情况下，上半身和下半身以及中间的非常低的差分计数的、例如，低差分计数的一些像素部分)。另外，在ct41中，与像素对应的四边形的大小表示图像间的差分的大小(强弱)。
37.(差分数据聚类部、集群结合部、集群结合判定部的处理例)接着，基于图5说明差分数据聚类部151、集群结合部161以及集群结合判定部171执行的任务。差分数据聚类部151执行的任务的结果(这里是去除噪声后)由ct411表示，根据考虑了相对于各差分像素间的集群中心候选的(图像空间的)距离的聚类方法，对差分数据像素进行分组，在所说明的情景中，成为由集群(gr1)(例如对应于行人p1的上半身)和集群(gr2)(例如对应于行人p1的下半身)表示的两个不同的集群。
38.集群结合部161执行的任务的结果由ct412表示，集群(gr1)以及集群(gr2)基于集群组以及差分图像的特性而结合为一个结合的集群(以下也称为集群组)(gr11)。该特性可以包括但不限于存在于在去除噪声之前结合的集群(s12)之间的低差分计数像素(即，多个鸟瞰图像之间的亮度差小于规定值的像素)的量(参见图4中的ct41)、候选集群之间的空间(间隔)、以及各集群相对于车辆位置(更具体地，摄像机位置)(由ct412的坐标的底部中心表示)的角度的相似性中的至少一个。集群(gr11)可以认为是在图像转换部131(将平坦的地面作为基准的鸟瞰图像转换)转换的图像所表示的空间中，从车辆v以规定的距离站在地面的相同对象障碍物的一部分。
39.然后，集群结合判定部171将集群组(gr11)作为用于判定处理的输入。例如，计算对应于由传感器捕获的图像中的集群组(gr11)的尺寸和位置的边界框(例如，图3的(b)的ct22中的边界框)，并且使用一个或多个先前训练的识别器处理该边界框内的数据以识别对象障碍物(成人行人、儿童行人、自行车等)，并且使用一个或多个识别器的结果来判断集群组(gr11)是有效集群的组合，还是集群组(gr11)被取消并且被分离成原来的集群(gr1)和集群(gr2)。用于判断集群结合的结果的另一示例性度量是例如由图像转换器131转换的图像上的结合的组间的亮度差以及它们之间的空间(间隔)的评价。评价结合结果的其它方法不仅是这种方法的组合，而且与上述方法同样地地使用。集群结合判定部171执行的任务的结果由ct413(有效时)、ct414(被取消时)表示，在ct413中，集群组(gr11)被原样维持，在ct414中，集群组(gr11)被分离为原来的集群(gr1)和集群(gr2)。
40.通过使用集群结合判定部171的结果，能够在碰撞点cp1(交叉点等)附近进行图像中映出的立体物检测以及位置计算，能够决定车辆执行的控制应用。
41.如上所述，图1所示的本实施方式的用于障碍物检测和识别的图像处理装置110具备：感测部111，其能够捕获安装有该装置的设备之前的场景的图像；图像获取部121，其处理由感测部111获取到的图像并调整其特性(包括但不限于图像尺寸、图像分辨率和图像关心区域)；图像转换部131，其对由图像获取部121获取并处理后的图像执行所希望的几何学图像转换；图像差分计算部141，其计算差分图像，该差分图像表示由图像获取部121进行获取及处理、并由图像转换部131转换后的至少两个图像之间的差分；差分数据聚类部151，其对由图像差分计算部141计算出的差分图像，使用规定的
聚类方法在像素水平上进行数据聚类(分组)，生成有可能表示自身车辆附近环境的障碍物的聚类(组)的列表；集群结合部161，其对由差分数据聚类部151计算的数据执行数据结合，以便能够根据它们的特性将两个以上的集群结合为单个的集群组；集群结合判定部171，其基于规定的条件集，判定由集群结合部161计算的集群结合结果，并判断结合结果是否有效；障碍物检测部181，其使用由图像获取部121获取到的图像、以及差分数据聚类部151、集群结合部161以及集群结合判定部171的结果，进行物体检测以及物体识别；以及控制应用处理部191，其基于至少可以包括来自障碍物检测部181的输出的当前状态，决定由具备图像处理装置110的设备执行的控制应用。
42.即，本实施方式的图像处理装置110具有：图像差分计算部141，其计算时刻不同的多个鸟瞰图像的差分数据；差分数据聚类部151，其对所述差分数据进行聚类；集群结合部161，其使用所述差分数据聚类部151的结果，根据所述鸟瞰图像的特征来将集群彼此结合；以及集群结合判定部171，其根据对象物体的特征来判定所述集群结合部161的结合结果。
43.通过采用上述处理，即使在候选组之间存在因图像平面的观测到的运动的缺乏而产生的空闲空间的情况下，也能够将与行人p1对应的全部差分数据分组。因此，即使在车辆v和行人p1以相同的速度向碰撞点cp1移动的情况下，也能够正确地检测和识别行人p1，提高系统的稳定性和可靠性。
44.以上，说明了本实施方式的用于障碍物检测和识别的图像处理装置110的构成和动作。本实施方式的图像处理装置110在交叉点附近等，即使对象移动障碍物相对于自身车辆的相对角度保持一定，也能够通过适当地对对象移动障碍物的差分数据进行聚类(分组)，提高障碍物识别的可靠性，同时能够降低错误的物体检测率，提高物体检测的精度，提高行驶安全性。
45.虽然已经说明书了本发明的目前预期的优选实施例，但是可以对本实施例进行各种修改，并且在本发明的真实精神和范围内的所有修改都旨在落入所附权利要求的范围内。
46.另外，本发明不限于上述实施方式，还包括各种变形方式。例如，上述实施方式是为了容易理解地说明本发明而详细说明的方式，不一定限定于具备所说明的全部构成的方式。
47.另外，上述的各构成、功能、处理部、处理方式等也可以通过例如由集成电路设计它们的一部分或全部等而由硬件来实现。另外，上述的各构成、功能等也可以通过处理器解释并执行实现各自的功能的程序而通过软件来实现。实现各功能的程序、表、文件等信息可以放置在存储器、硬盘、ssd(solid state drive)等存储装置、或者ic卡、sd卡、dvd等记录介质中。
48.另外，控制线和信息线表示在说明上被认为是必要的，在产品上不一定示出全部的控制线和信息线。实际上，可以认为几乎所有的构成都相互连接。符号说明
49.110 图像处理装置111 感测部
121 图像获取部131 图像转换部141 图像差分计算部151 差分数据聚类部161 集群结合部171 集群结合判定部181 障碍物检测部191 控制应用处理部。