车外环境识别装置的制作方法

本发明涉及确定存在于本车辆的行进方向的确定物的车外环境识别装置。

背景技术

以往，已知有检测位于本车辆的前方的车辆等立体物，并以避免与前行车辆碰撞(避撞控制)，或将与前行车辆之间的车间距保持在安全距离的方式进行控制(巡航控制)的技术(例如，专利文献1)。

另外，作为检测上述立体物的技术，公开了如下技术，即，参照拍摄本车辆的侧方而得到的图像图案，基于边缘的本车辆前后方向的对称性，检测与本车辆并行的并行车辆(例如，专利文献2)。

现有技术文献

专利文献

专利文献1：日本专利第3349060号公报

专利文献2：日本特开2008-134877号公报

技术实现要素：

技术问题

作为存在于本车辆的行进方向的确定物，包括同方向行驶的前行车辆和/或沿本车辆横向横穿行进道路的行人和自行车等。对于这样的横穿行进道路的行人和/或自行车等而言，期望通过其轮廓来判定像行人的程度或像自行车的程度。但是，通常，自行车的横穿速度高于行人，若等到能够确认自行车的整个轮廓，则在此期间本车辆与自行车的距离变短，作为避撞控制就会需要进行紧急动作。因此，谋求利用例如霍夫变换等来确定作为自行车的一部分的车轮(圆形)，由此更早期地确定自行车本身。

但是，在本车辆的行进方向存在多种多样的立体物，存在其形状、表面的着色近似于圆(车轮)的情况，并存在将实际上不是自行车的立体物误检测为自行车的车轮的情况。

本发明鉴于以上问题，其目的在于提供一种能够高精度地检测出自行车等确定物的车外环境识别装置。

技术方案

为了解决上述课题，本发明的车外环境识别装置具备：立体物区域确定部，其确定画面中的存在立体物的立体物区域；车轮区域确定部，其从立体物区域确定存在与自行车的车轮相当的车轮候选的车轮区域；以及车轮判定部，其判定车轮区域中的、与本车辆的相对距离处于预定范围的部位的面积比例是否小于预定值。

车轮判定部提取车轮候选的轴部候选和轮胎部候选作为部位，并且求出被提取的部位的面积比例。

车轮判定部导出车轮候选的轴部候选的半径rc、车轮候选的轮胎部候选的内周的半径rin、车轮候选的轮胎部候选的外周的半径rout，并且将(π(rc)²+π(rout²-rin²))/(2×rout)²作为面积比例。

技术效果

根据本发明，能够高精度地检测出自行车等确定物。

附图说明

图1是表示车外环境识别系统的连接关系的框图。

图2是用于说明亮度图像和距离图像的说明图。

图3是表示车外环境识别装置的大致功能的功能框图。

图4是表示车外环境识别处理的流程的流程图。

图5是用于说明立体物区域确定处理的说明图。

图6是用于说明车轮区域确定处理的说明图。

图7是用于说明车轮区域确定处理的说明图。

图8是用于说明车轮区域确定处理的说明图。

图9是用于说明车轮判定处理的说明图。

符号说明

120：车外环境识别装置

160：立体物区域确定部

162：车轮区域确定部

164：车轮判定部

166：自行车判定部

具体实施方式

以下，参考附图对本发明的优选的实施方式进行详细说明。该实施方式中所示的尺寸、材料、其他具体数值等只是用于易于理解发明的例示，除非有特别说明，否则并不限定本发明。应予说明，在本说明书和附图中，对于实质上具有相同的功能、结构的要素，通过标注相同的符号，从而省略重复说明，此外，对于与本发明没有直接关系的要素省略图示。

(车外环境识别系统100)

图1为示出了车外环境识别系统100的连接关系的框图。车外环境识别系统100构成为包括：拍摄装置110、车外环境识别装置120、和车辆控制装置(ecu：enginecontrolunit(发动机控制单元))130。

拍摄装置110构成为包括ccd(chargecoupleddevice：电荷耦合器件)和/或cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)等拍摄元件，能够拍摄本车辆1的前方的车外环境，生成至少包括亮度信息的亮度图像(彩色图像和/或黑白图像)。另外，拍摄装置110在本车辆1的行进方向侧，以两个拍摄装置110各自的光轴大致平行的方式在大致水平方向上分离地配置。拍摄装置110例如以1/60秒一帧(60fps)的方式连续地生成拍摄了存在于本车辆1的前方的检测区域的立体物的亮度图像。这里，由拍摄装置110识别的立体物不仅包括自行车、行人、车辆、信号灯、道路(行进道路)、道路标志、护栏、建筑物这样的独立存在的物体，还包括自行车的车轮等作为其一部分而能够确定的物体。

另外，车外环境识别装置120分别从两个拍摄装置110获得亮度图像，使用将与从一个亮度图像任意提取的区块(例如，水平4个像素×垂直4个像素的阵列)对应的区块从另一个亮度图像中进行检索的所谓图案匹配来导出包括视差和表示任意的区块在画面内的位置的画面位置的视差信息。这里，水平表示拍摄得到的图像的画面横向，垂直表示拍摄得到的图像的画面纵向。作为该图案匹配可以考虑在一对图像之间以任意的区块单位比较亮度(y)。例如，有以下方法，即取亮度的差值的sad(sumofabsolutedifference：绝对差值之和)，将差值平方后使用的ssd(sumofsquaredintensitydifference：差值平方之和)，获取从各像素的亮度中减去平均值而得到的分散值的相似度的ncc(normalizedcrosscorrelation：归一化互相关)等。车外环境识别装置120对映出在检测区域(例如，600个像素×200个像素)的所有的区块进行这样的区块单位的视差导出处理。这里，将区块设为4个像素×4个像素，但区块内的像素数可以任意设定。

但是，在车外环境识别装置120中，虽然能按作为检测分辨率单位的每个区块而导出视差，但不能够识别该区块是哪个对象物的一部分。因此，视差信息不是以对象物单位，而是以检测区域中的检测分辨率单位(例如区块单位)而独立地被导出。这里，将与这样导出的视差信息相对应的图像与上述亮度图像进行区分而称为距离图像。

图2是用于说明亮度图像126和距离图像128的说明图。例如，通过两个拍摄装置110，针对检测区域124生成了图2(a)那样的亮度图像126。但是，这里，为了便于理解，仅对2个亮度图像126中的一个示意性地表示。车外环境识别装置120根据这样的亮度图像126求出每个区块的视差，形成图2(b)那样的距离图像128。在距离图像128中的各区块中，被关联有该区块的视差。这里，为便于说明，用黑点表示被导出了视差的的区块。

另外，车外环境识别装置120使用基于亮度图像126的亮度值(颜色值)以及基于距离图像128算出的、包括与本车辆1的相对距离在内的实际空间中的三维位置信息，将颜色值相等且三维位置信息接近的区块之间作为对象物进行分组，而确定本车辆1前方的检测区域中的对象物是否与某个确定物(例如，前行车辆、自行车)对应。另外，若这样地确定了立体物，则车外环境识别装置120以避免与立体物碰撞(避撞控制)、或将与前行车辆之间的车间距保持在安全距离的方式控制本车辆1(巡航控制)。应予说明，上述相对距离通过使用所谓立体法将距离图像128中的每个区块的视差信息转换为三维位置信息而求出。这里，立体法为通过三角测量法，根据对象物的视差导出该对象物相对于拍摄装置110的相对距离的方法。

车辆控制装置130通过方向盘132、加速踏板134和制动踏板136来接收驾驶员的操作输入，并将驾驶员的操作输入传递至转向机构142、驱动机构144和制动机构146，从而控制本车辆1。另外，车辆控制装置130根据车外环境识别装置120的指示控制转向机构142、驱动机构144和制动机构146。

如上所述，在车外环境识别系统100中，确定了沿本车辆横向横穿行进道路的行人和自行车等。关于这样的横穿行进道路的行人、自行车等，期望通过其轮廓来判定像行人的程度、像自行车的程度。但是，自行车的横穿速度高于行人，若等到能够确认自行车的整个轮廓，则在此期间本车辆1与自行车的距离变短，作为避撞控制就会需要进行紧急动作。

因此，期望在自行车从亮度图像外进入到亮度图像内时，在掌握了自行车的一部分的时刻，迅速地识别是自行车的可能性，提高响应性。因此，例如，通过在作为自行车的一部分的车轮(前轮)出现在画面的时刻，根据其形状(圆形)适当判定像车轮的程度，从而能够迅速地检测出自行车并且进行稳定的避撞控制。但是，在本车辆1的行进方向存在多种多样的立体物，存在其形状、表面的着色近似于圆(车轮)的情况，并存在将实际上不是自行车的立体物误检测为自行车的车轮的情况。因此，在本实施方式中，其目的是使用距离信息来高精度地检测出自行车等确定物。

以下，对用于实现这样的目的的车外环境识别装置120的构成进行详细描述。这里，对本实施方式中特征性的本车辆1前方的检测区域中的立体物(例如，自行车的车轮)的确定处理进行详细说明，省略说明与本实施方式的特征无关的构成。

(车外环境识别装置120)

图3是表示车外环境识别装置120的大致功能的功能框图。如图3所示，车外环境识别装置120构成为包括：i/f部150、数据保持部152、中央控制部154。

i/f部150是用于与拍摄装置110和车辆控制装置130进行双向信息交换的接口。数据保持部152由ram、闪速存储器、hdd等构成，并保持以下示出的各功能部的处理所需要的各种信息。

中央控制部154由包括中央处理装置(cpu)、存储有程序等的rom、和作为工作区的ram等的半导体集成电路构成，并通过系统总线156控制i/f部150、数据保持部152等。另外，在本实施方式中，中央控制部154也作为立体物区域确定部160、车轮区域确定部162、车轮判定部164、自行车判定部166而发挥作用。以下，基于该中央控制部154的各功能部的动作，对本实施方式中特征性的识别自行车的车外环境识别处理进行详细描述。

(车外环境识别处理)

图4是表示车外环境识别处理的流程的流程图。在车外环境识别处理中，首先，立体物区域确定部160执行从画面确定存在立体物的立体物区域的立体物区域确定处理(s200)，车轮区域确定部162执行从立体物区域确定存在与自行车的车轮相当的车轮候选的车轮区域的车轮区域确定处理(s202)。然后，车轮判定部164执行针对每个确定的车轮区域，基于距离信息，判定车轮区域中的、与本车辆1的相对距离处于预定范围的部位的面积比例是否小于预定值的车轮判定处理(s204)，并执行确认是否对于全部的多个车轮区域判定了像车轮的程度的完成确认处理(s206)。最后，自行车判定部166基于车轮判定处理的结果，执行判定该立体物是否为自行车的自行车判定处理(s208)。

(立体物区域确定处理s200)

图5是用于说明立体物区域确定处理s200的说明图。立体物区域确定部160参照拍摄装置110所生成的连续的(分时的)多个亮度图像126，根据生成时刻不同的亮度图像126彼此的差值，检测满足从亮度图像126外进入到亮度图像126内的预定的条件的立体物210。这里，预定的条件是指在距离图像128中该立体物210相对于本车辆1的相对距离在预定距离(例如15m)以内、距离地面的高度在预定高度(例如2m)以内。

并且，如图5所示，若该立体物210的水平方向的宽度、即亮度图像126的右端部126a与立体物210的左端部210a的差值达到预定的检测宽度，则立体物区域确定部160将亮度图像126上的预定的范围、这里为将立体物210容纳在图像内的矩形的区域确定为立体物区域212。另外，此时，将沿着立体物210的左端部210a相对于亮度图像126的右端部126a的水平方向的方向作为立体物210的移动方向。因此，如图5所示，在立体物210位于亮度图像126的右侧的情况下，移动方向为向左，在立体物210位于亮度图像126的左侧的情况下，移动方向为向右。

应予说明，将立体物区域212的确定等到立体物210的宽度成为预定的检测宽度为止是为了在本实施方式中确保识别作为目的的车轮所必要的大小。

(车轮区域确定处理s202)

图6～图8是用于说明车轮区域确定处理s202的说明图。车轮区域确定部162基于立体物210的移动方向，从立体物区域确定部160所确定的立体物区域212，确定存在与自行车的车轮相当的车轮候选的车轮区域214。具体地，如图6(a)所示，若立体物210的移动方向为向左，则车轮区域确定部162以立体物区域212的左端部212a和立体物区域212的下端部212b为基准，将一边为预定的大小的正方形区域确定为车轮区域214，如图6(b)所示，若立体物210的移动方向为向右，则车轮区域确定部162以立体物区域212的右端部212c和立体物区域212的下端部212b为基准，将一边为预定的大小的正方形区域确定为车轮区域214。应予说明，预定的大小为相对于被假定为自行车车轮大小的，例如，27英寸(约69cm)的车轮，加入了基于检测误差的余量(例如，3英寸)而得到的大小。应予说明，表示本说明书中的27英寸等大小的指标分别为将画面中的大小(像素数)等基于相对距离换算为实际的大小而得。

接着，车轮区域确定部162利用霍夫变换确定车轮区域214内所包括的车轮的外形，并且以使车轮区域214的宽度和高度等于车轮外形的宽度和高度的方式再次确定车轮区域214。这里，霍夫变换为从亮度图像126上的具有边缘的特征点中，对可能存在对象的中心的点进行投票，并检测出得票数多(成为预定值以上)的对象的技术。这样在本实施方式中，虽然对霍夫变换进行了特别说明，但不依赖于霍夫变换，可以使用除霍夫变换以外的模板匹配、最小二乘法等已知的各种形状识别方法。

说明霍夫变换的处理步骤。这里，如图7(a)所示，从亮度图像126提取出了具有边缘的3个像素220c、220d、220e。该3个像素220c、220d、220e本来为圆形的车轮的一部分，但通常根据亮度图像126无法明确地确定为圆形。

霍夫变换是根据多个点检测圆或直线等几何形状的方法，理论依据为通过任意像素并且半径为n的圆的中心存在于以该任意像素为中心的半径为n的圆周上。例如，通过图7(a)的3个像素220c、220d、220e的圆222的中心位于分别以3个像素220c、220d、220e为中心的圆周上。但是，仅通过边缘的信息无法确定该半径n，因此准备不同的多个阶段的半径n，对以3个像素220c、220d、220e为中心的多个阶段的半径n的圆上的像素进行投票，若得票数成为预先确定的预定值以上，则将半径n和中心确定为车轮。

例如，如图7(b)、图7(c)、图7(d)所示，以3个像素220c、220d、220e为中心，形成不同的半径n＝10英寸(直径20英寸)、12英寸(直径24英寸)、13.5英寸(直径27英寸)的圆，对该圆的轨迹所包括的像素进行投票(关联单位指标)。于是，在图7(b)中，在2个像素224得票数为2(关联两个单位指标)。另外，在图7(c)中，在3个像素224得票数为2，在1个像素226得票数为3。同样地，在图7(d)中，在6个像素224得票数为2。

此时，得票数为3(预定值以上)的只有像素226，可以将该像素226作为通过3个像素220c、220d、220e的圆的中心，并将导出该像素226时的半径n＝12英寸确定为通过3个像素220c、220d、220e的圆的半径。这样，如图7(e)所示，通过3个像素220c、220d、220e的圆228被确定。这里，为了便于说明，列举3个像素220c、220d、220e进行了说明，但由于存在圆228不包含的像素成为特征点，或因像素化(离散化)而出现在与本来的位置不同的位置的像素成为特征点的情况，因此为了避免这样的噪音的影响，实际上将大量的点用于投票并且利用数量原理进行稳定的检测。

在本实施方式中，由于没有根据亮度图像126随机地进行霍夫变换，而仅将在上述的车轮区域确定处理s202和/或车轮判定处理s204中确定的车轮区域214作为霍夫变换的对象，因此能够降低霍夫变换的处理次数而实现缩短处理时间。

并且，如图8所示，若立体物210的移动方向为向左，则车轮区域确定部162在确定的车轮区域214中将左端部214a和车轮区域214的下端部214b作为基准，将一边为确定的半径n的2倍(例如，24英寸)的正方形区域重新再次确定为车轮区域214，并且将该车轮区域214的中央设为车轮区域214所包括的车轮的中心216。这样，车轮区域214的宽度和高度等于车轮外形的宽度和高度。

(车轮判定处理s204)

图9是用于说明车轮判定处理s204的说明图。车轮判定部164对再次确定的车轮区域214，判定车轮区域214中所包括的立体物是否为车轮、即像车轮的程度。这里，描述自行车的车轮的特征。自行车的车轮在中央的轴部、轮胎部具有一定程度的大小，因此可得到该部位的距离信息。另一方面，连结轮胎部和轴部的辐条在画面上的占有面积小，多数情况下在该部位只能识别出无法取得距离信息的背景，而无法获得有用的距离信息。因此，可以说在车轮区域214的中央附近(辐条所处的部分)不包含距离信息的情况下，或者，在车轮区域214的中央附近(辐条所处的部分)只能获得相当于背景的距离信息的情况下，为车轮的可能性高。另一方面，就圆形的道路标志等而言，由于与圆形的位置同样地其中央附近也具有距离信息，因此能够判定为不是车轮。因此，在本实施方式中，通过导出车轮区域214中的、与本车辆1的相对距离处于预定范围的部位(这里为轮胎部)的占有面积的比例来判定像车轮的程度。

具体地，车轮判定部164提取出在距离图像128上与本车辆1的相对距离处于预定范围(例如，10m～20m)的部位。于是，例如，图9(a)所示的车轮区域214中的辐条部分被排除在外，如图9(b)所示，只提取出车轮的轴部218a和轮胎部218b。应予说明，这里，为便于说明，示意性地表示图9(b)。

然后，车轮判定部164基于轴部218a和轮胎部218b的边缘，导出车轮的轴部218a的半径rc、车轮的轮胎部218b的内周的半径rin和外周的半径rout。这里，可以基于圆周的任一部位的边缘导出半径，也可以求出圆周上的多个部位的半径，并将其平均值作为代表半径。这样，若将车轮的轴部218a的半径设为rc，则轴部218a的面积成为π(rc)²，若将车轮的轮胎部218b的内周的半径设为rin、外周的半径设为rout，则轮胎部218b的面积成为π(rout²-rin²)。因此，提取出的部分的面积成为π(rc)²+π(rout²-rin²)。另外，车轮区域214的面积根据(2×rout)²求出。

然后，车轮判定部164将提取出的部分的面积除以车轮区域214的面积，即导出(π(rc)²+π(rout²-rin²))/(2×rout)²，而求出提取出的部分的面积比例。若该面积比例小于预定值(例如，0.5)，则将该车轮区域214中包含的立体物判定为车轮。这里作为预定值(阈值)列举了0.5，但可以根据试验、实际效果而采用任意的值。

应予说明，为便于说明，这里，列举基于车轮区域214中的、与本车辆1的相对距离处于预定范围的部位的面积比例来判定像车轮的程度的例子进行了说明，但为了进一步正确地判定像车轮的程度，车轮判定部164可以采用其它各种判定方式。例如，也可以利用车轮区域214中的、与本车辆1的相对距离处于预定范围的部位的大小、相当于轴部218a和/或轮胎部218b的部位的大小及它们之比、车轮区域214的移动速度及其均匀性等来判定像车轮的程度。

(完成确认处理s206)

车轮判定部164确认是否对提取出的全部多个车轮区域214判定了像车轮的程度。其结果，若对全部多个车轮区域214判定了像车轮的程度，则将处理转移到自行车判定处理s208，若未对全部车轮区域214判定像车轮的程度，则再将未判定像车轮的程度的车轮区域214作为对象而将处理转移到车轮判定处理s204。

(自行车判定处理s208)

若车轮判定部164判定为车轮区域214中包括的立体物为车轮(为车轮的可能性高)，则自行车判定部166还基于其它信息，综合地将在移动方向下部具有该车轮区域214的立体物区域212所包含的立体物210判定为自行车(正确地说为人正在骑行的自行车)。

这样若立体物210被确定为自行车，则车外环境识别装置120为了避免与立体物210的碰撞，执行避撞控制。

在本实施方式中，由于基于车轮区域214中的、与本车辆1的相对距离处于预定范围的部位的面积比例来判定像车轮的程度，因此能够高精度地检测出自行车等确定物。应予说明，这里，利用车轮区域确定处理s202使车轮区域214的宽度和高度与车轮外形的宽度和高度相等，因此在车轮判定处理s204中能够高精度地导出面积比例。

另外，还提供使计算机作为车外环境识别装置120起作用的程序、存储有该程序的可以通过计算机读取的软盘、磁光盘、rom、cd、dvd、bd等存储介质。这里，程序是指通过任意的语言和/或描述方法而描述得到的数据处理手段。

以上，参考附图对本发明的优选实施方式进行了说明，但毋庸置疑本发明不限于上述实施方式。应该理解的是，本领域技术人员在权利要求书所记载的范畴内能够想到各种变形例或修正例是显而易见的，这些当然都属于本发明的技术范围。

例如，在上述的实施方式中，作为车轮区域214，列举说明了各边分别为27英寸+余量而成的正方形，但也可以任意地设定其大小、个数、形状。

另外，在上述的实施方式中，列举出了如下例子进行说明，即，导出将提取出的部分的面积除以车轮区域214的面积而得的值(π(rc)²+π(rout²-rin²))/(2×rout)²，并且若提取出的部分的面积比例小于预定值(例如，0.5)，则将该车轮区域214中包括的立体物判定为车轮。但是，不限于上述情况，只要是导出基于距离信息与本车辆1的相对距离处于预定范围的部位的面积比例即可，例如，通过对提取出的部分的区块和/或像素进行计数并且将其除以车轮区域214的面积也能够导出面积比例。

另外，在上述的实施方式中，列举说明了通过判定像车轮的程度来确定作为确定物的自行车的例子，但也可以适用于具有车轮的摩托车、汽车。

应予说明，本说明书的车外环境识别处理的各工序不一定要按照作为流程图所记载的顺序以时间顺序进行处理，也可以包括并列的或子程序的处理。

工业上的可利用性

本发明能够用于确定存在于本车辆的行进方向的确定物的车外环境识别装置。