本发明涉及一种确定存在于本车辆的行进方向上的立体物的车外环境识别装置及车外环境识别方法。
背景技术：
以往，已知如下技术(例如，专利文献1)：检测位于本车辆的前方的车辆等立体物，并进行控制，从而避免与前行车辆的碰撞(碰撞回避控制)，或者将与前行车辆之间的车间距离保持为安全距离(巡航控制)。
现有技术文献
专利文献
专利文献1：日本专利第3349060号公报
技术实现要素：
技术问题
为了实现上述碰撞回避控制和/或巡航控制，不得不掌握车辆前方的车外环境，适当地确定存在于本车辆的行进方向上的立体物，判定该立体物是否是前行车辆等特定物。为了适当地确定立体物，例如，考虑使用通过立体图像处理生成的距离图像，将三维位置彼此相邻的区块作为立体物的背面或侧表面而分组化，将背面和侧表面配对为同一立体物。
但是，如果由于因距离图像中的相对距离的测定误差和/或错配所导致的噪声而使得构成背面或侧表面的区块摇摆，则不能适当地配对背面和侧表面，很难将它们稳定地确定为同一立体物。
本发明鉴于这样的课题，其目的在于，提供一种通过适当地配对背面和侧表面，从而能够提高立体物的确定精度的车外环境识别装置及车外环境识别方法。
技术方案
为了解决上述课题，本发明的车外环境识别装置使计算机作为位置导出部、分组化部、配对部而发挥功能，所述位置导出部将从拍摄装置获取的图像中的各区块的三维位置导出，所述分组化部将各区块分组化并确定立体物候补，所述配对部将立体物候补投影到水平面上，基于相对于深度方向的角度而区分为背面和侧表面，如果侧表面和背面之间的关系满足预定条件，则配对为同一立体物。
在水平面上，背面与侧表面之间的端点间的距离短的情况可以比长的情况更容易满足预定条件。
在水平面上，背面的速度向量与侧表面的速度向量之间的差值向量短的情况可以比长的情况更容易满足预定条件。
在水平面上，背面的近似直线和侧表面的近似直线的交点与背面的交点侧的端点之间的距离短的情况可以比长的情况更容易满足预定条件。
在水平面上，背面的近似直线和侧表面的近似直线的所成角度接近90度的情况可以比远离90度的情况更容易满足预定条件。
配对部可以将背面的近似直线与侧表面的近似直线之间的交点、背面的与交点侧相反的端点、以及侧表面的与交点侧相反的端点中的至少任一个校正为实测值与预测值之间的中间点。
为了解决上述课题，本发明的车外环境识别方法导出从拍摄装置获取的图像中的各区块的三维位置，将各区块分组化而确定立体物候补，将立体物候补投影到水平面，基于相对于深度方向的角度而区分为背面和侧表面，如果侧表面与背面之间的关系满足预定条件，则配对为同一立体物。
技术效果
根据本发明，通过适当地配对背面和侧表面，能够提高立体物的确定精度。
附图说明
图1是表示车外环境识别系统的连接关系的框图。
图2是表示车外环境识别装置的概要功能的功能框图。
图3是表示车外环境识别方法的流程的流程图。
图4是用于说明亮度图像和距离图像的说明图。
图5是示例分组化处理的说明图。
图6a是用于说明配对部的动作的说明图。
图6b是用于说明配对部的动作的说明图。
图7是用于说明配对部的动作的说明图。
图8是用于说明配对部的动作的说明图。
图9是用于说明配对部的动作的说明图。
图10是用于说明配对部的动作的说明图。
图11是用于说明背面和侧表面的校正的说明图。
符号说明
110拍摄装置
120车外环境识别装置
170位置导出部
172分组化部
174配对部
具体实施方式
以下，参照附图对本发明的优选实施方式进行详细说明。该实施方式所示的尺寸、材料、其他具体数值等仅是用于容易理解发明的示例而已，除特别说明以外，不限定本发明。应予说明，在本说明书及附图中，对实质具有同一功能、结构的要素标注同一符号从而省略重复说明，另外，省略与本发明无直接关系的要素的图示。
(车外环境识别系统100)
图1是表示车外环境识别系统100的连接关系的框图。车外环境识别系统100在本车辆1中构成为包含拍摄装置110、车外环境识别装置120、车辆控制装置(ecu：enginecontrolunit：发动机控制单元)130。
拍摄装置110构成为包含ccd(charge-coupleddevice：电荷耦合元件)或cmos(complementarymetal-oxidesemiconductor：互补金属氧化物半导体)等拍摄元件。拍摄装置110拍摄本车辆1的前方的车外环境，生成至少包含亮度信息的亮度图像(彩色图像或单色图像)。另外，拍摄装置110以使两个拍摄装置110各自的光轴在本车辆1的行进方向侧大致平行的方式，沿大致水平方向分离地配置。拍摄装置110以例如1/60秒每帧(60fps)连续地生成拍摄存在于本车辆1的前方的检测区域的立体物而得的亮度图像。在此，由拍摄装置110识别到的立体物不限于自行车、行人、车辆、信号灯、道路标识、护栏、建筑物这样独立存在的物体，还包含车辆的背面或侧表面、自行车的车轮等能够确定为它们的一部分的物体。在此，车辆的背面表示与本车辆1对置的面，不表示车辆自身的后表面。
另外，车外环境识别装置120分别从两个拍摄装置110获取亮度图像，利用所谓的图像匹配而生成距离图像。车外环境识别装置120基于距离图像，利用所谓的立体法，导出包含相对于本车辆1的相对距离在内的实际空间中的三维空间的位置信息。在后面对亮度图像、距离图像、图像匹配、立体法进行详细说明。
接着，车外环境识别装置120利用导出的位置信息，首先确定路面，将位于所确定的路面上、颜色值相等且三维位置信息彼此相邻的各区块分组化为立体物的背面或侧表面。接着，车外环境识别装置120通过将该背面和侧表面配对从而确定立体物，并确定立体物与哪个特定物(例如，前行车辆)对应。另外，在车外环境识别装置120如此确定特定物后，对本车辆1进行控制，从而避免与特定物碰撞(碰撞回避控制)、或将与前行车辆的车间距离保持在安全距离(巡航控制)。
车辆控制装置130通过方向盘132、加速踏板134、制动踏板136接受驾驶员的操作输入，通过将其传递至转向机构142、驱动机构144、制动机构146，从而控制本车辆1。另外，车辆控制装置130按照车外环境识别装置120的指示，控制转向机构142、驱动机构144、制动机构146。
(车外环境识别装置120)
图2是表示车外环境识别装置120的概要功能的功能框图。如图2所示，车外环境识别装置120构成为包含i/f部150、数据保持部152、中央控制部154。
i/f部150是与拍摄装置110和车辆控制装置130进行双向信息交换的接口。数据保持部152由ram、闪存、hdd等构成，保持以下所示的各功能部的处理所需的各种信息。
中央控制部154由包含中央处理装置(cpu)、存储有程序等的rom、作为工作区的ram等的半导体集成电路构成，通过系统总线156来控制i/f部150、数据保持部152等。另外，在本实施方式中，中央控制部154也作为位置导出部170、分组化部172、配对部174、立体物确定部176而发挥作用。以下，也依据该中央控制部154的各功能部的动作进行详细说明。
(车外环境识别方法)
图3是表示车外环境识别方法的流程的流程图。在车外环境识别方法中，位置导出部170导出从拍摄装置110获取的亮度图像中的各区块的三维位置(位置导出处理s200)，分组化部172将各区块分组化而确定立体物候补(分组化处理s202)，配对部174将立体物候补投影到水平面上，并基于相对于深度方向的角度而区分为背面和侧表面，如果侧表面和背面之间的关系满足预定条件，则配对为同一立体物(配对处理s204)，立体物确定部176确定配对而得的立体物或其他立体物与哪个特定物对应(立体物确定处理s206)。
(位置导出处理s200)
位置导出部170从两个拍摄装置110分别获取亮度图像，从一个亮度图像中检索出与从另一个亮度图像任意地提取的区块(例如水平4像素×垂直4像素的排列)对应的区块(图像匹配)，导出表示视差的视差信息(相当于后述的相对距离z)。位置导出部170将导出的视差信息配属于各区块而生成距离图像。在此，虽然将区块设为水平4像素×垂直4像素，但是能够任意地设定区块内的像素数。另外，代替区块，也可以使用1像素。另外，“水平”表示画面横向，“垂直”表示画面纵向，“深度”表示画面深度方向。
图4是用于说明亮度图像212和距离图像214的说明图。例如，通过两个拍摄装置110，针对检测区域216生成图4的(a)所示的亮度图像212。其中，在此，为了容易理解，仅示意地表示拍摄装置110分别生成的两个亮度图像212中的一个亮度图像。在本实施方式中，位置导出部170从这样的亮度图像212求出每个区块的视差，形成图4的(b)所示的距离图像214。距离图像214中的各区块与该区块的视差信息相关联。在此，为了便于说明，以黑点来表示导出了视差信息的区块。
位置导出部170利用所谓的立体法，将距离图像214中的每个区块的视差信息转换为包含水平距离x、高度y及相对距离z的实际空间中的三维位置。在此，立体法是通过使用三角测量法，从区块(像素或由多个像素构成的区块)的距离图像214中的视差导出该区块相对于拍摄装置110的相对距离z的方法。此时，位置导出部170基于区块的相对距离z以及处于与区块相同的相对距离z的道路表面上的点与区块在距离图像214上的检测距离，导出区块距道路表面的高度y。接着，修改被导出的三维位置而使其与距离图像214对应。因为该相对距离z的导出处理或三维位置的确定处理能够使用各种公知技术，所以在此省略其说明。
(分组化处理s202)
分组化部172将三维位置的差值处于预定范围内的各区块分组化。具体而言，分组化部172假设距离图像214中的水平距离x的差值、高度y的差值及相对距离z的差值处于预先设定的范围(例如0.1m)内的各区块对应于同一特定物而进行分组化。由此，生成假想的区块组。另外，分组化部172对于利用分组化而新追加的区块，也将该区块作为基点，进一步对水平距离x的差值、高度y的差值及相对距离z的差值处于预定范围内的区块进行分组化。其结果是，将能够假设为同一特定物的全部区块分组化。
图5是示例分组化处理s202的说明图。在此，例如，生成图5的(a)所示的距离图像214。分组化部172根据该距离图像214对各区块进行分组化。由此，如图5的(b)所示地提取多个分组化后的区块组。应予说明，包含全部分组化后的区块的外形线、由水平线及垂直线构成或者由沿深度方向延伸的线及垂直线构成的矩形的框(面)成为立体物候补220(220a、220b、220c、220d、220e)。
此时，如果以由水平距离x及相对距离z所示的二维的水平面(由水平方向和深度方向形成的面)来表示分组化后的区块组，则立体物候补220a、220b、220c、220d、220e如图5的(c)所示。在此，虽然图5的(c)中的立体物候补220a和立体物候补220b是不同的立体物候补，但是实际上构成前行车辆的背面和侧表面，应被识别为原本一体的同一立体物。另外，立体物候补220d和立体物候补220e也同样应被识别为同一立体物。在此，配对部174将应为同一立体物的背面和侧表面的立体物候补进行配对。
但是，如果由于因距离图像214中的相对距离的测定误差或错配所导致的噪声而使得构成背面或侧表面的区块摇动，则不能适当地配对背面和侧表面，很难将它们稳定地确定为同一立体物。因此，配对部174通过适当地配对背面和侧表面，从而提高立体物的确定精度。首先，配对部174基于将立体物候补220投射到水平面上时相对于深度方向的角度，将立体物候补220区分为背面和侧表面。
(配对处理s204)
图6a、图6b、图7～图10是用于说明配对部174的动作的说明图。该图6a、图6b、图7～图10是将立体物候补220投影到水平面上而得的图，仅以水平距离x及相对距离z来表示。
配对部174导出立体物候补220的近似直线相对于深度方向(相对距离的轴)的角度。如果导出的角度的绝对值为45度以上且小于135度，则配对部174将该立体物候补220作为背面，如果导出的角度的绝对值为0度以上且小于45度、或者为135度以上且180度以下，则配对部174将该立体物候补220作为侧表面。
在此，例如，分组化部172分组化后的结果为图6a所示的那样。在该例子中，如图6b所示，因为立体物候补220f的近似直线的角度的绝对值为45度以上且小于135度，所以判定为背面，因为立体物候补220g的近似直线的角度的绝对值为0度以上且小于45度，所以判定为侧表面。由此能够大致区分背面和侧表面。
配对部174针对如此区别的包含于检测区域216的背面和侧表面的全部组合，逐一判断是否能够配对。因此，因为仅以背面的数量的次数而重复进行全部的侧表面相对于一个背面的配对判断，所以该处理次数是背面的数量×侧表面的数量。
应予说明，此时，可以将如下条件作为配对的前提条件：背面与侧表面的距离作为车辆的一部分而是适当的距离(例如2m)以内，背面和侧表面的速度都稳定，背面及侧表面各自的长度是预定值(例如1m)以上，并且其中央位置处于检测区域216内。通过追加该配对的前提条件，能够适当地限制配对的对象(筛选)，能够避免对本不应为对象的背面或侧表面进行不需要的处理。应予说明，如果一个配对的前提条件也不满足，则可以不对该背面和侧表面的组合进行配对处理s204，而立即将其从配对的对象中排除。由此能够谋求处理负荷的减轻。
在此，列举对应于立体物候补220f的背面222、对应于立体物候补220g的侧表面224来判断其可否配对。配对部174根据背面222与侧表面224的关系是否满足预定条件来判定可否配对，如果判定为满足预定的条件，则配对为同一立体物的背面222及侧表面224。在此，作为预定的条件，对“端点间距离”、“速度向量距离”、“交点距离”、“所成角度”四个项目进行说明。应予说明，不必须采用全部四个项目，可以适当采用一个或多个项目。
首先，配对部174判定“端点间距离”。在此，如图7所示，在水平面上，确定背面222与侧表面224彼此靠近侧的端点，导出该确定的端点间的距离。并且，配对部174以该端点间距离x小于1m为条件，将端点间距离x代入(1-x)/1而计算出分值。在此，如果端点间距离x是0m，则分值是1.0，如果端点间距离x是0.5m，则分值是0.5，如果端点间距离x为1.0m以上，则分值是0。在此，端点间距离x越短，即，背面222与侧表面224越近，则分值越高。
接着，配对部174判定“速度向量距离”。如图8的(a)所示，配对部174在水平面上分别导出背面222的速度向量和侧表面224的速度向量。接着，如图8的(b)所示，配对部174导出速度向量的差值向量，即，导出将两个速度向量的始点合起来的状态下的两个速度向量的距离。接着，配对部174以该速度向量距离y小于10km/h为条件，将速度向量距离y代入(10-y)/10而计算出分值。在此，如果速度向量距离y是0km/h，则分值是1.0，如果速度向量距离y是5km/h，则分值是0.5，如果速度向量距离y是10km/h以上，则分值是0。在此，速度向量距离y越短，即，背面222与侧表面224越以相同速度向量行进，则分值越高。
接着，配对部174判定“交点距离”。如图9所示，配对部174在水平面上，导出背面222的近似直线与侧表面224的近似直线的交点和背面222的交点侧的端点之间的距离。接着，配对部174以该交点距离z小于1m为条件，将交点距离z代入(1-z)/1而计算出分值。在此，如果交点距离z是0m，则分值是1.0，如果交点距离z是0.5m，则分值是0.5，如果交点距离z是1.0m以上，则分值是0。在此，交点距离z越短，即，背面222与侧表面224越近，则分值越高。
在此，作为交点距离的对象，不采用与侧表面224的交点侧的端点之间的距离，而采用与背面222的交点侧的端点之间的距离是因为以下理由。即，因为背面222与本车辆1的相对距离比侧表面224与本车辆1的相对距离短，所以作为识别对象的区域大，并且分辨率高。由此，其结果是，背面222的确定精度变高，伴随于此，背面222的端点的确定精度也变高。另外，从碰撞防止控制的观点来看，因为确定作为碰撞的直接对象的背面222的条件比确定侧表面224的条件严格，所以其结果是，满足更严格条件的背面222的端点的可靠性更高。但是，不能排除侧表面224的端点，作为交点距离，可以导出背面222的近似直线与侧表面224的近似直线的交点和侧表面224的端点之间的距离，也可以导出背面222的近似直线与侧表面224的近似直线的交点和侧表面224的端点之间的距离、以及背面222的近似直线与侧表面224的近似直线的交点和背面222的交点侧的端点之间的距离这两者，并对其求平均。
接着，配对部174判定“所成角度”。如图10所示，配对部174在水平面上，导出背面222的近似直线与侧表面224的近似直线的所成角度。接着，配对部174以该所成角度v接近90度且处于70～110度的范围内为条件，将所成角度v代入(20-|90-v|)/20而计算出分值。在此，如果所成角度v是90度，则分值是1.0，如果所成角度v是80度，则分值是0.5，如果所成角度v是70度以下，则分值是0。在此，所成角度v越接近90度，即，背面222和侧表面224越相交成直角，则分值越高。
在配对部174全部导出“端点间距离”、“速度向量距离”、“交点距离”、“所成角度”这四个项目的分值后，导出该分值的合计值。应予说明，此时，如果四个项目中的任一个的分值是0，则可以将该背面和侧表面的组合排除到配对的对象外。配对部174将过去多帧(例如5帧)的分值相加，对于该背面222和侧表面224的同一组合，导出分值的合计值的多帧量的平均值(分值平均值)。
接着，针对提取出的多个背面中的任意一个背面222，如果对于其与包含侧表面224的全部侧表面的组合导出分值平均值，则针对多个组合，判定分值平均值是否超过预定的阈值(例如1)。如果分值平均值超过阈值，则将超过阈值的组合中的分值平均值最大的背面和侧表面的组合判断为配对的对象，并进行配对。配对部174以背面的数量来重复这样的处理。
应予说明，在此，列举无论多帧各自的分值的合计值如何都导出平均值的例子进行说明，但是不限于这样的情况，如果多帧中的分值的合计值中的即使只有一帧的分值的合计值为0，就可以排除到配对的对象外。
接着，配对部174为了将该配对的立体物用于碰撞回避控制或巡航控制，对配对后的背面和侧表面进行校正，在后段的处理中利用该校正后的数据。
图11是用于说明背面222和侧表面224的校正的说明图。图11表示与图6a、图6b、图7～图10相同的背面222和侧表面224。配对部174针对在该帧中配对了的背面222和侧表面224，首先，确定实测值。在此，如图11所示，将背面222的近似直线与侧表面224的近似直线的交点的实测值作为实测交点，将背面222的在交点侧的端点的实测值作为实测交点侧端点，将背面222的与交点侧相反的端点的实测值作为实测背面端点，将侧表面224的与交点侧相反的端点的实测值作为实测侧表面端点。应予说明，在本实施方式中，不直接使用背面222与侧表面224的实际交点，而使用该交点与背面222的在交点侧的端点之间的中间点(平均值)。这是因为，如上所示，背面222的确定精度比侧表面224高，背面222的端点的可靠性高。因此，相当于交点的实测值使用实测交点与实测交点侧端点的中间点。
接着，配对部174导出分别与实测值(实测交点与实测交点侧端点的中间点、实测背面端点、实测侧表面端点)对应的、根据过去的值预测到的本次的预测值(预测交点、预测背面端点、预测侧表面端点)。具体而言，预测交点以实测交点与实测交点侧端点之间的中间点的预测值来表示，预测背面端点以实测背面端点的预测值来表示，预测侧表面端点以实测侧表面端点的预测值来表示。
接着，配对部174校正实测值而导出校正值(校正交点、校正背面端点、校正侧表面端点)。具体而言，校正交点以预测交点与上述的“实测交点和实测交点侧端点的中间点”之间的中间点来表示，校正背面端点以预测背面端点与实测背面端点之间的中间点来表示，校正侧表面端点以预测侧表面端点与实测侧表面端点之间的中间点来表示。由此，校正交点、校正背面端点、校正侧表面端点是例如图11的位置。该校正交点、校正背面端点、预测侧表面端点用于碰撞回避控制或巡航控制。
在此，中间点是通过将各点的水平距离及相对距离分别平均而求出的。应予说明，中间点不必须是平均值，也可以根据可靠性而附带加权。例如，在背面222的端点的可靠性高的情况下，可以将相比于靠近实测交点而更靠近实测交点侧端点的点作为中间点而求出校正交点。
另外，配对部174使用导出的校正交点、校正背面端点、校正侧表面端点、过去导出的多次量的校正交点、校正背面端点、校正侧表面端点，例如，利用卡尔曼滤波等，导出下一次的预测交点、预测背面端点、预测侧表面端点。此时，特别考虑背面或侧表面的相对速度，预测下一次的校正交点的位置。
(立体物确定处理s206)
立体物确定部176确定由配对部174配对了的立体物或其他立体物对应于哪个特定物。例如，在立体物是车辆那样的大小、形状、相对速度，并且在后方的预定的位置确认到刹车灯或高位刹车灯等发光源的情况下，立体物确定部176将该立体物确定为前行车辆。
以上，如所说明的那样，在本实施方式中，通过适当地将背面和侧表面配对，并且校正该配对了的背面和侧表面，从而能够提高立体物的确定精度。
另外，还提供使计算机作为车外环境识别装置120而发挥功能的程序、存储该程序且能够被计算机读取的软盘、光盘、rom、cd、dvd、bd等存储介质。在此，程序是指以任意语言或记述方法来记述的数据处理手段。
以上，参照附图对本发明的优选实施方式进行了说明，但是当然本发明不限于该实施方式。应当理解，对于本领域技术人员而言，在记载于专利权利要求的范围内能够想到各种变形例或修正例是不言而喻的，这些当然也属于本发明的技术范围。
应予说明，本说明书的车外环境识别方法的各工序不必须按照记载为流程图的顺序按时序来处理，也可以包含并列或子程序的处理。
【工业上的利用可能性】
本发明能够用于确定存在于本车辆的行进方向的立体物的车外环境识别装置及车外环境识别方法。