图像处理装置的制造方法
【技术领域】
[0001]本发明涉及基于对本车辆的行进方向进行摄像所得到的摄像图像来检测作为拍摄对象而拍摄到的行车线的图像处理装置的技术领域。
[0002]现有技术文献
[0003]专利文献
[0004]专利文献1:日本专利第4365350号公报
【背景技术】
[0005]例如，在识别车外环境的车辆系统中，具有基于通过一对摄像机对本车辆的行进方向进行立体摄像所得的摄像图像，对拍摄对象进行识别的技术。并且，像这样的对在本车辆的行进方向上存在的拍摄对象进行识别的系统中，具有生成拍摄对象的三维位置信息(在实际空间上的位置信息)的系统，该三维位置信息也包括到拍摄对象为止的距离信息。具体来说，是通过上述的立体摄像而得到视点不同的摄像图像，并基于这些摄像图像计算拍摄对象的视差，再基于该视差生成拍摄对象的三维位置信息的系统。
[0006]并且，作为对车外环境的识别，具有检测形成于路面的白线等的行车线，并基于行车线的三维模型来进行在行进方向上存在的转弯的检测和/或路面的坡度的检测等的系统。
[0007]行车线的检测通常利用路面与白线的亮度差较大的事实，基于亮度图像而进行。
[0008]应予说明，此处的“行车线”是指相对于路面通过涂饰等而形成的表示行驶车道的边界的线。
【发明内容】
[0009]技术问题
[0010]然而，作为行车线，还存在白色的行车线以外的例如橙色行车线(黄色行车线)等的彩色的行车线。由于彩色的行车线相对于白色的行车线亮度低，例如，当在亮度比较高的混凝土地面的道路上行驶时等，根据行驶状况，可能会出现无法充分地得到路面和行车线的亮度差，或者行车线的亮度比路面亮度低，无法检测到行车线的情况。
[0011]为了稳定地检测彩色行车线，基于色差图像进行检测的方法是有效的。例如，针对橙色行车线，基于V图像(R-G)或U图像(B-G)进行检测是有效的。
[0012]但是，基于色差图像的检测虽然能够提高针对彩色行车线的检测精度，但由于对于白色行车线的检测精度比基于亮度图像进行检测的情况降低了，因此为了恰当地检测白色行车线和彩色行车线这两种行车线，考虑针对共用的图像部分执行基于亮度图像的检测和基于色差图像的检测这两种检测。
[0013]但是，对共用的图像部分进行两种行车线检测会导致处理负担的增大，所以不优选。
[0014]并且，一般而言，彩色行车线的出现概率相对于白色行车线要低，因此经常在进行基于亮度图像的行车线检测的同时进行基于色差图像的行车线检测也同样会增大处理负担，所以不优选。
[0015]因此，本发明克服上述问题点，其目的在于降低处理负担，并能够恰当地检测白色行车线和彩色行车线这两种行车线。
[0016]技术方案
[0017]第一，本发明的图像处理装置具备:摄像部，对本车辆的行进方向进行摄像而得到作为彩色图像的摄像图像；和行车线检测部，基于由上述摄像部得到的摄像图像来检测作为拍摄对象而拍摄到的行车线，其中，上述行车线检测部作为以针对上述摄像图像而设定的行车线搜索范围为对象的行车线检测处理，能够执行对行车线搜索范围内的半数以上的行基于亮度图像进行行车线部分的检测，并且对其余的行基于色差图像进行行车线部分的检测的根据第一模式的行车线检测处理；和在比上述第一模式时多的行基于上述色差图像进行行车线部分的检测的根据第二模式的行车线检测处理，并且根据在基于上述色差图像进行了行车线部分的检测的行中检测出的行车线部分在预定宽度以上的行的数量，来执行第一模式和第二模式之间的模式转换判断，并且基于判断结果的模式进行转换控制的模式转换控制处理。
[0018]在第一模式中，主要通过基于亮度图像进行检测，从而能够检测白色行车线的行车线部分，并且通过同时基于色差图像进行检测，从而能够确定彩色行车线的行车线部分的有无。当出现彩色行车线时，通过根据模式转换控制处理从第一模式向第二模式进行模式转换而使基于色差图像进行检测的行增多，从而能够恰当地检测彩色行车线。
[0019]由此，当能够恰当地检测白色行车线和彩色行车线这两种行车线时，针对同一行则不必同时进行基于亮度图像的检测和基于色差图像的检测这两种检测。
[0020]第二，在上述本发明的图像处理装置中，优选为上述行车线搜索范围在上述摄像图像内左右分开设定为两处，上述行车线检测部按照每个上述行车线搜索范围执行上述模式转换控制处理。
[0021]由此，能够应对彩色行车线在行进方向的右侧存在的情况以及在左侧存在的情况这两种情况。
[0022]第三，在上述本发明的图像处理装置中，优选为在上述第一模式时基于上述色差图像进行行车线部分的检测的行的间隔设定为相当于实际空间上的固定距离间隔的间隔。
[0023]由此，例如与设定为在图像空间上的固定间隔的情况相比，彩色行车线的采样间隔更恰当。
[0024]第四，在本发明的图像处理装置中，优选为在上述第二模式时，基于上述亮度图像进行行车线部分的检测的行和基于上述色差图像进行行车线部分的检测的行每隔一行相互交替配置。
[0025]由此，在同一行车线搜索范围内存在白色行车线和彩色行车线这两种行车线时，能够恰当地检测这两种行车线。
[0026]第五，在上述本发明的图像处理装置中，优选为上述摄像部对本车辆的行进方向进行立体摄像而得到一对摄像图像，上述图像处理装置还具备视差计算部，基于由上述摄像部得到的上述一对摄像图像来计算拍摄对象的视差，上述行车线检测部根据基于上述色差图像进行行车线部分的检测的行中检测出行车线部分在预定宽度以上并且检测出的行车线部分的视差的值在预定范围内的行的数量，来进行上述模式转换控制处理中的上述模式转换判断。
[0027]检测到的行车线部分的视差的值在预定范围内是指，推测该行车线部分也被拍摄到进行立体摄像而拍摄的其他的摄像图像(未用于行车线部分的检测的一侧的图像)中。因此，如果如上所述那样的，将视差的值在预定范围内的条件作为模式转换判断的条件来施行，则能够实现防止例如由于仅在一侧的摄像机上附着有灰尘等而反应为对行车线部分的误检测，进而导致由模式转换判断得到肯定结果。
[0028]第六，在上述本发明的图像处理装置中，优选为上述行车线检测部作为上述模式转移控制处理，按每帧进行上述模式转换判断，从上述第一模式向上述第二模式的转换控制是根据在由上述模式转换判断而得到了确定转换的判断结果而进行的，从上述第二模式向上述第一模式的转换控制是根据当由上述模式转换判断得到的确定转换的判断结果的次数达到了预定次数而进行的。
[0029]由此，在转换至第二模式后，不会立即返回至第一模式。
[0030]第七，在上述本发明的图像处理装置中，优选为上述行车线检测部根据基于上述色差图像进行行车线部分的检测的行中检测出的行车线部分在预定宽度以上，并且检测出的行车线部分中预定的颜色成分的含有率在预定的比率以上的行的数量，来进行上述模式转换控制处理中的上述模式转换判断。
[0031]由此，能够实现与彩色行车线的颜色特征相结合的模式转换判断。
[0032]发明效果
[0033]根据本发明，能够降低处理负担，并能够恰当地检测白色行车线和彩色行车线这两种行车线。
【附图说明】
[0034]图1为表示实施方式的车辆控制系统的构成的图。
[0035]图2为用于针对在实施方式中执行的图像处理进行说明的图。
[0036]图3为关于行车线搜索范围的说明图。
[0037]图4为例示出当在路面上的左侧形成有白色行车线、在右侧形成有彩色行车线时的摄像图像的图。
[0038]图5为亮度重视模式、色差和亮度模式的说明图。
[0039]图6为白色行车线和彩色行车线相邻配置而成的双线的说明图。
[0040]图7为亮度重视模式对应处理的流程图。
[0041]图8为色差和亮度模式对应处理的流程图。
[0042]符号说明
[0043]I 车辆控制系统
[0044]2 摄像部
[0045]3 图像处理部
[0046]3A 三维位置信息生成处理部
[0047]3B 行车线检测处理部
[0048]30 搜索范围设定处理部
[0049]31 亮度重视模式处理部
[0050]32 色差和亮度模式处理部
[0051]33 模式转换控制处理部
【具体实施方式】
[0052](1、系统整体构成)
[0053]图1表示作为本发明的实施方式的具备图像处理装置的车辆控制系统I的构成。应予说明，在图1中，仅提取车辆控制系统I的构成中主要与本发明相关的主要部分的构成来进行表示。
[0054]车辆控制系统I构成为具备设置于本车辆的摄像部2、图像处理部3、存储器4、驾驶辅助控制部5、显示控制部6、发动机控制部7、变速器控制部8、制动器控制部9、传感器及操作单元类10、显示部11、发动机相关执行器12、变速器相关执行器13、制动器相关执行器14以及总线15。
[0055]图像处理部3是基于摄像部2对本车辆的行进方向(在本例中为前方)进行摄像而得到的摄像图像数据来执行与车外环境识别相关的预定的图像处理。根据图像处理部3的图像处理是使用例如非易失存储器等的存储器4而进行的。其中，对摄像部2的内部构成和图像处理部3执行的具体的处理的详细内容将在以下进行说明。
[0056]驾驶辅助控制部5由具备例如CPU (Central Processing Unit，中央处理器)、ROM (Read Only Memory，只读存储器)、RAM (Random Access Memory，随机存取存储器)等的微型计算机构成，基于根据图像处理部3的图像处理的结果、由传感器及操作单元类10得到的检测信息和/或操作输入信息等，执行用于驾驶辅助的各种控制处理(以下表示为“驾驶辅助控制处理”)。
[0057]驾驶辅助控制部5与同样由微型计算机构成的显示控制部6、发动机控制部7、变速器控制部8、制动器控制部9的各控制部借由总线15连接，能够与这些控制部之间相互地进