图像融合方法、基于图像融合方法的白线检测方法及系统的制作方法
【专利摘要】本发明提供了一种自适应图像融合方法和基于该方法的白线检测方法和使用该方法系统。所述自适应图像融合方法包括：获取同一场景的灰度图像和偏光图像；基于训练集图像生成场景分布图模型，并基于该场景分布图模型计算灰度图像和偏光图像的场景权重；基于所计算的场景权重融合所述灰度图像和偏光图像。
【专利说明】图像融合方法、基于图像融合方法的白线检测方法及系统
【技术领域】
[0001]本发明涉及一种图像融合方法、基于图像融合方法的白线检测方法及系统，具体而言涉及一种在对通过场景进行分类获得的偏光图像与灰度图像进行融合所获得融合图像中检测白线的方法和系统。
【背景技术】
[0002]随着汽车的普及，日常交通运输越来越繁忙，交通安全日益成为人们所关注的焦点。因此，人们希望参与交通的车辆能够具备更多的智能特点，从而替代驾驶人员判断一部分安全事宜。交通安全一个方面涉及车辆本身构成元件是否安全，另一个方面涉及车辆行进的环境是否安全。对于后者，主要通过驾驶员了解路面的情况来进行判断。然而，在驾驶员处于疲劳或注意不到的情况下，往往会发生危险。因此，人们需要一种方法和系统能够在驾驶员未能作出判断的情况下代替驾驶员进行一些道路安全情况的判断，以规避危险。
[0003]美国专利US7636098B2提供了一种用于车辆上的车辆所处场景的图像的处理方式。在该美国专利所记载方法中，将多通道图像融合成一幅图像。融合操作是通过重要性权重梯度完成。对于每一个通道的灰度图像上的一个像素点P，基于局部对比特征计算它的归一化权重。P点处多通道图像的权重组成一个向量，计算它的协方差矩阵，并分解。得到的最大特征值和特征向量，就组成了重要性权重梯度，用它来融合多通道图像。该专利需要多通道的图像作为输入，只采用了对比度这一个变量来描述图像的局部特征。
[0004]另一个美国专利US 7199366B2提出来一种融合视觉图像和红外图像来可视化行驶车辆的前方环境的方法。其主要针对黑暗环境。融合的权重依赖于环境状况。在黑暗环境中，因为红外图像不受光线的影响，视觉图像不清晰，因此红外图像的权重增加，视觉图像的权重减小。在有雾的环境中，红外图像受雾气影响较大，因此减小红外图像的权重，增加视觉图像的权重。
[0005]日本专利申请JP2000088954A披露了一种检测路面白线的系统，该系统:采用一个发射器，一个接收器，两个偏光器来检测白线。白线反射波的模式和数目不同于路面、前行车辆反射波的模式和数目。该专利利用波在通过两个连续偏光器时的反射性质来检测白线，只利用偏光的光学特性来得到白线。
[0006]很显然，上面所列举的现有技术不能处理现实生活中多种情形的场景。具体而言，要么需要融合的图像种类太多，要么对场景的分类不合理，要么对白线的检测只能基于光学特性来进行。因此现有技术在面对各种复杂场景时，往往不能进行正确的判断。
【发明内容】
[0007]本专利提供了一种方法，基于场景分类来融合不同种类的图像，从而用于进行白线检测。该方法可以被用到车载摄像机的多种应用中。
[0008]在雨天或者阴天的情况下，由于周围环境光的影响，车载摄像机很难得到清晰的灰度图像。通常，偏光图像受周围环境光的影响很小，适用于恶劣的天气。但是，在阳光比较强的情况下，当驾驶员迎着太阳行驶时，由于逆光的影响，得到的偏光图像往往不好。因此，上述专利描述的现有技术并不能有效地提供一种适用于各种外界环境下的进行白线检测的图像融合方法。对各种图像采用固定权重进行融合在不同天气状况下并不适用。单一变量也不能完全描述图像的特征。以上专利中，有的考虑了环境的因素进行图像融合，但这种融合仅由各变量的值确定融合权重，并没有考虑整个图像所反映出的场景类别信息。因此，现有技术无论是采用偏光图像还是采用灰度图像的白线检测，在这种场景中都不能获得较好的检测效果。
[0009]为此，为了在不同天气状况下都能得到好的融合图像，以用于白线检测，本发明提供了一种自适应图像融合方法，包括:获取同一场景的灰度图像和偏光图像；基于训练集图像生成场景分布图模型，并基于该场景分布图模型计算灰度图像和偏光图像的场景权重；以及基于所计算的场景权重融合所述灰度图像和偏光图像。
[0010]根据本发明的自适应图像融合方法，所述基于训练集图像生成场景分布图模型，并基于该场景分布图模型计算灰度图像和偏光图像的场景权重包括:基于图像的特性选择能够描述图像场景特征的变量，从而组成一个多维向量；利用训练集图像的特征向量进行聚类和分类以建立场景分布图模型；以及计算每对待融合图像的场景权重。
[0011]根据本发明的自适应图像融合方法，所述利用训练集图像的特征向量进行聚类和分类以建立场景分布图模型步骤包括:将特征向量投影到对场景辨别有区分度的低维空间；对投影到低维空间中的特征点进行聚类；以及利用场景标签和聚类结果建立场景分布图。
[0012]根据本发明的另一个方面，还提供了一种白线检测方法，包括:利用上述的自适应图像融合方法获得融合图像；去除融合图像中的噪声；生成去除噪声后的融合图像的边缘图像；对边缘图像执行二值化处理，得到图像的一个像素宽度的边缘图像；消除与其他物体相关的边缘点，只留下待检测白线上的像素点；以及基于霍夫变换定位白线的位置。
[0013]根据本发明的白线检测方法，其中所述消除与其他物体相关的边缘点，只留下待检测白线上的像素点包括:在选择边缘点的时候，从图像的中间开始，向左向右逐行扫描图像，保留遇到的第一个满足条件的非零点，作为白线边缘点，移除本行本方向上其他剩余的点。
[0014]根据本发明的另一个方面，还提供了一种自适应图像融合系统，包括:图像捕获单元，获取同一场景的灰度图像和偏光图像；场景权重计算单元，基于训练集图像生成场景分布图模型，并基于该场景分布图模型计算灰度图像和偏光图像的场景权重；图像融合单元，基于所计算的场景权重融合所述灰度图像和偏光图像。
[0015]根据本发明的另一个方面，还提供了一种白线检测系统，包括:前述的自适应图像融合系统；噪声去除模块，去除融合图像中的噪声；边缘生成模块，生成去除噪声后的融合图像的边缘图像；二值化模块，对边缘图像执行二值化处理，得到图像的一个像素宽度的边缘图像；边缘选择模块，消除与其他物体相关的边缘点，只留下待检测白线上的像素点；以及白线定位模块，基于霍夫变换定位白线的位置。
【专利附图】
【附图说明】
[0016]通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。
[0017]图1所示的利用了根据本发明的方法和系统的图像处理系统的示意图。
[0018]图2所示的是根据本发明的方法和系统的图像处理系统的结构示意图。
[0019]图3所示的是根据本发明的方法和系统的图像处理系统的功能模块示意图。
[0020]图4所示的是根据本发明的方法和系统中进行数据处理的数据流向图。
[0021]图5所示的是根据本发明的方法和图像处理流程图。
[0022]图6所示的根据本发明的图像处理方法中基于场景分类的融合权重计算方法的示意图。
[0023]图7所示的是场景分布图建模模块的具体结构示意图。
[0024]图8所示的是将多维特征空间中的点投影到对不同场景有区分能力的低维空间的示意图。
[0025]图9显示了场景选择后的场景分布图模型示意图。
[0026]图10所示的是本发明所采用的白线检测步骤的流程图
[0027]图11A-11D示意了白线检测过程的每一步结果
[0028]图12固定权重和自适应场景权重融合图像上的白线检测结果示意图。
【具体实施方式】
[0029]下面结合附图描述本发明实施例。
[0030]图1所示的利用了根据本发明的方法和系统的图像处理系统的示意图。图像处理系统安装在车辆100之上。该系统包括双目摄像头101或两个单独摄像头，以及图像处理模块102。摄像头101安装在靠近车辆后视镜的位置，用于捕获车辆前方的场景。所捕获的车辆前方场景的图像将作为图像处理模块102的输入。图像处理模块102分析输入的图像信号，计算它们的场景类别，基于类别赋予不同的权重来融合两幅图像，并所获得融合图像检测路面白线。车辆控制模块103接收由图像处理模块102输出的信号，根据检测得到的当前白线，生成控制信号来控制车辆100的行驶方向和行驶速度。
[0031]图2所示的是根据本发明的方法和系统的图像处理系统的结构示意图。摄像头101包括图像传感器201和摄像头数字信号处理器(digital signal processing, DSP)202。图像传感器201将光信号转换为电子信号，将捕获的当前车辆100前方的图像转换为模拟图像信号，再将结果传入摄像头DSP202。如果需要，摄像头101还可以进一步包括镜头，滤镜，等等。尽管在本发明的实施例中仅仅给出了两个摄像头，但是本发明的实施方式可以包含多个摄像头101，这些摄像头配准后可以同时捕获多幅图像。
[0032]摄像头DSP202将模拟图像信号转换为数字图像信号，并发送到图像处理模块102。图像输入接口 203按规定的时间间隔取得图像。然后数字图像信号被写入内存205，由程序206进行分析和处理。此处的图像处理包括多种操作，诸如场景分类、权值计算等等，这将在后面进行详细描述。在ROM中的程序206执行一系列的后面将进行详细描述的操作来融合图像和检测白线。在此过程中，CPU 204负责控制操作及运算操作，例如由接口获得数据，执行图像处理等。
[0033]图3所示的是根据本发明的方法和系统的图像处理系统的功能模块示意图。首先，图像处理系统中的变量描述单元Fl接收来自摄像头捕获的一对同一场景的灰度图像和偏光图像，并分别提取它们的特征，进行计算以得到特征向量。特征的选取主要基于灰度图像的特性和偏光图像的特性，选择在场景空间中有区分度的特征，来区分不同的场景，如雨天、阴天、晴天等。每幅图像的特征都表示为一个向量。训练集中每幅图像都有一个已标好的场景标签。场景分布图(SDM, scene distribution map)建模单元F2用训练集中所有图像的特征向量结合场景标签来建立场景分布图。至于如何用训练集中所有图像的特征向量结合场景标签来建立场景分布图，是本专利的主要内容，将在后面详细叙述。。场景权重计算单元F3用训练好的场景分布图模型来计算待融合图像的场景权重。图像融合单元F4用计算出来的场景权重来融合两幅图像。白线检测单元F5在融合后的图像上，用改进的霍夫变换加上其他策略，检测白线。最终，得到用两个端点表示的白线位置。
[0034]图4所示的是根据本发明的方法和系统进行数据处理的数据流向图。训练集图像SI的特征向量S3先用选定的特征计算出来。然后结合场景标签S5和训练图像SI的特征向量S3，建立起场景分布图模型S4。对于一对待融合的图像S2，它们的特征向量S3也用选定的特征计算出来。然后基于S2的特征向量在场景分布图模型S4中的位置，就可以计算出这对图像的场景权重S6。基于场景权重S6融合图像S2，就得到融合后的图像S7。在融合图像S7上检测白线，就得到最终的白线检测结果S8。
[0035]图5所示的是根据本发明的方法和图像处理流程图。首先，在步骤21处，进行场景分类，具体而言，就是选择合适的特征变量建立场景分布图模型，并计算待融合图像的特征向量，然后利用两者之间的关系得到待融合图像的场景权重。这部分将在后面详细叙述。
[0036]在步骤22处，融合同步的灰度图像和偏光图像。本发明所进行的融合是基于场景权重的逐像素的融合。一对灰度图像和偏光图像的场景权重分别记作和Wfmhr ? Wp&Mr ^ Wp&hr这里Π是灰度图像上场景权重的个数，W丨(K/.S?)由在灰度图像上有
，H1
区分度的一种场景及其特征得到。同理，111是偏光图像上场景权重的个数，<#(1、/<?)由在偏光图像上有区分度的一种场景及其特征得到。具体的计算过程将在后面详细叙述。都归一化到[0，I]范围。融合公式如下:
【权利要求】
1.一种自适应图像融合方法，包括: 获取同一场景的灰度图像和偏光图像； 基于训练集图像生成场景分布图模型，并基于该场景分布图模型计算灰度图像和偏光图像的场景权重； 基于所计算的场景权重融合所述灰度图像和偏光图像。
2.如权利要求1所述的自适应图像融合方法，所述基于训练集图像生成场景分布图模型，并基于该场景分布图模型计算灰度图像和偏光图像的场景权重包括: 基于图像的特性选择能够描述图像场景特征的变量，从而组成一个多维向量； 利用训练集图像的特征向量进行聚类和分类以建立场景分布图模型；以及 计算每对待融合图像的场景权重。
3.如权利要求2所述的自适应图像融合方法，所述利用训练集图像的特征向量进行聚类和分类以建立场景分布图模型步骤包括: 将特征向量投影到对场景辨别有区分度的低维空间； 对投影到低维空间中的特征点进行聚类；以及 利用场景标签和聚类结果建立场景分布图。
4.一种白线检测方法,包括: 利用权利要求1所述的自适应图像融合方法获得融合图像； 去除融合图像中的噪声； 生成去除噪声后的融合图像的边缘图像； 对边缘图像执行二值化处理，得到图像的一个像素宽度的边缘图像； 消除与其他物体相关的边缘点，只留下待检测白线上的像素点；以及 基于霍夫变换定位白线的位置。
5.如权利要求4所述的白线检测方法，其中所述消除与其他物体相关的边缘点，只留下待检测白线上的像素点包括: 在选择边缘点的时候，从图像的中间开始，向左向右逐行扫描图像，保留遇到的第一个满足条件的非零点，作为白线边缘点，移除本行本方向上其他剩余的点。
6.一种自适应图像融合系统，包括: 图像捕获单元，获取同一场景的灰度图像和偏光图像； 场景权重计算单元，基于训练集图像生成场景分布图模型，并基于该场景分布图模型计算灰度图像和偏光图像的场景权重； 图像融合单元，基于所计算的场景权重融合所述灰度图像和偏光图像。
7.一种白线检测系统，包括: 如权利要求6所述的自适应图像融合系统； 噪声去除模块，去除融合图像中的噪声； 边缘生成模块，生成去除噪声后的融合图像的边缘图像； 二值化模块，对边缘图像执行二值化处理，得到图像的一个像素宽度的边缘图像； 边缘选择模块，消除与其他物体相关的边缘点，只留下待检测白线上的像素点；以及 白线定位模块，基于霍夫变换定位白线的位置。
【文档编号】G06T5/50GK103578090SQ201210258400
【公开日】2014年2月12日 申请日期:2012年7月24日 优先权日:2012年7月24日
【发明者】胡平, 师忠超, 刘媛, 鲁耀杰, 刘丽艳 申请人:株式会社理光