一种非结构化道路rgb熵分割方法
【专利摘要】本发明公开了一种非结构化道路RGB熵分割方法，属于智能汽车辅助驾驶技术领域。本发明对非结构化道路彩色图像，首先计算其RGB熵值矩阵，通过RGB熵值矩阵的直方图，寻找最小直方图差值，并计算阈值粗略识别道路区域和非道路区域，得到黑白识别结果图像。然后，将黑白识别结果图像划分成多个方格，计算每个方格内黑白像素比例，并转换成二值图像，得到一个新的较小的图像。最后采用轮廓跟踪法搜索道路左右边缘方格，并采用边缘到边缘的方法(side?to?side)，精确搜索道路左右边缘线，实现精准分割道路区域和非道路区域。本发明能较好分割非结构化道路，抗干扰能力强，对道路形状不敏感，且计算量较小，符合无人驾驶系统实时性要求。
【专利说明】
-种非结构化道路RGB滴分割方法
技术领域
[0001] 本发明设及一种非结构化道路RGB赌分割方法，属于智能汽车辅助驾驶技术领域。
【背景技术】
[0002] 车辆的自动驾驶系统是计算机视觉的一个重要应用领域，道路检测算法是该领域 的关键技术之一。实际的道路可分为结构化道路和非结构化道路两类。结构化道路一般有 明显的车道线和道路边界，检测方法比较成熟。非结构化道路一般指结构化程度较低的道 路，运类道路没有车道线和清晰的道路边界，再加上阴影和水迹的影响，检测难度相对较 大。
[0003] 目前，非结构化道路的检测算法主要分为基于特征的方法、基于模型的方法、基于 神经网络的方法和基于支持向量机的方法。基于特征的道路检测算法，主要是根据道路在 颜色、纹理、梯度等特征上的不同，与非道路进行区分。其优点是对道路形状不敏感，需要的 先验知识少，但是对阴影和水迹较为敏感，处理计算量较大。基于模型的方法，首先需要找 到最匹配的道路模型，该方法检测出的道路区域较为完整，但是对于复杂的路面形状，无法 建立有效的模型。基于神经网络的方法和基于支持向量机的方法，需要对样本大量的训练 集。
[0004] 鉴于此，开发一种能有效精确分割非结构化道路区域的方法尤为重要。
【发明内容】
[0005] 本发明的目的在于非结构化道路边界难W精确界定，且易受阴影、道路中干扰物 的影响，提出了一种非结构化道路RGB赌分割方法，旨在解决现有对道路阴影、障碍物等干 扰，精确分割非结构化道路区域，且计算量符合无人驾驶系统实时性要求。
[0006] 本发明是一种非结构化道路RGB赌分割方法，具体通过W下步骤实现：
[0007] 步骤1、通过车载单镜头CC时暴像机获取非结构化道路图像。
[000引步骤2、首先计算非结构化道路图像的RGB赌值矩阵。然后计算RGB赌值矩阵的直方 图，寻找最小直方图差值，并计算阔值化reshold。最后根据阔值，粗略识别道路区域和非道 路区域，得到黑白识别图像。
[0009] 步骤2-1、对大小为M X N的道路彩色图像，计算归一化RGB各分量。
[0010] RA(i，j)=R(i，j)/(R(i，j)+G(i，j)+B(i，j))
[00"] GA(i，j)=G(i，j)/(R(i，j)+G(i，j)+B(i，j))
[0012] BA(i，j)=B(i，j)/(R(i，j)+G(i，j)+B(i，j))
[001引 式中，i = 0，...= 0，...，N-1。
[0014] 步骤2-2、计算RGB赌矩阵化GB，并将其取值变换到[0,255]之间，得到MXN的矩阵 Hrgb。
[001 引 HrgbU，j) =-RA(i，j) ? log2RA(i，j)-GA(i，j) ? log2GA(i，j)-BA(i，j) ? log2BA (i，j)
[0016]
[0017] 步骤2-3、对矩阵Hrgb/计算其灰度直方图，得到f=[f(0)，f(l)，-'，f(255)]。
[0018] 步骤2-4、计算直方图差值cha。
[0019]
[0020] 式中，t = l，…，255。
[0021] 步骤2-5、从t = 255递减寻找到t = l，通过寻找最小直方图差值的方法，计算阔值 Threshold。
[0022]
[0023] 步骤2-6、对大小为MXN的彩色道路原图像，将道路图像分为两类0(表示道路像 素）、255(非道路像素），得到大小为M X N的二值图像WR，其像素值为O (i，j)。
[0024]
[00巧]其中，h(i，j)为矩阵化GB'中的值。
[0026] 步骤3、对步骤2-6所得的黑白图像，划分为多个方格，并计算方格内黑白像素比 例，最后转换成二值图像。
[0027] 步骤3-1、对步骤2-6所得到的大小为MXN黑白二值图像WR，首先进行去除孤立白 色像素点处理，然后划分为多个方格，如图2所示。设定初始值t，将图像分成qXr个方格：
[002引
[0029] 式中，。表示取整运算。
[0030] 考虑到(M/t，N/t)不一定是整数，显然最后一行方格包含的像素行数为M-(Q-I)X t，最后一列方格包含的像素列数为N-(r-l) X t，其它方格包含的像素个数为t X t个。
[0031] 步骤3-2、计算每个方格黑白像素比例：
[0032] wp( i，j)=佩（i，j)/Nz(i，j)
[0033] 式中，i = l，…，q，j = l，…，r，Nw(i，j)和Nz(i，j)分别表示第i行，j列个方格中白色 像素和总的像素个数。
[0034] WP(i，j)取值在[0，1 ]之间，WP是一个维数为q X r的矩阵，乘W255，可W图像的形 式显示其结果。
[0035] 步骤3-3、将WP转换成二值图像。首先对WP进行去除孤立白色方格处理，然后设定 转换阔值，将图像转换成二值图像：
[0036]
[0037] 考虑到道路区域白点很少，故系数kcoef的选取比较小，通常设定为[0.01 0.。之 间。
[0038] 步骤4、在步骤3-3二值图像中，采用轮廓跟踪法捜索道路左右边缘方格。捜索是在 大小为qXr的黑白二值图像Wt中进行的。为便于区分，把qXr图像中的一个像素，称为一个 方格。捜索道路左右边缘方格方法如图3所示。
[0039] 步骤4-1、起始点选取底部中点，首先寻找道路的左边边缘方格。由底部中点向左 捜索，直到方格值为255或图像第1列，记下相应方格位置（i，j)中的j值到Lef巧Oint. j中， 即记下道路左边缘黑色方格列的位置；类似，向右捜索，并记下相应方格列值到 Ri曲巧Oint. j中。同时，使得该行[Lef巧Oint. j，Righ巧Oint. j]之间的方格取值为0，其它 方格取值为255。计算并存储路宽W=RigthJ-Lef证Oint. j。
[0040] 步骤4-2、向上一格，即继续捜索图像上一行。首先是左边道路边缘的捜索。W步骤 4-1中的列位置Lef巧Oint. j为起始点。若当前方格(i-1 ,Lef巧Oint. j)为白色方格，则向右 继续捜索，直到方格值为0结束，记下相应方格(i-1，j)中的j值到Lef证Oint. j中；若当前方 格为黑色方格，则向左继续捜索，直到方格值为255结束，记下相应方格Q-I，j)中的j值到 Lef巧oint. j中。右边道路边缘的捜索类似。同时，使得该行[Lef巧oint. j，Righ巧oint. j] 之间的方格取值为0，其它方格取值为255。计算并存储路宽W=Rigth. j-Lef证Oint. j。
[0041 ]步骤4-3、重复步骤4-2，直到路宽W小于设定阔值Wth为止，结束捜索。
[0042] 步骤5、在步骤2-6的黑白结果图像中，结合步骤4的结果，按边缘到边缘的方法 (side-to-side)，精确捜索道路左右边缘线及实现精确分割道路区域和非道路区域。在步 骤4中（i ,Lef巧Oint. j)是在大小为qXr的图像中捜索的结果，对应到大小为MXN的图像 中，则表示第i行第Lef巧Oint. j个方格，是指白色和黑色方格交界处的黑色方格，如图4所 示。每个方格都包含若干个像素。运里捜索道路左右边缘线，是指在大小为MXN的图像中 (即步骤2-6中的CO)捜索道路左右边缘线，并提取道路区域。捜索道路左右边缘线与区域分 割方法如图4所示。
[0043] 步骤5-1、捜索左边道路边缘线，从图像底部开始。W步骤4中捜索的结果方格（i， LeftPoint. j)为起始位置，从方格最底部最左端开始，向左捜索，直到像素值为255或图像 第1列，结束捜索，记下相应的黑色像素位置(x，Lef巧Oint.y)。类似，向右捜索，并记下相应 黑色像素点位置（X，RightPo int.y)中。运里为了便于比较，使得X行，[LeftPo int.y， Righ证oint.y]列之间的像素取值为255,其它像素取值为原道路图像。
[0044] 步骤5-2、在本方格中向上一行，重复步骤5-1，直到该方格所有行都捜索完成。
[0045] 步骤5-3、向上一个方格，从方格最底部开始捜索，重复步骤5-1、5-2，直到该方格 所有行都捜索完成。
[0046] 步骤5-4、重复步骤5-3，直到所有的黑色方格捜索完毕。
[0047] 有益效果
[0048] 本发明一种非结构化道路RGB赌分割方法通过计算道路图像的RGB赌值，粗略区分 道路区域和非道路区域，然后采用边缘到边缘(side-to-side)法精确地分割道路区域和非 道路区域。与现有技术相比，该分割方法能精确分割非结构化道路，对道路阴影、道路障碍 物等有较强的抗干扰能力，且对道路形状不敏感。同时计算量较小，符合无人驾驶系统实时 性要求。
【附图说明】
[0049] 图I是本发明一种非结构化道路RGB赌分割方法的实施流程图；
[0050] 图2是将道路图像划分为多个方格方法图；
[0051] 图3是采用轮廓跟踪法捜索道路左右边缘方格方法图。
[0052] 图4是采用边缘到边缘(side-to-side)法分割道路区域方法图
[0053] 图巧自结构化道路彩色原图
[0054] 图6是基于RGB赌值的非结构化道路粗略分割效果图
[0055] 图7是将图6划分为多个方格并计算其黑白像素比例所转化成的二值图像
[0056] 图8是采用轮廓跟踪法捜索道路左右边缘方格效果图
[0057] 图9是采用边缘到边缘(side-to-side)法精确分割道路区域效果图 [0化引图10是采用mid-to-side方法分割道路区域效果图
【具体实施方式】
[0059] 下面结合附图和实施例对本发明做进一步说明和详细描述：
[0060] 实施例：
[0061] 为了验证该分割方法的有效性，在不同类型的非结构化道路场景下做了道路分割 实验，并与mid-to-side方法道路图像分割进行了比较。图像的分辨率为695X950,具体实 施方法为：
[0062] 一、通过车载单镜头CO)摄像机获取非结构化道路彩色图像，如图5所示。
[0063] 二、计算非结构化道路图像的RGB赌值，并计算RGB赌值的阔值，粗略识别道路区域 和非道路区域，如图6所示。
[0064] =、精确捜寻非结构化道路边缘线及精确分割道路区域
[0065] 步骤1、计算第二步所得黑白二值图像的黑白像素比例。
[0066] 步骤1-1、对第二步得到的大小为695X950黑白二值图像，首先进行去除孤立白色 像素点处理，然后划分为多个方格。设定初始值t = 8,将图像分成87 X 119个方格。考虑到 (M/t，N/t)不一定是整数，显然最后一行方格包含的像素行数为7行，最后一列方格包含的 像素列数为6列，其它方格包含的像素个数为8 X 8个。
[0067] 步骤1-2、每个方格黑白像素比例计算如下：
[006引 wp( i，j)=佩（i，j)/Nz(i，j)
[00例式中，i = I，…，q，j = I，…，r，佩(i，j)和Nz(i，j)分别表示第i行，j列个方格中白色 像素和总的像素个数。
[0070] 步骤2、将WP转换成二值图像。首先对WP进行去除孤立白色方格处理，然后设定转 换阔值，将图像转换成二值图像：
[0071]
[0072] 考虑到道路区域白点很少，故系数kcoef的选取比较小，运里取kcoef = 0.01。
[0073] 所得二值图像如图7所示。
[0074] 步骤3、义用轮廓跟踪法捜索道路左右边缘方格。捜索是在大小为87 X 119的黑白 二值图像Wt中进行的。为便于区分，把大小为87X119图像中的一个像素，称为一个方格。所 得结果图如图8所示。
[0075] 步骤4、采用边缘到边缘(side-to-side)法精确捜索道路左右边缘线与分割道路 区域。在步骤3中Q ,Lef巧Oint. j)是在大小为87X119的图像中捜索的结果，对应到大小为 695X950的图像中，则表示第i行第LeftPoint. j个方格，是指白色和黑色方格交界处的黑 色方格，如图4所示。每个方格都包含若干个像素。运里捜索道路左右边缘线，是指在大小为 695X950的图像(即图6)中捜索道路左右边缘线，并分割道路区域。所得结果如图9所示。为 增强与原始图像的对比效果，道路区域用白色表示，其它区域保留原始图像。为了比较分割 效果，图10给出了 mid-to-side方法分割道路图像的效果图。
[0076] W上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公 开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范 围。
【主权项】
1. 一种非结构化道路RGB熵分割方法，其特征在于，包括下列步骤： 步骤1、采集道路彩色图像。 步骤2、计算非结构化道路彩色图像的RGB熵值，并计算RGB熵值的阈值，粗略识别道路 像素和非道路像素，得到黑白识别图像。 步骤3、对所得黑白识别图像，划分成多个方格，并计算方格内黑白像素比例，得到一个 新的较小的图像，转换成二值图像。 步骤4、在步骤3所得二值图像中，采用轮廓跟踪法搜索道路左右边缘方格。 步骤5、在步骤2的黑白结果图像中，结合步骤4的结果，按边缘到边缘的方法(side-to-side)，精确搜索道路左右边缘线，实现精准分割道路区域。2. 根据权利要求1所述方法，其特征在于，所述步骤2进一步包括以下步骤： 步骤2-1、对大小为M X N的道路彩色图像，计算归一化RGB各分量。 RA(i，j)=R(i，j)/(R(i，j)+G(i，j)+B(i，j)) GA(i，j)=G(i，j)/(R(i，j)+G(i，j)+B(i，j)) BA(i，j)=B(i，j)/(R(i，j)+G(i，j)+B(i，j)) 式中，i = 0，···，M_l，j = 0，···，N_1。 步骤2-2、计算RGB熵矩阵Hrgb，并将其取值变换到[0，255]之间，得到M XN的矩阵HRGB\ HRr,R(i , i) =-RA(i, i) · I oe-^RA(i , i)-GA(i , j) · log2GA( i, j)-BA( i, j) · log2BA(i , j) 步骤2-3、对矩阵HrJ计算其灰度直方图，得到f = [f (0)，f (I)，…，f (255)]。 步碟2_4、计覚官方图差借clia n式中，t = 1，…，255。 步骤2-5、从t = 255递减寻找到t=l，通过寻找最小直方图差值的方法，计算阈值 JJ^^pQhril H _步骤2-6、对大小为MXN的彩色道路原图像，将道路图像分为两类0(表示道路像素）、 255(非道路像素），得到大小为M X N的黑白二值图像WR，其像素值为ω (i，j)。 t其中，h(i，j)为矩阵Hrgb'中的值。3. 根据权利要求1所述方法，其特征在于，所述步骤3进一步包括以下步骤： 步骤3-1、对MXN黑白二值图像WR，首先进行去除孤立白色像素点处理，然后划分为多 个方格。设定初始值t，将图像分成q X r个方格：式中，Pl表示取整运算。 步骤3-2、计算各方格黑白像素比例。每个方格黑白像素比例定义为： wp(i, j)=Nw(i, j)/Nz(i, j) 式中，i = I，…，q，j = I，···，r，Nw(i，j)和Nz(i，j)分别表示第i行，j列个方格中白色像素 和总的像素个数。 步骤3-3、将wp转换成二值图像。首先对wp进行去除孤立白色方格处理，然后设定转换 阈值，将图像转换成二值图像：考虑到道路区域白点很少，故系数k_f的选取比较小，通常设定为[0.01 0.1]之间。4. 根据权利要求1所述方法，其特征在于，所述步骤4进一步包括以下步骤： 步骤4-1、搜索是在大小为qXr的黑白二值图像wt中进行的。为便于区分，把qXr图像 中的一个像素，称为一个方格。起始点选取底部中点，首先寻找道路的左边边缘方格。由底 部中点向左搜索，直到方格值为255或图像第1列，记下相应方格位置（i，j)中的j值到 LeftPoint. j中，即记下道路左边缘黑色方格列的位置;类似，向右搜索，并记下相应方格列 值到虹81^?〇;[111:.」中。同时，使得该行[1^;^?〇;[111:.」，1^81^?〇;[111:.」]之间的方格取值为0， 其它方格取值为255。计算并存储路宽W=Rigth.j-LeftPoint.j。 步骤4-2、向上一格，即继续搜索图像上一行。首先是左边道路边缘的搜索。以步骤4-1 中的列位置Lef tPoint. j为起始点。若当前方格（i-I，Lef tPoint. j)为白色方格，则向右继 续搜索，直到方格值为〇结束，记下相应方格(i-1，j)中的j值到Lef tPoint. j中；若当前方格 为黑色方格，则向左继续搜索，直到方格值为255结束，记下相应方格（i-1，j)中的j值到 LeftPoint · j中。右边道路边缘的搜索类似。同时，使得该行[LeftPoint · j，RightPoint · j] 之间的方格取值为〇，其它方格取值为255。计算并存储路宽W=Rigth. j-Lef tPoint. j。 步骤4-3、重复步骤4-2，直到路宽W小于设定阈值Wth为止，结束搜索。5. 根据权利要求1所述方法，其特征在于，所述步骤5进一步包括以下步骤： 步骤5-1、搜索道路左右边缘线，是指在大小为MXN的二值图像WR中搜索道路左右边缘 线，并提取道路区域。搜索左边道路边缘线，从图像底部开始。以步骤4中搜索的结果方格 (i，LeftPoint. j)为起始位置，从方格最底部最左端开始，向左搜索，直到像素值为255或图 像第1列，结束搜索，记下相应的黑色像素位置(x，LeftP 〇int.y)。类似，向右搜索，并记下相 应黑色像素点位置(x，RightPoint.y)中。为了便于比较，X行[LeftPoint.y，RightPoint.y] 列之间的像素取值为255,其它像素取值为原道路图像。 步骤5-2、在本方格中向上一行，重复步骤5-1，直到该方格所有行都搜索完成。 步骤5-3、向上一个方格，从方格最底部开始搜索，重复步骤5-1、5-2，直到该方格所有 行都搜索完成。 步骤5-4、重复步骤5-3，直到所有的黑色方格搜索完毕。
【文档编号】G06T7/00GK106023180SQ201610322052
【公开日】2016年10月12日
【申请日】2016年5月17日
【发明人】李迎春, 付兴建
【申请人】李迎春