一种鲁棒的限速交通标志检测与识别方法与流程

本发明属于计算机视觉领域，涉及一种图像识别方法，具体涉及一种鲁棒的限速交通标志检测与识别方法。

背景技术：

随着经济技术的发展，汽车在人们日常生活中扮演着越来越重要的角色，人们对汽车的需求也越来越多，包括各种安全辅助驾驶技术逐渐出现，如自适应巡航控制系统、防撞系统、预期感知碰撞系统、车位识别系统和夜视系统等。当科学技术发展到一定程度，最终就会实现安全、高效的汽车无人驾驶技术，即实现无人驾驶车。据统计，每年在交通事故中死亡的人数大约有100万人，并且由人为操作失误造成的死亡事故占绝大部分；而无人驾驶技术可以在很大程度上降低出现人为操作失误的情况，与传统汽车相比更具安全性。无人驾驶车一直以来都是研究热点，因为它在许多领域都具有广阔的应用前景，如在军事领域可以代替人员完成侦查、巡逻、搜索、营救、运输物资等任务；而对道路中的限速交通标志进行检测与识别是无人驾驶车研究中的一项关键技术，其结果将直接影响无人驾驶车的速度以及安全性。

目前有许多关于交通标志检测与识别方法的传统方法用于限速交通标志的检测与识别，如基于模板匹配交通标志检测与识别算法、基于HOG特征+SVM分类器的交通标志检测与识别算法、基于LogitBoost瀑布型级联分类器结合的交通标志检测与识别的方法、基于BP神经网络的交通标志检测与识别算法等。由于交通标志受到使用年限与外界环境的影响，易产生污损 褪色、扭曲失真、反光等问题，上述识别方法都仅仅对目标图像的某一特征进行分析，对目标图像中的有效信息利用不足，从而导致对目标检测与识别准确率比较低，实际检测与识别效果不佳。

技术实现要素：

针对上述现有技术存在的不足，本发明的目的在于，借鉴人类视觉注意机制机理，提出一种基于先验信息约束与多级特征融合的图模型层次显著性检测模型，提取感兴趣区域ROI，再结合CNN对候选区进行特征提取与分类，建立一个鲁棒的限速交通标志识别系统，解决现有技术对目标检测与识别准确率低的问题。

为解决上述技术问题，本发明采用了以下技术方案：

一种鲁棒的限速交通标志检测与识别方法，具体包括以下步骤：

步骤一：使用过分割方法，对原始图像进行超像素分割，由原始图像分割后的超像素图映射得到无向权图；

步骤二：根据步骤一得到的无向权图，利用目标的先验位置约束特征与局部特征，建立多特征融合的显著性模型，其中，局部特征包括颜色特征和边界特征；

步骤三，基于步骤二得到的多特征融合的显著性模型，建立多层显著度图中第一层顶点的合并规则函数，通过对多层显著度图中每一层的多特征融合的显著性模型进行更新与迭代，得到多层显著度图；

步骤四，对多层显著度图进行求解，得到最优显著度图，在最优显著度图上获得ROI图像；

步骤五：选取部分训练样本对CNN模型进行训练，得到训练好的CNN 模型；

步骤六：使用训练好的CNN模型对步骤四获得的ROI图像进行识别；

本发明还有如下区别技术特征：

进一步的，所述的步骤一中无向权图表示为：G＝(V,E)，其中，V为无向权图中顶点的集合，由超像素区域表示，V＝{1，2，…，i}，E为无向权图中边的集合。

进一步的，步骤二的具体步骤包括：

步骤2.1：假设x_i为超像素区域R_i的像素，计算超像素区域R_i内x_i像素的数量，记为N(x_i)；假设先验位置为x_c，设定位置先验概率p_c及加权值λ(一般取0.1～0.2)，计算显著性的贡献度，公式如下：

步骤2.2：设Ω_i为超像素区域R_i的邻域，计算R_i与Ω_i内相邻超像素区域R_j的边界强度B(R_i,R_j)，对边界强度求和，记为计算超像素区域R_i的邻域Ω_i内中超像素区域R_j的数量N(R_j)；分别计算超像素区域R_i，R_j的颜色均值C_i，C_j；最后，计算每个超像素邻域对比度N_i，作为无向权图中每个顶点的显著度值，计算公式如下：

步骤2.3：基于步骤2.1得到的先验位置的约束函数和步骤2.2得到的邻域对比度，建立多特征融合的显著性模型：

s_i＝L_i*N_i

进一步的，步骤三的具体步骤包括：

步骤3.1：设S(R₁，R₂)为超像素区域R₁与超像素区域R₂的显著相关性，当R₁、R₂相邻，且R₁、R₂的显著相关性在R₁的邻域Ω₁与R₂的邻域Ω₂内都为最小时，合并；否则，不合并；

其中，s₁，s₂分别表示多特征融合显著性模型中超像素区域R₁，R₂对应的显著度值；s_i，s_j表示多特征融合显著性模型中超像素区域R₁，R₂所对应超像素邻域的显著度值。

步骤3.2：区域合并后，重复步骤二，直至使得最大的限速标志在最顶层显著度图中呈现出大尺度结构为止，即目标与背景的边界强度相差较大时，最终得到多层显著度图。

进一步的，步骤四的具体步骤包括：

步骤4.1：利用最小化代价函数对多层显著度图进行求解，得到最优显著度图；

步骤4.2：根据目标的形状特性，在目标中取长宽比为1～2：1的区域作为检测窗口，去除检测窗口中最小与最大的超像素区域，在最优显著度图上滑动检测窗口获得ROI图像；

更进一步的，步骤4.1的具体步骤包括：

步骤4.1.1：将无向权图中每个顶点s_i作为一个随机事件，随机变量集S＝{s_i|i∈V}定义为集合V上关于邻域系统Ω的马尔可夫随机场；基于先验位置约束特征与局部特征信息，建立多层显著度图中第一层S⁰中每一个超 像素的显著度惩罚函数：

其中，表示S⁰中区域i在l层显著度图中对应的显著度值，V^l表示S^l对应的图模型的顶点集合，θ为构建原始显著图所需的参数集，包括λ、x_p、k_i三个参数，λ为加权值，x_p为假设的先验位置，k_i为过分割得到的超像素区域数目；

步骤4.1.2：建立多层显著度图中层与层之间顶点互作用的显著度惩罚函数：

即l层顶点i的显著度变为合并后的l+1层顶点j的显著度所需的代价；其中表明边缘能量项只计算交界处的对比度，分别为l层区域i与l+1层区域p的邻域局部对比度， 为l层区域i与l+1层区域p的先验位置约束的差异，采用欧式距离衡量，平衡因子β用来平衡两个代价项的影响；

步骤4.1.3：最后基于图割的能量最小化算法求解最小化代价函数，得到最优的显著度图；

进一步的，步骤五的具体步骤包括：

步骤5.1：使用过分割方法对选取的训练样本进行超像素分割，得到每一个训练样本的超像素图，在每一个训练样本中随机选取比例为10％～30％的超像素作为该训练样本的中心，以该训练样本边界的平均像素值对超像素图进行扩展填充，得到与步骤四所获得的ROI图像大小相同的 填充图像；

步骤5.2：根据填充图像与训练样本的面积重叠率确定填充图像标签，当重叠率大于50％时，填充图像的标签为1；当重叠率小于50％时，其标签为0；

步骤5.3：对经过步骤5.2的填充图像送入CNN模型进行训练，得到训练好的CNN模型；

进一步的，步骤六的具体步骤为：针对目标，采用训练后的CaffeNet模型对步骤四得到的ROI图像进行分类，由分类器给出最终的分类结果；

本发明专利的有益效果体现在：

(1)综合考虑目标图像的先验位置约束特征与局部特征，对目标图像的信息充分利用，更加有利于限速标志的准确检测。

(2)通过构建层次显著性模型以及最优显著度图，最大程度增强限速标志的显著性，降低背景的显著性，从而提高检测效果。

(3)在训练与识别阶段，将视觉注意机制机理引入到目标检测中，并针对限速标志的采用超像素预训练策略对CNN进行训练，从而提高CNN模型的学习与识别能力，最终产生的效果是传统方法所不可及的。

附图说明

图1是本发明方法的流程图。

图2是层次合并规则示意图。

图3是具体层次合并过程示意图。

图4是基于最优显著图获取ROI示意图。

图5是超像素预训练策略。

图6是CNN框架。

图7是试验结果。

以下结合附图与具体实施方式对本发明进一步解释说明。

具体实施方式

为了使本发明的目的、技术方案及优势更加清楚，结合附图及实施例对本发明做进一步详细说明；一种鲁棒的限速交通标志检测与识别方法，其特征在于，借鉴人类视觉注意机制机理，提出一种基于先验信息约束与多级特征融合的图模型层次显著性检测模型，提取感兴趣区域ROI，再结合CNN对候选区进行特征提取与分类，建立一个鲁棒的限速交通标志识别系统；具体包括以下步骤：

步骤一：使用过分割方法，对原始图像进行超像素分割，由原始图像分割后的超像素图映射得到无向权图，表示为：G＝(V,E)，其中，V为无向权图中顶点的集合，由超像素区域表示，V＝{1，2，…，i}，E为无向权图中边的集合；

步骤二：在步骤一得到的无向权图的基础上，利用目标的先验位置约束特征与局部特征，建立多特征融合的显著性模型，其中，局部特征包括颜色特征和边界特征；

步骤2.1：假设x_i为超像素区域R_i的像素，计算超像素区域R_i内x_i像素的数量，记为N(x_i)；假设先验位置为x_c，设定位置先验概率p_c及加权值λ(一般取0.1～0.2)，计算显著性的贡献度，公式如下：

步骤2.2：设Ω_i为超像素区域R_i的邻域，计算R_i与Ω_i内相邻超像素区 域R_j的边界强度B(R_i,R_j)，对边界强度求和，记为计算超像素区域R_i的邻域Ω_i内中超像素区域R_j的数量N(R_j)；分别计算超像素区域R_i，R_j的颜色均值C_i，C_j；最后，计算每个超像素邻域对比度N_i，作为无向权图中每个顶点的显著度值，计算公式如下：

步骤2.3：基于步骤2.1得到的先验位置的约束函数和步骤2.2得到的邻域对比度，建立多特征融合的显著性模型：

s_i＝L_i*N_i

步骤三，基于步骤二得到的多特征融合的显著性模型，建立多层显著度图中第一层顶点的合并规则函数，通过对层显著度图中每一层的多特征融合的显著性模型进行更新与迭代，得到多层显著度图S⁰,S¹,S²,S¹,…,S^k，层次合并规则示意图如图2所示；

步骤3.1：设S(R₁，R₂)为超像素区域R₁与超像素区域R₂的显著相关性，当R₁、R₂相邻，且R₁、R₂的显著相关性在R₁的邻域Ω₁与R₂的邻域Ω₂内都为最小时，合并；否则，不合并；

其中，s₁，s₂分别表示多特征融合显著性模型中超像素区域R₁，R₂对应的显著度值；s_i，s_j表示多特征融合显著性模型中超像素区域R₁，R₂所对应超像素邻域的显著度值。

步骤3.2：区域合并后，重复步骤二，直至使得最大的限速标志在最 顶层显著度图中呈现出大尺度结构为止，即当达到多层显著度图S⁴时，最终得到多层显著度图，针对具体检测任务，层次合并过程如图3所示；

步骤四，对多层显著度图进行求解，得到最优显著度图，在最优显著度图上滑动检测窗口，获得ROI图像，针对具体检测任务，获取ROI的过程如图4所示；

步骤4.1：利用马尔可夫随机场和吉布斯分布的等价性，并采用两项基因团势能构建融合多层显著度图的代价函数，利用最小化代价函数对多层显著度图进行求解，得到最优显著度图；

步骤4.1.1：将无向权图中每个顶点s_i作为一个随机事件，随机变量集S＝{s_i|i∈V}定义为集合V上关于邻域系统Ω的马尔可夫随机场；基于先验位置约束特征与局部特征信息，建立多层显著度图中第一层S⁰中每一个超像素的显著度惩罚函数：

其中，表示S⁰中区域i在l层显著度图中对应的显著度值，V^l表示S^l对应的图模型的顶点集合，θ为构建原始显著图所需的参数集，包括λ、x_p、k_i三个参数，λ为加权值，x_p为假设的先验位置，k_i为过分割得到的超像素区域数目；

步骤4.1.2：建立多层显著度图中层与层之间顶点互作用的显著度惩罚函数：

即l层顶点i的显著度变为合并后的l+1层顶点j的显著度所需的代价； 其中表明边缘能量项只计算交界处的对比度，分别为l层区域i与l+1层区域p的邻域局部对比度， 为l层区域i与l+1层区域p的先验位置约束的差异，采用欧式距离衡量，平衡因子β用来平衡两个代价项的影响；

步骤4.1.3：最后基于图割的能量最小化算法求解最小化代价函数，得到最优的显著度图；

步骤4.2：根据限速标志的形状特性，在限速标志中取长宽比为2:1的区域作为检测窗口，去除检测窗口中最小与最大的超像素区域，在最优显著度图上滑动检测窗口获得ROI图像；

步骤五：选取部分训练样本对CNN模型进行训练，得到训练CNN模型；

步骤5.1：使用过分割方法对选取的训练样本进行超像素分割，得到每一个训练样本的超像素图，在每一个训练样本中随机选取比例为10％～30％的超像素作为该训练样本的中心，其中，对于面积大的样本选取比例为10％，面积小的样本选取比例为30％，以该训练样本边界的超像素的平均像素值进行扩展填充，得到与CNN输入ROI图像大小相同的填充图像，具体超像素预训练策略如图5所示；

步骤5.2：根据填充图像与训练样本的面积重叠率确定填充图像标签，当重叠率大于50％时，填充图像的标签为1；当重叠率小于50％时，其标签为0；

步骤5.3：对经过步骤5.2的填充图像送入CNN模型进行训练，得到训练CNN模型，如图6所示；

步骤六：使用训练CNN模型对步骤四获得的ROI图像进行识别，具体 步骤为：针对目标，采用训练后的CaffeNet架构对步骤四得到的ROI图像进行分类，其中，CaffeNet架构是由5层卷积层构成的，各卷积层配置分别为9×9×84conv→2×2maxpooling→3×3×126conv→2×2maxpooling→4×4×252conv→1×1×66conv→3×3×126conv→2×2maxpooling；最后，由softmax分类器给出最终的分类结果。

效果分析：

为验证本发明方法的有效性，选取GSTDB作为检测数据集，GSTRB作为训练数据集，训练样本大小15Pixels×15Pixels到250Pixels×250Pixels不等，对训练样本进行过分割并扩展填充为与输入CNN的ROI大小相等，都为48Pixels×48Pixels，最终得到基于超像素CNN预训练策略的训练样本集包含100多万张训练图像，50多万个用于交叉验证的样本图像；为使得目标图像中左、中、右区域的先验概率占据合理比例，调整其限速标志先验概率分别为26.7％、22.2％和52.1％；分别选择GC、BL和BSCA算法与本发明进行对比，得到实验结果如图7所示；

可以看出，针对限速标志检测任务，GC算法利用全局对比度检测如图7中弱对比度的测试图像时，检测结果很不理想；BSCA算法基于图像四周边界目标出现概率较小的先验信息，因此中心区域的显著度明显较高，针对具体检测任务鲁棒性差；而BL算法与本发明算法都保留了较完整的图像大尺度结构信息；同时本发明算法基于先验位置与边界特征的显著性模型能够更好地突出两侧的交通标志，通过多层次融合后的显著度图有效地利用了图像的结构信息，且保留了圆形标志内的诸多小尺度细节信息，使目标更完整均匀，有利于提高识别的效率与精度；另外，基于相同的数据 集对SVM分类器进行训练和测试，总的识别正确率为95.73％，而本发明中CNN的识别正确率为97.85％，再次验证了针对具体限速交通标志的本发明具有更好特征提取与分类能力。