本发明属于图像处理
技术领域：
，更进一步涉及路标的识别方法，可用于交通领域的场景感知。
背景技术：
：随着社会经济的发展和进步，车辆已经普及到国内大部分家庭，但是在汽车给人们的生活带来方便的同时，交通事故的发生频率也越来越高，交通安全问题受到了政府、科研机构以及汽车生产厂家的高度重视。而解决这一问题的有效途径之一是准确、有效地设立道路交通标志，为驾驶员提供禁止、警告、指示等行车信息，从而减少交通事故的发生。因此，路标检测识别系统受到了学者们的广泛关注，在过去的十几年中，学者们在交通标志的检测与识别应用领域展开了广泛的研究。在路标检测方面，y.nguwi等人先基于his颜色空间对图像做阈值化处理，使用ycbcr图像块为特征训练出神经网络分类器，检测图像中的标志候选区域。p.wanitchai等人基于hsv颜色空间的hue通道值对图像做阈值化处理，检测图像中的红色交通标志。f.ren等人首先基于hsv颜色空间对图像基于hue通道进行阈值化分割，之后根据简化的标志形状的目标函数与模板目标函数间距离实现交通标志的检测。x.qingsong等使用图像his颜色空间阈值化后得到边缘图像，通过径向对称投票检测出交通标志区域。d.deguchi等人针对七种具体类型的交通标志，使用基于局部等级模式特征的嵌套级联分类器对图像rgb像素值进行分类并得到一幅边缘图像，然后采用ransac圆形拟合来检测圆形交通标志。在路标识别方面，ruta.a等人使用最近领域方法，通过各类别之间的最近距离，对待识别的交通图像进行识别。j.greenhalgh等人通过提取路标数据的hog特征，通过二叉树的方式训练多层级联svm分类器，达到识别的效果。上述几种路标检测方法，由于对路标颜色与形状特性考虑不够充分，提取特征较为简单，所以路标提取效率较低，对于上述的路标识别方法，由于传统特征表征能力有限，导致识别的准确率比较低。因此如何更有效的提取路标区域以及如何提升路标区域的识别准确率是路标检测与识别方法的重要研究内容。技术实现要素：本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于条件随机场的路标识别方法，以提高路标检测的效率和路标识别的准确率。为实现上述目的，本发明采取的技术方案包括如下：(1)根据纯路标图像数据建立路标颜色种子点集合；(2)在路标数据检测库gtsdb中取出600张含有路标的图像作为图像集data，对于图像集data中的每一张含有路标的图像i，计算含有路标的图像i中的超像素块和路标颜色种子点集合中不同类别路标种子点的颜色相似度，得到含有路标的图像i的先验颜色特征图集合ti，将图像集data中所有图像的先验颜色特征图集合作为训练数据集d1；(3)对于图像集data中的每一张含有路标的图像i，通过贝叶斯决策理论计算含有路标的图像i中每个像素点属于不同类别颜色路标的概率，得到含有路标的图像i的颜色概率分布图集合pi，将data中所有图像的颜色概率分布图集合作为训练数据集d2；(4)用(2)中的训练数据集d1与(3)中的训练数据集d2训练马尔科夫条件随机场模型，用训练好的马尔科夫随机场模型融合路标图像的先验颜色特征图和颜色概率分布图，得到融合图像h；(5)通过最大稳定极值区域mser方法提取融合图像h中的连通区域作为感兴趣区域roi；(6)通过多尺度卷积神经网络对感兴趣区域roi进行分类识别。本发明与现有技术相比，具有以下优点：1)本发明相对于传统的路标检测方法，利用贝叶斯原理生成颜色概率特征图，结合条件随机场的特征图融合方法，充分用了路标颜色特性，在减少提取到的冗余的感兴趣区域数量的同时，提高了区域提取的召回率。2)本发明运用多尺度卷积神经网络进行特征的提取和分类，能更好地提取到图像的深层信息，使得分类效果得到提升。附图说明图1是本发明的实施例流程图；图2是本发明与现有不同方法在警告类路标下的召回率与平均区域提取数对比图；图3是本发明与现有不同方法在指示类路标下的召回率与平均区域提取数对比图；图4是本发明与现有不同方法在禁止类路标下的召回率与平均区域提取数对比图。具体实施方式以下结合附图和具体实施例，对本发明的技术方案作进一步详细描述：参照图1，本发明的实现步骤如下：步骤1，根据纯路标图像数据建立路标颜色种子点集合。(1a)根据路标的颜色将路标数据分为j类；(1b)通过简单线性聚类方法slic对每一类路标数据进行超像素分割，得到超像素块集合，并用超像素块上像素的色彩空间cielab平均颜色特征描述该超像素块，得到该类路标数据的一个超像素种子点集合；(1c)用j类路标数据的超像素种子点集合组成路标颜色种子点集合。步骤2，计算含有路标的图像i中的超像素块和路标颜色种子点集合中不同类别路标种子点的颜色相似度，获得所有图像的先验颜色特征图集合作为训练数据集d1。(2a)在路标数据检测库gtsdb中取出600张图像组成图像集data；(2b)对于每一张含有路标的图像i∈data，通过简单线性迭代聚类方法slic对含有路标的图像i进行超像素分割，得到m个超像素块，并用超像素块的色彩空间cielab平均颜色特征和平均坐标来描述每一个超像素块；(2c)计算(2b)中得到的含有路标的图像i的超像素块与(1)中得到的路标颜色种子点集合的颜色相似度sk,m：其中pk表示第k类颜色路标中种子点的个数，j为路标的类别数，cm表示图像i上第m个超像素块的颜色特征，表示第k类种子点集合中第n个超像素块的颜色特征，为cm与二范数的平方，表示它们在颜色空间上的距离，σ为权重值；(2d)将颜色相似度值sk,m映射到超像素块在含有路标的图像i的对应位置上，得到含有路标的图像i对于第k类路标数据的先验颜色特征图；(2e)用j个先验颜色特征图组成含有路标的图像i的先验颜色特征图集合ti，用所有的先验颜色特征图集合ti组成训练数据集d1。步骤3，通过贝叶斯决策理论计算含有路标的图像i中每个像素点属于不同类别颜色路标的概率，得到含有路标的图像i的颜色概率分布图集合pi，获得所有图像的颜色概率分布图集合作为训练数据集d2。(3a)对于对每一张含有路标的图像i∈data，根据贝叶斯理论计算图像i中像素点属于第i类颜色路标的概率p(classi|x)：p(classi|x)＝p(x|classi)·p(classi)i＝1,2,...,j，其中，x表示图像i的像素点，classi表示第i类颜色路标，p(classi)为先验概率，j为路标的类别数，p(x|classi)为似然函数；(3b)计算(3a)贝叶斯公式中的先验概率p(classi)：其中代表第i类颜色路标的样本数量；(3c)根据高斯模型模拟第i类颜色路标在含有路标的图像i中的分布，计算(3a)贝叶斯公式中的似然函数p(x|classi)：其中μi为像素点x的颜色特征均值，c为所有像素点的协方差矩阵，d代表像素点x的维数；(3d)将(3b)中的p(classi)与(3c)中的p(x|classi)带入(3a)贝叶斯公式得到像素点x属于第i类路标的概率p(classi|x)，将每个像素点x的p(classi|x)对应到含有路标的图像i中x的位置，得到像素点对于第i类颜色路标的颜色概率特征图；(3e)用j个颜色概率分布图组成颜色概率分布图集合pi，用所有的颜色概率分布图集合pi组成训练数据集d2。步骤4，训练马尔科夫条件随机场模型，用训练好的马尔科夫随机场模型融合路标图像的先验颜色特征图和颜色概率分布图，得到融合图像h。(4a)构造马尔科夫条件随机场的图模型x：将含有路标的图像i的每一个超像素块分别设定为图模型中的一个节点，第m个节点用该超像素块的特征向量表示，其中fsk(m)为训练数据集d1中含有路标的图像i的第m个先验颜色特征图上超像素块的特征值，fbi(m)为训练数据集d2中含有路标的图像i的第m个颜色概率分布图中超像素块对应位置的像素点集合特征值的平均值，将每一个超像素块与其相邻的超像素块相连接；(4b)根据(4a)中的图模型，构造马尔科夫条件随机场的能量函数：其中，x为(4a)中的图模型，y为含有路标的图像i的标签图，θ为能量函数的模型参数，ym为节点m在y中对应位置的标签值，am为与节点m相邻节点的集合，为am中第a个节点的特征向量，ya为节点a在y中对应位置的标签值，z(x)为归一化因子，用来保证p(y|x；θ)的取值范围在[0,1]内，为能量函数中的一元项，其中，与均为模型参数θ的子集，fsk(m)和fbi(m)第m个节点特征向量的特征值，为能量函数中的二元项，代表相邻超像素块之间的相互影响，其中，和均为模型参数θ的子集，fsk(a)和fbi(a)第a个节点特征向量的特征值；(4c)对每一张含有路标的图像i∈data，构造一个马尔科夫条件随机场图模型，输入到能量函数中，对(4b)能量函数中的参数θ进行迭代优化使能量函数的输出越来越逼近含有路标的图像i的标签图，最终得到训练好的马尔科夫条件随机场模型；(4d)输入一张路标数据检测库gtsdb的图像g，计算含有路标的图像g的先验颜色特征图集合tg和颜色概率分布图集合pg；(4e)构造图像g的马尔科夫条件随机场图模型，输入到训练好的马尔科夫条件随机场模型中，计算马尔科夫条件随机场模型的能量函数，该能量函数的输出为融合图像h。步骤5，通过最大稳定极值区域mser方法提取融合图像h中的连通区域作为感兴趣区域roi。(5a)输入融合图像h，从0到255按间隔1等间隔取值作为阈值th，对融合图像h进行二值化处理，将融合图像h中灰度值高于阈值的像素设为白色，低于阈值的像素设为黑色，得到一系列二值化图像{bwth}；(5b)计算在这些二值化图像{bwth}中连通区域qth的大小变化率：其中，q(th)表示qth的大小变化率，δ表示微小的阈值变化，|qth+δ-qth-δ|表示在阈值微小变动后qth大小变化的值；(5c)计算不同阈值下的q(th)，当q(th)取到局部最小值时，提取对应的连通区域qth，用所有这样的连通区域组成最大稳定极值区域集合r，将集合r作为感兴趣区域roi。步骤6，通过多尺度卷积神经网络对感兴趣区域roi进行分类识别。(6a)根据图像尺寸大小及路标数据数量优先的特点，构建用三条通路和一个全连接层组成的卷积神经网络框架，三条通路中的每条单路用三个卷积层c1，c2，c3组成，其中第一卷积层c1有32个卷积核，卷积核大小为5×5×3，第二卷积层c2有32个卷积核，卷积核大小为5×5，第三卷积层c3，有64个卷积核，卷积核大小为5×5，三条通路输出的特征用全连接层合并得到特征向量；(6b)对于所有的感兴趣区域r∈roi，通过改变感兴趣区域r的尺寸大小得到三个新的图像patchl，patchm和patchs，并把这三个新的图像输入到卷积神经网络对应的三条通路，得到感兴趣区域r的特征向量，其中roi为(5)中得到的感兴趣区域；patchl，patchm和patchs的尺寸分别为感兴趣区域r尺寸的64％、48％、32％；(6c)将(6b)中所有感兴趣区域r∈roi的特征向量输入到softmax分类器中，对感兴趣区域r进行路标分类，得到路标的识别结果。本发明的效果可以通过以下实验进一步说明：1.实验条件实验硬件设备：philips台式机，cpu为i7-6700k，显卡为英伟达gtxtitan。实验软件平台：windows7操作系统下的matlabr2015b+linux操作系统下的caffe架构。2.实验内容实验1，用本发明和已有的两种交通标志检测算法，即颜色标准化算法rgbn和支持向量机方法svm配合最大稳定极值区域mser方法对路标数据检测库gtsdb的图像数据进行感兴趣区域的提取，按照路标外观与功能，在警告路标图像数据上进行试验，结果如图2，其中横坐标表示对数据库中图像的平均提取的感兴趣区域数目，纵坐标表示提取到感兴趣区域区域的召回率，即正确检测到的感兴趣区域与标签图中感兴趣区域数目的比值。实验2，用本发明和已有的两种交通标志检测算法，即颜色标准化算法rgbn和支持向量机方法svm配合最大稳定极值区域mser方法对路标数据检测库gtsdb的图像数据进行感兴趣区域的提取，按照路标外观与功能，在指示路标图像数据上进行试验，结果如图3，其中横坐标表示对数据库中图像的平均提取的感兴趣区域数目，纵坐标表示提取到感兴趣区域区域的召回率，即正确检测到的感兴趣区域与标签图中感兴趣区域数目的比值。实验3，用本发明和已有的两种交通标志检测算法，即颜色标准化算法rgbn和支持向量机方法svm配合最大稳定极值区域mser方法对路标数据检测库gtsdb的图像数据进行感兴趣区域的提取，按照路标外观与功能，在禁止路标图像数据上进行试验，结果如图4，其中横坐标表示对数据库中图像的平均提取的感兴趣区域数目，纵坐标表示提取到感兴趣区域区域的召回率，即正确检测到的感兴趣区域与标签图中感兴趣区域数目的比值。实验4，用本发明对路标的分类识别算法和已有的分类算法在路标数据库gtscb上进行路标分类准确率测试对比，结果如表1：表1.gtscb上各方法分类结果算法分类准确率％算法分类准确率rawpixel+rbfsvm61.3rawpixel+nn66.5hog+rbfsvm77.6hog+nn79.4lbp+rbfsvm71.1lbp+nn75.6pi+rbfsvm73.7pi+nn76.1pi+lda+rbfsvm82.5pi+lda+nn81.3rawpixel+rf60.1hog+rf74.8lbp+rf69.7pi+rf73.5pi+lda+rf82.3ours94.7表1中图像特征提取方法分别为：原始像素法rawpixel，方向梯度直方图法hog，局部二值模式法lbp，方向梯度直方图金字塔法pi，其中方向梯度直方图金字塔法pi用到了不降维与特征降维两种模式，特征降维时所用的方法为方法为线性降维方法lda；分类器算法分别为：基于rbf核的支持向量机法rbfsvm，近邻分类器法nn，随机森林算法rf。3.实验结果分析图2，3，4直观的表示出了不同方法提取含有路标的图像中感兴趣区域的效果的不同，本发明的方法可以在提取更少区域的情况下，得到更高的召回率，所以本发明中roi的提取方法比其他两种方法更高效，能够正确检测到更多的路标区域。从表1可直观的表示出本发明中对路标的分类识别方法具有更好的分类能力，可以为路标的识别带来更高的准确率。当前第1页12