一种识别交通标志的方法与流程

本发明涉及车辆辅助驾驶技术领域，特别是一种用于实时系统的快速交通标志识别方法。

背景技术：
交通标志是以颜色、形状、字符、图形等向道路使用者传递信息，用于管理交通的设施，在交通中起着重要作用。但对于驾驶员来说，在高速行驶的车辆中准确及时的检测与识别交通标志并非易事，常常会因漏看或错看交通标志导致路线选择错误甚至发生事故。为了减少上述情况的发生，有必要研发交通标志检测与识别系统来辅助驾驶员，进而提高行车的效率与安全。交通标志检测是指从图像中寻找可能包含交通标志的区域。根据检测原理的不同，主要分为两类。一类是基于图像分割的检测方法，另一类是基于滑动窗口的检测方法。在基于图像分割的交通标志检测中，通常会使用颜色信息对图像进行分割，之后再根据分割出的区域形状做进一步判断。这种方法的优点是无需处理整幅图像，执行速度快，但是由于颜色分割问题本身的困难性，使得该方法的漏检率普遍较高。而在基于滑动窗口的交通标志检测中，通过穷举所有可能出现交通标志的位置来代替分割，提高了检测的准确率，但是相应地增加了计算成本，导致该类方法执行速度慢。交通标志识别是指对检测到的区域内容进行类别上的判断，其实质是分类问题。根据分类过程中使用输入的不同，可以分为直接识别和间接识别。直接识别的目标是检测到的候选区域图像本身，通常的做法是将二维的图像数据转换为一维数据，作为输入来训练分类器。这种方法的优点在于省去了提取特征的计算量，缺点是很难训练出一个正确率较高的分类器模型。间接识别方法会先从图像中提取一些特征，之后再使用分类器对特征进行分类，分类的效果很大程度上取决于使用特征的表征能力。

技术实现要素：
本发明目的是提出一种识别交通标志的方法。为了兼顾颜色分割的快速性与滑动窗口的高检测率，本发明在检测阶段使用了基于Haar特征与颜色特征的快速滑动窗口分类方法，该方法可以从采集图像中提取可能存在交通标志的区域，并且根据区域的颜色和形状进行预分类，将相同颜色和形状的交通标志归为一类提供给后续的分类器。在识别阶段，本发明使用了基于深度信念网络的分类方法，即可以直接对图像数据进行分类，也可以使用提取的特征进行分类。同时本发明将大量非交通标志图像作为一类负样本引入到分类器训练过程中，用以提高整个系统的识别准确性。本发明提出的一种识别交通标志的方法，识别交通标志的步骤如下：步骤S1：生成识别交通标志所需的颜色分割模型，形状检测模型和内容识别模型；步骤S2：使用颜色分割模型对应的颜色分割模板对原始图像进行分割，得到分割后的图像；使用滑动窗口在原始图像上滑动，判断窗口中各颜色的比例关系是否满足预设条件；如果窗口中各颜色的比例关系不满足预设条件，则判定图像中不存在交通标志，如果窗口中各颜色的比例关系满足预设条件，则判定图像中存在交通标志，则调用形状检测模型；如果形状检测模型的检测结果满足预设的交通标志形状条件，则判定图像中存在交通标志，如果形状检测模型的检测结果未满足预设的交通标志形状条件，则判定图像中不存在交通标志；步骤S3：对存在交通标志的图像，根据检测时的颜色和形状信息调用对应的内容识别模型对交通标志的类别进行判断。本发明的效果是：本发明设计了从颜色样本生成颜色分割模型的方法，该方法使用正负类样本生成的两个高斯混合模型构成一个最终的颜色分割模型，并通过穷举颜色分割模型的有所输出值，构建了一个颜色分类模板，减少检测时的计算量。本发明通过设计的双阈值颜色分类系统，改进颜色分割的稳定性。同时，本发明设计了基于Haar特征与颜色特征的快速滑动窗口分类方法，对颜色分割后的图像进行积分图计算，统计在滑动窗口中的颜色信息比例，并以此作为判定背景与目标的首要依据。之后根据颜色信息的提示，选用可能的交通标志外轮廓形状检测分类器。在使用高阈值进行颜色分割后，可以使用低阈值对分割图像进行区域上的扩充，改善分割效果。通过将颜色统计信息引入到基于Haar特征的级联分类器，加快交通标志的检测速度。本发明将非交通标志图像样本引入到识别训练阶段，减少因误检测造成的识别错误，在检测阶段，系统可以根据特定交通标志的颜色和形状进行检测。在识别阶段，系统不单可以区分交通标志之间的差别，还可以区分与非交通标志的差别。附图说明图1为本发明的整体流程图；图2为本发明的颜色分割模型训练流程图；图3为本发明的交通标志检测流程图；图4为本发明的交通标志识别流程图；具体实施方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。本发明是一种用于车辆辅助驾驶或自动驾驶领域下的识别交通标志的方法。本发明可以从图像中获取交通标志的位置并识别交通标志的内容，将获取的位置和内容信息提供给车辆驾驶员或车载系统，用以规划车辆的行驶路径。本发明以安装在车辆上方的图像传感器为信息获取来源，使用基于滑动窗口的方法检测与识别交通标志。在检测阶段首先使用基于双阈值的高斯混合模型进行颜色像素统计，排除不存在交通标志的区域，之后使用训练好的级联分类器判断当前区域是否满足交通标志外轮廓形状。对于通过上述步骤的区域，使用基于深度学习的深度信念网络对其进行分类识别出交通标志的内容。本发明的特点在于通过引入颜色的统计信息减少检测阶段的计算量，并使用非交通标志参与分类器训练，提高识别阶段的正确率。本发明包含个三个处理过程，依次为模型预训练、交通标志检测、交通标志识别，其中模型预训练在检测与识别过程之前完成，包括训练用于颜色分割的模型、用于形状检测的模型、用于内容识别的模型。如图1示出识别交通标志的步骤如下：步骤S1：生成识别交通标志所需的颜色分割模型，形状检测模型和内容识别模型；步骤S2：使用颜色分割模型对应的颜色分割模板对原始图像进行分割，得到分割后的图像；使用滑动窗口在原始图像上滑动，判断窗口中各颜色的比例关系是否满足预设条件；如果窗口中各颜色的比例关系不满足预设条件，则判定图像中不存在交通标志，如果窗口中各颜色的比例关系满足预设条件，则判定图像中存在交通标志，则调用形状检测模型；如果形状检测模型的检测结果满足预设的交通标志形状条件，则判定图像中存在交通标志，如果形状检测模型的检测结果未满足预设的交通标志形状条件，则判定图像中不存在交通标志；步骤S3：对存在交通标志的图像，根据检测时的颜色和形状信息调用对应的内容识别模型对交通标志的类别进行判断。其中，颜色分割模型训练步骤如下：步骤S111：从交通标志图像中采集目标颜色的正样本数据，从非交通标志图像中采集非目标颜色的负样本数据；步骤S113：对于转换后的颜色正、负两类样本数据，分别使用两个混合高斯模型对其进行拟合，得到正样本模型p+(x)和负样本模型p-(x)，其中x为样本数据；步骤S114：使用正负两个模型合成一个最终颜色分割模型表示如下：p(x)＝p+(x)-p-(x)。本发明设计了使用采集到的目标颜色正样本与非目标颜色负样本生成颜色分割模板的方法，图2为该方法的流程图。首先将原始样本数据转换到HSV(Hue，Saturation，Value)颜色空间，之后使用如公式(1)中的混合高斯模型分别对正负样本进行拟合，其中x是样本向量，πk是每个高斯模型在混合高斯模型中的权重，满足条件0≤πk≤1，其中k为高斯模型的个数，为服从高斯分布的概率密度函数，μk和∑k分别代表单个高斯模型的均值和协方差矩阵。设得到正样本模型为p+(x)，负样本模型为p-(x)，最终的颜色分割模型为p(x)＝p+(x)-p-(x)。其中，为了加快颜色分割的计算速度，本发明设计了颜色分割模板生成方法。对于HSV颜色空间范围内的所有可能值，计算其在最终颜色分割模型p(x)下的输出值，将输出值保存为颜色分割模板。检测时只需根据待检测像素点的HSV(Hue，Saturation，Value)值去查找模板中对应位置的输出值，无需重新计算。其中，生成形状检测模型的步骤如下：步骤S121：从采集到的图像中提取交通标志图像作为正样本，使用非交通标志图像作为负样本，对所有样本图像进行尺寸和灰度归一化；步骤S122：使用形状相同的交通标志图像作为正样本，使用不包含交通标志的图像作为负样本，使用正负样本训练基于Haar特征的级联分类器，分别生成对应于圆形、矩形、三角形交通标志的分类器，将所述分类器作为形状检测模型。在形状检测模型训练中，本发明使用滑动窗口法检测交通标志的外轮廓。将采集到的具有相同外轮廓形状的交通标志图像进行尺寸和灰度归一化处理构成正样本，使用不包含该类交通标志的图像构成负样本。之后训练基于Haar特征的级联分类器，用以区分图像中的背景与目标。在内容识别模型训练中，本发明使用深度信念网络对检测到的区域进行类别判断。由于检测阶段已经根据颜色和形状对区域进行了划分，故在识别阶段只针对相同颜色和形状的交通标志做分类器训练。生成内容识别模型的步骤如下：步骤131：首先使用深度信念网络对不含有类别信息的交通标志图中正样本和负类样本进行无监督学习，步骤132：之后使用深度信念网络对含有类别信息的交通标志图中正样本和负类样本进行有监督学习，将学习到的深度信念网络权重作为内容识别模型。在交通标志检测阶段，处理流程如图3所示，步骤S211：首先将传感器获取的原始图像转换到HSV颜色空间，得到HSV颜色空间对应的HSV颜色图像。步骤S212：加载颜色分割模板，对颜色分割模板人为预先设置高低双阈值，以HSV颜色图像中待检测像素点的HSV分量作为索引查询颜色分割模板中对应的输出值；将输出值与预设的高低双阈值比较，如果大于高阈值，则认为待检测像素点是目标颜色像素点，如果小于低阈值，则认为是非目标颜色像素点，而介于高低阈值之间的认为是候选像素点。从目标颜色像素点出发，搜索其HSV颜色图像中的3×3邻域，如果邻域中存在候选点，则将该候选点变为目标颜色像素点，重复上述操作，直到历遍完所有的目标颜色像素点，得到分割后的图像。步骤S213：对分割后的图像进行计算，得到对应的颜色积分图；步骤S214：使用滑动窗口在原始图像中移动，使用颜色积分图计算滑动窗口包含的图像中颜色像素的比例，如果颜色比例满足预先设置的条件，则调用形状检测模型，如果颜色比例不满足预先设置的条件，则不调用形状检测模型；步骤S215：如果滑动窗口包含的图像通过形状检测模型的判断，则认为滑动窗口包含的图像中存在交通标志，即检测到交通标志图像，如果滑动窗口包含的图像未通过形状检测模型的判断，则认为滑动窗口包含的图像中不存在交通标志，则认为不存在交通标志。如图4所示在交通标志识别阶段的整个流程，步骤S311：首先加载训练好的内容识别模型，即训练好的深度信念网络权重。步骤S312：之后对检测到的交通标志图像进行尺寸和灰度归一化操作，步骤S313：并根据检测到的交通标志图像的颜色和形状选用信息对应的内容识别模型。使用归一化后的图像作为对应的内容识别模型的输入数据，步骤S314：使用内容识别模型对交通标志类别作出判断，整个流程如图4所示。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。