一种道路交通标志识别方法与流程

本发明涉及图像处理及智能交通领域，尤其涉及一种用于辅助驾驶系统的道 路交通标志识别方法。

背景技术：

近年来，随着我国汽车保有量的急剧增加，车辆交通事故的发生呈现不断 上升趋势，交通安全随之成为日益严重的社会问题，因此实时了解交通环境对 于车辆驾驶安全是非常重要的。汽车安全辅助驾驶系统中的交通标志识别 (Traffic Sign Recognition,TSR)就是通过对行驶过程中前方道路出现的交通标志 进行采集和识别，并实时将结果通过文字或语音信息提供给驾驶员的驾驶安全 判断的系统。因此TSR作为辅助驾驶系统的重要组成部分能有效的提高车辆行 驶安全性，从而减少车辆交通事故的发生。

自从上世纪八十年代日本率先运用阈值分割、模板匹配等多种模式识别方 法对限速类交通标志进行了识别研究以来。经过几十年的发展，目前交通标志 识别方法主要有以下两种：一种是采用“人工特征提取+机器学习”的识别方法， 如支持向量机(Support Vector Machine，SVM)、基于浅层神经网络的特征识别等。 这种传统的交通标志识别方法依赖研究人员的先验知识去手工提取特征，手工 调节参数，机器学习仅负责最后特征的分类或识别，所以人工先验知识设计的 特征好坏将直接影响到整个系统的性能，且复杂的特征提取需要花费大量的人 力和时间，不利于TSR的实时性。另一种是基于近些年发展起来的Deep Learning 模型中的卷积神经网络(Convolutional Neural Network，CNN)。CNN是一种受 生物神经结构启发的多层前向神经网络，具有局部感受野、权值共享等特性， 在进行交通标志识别时只需要输入原始的交通标志像素特征，即可实时地输出 高精度的结果，避免了传统识别算法中复杂的特征提取和数据重建过程，从而 受到越来越多的专家和学者的关注与研究，并在TSR中取得了一定的效果。特 别是近年来随着高性能计算机、移动互联网和智能移动终端的普及，图像采集 设备和处理能力的提高，TSR在许多中高端汽车得到了广泛应用。但当前TSR 的提示信息大多是通过地图数据获知，且大多数是对静态图像中的交通标志进 行识别，同时对自然场景的交通标志识别也大多建立在PC机，缺少建立在移动 设备上的随车实时辅助驾驶系统；其次，在车辆行驶过程中，交通标志的采集 受到运动模糊、背景干扰及光照变化等因素影响，所获得的图像质量往往不高， 从而严重影响了识别率和识别速度，因此TSR是当前汽车安全辅助驾驶系统研 究领域中的关键技术之一,同时也是难度较大的实景图像识别问题之一，其识别 的结果直接影响辅助驾驶系统的性能和用户对系统的评价。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种用于辅助驾驶系统的高 识别率的道路交通标志识别方法，该方法能够快速准确的识别出交通标志。

为了实现上述目的，本发明采用的技术方案为：一种道路交通标志识别方法， 包括以下步骤：

步骤一：构建深度卷积神经网络，选取交通标准数据库和现场采集的交通标志 图像对构建的深度卷积神经网络进行训练和测试，得到训练后的深度卷积神经 网络；

步骤二：采集实时交通标志图像；

步骤三：在Itti视觉注意模型基础上加入交通标志位置分布先验知识，以调整采 集的交通标志图像，然后进行亮度均衡化处理和颜色增强，再通过MSER算法 提取交通标志的感兴趣区域；

步骤四：步骤三中得到的感兴趣区域输入到训练后的深度卷积神经网络进行卷 积和池化处理，得到一维的特征矢量；

步骤五：通过全连接的BP神经网络完成一维的特征矢量的识别，输出识别结果， 进行实时显示和播报。

进一步地，在交通标志标准数据库和现场采集的交通标志图像中选取包含运 动模糊、背景干扰、光照变化以及局部遮挡破损等多种情况的交通标志图像对 构建的深度卷积神经网络进行训练和测试。

进一步地，由Itti视觉注意模型得到图像的显著图，在此基础上利用位置分 布先验知识对交通标志图像进行调整包括：

把一幅图像平均分成4×4的子区域，依次为I11，I12，…，I14，…，I44， 通过统计大量含有交通标志的图像，获得交通标志在一幅图中每个子区域交通 标志出现的概率为P11，P12，…，P14，…，P44，得到位置经验概率分布 矩：

利用位置经验概率分布矩对图像显著图进行调整：

其中，Sij表示交通标志图像中每个4×4的子区域；

调整后的图像使用竞争学习规则——Winner-take-all机制实现目标间的竞 争，得到显著性焦点，最后以交通标志图像的颜色矩与HU不变矩联合矩为特 征向量，采用Manhattan距离度量显著区中待识别目标与先验知识库中交通标志 的相似性，其中交通标志特征的马氏经验阈值为25.462～37.754，当在这个范围 内时判定该区域有感兴趣目标，否则不存在感兴趣目标则该显著区被丢弃而不 进行进一步的分割与识别，基于此得到交通标志所在的感兴趣区域。

进一步地，对于调整后的图像，首先在YCbCr颜色模型下对图像的亮度分量 Y进行直方图均衡化处理；光照均衡化如下：

其中，Sk表示处理后的灰度值，nj表示灰度色阶j的像素数量，N是图像像 素总和，然后将处理后的图像再转为RGB模型，根据交通标志颜色特点，进行 颜色增强，最后用MSER算法提取交通标志感兴趣区域ROI。

进一步地，深度卷积神经网络是由一层卷积层C1接一层池化层S2后再加一 层卷积层C3与池化层S4构建而成，当输入交通标志图像ROI，得到特征子图， 然后将特征子图展开形成一维的特征子集。

进一步地，BP神经网络输出层的每一个神经元的输出值对应于输入图像所 属不同交通标志的概率，表达式为：

其中，yj表示输出层中第j个输出；是前一层(l-1层)的输出特征；Wij表示输出层权值，连接输入i与输出j；bj表示输出层第j个输出的偏置；g(*)表 示输出层的非线性sigmoid激活函数。

进一步地，采用DSP控制CCD摄像头采集实时的交通标志图像，将来自 CCD摄像头的交通标志视频信号通过视频解码芯片进行A/D转换，经视频端口 VP1内部的FIFO缓存后，由芯片DM6437通过EDMA将数据搬移到片外SDRAM中，对视频图像进行处理，处理后的结果由DM6437通过EDMA搬移 到视频口VP0内部的FIFO缓存后，经过视频编码芯片进行D/A转换，在显示 屏上显示识别结果，同时DM6437通过语音芯片实时播报识别结果。

进一步地，处理器DM6437连接一个外挂的FLASH存储器存储训练好的数 据。

进一步地，深度卷积神经网络训练方法包括：

图像预处理步骤：先利用邻近插值法将图像进行规格化，再利用最大类间 方差法将交通标志图像二值化；

神经网络的初始化步骤：利用随机分布函数将权值W初始化为-1到1之间 的随机数；将偏置b初始化为0；

神经网络训练与权值和偏置的调整步骤：用选取的训练集输入构建的卷积 神经网络进行训练，在梯度下降法基础上引入动量因子η依次调整权值和阈值；

判断步骤：判断误差是否满足精度要求，或训练已达到预先设定好的最大 训练次数，若是，则训练完成，否则返回调整步骤。

本发明的优点在于：本发明提出的方法能够准确及时地自动识别车辆行驶 过程中采集到的各种类型交通标志，并通过文字或者语音信息及时提醒驾驶员 做出相应的反应，从而提高了驾车的安全性和可靠性，减少交通事故的发生。

附图说明

下面对本发明说明书各幅附图表达的内容及图中的标记作简要说明：

图1为基于DM6437的TSR系统方框图；

图2为用于TSR系统的卷积神经网络结构示意图；

图3为网络训练流程图；

图4为网络测试流程图；

图5为检测交通标志ROI的流程图。

具体实施方式

下面对照附图，通过对最优实施例的描述，对本发明的具体实施方式作进 一步详细的说明。

本发明提出了一种以DM6437处理器为平台，基于感兴趣区域和改进的卷 积神经网络的交通标志识别的方法。图1是基于DM6437的TSR系统方框图。 首先，采用GTSDB和现实场景拍摄交通标志图像对网络进行训练与测试。图3 是网络训练流程图，图4是网络测试流程图。CNN采用了工作信号前向传播输 出结果，误差信号反向传播调整权值和偏置，图2是用于TSR系统的卷积神经 网络结构示意图。考虑一个样本时，则对于第n个样本的误差可表示为：

其中，Eⁿ表示第n个样本的误差，表示第n个样本对应的第k个目标输出， 表示第n个样本对应的第k个网络输出。c表示共有c类样本。则全部训练集上 的误差是每个训练样本的误差的总和：

为了更新网络的权值和偏置，也就是最小化这个E。

反向传播回来的误差可以看作是每个神经元的基的灵敏度，如下：

则第l层的灵敏度为：

其中，W^l+1表示第l+1层的权值，符号表示每个元素相乘。最后对每一个神 经元运用δ规则进行权值更新，如下：

其中，E为误差，W^l为第l层的权值，x^l-1是l-1层的输出，l层的输入，α为 学习率。在梯度下降法基础上引入动量因子η(0＜η＜1)，使得在同一梯度方向 上的修正量增加，则所有的权值和偏置更新公式如下：

Wij(k+1)＝Wij(k)+ΔWij(k+1)

bj(k+1)＝bj(k)+Δbj(k+1)

其中：k表示迭代次数；ΔWij,Δbj分别表示权值和偏置的修正值； Wij,bj分别表示调整后的权值和偏置；α为学习率；η为动量因子。通过网络前 向传播输出结果和反向传播调整权值的反复交替处理，直到满足识别收敛条件 或达到训练次数要求为止。

进一步，GTSDB是Stallkamp J等人于2013年在IJCNN会议上提出来的 交通标志标准数据库。在GTSDB数据集中选取了包含运动模糊、背景干扰、光 照变化以及局部遮挡破损等不同情况的850张和现实场景拍摄的150张，共1000 张交通标志图像作为训练库，对网络进行训练；同样在GTSDB数据集中选取不 同情况下的150张和现实场景拍摄的50张，共200张交通标志图像对网络进行 测试。最后将训练好的网络数据存储到外挂的FLASH中。

进一步，通过TMS320DM6437型处理器控制CCD前置摄像头采集有效的 交通标志图像。TMS320DM6437是一款32位定点DSP达芬奇技术的处理器， 专门为高性能、低成本视频应用而开发出的产品。具有非常强大的功能，能够 支持3路D1解析度的H.264视频编码，最高工作频率可达700MHz，满足TSR 系统的实时性要求。

进一步，提取交通标志图像ROI作为CNN的输入，减小了光照变化和大部 分背景对检测和识别的影响，从而提高了TSR的识别率和识别速度。图5为提 取交通标志图像ROI流程图。

实际应用中，TSR系统都是在车辆的顶部或前方安装前视摄像头，随车辆 的移动而移动，因此交通标志在图像中的位置也在不断变化。根据道路交通法 规规定，交通标志安放的位置、高度都有一定的标准，通常情况下，当交通标 志离车辆30m左右时是检测的最佳距离。首先将采集到的大量的交通标志图像 平均分成4×4的子区域，从左到右、从上到下依次为I11,I12,…,I14,…,I44，则相应的 每个子区域交通标志出现的概率依次为P11,P12,…,P14,…P44，通过统计发现交通标 志出现在I23,I24,I33,I34的概率最大，约为78％，而出现在I41,I42,I43,I44的概率几乎 为0。因此，交通标志一般出现在一幅图像的右上或右中的位置，由Itti视觉注 意模型得到视觉显著图，在此基础上加入位置先验分布知识来调整交通标志图 像。

对于调整后的图像，为了消除光照等因素影响，首先在YCbCr颜色模型下 对交通标志图像的亮度分量Y进行直方图均衡化处理，然后将YCbCr图像转为 RGB颜色模型，根据交通标志颜色特点，在RGB模型下进行颜色增强。其中的 亮度直方图均衡化如下式：

其中，Sk表示处理后的灰度值，nj表示灰度色阶j的像素数量，N是图像像 素总和。最后用MSER算法得到交通标志图像ROI，MSER算法具有仿射不变 性、稳定性和可以检测不同精细程度的区域特点。

进一步，用构建的CNN进行交通标志特征提取。CNN通过权重共享、局 部区域感知的特性可减少参数的数目，同时对输入数据在空间上和时间上的扭 曲有很强的鲁棒性。

根据交通标志图像的特点，这里采用的CNN网络结构是由一层卷积层C1 接一层池化层S2后再加一层卷积层C3与池化层S4构建而成，当输入交通标志 图像ROI后得到特征子图，然后把特征子图全部展开形成一维的特征子集。其 中的卷积层过程如下：

其中，是第l层中第i个卷积特征子图的输出；符号*表示二维 卷积运算；r是前一层的输出的总个数；是第l中第i个卷积的权值；是 第l中第i个卷积的偏置；f(x)采用了速度较快、精度高的非线性ReLu激活函数， 若x是函数的输入，其表达式为：

对于一幅MX*NX的图像，卷积核大小为MW*NW，那么卷积后输出图像大小 为(MX-MW+1)*(NX-NW+1)。

进一步，用一个全连接的BP神经网络对一维的特征矢量进行分类，大大提 高了处理速度，实现了自动分类识别的目的。BP神经网络输出层的每一个神经 元的输出值对应于输入图像所属不同交通标志的概率，表达式为：

其中，yj表示输出层中第j个输出；是前一层(l-1层)的输出特征；Wij表示输出层权值，连接输入i与输出j；bj表示输出层第j个输出的偏置；g(*)表 示输出层的非线性sigmoid激活函数

进一步，通过语音模块进行语音播报识别结果。DM6437通过GPIO45与语 音芯片WT588D-U的P03相连，用于传送数据和命令。语音模块的工作电压为 直流电压2.8伏到5.5伏之间可调，内部存储的空间大小为32MB；且PWM可 以直接驱动0.5W的扬声器，可以加载500段语音；可USB下载，使用方便。

下面结合附图及实施例，对本发明内容进行详细说明。但此处所描述的具 体实施例仅用于解释本发明，并不用于限定本发明，这里以禁令标志为例。

图1是本发明中提供的一种用于辅助驾驶系统的道路交通标志识别方法的 方框图，包括：

网络训练模块101：用GTSDB德国交通标志基准库和拍摄的大量现实场 景图像对网络进行训练。图2是用于TSR系统的卷积神经网络结构示意图。CNN 由卷积层与池化层交替设置构建而成进行特征提取形成特征子图，然后将特征 子图全部展开形成一维的特征子集，最后加一个全连接的BP网络对一维的特征 矢量分类识别，输出识别结果。

在GTSDB数据集中选取包含运动模糊、背景干扰、光照以及交通标志局部 遮挡破损等不同情况850张和现实场景拍摄的150张，共1000张交通标志图像 作为训练库，对网络进行训练；再在GTSDB数据集中以同样方式选取不同情况 的150张图像和现实场景拍摄的50张图像对网络进行测试。

图3是网络训练流程图，具体包括如下步骤：

步骤301图像预处理：先利用邻近插值法将图像进行规格化，再利用最大 类间方差法将交通标志图像二值化。

步骤302网络的初始化：利用随机分布函数将权值W初始化为-1到1之间 的随机数；将偏置b初始化为0。

步骤303网络训练与权值和偏置的调整：用选取的训练集输入构建的卷积 神经网络进行训练，在梯度下降法基础上引入动量因子η依次调整权值和阈值， 更新公式如下：

Wij(k+1)＝Wij(k)+ΔWij(k+1)

bj(k+1)＝bj(k)+Δbj(k+1)

其中：k表示迭代次数；ΔWij,Δbj分别表示权值和偏置的修正值；Wij,bj分别表示 调整后的权值和偏置；α为学习率；η为动量因子。

步骤304判断指标是否满足精度要求E≤ε，或训练已达到预先设定好的最 大训练次数，进行下一步；否则，返回步骤303。其中E是总误差，ε表示精度 要求或期望。

网络测试模块102：用选取的测试集数据输入已训练好的网络进行测试。图 4是网络测试流程图，包括步骤401图像归一化，步骤402得到适合网络输入标 准的图像，步骤403网络测试参数配置，步骤404网络测试，最后输出测试结 果。

图像的采集模块103：能否获得一张清晰的交通标志图像是TSR的关键之 一，CCD摄像头将实时采集的交通标志图像传送到视频解码芯片TVP5150AM1 中进行A/D，DM6437通过I²C对TVP5150AM1芯片进行配置，TVP5150AM1 芯片在同步信号的控制下，把采集到的交通标志图像以YCbCr的格式传送到视 频处理前端进行处理。

检测提取ROI模块104：在Itti模型基础上加入交通标志位置分布先验知识 调整采集到实时交通标志图像；再对图像进行亮度直方图均衡化处理，然后将 YCbCr图像转为RGB颜色模型进行颜色增强，最后通过MSER算法提取交通 标志图像ROI。图5是检测提交通标志图像ROI的流程图。包括以下步骤：

步骤50：在Itti模型基础上利用交通标志先验分布概率知识对图像显著图进 行调整，包括步骤501计算每个子区域交通标志出现的位置分布概率，得到位 置经验概率分布矩：

步骤502利用位置经验概率分布矩对图像显著图的每个子区域进行调整：

其中，Sij表示图像显著图分成的每个4×4的子区域。调整后，交通标志出现 位置的显著性得到增强，概率小的子区域显著性小。

步骤503将调整后的显著图使用Winner-take-all竞争学习机制实现目标间 的竞争：首先，从显著图中找到注意焦点，选取候选区域得到显著注意区；然 后，在返回抑制机制的作用下，根据显著性选择下一个注意焦点，进而实现了 注意焦点的转移。

步骤504相似性度量：对于选中的显著区域，利用交通标志颜色矩与HU 不变矩联合矩特征向量用Manhattan距离度量视觉显著区中待识别目标与先验 知识库中交通标志的相似性，其中交通标志特征的马氏距离的经验阈值为 (25.462，37.754)，当在这个范围内时判断这个显著区域有感兴趣目标，否则 不存在交通标志这个感兴趣目标，则该显著区被丢弃而不进行进一步的分割与 识别，基于此得到交通标志所在的感兴趣区域。

步骤51：包括步骤511对调整后的交通标志所在子区域在YCbCr颜色模型 下对其亮度分量Y进行直方图均衡化，步骤512将处理后的图像变换为RGB模 型，步骤513在RGB颜色模型下进行颜色增强。以禁令标志为例，禁令标志是 红色的，所以这里是以红色进行颜色增强，公式如下：

其中，R、G、B分别表示红色、绿色、蓝色，CA表示增强后的图像。

步骤52：采用MSER算法提取ROI。MSER算法提取过程如下：首先将图 像从一个区域到灰度S{0,1,…,255}进行映射，同时按照灰度将全部像素排序， 然后采用并查集算法建立极值区域树，最后通过稳定性函数筛选出稳定性满足 阈值要求的极值区域作为MSER。

步骤53：归一化，首先对检测到的交通标志图像的ROI利用邻近插值法进 行标准化(32*32)，然后利用最大类间方差法将交通标志图像二值化，得到适 合CNN输入的图像。

识别输出模块105：将归一化后的ROI图像输入构建的CNN，进行卷积和 池化处理，得到交通标志图像的特征子图，将特征子图转化成为一维的特征矢 量，最后通过一个全连接的BP网络提高处理速度，完成特征矢量的自动分类识 别，输出结果。BP神经网络输出层的每一个神经元的输出值对应于输入图像所 属不同交通标志的概率，

表达式为：

其中，yj表示输出层中第j个输出；是前一层(l-1层)的输出特征；Wij表示输出层权值，连接输入i与输出j；bj表示输出层第j个输出的偏置；g(*)表 示输出层的非线性sigmoid激活函数

显示模块106：识别后的结果由DM6437通过EDMA搬移到视频口VP0 内部的FIFO缓存后，经过视频编码芯片SAA7121H进行D/A转换，在显示器 上通过文字显示出来。

语音模块107：DM6437通过GPIO口与语音芯片WT588D-U的P03相连 传送数据和命令，实时播报TSR识别结果，提醒驾驶员当前的交通环境，从而 使行驶更加安全。

本发明提出了一种基于DSP嵌入式平台，用于辅助驾驶系统的道路交通标 志识别方法，与其他识别方法相比，本发明能有效地提高识别率和识别速度。 本发明首先采用TMS320DM6437型DSP控制的前置摄像头采集交通标志图像， 同时能以文字和语音信息输出结果来提醒驾驶员当前的交通环境，从而使行驶 更加安全，具有实时性；其次通过提取交通标志图像ROI输入到构建的CNN中， 能有效地解决背景干扰、光照变化等因素对的TSR的影响，并且CNN具有局 部感受野、权值共享等特点，其干扰能力强，参数数目少，训练时间短，进一 步提高了识别率和实时性。同时本方法还可以提醒交通监管部门交通标志破损 情况，节省了人力物力。

显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构 思和技术方案进行的各种非实质性的改进，均在本发明的保护范围之内。