一种基于区域的全卷积神经网络的路牌检测方法与流程

本发明涉及基于计算机的图像处理技术，尤其涉及一种基于区域的全卷积神经网络的路牌识别方法。

背景技术：

在日常的交通行驶中，交通路牌起着很大的作用，正确地自动检测交通路牌具有潜在应用价值。物体检测的深度网络按感兴趣区域(roi)池化层分为两大主流：共享计算的全卷积子网络(每个子网络与roi无关)和不共享计算的作用于各自roi的子网络。工程分类结构(如alexnet和vggnets)导致这样的分流，而工程上的图像分类结构被设计为两个子网络——1个后缀、1个空间池化层的卷积子网络和多个全连接层。因此，图像分类网络中最后的空间池化层自然变成了路牌检测网络中的roi池化层。

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由hinton等人于2006年提出。基于深度置信网络(dbn)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外hubel等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。

近年来，诸如残差网络和googlenets等先进的图像分类网络为全卷积网络。类似地，自然会将全卷积神经网络用于路牌检测中(隐藏层不包含作用于roi的子网络)。然而，物体检测工作中的经验表明，这种解决方案的检测效果远差于该网络的分类效果。然而，更快地r-cnn检测器不自然地在两卷积层间插入roi池化层，这样更深的作用于各roi的子网络虽精度更高，但各个roi计算不共享所以速度慢。

现有的方法中，基于全卷积神经网络方法的检测精度不高，基于roi的r-cnn的检测速度慢，因此，本发明公开了一种基于区域的全卷积神经网络的路牌检测方法，本发明采用流行的物体检测策略，第一步是利用卷基层对图像进行特征提取；第二步是利用区域建议网络提取候选区域；第二步是利用基于区域的全卷积神经网络对候选区域进行分类；最后输出路牌的检测结果。

技术实现要素：

本发明所要解决的技术问题是增强路牌检测的鲁棒性，提高路牌检测的正确率。

为了解决上述技术问题，本发明提供了一种基于区域的全卷积神经网络的路牌检测方法，用于路牌检测上；该方法包括：

利用卷基层对图像进行特征提取；

利用区域建议网络提取候选区域；

用基于区域的全卷积神经网络对候选区域进行分类；

输出路牌的检测结果。

其中，根据所述训练样本获得所述的图像特征，包括：

将整幅图像输入卷积层；

卷积层进行卷积计算；

输出计算结果的特征图。

其中，根据所述训练样本获得候选区域，包括：

架构区域建议网络；

区域建议网络根据特征图进行计算；

区域建议网络产生候选区域。

其中，将对全卷积神经网络的结构进行构造，包括：

采用经典的深度残差神经网络-101；

设置100个卷积层；

设置1个全局平均池化层；

设置1个1000类的全连接层。

其中，使用全卷积神经网络对候选区域进行分类，包括：

对候选区域的每类所有相对空间位置的分数进行平均池化，利用分类器进行分类；

再经过卷积层进行定位，标出边界框；

计算每个候选区域的交叉熵和边界框回归损失的和作为损失函数，用于确定正确的边界框；

分类后，将候选区域进行可视化输出。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本申请实施例的基于区域的全卷积神经网络的路牌检测方法的流程示意图。

图2为本申请实施例中获得图像特征的流程示意图。

图3为本申请实施例获得候选区域的流程示意图。

图4为本申请实施例获得全卷积神经网络的结构流程示意图。

图5为全卷积神经网络全卷积神经网络的结构示意图。

图6为本申请实施例述及的对候选区域进行分类流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。

本申请实施例的基于区域的全卷积神经网络的路牌检测方法，用于路牌的识别。本申请实施例所述的路牌检测，主要是指运用全卷积神经网络进行路牌检测。

本申请的实施例可以利用区域建议网络提取候选区域，利用基于区域的全卷积神经网络对候选区域进行分类，对gtsdb数据集中的路牌图像进行识别。

如图1所示，本申请实施例的基于区域的全卷积神经网络的路牌检测方法，主要包括如下步骤：

步骤s110，利用卷基层对图像进行特征提取；

步骤s120，利用区域建议网络提取候选区域；

步骤s130，用基于区域的全卷积神经网络对候选区域进行分类；

步骤s140，输出路牌的检测结果。

本申请实施例中，根据所述训练样本获得所述的图像特征。图2表示出了提取所述基于卷积层的图像特征的主要步骤。

步骤s210，将整幅图像输入卷积层；

步骤s220，卷积层进行卷积计算；

步骤s230，输出计算结果的特征图。

本申请实施例中，根据所述训练样本获得候选区域。图3示出了获得候选区域的主要步骤。

步骤s310，架构区域建议网络；

区域建议网络为全卷积网络，用于提取候选区域，与基于区域的全卷积神经网络共享特征值。

步骤s320，区域建议网络根据特征图进行计算。

步骤s330，区域建议网络产生候选区域。

本申请实施例中，将对全卷积神经网络的结构进行构造。图4示出了将对全卷积神经网络的结构进行构造的主要步骤。

步骤s410，采用经典的残差神经网络-101。

深度残差网络是在标准的前馈卷积网络上，加一个跳跃绕过一些层的连接。每绕过一层就产生一个残差块(residualblock)，卷积层预测加输入张量的残差。残差神经网络由于存在快捷连接，网络间的数据流通更为顺畅，不会由于梯度消失而形成欠拟合。

形式上，把作为所需的基本映射，让堆叠的非线性层适合另一个映射。那么原映射便转化成：。假设优化剩余的映射，比优化原来的未引用映射更容易。如果身份映射是最佳的，那么将剩余的映射推为零，就比用一堆非线性层来适应身份映射更容易。公式可以通过“快捷连接”的前馈神经网络实现。快捷连接是指跳过一层或更多层进行连接。快捷连接简单的执行身份映射，并将它们的输出添加到叠加层输出。身份快捷连接添加既不产生额外的参数，也不会增加额外的计算量。通过反向传播收敛随机梯度下降，整个网络仍可以训练成终端到终端，并且可以在无修改器的情况下很容易使用公共图书馆(如caffe)。图5为为全卷积神经网络全卷积神经网络的结构示意图。

步骤s420，设置100个卷积层。

步骤s430，设置1个全局平均池化层。

对基于区域的全卷积神经网络(r-fcn)的卷积响应图像按区域建议网络(rpn)的结果分割出来感兴趣区域，对单通道的感兴趣区域分成个网格，每个网格平均池化，然后所有通道再平均池化。

对1个大小为的候选区域(roi)，1个bin的大小为，最后1个卷积层为每类产生个分数图。对第个bin，定义1个位置敏感roi池化操作：

其中，为第类第个箱子的池化响应，为个分数图中的输出，为候选区域的左上角坐标，为bin里的像素总数，且为网络的参数。

步骤s440，设置1个1000类的全连接层。

本申请实施例中，使用全卷积神经网络对候选区域进行分类。图6为本申请实施例述及的softmax分类器示意图。

步骤s610，对候选区域的每类所有相对空间位置的分数进行平均池化，利用分类器进行分类。

对该候选区域的每类所有相对空间位置的分数平均池化(或投票)：

平均池化后，用softmax进行回归分类。

步骤s620，再经过卷积层进行定位，标出边界框。

维的卷积层后，增加1个维的卷积层来回归边界框。每个候选区域产生的维向量经平均投票后，得到1个4维向量，即为边界框。

步骤s630，计算每个候选区域的交叉熵和边界框回归损失的和作为损失函数，用于确定正确的边界框。

每个候选区域的损失函数为交叉熵损失与边界框回归损失的和：

其中，说明候选区域的真实标签为背景。rpn产生的区域建议当roi与真实边框的损失函数超过0.5时，标定正确的边界框。

步骤s630，分类后，将候选区域进行可视化输出。

经过基于区域的全卷积神经网络的最后1个卷积层后产生9个相对空间位置的分数图，对每类的每个相对空间位置通道内的候选区域的bin平均池化得到3×3的池化分数，投票后送入分类器判断类别。当分类正确时，该类通道的位置敏感分数图(中间)的大多数橙色实线网格内的响应在整个roi位置范围内最强。

本申请实施例提出了一种基于区域的全卷积神经网络的路牌检测方法，利用全卷积神经网络和区域建议网络，对路牌进行检测，提高了路牌检测的鲁棒性。该方法包括：本发明采用流行的物体检测策略，第一步是利用卷基层对图像进行特征提取；第二步是利用区域建议网络提取候选区域；第三步是利用基于区域的全卷积神经网络对候选区域进行分类；最后输出路牌的检测结果。从结果看，本发明提高了路牌检测的精确度。