一种交通标志图像识别模型构建及识别方法与流程

本发明涉及图像处理领域，具体涉及一种交通标志图像识别模型构建及识别方法。

背景技术

道路交通标志识别作为高级驾驶辅助的一个基础分支，也是提高交通安全和效率的重要手段，其主要利用计算机视觉技术采集前方道路信息，并进行图像分析与处理，及时给予驾驶人员行车建议，规范交通行为。交通标志识别的精准率直接影响到驾驶人员的生命安全，因此准确高效的交通标志识别算法已经成为目标识别领域新的研究热点。

从计算机视觉角度出发进行交通标志识别的方法，主要可以分为两大类：基于颜色、形状信息结合识别器的交通标志识别方法和基于局部区域特征与识别器的交通标志识别方法。上述基于颜色与形状信息、局部区域特征信息的交通标志识别方法容易受到天气状况、光照环境以及交通标志产生形变等因素的影响，仅仅提取交通标志的局部特点，对图像中其他有效信息利用不足，严重影响交通标志的识别精准率。

技术实现要素：

本发明的目的在于提供一种交通标志图像识别模型构建及识别方法，用以解决现有技术中对交通标志图像进行处理时，其图像容易产生形变，导致识别正确率不高等问题。

为了实现上述任务，本发明采用以下技术方案：

一种交通标志图像识别模型构建方法，所述的方法包括：

步骤1、提取多张原始图像中仅含有交通标志区域的部分，获得交通标志图像集，将交通标志图像集中每幅交通标志图像中交通标志的名称以及交通标志的位置作为各自的交通标志标签，获得交通标志标签集，所述的交通标志的位置为仅含有交通标志区域在原始图像中的位置；

步骤2、将所述的交通标志图像集作为输入，将所述的交通标志标签集作为输出，训练图像识别模型，获得交通标志识别模型；所述的图像识别模型包括图像校正层、第一卷积层、spp层、第一全连接层、第一softmax层以及第二全连接层，其中所述的图像校正层包括空间变换网络，所述的空间变换网络对待处理图像中扭曲的交通标志进行几何校正，所述的第一softmax层输出交通标志的位置，所述的第二全连接层输出交通标志的名称。

进一步地，利用交通标志区域提取模型提取多张原始图像中仅含有交通标志区域的部分，获得交通标志图像集，其中所述的交通标志区域提取模型由图像提取模型训练获得，所述的图像提取模型包括第二卷积层、特征映射层、第二softmax层以及第三全连接层，包括：

步骤11、从所有原始图像中取出多张原始图像作为待提取区域图像集，利用所述第二卷积层提取每一幅待提取区域图像的卷积特征图；

步骤12、在所述的特征映射层中，对每一幅卷积特征图设定多个提取区域，将每个提取区域的区域类别以及区域位置作为各自的区域标签；所述的区域类别包括交通标志区域以及背景区域，所述的区域位置为提取区域在卷积特征图中的位置；

将每一幅卷积特征图对应的所有提取区域的区域标签作为该幅卷积特征图的标签集；收集所有卷积特征图的标签集，获得待提取区域标签集；

步骤13、将所述的待提取区域图像集作为输入，将所述的待提取区域标签集作为输出，训练所述的图像提取模型，获得交通标志区域提取模型；

步骤14、利用步骤13中的交通标志区域提取模型对所有原始图像中交通标志区域进行提取，获得多个提取区域以及每个提取区域的区域类别；

步骤15、从所有提取区域中筛选出区域类别为交通标志区域的提取区域，保存该提取区域内的原始图像为交通标志图像，收集所有交通标志图像，获得交通标志图像集。

进一步地，采用卷积层参数共享的方法训练所述的图像识别模型以及图像提取模型，获得交通标志识别模型以及交通标志区域提取模型。

进一步地，在所述的图像提取模型中，所述的第二卷积层共有7层；

在所述的图像识别模型中，所述的第一卷积层共有7层。

进一步地，在所述的特征映射层中对每一幅卷积特征图设定提取区域时，设定4个提取区域，这4个提取区域的尺寸分别是32×32、64×64、128×128、256×256。

进一步地，利用iou算法获得所述提取区域的区域类别，所述的iou算法中阈值为0.7。

进一步地，采用第二softmax层输出所述区域类别，采用第三全连接层输出所述区域位置。

一种交通标志图像识别方法，所述的方法包括：

步骤a、将待识别图像输入以上所述的交通标志区域提取模型中，获得交通标志图像；

步骤b、将所述的交通标志图像输入以上所述的交通标志识别模型，获得所述待识别图像中交通标志的名称以及交通标志的位置。

本发明与现有技术相比具有以下技术特点:

1、本发明提供的交通标志识别方法基于改进的zf卷积神经网络，结合空间变换网络，训练得到应用于交通标志识别的网络模型，能够避免交通标志扭曲，形变造成的错识别问题，提高交通标志识别率。

2、本发明提供的交通标志识别方法通过设置了交通标志区域提取模型对图像中仅含有交通标志的区域进行提取，该交通标志区域提取模型是在zf卷积神经网络上改进的，增加了卷积层个数，能够有效表达图像特征，同时设置四种不同尺度的提取区域进行交通标志区域提取，增加了交通标志识别精准率。

3、采用卷积层参数共享的方法训练交通标志区域提取模型以及交通标志识别模型，能够大大减少网络的训练时间和执行时间，提高交通标志的识别效率。

附图说明

图1为本发明的一个实施例中提供的原始图像；

图2为本发明的一个实施例中提供的一个提取区域示意图；

图3为本发明的一个实施例中提供的又一提取区域示意图；

图4为本发明的一个实施例中提供的原始图像标记图；

图5为本发明的一个实施例中提供的待识别图像；

图6为hog+svm算法对图5的待识别图像识别结果图；

图7为rcnn算法对图5的待识别图像识别结果图；

图8为本发明提供的识别方法对图5的待识别图像识别结果图。

具体实施方式

以下是发明人提供的具体实施例，以对本发明的技术方案作进一步解释说明。

实施例一

本发明公开了一种交通标志图像识别模型构建方法，所述的方法包括：

步骤1、提取多张原始图像中仅含有交通标志区域的部分，获得交通标志图像集，将交通标志图像集中每幅交通标志图像中交通标志的名称以及交通标志的位置作为各自的交通标志标签，获得交通标志标签集，所述的交通标志的位置是指仅含有交通标志区域在原始图像中的位置；

在本步骤中，交通标志的名称包括：限速100、禁止直行、禁止鸣笛等。

交通标志的位置是指该交通标志区域在图像中的位置，其表示方式可以是[交通标志区域的中心点在原始图像中的坐标，交通标志区域的长，交通标志区域的宽]，也可以是[交通标志区域的顶点在原始图像中的坐标，交通标志区域的长，交通标志区域的宽]。

在本实施例中，对交通标志的名称打上标签，分别是[001]限速30、[002]禁止直行、[003]禁止鸣笛、[004]停止让行(stop)，交通标志的位置采用交通标志区域坐上顶点在原始图像中的坐标以及交通标志区域的长、宽，例如[80,60,64,64]代表了以原始图像中[80,60]这个坐标点为左上顶点的64*64大小的正方形区域。

在本步骤中，对如图1所示的原始图像中仅含有交通标志区域的部分进行提取，提取的方式可以是手动提取，也可以是通过自动识别方法进行提取，在采用自动识别方法进行提取时，可以是根据形状特征、颜色特征等进行提取。

在本方案中，利用图像提取模型提取多张原始图像中仅含有交通标志区域的部分，获得交通标志图像集，所述的图像提取模型包括第二卷积层、特征映射层、第二softmax层以及第三全连接层，包括步骤11、依次构造第二卷积层、特征映射层、第二softmax层以及第三全连接层，获得图像提取模型，包括：

在本步骤中，第二卷积层为特征提取层，特征映射层用于为特征进行识别，第二softmax层以及第三全连接层均为输出层。

步骤11、从所有原始图像中取出多张原始图像作为待提取区域图像集，利用所述第二卷积层提取每一幅待提取区域图像的卷积特征图；

由于针对交通标志这种小目标识别的过程，可以通过增加网络中卷积层的个数，能够更有效的提取到不同大小的交通标志特征。

作为一种优选的实施方式，利用所述第二卷积层提取每一幅待提取区域图像的卷积特征图时，所述的第二卷积层共有7层，用于提取多种尺寸的交通标志特征。

步骤12、在所述的特征映射层中，对每一幅卷积特征图设定多个提取区域，将每个提取区域的区域类别以及区域位置作为各自的区域标签；所述的区域类别包括交通标志区域以及背景区域；

将每一幅卷积特征图对应的所有提取区域的区域标签作为该幅卷积特征图的标签集；收集所有卷积特征图的标签集，获得待提取区域标签集。

在本方案中，利用特征映射层将卷积特征图进行识别，通过提取每幅卷积特征图中的多个提取区域，将每个提取区域的区域类别以及区域位置作为各自的区域标签。

作为一种优选的实施方式，在所述的特征映射层中对每一幅卷积特征图设定提取区域时，设定4个不同尺寸的提取区域，这4个提取区域的尺寸分别是32×32、64×64、128×128、256×256。

在本实施例中，在卷积特征图上，利用锚点特性产生适用于交通标志的4个不同尺寸的提取区域，该提取区域为可能仅包含交通标志的区域，通过特征映射层产生256维的特征向量。

设定4个不同尺寸的提取区域时，可以以每幅卷积特征图的中心点作为提取区域的中心点或顶点，对每幅卷积特征图提取4个提取区域，也可以采用滑动窗口方式，将每幅卷积特征图中每一个像素点均作为提取区域的中心点或顶点，针对一幅尺寸为h*w的卷积特征图提取4*h*w个提取区域。

针对每一个提取区域需要判断该提取区域是否为仅包含交通标志的区域，判断的方法可以是根据图像的显著性进行判断，也可以采用iou算法进行判断。

在本方案中，为了提高算法的运行速率，利用iou算法获得所述提取区域的区域类别，所述的iou算法中阈值为0.7。

在本步骤中，利用iou算法计算提取区域与卷积特征图中真实交通标志区域的重叠率，将重叠率在阈值0.7及以上的提取区域作为[1]交通标志区域，将重叠率在阈值0.7以下的提取区域作为[0]背景区域。

在本步骤中，区域位置是指该提取区域在原始图像中的位置，其表示方式可以是[提取区域的中心点在原始图像中的坐标，提取区域的长，提取区域的宽]，也可以是[提取区域的顶点在原始图像中的坐标，提取区域的长，提取区域的宽]。

在本步骤，每一幅卷积特征图均对应多个提取区域，每一个提取区域对应一个区域标签，也就是说每一幅卷积特征图对应多个区域标签，即一幅卷积特征图对应一个卷积特征图的标签集，将所有卷积特征图的标签集收集起来，获得了待提取区域图像集对应的待提取区域标签集。

在本步骤中，特征映射层得到的结果：区域类别以及区域位置可以通过全连接层输出，也可以通过softmax层输出。

作为一种优选的实施方式，采用softmax层输出所述区域类别，采用第三全连接层输出所述区域位置。

步骤13、将所述的待提取区域图像集作为输入，将所述的待提取区域标签集作为输出，训练所述的图像提取模型，获得交通标志区域提取模型。

步骤14、利用步骤13中的交通标志区域提取模型对所有原始图像中交通标志区域进行提取，获得多个提取区域以及每个提取区域的区域类别。

在本步骤中，实现对所有原始图像中交通标志区域的提取，获得了多个提取区域，每一个提取区域均对应一个区域类别。

步骤15、从所有提取区域中筛选出区域类别为[1]的提取区域，保存该提取区域内的原始图像为交通标志图像，收集所有交通标志图像，获得交通标志图像集。

由于经过步骤14中的交通标志区域提取模型处理后的原始图像，被分为了[1]交通标志区域以及[0]背景区域，而在之后的步骤中，仅需处理交通标志区域的图像，因此在本步骤中进行筛选，保留所有区域类别为[1]的提取区域，将该提取区域作为交通标志图像，即根据该提取区域的区域位置对原始图像进行裁剪，保留该提取区域内的图像作为交通标志图像。

步骤2、将所述的交通标志图像集作为输入，将所述的交通标志标签集作为输出，训练图像识别模型，获得交通标志识别模型；所述的图像识别模型包括图像校正层、第一卷积层、spp层、第一全连接层、第一softmax层以及第二全连接层，其中所述的图像校正层包括空间变换网络，所述的空间变换网络对待处理图像中扭曲的交通标志进行几何校正，所述的第一softmax层输出交通标志的位置，所述的第二全连接层输出交通标志的名称。

在本步骤中，基于改进的zf卷积神经网络构建了图像识别模型，针对交通标志图像的特征，在采集时可能会出现扭曲、形变等误差，本方案在第一卷积层之前加入了图像校正层，该图像校正层中包括了一个空间变换网络，对扭曲、形变的交通标志进行几何校正，使该图像在水平方向以及垂直方向恢复其原本的形状，避免了由于形变造成的错识别问题，提高交通标志识别率。

可选地，在所述的图像识别模型中，所述的第一卷积层共有7层。

在本实施例中，图像识别模型包括7个第一卷积层，在每一个第一卷积层前连接一个图像校正层，即共有7个图像校正层，每个图像校正层均包括一个空间转换网络，该空间转换网络中包括4个卷积层，输入图像校正层的是交通标志图像或者卷积特征图，输出图像校正层的是校正后的交通标志图像或者卷积特征图。

在本方案中，对图像识别模型以及图像提取模型进行训练时，可以采用反向传播的提取训练法，利用输入数据集与输出标签集对模型进行训练，但是由于本方案中的图像识别模型以及图像提取模型结构复杂，采用以往的训练方法耗时，占用资源，算法效率低。

因此作为一种优选的实施方式，采用卷积层参数共享的方法训练所述的图像识别模型以及图像提取模型，获得交通标志识别模型以及交通标志区域提取模型，能够大大减少网络的训练时间和执行时间，提高交通标志的识别效率。

具体地，采用卷积层参数共享的方法训练所述的图像识别模型以及图像提取模型，包括以下步骤：

步骤i、利用imagenet预训练模型初始化图像提取模型，获得初始化后的图像提取模型；利用imagenet预训练模型初始化图像识别模型，获得初始化后的图像识别模型；

步骤ii、将待提取区域图像集作为输入，将待提取区域标签集作为输出，利用反向传播算法训练初始化后的图像提取模型，获得第一图像提取模型；

步骤iii、将所述的原始图像集输入至第一图像提取模型中进行处理，获得第一交通标志图像集；

步骤iv、将第一交通标志图像集作为输入，将交通标志标签集作为输出，利用反向传播算法训练所述的初始化后的图像识别模型，获得第一图像识别模型；

步骤v、将所述的第一图像识别模型中第一卷积层参数赋给第一图像提取模型的第二卷积层，将所述的待提取区域图像集作为输入，将所述的待提取区域标签集作为输出，利用反向传播算法训练第一图像提取模型，获得交通标志区域提取模型。

在本实施例中，图像识别模型中包括7个第一卷积层，图像提取模型包括7个第二卷积层，将这7个第一卷积层参数分别赋给像提取模型的7个第二卷积层。

在本步骤中，只对第一图像提取模型中除了卷积层以外的其他层的参数进行微调训练，获得交通标志区域提取模型。

步骤vii、将所述的原始图像集输入至所述的交通标志区域提取模型中进行处理，获得第二交通标志图像集。

步骤viii、将所述交通标志区域提取模型的第二卷积层参数赋给第一图像识别模型的第一卷积层，将所述的第二交通标志图像集作为输入，将所述的交通标志标签集作为输出，利用反向传播算法训练所述的第一图像识别模型，获得交通标志识别模型。

实施例二

一种交通标志图像识别方法，所述的方法包括：

步骤a、将待识别图像输入实施例一中所述的交通标志区域提取模型中，获得交通标志图像；

步骤b、将所述的交通标志图像输入如实施例一中所述的交通标志识别模型，获得所述待识别图像中交通标志的名称以及交通标志的位置。

在本实施例中，对如图1所示的待识别图像输入至交通标志区域提取模型中，获得如图2、3所示的交通标志图像；

对如图2、3所示的交通标志图像输入交通标志识别模型中，对如图2所示的交通标志图像的判别记过为让行标志，并给出了交通标志的位置[492,118,128,128],在如图4的待识别图像中进行了标识；对如图3所示的交通标志图像的判别记过为右转标志，并给出了交通标志的位置[498,229,128,128],在如图4的待识别图像中进行了标识。

实施例三

采用本发明提供的交通标志图像识别方法，对4种类型的交通标志进行了识别，识别结果见表1。

表1本发明提供的识别方法识别结果

选用经典的hog+svm算法与rcnn算法，采用相同的数据集进行试验，与本发明提供的识别方法进行对比分析，对如图5所示的stop图像进行试验，hog+svm算法的识别结果如图6所示，rcnn算法识别结果如图7所示，本发明提供方法的识别结果如图8所示，本发明提供的识别方法对于不同类别的交通标志识别精准率可以达到90％以上，针对外形完整的交通标志能够达到95％以上，极大提高了交通标志的识别率。