一种交通标志识别模型的建立方法与流程

本发明涉及一种建模方法，具体而言，涉及一种基于深度学习的交通标志识别模型的建立方法，属于人工智能技术领域。

背景技术：

交通标志是绝大多数国家在道路上设置的标志以警告、禁止、限制、指示道路使用者，根据国家gb5768.2-2009道路交通标志和表现第2部分的文件内容，交通标志按作用不同分类，可以分为主标志已经辅助标志两类。其中主标志分为警告标志、指示标志、指路标志、禁令标志、道路施工安全标志、旅游区标志，每个种类中又分为不同的交通标志。

传统的交通标志识别方法大体可以分为基于颜色、形状等视觉信息的识别方法以及基于特征提取和机器学习的识别方法两方面。

其中，基于图像颜色信息的交通标志识别方法主要通过图区图像颜色特征，对图像找那个交通标志分割并检测出来，然后进行分类，虽然速度较快，但是误检率偏高。这种算法的关键在于对颜色空间的选择，基础的颜色空间特征为rgb颜色空间特征，由于光照变化，常常采用改变不同通道比值或rgb值归一化的方式，或将rgb颜色空间转换至其他颜色空间，如his颜色空间、hsv颜色空间、lab颜色空间、ycbcr颜色空间等中进行分割。xinl等人为了减少场景图像处理的计算复杂，提出了一种基于颜色标准化的解决方法，将场景图像映射为一个由八类标准颜色组成的标准化图像，从中提取出与交通标志相关的五种颜色，形成标准化的交通标志检测区域，从而完成对特定交通标志的识别。rutaa等人使用了基于颜色距离变换的方法构建简单强大的图像表示。c.y.fanga等人提出了一种基于人类视觉识别模型的自动交通标志检测与识别系统，通过提取图像的红色、蓝色和黄色信息用于交通标志的检测，而白色，黑色信息用于交通标志的识别。creusen等人人在交通标志图像缺乏良好的颜色信息时，计算图像的两度空间，将该特征输入分类器获得交通标志分类识别结果。

基于形状的交通标志识别方法通常扫描整幅图像提取形状特征，根据形状特征算子对交通标志做出检测，然后进行识别，但是识别速度较慢，整个过程话费时间较长。霍夫变换在交通标志检测中使用的比较多，他可以有效的从图像中提取出直线、圆等几何形状，但霍夫变换需要大量运算，在检测中需要使用大量的存储空间，导致实时性效果较差。garcia等人在限定条件下使用活肤变化对圆周和三角形符号进行检测，这种方法减少了霍夫变换的计算量。boumediene等人提出了一种在灰度图像上检测三角形交通标志的有效方法，利用交通标志编码梯度获得一组角点，在角点编码上检测对称线，实现了三角形警告标志的正确检测。蒋刚毅等人使用数学形态学理论方法处理并提取交通标志内核形状的骨架形态特征，然后利用该特征进行模板匹配，最终完成交通标志的检测识别。郑义等人提取交通标志的形态和几何特征，并且使用了多种提取方法进行交通标志检测。

仅使用颜色特征或形状特征进行识别的方法各有优点，因此，将颜色特征与形状特征相结合的方法在交通标志识别中也被广泛使用。abukhait等人提出了一种基于道路标志颜色及其几何属性的自动化道路标志检测和识别方法，通过提取图像颜色特征信息对交通标志进行分割，使用几何方法获得感兴趣区域，然后利用交通标志轮廓的几何尺寸来进行形状识别，这种方法在交通标志被遮挡，缩放或倾斜是取得了良好的检测效果。刘芳等人结合图像颜色、形状、方向和明亮程度等特征，将各个特征按照一定策略合并成特征图，实现了对三角形警告标志的检测定位。paclk等人则按照一定的规则容和图像中交通标志的颜色形状特征信息，根据这些先验信息将交通标志划分为不同组，然后进行分类，但是该类方法仍具有较大的局限性，在背景复杂或出现相似物干扰时，会出现漏检。

总体而言，从交通标志检测识别技术的研究初期至今，各国的研究人员大部分的精力投入交通标志检测与识别的算法研究，取得了一批优秀的成果。然而，这些技术的发展却进入了一个瓶颈阶段，现有技术中的各项方法均存在着诸如准确率较低、实时性较差各项不足。也正因如此，如何在现有技术的基础上提出一种全新的交通标志识别模型的建立方法，将所建立的模型应用于交通标志识别中，以克服现有技术中的各种不足，也就成为了本领域内技术人员亟待解决的问题。

技术实现要素：

鉴于现有技术存在上述缺陷，本发明的目的是提出一种基于深度学习的交通标志识别模型的建立方法，具体如下。

一种交通标志识别模型的建立方法，包括如下步骤：

s1、训练集构成，获取实际场景中所拍摄的交通视频图像，截取交通视频图像中的交通标志图片，将全部交通标志图片进行汇总，构成训练集；

s2、训练集增广，模拟实际场景中出现的交通标志识别情况，通过多种图像处理操作对训练集中的交通标志图片进行人为步长；

s3、图片预处理，对训练集中的全部交通标志图片进行预处理操作；

s4、模型构建，建立用于交通标志识别的ssd模型；

s5、模型训练，将训练集输入ssd模型中、完成对模型的训练，随后使用测试集对已完成训练的ssd模型进行性能检验，最终得到可用于交通标志识别的交通标志识别模型。

优选地，s2中所述图像处理操作包括：角度旋转、图像模糊、运动模糊以及图像平移。

优选地，s2所述训练集增广，包括如下步骤：

s21、角度旋转，采用角度旋转操作，对训练集中的交通标志图片分别进行顺时针旋转及逆时针旋转，旋转的角度为5°～10°；

s22、图像模糊，采用高斯模糊对训练集中的交通标志图片进行处理；

s23、运动模糊，采用图形目标运行来对训练集中交通标志图片内的交通标志进行人为添加运动模糊；

s24、图像平移，通过对对训练集中交通标志图片的平移，制造出交通标志不完整的图片样本、加入训练集中。

优选地，s3所述图片预处理，包括如下步骤：

s31、尺寸归一化，对训练集中的全部交通标志图片进行尺寸归一化处理，将全部交通标志图片调整为400*260的尺寸规格；

s32、图像增强，采用伽马变换对训练集中图像灰度过高或过低的图片进行校正、增强交通标志图片的对比度，以增强图片中高灰度或低灰度部分的细节。

优选地，s4中所述用于交通标志识别的ssd模型属于端到端网络。

优选地，s4中所述用于交通标志识别的ssd模型内的各特征提取层均为低层级特征提取层。

优选地，s5所述模型训练，包括如下步骤：

s51、将训练集输入ssd模型中，利用反向传播算法完成对ssd模型的优化训练；

s52、优化训练完成后，使用测试集对已完成训练的ssd模型进行性能检验，得到全部预测结果；

s53、使用非最大值抑制算法对结果进行筛选、从全部预测结果中筛选获得最佳结果，并最终得到可用于交通标志识别的交通标志识别模型。

本发明的优点主要体现在以下几个方面：

本发明根据交通标志的特点，在ssd模型的基础上调整特征图尺度及宽高比、去除高层级抽象特征图，进而提出了一种交通标志识别模型并将其用于交通标志识别。采用本发明的方法所建立的交通标志识别模型具有较高的检测精度和准确度、鲁棒性较强，模型应用过程中的实时性程度高，可在先进的辅助驾驶以及无人驾驶等多方面发挥重要作用。

此外，本发明的方法应用前景广阔，研究人员可以以本发明的技术方案为基础进行拓展延伸，将类似技术运用于同领域内其他标志识别技术的相关方案中，实现技术的推广应用。

以下便结合实施例附图，对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握。

附图说明

图1为本发明的方法流程示意图；

图2为现有ssd模型的结构示意图；

图3为本发明中用于交通标志识别的ssd模型的结构示意图。

具体实施方式

本发明根据交通标志的特点，在ssd模型的基础上调整特征图尺度及宽高比，去除高层级抽象特征图，进而提出了一种交通标志识别模型并将其用于交通标志识别，具体的方案如下。

如图1所示，一种交通标志识别模型的建立方法，包括如下步骤。

s1、训练集构成，获取实际场景中所拍摄的交通视频图像，截取交通视频图像中的交通标志图片，将全部交通标志图片进行汇总，构成训练集。

s2、训练集增广，模拟实际场景中出现的交通标志识别情况，通过多种图像处理操作对训练集中的交通标志图片进行人为步长。此处所述图像处理操作包括角度旋转、图像模糊、运动模糊以及图像平移等。进一步而言，s2步骤具体包括有：

s21、角度旋转，由于实际场景中拍摄的交通标志会因视角变化以及本身倾斜等原因产生角度偏移，因此此处采用角度旋转操作，对训练集中的交通标志图片分别进行顺时针旋转及逆时针旋转，旋转的角度为5°～10°；

s22、图像模糊，由于实际场景拍摄的交通标志存在噪声或因自然环境因素造成的图像模糊，因此此处采用高斯模糊对训练集中的交通标志图片进行处理；

s23、运动模糊，由于当车速过快时，接受到的交通标志往往带有运动模糊，导致其轮廓信息大量丢失，因此此处采用图形目标运行来对训练集中交通标志图片内的交通标志进行人为添加运动模糊；

s24、图像平移，由于在实际的识别中还有一部分干扰来自于部分遮挡或者标志外轮廓本身的褪色等，因此此处通过对对训练集中交通标志图片的平移，制造出交通标志不完整的图片样本、加入训练集中。

s3、图片预处理，对训练集中的全部交通标志图片进行预处理操作。同样的，s3步骤具体包括有：

s31、尺寸归一化，由于图像尺寸大小不同，且深度学习框架对图像尺寸具有一定的敏感性，因此需要对训练集中的全部交通标志图片进行尺寸归一化处理，在本实施例中，需要将全部交通标志图片调整为400*260的尺寸规格；

s32、图像增强，采用伽马变换对训练集中图像灰度过高或过低的图片进行校正、增强交通标志图片的对比度，以增强图片中高灰度或低灰度部分的细节，从而达到改善图像主观视觉效果的目的。

s4、模型构建，建立用于交通标志识别的ssd(singleshotmultiboxdetector，ssd)模型。

由于ssd模型，如图2所示，在特征提取是多尺度的，不同层级上感受野不同，尤其在高层特征图中感受野大，故提取的特征更为抽象，而特征越抽象说明保留的精细信息越少，从而对交通标志等小目标不敏感。此外，高层级特征图的尺度参数大，也就是说默认框映射区域占图像面积比例大，而在单个默认映射框内的多个交通标志是不具备区分能力的。因此交通标志等小目标检测只能依赖前面层级进行定位与识别。

由图2可知现有的ssd模型用于交通标志检测的特征提取层有conv2、conv7、conv82、conv92、conv102、conv112。本发明的用于交通标志识别的ssd模型如图3所示，用于检测的特征提取层为conv2、conv7、conv82、conv92，均为低层级特征提取层，去除了高层级特征图层。这是由于conv102、conv112的尺度参数已过半，也就是说默认框映射区域超过图像面积一半，显然对交通标志检测是无用的。

为了获得更多的精细特征，本发明的用于交通标志识别的ssd模型还增加了低层级特征提取层的特征图尺度、从而增加了低层级特征图上默认框的个数，又由于低层级默认框映射占整幅图像比例小，因此丰富了交通标志检测特征。经过改进后的所述用于交通标志识别的ssd模型属于端到端网络。

s5、模型训练，将训练集输入ssd模型中、完成对模型的训练，随后使用测试集对已完成训练的ssd模型进行性能检验，最终得到可用于交通标志识别的交通标志识别模型。s5步骤具体包括有：

s51、将训练集输入ssd模型中，利用反向传播算法(即基于小批量处理的随机梯度优化算法)完成对ssd模型的优化训练；

s52、优化训练完成后，使用测试集对已完成训练的ssd模型进行性能检验，得到全部预测结果；

s53、使用非最大值抑制(non-maximumsuppression，nms)算法对结果进行筛选、从全部预测结果中筛选获得最佳结果，并最终得到可用于交通标志识别的交通标志识别模型。

以下通过实验对本发明的方法及由本发明的方法所建立的交通标志识别模型的有效性进行验证。

考虑到交通标志检测识别受环境因素影响较大，数据集采用不同天气条件下的图片，包括天气晴朗、阳光充足的场景图，阴影、逆光下的场景图，已经极端天气(如雨天、大学过后)的场景图。整个数据集规模训练集图片1500幅，测试集300幅，场景中共有3148个交通标志，其中包含限速20km/h、禁止鸣笛、保持右行、禁止左转、机动车限行、禁止停车交通标志。

将本发明所建立的交通标志识别模型与传统ssd模型进行map(模型识别精度的重要评价指标)对比，结果如表1所示。

表1本发明与传统ssd进度对比

由表1可以得知，本发明所建立的交通标志识别模型map值为0.7944，比传统ssd模型高出0.058，可见本发明所建立的模型检测精度更为稳定。

下面再对比两类算法的训练时间，结果如表2。本发明所建立的交通标志识别模型在gpu上训练一回合所用时间为155.83s，比传统ssd模型慢16.79s，平均到每幅图片上大约多花费0.01s，仅为每幅图片训练时间的十分之一。另外在本实验计算机上，gpu训练速度是cpu训练速度的4.7倍，可见gpu训练在深度学习具有较大速度优势。

表2ssd模型训练时间对比

综上可见，本发明所建立的模型具有较强的鲁棒性，并且检测精度和定位准确率优于传统ssd模型，具有实时性。

综上所述，采用本发明的方法所建立的交通标志识别模型具有较高的检测精度和准确度、鲁棒性较强，模型应用过程中的实时性程度高，可在先进的辅助驾驶以及无人驾驶等多方面发挥重要作用。

此外，本发明的方法应用前景广阔，研究人员可以以本发明的技术方案为基础进行拓展延伸，将类似技术运用于同领域内其他标志识别技术的相关方案中，实现技术的推广应用。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。