基于紧凑型神经网络的深度学习模型的交通标志识别系统的制作方法

本发明涉及一种计算机视觉和机器学习技术，属于目标检测和识别的方法，具体涉及一种基于紧凑型神经网络的深度学习模型的交通标志识别方法和系统，适用于图像或视频中的交通标志的检测和识别。

背景技术：

近年来，无人驾驶发展愈发成熟，而辅助驾驶已经进入实用阶段，交通标志的识别是目前智能辅助辅助驾驶系统最重要的模块之一，并且是无人驾驶技术的重要组成部分。

交通标志识别模块通常包含定位检测和分类识别两个方面。

在交通标志的定位方面，可以定位出可能存在交通标志的区域。已有成果均采用基于颜色的方法实现图像分割,适合于交通标志图像分割的颜色空间包括rgb空间、hsi空间等，而本发明运用的是rgb空间。

在交通标志的识别方便，绝大部分学者均采用传统的卷积神经网络识别分类交通标志，但是有着模型大，计算代价高，不适合移植至移动平台的缺陷。

因此，计算代价低、模型可移植、模型体积小、准确率高的交通标志识别模块在无人驾驶和辅助驾驶中发挥着重要的作用。

技术实现要素：

本发明的目的是为了克服现有基于传统深度学习的交通标志识别系统复杂高、参数多、难以移植至移动平台等缺陷。

本发明改进的技术问题是传统卷积神经网络的计算量大，导致在移动平台上识别速度慢的问题，提出了一种基于紧凑型神经网络的深度网络模型的交通标志识别方法。

本发明技术方案包含图像采集、图片预处理、交通标志识别、语音提醒四个模块，如图1。

1.图像采集部分

该系统移植至移动平台(android平台)，通过手机摄像头或者车载行车记录仪获取每帧图像输入图片预处理模块。

2.图片预处理部分

图片预处理分为三个模块：颜色定位、形状检测、图片缩放。

颜色定位：利用交通标志的颜色特征(红、黄、蓝三色)可初步将交通标志提取出来。

形状检测：在颜色定位的基础上，利用交通标志的形状特征(三角形、圆形、矩形)，检测出包含交通标志的区域并截取出来。

图片缩放：为了规范截取的图片，将其统一为32*32的尺寸，并输入交通标志识别模块，处理后如图2所示。

3.交通标志识别部分

交通识别模块的技术方案是基于紧凑型神经网络的深度学习网络并利用迁移学习使其适应交通标志识别。紧凑型神经网络的设计原理为利用1x1的卷积核代替3x3卷积核，减少9倍参数输入，其核心构件为紧凑层，即将一层卷积层用压缩层和扩展层代替，压缩层为1x1卷积层，扩展层为1x1与3x3组合得到的组合层。为了适应交通标志识别，将图3改进为如图4所示网络架构。

4.语音提醒部分

该网络具有速度快，体积小，准确率符合基本应用标准的特点，适用于移动平台，并嵌入app当中，将分类识别出的交通标志已语音提醒的方式提醒司机。

本发明的优点和积极效果在于：

本发明提供一种基于紧凑型神经网络的深度学习模型的公路交通标志自动识和提醒系统，此系统运用紧凑型神经网络进行迁移学习，有很高的实时性和很低的运算量，可移植至移动手机平台，只需利用手机便可实现基本的公路交通标志识别和语音提醒，避免司机行车过程中疏忽导致的事故。

本发明的前期图像预处理可以降低深度学习的输入维数和图像体积，并突出交通标志的特征。

本发明的深度神经网络模型在使用训练集为gtsrb(德国交通标志识别基准，germantrafficsignrecognitionbenchmark)中的训练集，包含训练图片39，209张，测试图片12630张)时，参数比传统的模型参数少上百倍，训练完成的权重参数文件只有4mb左右却达到93.5％的测试精度。

本发明具有识别交通标志的种类多、精度高、实时性好等优势，降低了光照变化、颜色褪色、运动模糊、复杂的背景等因素对图像识别的影响,提高了抗干扰能力，识别准确率高，误识别率低。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1本发明交通标志识别系统的模块示意图。

图2本发明的图片预处理前后对比图。

图3本发明的紧凑层结构示意图。

图4本发明的基于紧凑型神经网络的深度神经网络架构图。

具体实施方式

下面结合附图和实施例对本发明的技术方案进行详细说明。

如图所示，本发明的基于紧凑型神经网络的深度学习模型的交通标志识别方法和系统包括图像采集、图片预处理、交通标志识别、语音提醒四个模块。其中，图像采集主要负责采集包含交通标志的图像；图像预处理模块主要负责检测获取的图像中的交通标志并把其区域提取出来，在进行统一尺寸的缩放；交通标志识别模块为核心模块，利用迁移学习后的紧凑型神经网络进行交通标志识别分类；语音提醒模块负责将识别出的交通标志提醒司机。

模块一：图像采集模块。

本发明实施例中采用自主研发的android手机app，该app使用手机自带的摄像头以每秒20-30帧的速度进行录像操作并将视频文件保存下来，并将保存的图片实时传输至预处理模块。

模块二：图片预处理模块。

本发明预处理模块分为三部分，分别为颜色定位、形状检测、图片缩放三个子模块，并已此步骤进行图片预处理。

步骤一：首先将获取到的每帧图片进行高斯模糊处理，利用二维高斯函数计算图片矩阵权重(x,y为周边坐标对于中心像素的相对坐标，σ为模糊半径)：

计算图片的高斯模糊值：将得到权重矩阵与原有的色值矩阵相乘，得到高斯模糊后的中心像素色值。

设置红黄蓝三色的阀值，根据阀值构建掩膜，并与高斯模糊处理后的图片进行像素相加的位运算，运用大律法进行二值化处理，得到蓝(红或黄)色的主体位置，即颜色定位。

步骤二：首先定义与交通标志形状大小相符的结构元素(矩形、三角形、圆形)，得到形态学内核，再结合此内核利进行形态学闭运算(先膨胀后腐蚀)，计算形态学梯度(膨胀图与腐蚀图之差)保留轮廓。

最后提取所得到的轮廓并利用多边形(矩形，三角形，圆形)逼近算法得到最大矩形的轮廓，以其为标准截取出矩形图像，排除误差的情况下此图像包含识别所需的交通标志。其次步骤三：利用双线性插值法对图像进行缩放，得到统一的尺寸(由相邻的四像素计算)

(dst为输出图像，src为输入图像，对于一个目的像素，设置坐标通过反向变换得到的浮点坐标为(i+u,j+v)，其中i、j均为浮点坐标的整数部分，u、v为浮点坐标的小数部分，则这个像素得值dst(i+u,j+v)可由输入图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定)

dst(i+u，j+v)＝(1-u)*(1-v)*src(i，j)+(1-u)*v*src(i，j+1)+u*(1-v)*src(i+1，j)+u*v*src(i+1，j+1)

模块三：交通标志识别模块。

步骤一：基于紧凑型神经网络的深度神经网络模型构建。

本模型的核心层为紧凑层，由1x1卷积核得到的卷积层(压缩层)分别接上1x1卷积核的卷积层与3x3卷积核得到的卷积层，并组合此两卷积层得到扩展层，如图。

由于图片预处理模块得到的图像为32x32像素，输入为32x32x3的像素矩阵。

第一层为卷积层，卷积核3x3，步长为1，有效填充，得到的卷积层为28x28x36，并用relu函数激活。

第二层为池化层，2x2最大池化得到14x14x36矩阵。

第三层为紧凑层，首先利用压缩层，将14x14x36输入1x1的卷积核，深度为16，步长为1，有效填充，得到14x14x16的压缩层，其次分别用1x1卷积核和3x3卷积核进行深度为32的扩展，进行组合得到14x14,x64的fire层，并用relu函数激活。

第四层为紧凑层，将第三层输入1x1的卷积核进行深度为64的压缩，再分别通过1x1x72、3x3x72的卷积核进行扩展并组合得到14x14x144的fire层，relu函数激活。

第五层为池化层，通过2x2的最大池化得到7x7x144的池化层。

第六层为卷积层，通过1x1的卷积核，深度为43，步长为一，有效填充，得到7x7x43的压缩卷积层。

第七层为平均池化层，通过7x7x43的平均池化操作得到1x1x43的平均池化层。

通过平铺操作转化为43的1维矩阵并与偏置相加得到43个类型的输出。

模型框架图3，步骤二：训练模型。

训练集为gtsrb(德国交通标志识别基准，germantrafficsignrecognitionbenchmark)中的训练集，包含训练图片39，209张，测试图片12630张。

训练集并不需要图片预处理。

初始化参数，将各层的权重通过正态分布的随机初始化，均值为0，标准差为0.1，并设定随机梯度下降学习率为0.0009，循环次数为25。

训练组为每次随机选取的128个样本。

训练样本(x,y)分别为输入和结果的比对标准。

将训练样本输入至上述构建的基于紧凑型神经网络的深度网络模型，得到最终的43个分类结果。

保存训练完成的模型。

步骤三：测试模型。

将测试集用于测试保存的模型，检测模型的准确率，并与个传统模型比对。

模块四：语音提醒模块。

首先，连接图像采集、图片预处理、语音提醒模块。其次，将得到的预处理后的图像输入训练好的模型，得出结果，并通过app软件的语音提醒功能提醒司机。

最后，司机可以在历史记录中反馈结果，用于修改优化模型。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。