一种基于多尺度特征融合的信号灯检测识别方法及系统

本发明涉及检测识别技术领域，尤其涉及一种基于多尺度特征融合的信号灯检测识别方法及系统。

背景技术：

近年来，随着社会经济的蓬勃发展及科技发展的不断推动，人们生活水平不断提高，私家车的数量不断增加，汽车已经成为人们出行首选的交通工具，其数量增加在给人们出行带来便利的同时也存在一些不便的方面，例如上下班、节假日等出行高峰易造成城市交通拥堵影响正常生活秩序，严重的甚至会导致交通事故的发生，危害人们生命和财产安全。交通信号灯作为城市交通中维护交通秩序，实现高效安全行车必需的交通控制设备，驾驶员们必须要快速准确获取其所提示的信息并及时做出反映。在实际驾驶过程中，驾驶员难免会因为路况复杂、气候环境多样、个人因素如疲劳等情况忽视了交通信号灯的信息，造成违规违章驾驶，严重的甚至会引起交通事故，进而造成交通拥堵，降低交通效率。因此，交通信号灯的检测与识别技术的研究对减少交通事故频率，维护人民生命财产安全具有重要意义。

本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术中存在无法通过多尺度特征融合对信号灯进行检测识别，模型检测精度低、检测速度慢、易造成漏检的技术问题。

技术实现要素：

本申请实施例通过提供一种基于多尺度特征融合的信号灯检测识别方法及系统，先构建交通信号灯数据集；对所述交通信号灯数据集中的目标进行k-means聚类，获得初始候选框；将神经网络模型输入尺寸调整为第一尺寸；在yolov3检测层的基础上增加4倍降采样后的检测层，删掉32倍降采样后的检测层；在所述神经网络模型中嵌入空间金字塔池化模块；将所述神经网络模型中的fpn结构替换为panet结构，构建基于小尺度交通信号灯目标的检测与识别模型；通过所述基于小尺度交通信号灯目标的检测与识别模型对信号灯进行检测和识别。解决了无法通过多尺度特征融合对信号灯进行检测识别，模型检测精度低、检测速度慢、易造成漏检的技术问题。达到了通过多尺度特征融合对信号灯进行检测识别，有效保证对信号灯检测识别的准确性、提高了检测速度以及检测质量的技术效果。

鉴于上述问题，本申请实施例提供一种基于多尺度特征融合的信号灯检测识别方法及系统。

第一方面，本申请提供了一种基于多尺度特征融合的信号灯检测识别方法，其中，所述方法包括：构建交通信号灯数据集；对所述交通信号灯数据集中的目标进行k-means聚类，获得初始候选框；将神经网络模型输入尺寸调整为第一尺寸；在yolov3检测层的基础上增加4倍降采样后的检测层，删掉32倍降采样后的检测层；在所述神经网络模型中嵌入空间金字塔池化模块；将所述神经网络模型中的fpn结构替换为panet结构，构建基于小尺度交通信号灯目标的检测与识别模型；通过所述基于小尺度交通信号灯目标的检测与识别模型对信号灯进行检测和识别。

另一方面，本申请还提供了一种基于多尺度特征融合的信号灯检测识别系统，其中，所述系统包括：第一构建单元，所述第一构建单元用于构建交通信号灯数据集；第一获得单元，所述第一获得单元用于对所述交通信号灯数据集中的目标进行k-means聚类，获得初始候选框；第一执行单元，所述第一执行单元用于将神经网络模型输入尺寸调整为第一尺寸；第二执行单元，所述第二执行单元用于在yolov3检测层的基础上增加4倍降采样后的检测层，删掉32倍降采样后的检测层；第三执行单元，所述第三执行单元用于在所述神经网络模型中嵌入空间金字塔池化模块；第二构建单元，所述第二构建单元用于将所述神经网络模型中的fpn结构替换为panet结构，构建基于小尺度交通信号灯目标的检测与识别模型；第四执行单元，所述第四执行单元用于通过所述基于小尺度交通信号灯目标的检测与识别模型对信号灯进行检测和识别。

另一方面，本申请实施例还提供了一种基于多尺度特征融合的信号灯检测识别方法及系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述第一方面所述方法的步骤。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本申请实施例提供了一种基于多尺度特征融合的信号灯检测识别方法及系统，构建交通信号灯数据集；对所述交通信号灯数据集中的目标进行k-means聚类，获得初始候选框；将神经网络模型输入尺寸调整为第一尺寸；在yolov3检测层的基础上增加4倍降采样后的检测层，删掉32倍降采样后的检测层；在所述神经网络模型中嵌入空间金字塔池化模块；将所述神经网络模型中的fpn结构替换为panet结构，构建基于小尺度交通信号灯目标的检测与识别模型；通过所述基于小尺度交通信号灯目标的检测与识别模型对信号灯进行检测和识别。解决了无法通过多尺度特征融合对信号灯进行检测识别，模型检测精度低、检测速度慢、易造成漏检的技术问题。达到了通过多尺度特征融合对信号灯进行检测识别，有效保证对信号灯检测识别的准确性、提高了检测速度以及检测质量的技术效果。

上述说明是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请实施例一种基于多尺度特征融合的信号灯检测识别方法的流程示意图；

图2为本申请实施例一种基于多尺度特征融合的信号灯检测识别系统的结构示意图；

图3为本申请实施例示例性电子设备的结构示意图；

图4为本申请实施例构建交通信号灯数据集的流程示意图；

图5为本申请实施例获得初始候选框的流程示意图；

图6为本申请实施例对所述基于小尺度交通信号灯目标的检测与识别模型进行网络层剪枝的流程示意图；

图7为本申请实施例将进行通道剪枝后的所述基于小尺度交通信号灯目标的检测与识别模型进行网络层剪枝的流程示意图。

附图标记说明：第一构建单元11，第一获得单元12，第一执行单元13，第二执行单元14，第三执行单元15，第二构建单元16，第四执行单元17，电子设备300，存储器301，处理器302，通信接口303，总线架构304。

具体实施方式

本申请实施例通过提供一种基于多尺度特征融合的信号灯检测识别方法及系统，解决了无法通过多尺度特征融合对信号灯进行检测识别，模型检测精度低、检测速度慢、易造成漏检的技术问题。达到了通过多尺度特征融合对信号灯进行检测识别，有效保证对信号灯检测识别的准确性、提高了检测速度以及检测质量的技术效果。

下面，将参考附图详细的描述本申请的示例实施例，显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

近年来，随着社会经济的蓬勃发展及科技发展的不断推动，人们生活水平不断提高，私家车的数量不断增加，汽车已经成为人们出行首选的交通工具，其数量增加在给人们出行带来便利的同时也存在一些不便的方面，例如上下班、节假日等出行高峰易造成城市交通拥堵影响正常生活秩序，严重的甚至会导致交通事故的发生，危害人们生命和财产安全。交通信号灯作为城市交通中维护交通秩序，实现高效安全行车必需的交通控制设备，驾驶员们必须要快速准确获取其所提示的信息并及时做出反映。在实际驾驶过程中，驾驶员难免会因为路况复杂、气候环境多样、个人因素如疲劳等情况忽视了交通信号灯的信息，造成违规违章驾驶，严重的甚至会引起交通事故，进而造成交通拥堵，降低交通效率。因此，交通信号灯的检测与识别技术的研究对减少交通事故频率，维护人民生命财产安全具有重要意义。

针对上述技术问题，本申请提供的技术方案总体思路如下：

本申请提供了一种基于多尺度特征融合的信号灯检测识别方法，其中，所述方法应用于一种基于多尺度特征融合的信号灯检测识别系统，其中，所述方法包括：构建交通信号灯数据集；对所述交通信号灯数据集中的目标进行k-means聚类，获得初始候选框；将神经网络模型输入尺寸调整为第一尺寸；在yolov3检测层的基础上增加4倍降采样后的检测层，删掉32倍降采样后的检测层；在所述神经网络模型中嵌入空间金字塔池化模块；将所述神经网络模型中的fpn结构替换为panet结构，构建基于小尺度交通信号灯目标的检测与识别模型；通过所述基于小尺度交通信号灯目标的检测与识别模型对信号灯进行检测和识别。

在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。

实施例一

如图1所示，本申请实施例提供一种基于多尺度特征融合的信号灯检测识别方法，其中，所述方法包括：

步骤s100：构建交通信号灯数据集；

步骤s200：对所述交通信号灯数据集中的目标进行k-means聚类，获得初始候选框；

具体而言，k-means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。k-means算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量v最优分类，使得评价指标j最小。算法采用误差平方和准则函数作为聚类准则函数。不同的国家和地区的交通信号灯样式不一，如果使用已有的国外数据集训练出的模型不会完全适用于我国道路场景中信号灯目标的检测与识别任务。为了更好的切近我国实际情况，使训练出来的模型满足实际需求，需要构建国内交通信号灯数据集。所述交通信号灯数据集通过筛选视频资料、从已有数据集中获取，对交通信号灯进行图像提取。首先构建交通信号灯数据集，进而对数据集中的目标进行k-means聚类，得到具有代表性宽高的初始候选框，避免模型在训练时盲目寻找，提高模型收敛速度和检测精度。

步骤s300：将神经网络模型输入尺寸调整为第一尺寸；

具体而言，神经网络由神经元构成，通过计算每个神经元的权重和偏置，经过激活函数后得到输出，再将这个结果通过反向传播更新权重和偏置，形成了当今主流的神经网络结构。神经网络由多个隐层感知器组成，感知器也被称为神经元，用于存储训练参数即权值参数。所述交通信号灯数据集的图像在神经网络模型中训练时，必须要调整输入尺寸，使输入尺寸增大，调整后的输入尺寸记为第一尺寸。增加模型输入尺寸以减少小尺度目标的特征信息损失。

步骤s400：在yolov3检测层的基础上增加4倍降采样后的检测层，删掉32倍降采样后的检测层；

具体而言，yolov3在yolo和yolov2的基础上进行改进，首先在特征提取网络中引入残差结构来解决深层网络的梯度容易消失问题，进一步加深了网络，其次使用fpn进行多尺度融合，在网络预测层进行上采样拼接，使用三个不同尺度特征图对应的yolo检测层作为算法的检测模块，分别负责对大尺度目标、中等尺度目标、小尺度目标的检测，能够检测到更加细粒度的特征。通过在yolov3算法基础上添加了4倍降采样的检测层，把深层特征和对小尺度目标感知更加明显的浅层特征进行融合，使网络对此类目标的识别精度和定位更准确。由于经过32倍降采样，感受野较大、特征信息损失严重，适合检测大尺寸目标，而交通信号灯数据集中目标主要为中小目标，因此将对大目标检测效果较好的yolo预测层删除。

步骤s500：在所述神经网络模型中嵌入空间金字塔池化模块；

具体而言，空间金字塔池化网络(spatialpyramidpooling，spp)是何凯明在2014年提出，主要用于解决的是cnn算法中输入图像分辨率不一致的问题，算法在输入图像时会固定输入数据的尺寸，而由于训练集中的图像原有尺寸与这个输入尺寸不一致，所以算法会先对输入图像进行resize处理，这样会导致图像成像失真，另外目前现有算法中有对于图像尺度方面的增强方式中提到的缩放增强方式也会造成图像成像失真，容易影响最终的检测精度。在嵌入spp模块时，首先对yolov3的输入图像尺寸的改进相应修改了spp模块的池化操作中最大卷积核的尺寸，spp模块对通过不同池化所获得的不同尺度的特征进行融合，使得模型在嵌入spp模块后检测精度获得提升，以丰富特征信息。

步骤s600：将所述神经网络模型中的fpn结构替换为panet结构，构建基于小尺度交通信号灯目标的检测与识别模型；

步骤s700：通过所述基于小尺度交通信号灯目标的检测与识别模型对信号灯进行检测和识别。

具体而言，首先将所述神经网络模型中的fpn结构替换为panet结构，fpn多尺度特征融合方式由于只使用自上向下及横向连接，上层信息被充分使用，而底层信息并没有得到有效的利用，底层信息中包含大量的细节特征信息，对目标检测算法中目标位置的定位起着十分关键的作用。在fpn多尺度特征融合网络基础上增加bottom-up结构后，使底层信息与高层信息都能得到充分的利用，使目标检测算法能够兼顾高层语义信息和底层细节信息，更好的兼顾识别与检测任务。构建基于小尺度交通信号灯目标的检测与识别模型，通过所述基于小尺度交通信号灯目标的检测与识别模型对信号灯进行检测和识别。使用panet代替fpn后，各模型平均检测精度都有提升。

进一步而言，如图4所示，所述构建交通信号灯数据集，本申请实施例步骤s100包括：

步骤s110：收集所述交通信号灯数据集中的数据信息；

步骤s120：对所述交通信号灯数据集进行数据标注；

步骤s130：根据所述交通信号灯数据集的特点，确定数据扩充方式；

步骤s140：根据所述数据扩充方式，对所述交通信号灯数据集进行数据扩充。

具体而言，所述数据扩充方式主要有翻转、平移、旋转、缩放、剪裁、复制等。不同的国家和地区的交通信号灯样式不一，如果使用已有的国外数据集训练出的模型不会完全适用于我国道路场景中信号灯目标的检测与识别任务。为了更好的切近我国实际情况，使训练出来的模型满足实际需求，需要构建国内交通信号灯数据集。所述交通信号灯数据集通过筛选视频资料、从已有数据集中获取，对交通信号灯进行图像提取。在数据集的数据整理完后需要对数据集进行标注，使用专业标注软件将交通信号灯的位置及种类信息做出标注，用于对后续交通信号灯检测模型的训练和测试。标注时以人眼能判断的信号灯状态为准，对于图像中人眼无法判断具体状态的交通信号灯目标作为坏样本不进行标注。比如，标注为红色直行、红色左转、红色右转、绿色直行、绿色左转、绿色右转等等。根据交通信号灯数据集的特点，是否直行或者转弯，进而确定数据扩充方式。例如标注的真实框是右箭头，模型训练时自动翻转后，箭头在图像中呈现左转但标注依然是右转，使得模型学到错误的特征，导致在检测时出现大量误检现象，因此在训练中选择关闭框架自带的此类扩充方式。根据所述数据扩充方式，对所述交通信号灯数据集进行数据扩充，交通灯信号集的图片数量增加，种类增多，保证了神经网络模型能够有充分的数据用来学习待检测目标的特征。

进一步而言，如图5所示，所述对所述交通信号灯数据集中的目标进行k-means聚类，获得初始候选框，本申请实施例步骤s200包括：

步骤s210：获得真实框坐标尺寸信息；

步骤s220：在所有所述真实框中随机选取k个值作为k个锚点框的初始值；

步骤s230：计算每个所述真实框与所述锚点框的iou；

步骤s240：获得每个所述真实框对于每个所述锚点框的误差；

步骤s250：通过比较误差大小选取获得第一锚点框，所述第一锚点框为最小误差的锚点框；

步骤s260：将与所述第一锚点框对应是所述真实框分类给第一锚点框子集，并对所述锚点框进行更新，获得第二锚点框；

步骤s270：获得所述第二锚点框的精确度。

具体而言，首先将所有的真实框坐标提取出来，同时提取真实框的宽高大小，初始化k个锚点框，通过在所有的真实框中随机选取k个值作为k个锚点框的初始值。在确定锚点框数量k时需要人工筛选，分别选取锚点框个数为1～15时对数据集中目标进行聚类分析，得到不同锚点框数量与对应的平均交并比关系，随着锚点框数量的增加，平均交并比越来越高，当锚点框数量大于9时，平均交并比增长变得平缓。计算每个真实框与锚点框的iou，使用定义的距离参数d来表示误差。进行分类操作。经过前一步的计算可以的到每一个真实框对于每一个锚点框的误差，通过比较误差大小选取最小误差的那个锚点框，将这个真实框分类给这个子集。对每一个锚点框子集中的那些真实框宽高取均值，将其作为该锚点框新的尺寸，重复三到五步直至锚点框不再更新。使用最后得到的锚点框与每个真实框计算iou值，对于每个真实框选取其最高的iou值，然后求所有真实框对该iou值的平均值，也即最后的精确度值。使用k-means聚类算法聚类不同尺寸的框，得到具有代表性形状的宽高固定的初始候选框。使模型获得尺寸的先验经验，避免模型在训练时盲目的寻找预测框宽高，有助于模型快速收敛。

进一步而言，本申请实施例步骤s800包括：

步骤s810：所述panet结构的公式为：

其中，表示输入到特征融合网络中的特征图；

表示panet网络先经过类似fpn自顶向下操作得到的中间值；

表示经过特征融合网络处理后的输出；

conv()表示特征图进行的卷积处理；

rs()表示通过对特征图进行匹配而进行的上采样或下采样操作。

具体而言，其中表示输入到特征融合网络中的特征图，表示panet网络先经过类似fpn自顶向下操作得到的中间值，表示经过特征融合网络处理后的输出，表示特征图进行的卷积处理，rs()表示通过对特征图进行匹配而进行的上采样或下采样操作。panet通过增加bottom-up结构充分平衡了低层信息和高层信息，使模型在进行检测时能充分使用底层的特征信息及高层的语义信息，综合提高模型定位和识别能力。

进一步而言，如图6所示，本申请实施例步骤s900包括：

步骤s910：对所述基于小尺度交通信号灯目标的检测与识别模型进行稀疏化训练；

步骤s920：获得第一预定通道阈值；

步骤s930：根据所述第一预定通道阈值对稀疏化训练后的所述基于小尺度交通信号灯目标的检测与识别模型进行通道剪枝；

步骤s940：将进行通道剪枝后的所述基于小尺度交通信号灯目标的检测与识别模型进行网络层剪枝。

具体而言，在深度学习算法中，大量的参数在推理阶段并没有发挥其作用，这部分参数被称为冗余参数，而这部分参数在模型推理阶段时参与计算，增加了算法模型的复杂度，模型剪枝所面对的对象就是这类参数。模型剪枝可划分为结构化剪枝和非结构化剪枝。结构化剪枝是对于神经网络中卷积的通道或网络层级别的删减，剪枝后网络结构会发生变化，被删减的这些通道或网络层所包含的参数在后续预测任务中不进行计算，使得模型检测速度提高，同时剪枝后的模型可以直接部署到现有硬件设备中。所述稀疏化训练是指在训练是对神经网络权重施加l1正则化，使权重值逼近于0，让权重分布变稀疏。一个算法模型从输入图像到最终推理出预测结果需要一层一层的计算，从浅层到深层的逐渐累积产生大量的计算，对深度层面的冗余需要通过对网络层也就是卷积层进行剪裁处理，这一操作被称为网络层的剪枝。

首先选择综合性能较好模型作为初始模型，对这个初始模型进行稀疏化训练，将bn层中的缩放因子按照重要性程度保留或置零，根据bn层缩放因子大小对不同通道进行重要性评估，删除重要性程度低的通道所对应的bn层权重及对应卷积核权重，建立新模型，将剪裁后保留的权重移植到新模型中，最后进行模型微调恢复模型精度。设定第一预定通道阈值，阈值作为剪枝通道的依据对剪枝模型最终的好坏起到非常关键的作用。阈值设置过高，则剪裁掉了部分重要性程度较高的通道，导致剪枝后的轻量化模型最终检测精度大量下降；阈值设置过低，则仅仅剪裁掉了少部分的冗余通道，导致剪枝后的轻量化模型参数保留较多，模型体积依然较大，检测速度较慢，所以阈值的设置对建立一个既保证检测精度又兼顾检测速度的轻量化模型来说十分重要。模型在经过稀疏化训练后，各通道bn层的权重发生变化，部分重要程度较低的通道权重逼近于0，可以通过设置阈值的方式来确定最终需要剪裁的具体通道。在通道剪枝的基础上根据公式如下对每个卷积层的bn层值进行统计并进行均值排序，l为卷积层，为第l层比例因子的均值，c表示层中通道数。将作为评价网络层的重要程度的指标，根据需要将重要性程度低的网络层删掉，完成对模型主干网络的剪层处理。模型在进行通道剪枝后剪裁掉大量的通道，使整个模型在宽度层面的冗余得到了消除。

进一步而言，本申请实施例步骤s1000包括：

步骤s1010：在所述基于小尺度交通信号灯目标的检测与识别模型中调添加卷积模块注意力模块或瓶颈注意力模块。

具体而言，注意力机制是一种数据处理方法，广泛应用在图像识别、自然语言处理、语音识别等领域。日常生活中，人类视觉可以帮助我们获取信息，在识别不同事物时由于精力有限，人们可以通过关注事物的某些重要局部信息来确定目标，即通过局部信息来确定全局信息。如同人类视觉，计算机视觉的注意力机制也同样是一种资源分配机制，在神经网络中按照所注意对象的重要性程度为不同特征分配不同大小的权重，这些权重分配通过模型训练得到。为了进一步改善经过剪枝后得到的轻量化模型的性能，在模型中引入注意力模块。注意力机制可以让模型在训练过程中更加注重对感兴趣区域的学习，忽略相关性较低的无关信息，提高模型性能。

进一步而言，如图7所示，所述将进行通道剪枝后的所述基于小尺度交通信号灯目标的检测与识别模型进行网络层剪枝，本申请实施例步骤s940包括：

步骤s941：对进行通道剪枝后的所述基于小尺度交通信号灯目标的检测与识别模型进行稀疏化训练；

步骤s942：获得第一预定网络层阈值；

步骤s943：根据所述第一预定网络层阈值对稀疏化训练后的所述基于小尺度交通信号灯目标的检测与识别模型进行网络层剪枝。

具体而言，随着模型剪枝比例的增加，剪枝阈值越来越大，模型检测精度也逐渐下降，其中剪枝比例在88％至90％时，精度下降明显，说明剪枝时剪掉了关键通道，导致模型精度变差。随着模型剪枝比例的增加，通道数减少，参数量减少，推理速度由于参数量的减少也逐渐减小。因此，从模型检测速度和检测精度综合考虑，选择剪枝比例为85％时的轻量化模型进行后续的网络层剪枝。对进行通道剪枝后的所述基于小尺度交通信号灯目标的检测与识别模型进行稀疏化训练，设定第一网络层阈值，根据所述第一预定网络层阈值对稀疏化训练后的所述基于小尺度交通信号灯目标的检测与识别模型进行网络层剪枝。模型在进行通道剪枝后剪裁掉大量的通道，使整个模型在宽度层面的冗余得到了消除。网络层剪枝剪掉了冗杂参数，提高了检测精度，减少模型结构改变对检测精度的影响。

综上所述，本申请实施例所提供的一种基于多尺度特征融合的信号灯检测识别方法，具有如下技术效果：

1、本申请提供了一种基于多尺度特征融合的信号灯检测识别方法，所述方法应用于一种基于多尺度特征融合的信号灯检测识别系统，其中，所述方法包括：构建交通信号灯数据集；对所述交通信号灯数据集中的目标进行k-means聚类，获得初始候选框；将神经网络模型输入尺寸调整为第一尺寸；在yolov3检测层的基础上增加4倍降采样后的检测层，删掉32倍降采样后的检测层；在所述神经网络模型中嵌入空间金字塔池化模块；将所述神经网络模型中的fpn结构替换为panet结构，构建基于小尺度交通信号灯目标的检测与识别模型；通过所述基于小尺度交通信号灯目标的检测与识别模型对信号灯进行检测和识别。解决了无法通过多尺度特征融合对信号灯进行检测识别，模型检测精度低、检测速度慢、易造成漏检的技术问题。达到了通过多尺度特征融合对信号灯进行检测识别，有效保证对信号灯检测识别的准确性、提高了检测速度以及检测质量的技术效果。

实施例二

基于与前述实施例中一种基于多尺度特征融合的信号灯检测识别方法，同样发明构思，本发明还提供了一种基于多尺度特征融合的信号灯检测识别系统，如图2所示，所述系统包括：

第一构建单元11，所述第一构建单元11用于构建交通信号灯数据集；

第一获得单元12，所述第一获得单元12用于对所述交通信号灯数据集中的目标进行k-means聚类，获得初始候选框；

第一执行单元13，所述第一执行单元13用于将神经网络模型输入尺寸调整为第一尺寸；

第二执行单元14，所述第二执行单元14用于在yolov3检测层的基础上增加4倍降采样后的检测层，删掉32倍降采样后的检测层；

第三执行单元15，所述第三执行单元15用于在所述神经网络模型中嵌入空间金字塔池化模块；

第二构建单元16，所述第二构建单元16用于将所述神经网络模型中的fpn结构替换为panet结构，构建基于小尺度交通信号灯目标的检测与识别模型；

第四执行单元17，所述第四执行单元17用于通过所述基于小尺度交通信号灯目标的检测与识别模型对信号灯进行检测和识别。

进一步的，所述系统还包括：

第五执行单元，所述第五执行单元用于收集所述交通信号灯数据集中的数据信息；

第六执行单元，所述第六执行单元用于对所述交通信号灯数据集进行数据标注；

第一确定单元，所述第一确定单元用于根据所述交通信号灯数据集的特点，确定数据扩充方式；

第七执行单元，所述第七执行单元用于根据所述数据扩充方式，对所述交通信号灯数据集进行数据扩充。

进一步的，所述系统还包括：

第二获得单元，所述第二获得单元用于获得真实框坐标尺寸信息；

第八执行单元，所述第八执行单元用于在所有所述真实框中随机选取k个值作为k个锚点框的初始值；

第九执行单元，所述第九执行单元用于计算每个所述真实框与所述锚点框的iou；

第三获得单元，所述第三获得单元用于获得每个所述真实框对于每个所述锚点框的误差；

第四获得单元，所述第四获得单元用于通过比较误差大小选取获得第一锚点框，所述第一锚点框为最小误差的锚点框；

第五获得单元，所述第五获得单元用于将与所述第一锚点框对应是所述真实框分类给第一锚点框子集，并对所述锚点框进行更新，获得第二锚点框；

第六获得单元，所述第六获得单元用于获得所述第二锚点框的精确度。

进一步的，所述系统还包括：

第一存储单元，所述第一存储单元用于存储如下公式，并准备调用：

其中，表示输入到特征融合网络中的特征图；

表示panet网络先经过类似fpn自顶向下操作得到的中间值；

表示经过特征融合网络处理后的输出；

conv()表示特征图进行的卷积处理；

rs()表示通过对特征图进行匹配而进行的上采样或下采样操作。

进一步的，所述系统还包括：

第十执行单元，所述第十执行单元用于对所述基于小尺度交通信号灯目标的检测与识别模型进行稀疏化训练；

第七获得单元，所述第七获得单元用于获得第一预定通道阈值；

第十一执行单元，所述第十一执行单元用于根据所述第一预定通道阈值对稀疏化训练后的所述基于小尺度交通信号灯目标的检测与识别模型进行通道剪枝；

第十二执行单元，所述第十二执行单元用于将进行通道剪枝后的所述基于小尺度交通信号灯目标的检测与识别模型进行网络层剪枝。

进一步的，所述系统还包括：

第十三执行单元，所述第十三执行单元用于在所述基于小尺度交通信号灯目标的检测与识别模型中调添加卷积模块注意力模块或瓶颈注意力模块。

进一步的，所述系统还包括：

第十四执行单元，所述第十四执行单元用于对进行通道剪枝后的所述基于小尺度交通信号灯目标的检测与识别模型进行稀疏化训练；

第七获得单元，所述第七获得单元用于获得第一预定网络层阈值；

第十五执行单元，所述第十五执行单元用于根据所述第一预定网络层阈值对稀疏化训练后的所述基于小尺度交通信号灯目标的检测与识别模型进行网络层剪枝。

示例性电子设备

下面参考图3来描述本申请实施例的电子设备。

基于与前述实施例中一种基于多尺度特征融合的信号灯检测识别方法相同的发明构思，本申请实施例还提供了一种基于多尺度特征融合的信号灯检测识别系统，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序，当所述程序被所述处理器执行时，使得系统以执行第一方面任一项所述的方法。

该电子设备300包括：处理器302、通信接口303、存储器301。可选的，电子设备300还可以包括总线架构304。其中，通信接口303、处理器302以及存储器301可以通过总线架构304相互连接；总线架构304可以是外设部件互连标总线或扩展工业标准结构总线等。所述总线架构304可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器302可以是一个cpu，微处理器，asic，或一个或多个用于控制本申请方案程序执行的集成电路。通信接口303，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网，无线局域网，有线接入网等。存储器301可以是rom或可存储静态信息和指令的其他类型的静态存储设备，ram或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器、只读光盘或其他光盘存储、光碟存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线架构304与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器301用于存储执行本申请方案的计算机执行指令，并由处理器302来控制执行。处理器302用于执行存储器301中存储的计算机执行指令，从而实现本申请上述实施例提供的一种基于多尺度特征融合的信号灯检测识别方法。

可选的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

本申请实施例解决了无法通过多尺度特征融合对信号灯进行检测识别，模型检测精度低、检测速度慢的技术问题。达到了通过多尺度特征融合对信号灯进行检测识别，有效保证对信号灯检测识别的准确性、提高了检测速度的技术效果。

本领域普通技术人员可以理解：本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围，也不表示先后顺序。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“至少一个”是指一个或者多个。至少两个是指两个或者多个。“至少一个”、“任意一个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个、种)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质、光介质、或者半导体介质等。

本申请实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器，数字信号处理器，专用集成电路(asic)，现场可编程门阵列(fpga)或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置于终端中。可选地，处理器和存储媒介也可以设置于终端中的不同的部件中。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。

相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。