基于知识蒸馏训练与时空联合注意力的车牌检测方法

1.本发明属计算机视觉、图形处理技术领域，具体涉及一种基于知识蒸馏训练与时空联合注意力的车牌检测方法。


背景技术：

2.车牌是车辆的特殊身份标识，自动车牌检测是车辆交通统计分析的重要任务，也是车牌智能识别的前置任务。现有车牌检测方法通常针对静态或低速运动车辆，无法适应于交通违法跟踪、交通智能调度等复杂动态场景下的车牌检测任务。同时，受设备运算能力限制，高精度车牌检测算法无法满足实时性需求，轻量化车牌检测算法无法实现高精度检测，实时高效的动态场景车牌检测方法研究相对较少。现有车牌检测方法研究的流程大体如下：首先对车辆进行检测，在车辆检测的基础上对车牌进行检测。相关研究有：
3.laroca等人在文献“r.laroca,e.severo,l.a.zanlorensi,l.s.oliveira,g.gonc，alves,w.schwartz,and d.menotti,a robust real-time automatic license plate recognition based on the yolo detector,in proceedings of international joint conference on neural networks,pp.1-10,2018.”中提出使用实时目标检测模型fast-yolo首先对车辆进行检测获得车辆图块，再在车辆图块上使用fast-yolo对车牌进行检测，获得车牌的矩形包围框。
4.montazzolli与jung在文献“s.montazzolli and c.jung,real-time brazilian license plate detection and recognition using deep convolutional neural networks,in proceedings of sibgrapi conference on graphics,patterns and images,pp.55-62,2017.”中使用fast-yolo对汽车前视图进行处理，检测出车辆与车牌。
5.这些方法的问题在于：使用模型基本为yolo及其变种，为追求检测的实时性损失一定检测精度；且检测过程分为多个阶段，造成模型复杂度提升，前置任务严重影响后置任务效果。同时，这些研究都仅针对图像数据，并不考虑动态场景下的时空关联性，与实际情况不符，实用性较差。


技术实现要素：

6.为了克服现有技术对动态场景车牌检测的实时性与精度较差的不足，本发明提供一种基于知识蒸馏训练与时空联合注意力的车牌检测方法。首先，构建两个异构网络，并输入视频序列进行网络训练，其中，对学生网络进行知识蒸馏训练；然后，分别利用训练好的网络进行关键帧与非关键帧特征提取，并引入时序特征，与空间特征进行关联，获得时空关联特征，从而得到最终车牌检测结果。本发明针对运动场景，在检测任务中引入时空关联性，能够实现动态场景下的实时高效车牌检测。
7.一种基于知识蒸馏训练与时空联合注意力的车牌检测方法，其特征在于步骤如下：
8.步骤1：构建导师网络t与学生网络s，导师网络t采用resnet-50作为骨干网络，学
生网络s采用resnet-18为骨干网络；
9.步骤2：输入视频序列x＝{x1,x2,...,xn}，对所有视频帧xi进行归一化处理后分别输入导师网络t与学生网络s进行特征提取，导师网络获得特征f
t
，学生网络获得特征fs，i＝1,2
…
,n，n表示视频帧总数；
10.步骤3：利用导师网络特征f
t
进行车牌预测，计算类别预测损失与位置回归损失，通过最小化损失函数对导师网络参数进行更新，完成导师网络训练；
11.步骤4：固定训练好的导师网络，通过最小化学生网络特征fs与导师网络特征f
t
之间的距离更新学生网络参数，完成知识蒸馏训练；
12.步骤5：对输入视频序列进行关键帧与非关键帧划分，从起始视频帧开始每隔4帧选取一帧作为关键帧，其余为非关键帧；
13.步骤6：使用步骤3训练好的导师网络对关键帧图像进行特征提取，获得的特征记为记忆特征fm；
14.步骤7：使用步骤4训练好的学生网络对非关键帧进行特征提取，获得特征fs；
15.步骤8：构建fs与fm之间的时空关联注意力，包括为fs与fm添加时间维度，并沿时间维度对fs与fm进行拼接，获得拼接特征fc，对拼接特征fc的特征通道进行全局池化后再交换通道维度与时间维度，使用三维卷积对时空信息进行关联并使用sigmoid函数激活，获得时空注意力图m，按下式计算得到加权特征fw：
[0016][0017]
其中，为矩阵的hadamard积；
[0018]
对加权特征fw沿时间维度进行全局池化，获得同特征fs维度相同的特征fc′
，将特征fc′
与fs相加获得时空联合特征，使用卷积层从时空联合特征中回归出车牌在图像中的位置，完成车牌检测。
[0019]
本发明的有益效果是：由于采用知识蒸馏训练提升轻量化学生网络的特征提取能力，并在动态场景下引入时序关联，建立时空联合注意力机制，使用关键帧特征辅助非关键帧的检测任务，一方面保持了算法运行的效率，另一方面提升了轻量化学生网络的检测精度，能够实现动态场景下的实时高效车牌检测，车牌识别率高。
附图说明
[0020]
图1是本发明的基于知识蒸馏训练与时空联合注意力的车牌检测方法流程图。
具体实施方式
[0021]
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
[0022]
如图1所示，本发明提供了一种基于知识蒸馏训练与时空联合注意力的车牌检测方法，包括两大模块：知识蒸馏训练与时空联合注意力，具体实现过程如下：
[0023]
1.知识蒸馏训练
[0024]
步骤1：构建两个异构神经网络，网络规模大的神经网络称为导师网络t，网络规模小的神经网络称为学生网络s，导师网络t采用resnet-50作为骨干网络，学生网络s采用resnet-18为骨干网络。
incremental improvement,arxiv preprint,arxiv:abs/1804.02767,2018.”中有相应介绍；retinanet方法是文献“t.lin,p.goyal,r.girshick,k.he,and p.dollar,focal loss for dense object detection,in proceedings of ieee international conference on computer vision,pp.2999-3007,2017.”提出的；faster-rcnn方法是文献“s.ren,k.he,r.girshick,and j.sun,faster r-cnn:towards realtime object detection with region proposal networks,in proceedings of advances in neural information processing systems,pp.91-99,2015.”提出的。目标检测精度如表1所示，算法运行效率如表2所示。
[0041]
表1
[0042][0043]
表2
[0044][0045]
从表1可见，本发明方法的目标检测平均精度(94.98％)高于对比方法。本发明通过知识蒸馏训练能够提升非关键帧的检测精度与速度；同时，引入视频数据固有时序关联，通过时空联合注意力方法将关键帧获得的强表征信息传递给非关键帧，能够提升非关键帧的检测精度，进而提升方法总体目标检测精度。从表2可见，本发明方法的运行效率远高于对比方法，处理速度达到48.4fps，gflops为每秒10亿次的浮点运算数，本发明方法的浮点运算次数最少，为42.53gflops，计算开销最小，运行效率最高，满足动态常见下实时车牌检测的需求。通过以上仿真实验可以验证本发明方法的有效性。