一种弱光条件下的高速车辆跟踪测速方法

本发明涉及图像处理，特别是涉及一种弱光条件下的高速车辆跟踪测速方法。

背景技术：

1、早期，车辆跟踪的方法主要基于视频的运动目标检测，如光流法、背景差分法、帧间差分法等，其中光流法通过利用图像像素在时间上的变化与每帧图像间的相关程度获取目标状态，该方法适用于移动摄像机，但计算复杂；背景差分法通过建模的方法将目标与背景分离，如vibe检测算法，可通过较小的内存达到较好的检测效果；帧间差分法通过比较每帧图像之间的背景已获得目标区域，计算简单且实时性较高。这些传统算法虽然可以对车辆进行检测，但检测精度与实时性都较差，无法适应当今的要求。

2、目前，随着深度学习的兴起，在目标跟踪方面也有了显著提高，其中根据算法流程可分为one-stage与two-stage两种。其中，two-stage的代表作如r-cnn系列，首先生成了一些列的检测框作为候选样本，再对其进行进一步的分类处理，相较传统检测方法在检测精度上有了大幅的提高，但在实时性上效果不佳；one-stage的代表作如yolo系列并不会生成候选框，而是直接生成bounding box检测框并进行调整，虽然牺牲了一部分检测精度，但在实时性上有了较为显著的提升。在光线充足的情况下，高速公路上的检测系统可以有效地跟踪车辆并测量速度，但在弱光条件下(如夜间的高速公路)往往难以达到相同的检测效果，同时如果天气情况较为恶劣时，图像的质量也会受到干扰，进一步影响检测结果。

技术实现思路

1、本发明的目的是为解决上述现有技术的不足之处而提供一种弱光条件下的高速车辆跟踪测速方法。

2、本发明所采用的技术方案是：一种弱光条件下的高速车辆跟踪测速方法，通过夜间交通检测ntd网络对车辆进行跟踪测速，所述夜间交通检测ntd网络包括基于mbllen的注意力特征fba模块、特征增强fe模块、预测输出fo模块，当弱光条件下拍摄的高速车辆的图像或视频输入到夜间交通检测ntd网络时，首先输入到基于mbllen的注意力特征fba模块，所述基于mbllen的注意力特征fba模块提取弱光条件下的图像特征并输入到特征增强fe模块，所述特征增强fe模块进行特征增强提取获得增强后的图像特征，增强后的图像特征输入到所述预测输出fo模块，所述预测输出fo模块生成车辆检测框并通过检测框的变化实时测量夜间车辆的行驶速度。

3、所述基于mbllen的注意力特征fba模块包括成串联关系的卷积模块、多注意力机制模块ma、第一高效层聚合网络模块elan、第一最大池化模块mp、第二高效层聚合网络模块elan、第二最大池化模块mp、第三高效层聚合网络模块elan、第三最大池化模块mp、第四高效层聚合网络模块elan，fba模块的四个高效层聚合网络模块elan的结构相同，fba模块的三个最大池化模块mp的结构相同，fba模块的第二高效层聚合网络模块elan、第三高效层聚合网络模块elan、第四高效层聚合网络模块elan分别引出一个输出作为mbllen的注意力特征fba模块的第一输出、第二输出、第三输出。

4、所述特征增强fe模块包括闭环连接的残差空间池化金字塔模块sppr、第一卷积模块、第一上采样模块us、第一高效层聚合网络模块elan、第二卷积模块、第二上采样模块us、第二高效层聚合网络模块elan、第一最大池化模块mp、第三高效层聚合网络模块elan、第二最大池化模块mp，mbllen的注意力特征fba模块的第一输出输入到增强fe模块的残差空间池化金字塔模块sppr，mbllen的注意力特征fba模块的第二输出与增强fe模块的第一上采样模块us的输出拼接后输入到特征增强fe模块的第一高效层聚合网络模块elan，mbllen的注意力特征fba模块的第三输出与增强fe模块的第二上采样模块us的输出拼接后输入到特征增强fe模块的第二高效层聚合网络模块elan，特征增强fe模块的第二高效层聚合网络模块elan的输出分为两个支路，一个支路输出作为增强fe模块的第一输出，另一个支路输入到特征增强fe模块的第一最大池化模块mp，特征增强fe模块的第一高效层聚合网络模块elan的输出分为两个支路，一个支路输出到特征增强fe模块的第二卷积模块，另一个支路输出与特征增强fe模块的第一最大池化模块mp的输出拼接后输入到特征增强fe模块的第三高效层聚合网络模块elan，特征增强fe模块的第三高效层聚合网络模块elan的输出分为两个支路，一个支路输出作为增强fe模块的第二输出，另一个支路输入到特征增强fe模块的第二最大池化模块mp，特征增强fe模块的第二最大池化模块mp和残差空间池化金字塔模块sppr输出拼接后作为增强fe模块的第三输出。

5、预测输出fo模块包括三个并列的子分支，每个子分支由一个卷积模块与一个rc模块串联构成，特征增强fe模块的三个输出分别输入到一个卷积模块中，每个rc模块的输出拼接后形成预测输出fo模块的输出。

6、所述夜间交通检测ntd网络中的每个卷积模块结构都相同，包括成串联关系的一个卷积层conv、一个归一化层bn和一个激活层mish，用以实现网络的卷积操作；所述夜间交通检测ntd网络中的多注意力机制模块ma为fba模块的核心，一方面通过卷积模块提取特征图的特征，并使用多个子网络针对弱光条件下的图片特征进行增强，另一方面使用了注意力机制，提升了网络的特征提取能力，当特征图输入到多注意力机制模块ma时，首先经过一个卷积模块，此时该卷积模块的输出记为ma1-1，其次将ma1-1输入到一个自注意力se(self-attention)模块，该se模块由一层全局池化层、一层全连接层、一层mish激活层串联构成，再将se模块的输出与原ma1-1在channel(通道)上进行拼接，此时该拼接结果记为ma1-2，最后再将ma1-1输入到一个上采样层upsample，该上采样层upsample的输出记为ma1-3，此时将ma1-2作为输入的特征图输入到下一个卷积模块，并重复上述操作，得到输出ma2-2与输出ma2-3，再将ma2-2作为输入的特征图输入到下一个卷积模块，并重复上述操作，得到输出ma3-2与输出ma3-3，再将ma3-2作为输入的特征图输入到下一个卷积模块，并重复上述操作，得到输出ma4-2与输出ma4-3，此时将ma4-2作为输入的特征图输入到一个卷积模块，该卷积模块的输出记为ma5-1，最后将ma5-1与ma1-3、ma2-3、ma3-3、ma4-3在channel上进行拼接，该拼接的结果即为多注意力机制模块ma的输出；所述夜间交通检测ntd网络中的每个高效层聚合网络模块elan结构都相同，高效层聚合网络模块elan使用残差连接的思想，由四个卷积模块并行拼接构成，用以防止过拟合，当特征图输入到elan模块时同时经过两条分支，其中一条分支上有三个串联的卷积模块，另一条分支上有一个卷积模块，最后将这两条分支的输出进行拼接，作为整个elan模块的输出，高效层聚合网络模块elan的输出分为两个支路；所述夜间交通检测ntd网络中的每个最大池化模块mp结构相同，最大池化模块mp由三个卷积模块与一个最大池化层maxpool并行拼接构成，用以减少网络的参数数量，提高网络运行速度，当特征图输入到最大池化模块mp时同时经过两个子分支，其中一个子分支上有两个串联的卷积模块，另一个子分支上有一个卷积模块与一层最大池化层maxpool，最后将这两个分支的输出进行拼接，作为整个最大池化模块mp的输出；夜间交通检测ntd网络中的每个上采样模块us结构相同，都为一个最大上采样层，通过该模块的特征图通道数不变，宽高为原来的两倍；夜间交通检测ntd网络中的残差空间池化金字塔模块sppr由多个卷积模块与最大池化模块mp并行拼接构成，该模块借鉴spp结构与残差网络的思想，一方面解决了图像缩放导致的网络失真问题，同时也解决了对网络特征重复提取的问题，提高了网络的速度与精度，另一方面也解决了由于网络层数过深而产生的过拟合问题，当特征图输入到sppr模块时，要经过两个并行的分支结构，在第一个分支中，输入的特征图经过一个卷积模块，在第二个分支中，输入的特征图首先经过三个串联的卷积模块，其次，在第三个卷积模块的输出再引出三个并行的子分支，其中每个子分支的输出再经过一个最大池化模块mp，三个最大池化模块mp的输出在channel上拼接后经过两个串联的卷积模块后的输出与第一个分支的输出在channel上进行拼接，该拼接的输出结果为sppr模块的输出；夜间交通检测ntd网络中的每个rc模块结构相同，rc模块分为两种状态，在训练状态时包括成串联关系的一个卷积层conv、一个归一化层bn和一个激活层mish，在预测状态时，一个卷积层conv与一个归一化层bn共同接收输入，它们的输出拼接融合后再输出到激活层mish，在不损失网络效果的前提下加快了网络的运行速度。

7、本发明的有益效果是：本发明将车辆跟踪测速与深度学习相结合，通过我们提出的夜间交通检测ntd网络对车辆进行跟踪测速，能在弱光条件下有效识跟踪车辆，同时实时记录车辆行驶速度。