一种基于多传感融合的非接触式货车严重超载检测方法与流程

本发明属于货车超载检测，具体为一种基于多传感融合的非接触式货车严重超载检测方法。

背景技术：

1、近年来，高速公路依靠其自身的特点和优势，总行驶里程数持续增长，公路运输在所有的交通运输方式中也占有举足轻重的地位。然而在公路运输中，货车超载现象屡禁不止，危害巨大。目前货车超载检测大部分仍停留在人工检测的手段，步骤繁琐也消耗人力资源，少部分实现动态称重的方法，但成本较大且需要对路面进行重新铺设，可维修性不强，因此需要一种无接触式且具备较高检测精度的货车严重超载检测方法。

技术实现思路

1、为了解决现有方案中的技术缺陷，本发明提出了一种基于多传感融合的非接触式货车严重超载检测方法。

2、实现本发明目的的技术方案为：一种基于多传感融合的非接触式货车严重超载检测方法，具体步骤为：

3、步骤1、路侧摄像头采集道路行驶车辆图像，进行货车检测与轴型识别，并在检测到对应轴型货车后，触发红外与声音传感器进行数据采集；

4、步骤2、接收到触发信号后，红外热像仪采集货车红外热像图，声音传感器录制货车行驶的音频数据；

5、步骤3、对红外热像图进行预处理，基于目标检测框裁剪出货车目标红外热像图；

6、步骤4、对音频数据进行处理，提取相关特征，构建声音特征图；

7、步骤5、将红外热像图与声音特征图作为输入，建立基于dcnn的多模态数据融合网络，实现货车超载检测。

8、优选地，步骤1中采用基于sa注意力机制的yolov5模型进行货车检测与车型识别。sa注意力机制采用置换单元高效融合空间注意力与通道注意力，获得更好的目标检测性能，提高货车车型识别精确度。

9、优选地，步骤3中红外热像图预处理包括降噪与边缘锐化，并基于目标检测框裁剪出货车目标红外热像图以去除背景其他目标的干扰。

10、优选地，步骤4中音频数据预处理包括预加重、分帧和加窗，并选择梅尔功率图作为声音特征图。

11、优选地，步骤5中所述基于dcnn的多模态数据融合网络包括特征提取网络结构、特征融合网络结构与输出层；其中：

12、所述特征提取网络结构的输入信号为度归一化处理后的货车目标红外热像图、声音特征图；

13、深度卷积网络包括卷积层、批量归一化层与激活函数层，通过卷积操作提取局部空间信息，并通过批量归一化层规范化特征值分布，最后通过激活函数引入非线性变换能力，从而实现对输入特征的转换和提取。最终将这两种输入图像同时提取为52*52、26*26、13*13三种尺寸的特征图；

14、所述特征融合网络结构采用fpn(feature pyramid network)特征金字塔结构，通过上采样和下采样操作将不同层次的特征图融合在一起，生成多尺度的特征金字塔。自顶向下部分主要是通过上采样和与更粗粒度的特征图融合来实现不同层次特征的融合，而自下向上则是通过使用一个卷积层来融合来自不同层次的特征图。

15、所述输出层通过卷积操作将特征图转换为输出通道数为2的特征张量。接着通过全局平均池化层将输出特征张量转换为一个1×1×2的张量，并使用softmax函数将两个通道数据转换为所属类别的概率，即转化为“正常”、“超载”两种货车类型的分类概率，通过比较两概率大小即可确定该货车是否处于超载状态。

16、优选地，步骤5中在图像特征提取前，由于热像图为尺度384*180，但梅尔功率图大小为500*374，先将图像统一放缩至300*150。

17、优选地，步骤5中需要对模型的两个输入进行归一化操作，以避免由于两种图像信号的数值范围不同，可能造成的融合时特征权重配比的紊乱。归一化公式如下：

18、

19、式中，ti,j为热像图中坐标(i，j)对应的像素值，si,j为梅尔功率图中坐标(i，j)对应的像素值，(m，n)为图像大小，smax、tmax分别为热像图与梅尔功率图中最大像素值。

20、本发明与现有技术相比，其显著优点为：

21、1、本发明通过多传感器数据融合，可实现非接触式货车严重超载研判，有效降低超载治理成本，保障公路货物运输安全；

22、2、本发明充分融合视觉、红外与声音传感器数据，相较于传统单一的超载货车检测技术准确性更高，且后续可融合其他传感器提升检测精度，包容性强，具备较好的应用前景。

技术特征：

1.一种基于多传感融合的非接触式货车严重超载检测方法，其特征在于，具体步骤为：

2.根据权利要求1所述的基于多传感融合的非接触式货车严重超载检测方法，其特征在于，步骤1中采用基于sa注意力机制的yolov5模型进行货车检测与车型识别。

3.根据权利要求1所述的基于多传感融合的非接触式货车严重超载检测方法，其特征在于，步骤3中所述红外热像图预处理包括降噪与边缘锐化，并基于目标检测框裁剪出货车目标红外热像图。

4.根据权利要求1所述的基于多传感融合的非接触式货车严重超载检测方法，其特征在于，步骤4中所述音频数据预处理包括预加重、分帧和加窗，并选择梅尔功率图作为声音特征图。

5.根据权利要求1所述的基于多传感融合的非接触式货车严重超载检测方法，其特征在于，采用图像缩放算法将货车目标红外热像图、声音特征图大小统一放缩至设定大小。

6.根据权利要求1所述的基于多传感融合的非接触式货车严重超载检测方法，其特征在于，对货车目标红外热像图、声音特征图进行归一化处理，具体公式如下：

7.根据权利要求1所述的基于多传感融合的非接触式货车严重超载检测方法，其特征在于，步骤5中所述基于dcnn的多模态数据融合网络包括特征提取网络结构、特征融合网络结构与输出层，其中：

技术总结
本发明公开了一种基于多传感融合的非接触式货车严重超载检测方法，具体为基于安装在路侧的摄像头进行货车检测与货车车型识别；在摄像头检测到货车后，使用同样安装在路侧的红外与声音传感器分别采集红外热像图与音频数据；对红外热像图进行预处理，基于目标检测框裁剪出货车目标红外热像图；基于音频数据提取相关特征，构建声音特征图；将红外热像图与声音特征图作为输入，建立基于DCNN的多模态数据融合网络，实现货车超载检测。本发明通过多传感器数据融合，可实现非接触式货车严重超载研判，有效降低超载治理成本，保障公路货物运输安全。

技术研发人员：孔超群,郭唐仪,汤贤康,郭勇
受保护的技术使用者：苏州途远交通科技有限公司
技术研发日：
技术公布日：2024/3/4