渣土车封盖检测模型、训练方法、系统、设备及介质与流程

本发明涉及深度学习领域，尤其是渣土车封盖检测模型、训练方法、系统、设备及介质。

背景技术：

1、近年，城市飞速发展，经济环境的日渐提高，各类建筑工程项目建设如火如荼，渣土车、料石车、混泥土搅拌车等工程车辆日渐增多。各个城市对市容市貌有了更高要求，大部分城市已经禁止渣土车进入，尤其是车斗装有渣土且未用毡盖进行覆盖的渣土车。

2、然而，在城市道路中经常发现某些渣土车在辖区内不按规定装载、未封盖导致滴漏飘洒运载物等违章日趋严重。

3、渣土车的种种违规行为不管是从环境卫生的角度来看，还是道路运输安全的角度来看，其带来的负面影响都是极大的。如何进一步提高渣土车管理水平，从源头上抑制其违规行为，努力营造“安全、整洁、卫生、规范”的城市环境，是摆在管理部门面前重要的研究课题。

4、现在依靠传统的路面巡逻、蹲点、值守、突击，难免会出现人力不足、监管漏洞、夜间无法监测等问题，基于以上痛点提出最新渣土运输行为识别借助科技手段弥补了这些问题。

5、渣土车未封盖危险行为检测系统通过整合城市管理、住建、交通运输等相关职能部门的信息化资源，建立一套对建筑工地、建筑园区、施工单位、渣土运输企业、运输车辆、等涉及的企业及车辆进行统一进行监管的综合性管理平台。

6、对于渣土车未封盖危险行为识别，现有的深度学习算法直接通过检测渣土车的方法来判断渣土车后车厢是否封盖不够准确，受车身其他区域的干扰影响较大。

技术实现思路

1、本发明旨在克服上述现有技术的至少一种缺陷，提供渣土车封盖检测模型、训练方法、系统、设备及介质，本发明的渣土车封盖检测模型在检测到渣土车的同时，可以有效地提取到车厢区域位置，减少其他区域对车厢是否封盖的判断干扰，进而检测渣土车封盖情况。

2、第一方面，本发明提供一种渣土车封盖检测模型，包括主干网络、颈部网络和检测头，其特征在于，所述主干网络包括依次正向传播的使用h-swish激活函数的stem卷积网络、若干深度分离卷积网络、sppf网络和transformer网络；

3、所述颈部网络包括依次正向传播的conv网络、上采样网络、concat网络、若干c3模块、conv网络、上采样网络、concat网络、若干c3模块、conv网络、concat网络、若干c3模块、conv网络、concat网络、若干c3模块，所述concat网络分别与主干网络的深度分离卷积网络以及所述conv网络单独连接进行特征拼接；

4、所述检测头包括若干接收颈部网络不同层次特征的输出模块。

5、进一步，所述输出模块包括检测框回归模块、分类模块和关键点定位模块，所述关键点定位模块用于对车厢位置进行定位。

6、进一步，所述检测头的损失函数loss＝λ1loss_cls+λ2loss_box+λ3loss_keypoint，其中loss_cls表示分类模块的损失函数，loss_box表示检测框回归模块的损失函数，loss_keypoint表示关键点定位模块的损失函数，λ1、λ2、λ3分别表示loss_cls、loss_box和loss_keypoint的权重，根据训练中渣土车封盖检测模型的计算复杂性、准确性和鲁棒性进行动态调节。

7、进一步，所述动态调节为：

8、其中λk表示λ1、λ2、λ3的集合，k取1-3任一，分别表示loss_cls、loss_box和loss_keypoint的任务标号，ωk(t-1)表示第k个任务在t-1时刻的loss与t-2时刻的loss比值，用来表示该任务损失函数下降速率的快慢，当一个任务的loss下降越快，对应的权重越小。

9、进一步，对定位的车厢位置对应的车厢进行仿射变换，再经过一个分类网络判定是否封盖。

10、进一步，所述loss_keypoint表示为：

11、

12、正数ω将非线性部分的范围限制在[-ω，ω]，∈约束非线性区域的曲率，并且c＝ω-ωln(1+x/∈)是一个常数，连接分段的线性和非线性部分，x为输入关键点定位模块的特征。

13、swish激活函数已经被证明是一种比relu更佳的激活函数，但是相比relu，它的计算更复杂，因为有sigmoid函数。为了能够在移动设备上应用swish并降低它的计算开销，提出了h-swish。该函数具有无上界、有下界、平滑、非单调的特点，在深层模型上优于relu。但是，由于sigmoid函数计算复杂(sigmoid(x)＝(1+exp(-x))^(-1))，所以mobilenetv3改用近似函数来逼近swish，这使其变得更硬(hard)。选择relu6作为这个近似函数，有两个原因：1、在几乎所有的软件和硬件框架上都可以使用relu6的优化实现；2、relu6能在特定模式下消除由于近似sigmoid的不同实现而带来的潜在的数值精度损失。

14、在新版yolov5中,作者将bottleneckcsp(瓶颈层)模块转变为了c3模块，其结构作用基本相同均为csp架构，只是在修正单元的选择上有所不同，其包含了3个标准卷积层以及多个bottleneck模块(数量由配置文件.yaml的n和depth_multiple参数乘积决定)。c3相对于bottleneckcsp模块不同的是，经历过残差输出后的conv模块被去掉了，concat后的标准卷积模块中的激活函数也由leakyrelu变为了silu(同上)。该模块是对残差特征进行学习的主要模块,其结构分为两支,一支使用了上述指定多个bottleneck堆叠和3个标准卷积层，另一支仅经过一个基本卷积模块，最后将两支进行concat操作。

15、transformer是一种基于seq2seq结构的序列生成神经网络。transformer的基础单元是attention神经元，其取代的是rnn和cnn。对比rnn，attention的优点为，训练过程是并行计算，不像rnn只能串行计算，所以其更加适合在大规模的分布式集群中训练；还有一些文章中指出，其特征抽取能力要强于rnn。其缺点为，时效性会比rnn差。对比cnn，attention的优点为可以看到可以看到全局的数据，不像cnn只能通过卷积核一层一层的缩小感受野来获取全局变量。

16、stem卷积网络包括卷积–池化–卷积–卷积–池化，多个inception结构堆叠，其除了最后的类别输出层没有额外的全连接层，辅助分类器，用于解决由于模型深度过深导致的梯度消失的问题。

17、深度可分离卷积(depthwise separable convolution，dsc)最早出现在一篇名为“rigid-motion scattering for image classification”的博士学位论文中。但让大家对dsc熟知的则是两个著名的模型，xception[1]和mobilenet[2]。xception和mobilenet是同一时期出自google团队的两个重要成果。dsc由depthwise convolution和pointwiseconvolution两部分构成。depthwise convolution的计算非常简单，它对输入feature map的每个通道分别使用一个卷积核，然后将所有卷积核的输出再进行拼接得到它的最终输出。因为卷积操作的输出通道数等于卷积核的数量，而depthwise convolution中对每个通道只使用一个卷积核，所以单个通道在卷积操作之后的输出通道数也为1。那么如果输入feature map的通道数为n，对n个通道分别单独使用一个卷积核之后便得到n个通道为1的feature map。再将这n个feature map按顺序拼接便得到一个通道为n的输出feature map。由depthwise convolution的工作机理可知，dc1_i只与in_i有关，dc2_i只与dc1_i有关，进而dc2_i也只与in_i有关。简单来说，输入、输出各不同通道间没有任何计算将它们联系起来。而1×1卷积本身就具有通道融合的能力，因此在depthwise convolution之后接pointwise convolution能够有效解决上述问题。

18、本发明在主干网络中增加了一个transformer结构，用于提取到更强的特征，可以捕获全局信息和丰富的上下文信息。

19、本发明在原有的检测头下，增加一个车厢关键点定位分支，有利于后续判断渣土车的是否封盖。

20、本发明的loss_keypoint损失函数，用于车厢关键点的定位上，可以有效的提高深度网络训练过程中应对小范围和中等范围内的误差的能力，解决训练数据平衡性问题，更好的回归出关键点的位置。

21、第二方面，基于同样的发明构思，本发明还提供一种渣土车封盖检测模型训练方法，包括：

22、获取实时视频流；

23、对实时视频流进行抽帧处理获取若干样本图像；

24、对样本图像的封盖与否以及车厢的关键点进行标注获取训练样本集；

25、使用训练样本集对渣土车封盖检测模型进行训练。

26、基于同样的发明构思，本发明还提供一种渣土车封盖检测系统，包括：

27、视频流获取模块，用于获取视频流；

28、渣土车封盖检测模型，用于对视频流中的渣土车及其封盖情况进行检测；

29、预警模块，用于对渣土车封盖检测结果进行异常预警。

30、第三方面，基于同样的发明构思，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的渣土车封盖检测模型。

31、第四方面，基于同样的发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的渣土车封盖检测模型。

32、与现有技术相比，本发明的有益效果为：

33、(1)本发明渣土车封盖检测模型的网络结构具有更优的延迟-精度均衡。

34、(2)可以提取到更强的特征，可以捕获全局信息和丰富的上下文信息。

35、(3)可以有效的提高深度网络训练过程中应对小范围和中等范围内的误差的能力，解决训练数据平衡性问题，更好的回归出关键点的位置。

36、(4)减少了非后车厢区域对分类模型的影响。