一种基于多视角特征融合的渣土车带泥检测方法及装置与流程

本技术属于视觉处理，特别的涉及一种基于多视角特征融合的渣土车带泥检测方法及装置。

背景技术：

1、建筑工地中的渣土车在运输土石方等物料时，进出工地需要完成冲洗，并在冲洗完成后需要辅以是否带泥检测设备进行通行资格检验。

2、传统的检测方法往往只使用单视角图像进行分类，难以充分考虑物体的多维信息，因此分类性能有限，且无法保障结果的准确性。

技术实现思路

1、本技术为解决上述提到的传统的检测方法往往只使用单视角图像进行分类，难以充分考虑物体的多维信息，因此分类性能有限，且无法保障结果的准确性等技术缺陷，提出一种基于多视角特征融合的渣土车带泥检测方法及装置，其技术方案如下：

2、第一方面，本技术实施例提供了一种基于多视角特征融合的渣土车带泥检测方法，包括：

3、获取渣土车在至少两个视角下的目标图像，并将每个目标图像分别输入至卷积神经网络中，得到每个目标图像中的第一轮廓特征；

4、对初始融合特征编码以及所有第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个第一轮廓特征对应的视觉特征；

5、基于全连通层对目标融合特征编码以及所有视觉特征进行分类处理，并根据预设的权重对处理结果进行加权求和处理，得到目标预测值；

6、根据目标预测值判断渣土车的冲洗情况是否达标。

7、在第一方面的一种可选方案中，在对初始融合特征编码以及所有第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个第一轮廓特征对应的视觉特征之前，还包括：

8、对每个第一轮廓特征进行降维处理，得到第二轮廓特征；

9、对每个第二轮廓特征进行卷积计算，得到第三轮廓特征；

10、对第三轮廓特征进行图像编码处理，得到轮廓图像编码；

11、对初始融合特征编码以及所有第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个第一轮廓特征对应的视觉特征，包括：

12、对初始融合特征编码以及所有轮廓图像编码进行多角度融合编码处理，得到目标融合特征编码以及与每个第一轮廓特征对应的视觉特征。

13、在第一方面的又一种可选方案中，所有轮廓图像编码包括第一图像编码以及第二图像编码；

14、对初始融合特征编码以及所有轮廓图像编码进行多角度融合编码处理，得到目标融合特征编码以及与每个第一轮廓特征对应的视觉特征，包括：

15、对初始融合特征编码以及第一图像编码进行拼接处理，得到第一拼接特征；

16、对第一拼接特征进行多角度融合注意力计算，得到第一注意力特征；

17、对第一注意力特征以及第二图像编码进行拼接处理，得到第二拼接特征；

18、对第二拼接特征进行多角度融合注意力计算，得到第二注意力特征；

19、对第二注意力特征进行多层感知机计算，并根据计算结果确定出目标融合特征编码；其中，与第二图像编码对应的视觉特征与目标融合特征编码一致；

20、对第一注意力特征进行多层感知机计算，并根据计算结果确定出与第一图像编码对应的视觉特征。

21、在第一方面的又一种可选方案中，所有轮廓图像编码包括第一图像编码、第二图像编码以及第三图像编码；

22、对初始融合特征编码以及所有轮廓图像编码进行多角度融合编码处理，得到目标融合特征编码以及与每个第一轮廓特征对应的视觉特征，包括：

23、对初始融合特征编码以及第一图像编码进行拼接处理，得到第一拼接特征；

24、对第一拼接特征进行多角度融合注意力计算，得到第一注意力特征；

25、对第一注意力特征以及第二图像编码进行拼接处理，得到第二拼接特征；

26、对第二拼接特征进行多角度融合注意力计算，得到第二注意力特征；

27、对第二注意力特征以及第三图像编码进行拼接处理，得到第三拼接特征；

28、对第三拼接特征进行多角度融合注意力计算，得到第三注意力特征；

29、对第三注意力特征进行多层感知机计算，并根据计算结果确定出目标融合特征编码；其中，与第三图像编码对应的视觉特征与目标融合特征编码一致；

30、对第一注意力特征进行多层感知机计算，并根据计算结果确定出与第一图像编码对应的视觉特征；

31、对第二注意力特征进行多层感知机计算，并根据计算结果确定出与第二图像编码对应的视觉特征。

32、在第一方面的又一种可选方案中，在对初始融合特征编码以及第一图像编码进行拼接处理，得到第一拼接特征之前，还包括：

33、对初始融合特征编码进行线性变换处理，以使经过处理后的初始融合特征编码与第一图像编码的维度一致；

34、对初始融合特征编码以及第一图像编码进行拼接处理，得到第一拼接特征，包括：

35、对经过处理后的初始融合特征编码以及第一图像编码进行拼接处理，得到第一拼接特征。

36、在第一方面的又一种可选方案中，在对第一拼接特征进行多角度融合注意力计算，得到第一注意力特征之前，还包括：

37、对第一拼接特征进行正则化处理；

38、对第一拼接特征进行多角度融合注意力计算，得到第一注意力特征，包括：

39、对经过处理后的第一拼接特征进行多角度融合注意力计算，得到第一注意力特征。

40、在第一方面的又一种可选方案中，在对初始融合特征编码以及所有第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个第一轮廓特征对应的视觉特征之后，基于全连通层对目标融合特征编码以及所有视觉特征进行分类处理之前，还包括：

41、将初始融合特征编码替换为目标融合特征编码，以及将每个第一轮廓特征分别替换为各自对应的视觉特征；

42、对经过替换后的初始融合特征编码以及经过替换后的所有第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个第一轮廓特征对应的视觉特征。

43、第二方面，本技术实施例提供了一种基于多视角特征融合的渣土车带泥检测装置，包括：

44、第一处理模块，用于获取渣土车在至少两个视角下的目标图像，并将每个目标图像分别输入至卷积神经网络中，得到每个目标图像中的第一轮廓特征；

45、第二处理模块，用于对初始融合特征编码以及所有第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个第一轮廓特征对应的视觉特征；

46、第三处理模块，用于基于全连通层对目标融合特征编码以及所有视觉特征进行分类处理，并根据预设的权重对处理结果进行加权求和处理，得到目标预测值；

47、结果预测模块，用于根据目标预测值判断渣土车的冲洗情况是否达标。

48、第三方面，本技术实施例还提供了一种基于多视角特征融合的渣土车带泥检测装置，包括处理器以及存储器；

49、处理器与存储器连接；

50、存储器，用于存储可执行程序代码；

51、处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现本技术实施例第一方面或第一方面的任意一种实现方式提供的基于多视角特征融合的渣土车带泥检测方法。

52、第四方面，本技术实施例提供了一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，可实现本技术实施例第一方面或第一方面的任意一种实现方式提供的基于多视角特征融合的渣土车带泥检测方法。

53、在本技术实施例中，可在对渣土车进行带泥检测时，获取渣土车在至少两个视角下的目标图像，并将每个目标图像分别输入至卷积神经网络中，得到每个目标图像中的第一轮廓特征；对初始融合特征编码以及所有第一轮廓特征进行多角度融合编码处理，得到目标融合特征编码以及与每个第一轮廓特征对应的视觉特征；基于全连通层对目标融合特征编码以及所有视觉特征进行分类处理，并根据预设的权重对处理结果进行加权求和处理，得到目标预测值；根据目标预测值判断渣土车的冲洗情况是否达标。通过对多个视角的目标图像进行识别，可提取出更加丰富的视角特征；并结合多角度融合编码处理的方式，捕捉跨视角融合的特征，不仅更好的改善分类性能，且提高了预测结果的准确性。