一种缝隙检测方法、系统和存储介质

本发明涉及混凝土裂缝监测和计算机，尤其是一种缝隙检测方法、系统和存储介质。

背景技术：

1、混凝土是桥梁、隧道、大坝和其他基础设施中最常见的材料之一。由于温度、过载、腐蚀和定期维护不足的影响，存在各种类型的缺陷，并可能造成基础设施系统功能丧失和安全受损。混凝土结构例如道路的定期检修对保证结构安全十分重要。

2、随着计算机技术的发展，各种机器学习方法促进了远程、非接触的混凝土结构检测的发展。目前，常用的yolov7模型在道路检测上经常被用到，是当前效果较为稳定、优异的模型。

3、但是，yolov7模型并不是专为裂缝检测所构建的模型结构，其在裂缝检测上的性能需要进一步提高。尤其，yolov7模型等机器学习模型输出的结果为输入图像上的裂缝定位和类别，输出结果难以直观的让用户对裂缝形成形象的认知。为了克服该问题，目前常常将裂缝检测模型与用于实例分割的分割头一起使用，分割头可结合裂缝检测结果从原始图像上分割裂缝图像，并对裂缝的尺寸和走向进行标注，便于用户对裂缝产生形象认知。

4、而目前裂缝检测中忽视了机器学习模型对实例分割的影响，造成计算实现的实例分割并不理想。并且在检测过程中还需要专人对裂缝检测结果进行理解，造成裂缝检测工作专业度高、效率低。

技术实现思路

1、为了克服上述现有技术道路裂缝检测专业度高、效率低的缺陷，本发明提出了一种缝隙检测方法，可实现远程高精度监测道路缝隙，并实现精确的实例分割，便于用户形象了解裂缝情况。

2、本发明提出的一种缝隙检测方法，通过机器学习的目标检测模型对混凝土图像进行识别，以获取裂缝信息，裂缝信息包括裂缝类别；目标检测模型的获取包括以下步骤：首先获取基础模型和学习样本，学习样本为标注有裂缝类别的混凝土损伤图像；然后令基础模型对学习样本进行机器学习，获取收敛后的基础模型作为目标检测模型；

3、基础模型对传统的yolov7模型进行结构优化后获得，优化方式为：将传统的yolov7模型中的第一concat拼接网络替换为第一multicat拼接网络，将第二concat拼接网络替换为第二multicat拼接网络；第一multicat拼接网络和第二multicat拼接网络结构相同，统称为multicat网络；

4、multicat网络包括平均池化层、最大池化层和第七concat拼接网络；multicat网络设有第一输入端、第二输入端和第三输入端；平均池化层和最大池化层均连接multicat网络的第一输入端，multicat网络的第一输入端的输入数据经过平均池化和最大池化后再进行维度叠加，叠加后的数据与multicat网络的第二输入端的输入数据以及multicat网络的第三输入端输送到第七concat拼接网络进行维度采样，第七concat拼接网络的输出作为multicat网络的输出；

5、第一multicat网络的第一输入端的输入为基础模型中任一层网络的输出，第一multicat网络的第二输入端连接第三cbs-3网络的输出端，第一multicat网络的第三输入端连接第一upsample网络的输出端；第一multicat网络的输出端连接第一elan-w网络的输入端；

6、第二multicat网络的第一输入端的输入为基础模型中任一层网络的输出，第二multicat网络的第二输入端连接第四cbs-3网络的输出端，第二multicat网络的第三输入端连接第二upsample网络的输出端；第二multicat网络的输出端连接第二elan-w网络的输入端。

7、优选的，第一multicat网络的第一输入端的输入为第二elan网络的输出端。

8、优选的，第二multicat网络的第一输入端的输入为第一elan网络的输出。

9、优选的，相对于传统的yolov7模型，基础模型还包括第十五conv卷积网络、第八concat拼接网络、第十六conv卷积网络、第九concat拼接网络、第十七conv卷积网络和第十concat拼接网络；

10、第十五conv卷积网络的输入连接第二elan网络的输出，第十五conv卷积网络的输出连接第八concat拼接网络的输入，第八concat拼接网络的输入还连接第二elan-w网络的输出；第一输出网络中rep网络的输入端分别连接第八concat拼接网络的输出和第二elan-w网络的输出；

11、第十六conv卷积网络的输入连接第三elan网络的输出，第十六conv卷积网络的输出连接第九concat拼接网络的输入，第九concat拼接网络的输入还连接第三elan-w网络的输出；第二输出网络中rep网络的输入端分别连接第九concat拼接网络的输出和第三elan-w网络的输出；

12、第十七conv卷积网络的输入连接第四elan网络的输出，第十七conv卷积网络的输出连接第十concat拼接网络的输入，第十concat拼接网络的输入还连接第四elan-w网络的输出；第三输出网络中rep网络的输入端分别连接第十concat拼接网络的输出和第四elan-w网络的输出。

13、优选的，相对于传统的yolov7模型，

14、对传统的yolov7模型进行结构优化获取基础模型的方式还包括：将传统的yolov7模型中的第一elan网络、第二elan网络、第三elan网络和第四elan网络均替换为mycontact-4网络，将第一elan-w网络、第二elan-w网络、第三elan-w网络和第四elan-w网络均替换为mycontact-6网络；

15、mycontact-4网络包括第一conv卷积网络、第二conv卷积网络、第三conv卷积网络、第四conv卷积网络、第五conv卷积网络、第六conv卷积网络、第五concat拼接网络和第七conv卷积网络；第二conv卷积网络、第三conv卷积网络、第四conv卷积网络、第五conv卷积网络和第六conv卷积网络顺序连接，第二conv卷积网络的输入端连接第一conv卷积网络的输入端；第一conv卷积网络的输出端、第二conv卷积网络的输出端、第四conv卷积网络的输出端和第六conv卷积网络的输出端均连接第五concat拼接网络的输入端，第五concat拼接网络的输出端连接第七conv卷积网络的输入端；第一conv卷积网络的输入端作为mycontact-4网络的输入端，第七conv卷积网络的输出端作为mycontact-4网络的输出端；

16、mycontact-6网络包括第八conv卷积网络、第九conv卷积网络、第十conv卷积网络、第十一conv卷积网络、第十二conv卷积网络、第十三conv卷积网络、第六concat拼接网络和第十四conv卷积网络；第九conv卷积网络、第十conv卷积网络、第十一conv卷积网络、第十二conv卷积网络和第十三conv卷积网络顺序连接，第九conv卷积网络的输入端连接第八conv卷积网络的输入端；第八conv卷积网络的输出端、第九conv卷积网络的输出端、第十conv卷积网络的输出端、第十一conv卷积网络的输出端、第十二conv卷积网络的输出端和第十三conv卷积网络的输出端均连接第六concat拼接网络的输入端，第六concat拼接网络的输出端连接第十四conv卷积网络的输入端；第八conv卷积网络的输入端作为mycontact-6网络的输入端，第十四conv卷积网络的输出端作为mycontact-6网络的输出端。

17、优选的，还包括：将混凝土图像输入目标检测模型后，将目标检测模型的检测结果和目标检测模型的输入传输到设定的分割头中，分割头对混凝土图像中的裂缝进行实例分割。

18、本发明提出的一种缝隙检测系统，包括图像获取模块、目标检测模型、分割头和裂缝展示模块；

19、图像获取模块用于获取待识别的混凝土图像；目标检测模型用于识别混凝土图像上的裂缝，分割头用于对混凝土图像中的裂缝进行实例分割，分割头将分割出的裂缝发送到裂缝展示模块进行显示。

20、本发明提出的一种缝隙检测系统，包括存储器和处理器，存储器中存储有计算机程序，处理器连接存储器用于执行所述计算机程序，以实现所述的缝隙检测方法。

21、本发明提出的一种存储介质，存储有计算机程序，计算机程序被执行时用于实现所述的缝隙检测方法。

22、本发明的优点在于：

23、（1）本发明提出的缝隙检测方法，在yolov7基础上针对混凝土裂缝检测进行结构优化，本发明最终获得的目标检测模型，不仅在目标检测上实现了性能提升，还更加适应混凝土裂缝检测的实例分割，有利于提高裂缝分割的精度，便于用户直观认知裂缝，避免了用户解读目标检测数据的专业性限制。

24、（2）本发明中，采用multicat网络将模型中来自更早的信息进行融合，这部分信息在进入multicat网络后，会同时进行平均池化和最大池化，再对两部分内容进行相加。通过平均池化，可以计算区域内像素值的平均值，提取整体分布特征。而最大池化则选取区域内最显著的特征，对于边缘、纹理等局部特征有较好的响应。池化操作通过将输入特征图划分为不重叠的区域，并对每个区域进行汇聚（取平均或取最大值）来减小空间尺寸。池化操作可降低空间维度，这有助于减少计算量和参数数量，并使网络对平移和空间变化更加鲁棒。通过multicat网络进行多尺度融合，可以获得更全面、更丰富的特征表达，提高模型对目标物体的表示能力。此外，还可以扩大模型的感受野，使其能够捕捉到更广阔的场景信息。

25、（3）采用multicat网络可引入不同尺度的特征，使得模型可以更好地理解整个场景的上下文和全局信息，从而提高对复杂场景和大尺度目标的识别和理解能力。并且，图像中的物体可能存在尺度变化，这给目标检测、跟踪和分割等任务带来挑战。通过多尺度融合，可以使模型对尺度变化具有一定的鲁棒性。不同尺度的特征可以互补地提供关于目标物体的信息，从而增强模型对尺度变化的适应能力。

26、（4）本发明中通过增加的conv卷积网络和cancat拼接网络，将模型靠前的浅层特征和靠后的深层特征进行融合；由于yolo中特征图从浅层到深层逐渐减小，每个层次的特征都包含不同级别的语义信息，通过融合这些不同层次的特征，网络可以同时捕捉低级和高级的语义信息，提高对目标的理解能力。

27、（5）本发明在传统的yolov7基础上增加特征融合，使模型从不同卷积层中获取更丰富的语义信息，有助于提升模型对目标形状、纹理等更细节的理解，从而提高检测器的精确度。

28、（6）本发明优化过程中，针对每一个输出网络，在其前端设置由conv卷积网络和cancat拼接网络构成的加权特征融合模块，通过加权特征融合能够减轻特定层次特征的过度依赖，从而使得网络对于噪声、遮挡和不同环境条件下的目标检测鲁棒性更好。

29、（7）本发明中，通过mycontact-4网络和mycontact-6网络的设置，实现了对特征图的加权，能够提取到更有用的特征信息。本发明中，mycontact-4网络和mycontact-6网络配合，将图像的浅层特征和深层特征进行融合。浅层网络即mycontact-4网络提取的特征与输入更接近，感受野较小，重叠区域也较小，因此可以捕获更多细节和像素级信息。而深层网络即mycontact-6网络提取的特征与输出更接近，感受野增大，重叠区域增多，从而获取图像的整体性信息。通过融合这两部分特征，可以减少模型对单个特征的依赖性，提高模型的稳定性和准确性。特征融合还可以降低模型对噪声和异常值的敏感度，提高模型的鲁棒性。此外，由于这两种特征来自不同的层次，它们之间可能存在冗余或互补的关系。通过特征融合，可以将它们整合为更丰富、全面的特征表示，从而增强模型的表达能力。