基于机器视觉的人字门焊接质量检测方法及系统与流程

本技术涉及机器视觉、图像处理领域，具体而言，涉及一种基于机器视觉的人字门焊接质量检测方法及系统。

背景技术：

1、在现代化工业生产中，人字门是一种重要的结构部件，广泛应用于水利工程、船舶制造、桥梁建设等众多重要工业领域中，其安全性和稳定性对于整体设施的运行至关重要。特别是在大型水闸、船闸等关键设施中，人字门不仅承受着巨大的水压和机械应力，还需要在长期使用过程中保持高度的密封性和耐久性。因此，对人字门焊接质量进行准确、高效的检测至关重要。然而，传统的人字门焊接质量检测方法主要依赖于人工目视检查或简单的自动化检测手段，这些方法不仅效率低下，而且易受人为因素影响，导致检测精度和可信度不高。

2、随着机器视觉技术的快速发展，基于机器视觉的质量检测方法在工业生产中得到了广泛应用。这些方法通过获取目标对象的图像信息，并利用计算机视觉算法对图像进行处理和分析，从而实现对目标对象质量的自动检测。然而，在现有的人字门焊接质量检测方案中，由于人字门焊接结构的复杂性和焊接缺陷的多样性，直接应用通用的机器视觉算法往往难以取得理想的检测效果。此外，现有的人字门焊接质量检测方案还面临着一些其他问题。例如，一些方案需要预先设定大量的检测规则和参数，以适应不同种类的焊接缺陷，这不仅增加了方案的复杂性，且降低了方案的通用性和灵活性。另一些方案则依赖于大量的标注数据进行模型训练，但在实际应用中，获取足够数量和质量的标注数据往往是一项耗时且昂贵的任务。

技术实现思路

1、本发明的目的在于提供一种基于机器视觉的人字门焊接质量检测方法及系统，本技术实施例是这样实现的：

2、第一方面，本技术实施例提供了一种基于机器视觉的人字门焊接质量检测方法，所述方法包括：获取拟进行缺陷识别的目标人字门焊接图像和多个参考焊接图像，每个参考焊接图像对应一个焊接缺陷种类，所述参考焊接图像的图像内容表示对应的焊接缺陷的缺陷内容；将所述目标人字门焊接图像、所述多个参考焊接图像以及拟确定的质量检测空白模板构建质量检测图像组；依据所述质量检测图像组中的图像分块之间的语义牵涉信息，在所述多个参考焊接图像中预估所述质量检测空白模板中的缺陷种类图像，获得与所述目标人字门焊接图像的语义一致的目标参考焊接图像；将所述目标参考焊接图像对应的焊接缺陷种类作为所述目标人字门焊接图像的焊接缺陷种类。

3、作为一种实施方式，所述将所述目标人字门焊接图像、所述多个参考焊接图像以及拟确定的质量检测空白模板构建质量检测图像组，包括：获取预设检测框架，所述预设检测框架包括预留空白的目标图像位、预留空白的多个参考图像位和拟确定的所述质量检测空白模板，所述目标图像位用以放置拟进行缺陷识别的人字门焊接图像，所述参考图像位用以放置与拟进行缺陷识别的人字门焊接图像进行语义一致的参考焊接图像；在所述预设检测框架中，将所述目标人字门焊接图像放置于所述目标图像位，将所述多个参考焊接图像分别放置于所述参考图像位，获得所述质量检测图像组。

4、作为一种实施方式，所述预设检测框架还包括每个参考图像位对应的参考图像位指示符；所述依据所述质量检测图像组中的图像分块之间的语义牵涉信息，在所述多个参考焊接图像中预估所述质量检测空白模板中的缺陷种类图像，获得与所述目标人字门焊接图像的语义一致的目标参考焊接图像，包括：依据所述质量检测图像组中的图像分块之间的语义牵涉信息，在所述多个参考图像位对应的参考图像位指示符中预估所述质量检测空白模板中的缺陷种类图像，获得目标参考图像位指示符；将所述目标参考图像位指示符指示的参考图像位中放置的参考焊接图像，作为所述目标参考焊接图像。

5、作为一种实施方式，所述依据所述质量检测图像组中的图像分块之间的语义牵涉信息，在所述多个参考焊接图像中预估所述质量检测空白模板中的缺陷种类图像，获得与所述目标人字门焊接图像的语义一致的目标参考焊接图像，包括：提取所述质量检测图像组中的每个图像分块的图像分块语义向量；依据所述质量检测图像组中的多个图像分块的图像分块语义向量以及所述多个图像分块之间的共性度量结果，预估所述质量检测空白模板的图像分块语义向量；对所述质量检测空白模板的图像分块语义向量进行归一映射，获得所述多个参考焊接图像的预估置信度，所述参考焊接图像的预估置信度表示所述参考焊接图像的语义和所述目标人字门焊接图像的语义一致的置信度；将所述预估置信度最大的参考焊接图像作为所述缺陷种类图像，获得所述目标参考焊接图像。

6、作为一种实施方式，所述依据所述质量检测图像组中的多个图像分块的图像分块语义向量以及所述多个图像分块之间的共性度量结果，预估所述质量检测空白模板的图像分块语义向量，包括：获取每个图像分块的图像分块语义向量对应的搜索向量、锚定向量和结果向量，所述多个图像分块的搜索向量组成搜索数组，所述多个图像分块的锚定向量组成锚定数组，所述多个图像分块的结果向量组成结果数组；将所述搜索数组、所述锚定数组的翻转数组与归一调节系数的相乘结果进行标准化，获得共性度量结果数组，所述共性度量结果数组包括所述多个图像分块之间的共性度量结果；将所述共性度量结果数组与所述结果数组作积，获得所述多个图像分块的嵌入后的图像分块语义向量；在所述多个图像分块的嵌入后的图像分块语义向量中，确定所述质量检测空白模板的图像分块语义向量；所述对所述质量检测空白模板的图像分块语义向量进行归一映射，获得所述多个参考焊接图像的预估置信度，包括：对所述质量检测空白模板的图像分块语义向量进行向量映射，获得对照语义向量，所述对照语义向量包括多个通道的表征向量元素值，每一通道与一个参考焊接图像对应；将所述对照语义向量中每一通道的表征向量元素值进行标准化，获得每一通道对应的参考焊接图像所对应的预估置信度。

7、作为一种实施方式，所述获取拟进行缺陷识别的目标人字门焊接图像和多个参考焊接图像，包括：获取拟进行缺陷识别的所述目标人字门焊接图像，确定所述目标人字门焊接图像对应的目标人字门位置，所述目标人字门位置为人字门顶底枢轴线、人字门斜接柱或人字门门轴柱中的位置；获取所述人字门位置对应的参考焊接图像。

8、作为一种实施方式，所述依据所述质量检测图像组中的图像分块之间的语义牵涉信息，在所述多个参考焊接图像中预估所述质量检测空白模板中的缺陷种类图像，获得与所述目标人字门焊接图像的语义一致的目标参考焊接图像，包括：基于图像缺陷识别网络，依据所述质量检测图像组中的图像分块之间的语义牵涉信息，确定所述多个参考焊接图像的预估置信度，所述参考焊接图像的预估置信度表示所述参考焊接图像的语义和所述目标人字门焊接图像的语义一致的置信度；在所述多个参考焊接图像中，将所述预估置信度最大的参考焊接图像作为缺陷种类图像，获得所述目标参考焊接图像；所述图像缺陷识别网络通过以下步骤进行调试得到：获取第一人字门焊接图像模板、多个参考焊接图像模板和所述第一人字门焊接图像模板的实际焊接缺陷种类，每个参考焊接图像模板对应一个焊接缺陷种类，所述参考焊接图像模板的图像内容表示对应的焊接缺陷的缺陷内容；将所述第一人字门焊接图像模板、所述多个参考焊接图像模板以及拟确定的质量检测空白模板组成质量检测图像组模板；基于所述图像缺陷识别网络，依据所述质量检测图像组模板中的图像分块之间的语义牵涉信息，确定所述多个参考焊接图像模板的第一模板置信度，所述参考焊接图像模板的第一模板置信度表示所述图像缺陷识别网络所预估的所述参考焊接图像模板的语义和所述第一人字门焊接图像模板的语义一致的置信度；依据所述实际焊接缺陷种类的参考焊接图像模板的第一模板置信度，调试所述图像缺陷识别网络，令依据调试完成的图像缺陷识别网络得到的所述实际焊接缺陷种类的参考焊接图像模板的第一模板置信度提高。

9、作为一种实施方式，所述图像缺陷识别网络包括语义向量挖掘组件、语义向量处理组件和置信度预估组件，所述基于所述图像缺陷识别网络，依据所述质量检测图像组模板中的图像分块之间的语义牵涉信息，确定所述多个参考焊接图像模板的第一模板置信度，包括：基于所述语义向量挖掘组件，挖掘所述质量检测图像组模板中的每个模板图像分块的模板图像分块语义向量；基于所述语义向量处理组件，依据所述质量检测图像组模板中的多个模板图像分块的模板图像分块语义向量以及所述多个模板图像分块之间的共性度量结果，预估所述质量检测空白模板的模板图像分块语义向量；基于所述置信度预估组件，对所述质量检测空白模板的模板图像分块语义向量进行归一映射，获得所述多个参考焊接图像模板的所述第一模板置信度；其中，所述基于所述语义向量处理组件，依据所述质量检测图像组模板中的多个模板图像分块的模板图像分块语义向量以及所述多个模板图像分块之间的共性度量结果，预估所述质量检测空白模板的模板图像分块语义向量，包括：基于所述语义向量处理组件，获取每个模板图像分块的模板图像分块语义向量对应的模板搜索向量、模板锚定向量和模板结果向量，所述多个模板图像分块的模板搜索向量组成模板搜索数组，所述多个模板图像分块的模板锚定向量组成模板锚定数组，所述多个模板图像分块的模板结果向量组成模板结果数组；将所述模板搜索数组、所述模板锚定数组的翻转数组与归一调节系数的相乘结果进行标准化，获得模板共性度量结果数组，所述模板共性度量结果数组包括所述多个模板图像分块之间的共性度量结果；将所述模板共性度量结果数组与所述模板结果数组作积，获得所述多个模板图像分块的嵌入后的模板图像分块语义向量；在所述多个模板图像分块的嵌入后的模板图像分块语义向量中，确定所述质量检测空白模板的模板图像分块语义向量。

10、作为一种实施方式，待调试的所述图像缺陷识别网络为前置调试后的网络，前置调试的过程包括：获取第二人字门焊接图像模板，将所述第二人字门焊接图像模板中的目标图像区域上的目标图像分块屏蔽，所述目标图像区域为所述第二人字门焊接图像模板中的任一区域；基于所述图像缺陷识别网络，依据所述第二人字门焊接图像模板中的图像分块之间的语义牵涉信息，确定图像分块集合中的每个图像分块的第二模板置信度，所述图像分块的第二模板置信度表示所述图像缺陷识别网络所预估的所述图像分块属于所述目标图像区域上的图像分块的置信度，所述图像分块集合包括所述目标图像分块；依据所述目标图像分块的第二模板置信度，调试所述图像缺陷识别网络，令依据调试完成的所述图像缺陷识别网络得到的所述目标图像分块的第二模板置信度提高；或者，前置调试的过程包括：获取第一人字门焊接图像块模板、第二人字门焊接图像块模板、第一实际置信度和第二实际置信度，所述第一实际置信度表示所述第二人字门焊接图像块模板是所述第一人字门焊接图像块模板的邻接图像块的置信度，所述第二实际置信度表示所述第二人字门焊接图像块模板不是所述第一人字门焊接图像块模板的邻接图像块的置信度；基于所述图像缺陷识别网络，依据所述第一人字门焊接图像块模板和所述第二人字门焊接图像块模板中的图像分块之间的语义牵涉信息，确定第三模板置信度和第四模板置信度，所述第三模板置信度表示所述图像缺陷识别网络所预估的所述第二人字门焊接图像块模板是所述第一人字门焊接图像块模板的邻接图像块的置信度，所述第四模板置信度表示所述图像缺陷识别网络所预估的所述第二人字门焊接图像块模板不是所述第一人字门焊接图像块模板的邻接图像块的置信度；依据所述第三模板置信度、所述第四模板置信度、所述第一实际置信度和所述第二实际置信度，调试所述图像缺陷识别网络，令依据调试完成的所述图像缺陷识别网络得到的所述第三模板置信度与所述第一实际置信度之间的共性度量结果提高，同时获得的所述第四模板置信度与所述第二实际置信度之间的共性度量结果提高。

11、第二方面，本技术提供一种计算机系统，包括： 一个或多个处理器；存储器；一个或多个计算机程序；其中所述一个或多个计算机程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个计算机程序被所述处理器执行时，实现如上所述的方法。

12、本技术的有益效果至少包括：本技术提供的基于机器视觉的人字门焊接质量检测方法及系统中，对目标人字门焊接图像进行质量检测时，将目标人字门焊接图像与不同缺陷种类的参考焊接图像以及拟确定的质量检测空白模板进行合并，获得质量检测图像组，依据该质量检测图像组中的图像分块之间的语义牵涉信息，确定得到与目标人字门焊接图像的语义一致的目标参考焊接图像，目标参考焊接图像对应的焊接缺陷种类就是目标人字门焊接图像的焊接缺陷种类，如此将质量缺陷检测过程迁移成语义识别过程，在预设多个参考焊接图像的前提下，基于目标人字门焊接图像和参考焊接图像的图像内容，在多个参考焊接图像中确定和目标人字门焊接图像的语义一致的参考焊接图像，使得缺陷检测的过程简化。此外，因为参考焊接图像的语义等同于缺陷类型，所以本技术通过拟进行缺陷识别的图像和不同缺陷种类的的语义信息对拟进行缺陷识别的人字门焊接图像进行质量检测，检测的精度和可信度高。