一种图像处理方法及相关装置与流程

本技术涉及人工智能，尤其涉及一种图像处理方法及相关装置。

背景技术：

1、印制电路板(printed circuit board，pcb)作为现代电子设备的重要组成部分，是集成各种电子元器件的信息载体，在电子领域中有着广泛的应用，其质量可直接影响到产品的性能。pcb缺陷检测是pcb生产线上的重要环节，是评估印刷电路板质量的一个关键因素，直接影响着电子产品的性能和使用安全。

2、随着计算机视觉技术的不断发展，通过计算机视觉技术对pcb线路进行缺陷检测已经逐渐取代人工利用放大镜或校准的显微镜对pcb线路板外观检测。目前常使用的基于目标检测的pcb缺陷识别方法，该方法以待检测图像作为输入，通过大量的数据训练来寻找所有可能的缺陷类型，需要更大规模的标注数据来直接学习不同种类缺陷的模式，但由于实际产线上良率本身就比较高，因此缺陷的收集会比较困难，特别是对于少数不常见类型的缺陷，该方法无法准确的对pcb线路板上的缺陷进行定位，存在缺陷定位的准确性较差的问题。

技术实现思路

1、本技术实施例提供了一种图像处理方法以及相关装置，通过由孪生网络及互注意力机制网络对目标检测图像及模板图像中的像素点特征进行对比，以确定目标检测图像中存在缺陷的像素点，进而确定目标检测图像中缺陷位置，可以准确的对pcb线路板上的缺陷进行定位。

2、本技术的一方面提供一种图像处理方法，包括：

3、获取目标检测图像及模板图像，其中，目标检测图像与模板图像对应于相同型号的印制电路板；

4、根据孪生网络对目标检测图像及模板图像进行特征对比，生成特征差图像；

5、对特征差图像进行特征重组，得到特征差重组图像，其中，特征重组是指对特征差图像中像素点的位置进行重新排列；

6、对目标检测图像进行特征提取，得到第一目标特征图像；

7、通过互注意力机制网络对第一目标特征图像的像素点特征与特征差重组图像的像素点特征进行处理，得到目标检测图像中每个像素点的缺陷概率分数，其中，缺陷概率分数用于表征相同位置像素点的相似度；

8、根据目标检测图像中每个像素点的缺陷概率分数确定目标检测图像中缺陷的位置。

9、本技术的另一方面提供了一种图像处理模型训练方法，包括：

10、获取训练检测图像及训练模板图像，其中，训练检测图像与训练模板图像对应于相同型号的印制电路板；

11、根据孪生网络对训练检测图像及训练模板图像进行特征对比，生成训练特征差图像；

12、对训练特征差图像进行特征重组，得到训练特征差重组图像，其中，训练特征重组是指对训练特征差图像中像素点的位置进行重新排列；

13、对训练检测图像进行特征提取，得到第一训练特征图像；

14、通过互注意力机制网络对第一训练特征图像的像素点特征与训练特征差重组图像的像素点特征进行处理，得到训练检测图像中每个像素点的缺陷概率分数，其中，缺陷概率分数用于表征相同位置像素点的相似度；

15、根据训练检测图像中每个像素点的缺陷概率分数确定训练检测图像中缺陷的预测位置；

16、根据训练检测图像中缺陷的预测位置与训练检测图像中缺陷的位置标签，生成损失函数；

17、根据损失函数对孪生网络及互注意力机制网络进行训练。

18、本技术的另一方面提供了一种图像处理装置，包括：

19、图像获取模块，用于获取目标检测图像及模板图像，其中，目标检测图像与模板图像对应于相同型号的印制电路板；

20、特征对比模块，用于根据孪生网络对目标检测图像及模板图像进行特征对比，生成特征差图像；

21、特征重组模块，用于对特征差图像进行特征重组，得到特征差重组图像，其中，特征重组是指对特征差图像中像素点的位置进行重新排列；

22、特征提取模块，用于对目标检测图像进行特征提取，得到第一目标特征图像；

23、缺陷概率分数计算模块，用于通过互注意力机制网络对第一目标特征图像的像素点特征与特征差重组图像的像素点特征进行处理，得到目标检测图像中每个像素点的缺陷概率分数，其中，缺陷概率分数用于表征相同位置像素点的相似度；

24、缺陷位置确定模块，用于根据目标检测图像中每个像素点的缺陷概率分数确定目标检测图像中缺陷的位置。

25、在本技术实施例的另一种实现方式中，缺陷概率分数计算模块，还用于：

26、获取第一目标特征图像中的每个像素点对应的像素点特征及特征差重组图像中每个像素点对应的像素点特征；

27、通过互注意力机制对第一目标特征图像中的每个像素点对应的像素点特征及特征差重组图像中每个像素点对应的像素点特征进行处理，得到目标检测图像中每个像素点的缺陷概率分数。

28、在本技术实施例的另一种实现方式中，缺陷概率分数计算模块，还用于：

29、以第一目标特征图像中的每个像素点对应的像素点特征为键，以特征差重组图像中每个像素点对应的像素点特征为值，通过互注意力机制对特征差重组图像中的像素点对应的像素点特征进行处理，得到目标像素点特征；

30、根据目标像素点特征计算目标检测图像中每个像素点的缺陷概率分数。

31、在本技术实施例的另一种实现方式中，缺陷概率分数计算模块，还用于：

32、以第一目标特征图像中的每个像素点对应的像素点特征为键，以特征差重组图像中每个像素点对应的像素点特征为值，通过互注意力机制从特征差重组图像中的像素点对应的像素点特征提取出第一像素点特征；

33、获取第一像素点特征对应的像素点的权重；

34、根据第一像素点特征及像素点对应的权重，计算得到目标像素点特征。

35、在本技术实施例的另一种实现方式中，特征对比模块，还用于：

36、根据孪生网络中的第一特征提取子网络对目标检测图像进行特征提取，生成第二目标特征图像；

37、根据孪生网络中的第二特征提取子网络对模板图像进行特征提取，生成模板特征图像；

38、对第二目标特征图像及模板特征图像进行特征对比，生成特征差图像。

39、在本技术实施例的另一种实现方式中，特征重组模块，还用于：

40、对特征差图像中每个像素点与每个像素点对应的p个像素点进行目标位置排列，生成特征差重组图像，其中，p为大于1的整数。

41、在本技术实施例的另一种实现方式中，缺陷位置确定模块，还用于：

42、通过l个空洞率各不相同的卷积网络对目标检测图像进行处理，得到l个卷积特征图像，其中，l为大于1的整数；

43、对l个卷积特征图像进行特征拼接，生成拼接图像；

44、根据拼接图像，确定目标检测图像中铜线缺陷对应的像素点；

45、根据目标检测图像中铜线缺陷对应的像素点及目标检测图像中每个像素点的缺陷概率分数确定目标检测图像中缺陷的位置。

46、在本技术实施例的另一种实现方式中，特征对比模块，还用于：

47、根据孪生网络中的第一金字塔特征提取子网络对目标检测图像进行m次特征提取，生成m个第二目标特征图像，其中，金字塔特征提取子网络包括m个特征提取层，每个特征层的输入为上一个特征层的输出，m为大于等于1的整数；

48、根据孪生网络中的第二金字塔特征提取子网络对模板图像进行m次特征提取，生成m个模板特征图像；

49、根据m个第二目标特征图像与m个模板特征图像进行特征对比，生成m个特征差图像。

50、在本技术实施例的另一种实现方式中，特征提取模块，还用于：对目标检测图像进行m次特征提取，得到m个第一目标特征图像，其中，每次特征提取的输入为上一次特征提取的输出；

51、缺陷概率分数计算模块，还用于：

52、通过互注意力机制网络对m个第一目标特征图像的像素点特征与m个特征差重组图像的像素点特征进行处理，得到目标检测图像中每个像素点对应的m个缺陷概率初分数；

53、根据目标检测图像中每个像素点对应的m个缺陷概率初分数，确定目标检测图像中每个像素点的缺陷概率分数。

54、本技术的另一方面提供了一种图像处理模型训练装置，包括：

55、训练图像获取模块，用于获取训练检测图像及训练模板图像，其中，训练检测图像与训练模板图像对应于相同型号的印制电路板；

56、训练特征对比模块，用于根据孪生网络对训练检测图像及训练模板图像进行特征对比，生成训练特征差图像；

57、训练特征重组模块，用于对训练特征差图像进行特征重组，得到训练特征差重组图像，其中，训练特征重组是指对训练特征差图像中像素点的位置进行重新排列；

58、训练特征提取模块，用于对训练检测图像进行特征提取，得到第一训练特征图像；

59、训练缺陷概率分数计算模块，用于通过互注意力机制网络对第一训练特征图像的像素点特征与训练特征差重组图像的像素点特征进行处理，得到训练检测图像中每个像素点的缺陷概率分数，其中，缺陷概率分数用于表征相同位置像素点的相似度；

60、训练缺陷位置确定模块，用于根据训练检测图像中每个像素点的缺陷概率分数确定训练检测图像中缺陷的预测位置；

61、损失函数计算模块，用于根据训练检测图像中缺陷的预测位置与训练检测图像中缺陷的位置标签，生成损失函数；

62、模型训练模块，用于根据损失函数对孪生网络及互注意力机制网络进行训练。

63、本技术的另一方面提供了一种计算机设备，包括：

64、存储器、收发器、处理器以及总线系统；

65、其中，存储器用于存储程序；

66、处理器用于执行存储器中的程序，包括执行上述各方面的方法；

67、总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

68、本技术的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

69、本技术的另一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方面所提供的方法。

70、从以上技术方案可以看出，本技术实施例具有以下优点：

71、本技术提供了一种图像处理方法以及相关装置，其方法包括：首先，获取目标检测图像及模板图像，其中，目标检测图像与模板图像对应于相同型号的印制电路板；其次，根据孪生网络对目标检测图像及模板图像进行特征对比，生成特征差图像；再次，对特征差图像进行特征重组，得到特征差重组图像，其中，特征重组是指对特征差图像中像素点的位置进行重新排列；接着，对目标检测图像进行特征提取，得到第一目标特征图像；然后，通过互注意力机制网络对第一目标特征图像的像素点特征与特征差重组图像的像素点特征进行处理，得到目标检测图像中每个像素点的缺陷概率分数，其中，缺陷概率分数用于表征相同位置像素点的相似度；最后，根据目标检测图像中每个像素点的缺陷概率分数确定目标检测图像中缺陷的位置。本技术提供了一种图像处理方法以及相关装置，通过由孪生网络及互注意力机制网络组成的三分支网络结构对目标检测图像及模板图像中的像素点特征进行对比，以确定目标检测图像中存在缺陷的像素点，进而确定目标检测图像中缺陷位置，可以准确的对pcb线路板上的缺陷进行定位。