电路板缺陷检测方法、装置、计算机设备及存储介质与流程

本发明涉及机器视觉，尤其涉及一种电路板缺陷检测方法、装置、计算机设备及存储介质。

背景技术：

1、为了提高电路板的性能和使用寿命，需要对电路板中元器件的缺陷进行准确检测。相关技术中，已经将2d目标检测应用在电路板缺陷检测领域，以得到电路板中元器件的缺陷类别。然而，基于2d目标检测的方式有待改进。

技术实现思路

1、本说明书实施方式旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本说明书实施方式提出一种电路板缺陷检测方法、装置、计算机设备及存储介质。

2、本说明书实施方式提供一种电路板缺陷检测方法，所述方法包括：

3、获取针对所述电路板采集的二维图像数据和三维点云数据；

4、基于所述二维图像数据以及所述三维点云数据进行目标检测，得到所述电路板中待检元器件的初始缺陷类别；所述电路板对应有质量达标的基准板；所述基准板具有与维度数量对应的基准数据；

5、对类别校正用数据以及所述基准数据进行形态学图形处理，得到所述电路板中待检元器件对应的校正用缺陷类别；其中，所述类别校正用数据采用所述二维图像数据和/或所述三维点云数据；

6、根据所述校正用缺陷类别和所述初始缺陷类别生成所述电路板中待检元器件的目标缺陷类别。

7、在其中一个实施方式，所述类别校正用数据的确定方式，包括：

8、基于所述初始缺陷类别对应的维度数量在所述二维图像数据和所述三维点云数据中确定所述类别校正用数据。

9、在其中一个实施方式，所述基于所述初始缺陷类别对应的维度数量在所述二维图像数据和所述三维点云数据中确定所述类别校正用数据，包括：

10、若所述初始缺陷类别中的第一部分类别对应的维度数量等于2，将所述二维图像数据用作校正所述第一部分类别的类别校正用数据；

11、若所述初始缺陷类别中的第二部分类别对应的维度数量等于3，将所述三维点云数据用作校正所述第二部分类别的类别校正用数据。

12、在其中一个实施方式，所述根据所述校正用缺陷类别和所述初始缺陷类别生成所述电路板中待检元器件的目标缺陷类别，包括：

13、将所述校正用缺陷类别和所述初始缺陷类别间的交集或者并集作为所述目标缺陷类别。

14、在其中一个实施方式，若所述初始缺陷类别中的第一部分类别对应的维度数量等于2，将所述二维图像数据用作校正所述第一部分类别的类别校正用数据；所述基准数据采用所述基准板的图像数据；所述对所述类别校正用数据以及所述基准数据进行形态学图形处理，得到所述电路板中待检元器件对应的校正用缺陷类别，至少包括以下之一：

15、根据所述二维图像数据提取所述电路板中待检元器件的待检区域轮廓；根据所述基准板的图像数据提取所述基准板中参考元器件的参考区域轮廓；基于所述待检区域轮廓与所述参考区域轮廓的相似比较结果，得到所述校正用缺陷类别；或者

16、基于所述二维图像数据以及所述基准板的图像数据进行相减操作，得到相减结果；根据所述基准板中参考元器件的参考区域轮廓以及所述相减结果进行比对处理，得到所述校正用缺陷类别。

17、在其中一个实施方式，若所述初始缺陷类别中的第二部分类别对应的维度数量等于3，将所述三维点云数据用作校正所述第二部分类别的类别校正用数据；所述基准数据采用所述基准板的点云数据；所述对所述类别校正用数据以及所述基准数据进行形态学图形处理，得到所述电路板中待检元器件对应的校正用缺陷类别，包括：

18、基于所述三维点云数据进行平面拟合处理，确定所述电路板中待检元器件的高度数据；

19、基于所述基准板的点云数据进行平面拟合处理，确定所述基准板中参考元器件的高度数据；

20、基于所述待检元器件的高度数据与所述参考元器件的高度数据间的一致性情况，得到所述校正用缺陷类别。

21、在其中一个实施方式，所述待检元器件的高度数据的确定方式与所述参考元器件的高度数据的确定方式相同；采用以下方式确定所述参考元器件的高度数据：

22、采用体素滤波方式对所述基准板的点云数据进行滤波处理，得到滤波后点云数据；

23、对所述滤波后点云数据进行旋转校正处理，得到校正后点云数据；

24、基于聚类算法对所述校正后点云数据进行平面拟合处理，得到所述基准板中参考元器件的高度数据。

25、在其中一个实施方式，所述基于所述二维图像数据以及所述三维点云数据进行目标检测，得到初始缺陷类别，包括：

26、对所述二维图像数据进行目标检测，得到二维边界框以及所述二维边界框对应的二维特征数据；

27、基于所述二维边界框以及所述三维点云数据进行映射处理，在所述三维点云数据中确定三维目标区域；

28、根据所述二维特征数据以及所述三维目标区域对应的三维特征数据在深度方向上进行目标检测，得到所述初始缺陷类别。

29、在其中一个实施方式，所述二维图像数据所处的平面记为目标平面；所述三维点云数据所处的空间记为目标空间；所述基于所述二维边界框以及所述三维点云数据进行映射处理，在所述三维点云数据中确定三维目标区域，包括：

30、将所述三维点云数据向所述目标平面进行投影，得到所述三维点云数据在所述目标平面上对应的二维平面点云；

31、根据所述二维边界框在所述二维平面点云进行查找，得到所述二维边界框在所述二维平面点云中的二维点云位置；

32、基于所述二维点云位置向所述目标空间进行逆投影，在所述三维点云数据中确定所述二维点云位置对应的三维目标区域。

33、在其中一个实施方式，所述根据所述二维特征数据以及所述三维目标区域对应的三维特征数据在所述深度方向上进行目标检测，得到所述初始缺陷类别，包括：

34、对所述三维目标区域进行点云局部特征提取，得到所述三维特征数据；

35、根据所述三维特征数据和所述二维特征数据间的融合特征进行分类处理，得到所述初始缺陷类别。

36、在其中一个实施方式，所述初始缺陷类别包括少锡、连锡、包锡、少件、空焊、划伤、翘脚、浮高中的至少一种；

37、其中，所述少锡、所述连锡、所述包锡、所述少件、所述空焊、所述划伤中的任一类别对应维度数量等于2；所述翘脚、所述浮高中的任一类别对应维度数量等于3。

38、本说明书实施方式提供一种电路板缺陷检测装置，所述装置包括：

39、电路板数据采集模块，用于获取针对所述电路板采集的二维图像数据和三维点云数据；

40、初始类别确定模块，用于基于所述二维图像数据以及所述三维点云数据进行目标检测，得到所述电路板中待检元器件的初始缺陷类别；所述电路板对应有质量达标的基准板；所述基准板具有与维度数量对应的基准数据；

41、校正类别确定模块，用于对类别校正用数据以及所述基准数据进行形态学图形处理，得到所述电路板中待检元器件对应的校正用缺陷类别；其中，所述类别校正用数据采用所述二维图像数据和/或所述三维点云数据；

42、目标类别确定模块，用于根据所述校正用缺陷类别和所述初始缺陷类别生成所述电路板中待检元器件的目标缺陷类别。

43、本说明书实施方式提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项实施方式所述的方法的步骤。

44、本说明书实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。

45、本说明书实施方式提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。

46、上述说明书实施方式中，首先，获取针对电路板采集的二维图像数据和三维点云数据；接着，基于二维图像数据以及三维点云数据进行目标检测，得到电路板中待检元器件的初始缺陷类别；然后，对采用二维图像数据和/或三维点云数据的类别校正用数据以及基准板与维度数量对应的基准数据进行形态学图形处理，得到电路板中待检元器件对应的校正用缺陷类别；最后，根据校正用缺陷类别和初始缺陷类别生成电路板中待检元器件的目标缺陷类别。本实施方式中，融合二维图像数据以及三维点云数据进行目标检测，得到始缺陷类别，进一步地通过使用校正用缺陷类别对初始缺陷类别进行校准，得到电路板的目标缺陷类别，不仅可以提高电路板缺陷检测的精度，而且可以节约人力成本。