基于人工智能的筋膜枪供电驱动板焊接故障检测方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于人工智能的筋膜枪供电驱动板焊接故障检测方法。


背景技术：

2.在筋膜枪供电驱动板的焊接作业中，芯片元件和贴片元件存在引脚多、间距小以及焊接精度要求高等特点，为了确保供电驱动板的生产质量，需要对引脚焊接质量进行故障检测。常见的引脚焊接缺陷有桥联、虚焊、焊料过多或过少、冷焊等，大部分缺陷可以通过焊接区域尺寸分析进行故障检测，而由冷焊缺陷所导致的焊接表面裂纹，需要通过图像处理等方法获取裂纹区域，来判断供电驱动板的焊接作业中是否存在裂纹缺陷。
3.随着图像处理技术的发展，现有通过比对相邻焊接区域的差异图像信息，来检测各个焊接区域是否存在焊接故障缺陷，该方法未考虑相邻焊接区域均存在故障的特殊情况，该特殊情况利用差异信息并不能很好的识别故障，导致故障识别准确性较低。同时，现有还通过传统的otsu算法（最大类间方差法或大津算法）对供电驱动板焊接表面图像进分割处理，可以获得裂纹区域，但该方法的运算量较大，故障检测效率较低，且对于微小缺陷的分割精度较低，导致裂纹故障检测的准确率低。


技术实现要素：

4.为了解决上述裂纹故障检测的准确率低的技术问题，本发明的目的在于提供一种基于人工智能的筋膜枪供电驱动板焊接故障检测方法。
5.本发明提供了一种基于人工智能的筋膜枪供电驱动板焊接故障检测方法，包括以下步骤：获取待检测筋膜枪供电驱动板的各个引脚焊接区域，进而确定各个引脚焊接区域内每个像素点的灰度值，根据灰度值确定每个像素点的第一清晰程度，根据第一清晰程度筛选出各个引脚焊接区域内各目标像素点；根据各目标像素点确定各闭合边缘线，根据各闭合边缘线上每个边缘像素点的灰度值，确定每个边缘像素点的灰度下降向量，根据每个边缘像素点的灰度下降向量和位置，确定各闭合边缘线的宽度和为裂纹边缘线的概率；根据各闭合边缘线的宽度和为裂纹边缘线的概率，确定各个引脚焊接区域对应的结构元素自适应尺寸，根据结构元素自适应尺寸，获得形态学闭运算后的各个引脚焊接区域；确定形态学闭运算后的各个引脚焊接区域内每个目标像素点的第二清晰程度，根据每个目标像素点的第一清晰程度和第二清晰程度，确定各个目标像素点对应的各灰度级对应的权重；根据各灰度级的目标像素点的灰度值以及各灰度级对应的权重，确定各个引脚焊接区域的最佳分割阈值，利用最佳分割阈值对各个引脚焊接区域进行分割处理，获得各个
引脚焊接区域的初始裂纹区域和初始非裂纹区域；根据初始裂纹区域和初始非裂纹区域，确定各个引脚焊接区域的裂纹判定指标，根据裂纹判定指标和裂纹判定阈值，判断待检测筋膜枪供电驱动板是否存在裂纹缺陷。
6.进一步地，根据灰度值确定每个像素点的第一清晰程度，包括：根据各个引脚焊接区域内每个像素点的灰度值，确定每个像素点八邻域内的最大灰度值和最小灰度值，计算每个像素点的灰度值分别与其对应的最大灰度值、最小灰度值的差值绝对值，将每个像素点的灰度值与其对应的最大灰度值的差值绝对值作为第一灰度差值绝对值，将每个像素点的灰度值与其对应的最小灰度值的差值绝对值作为第二灰度差值绝对值；若任意一个像素点的第一灰度差值绝对值大于第二灰度差值绝对值，则计算该像素点的第一灰度差值绝对值与第二灰度差值绝对值的差值，并将归一化后的该差值作为该像素点的第一清晰程度，若任意一个像素点的第一灰度差值绝对值小于或等于第二灰度差值绝对值，则将该像素点的第一清晰程度赋值为0。
7.进一步地，根据各闭合边缘线上每个边缘像素点的灰度值，确定每个边缘像素点的灰度下降向量，包括：确定各闭合边缘线上每个边缘像素点八邻域内各像素点的灰度值，根据各闭合边缘线上每个边缘像素点的灰度值及其八邻域内各像素点的灰度值，统计八邻域内灰度值小于其对应的边缘像素点的灰度值的像素点，并将该像素点作为对应边缘像素点的灰度下降像素点；根据每个边缘像素点的灰度值与其对应的各灰度下降像素点的灰度值，计算每个边缘像素点与其对应的各灰度下降像素点之间的灰度差异向量，计算每个边缘像素点对应的各灰度差异向量之和，将各灰度差异向量之和作为对应边缘像素点的灰度下降向量。
8.进一步地，根据每个边缘像素点的灰度下降向量和位置，确定各闭合边缘线的宽度和为裂纹边缘线的概率，包括：根据各闭合边缘线上每个边缘像素点的位置和灰度下降向量，确定每个边缘像素点沿其灰度下降向量至其所在闭合边缘线上另一个边缘像素点的距离，进而计算各闭合边缘线的距离均值，将该距离均值作为对应的闭合边缘线的宽度；根据各闭合边缘线上每个边缘像素点的灰度下降向量，确定每个边缘像素点的灰度下降向量的角度，进而计算各闭合边缘线对应的角度均值；计算角度大于角度均值的各边缘像素点对应的角度方差与角度小于或等于角度均值的各边缘像素点对应的角度方差的均值，将该均值的负相关映射作为对应闭合边缘线为裂纹边缘线的概率。
9.进一步地，所述结构元素自适应尺寸的计算公式为：其中，为各个引脚焊接区域对应的结构元素自适应尺寸，为各个引脚焊接区域内闭合边缘线的个数，为各个引脚焊接区域内各闭合边缘线的序号，为各个引脚焊接
区域内第个闭合边缘线为裂纹边缘线的概率，为各个引脚焊接区域内第个闭合边缘线的宽度，为向下取整，为预设参数。
10.进一步地，根据每个目标像素点的第一清晰程度和第二清晰程度，确定各个目标像素点对应的各灰度级对应的权重，包括：计算每个目标像素点的第一清晰程度和第二清晰程度的差值绝对值，将该差值绝对值作为对应目标像素点为裂纹边缘像素点的概率；根据每个目标像素点的灰度值，确定目标像素点对应的各灰度级，根据各灰度级的目标像素点为裂纹边缘像素点的概率，计算各灰度级对应的为裂纹边缘像素点的概率均值，将概率均值作为对应灰度级对应的权重。
11.进一步地，根据各灰度级的目标像素点的灰度值以及各灰度级对应的权重，确定各个引脚焊接区域的最佳分割阈值，包括：根据各个引脚焊接区域内各灰度级的目标像素点的灰度值，确定各灰度级为初始分割阈值的概率，计算各灰度级为初始分割阈值的概率与对应权重的乘积，将该乘积作为对应灰度级为最佳分割阈值的概率；从各灰度级为最佳分割阈值的概率中选取最大值，将该最大值对应的灰度级作为对应引脚焊接区域的最佳分割阈值。
12.进一步地，根据初始裂纹区域和初始非裂纹区域，确定各个引脚焊接区域的裂纹判定指标，包括：根据初始裂纹区域内每个像素点的灰度值和初始非裂纹区域内每个像素点的灰度值，计算初始裂纹区域对应的灰度均值和初始非裂纹区域对应的灰度均值；计算初始裂纹区域与初始非裂纹区域对应的灰度均值的差值、初始裂纹区域与初始非裂纹区域对应的灰度均值之和，并将该差值作为比值的分子、将该和作为比值的分母，将该比值作为对应引脚焊接区域的裂纹判定指标。
13.进一步地，根据第一清晰程度筛选出各个引脚焊接区域内各目标像素点，包括：根据每个像素点的第一清晰程度，去除第一清晰程度为0的像素点，获得各个引脚焊接区域内各初始目标像素点；根据各个引脚焊接区域内各初始目标像素点的第一清晰程度，确定各个引脚焊接区域的第一清晰度均值，并将第一清晰度大于第一清晰度均值的初始目标像素点作为目标像素点。
14.进一步地，根据裂纹判定指标和裂纹判定阈值，判断待检测筋膜枪供电驱动板是否存在裂纹缺陷，包括：若待检测筋膜枪供电驱动板的任意一个引脚焊接区域的裂纹判定指标大于裂纹判定阈值，则判定待检测筋膜枪供电驱动板存在裂纹缺陷，否则，判定待检测筋膜枪供电驱动板不存在裂纹缺陷。
15.本发明具有如下有益效果：本发明提供了一种基于人工智能的筋膜枪供电驱动板焊接故障检测方法，该方法通过对待检测筋膜枪供电驱动板的各个引脚焊接区域进行图像处理和分析，获得各个引脚焊接区域的裂纹判定指标，基于裂纹判定指标判断待检测筋膜枪供电驱动板是否存在裂纹缺陷，有助于提高筋膜枪供电驱动板故障检测的准确性，可以应用于电路板故障检测领域。
为了便于分析不均匀光照所产生的阴影区域对裂纹故障检测的影响，利用各个引脚焊接区域内每个像素点的第一清晰程度，筛选出目标像素点，相比分析引脚焊接区域内所有像素点的图像特征，确定目标像素点有助于减少算法的运算量；为了便于后续分析目标像素点对应的各灰度级为裂纹边缘像素点的概率，根据裂纹缺陷的图像特征分析，利用各闭合边缘线的宽度和为裂纹边缘线的概率，确定结构元素自适应尺寸，获得形态学闭运算后的各个引脚焊接区域，每个引脚焊接区域均有其对应的结构元素自适应尺寸，结构元素自适应尺寸有助于提高形态闭运算处理结果的参考价值，同时，有助于区分裂纹边缘像素点和阴影边缘像素点；通过第一清晰程度和第二清晰程度，所确定的各个目标像素点对应的各灰度级对应的权重的可靠性更强，各灰度级对应的权重是确定各个引脚焊接区域的最佳分割阈值的关键性指标，各灰度级对应的权重有助于提高裂纹缺陷分割的精准度，获得更加准确的初始裂纹区域和初始非裂纹区域；为了克服otsu算法存在的弊端，即引脚焊接区域内不存在裂纹缺陷也有可能分割出裂纹区域，基于初始裂纹区域和初始非裂纹区域的图像特征，确定各个引脚焊接区域的裂纹判定指标，利用裂纹判定指标和裂纹判定阈值，来判断待检测筋膜枪供电驱动板是否存在裂纹缺陷，其有助于提高筋膜枪供电驱动板故障检测结果的准确度。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
17.图1为本发明基于人工智能的筋膜枪供电驱动板焊接故障检测方法的流程图；图2为本发明实施例中待检测筋膜枪供电驱动板的表面图像；图3为本发明实施例中的闭合边缘线示意图。
具体实施方式
18.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
19.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
20.由于筋膜枪供电驱动板上芯片和贴片对应的引脚焊接区域内的裂纹缺陷面积较小，且引脚焊接区域容易受到高光的影响，导致采集的各个引脚焊接区域图像光照不均匀，若直接利用otsu算法对此时的各个引脚焊接区域图像进行分割处理，获取裂纹缺陷，最终的裂纹故障检测结果准确性会比较差。为了解决上述裂纹故障检测结果准确性较差的问题，本实施例提供了一种基于人工智能的筋膜枪供电驱动板焊接故障检测方法，如图1所示，包括以下步骤：s1，获取待检测筋膜枪供电驱动板的各个引脚焊接区域，进而确定各个引脚焊接
区域内每个像素点的灰度值，根据灰度值确定每个像素点的第一清晰程度，根据第一清晰程度筛选出各个引脚焊接区域内各目标像素点，其步骤包括：s101，获取待检测筋膜枪供电驱动板的各个引脚焊接区域，进而确定各个引脚焊接区域内每个像素点的灰度值。
21.首先，利用工业相机俯视采集检测平台上的待检测筋膜枪供电驱动板的表面图像，该表面图像如图2所示，然后利用预先构建并训练好的dnn（dynamic neural network，动态神经网络）语义分割网格，识别表面图像中芯片和贴片对应的各个引脚焊接区域，获得各个引脚焊接区域，各个引脚焊接区域可以为连通域。为了便于后续对待检测筋膜枪供电驱动板进行缺陷分析，利用加权平均法对各个引脚焊接区域进行灰度化处理，获得各个引脚焊接区域对应的灰度图像，根据灰度图像，可以获得各个引脚焊接区域内每个像素点的灰度值。加权平均法的实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。
22.需要说明的是，dnn语义分割网格的训练数据为工业相机俯视采集的筋膜枪供电驱动板图像数据集；将筋膜枪供电驱动板图像中需要分割的像素点分为两类，也就是对训练数据进行标签标注，即单通道的语义标注，将筋膜枪供电驱动板图像中属于引脚焊接区域的像素点标注为1，将筋膜枪供电驱动板图像中不属于引脚焊接区域的像素点标注为0；dnn语义分割网格的任务可以为分类，所使用的loss函数为交叉熵损失函数。dnn语义分割网格的构建和训练过程为现有技术，此处不再进行详细阐述。
23.至此，本实施例通过dnn语义分割网格和加权平均法，对待检测筋膜枪供电驱动板的表面图像的图像处理，获得了待检测筋膜枪供电驱动板的各个引脚焊接区域及其每个像素点的灰度值。
24.s102，根据灰度值确定每个像素点的第一清晰程度。
25.首先，需要说明的是，筋膜枪供电驱动板上的芯片和贴片对应的引脚焊接区域为银白色，而裂纹区域呈现黑色长条状，故裂纹区域的像素灰度比非裂纹区域的像素灰度低，即裂纹区域边缘处的像素灰度差异较大，像素灰度差异较大会使裂纹区域的边缘像素点较为清晰。但是引脚焊接自身结构特征会使图像采集结果受到光照不均匀的影响，导致引脚焊接区域产生阴影区域，阴影区域内像素点的灰度值也比较低、边缘处像素灰度差异也较大，这里的引脚焊接自身结构特征可以包括引脚焊接区域呈现凸起状、各引脚焊接区域之间的距离较近等。此时，直接使用otsu算法对引脚焊接区域进行分割处理，获得裂纹区域，容易将光照不均匀引起的阴影区域误判为裂纹区域，降低裂纹故障检测的准确性。因此，为了便于后续区分阴影区域和裂纹区域，根据各个引脚焊接区域内每个像素点与其八邻域像素点之间的灰度差异，确定各个引脚焊接区域内每个像素点的第一清晰程度，其步骤包括：根据各个引脚焊接区域内每个像素点的灰度值，确定每个像素点八邻域内的最大灰度值和最小灰度值，计算每个像素点的灰度值分别与其对应的最大灰度值、最小灰度值的差值绝对值，将每个像素点的灰度值与其对应的最大灰度值的差值绝对值作为第一灰度差值绝对值，将每个像素点的灰度值与其对应的最小灰度值的差值绝对值作为第二灰度差值绝对值。
26.若任意一个像素点的第一灰度差值绝对值大于第二灰度差值绝对值，则计算该像素点的第一灰度差值绝对值与第二灰度差值绝对值的差值，并将归一化化后的该差值作为
该像素点的第一清晰程度，若任意一个像素点的第一灰度差值绝对值小于或等于第二灰度差值绝对值，则将该像素点的第一清晰程度赋值为0。
27.在本实施例中，各个引脚焊接区域内每个像素点的第一清晰程度的计算公式可以为：其中，为各个引脚焊接区域内第个像素点的第一清晰程度，为各个引脚焊接区域内第个像素点的灰度值，为各个引脚焊接区域内第个像素点八邻域内的最大灰度值，为各个引脚焊接区域内第个像素点八邻域内的最小灰度值，为各个引脚焊接区域内每个像素点的序号，为求绝对值函数，255为像素点的灰度值，该灰度值位于分母是为了进行归一化处理。
28.当某个像素点位于裂纹边缘或阴影边缘时，该像素点的灰度值较小，该像素点八邻域范围内灰度值最小的像素点可以为裂纹像素点或阴影像素点，而灰度值最大的像素点可以为正常像素点，这里的正常像素点是指非裂纹像素点或非阴影像素点。因此，当第个像素点为裂纹像素点或阴影像素点时，第一清晰程度的计算公式中的可以表征裂纹像素点或阴影像素点与正常像素点的灰度差异，该灰度差异值较大，可以表征两个裂纹像素点或阴影像素点的灰度差异，该灰度差异值较小。当时，第个像素点可以为非裂纹边缘像素点或者非阴影边缘向像素点，使第个像素点的清晰程度为0；当时，第个像素点为疑似裂纹边缘像素点或者疑似阴影边缘像素点，使第个像素点的清晰程度等于，越大，第个像素点越清晰，第个像素点为裂纹边缘像素点或者阴影边缘像素点的可能性就越大，分母255可用于表征归一化处理。
29.s103，根据第一清晰程度筛选出各个引脚焊接区域内各目标像素点，其步骤包括：第一步，根据每个像素点的第一清晰程度，去除第一清晰程度为0的像素点，获得各个引脚焊接区域内各初始目标像素点。
30.在本实施例中，为了减少后续的计算量，提高故障检测的效率，根据各个引脚焊接区域内每个像素点的第一清晰程度，去除各个引脚焊接区域内第一清晰程度为0的像素点，并将第一清晰程度为非0的像素点作为初始目标像素点，获得各个引脚焊接区域内各初始目标像素点，初始目标像素点可以为疑似裂纹边缘像素点或者疑似阴影边缘像素点。
31.第二步，根据各个引脚焊接区域内各初始目标像素点的第一清晰程度，确定各个引脚焊接区域的第一清晰度均值，并将第一清晰度大于第一清晰度均值的初始目标像素点作为目标像素点。
32.在本实施例中，为了便于从各个初始目标像素点中筛选目标像素点，基于各个引脚焊接区域内各初始目标像素点的第一清晰程度，计算各个引脚焊接区域的第一清晰度均值。由于各个引脚焊接区域内边缘像素点的数量较少，第一清晰度均值更接近正常像素点的第一清晰度，故将第一清晰度大于第一清晰度均值的初始目标像素点作为目标像素点。
各目标像素点中可以包含裂纹边缘像素点、阴影边缘像素点和可能存在的少量正常像素点，这里的少量正常像素点对后续裂纹缺陷分析的影响较小，可以直接将目标像素点表征为裂纹边缘像素点或者阴影边缘像素点。
33.s2，根据各目标像素点确定各闭合边缘线，根据各闭合边缘线上每个边缘像素点的灰度值，确定每个边缘像素点的灰度下降向量，根据每个边缘像素点的灰度下降向量和位置，确定各闭合边缘线的宽度和为裂纹边缘线的概率，其步骤包括：s201，根据各目标像素点确定各闭合边缘线。
34.需要说明的是，目标像素点可以分为裂纹边缘像素点和非裂纹边缘像素点，非裂纹边缘像素点可以为由光照不均匀引起的阴影边缘像素点或可能存在的少量正常像素点，为了便于后续确定各闭合边缘线的宽度和为裂纹边缘线的概率，需要确定各个引脚焊接区域内的各闭合边缘线，其步骤包括：在本实施例中，将各个引脚焊接区域内各目标像素点标记为1，各个引脚焊接区域内其他像素点标记为0，这里的其他像素点是指引脚焊接区域内目标像素点以外的像素点，可以获得各个引脚焊接区域的二值图像。裂纹边缘和阴影边缘均为连续性的闭合边缘，故去除二值图像内孤立的目标像素点，基于各个引脚焊接区域内连续分布的目标像素点，构建各个引脚焊接区域内的各闭合边缘线。
35.s202，根据各闭合边缘线上每个边缘像素点的灰度值，确定每个边缘像素点的灰度下降向量。
36.为了便于后续计算各闭合边缘线的宽度和为裂纹边缘线的概率，提高宽度和为裂纹边缘线的概率的参考价值，本实施例基于每个边缘像素点的灰度值，确定每个边缘像素点的灰度下降向量。这里的灰度下降向量可以表征为边缘像素点在其对应的引脚焊接区域的灰度图像内的灰度下降方向，该灰度下降方向可以表示边缘像素点向其所在的闭合边缘区域中心线的最短距离方向，灰度下降向量的确定步骤包括：第一步，确定各闭合边缘线上每个边缘像素点八邻域内各像素点的灰度值，根据各闭合边缘线上每个边缘像素点的灰度值及其八邻域内各像素点的灰度值，统计八邻域内灰度值小于其对应的边缘像素点的灰度值的像素点，并将该像素点作为对应边缘像素点的灰度下降像素点。
37.需要说明的是，为了统计每个边缘像素点八邻域内灰度值小于其对应的边缘像素点的灰度值的像素点，基于各个引脚焊接区域的灰度图像中每个像素点的灰度值、各闭合边缘线上每个边缘像素点八邻域内各像素点的坐标位置，将每个边缘像素点八邻域内各像素点映射到对应的引脚焊接区域的灰度图像中，可以确定各闭合边缘线上每个边缘像素点八邻域内各像素点的灰度值。
38.第二步，根据每个边缘像素点的灰度值与其对应的各灰度下降像素点的灰度值，计算每个边缘像素点与其对应的各灰度下降像素点之间的灰度差异向量，计算每个边缘像素点对应的各灰度差异向量之和，将各灰度差异向量之和作为对应边缘像素点的灰度下降向量。
39.在本实施例中，基于每个边缘像素点的灰度值与其对应的各灰度下降像素点的灰度值，计算每个边缘像素点与其八邻域内灰度值减少的像素点之间的向量，也就是边缘像素点与其对应的各灰度下降像素点之间的灰度差异向量，该灰度差异向量既可以表示大小
又可以表示方向。基于每个边缘像素点对应的多个灰度差异向量，利用代数法计算这些灰度差异向量的和，将该各灰度差异向量的和作为对应边缘像素点的灰度下降向量，灰度下降向量可以表征边缘像素点的灰度下降方向。代数法计算多个灰度差异向量和的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。
40.s203，根据每个边缘像素点的灰度下降向量和位置，确定各闭合边缘线的宽度和为裂纹边缘线的概率，其步骤包括：第一步，根据各闭合边缘线上每个边缘像素点的位置和灰度下降向量，确定每个边缘像素点沿其灰度下降向量至其所在闭合边缘线上另一个边缘像素点的距离，进而计算各闭合边缘线的距离均值，将该距离均值作为对应的闭合边缘线的宽度。
41.需要说明的是，裂纹区域中心线处的裂纹深度最大，所以裂纹区域中像素灰度分布可以为边缘向中心线的像素灰度呈现逐渐减小的变化，也就是裂纹区域中心线两侧的边缘像素点的灰度下降向量的方向相反，裂纹区域中心线同侧的边缘像素点的灰度下降向量的方向相似；由于阴影区域中心处最暗，阴影区域中像素灰度分布可以为边缘向中心点的像素点灰度呈现逐渐减小的变化，也就是阴影区域的闭合边缘线上的各边缘像素点的灰度下降向量的方向均朝向中心点，阴影区域的闭合边缘线上的各边缘像素点的灰度下降向量差异较大。
42.在本实施例中，以某一个闭合边缘线上的点a为例，基于点a和点b的坐标位置和灰度下降向量的方向，计算点a沿着其灰度下降向量的方向至该闭合边缘线上的点b之间的距离，进而计算各闭合边缘线的距离均值，将该距离均值作为对应的闭合边缘线的宽度。点b为点a沿灰度下降向量可以在闭合边缘线上得到的另一个边缘点，同样，点a也为点b沿灰度下降向量可以在闭合边缘线上得到的另一个边缘点，闭合边缘线示意图如图3所示。需要说明的是，为了便于理解将图3中的闭合边缘线构建成规则的长条形状，而实际应用时闭合边缘线的形状可能并不规则。
43.第二步，根据各闭合边缘线上每个边缘像素点的灰度下降向量，确定每个边缘像素点的灰度下降向量的角度，进而计算各闭合边缘线对应的角度均值。
44.在本实施例中，建立坐标系，将横轴向右标记为0度，并逆时针旋转一周，依次为0度至360度，将各闭合边缘线上每个边缘像素点的灰度下降向量映射到该坐标系上，获得每个边缘像素点的灰度下降向量的角度。
45.已知裂纹区域中心线两侧的边缘像素点的灰度下降向量的方向相反，而同侧边缘像素点的灰度下降向量的方向相似，为了便于后续分析闭合边缘线为裂纹边缘线的概率，需要计算各闭合边缘线对应的角度均值，并统计各闭合边缘线上角度大于角度均值的各边缘像素点、角度小于或等于角度均值的各边缘像素点。
46.第三步，计算角度大于角度均值的各边缘像素点对应的角度方差与角度小于或等于角度均值的各边缘像素点对应的角度方差的均值，将该均值的负相关映射作为对应闭合边缘线为裂纹边缘线的概率。
47.在本实施例中，先计算各闭合边缘线对应的角度大于角度均值的各边缘像素点对应的角度方差，以及角度小于或等于角度均值的各边缘像素点对应的角度方差，然后，计算各闭合边缘线对应的两个角度方差的均值。
48.需要说明的是，方差可以表征数据的均匀程度，若闭合边缘线为裂纹边缘线，则该
闭合边缘线对应的两个角度方差均较小，故将两个角度方差的均值的负相关映射作为对应闭合边缘线为裂纹边缘线的概率。例如，将两个角度方差的均值为分母、数值1为分子的比值作为对应闭合边缘线为裂纹边缘线的概率，两个角度方差的均值越小，两个角度方差对应的闭合边缘线为裂纹边缘线的概率就越大。
49.s3，根据各闭合边缘线的宽度和为裂纹边缘线的概率，确定各个引脚焊接区域对应的结构元素自适应尺寸，根据结构元素自适应尺寸，获得形态学闭运算后的各个引脚焊接区域。
50.首先，需要说明的是，筋膜枪供电驱动板焊接区域的裂纹区域呈现黑色长条状，裂纹区域的宽度较小，而一般情况下阴影区域的宽度会比裂纹区域的宽度大。因此，本实施例可选取尺寸大于裂纹区域的宽度，且小于或等于阴影区域的宽度的结构元素，利用该尺寸的结构元素对各个引脚焊接区域进行形态闭运算。对于闭运算后的阴影区域，其形状不变或者变化很小；对于闭运算后的裂纹区域，其形状会发生较大变化，且会滤除裂纹区域；对于正常区域的可能存在的少量正常像素点的影响较小。闭合边缘线可能由阴影边缘像素点、裂纹边缘像素点以及可能存在的少量正常像素点共同组成，为了进一步确定闭合边缘线上的各边缘像素点为裂纹边缘像素点的概率，需要确定形态闭运算后裂纹边缘像素点或者阴影边缘像素点的变化情况，裂纹边缘像素点或者阴影边缘像素点可以为目标像素点，即获得形态学闭运算后的各个引脚焊接区域，其步骤包括：s301，根据各闭合边缘线的宽度和为裂纹边缘线的概率，确定各个引脚焊接区域对应的结构元素自适应尺寸。
51.在本实施例中，基于各闭合边缘线为裂纹边缘线的概率，对各闭合边缘线的宽度赋予权重，使结构元素的自适应尺寸大于裂纹区域宽度，且小于或等于阴影区域宽度。根据各个引脚焊接区域内各闭合边缘线的宽度和为裂纹边缘线的概率，来确定各个引脚焊接区域对应的结构元素自适应尺寸，结构元素自适应尺寸的计算公式可以为：其中，为各个引脚焊接区域对应的结构元素自适应尺寸，为各个引脚焊接区域内闭合边缘线的个数，为各个引脚焊接区域内各闭合边缘线的序号，为各个引脚焊接区域内第个闭合边缘线为裂纹边缘线的概率，为各个引脚焊接区域内第个闭合边缘线的宽度，为向下取整，为预设参数。
52.在结构元素自适应尺寸的计算公式中，各个引脚焊接区域内第个闭合边缘线为裂纹边缘线的概率越大，第个闭合边缘线为裂纹边缘线的可能性就会越大，第个闭合边缘线的宽度的可信度越高；可以表征为第个闭合边缘线为裂纹边缘线的概率，可以表征为归一化处理操作，其中是为了防止分母为0的特殊情况，将作为第个闭合边缘线的宽度的权重，越大，宽度的权
重越大；表示向下取整，故需要在向下取整后加预设参数，预设参数可以设置为1，预设参数可以使结构元素自适应尺寸稍微大于裂纹区域的宽度。
53.s302，根据结构元素自适应尺寸，获得形态学闭运算后的各个引脚焊接区域。
54.在本实施例中，基于结构元素自适应尺寸f，构建f
×
f的结构元素对各个引脚焊接区域的灰度图像进行形态学闭运算，获得形态学闭运算后的各个引脚焊接区域。形态学闭运算的实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。
55.s4，确定形态学闭运算后的各个引脚焊接区域内每个目标像素点的第二清晰程度，根据每个目标像素点的第一清晰程度和第二清晰程度，确定各个目标像素点对应的各灰度级对应的权重，其步骤包括：s401，确定形态学闭运算后的各个引脚焊接区域内每个目标像素点的第二清晰程度。
56.在本实施例中，基于形态学闭运算后的各个引脚焊接区域内每个目标像素点的灰度值，参考步骤s102对应的每个像素点的第一清晰程度的计算过程，可以获得形态学闭运算后的各个引脚焊接区域内每个目标像素点的第二清晰程度，也就是第一清晰程度和第二清晰程度的计算过程保持一致，此处不再赘述第二清晰程度的计算过程。第二清晰程度是指形态学闭运算后的各个引脚焊接区域内像素点的清晰程度，而第一清晰程度是指形态学闭运算前的各个引脚焊接区域内像素点的清晰程度，这里的第一清晰程度和第二清晰程度是为了区分形态学闭运算前和形态学闭运算后。
57.s402，根据每个目标像素点的第一清晰程度和第二清晰程度，确定各个目标像素点对应的各灰度级对应的权重，其步骤包括：第一步，计算每个目标像素点的第一清晰程度和第二清晰程度的差值绝对值，将该差值绝对值作为对应目标像素点为裂纹边缘像素点的概率。
58.需要说明的是，阴影区域经过自适应尺寸的结构元素进行形态学闭运算处理后，其形状不变或者变化很小，故阴影区域的大部分边缘像素点的清晰程度不变，对于可能存在的少量正常像素点的影响也较小。而裂纹区域经过自适应尺寸的结构元素进行形态学闭运算处理后，裂纹区域会被平滑滤除，故裂纹区域的大部分边缘像素点的清晰程度较大，即经过形态学闭运算处理后的大部分裂纹边缘像素点的清晰程度变小，也就是第一清晰程度和第二清晰程度额的差异较大。因此，通过每个目标像素点的第一清晰程度和第二清晰程度之间的差异情况，来确定目标像素点为裂纹边缘像素点的概率。
59.在本实施例中，基于每个目标像素点的位置，从各个引脚焊接区域内选取每个目标像素点，并获取每个目标像素点的第一清晰程度，基于每个目标像素点的第一清晰程度和第二清晰程度，可以得到目标像素点为裂纹边缘像素点的概率，其计算公式可以为：其中，为各个引脚焊接区域内第个目标像素点为裂纹边缘像素点的概率，为各个引脚焊接区域内第个目标像素点的第一清晰程度，为各个引脚焊接区域内第个目标像素点的第二清晰程度，为求绝对值函数，为各个引脚焊接区域内每个目标像素点的序号，，为各个引脚焊接区域内目标像素点的个数，目标像素点即为引脚焊接区域内的裂纹边缘像素点或者阴影边缘像素点。
60.在目标像素点为裂纹边缘像素点的概率的计算公式中，可以表征形态学闭运算处理前后的引脚焊接区域内第个目标像素点的清晰程度的变化，越大，第个目标像素点为裂纹边缘像素点的概率越大。
61.第二步，根据每个目标像素点的灰度值，确定目标像素点对应的各灰度级，根据各灰度级的目标像素点为裂纹边缘像素点的概率，计算各灰度级对应的为裂纹边缘像素点的概率均值，将概率均值作为对应灰度级对应的权重。
62.由于本实施例将使用改进的otsu算法分割裂纹区域，此时的otsu算法的最佳分割阈值应为裂纹边缘像素点对应的灰度级。因此，需要获取目标像素点对应的各灰度级为裂纹边缘像素点的概率，并将各个引脚焊接区域内目标像素点对应的各灰度级为裂纹边缘像素点的概率作为对应灰度级的权重，以提高otsu算法的分割精度，各灰度级对应的权重的确定步骤包括：第一子步骤，根据每个目标像素点的灰度值，确定目标像素点对应的各灰度级。
63.本实施例基于每个目标像素点的灰度值，将灰度值相近的目标像素点划分到同一个灰度级内，可以获得目标像素点对应的各灰度级，划分灰度级的过程为现有技术，此处不再进行赘述。
64.第二子步骤，根据各灰度级的目标像素点为裂纹边缘像素点的概率，计算各灰度级对应的为裂纹边缘像素点的概率均值，将概率均值作为对应灰度级对应的权重。
65.在本实施例中，基于各个引脚焊接区域内各目标像素点为裂纹边缘像素点的概率，可以获得各灰度级对应的各目标像素点为裂纹边缘像素点的概率，计算各灰度级对应的为裂纹边缘像素点的概率均值，概率均值可以表征对应灰度级为裂纹边缘像素点的概率，故将概率均值作为对应灰度级对应的权重。灰度级对应的权重越大，该灰度级为分割阈值的概率就会越大。
66.s5，根据各灰度级的目标像素点的灰度值以及各灰度级对应的权重，确定各个引脚焊接区域的最佳分割阈值，利用最佳分割阈值对各个引脚焊接区域进行分割处理，获得各个引脚焊接区域的初始裂纹区域和初始非裂纹区域，其步骤包括：s501，根据各灰度级的目标像素点的灰度值以及各灰度级对应的权重，确定各个引脚焊接区域的最佳分割阈值。
67.需要说明的是，各个引脚焊接区域内目标像素点对应的各灰度级，也就是裂纹边缘像素点或者阴影边缘像素点对应的各灰度级，各灰度级中含有裂纹边缘像素点所处的灰度级，以裂纹边缘像素点对应的灰度级为otsu算法的分割裂纹的阈值遍历范围，可以有效减少灰度级的遍历范围，进而减少算法的运算量。同时，以目标像素点对应的各灰度级为裂纹边缘像素点的概率为各灰度级的权重，有助于提高otsu算法的分割精度，进而增强后续裂纹缺陷识别结果的可靠性，最佳分割阈值的确定步骤包括：第一步，根据各个引脚焊接区域内各灰度级的目标像素点的灰度值，确定各灰度级为初始分割阈值的概率，计算各灰度级为初始分割阈值的概率与对应权重的乘积，将该乘积作为对应灰度级为最佳分割阈值的概率，其步骤包括：第一子步骤，根据各个引脚焊接区域内各灰度级的目标像素点的灰度值，确定各灰度级为初始分割阈值的概率。
68.在本实施例中，各灰度级为初始分割阈值的概率的计算公式可以为：
其中，为各个引脚焊接区域内目标像素点对应的第个灰度级为初始分割阈值的概率，为otsu算法公式，为各个引脚焊接区域内灰度值小于或等于对应的灰度值的目标像素点数量占总目标像素点数量的比例，为各个引脚焊接区域内灰度值大于对应的灰度值的目标像素点数量占总目标像素点数量的比例，为各个引脚焊接区域内灰度值小于或等于对应的灰度值的各目标像素点对应的灰度均值，为各个引脚焊接区域内灰度值大于对应的灰度值的各目标像素点对应的灰度均值，为各个引脚焊接区域内目标像素点对应的第个灰度级，为各个引脚焊接区域内目标像素点对应的各灰度级的序号，，为各个引脚焊接区域内目标像素点对应的所有灰度级的个数。
69.需要说明的是，各灰度级为初始分割阈值的概率的计算过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。
70.第二子步骤，计算各灰度级为初始分割阈值的概率与对应权重的乘积，将该乘积作为对应灰度级为最佳分割阈值的概率。
71.在本实施例中，目标像素点对应的各灰度级为最佳分割阈值的概率的计算公式可以为：其中，为各个引脚焊接区域内目标像素点对应的第个灰度级为最佳分割阈值的概率，为各个引脚焊接区域内目标像素点对应的第个灰度级对应的权重，为各个引脚焊接区域内目标像素点对应的第个灰度级为初始分割阈值的概率，为各个引脚焊接区域内目标像素点对应的第个灰度级，为各个引脚焊接区域内目标像素点对应的各灰度级的序号。
72.在灰度级为最佳分割阈值的概率的计算公式中，可以表征目标像素点对应的第个灰度级为裂纹边缘像素点灰度级的概率，该概率值越大，目标像素点对应的第个灰度级为裂纹边缘像素点灰度级的可能性越大。因此，越大，目标像素点对应的第个灰度级越有可能为最佳分割阈值。
73.第二步，从各灰度级为最佳分割阈值的概率中选取最大值，将该最大值对应的灰度级作为对应引脚焊接区域的最佳分割阈值。
74.在本实施例中，目标像素点对应的各灰度级可以为目标像素点对应的各灰度级可以为，为各个引脚焊接区域内目标像素点对应的第个灰度级，为各个引脚焊接区域内目标像素点对应的各灰度级的序号，为各个引脚焊接区域内目标像素点对应的所有灰度级的个数。每个灰度级均有其对应的为最佳分割阈值的概率，为最佳分割阈值的概率也就是加权后的类间方差，从每个引脚焊接区域对应的个为最佳分割阈值的概率中选取最大值，将该最大值对应的灰度级作为对应引脚焊接区域的最佳分割阈值，每个引脚焊接区域均有其对应的最佳分割阈值。
75.需要说明的是，灰度级为最佳分割阈值的概率越大，引脚焊接区域的裂纹缺陷分割效果越好，确定最佳分割阈值有助于提高裂纹缺陷分割的准确性。
76.s502，利用最佳分割阈值对各个引脚焊接区域进行分割处理，获得各个引脚焊接区域的初始裂纹区域和初始非裂纹区域。
77.在本实施例中，利用各个引脚焊接区域的最佳分割阈值，对各个引脚焊接区域进行分割处理，也就是引脚焊接区域内灰度值小于或等于该引脚焊接区域的最佳分割阈值的像素点为初始裂纹区域内的像素点，灰度值大于该引脚焊接区域的最佳分割阈值的像素点为初始非裂纹区域内的像素点。对各个引脚焊接区域进行分割处理的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。
78.至此，本实施例获得了各个引脚焊接区域的初始裂纹区域和初始非裂纹区域。
79.s6，根据初始裂纹区域和初始非裂纹区域，确定各个引脚焊接区域的裂纹判定指标，根据裂纹判定指标和裂纹判定阈值，判断待检测筋膜枪供电驱动板是否存在裂纹缺陷。
80.首先，需要说明的是，若引脚焊接区域不存在裂纹缺陷，otsu算法也会将该引脚焊接区域划分为灰度值较小的区域和灰度值较大的区域，并将灰度值较小的区域判定为裂纹区域，造成误判，为了克服上述otsu算法的缺陷，提高裂纹缺陷检测的准确度，需要计算各个引脚焊接区域的裂纹判定指标，基于裂纹判定指标和裂纹判定阈值，来判断待检测筋膜枪供电驱动板是否存在裂纹缺陷，其步骤包括：s601，根据初始裂纹区域和初始非裂纹区域，确定各个引脚焊接区域的裂纹判定指标，其步骤包括：第一步，根据初始裂纹区域内每个像素点的灰度值和初始非裂纹区域内每个像素点的灰度值，计算初始裂纹区域对应的灰度均值和初始非裂纹区域对应的灰度均值。
81.在本实施例中，为了便于后续计算各个引脚焊接区域的裂纹判定指标，需要获得初始裂纹区域对应的灰度均值和初始非裂纹区域对应的灰度均值，将初始裂纹区域对应的灰度均值记为，初始非裂纹区域对应的灰度均值记为。
82.第二步，计算初始裂纹区域与初始非裂纹区域对应的灰度均值的差值、初始裂纹区域与初始非裂纹区域对应的灰度均值之和，并将该差值作为比值的分子、将该和作为比值的分母，将该比值作为对应引脚焊接区域的裂纹判定指标。
83.在本实施例中，各个引脚焊接区域的裂纹判定指标的计算公式可以为：其中，为各个引脚焊接区域的裂纹判定指标，为各个引脚焊接区域内初始裂纹区域对应的灰度均值，为各个引脚焊接区域内初始非裂纹区域对应的灰度均值。
84.在裂纹判定指标的计算公式中，可以表征引脚焊接区域内初始裂纹区域与初始非裂纹区域的灰度差异，该灰度差异越大，说明该引脚焊接区域内的初始裂纹区域为实际裂纹缺陷的可能性越大，灰度差异越小，说明该引脚焊接区域内的初始裂纹区域为实际裂纹缺陷的可能性越小。每个引脚焊接区域均有其对应的裂纹判定指标，确定裂纹判定指标有助于提高筋膜枪供电驱动板裂纹故障检测的准确性。
85.s602，根据裂纹判定指标和裂纹判定阈值，判断待检测筋膜枪供电驱动板是否存
在裂纹缺陷。
86.若待检测筋膜枪供电驱动板的任意一个引脚焊接区域的裂纹判定指标大于裂纹判定阈值，则判定待检测筋膜枪供电驱动板存在裂纹缺陷，否则，判定待检测筋膜枪供电驱动板不存在裂纹缺陷。
87.在本实施例中，将裂纹判定阈值记为，若待检测筋膜枪供电驱动板的任意一个引脚焊接区域的裂纹判定指标大于裂纹判定阈值，则判定待检测筋膜枪供电驱动板存在裂纹缺陷，其说明待检测筋膜枪供电驱动板上的芯片和贴片对应的引脚焊接存在故障。同时，有助于确定待检测筋膜枪供电驱动板中存在裂纹缺陷的引脚焊接区域的位置，便于后续工作人员对相应位置处的引脚焊接区域裂纹缺陷进行补焊处理。
88.其中，裂纹判定阈值的确定步骤包括：第一步，获取含有裂纹缺陷的筋膜枪供电驱动板的各个引脚焊接区域，根据含有裂纹缺陷的筋膜枪供电驱动板的各个引脚焊接区域，确定含有裂纹缺陷的筋膜枪供电驱动板的裂纹区域和非裂纹区域。
89.在本实施例中，人工选取一张含有裂纹缺陷的筋膜枪供电驱动板，利用工业相机采集含有裂纹缺陷的筋膜枪供电驱动板的表面图像，根据含有裂纹缺陷的表面图像，参考步骤s1至步骤s5的实现过程，获得表面图像中的裂纹区域和非裂纹区域。
90.第二步，根据含有裂纹缺陷的筋膜枪供电驱动板的裂纹区域和非裂纹区域内每个像素点的灰度值，确定裂纹区域对应的灰度均值和非裂纹区域对应的灰度均值。
91.在本实施例中，将裂纹区域对应的灰度均值记为，将非裂纹区域对应的灰度均值记为。
92.第三步，计算非裂纹区域与裂纹区域对应的灰度均值的差值、非裂纹区域与裂纹区域对应的灰度均值之和，并将该差值作为比值的分子、将该和作为比值的分母，将该比值与第一预设参数的乘积作为裂纹判定阈值。
93.在本实施例中，裂纹判定阈值的计算公式可以为：其中，为裂纹判定阈值，为第一预设参数，可以等于0.9，为裂纹区域对应的灰度均值，为非裂纹区域对应的灰度均值。
94.本实施例提供了一种基于人工智能的筋膜枪供电驱动板焊接故障检测方法，该检测方法通过选取图像灰度级，对图像灰度级赋予权值，来改进otsu算法，改进后的otsu算法可以实现快速精准的分割出引脚焊接区域内的裂纹缺陷的目的，其提高了筋膜枪供电驱动板故障检测结果的准确性。
95.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围，均应包含在本技术的保护范围之内。