基于人工智能的气密性检测多气孔识别方法与系统与流程

[0001]
本发明涉及人工智能技术领域，具体涉及一种基于人工智能的气密性检测多气孔识别方法与系统。


背景技术：

[0002]
传统的发动机气密性检测方法一般采用浸泡法，即将器件放置于适量水的检测槽中，根据水深和浸泡的时间来应对各级ip防水等级测试。目前对于气密性检测过程中，通过检测单气孔产生的气泡，进而判断气密性检测结果。
[0003]
发明人在实践中，发现上述现有技术存在以下缺陷：在检测的过程中，器件在极为靠近的位置可能存在两个或者两个以上的气孔，并且这些气孔也会由于出现泄露情况产生气泡，然而由于气孔的位置过近或者前后覆盖，常常在气密性检测过程中被认为是同一个气孔产生的，从而使检测结果存在较大的误差。


技术实现要素：

[0004]
为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的气密性检测多气孔识别方法与系统，所采用的技术方案具体如下：
[0005]
第一方面，本发明实施例提供了一种基于人工智能的气密性检测多气孔识别方法，该方法包括以下具体步骤：
[0006]
将采集的多帧图像输入第一神经网络进行关键点检测，得到关键点坐标差，所述关键点为检测槽中横隔板的角点；
[0007]
根据由所述关键点坐标差和所述检测槽中气泡的初始最大离散宽度所建立的气泡离散宽度模型得到气泡的最大离散宽度；
[0008]
当所述气泡的最大离散宽度大于离散宽度的预设阈值时，则确定疑似多气孔存在；当所述气泡的最大离散宽度小于或等于所述离散宽度的预设阈值，且所述气泡数量大于气泡数量阈值时，则确定疑似多气孔存在；
[0009]
根据气泡的特征进行分类，当气泡类别的数量大于或等于2时，确定多气孔存在，且所述气泡类别的数量即为气孔数量。
[0010]
所述气泡的初始最大离散宽度的获取方法，包括：
[0011]
将所述图像输入第二神经网络得到气泡的二值图像；
[0012]
将所述二值图像通过边缘检测算法得到气泡的边缘点坐标；
[0013]
计算所述边缘点坐标中横坐标的最大差值，即为所述气泡的初始最大离散宽度。
[0014]
所述气泡离散度模型为：
[0015][0016]
其中，w为所述气泡的最大离散宽度；d为所述关键点坐标差；α和γ分别为影响气泡离散度的因子，是常数；μ为气泡平均离散宽度。
[0017]
所述根据气泡的特征进行分类的方法，包括：
[0018]
根据所述边缘点坐标通过聚类算法，得到单个气泡的分布图像；
[0019]
将所述单个气泡的分布图像进行匹配，得到所述气泡的类别。
[0020]
所述聚类算法包括：
[0021]
利用欧式距离计算相邻气泡的边缘点坐标之间的最小距离；
[0022]
当所述最小距离的一半大于距离阈值时，进行聚类。
[0023]
第二方面，本发明实施例中提供了一种基于人工智能的气密性检测多气孔识别系统，该系统包括：关键点检测单元，用于将采集的多帧图像输入第一神经网络进行关键点检测，得到关键点坐标差，所述关键点为检测槽中横隔板的角点；
[0024]
离散宽度检测单元，用于根据由所述关键点坐标差和所述检测槽中气泡的初始最大离散宽度所建立的气泡离散宽度模型得到气泡的最大离散宽度；
[0025]
多气孔识别单元，用于当所述气泡的最大离散宽度大于离散宽度的预设阈值时，则确定疑似多气孔存在；当所述气泡的最大离散宽度小于或等于所述离散宽度的预设阈值，且所述气泡数量大于气泡数量阈值时，则确定疑似多气孔存在；以及
[0026]
多气孔检验单元，用于根据气泡的特征进行分类，当气泡类别的数量大于或等于2时，确定多气孔存在，且所述气泡类别的数量即为气孔数量。
[0027]
所述离散宽度检测单元，包括：
[0028]
图像处理单元，用于将所述图像输入第二神经网络得到气泡的二值图像；以及
[0029]
边缘检测单元，用于将所述二值图像通过边缘检测算法得到气泡的边缘点坐标；
[0030]
数据分析单元，用于计算所述边缘点坐标中横坐标的最大差值，即为所述初始气泡的最大离散宽度。所述离散宽度检测单元中所述气泡离散度模型为：
[0031][0032]
其中，w为所述气泡的最大离散宽度；d为所述关键点坐标差；α和γ分别为影响气泡离散度的因子，是常数；μ为气泡平均离散宽度。
[0033]
所述多气孔检验单元，包括：
[0034]
聚类单元，用于根据所述边缘点坐标通过聚类算法，得到单个气泡的分布图像；以及
[0035]
匹配单元，用于将所述单个气泡的分布图像进行图像匹配，得到所述气泡的类别。
[0036]
所述聚类单元，包括：
[0037]
距离检测单元，用于利用欧式距离计算相邻气泡的边缘点坐标之间的最小距离；以及
[0038]
距离判断单元，用于当所述最小距离的一半大于距离阈值时，进行聚类。
[0039]
本发明实施例中至少存在以下有益效果：(1)根据水体晃动程度来确定气泡的最大离散宽度，结合气泡的数量判断多气孔的存在，使得多气孔判断的结果更准确。
[0040]
(2)结合聚类算法和图像匹配的联合应用进一步检验多气孔存在的准确性，减少气孔数量识别的误差，使得气密性检测结果更加准确。
[0041]
(3)利用聚类算法，能够防止聚类出现误差，进而使得气泡的分类结果更加准确。
附图说明
[0042]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0043]
图1为本发明一个实施例所提供的一种基于人工智能的气密性检测多气孔识别方法的流程图；
[0044]
图2为本发明一个实施例所提供的一种基于人工智能的气密性检测多气孔识别方法的步骤流程图；
[0045]
图3为本发明实施例所提供的关于气密性检测场景示例图；
[0046]
图4为本发明实施例所提供的关于气泡离散宽度的示例图；
[0047]
图5为本发明另一个实施例所提供的一种基于人工智能的气密性检测多气孔识别系统的结构框图；
[0048]
图6为本发明实施例所提供的关于离散宽度检测单元的结构框图；
[0049]
图7为本发明实施例所提供的关于多气孔检测单元的结构框图；
[0050]
图8为本发明实施例所提供的关于聚类单元的结构框图。
具体实施方式
[0051]
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的气密性检测多气孔识别方法与系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0052]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0053]
下面结合附图具体的说明本发明所提供的一种基于人工智能的气密性检测多气孔识别方法与系统的具体方案。
[0054]
参照附图1和附图2，本发明实施例提供了一种基于人工智能的气密性检测多气孔识别方法，该方法包括以下具体步骤：
[0055]
步骤s001，将采集的多帧图像输入第一神经网络进行关键点检测，得到关键点坐标差，关键点为检测槽中横隔板的角点。
[0056]
步骤s002，根据由关键点坐标差和检测槽中气泡的初始最大离散宽度所建立的气泡离散度模型得到气泡的最大离散宽度。
[0057]
步骤s003，当气泡的最大离散宽度大于离散宽度的预设阈值时，则确定疑似多气孔存在；当气泡的最大离散宽度小于或等于离散宽度的预设阈值，且气泡数量大于气泡数量阈值时，则确定疑似多气孔存在。
[0058]
步骤s004，根据气泡的特征进行分类，当气泡类别的数量大于或等于2时，确定多气孔存在，且气泡类别的数量即为气孔数量。
[0059]
进一步地，步骤s001中，本发明实施例需要在水体清晰度较好且依靠人眼初始判
断水体处于稳定状态时，利用相机进行多帧图像的采集。
[0060]
由于人眼对水体小幅度晃动变化的感知并不敏感，所以为防止水体小幅度晃动时对气泡的离散产生较大的影响，采用神经网络进行水体晃动幅度的检测。
[0061]
参照附图3，在检测槽1中装有适量的水2，在水体中放置有横隔板3以及待测的工件7，其中横隔板3的宽度小于检测槽的宽度。由于镜象作用，在检测槽1的上部形成虚像横隔板6和虚像工件8。
[0062]
在水体晃动时，虚像会随之产生波动，也即虚像横隔板6的左角点4和右角点5会发生角点位置变化。由于左角点4和右角点5对称，故本发明实施例中优先选择右角点5为关键点来检测水体的晃动幅度。
[0063]
进一步地，采用编码器-解码器结构的dnn网络进行训练，具体训练过程为：
[0064]
1)采集数据集，数据集为固定相机视角下拍摄的多帧图像，将数据集中80％作为训练集，剩余的20％作为验证集。
[0065]
2)标签数据标注。先在数据图像同等大小的单通道上标注出上侧右角点5的位置，然后使用高斯核进行处理，形成关键点热斑。
[0066]
3)训练过程中损失函数采用的是均方差损失函数。
[0067]
将单帧图像送入训练好的dnn网络中，检测到上侧右角点5的关键点，进而得到右角点5的坐标。
[0068]
将多帧图像中前后帧的右角点坐标中纵向坐标作差，得到最大纵坐标和最小纵坐标之间的坐标差值d，进而反映水体的晃动幅度。
[0069]
进一步地，步骤s002中，根据先验知识，水体的晃动程度越大，气泡的离散宽度越大，利用上侧角点的坐标差值d和气泡的最大离散宽度w，建立气泡离散度模型，即气泡离散度模型为：
[0070][0071]
其中，α、γ为相应影响因子，是待定系数；μ为水体晃动幅度为0时的气泡平均离散宽度。
[0072]
需要说明的是，对于气泡平均离散宽度μ的取值，本发明实施例中选取20个像素距离的气泡平均离散宽度。
[0073]
进一步地，对于气泡离散度模型中待定系数α和γ可以通过采集多个样本数据{d，w}进行数据拟合得到，数据拟合的具体过程如下：
[0074]
第一步，将采集的多帧图像送入编码器-解码器结构的语义分割网络进行训练，得到气泡的二值图像，具体训练过程如下：
[0075]
1)将采集的多帧图像作为数据集，对多帧图像进行标签数据标注，即气泡标注为1，除气泡外标注为0。随机选择数据集的80％作为训练集，剩余的20％作为验证集。
[0076]
2)将多帧图像和标签数据输入语义分割网络中，利用编码器抽取图像特征，并将通道数变换为类别数，得到特征图；将特征图通过解码器把特征图的高和宽变换为输入图像的尺寸，从而得到气泡的二值图像。
[0077]
3)语义分割网络中的损失函数使用交叉熵损失函数。
[0078]
第二步，参照附图4，将气泡的单帧二值图像通过canny边缘检测算法得到各个气
泡的边缘点坐标，具体检测过程如下：
[0079]
1)使用高斯矩阵乘以二值图像中每一个像素点及其邻域，取带权重的平均值作为最后的灰度值。
[0080]
2)通过点乘一个sobel算子或其他算子得到不同方向的梯度值g
x
(m，n)，g
y
(m，n)。
[0081]
3)过滤非最大值，即过滤掉非边缘的点，并使得边缘的宽度尽可能为一个像素点的宽度。如果一个像素点属于边缘点，则这个像素点在梯度方向上的梯度值最大，反之则不是边缘点，并将其灰度值设为0。
[0082]
4)设置两个阈值，分别为最大阈值和最小阈值，将大于最大阈值的像素点视为边缘点，小于最小阈值的像素点视为非边缘点。对于中间的像素点，如果与已确定为边缘点的像素点邻接，则认为是边缘点，否则认为非边缘点。
[0083]
5)通过1)至4)过程遍历所有气泡的边缘点坐标，并利用得到的各个气泡的边缘点坐标中横坐标作差，得到边缘气泡之间的最大距离，也即是该帧图像所对应的气泡的初始最大离散宽度。
[0084]
将得到的多帧图像中分别所对应的气泡的初始最大离散宽度和上侧右角点5的坐标差值，带入建立的气泡离散度模型中，构建多个方程组，计算得到待定系数α和γ的值。
[0085]
结合得到的α和γ的值和气泡离散度模型，最终确定一个完整的气泡离散度模型，并且根据气泡的离散度模型能够检测出气泡的最大离散宽度。
[0086]
进一步地，步骤s003中，根据上述气泡离散度模型得到气泡的最大离散宽度，结合离散宽度的预设阈值和气泡的数量，判断疑似多气孔存在，具体判断过程如下：
[0087]
1)当气泡的最大离散宽度w大于离散宽度的预设阈值时，则确定疑似多气孔存在；
[0088]
2)当气泡的最大离散宽度w小于或等于离散宽度的预设阈值时，考虑到当气孔紧邻或者前后覆盖的时候，多气孔产生的气泡的最大离散宽度也会在离散宽度的预设阈值范围内，所以结合气泡的数量进行判断。
[0089]
3)选取多帧气泡的二值图像，计算图像中包含的气泡数量，得到气泡均值n
a
，即单帧图像中气泡的数量。当气泡均值n
a
大于气泡数量阈值时，则确定疑似多气孔存在。
[0090]
需要说明的是，根据先验知识，单气孔产生的气泡在每帧图像中有6～8个，所以本发明实施例中优先选择将气泡数量阈值取值为10。
[0091]
进一步地，步骤s004中，对于确定疑似多气孔存在的情况，本发明实施例中使用具有噪声且基于密度的dbscan聚类算法对每个气泡进行聚类提取，得到单帧图像中单个气泡的分布图像，dbscan聚类算法的主要过程为：
[0092]
1)初始化气泡核心点对象集合聚类簇数k＝0，气泡的样本集合t＝d,簇划分
[0093]
2)扫描气泡核心点对象集合和样本集合，找任意一个气泡核心点，以这个气泡核心点为中心进行扩充。扩充的方法为寻找从这个气泡核心点出发的所有密度相连的其他气泡核心点。其中最重要的两个参数，定义密度时的邻域半径r和定义核心点对象数量时的阈值mpts均可由气泡的先验数据得到。
[0094]
3)遍历这个气泡核心点的邻域内的其他气泡核心点并寻找与其他气泡核心点密度相连的气泡核心点，直到没有可以扩充的气泡核心点为止。
[0095]
4)重复扫描气泡核心点对象集合和样本集合，寻找没有被聚类的气泡核心点并重
复上述步骤直到气泡核心点对象集合和样本集合中没有新的气泡核心点为止，最终输出为簇划分c＝{c1，c2，...，c
k
}。进一步地，考虑到每个气密性检测环境和气泡形变的不同，得到的气泡成像也是不相同的。但如果仅由先验数据确定领域半径r和阈值mpts，当多气泡分布较为密集，可能会出现将几个气泡聚为一类的情况。故本发明实施例中采用视觉感知技术设定相应的参数进行聚类，具体过程如下：
[0096]
1)根据上述由canny边缘检测算法得到的各个气泡的边缘点坐标，将每个气泡的边缘点所组成的气泡集合按顺序进行标记。
[0097]
2)计算气泡集合中两两之间的欧式距离，得到两个气泡集合之间最小的距离dist
min
。
[0098]
3)确定领域半径当领域半径r大于阈值mpts时，可以进行聚类。
[0099]
需要说明的是，本发明实施例中优先选取阈值mpts为5。
[0100]
进一步地，对于得到的单个气泡图像，本发明实施例中采用归一化互相关匹配算法对单个气泡进行图像特征匹配。匹配的具体过程如下：
[0101]
1)随机选择一个单个气泡图像作为模板图像，剩下的单个气泡图像作为匹配图像。
[0102]
2)将匹配图像和模板图像通过归一化互相关匹配算法得到两个图像之间的互相关值，即ncc值。
[0103]
3)当ncc值大于匹配阈值时，将此时匹配的两个图像归为一类，并用红色标记出来；当ncc值小于或等于匹配阈值时，将图像分为两类，并将此时的两个图像都作为模板图像与其他匹配图像进行匹配。
[0104]
4)将单帧图像中所有的单个气泡图像，通过3)依次进行匹配，根据红色标记的数量统计气泡分类的数目，也即是初始判断多气孔的气孔数量。
[0105]
需要说明的是，本发明实施例中匹配阈值的范围为[-1,1]之间，其中，1代表匹配图像与模板图像之间的互相关很高，-1则表示匹配图像与模板图像之间完全不相关。
[0106]
进一步地，本发明实施例中归一化互相关匹配算法采用基于图像灰度信息的匹配算法，具体的匹配算法步骤如下：
[0107]
1)获取模板图像中每个像素点的灰度值t(x，y)、平均像素灰度值u
t
和标准方差σ
t
。
[0108]
2)获取匹配图像中每个像素点的灰度值f(x，y)、平均像素灰度值u
f
和标准方差σ
f
。
[0109]
3)归一化数据的方法是将一个像素点所对应的灰度值和所有像素点的平均灰度值作差，然后除以标准方差。
[0110]
4)基于模板图像的大小，利用匹配图像中每个像素点从左到右、从上到下依次计算得到模板图像和匹配图像的ncc值，ncc值计算公式为：
[0111][0112]
其中，n表示模板图像中像素点总数；n-1是自由度；i为第i个像素点；m为像素点总数。
[0113]
综上所述，本发明实施例提供了一种基于人工智能的气密性检测多气孔识别方法，该方法利用气密性检测环境中检测槽与水面成像的一个交点坐标差和气泡的初始最大
离散宽度建立气泡离散度模型，通过气泡离散度模型能够得到一个精确的气泡的最大离散宽度，从而确定疑似多气孔存在，利用dbsacn聚类算法和图像归一化算法分析气泡的特征，对气泡进行分类，根据气泡类别的数量确定多气孔存在，进而能够得到一个具体的气孔数量。根据水体晃动程度来确定气泡的最大离散宽度，结合气泡的数量判断多气孔的存在，使得多气孔判断的结果更准确，再结合聚类算法和图像匹配的联合应用进一步检验多气孔存在的准确性，能够减少气孔数量识别的误差，使得气密性检测结果更加准确。
[0114]
基于与上述方法相同的发明构思，本发明实施例还提供了一种基于人工智能的气密性检测多气孔识别系统。
[0115]
参照附图5，本发明实施例提供了一种基于人工智能的气密性检测多气孔识别系统，该系统包括：关键点检测单元10、离散宽度检测单元20、多气孔识别单元30以及多气孔检验单元40。关键点检测单元10用于将采集的多帧图像输入第一神经网络进行关键点检测，得到关键点坐标差，关键点为检测槽中横隔板的角点；离散宽度检测单元20用于根据由关键点坐标差和检测槽中气泡的初始最大离散宽度所建立的气泡离散宽度模型得到气泡的最大离散宽度；多气孔识别单元30用于当气泡的最大离散宽度大于离散宽度的预设阈值时，则确定疑似多气孔存在；当气泡的最大离散宽度小于或等于离散宽度的预设阈值，且气泡数量大于气泡数量阈值时，则确定疑似多气孔存在；多气孔检验单元40用于根据气泡的特征进行分类，当气泡类别的数量大于或等于2时，确定多气孔存在，且气泡类别的数量即为气孔数量。
[0116]
进一步地，参照附图6，离散宽度检测单元20包括图像处理单元21、边缘检测单元22以及数据分析单元23。
[0117]
图像处理单元21用于将图像输入第二神经网络得到气泡的二值图像；边缘检测单元22用于将二值图像通过边缘检测算法得到气泡的边缘点坐标；数据分析单元23用于计算边缘点坐标中横坐标的最大差值，即为初始气泡的最大离散宽度。
[0118]
进一步地，离散宽度检测单元中气泡离散度模型为：
[0119][0120]
其中，w为气泡的最大离散宽度；d为关键点坐标差；α和γ分别为影响气泡离散度的因子，是常数；μ为气泡平均离散宽度。
[0121]
进一步地，参照附图7，多气孔检验单元40包括聚类单元41和匹配单元42。
[0122]
聚类单元41用于根据边缘点坐标通过聚类算法，得到单个气泡的分布图像；匹配单元42用于将单个气泡的分布图像进行图像匹配，得到气泡的类别。
[0123]
进一步地，参照附图8，聚类单元41包括距离检测单元411和距离判断单元412。
[0124]
距离检测单元411用于利用欧式距离计算相邻气泡的边缘点坐标之间的最小距离，距离判断单元412用于当最小距离的一半大于距离阈值时，进行聚类。
[0125]
综上所述，本发明实施例提供了一种基于人工智能的气密性检测多气孔识别系统，该系统包括关键点检测单元10、离散宽度检测单元20、多气孔识别单元30以及多气孔检验单元40。该系统在关键点检测单元10利用气密性检测环境中检测槽与水面成像的一个交点坐标差，通过离散宽度检测单元20中气泡离散度模型能够得到一个精确的气泡的最大离散宽度，结合多气孔识别单元30从而确定疑似多气孔存在，再通过多气孔检验单元40确定
多气孔存在，进而能够得到一个具体的气孔数量。根据气密性检测环境中检测槽与水面成像的一个交点坐标差和气泡的最大离散宽度，结合气泡的数量判断多气孔的存在，使得多气孔判断的结果更准确，再结合聚类算法和图像匹配的联合应用进一步检验多气孔存在的准确性，能够减少气孔数量识别的误差，使得气密性检测结果更加准确。
[0126]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0127]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0128]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。