一种基于超像素的柔性IC封装基板的铜面缺陷检测方法与流程

本发明涉及图像处理技术应用领域，特别涉及一种基于超像素的柔性ic封装基板的铜面缺陷检测方法。

背景技术：

柔性ic封装基板一般由聚酰亚胺、聚酯薄膜等高分子材料构成，具有轻薄和可弯曲的特点，在通信、电子、航空等领域的电路板制造行业中具有广泛的应用市场。随着技术的发展，柔性ic封装基板逐渐趋于高密度、高精度化，品质要求也越来越严格化，制造过程综合了化学、物理学、高分子学、光学等多方面知识，技术复杂，因此很容易生成形形色色的质量缺陷，从而影响基板的质量。传统方法中的人工目检成本高、精度低、效率低，逐渐被基于机器视觉检测所替代。而覆铜表面(以下简称“铜面”)作为柔性ic基板的重要组成部分，其缺陷(如孔洞、氧化、线路锯齿等)会严重影响基板的性能。因此，设计一种高效实用的铜面缺陷的检测算法具有重要的研究意义。

柔性ic封装基板铜面的缺陷检测一般是通过高精度摄像头扫描基板，采集到图像后通过相应的图像算法处理。现有技术中常用的表面缺陷检测方法有模板法、频谱法、边缘检测法等。模板法通过将检测对象与相关模板进行匹配，找出差异处，再利用形态学理论检测线路缺陷，其中关键在于获取模板与建立匹配模型，但在实际生产中，该方法需要大量不同的模板，针对性较强，没有普适性。频谱法则是对图像进行相应的频域变换，如gabor、小波、傅里叶变换等，可以多尺度多方向地分析纹理或频谱特征，再对特征信息聚类实现缺陷的检测。这种方法充分利用了图像的信息，但通常特征维数较高，计算量大，算法框架复杂，会涉及到较多参数的确定，不利于在实际生产线上的推广与应用。边缘检测法一般先经边缘检测算子或特定线路变换算法提取图像的边缘或轮廓，计算相应统计信息，结合色彩或几何特征得到判定策略，但该方法通常涉及二值化分割图像和线路拟合，分割阈值选择不佳会影响分割效果，甚至会模糊图像细节信息，导致检测精度不高，线路拟合过程中耗时长，计算复杂。

技术实现要素：

为了克服现有技术的缺点与不足，提供一种基于超像素的柔性ic封装基板的铜面缺陷检测方法，该方法能够保留图像的细节信息，实现对铜面缺陷例如氧化、孔洞、锯齿缺陷的定位。

本发明的目的通过下述技术方案实现：一种基于超像素的柔性ic封装基板的铜面缺陷检测方法，步骤如下：

步骤s1、首先对柔性ic封装基板原始图像进行预处理，然后采用简单线性迭代聚类法(slic)进行超像素分割，得到超像素分割图；

步骤s2、针对步骤s1分割后得到的超像素图，依据亮度信息确定铜面区域的超像素分割图，然后提取各超像素特征，结合全局特性找出含有内部孔洞和氧化缺陷的超像素区域；

步骤s3、针对步骤s2的铜面区域超像素分割图，依据梯度和邻域信息找到位于铜面与背景交接处的超像素，再获取位于铜面边缘处的超像素边界像素点，通过扫描边界像素点的邻域获取连续的铜面线路，然后对铜面线路上的边缘像素点进行特征提取和分析，找出线路锯齿缺陷。

优选的，所述步骤s1中对柔性ic封装基板图像的预处理和超像素分割具体过程如下：

步骤s11、首先对原始图像按一定比例缩放，大小n统一调整为514×613，然后采用高斯滤波器消除图像噪声，采用双边滤波器保留边缘信息，重新设定灰度值小于阈值tl0的像素点的灰度为0，得到预处理图；

步骤s12、采用slic分割法对步骤s11的预处理图进行超像素分割，得到超像素的分割结果，即每个像素点所属超像素的类别，计算每个超像素的种子点的5维特征均值

其中，超像素个数设定为k，超像素分割规整性的紧凑因子表示为m，分别表示超像素所包含的像素点在lab空间三个颜色通道上的平均值；分别表示超像素所包含像素点的x-y坐标均值；

更进一步的，所述设定的分割阈值tl0为经验值44；所述设定的超像素分割个数k为300；所述设定的紧凑因子m为35。

优选的，所述步骤s2中，针对分割后得到的超像素图，结合全局特性找出铜面内部的孔洞、氧化等缺陷超像素区域，具体过程如下：

步骤s21、根据分割后得到的各超像素亮度信息和超像素内部各像素点的邻域信息识别出位于背景的超像素，由此得到铜面区域的超像素分割图，具体为：

首先提取各超像素在lab空间中的亮度均值各像素点梯度e、各像素点八邻域梯度ea(a＝1,…,8)三种数据特征，与亮度阈值tl1、梯度阈值te对比，若同时满足：e＜te，ea＜te，则判定该超像素内部同质性较高，且属于背景区域，然后将非背景区域内的超像素认定为铜面区域的超像素，记为r1为自然数；

步骤s22、针对于步骤s21所得的铜面区域内超像素计算各超像素中像素点的在lab空间的亮度方差再对亮度方差求平均值avar^c，设置自适应阈值当满足时，把该超像素归到缺陷超像素候选集，记为r2为自然数。

步骤s23、针对于步骤s22得到的缺陷超像素候选集进一步判定缺陷，设置亮度均值阈值tl2，若某一超像素的亮度均值满足条件：则为局部过亮的超像素，认定为非缺陷的超像素并从缺陷候选集中去除，由此得到含有孔洞、氧化缺陷的超像素，记为r3为自然数。

更进一步的，所述设定的亮度阈值tl1为30～50，所述设定的梯度阈值te为10～20；所述设定的自适应阈值tvar为方差均值avar1的1.5～3倍；所述设定的亮度均值阈值tl2为60～80。

优选的，所述步骤s3中，针对于铜面区域的超像素，首先找到其中位于铜面与背景交接处的超像素，再获取位于铜面线路上的边缘像素点，对边缘像素点进行特征提取和分析，找出线路锯齿缺陷，具体过程如下：

步骤s31、针对于铜面区域内的超像素找出其相邻的超像素，通过以下公式计算包括背景在内的所有超像素的种子点到铜面区域超像素的种子点的空间距离dsp，若满足dsp＜1.5×s，则当前超像素为铜面超像素的邻域之一；

其中，s表示相邻种子点的距离，n为步骤s1所述的图像大小，k为步骤s1中所述的超像素个数，为步骤s1所得的第k个超像素的种子点x-y坐标，表示铜面区域第i个超像素的种子点x-y坐标；

步骤s32、针对步骤s31中与铜面超像素相邻的超像素，进行特征提取与分析，找出位于铜面与背景交接处的超像素，具体为：

提取与铜面超像素的相邻超像素的亮度均值若既存在又存在的情况，则表示该铜面超像素的邻域既有背景也有铜面区域的超像素，从而判定该超像素位于铜面与背景交接处，记为r4为自然数；

其中，tl1为步骤s21所述的亮度阈值；

步骤s33、针对步骤s32获得的位于铜面与背景交接处的超像素找出其中落于铜面边缘的边界像素点，通过获取各超像素中各像素点的八邻域亮度信息lp(p＝1,…,8)，若某像素点的亮度值不为0，且该像素点的八邻域像素点亮度lp既存在lp＝0，也存在lp＞10的情况，则表明该像素点位于铜面边缘处，记为

步骤s34、针对步骤s33获得的铜面边缘像素点采用遍历扫描的方式，获取连续的铜面线路，具体过程如下：

步骤s341、首先根据像素点序号找到第一个铜面边缘像素点并做标记，然后按顺时针方向扫描该像素点的八邻域，寻找后续边缘像素点，若邻域存在未被标记的边缘像素点，则把该邻域像素点作为新的扫描中心，再次进行八邻域扫描，依此循环，直至邻域无未被标记的边缘像素点或扫描到图像边界，获取到一条线路，然后进行新一轮的遍历与扫描，当所有边缘像素点均被扫描过后，可获得铜面线路候选集；

步骤s342、针对步骤s341扫描得到的铜面线路候选集，首先统计每条线路中像素点个数n和各像素点的位置坐标，将像素点数n与线路像素数阈值tn比较，若像素点数满足n＜tn，则判定该线路为虚假铜面线路，从线路候选集中去除；针对于像素点数n＞tn的线路，任选线路上一像素点作为起始点，按顺时针方向扫描该起始点的八邻域，遍历线路上的像素点，若出现终止像素点落于起始点像素点八邻域内的情况，判定该线路是闭合的，从线路候选集中去除，由此得到连续的铜面线路；

步骤s35、针对步骤s34获得的铜面线路，检测线路锯齿缺陷，首先通过长度信息得到缺陷边界候选集，再提取候缺陷边界候选集中的梯度特征并分析，进一步准确定位缺陷，具体过程为：

步骤s351、对所有铜面线路按设定的长度l平均分段，获取每小段的起始像素点与终止像素点的x-y坐标，计算两点的空间距离dl，与长度阈值tdl1、tdl2比较，若dl＜tdl1或dl＞tdl2，说明该小段可能存在锯齿缺陷，把该小段归类到缺陷边界候选集中；

其中，(x0,y0)为每小段起始像素点的坐标，(x1,y1)为每小段终止像素点的坐标，tdl1为每小段线路长度的下限，tdl2为每小段线路长度的上限；

步骤s352、针对步骤s351得到的缺陷边界候选集中的每小段，任意选取10对像素点计算位置坐标(x,y)的一阶导数，得到10组数据，再求数据的方差var^l，与方差阈值tvar^l比较，当var^l＞tvar^l时，则判定该小段存在锯齿缺陷。

更进一步的，所述设定的边界像素点数阈值tn为50～110；所述设定的长度l为40～80，所述设定的长度阈值tdl1、tdl2分别为tdl1＝l-10，tdl2＝l-10；所述的方差阈值tvar2为1。

本发明相对于现有技术具有如下的优点及效果：

本发明检测方法首先对柔性ic封装基板原始彩色图像进行滤波以及初步阈值分割处理，采用简单线性迭代聚类法(slic)得到超像素分割图；然后依据亮度特征确定铜面区域的超像素，结合全局特性提取铜面区域超像素的特征，计算超像素内部像素点的亮度差异度找出铜面内部的孔洞、氧化缺陷区域；之后依据像素的梯度和邻域信息找出位于铜面与背景交接处的超像素，获取位于铜面边缘处的边界像素点，通过扫描边界像素点的邻域获取连续的铜面线路，对铜面线路上的边缘像素点进行特征提取和分析，找出线路锯齿缺陷。由上述可见，本方法保留了图像的彩色信息及边缘细节，利用slic超像素分割方法，能够实现铜面区域的合理分割和铜面边缘的精准提取，根据图像的颜色分布和空间分布实现了对铜面孔洞、氧化缺陷和线路锯齿缺陷的定位，对布线密度高、图像亮度不均匀的柔性ic封装基板具有更高的检测精度，解决了现有技术中柔性ic封装基板缺陷检测精度低、针对性强的问题。

附图说明

图1是本发明方法的流程图。

图2是柔性ic封装基板的原始图像。

图3是柔性ic封装基板的超像素分割图。

图4是柔性ic封装基板的铜面区域超像素图。

图5是柔性ic封装基板的铜面缺陷检测示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本实施例公开了一种基于超像素的柔性ic封装基板的铜面缺陷检测方法，如图1—图5所示，步骤如下：

步骤s1、首先对如图2所示的柔性ic封装基板原始图像进行滤波及初步阈值分割处理，然后采用简单线性迭代聚类法(slic)进行超像素分割，得到超像素分割图；

其中在本实施例中，本步骤对柔性ic封装基板图像的预处理和超像素分割具体过程如下：

步骤s11、首先对原始图像按一定比例缩放，大小n统一调整为514×613，然后采用高斯滤波器消除图像噪声，采用双边滤波器保留边缘信息，重新设定灰度值小于阈值tl0的像素点的灰度为0，得到预处理图；

步骤s12、采用slic分割法对步骤s11的预处理图进行超像素分割，得到超像素的分割结果，即每个像素点所属超像素的类别，计算每个超像素的种子点的5维特征均值，具体过程如下：

步骤s121、针对于步骤s11的预处理图，首先进行颜色空间转换，从rgb空间变换为lab空间，然后根据设定的超像素个数k及图像大小n初始化k个聚类种子点，具体为：

通过以下公式计算出相邻种子点的间距，即步长s，从图像左上角开始，初始种子点位置为按先行后列的顺序等间隔初始化其他种子点；

调整更新落在边缘或噪声处的种子点，利用亮度信息计算所有像素点的梯度值，再在初始种子点的33邻域里找梯度最小值点，把它作为新的种子点；

步骤s122、选取像素点的颜色和位置信息构成5维特征{l,a,b,x,y}，在种子点2s×2s范围内计算覆盖到的像素点与种子点的距离d，像素点归类到与其距离最近的种子点区域中，类别定义为种子点的序号；

其中dc、ds分别为像素点与种子点之间的颜色、位置欧式距离，x,y分别表示像素点的x-y坐标，l,a,b分别表示像素点在lab空间三个颜色通道上的平均值d为综合距离，m为保证超像素分割规整性的紧凑因子；

步骤s123、在所有像素点均遍历过且归类后，相同类别的像素点构成一个超像素，把同类别像素点的颜色、空间5维特征{l,a,b,x,y}对应相加求和后，除以该类别像素点的总个数，求得平均值把该均值点作为该超像素新的种子点，然后再反复迭代步骤s122，更新像素点的聚类结果，直到达到迭代次数上限；

其中，分别表示超像素所包含的像素点在lab空间三个颜色通道上的平均值；分别表示超像素所包含像素点的x-y坐标均值；

步骤s124、迭代完毕后，对聚类结果增强连通性，通过遍历所有超像素，计算其包含的像素点个数，找出像素点个数小于的超像素，将此超像素合并至邻近超像素，得到最终的超像素分割图，如图3所示。

在本实施例中,设定的分割阈值tl0为经验值44；设定的超像素分割个数k为300；设定的紧凑因子m为35，设定的迭代次数为10次。

步骤s2、针对于步骤s1分割后得到的超像素图，依据亮度信息确定铜面区域的超像素，然后提取各超像素特征，结合全局特性找出含有内部孔洞和氧化缺陷的超像素区域。

其中在本实施例中，本步骤对分割后得到的超像素图，结合全局特性找出铜面内部的孔洞、氧化等缺陷区域，具体过程如下：

步骤s21、根据分割后得到的各超像素亮度信息和超像素内部各像素点的邻域信息识别出位于背景的超像素，由此得到铜面区域的超像素分割图，具体为：

首先提取各超像素在lab空间中的亮度均值各像素点梯度e、各像素点八邻域梯度ea(a＝1,…,8)三种数据特征，与亮度阈值tl1、梯度阈值te对比，若同时满足：e＜te，ea＜te，则判定该超像素内部同质性较高，且属于背景区域，然后将非背景区域内的超像素认定为铜面区域的超像素，记为r1为自然数；

其中，所述设定的亮度阈值tl1为30～50，所述设定的梯度阈值te为10～20，在本实施例中tl1＝40，te＝10；

步骤s22、针对于步骤s21所得的铜面区域内超像素计算各超像素中像素点的在lab空间的亮度方差再对亮度方差求平均值avar^c，设置自适应阈值当满足时，把该超像素归到缺陷超像素候选集，记为r2为自然数；

步骤s23、针对于步骤s22得到的缺陷超像素候选集进一步判定缺陷，设置亮度均值阈值tl2，若某一超像素的亮度均值满足条件：则为局部过亮的超像素，认定为非缺陷的超像素并从缺陷候选集中去除，由此得到含有孔洞、氧化缺陷的超像素，记为r3为自然数。

更进一步的，所述设定的自适应阈值tvar为方差均值的1.5～3倍；所述设定的亮度均值阈值tl2为60～80；在本实例中tvar为方差均值的1.5倍，tl2＝70。

步骤s3、针对于步骤s2的铜面区域超像素分割图，依据梯度和邻域信息找到位于铜面与背景交接处的超像素，再获取位于铜面边缘处的超像素边界像素点，通过扫描边界像素点的邻域获取连续的铜面线路，然后对铜面线路上的边缘像素点进行特征提取和分析，找出线路锯齿缺陷。

其中在本实施例中，本步骤针对于图4所示铜面区域的超像素，首先找到其中位于铜面与背景交接处的超像素，再获取位于铜面线路上的边缘像素点，对边缘像素点进行特征提取和分析，找出线路锯齿缺陷，具体过程如下：

步骤s31、针对于铜面区域内的超像素找出其相邻的超像素，通过以下公式计算包括背景在内的所有超像素的种子点到铜面区域超像素的种子点的空间距离dsp，若满足dsp＜1.5×s，则当前超像素为铜面超像素的邻域之一；

其中，s表示相邻种子点的距离，n为步骤s1所述的图像大小，k为步骤s1中所述的超像素个数，为步骤s1所得的第k个超像素的种子点x-y坐标，表示铜面区域第i个超像素的种子点x-y坐标；

步骤s32、针对于步骤s31中与铜面超像素相邻的超像素，进行特征提取与分析，找出位于铜面与背景交接处的超像素，具体为：

提取与铜面超像素的相邻超像素的亮度均值若既存在又存在的情况，则表示该铜面超像素的邻域既有背景也有铜面区域的超像素，从而判定该超像素位于铜面与背景交接处，记为r4为自然数；

其中，tl1为步骤s21所述的亮度阈值；

步骤s33、针对于步骤s32获得的位于铜面与背景交接处的超像素找出其中落于铜面边缘的边界像素点，通过获取各超像素中各像素点的八邻域亮度信息lp(p＝1,…,8)，若某像素点的亮度值不为0，且该像素点的八邻域像素点亮度lp既存在lp＝0，也存在lp＞10的情况，则表明该像素点位于铜面边缘处，记为

步骤s34、针对于步骤s33获得的铜面边缘像素点采用遍历扫描的方式，获取连续的铜面线路，具体过程如下：

步骤s341、首先根据像素点序号找到第一个铜面边缘像素点并做标记，然后按顺时针方向扫描该像素点的八邻域，寻找后续边缘像素点，若邻域存在未被标记的边缘像素点，则把该邻域像素点作为新的扫描中心，再次进行八邻域扫描，依此循环，直至邻域无未被标记的边缘像素点或扫描到图像边界，获取到一条线路，然后进行新一轮的遍历与扫描，当所有边缘像素点均被扫描过后，可获得铜面线路候选集；

步骤s342、针对于步骤s341扫描得到的铜面线路候选集，首先统计每条线路中像素点个数n和各像素点的位置坐标，将像素点数n与线路像素数阈值tn比较，若像素点数满足n＜tn，则判定该线路为虚假铜面线路，从线路候选集中去除；针对于像素点数n＞tn的线路，任选线路上一像素点作为起始点，按顺时针方向扫描该起始点的八邻域，遍历线路上的像素点，若出现终止像素点落于起始点像素点八邻域内的情况，判定该线路是闭合的，从线路候选集中去除，由此得到连续的铜面线路；

其中，所述设定的边界像素点数阈值tn为50～110，在本实施例中为50；

步骤s35、针对于步骤s34获得的铜面线路，检测线路锯齿缺陷，首先通过长度信息得到缺陷边界候选集，再提取候缺陷边界候选集中的梯度特征并分析，进一步准确定位缺陷，具体过程为：

步骤s351、对所有铜面线路按设定的长度l平均分段，获取每小段的起始像素点与终止像素点的x-y坐标，计算两点的空间距离dl，与长度阈值tdl1、tdl2比较，若dl＜tdl1或dl＞tdl2，说明该小段可能存在锯齿缺陷，把该小段归类到缺陷边界候选集中；

其中，(x0,y0)为每小段起始像素点的坐标，(x1,y1)为每小段终止像素点的坐标，tdl1为每小段线路长度的下限，tdl2为每小段线路长度的上限；

步骤s352、针对于步骤s351得到的缺陷边界候选集中的每小段，任意选取10对像素点计算位置坐标(x,y)的一阶导数，得到10组数据，再求数据的方差var^l，与方差阈值tvar^l比较，当var^l＞tvar^l时，则判定该小段存在锯齿缺陷。

其中，设定的长度l为40～80，所述设定的长度阈值tdl1、tdl2分别为tdl1＝l-10，tdl2＝l-10；在本实施例中，l＝50，tdl1＝40，tdl2＝30，方差阈值tvar2＝1。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。