基于BP神经网络的FICS金手指缺陷检测系统及检测方法与流程

本发明属于缺陷检测的技术领域，涉及一种基于bp神经网络的fics金手指缺陷检测系统及方法。

背景技术

无贴膜fics的研究主要集中在两种，一种是不需要贴膜的柔性基板成品，也叫光板，另一种则是在覆膜柔性基板成品上不需要被贴膜的部位，即焊接元器件用的金手指。金手指是线路密度最高的关键部位，对fics与ic及外围器件的连接可靠性起着决定性作用。随着fics使用率的加大和质量要求的提高，人们越来越多关注地fics的外观质量检测。目前，针对金手指的压痕、划痕、露铜几类缺陷的检测系统或方法寥寥无几，即便是针对其他类型缺陷的检测系统，通常也是基于单线程的多任务处理，工作效率不高。本系统及方法不仅实现多类缺陷的同时检测，能较好地避免不同光照强度下金手指成像检测的缺陷误报，并且在准确率和工作效率上都能适应工厂的现场要求。

技术实现要素：

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于bp神经网络的fics金手指缺陷检测系统及方法，本发明能较好地避免不同光照强度下金手指成像检测的缺陷误报，并且在准确率和工作效率上都能适应工厂的现场要求。

为了达到上述目的，本发明采用以下技术方案：

本发明一种基于bp神经网络的fics金手指缺陷检测系统，包括图像采集子系统、缺陷检测模块以及数据分析模块；

所述图像采集子系统，用于控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置；

缺陷检测模块，用于提取柔性基板输入图样的灰度图和二值图，并对确定存在缺陷的金手指局部区域进行图像的分割，针对分割后的图像进行九类特征数据的计算，所述九类特征数据包括缺陷区域面积、缺陷区域个数、矩形度、圆形度、最小外接矩形的长宽比以及灰度共生矩阵的熵值、能量、对比度、一致性；

数据分析模块，用于判断该柔性基板金手指部位的缺陷类别，并对缺陷区域进行标注，所述数据分析模块中包括bp神经网络分类器，并以九类特征数据组成输入向量传入bp神经网络分类器，计算输出向量，并以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。

作为优选的技术方案，所述图像采集子系统包括运动控制模块和图像采集模块；

所述运动控制模块，用脉冲信号控制载物平台移动到目标位置供相机拍照；

所述图像检测模块，用于判断该柔性基板金手指部位的缺陷类别，并对缺陷区域进行标注，其中使用到了bp神经网络分类器，以九类特征数据组成输入向量计算输出向量。

本发明还提供了一种基于bp神经网络的fics金手指缺陷检测系统的检测方法，包括下述步骤：

s1、图像采集子系统控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置；

s2、通过“输入图像保护机制”，确保输入图像是金手指图样，否则弹窗警报并退出检测流程；

所述“输入图像保护机制”目标是为了防止非金手指区域图样的输入导致算法奔溃，对系统乃至硬件机台造成不必要的影响；

s3、通过形态学处理提取金手指区域，即将二值图中代表金手指的地方置1，其余非金手指的地方置0；

s4、对每一条金手指进行单独分析，分析其中是否存在缺陷存疑区域，若有，则对该区域进行分割并保存到待计算图片缓冲区里，否则跳出程序进行下一张图片的分析；

s5、对缓冲区里的图片按缺陷检测模块要求，先判断其存在缺陷的确定性，再对确定含有缺陷的图片计算九类特征数值；

s6、以九类特征数值组成的向量作为输入向量，传入数据分析模块中的bp神经网络，计算输出向量，并以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。

作为优选的技术方案，所述步骤s1包括下述步骤：

s1.1、针对柔性基板的金手指部位进行缺陷的精密检测，因此目标采集图样集中在金手指部位，非金手指部位不作采图操作处理；

s1.2、现场批量生产的柔性基板，其模板数据信息都有存档，通过划分每一类柔性基板中金手指所在区域并将所有定位坐标信息存入本系统数据库，即可建立本文所需柔性基板金手指部位模板数据库；

s1.3、按数据库中对应目标基板的金手指坐标位置换算成脉冲信号，控制载物平台移动到目标位置进行图像采集。

作为优选的技术方案，所述步骤s2包括：

s2.1、输入图像保护机制，用于保证只有输入图像是本缺陷检测系统中的金手指才可进行缺陷检测，否则弹窗警报并退出检测流程；

s2.2、统计输入图像的平滑直方图，若直方图中双峰之间的距离较远则视为输入图像合法，继续检测流程，否则停止检测并弹窗警告；

s2.3、在图像一半宽度位置从上往下检索每条金手指的中心点位置，以每个中心点为中心，从0°开始，以10°为间隔画直线作线性检测；

s2.4、线性检测是指落在直线上的目标区域长度占比，若线性检测得到的占比值大于本系统设定阈值，则视为输入图像合法，继续检测流程，否则停止检测并弹窗警告。

作为优选的技术方案，所述步骤s3包括：

s3.2、以输入图像的平滑直方图中波谷值为阈值对图像进行二值化，这里采用基于插值法的直方图平滑，设步长step，对直方图f上某点x，按下述公式计算其平滑后的值temp：

s3.2针对二值图像采用3*3模板大小的中值滤波器，保证基板输入图样细节的同时，尽可能消除二值图中类似椒盐噪声的干扰点；

s3.3再进行闭操作，及先膨胀后腐蚀，弥合较窄的间断和细长的沟壑，消除小空洞，填补轮廓线中的断裂。

作为优选的技术方案，步骤s3.3中，采用的“十”字型结构元能较好的对滤波后二值图进行目标区域当中细小空洞的填补。

作为优选的技术方案，所述步骤s4包括：

s4.1、通过自定义直线拟合算法检测并拟合出每条金手指的直线边缘，每两条直线确定一条金手指，确定其在图像中所占区域位置，然后对每条金手指分别检测其是否存在缺陷；

s4.2按二值图的宽度w，将每条金手指均分为n等份，其中n为自定义数值，并统计每一份金手指区域内黑色像素的占空比，所述黑色像素即灰度值为0的区域，若占空比大于某一设定阈值，则视为该金手指局部区域存在缺陷的可能，将其切割保存为新图层放到缓冲区等待后续进一步分析，否则视为不存在缺陷；

s4.3对同一条金手指的缺陷存疑检测过程中，若相邻两局部区域都判定为缺陷存疑区域，则将两局部区域进行合并，将合并后的金手指局部区域图作为后续特征计算用的实际输入图像存到缓冲区中；

s4.4当前步骤结束后，若缓冲区中有图层数据，则继续执行步骤s5，否则表示该待检基板的金手指部位质量良好，跳出检测流程，进行下一待检柔性基板的质量检测。

作为优选的技术方案，所述步骤s5包括：

s5.1、从缺陷存疑图片缓冲区内依次读取图片进行轮廓提取，计算每一轮廓所包含的面积，若小于某一设定阈值，则视为干扰而非缺陷处理，不作后面的特征计算处理；

s5.2、对确定存在缺陷的图片，计算其九类特征的数值，包括缺陷区域面积、缺陷区域个数、矩形度、圆形度、最小外接矩形的长宽比以及灰度共生矩阵的熵值、能量、对比度、一致性；

s5.3、矩形度体现的是二维物体占其最小外接矩形的面积比例大小，定义为r＝s0/smer，其中s0是该物体的面积，smer是其最小外接矩形的面积；

s5.4、圆形度是从二维空间的不规则度出发，指和标准圆形的近似程度，其计算公式如下，其中a表示物体在其二值图中的成像区域面积，c表示物体在图像中的成像区域周长，r表示圆度：

s5.5灰度共生矩阵是一个矩阵函数，通过计算图像中一定距离和一定方向的两点的灰度值之间的相关性，来反映图像在方向、间隔、变化幅度及快慢上的综合信息，其包含了熵值、能量、对比度、一致性在内的四个特征。

作为优选的技术方案，所述步骤s6包括：

s6.1将步骤s5中计算得到的九类特征数据组成输入向量，传入bp神经网络分类器中计算输出向量；

s6.2针对金手指的压痕、划痕及露铜三类缺陷进行缺陷分类识别，故输出向量的维数为三；

s6.3、输出向量中数值最大的那一项对应的类别作为识别出来的类别，关于该金手指缺陷从属的类别，记录到系统数据库中；

s6.4在识别出该柔性基板金手指部位缺陷类别后，在输入原图上对缺陷部位进行标注，以供工程师或现场操作人员察看。

本发明与现有技术相比，具有如下优点和有益效果：

本发明的fics(柔性ic基板)金手指缺陷检测系统及方法基于bp神经网络，对现场工作平台上的fics进行压痕、划痕、露铜三类缺陷的同时检测，着重利用规则进行检测，能较好地避免不同光照强度下金手指成像检测的缺陷误报，并且在准确率和工作效率上都能适应工厂的现场要求。

附图说明

图1为本发明实施例的一种基于bp神经网络的fics金手指缺陷检测方法的流程示意图。

图2为本发明实施例的一种基于bp神经网络的fics金手指缺陷检测系统的结构框图。

图3为本发明实施例的fics金手指部位压痕缺陷识别效果示意图。

图4为本发明实施例的fics金手指部位划痕缺陷识别效果示意图。

图5为本发明实施例的fics金手指部位露铜缺陷识别效果示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例的一种基于bp神经网络的fics金手指缺陷检测方法包括以下步骤：

s1、图像采集子系统控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置；

s2、通过“输入图像保护机制”，确保缺陷检测算法的输入图像是金手指图样，否则弹窗警报并退出算法流程；

s3、通过形态学处理提取金手指区域，即将二值图中代表金手指的地方置1，其余非金手指的地方置0；

s4、对每一条金手指进行单独分析，分析其中是否存在缺陷存疑区域，若有，则对该区域进行分割并保存到待计算图片缓冲区里，否则跳出程序进行下一张图片的分析；

s5、对缓冲区里的图片按缺陷检测模块要求，先判断其存在缺陷的确定性，再对确定含有缺陷的图片计算九类特征数值；

s6、以九类特征数值组成的向量作为输入向量，传入数据分析模块中的bp神经网络，计算输出向量，并以输出向量中最大项对应的类别作为最终判定的金手指缺陷类别返回。

步骤s2所述“输入图像保护机制”目标是为了防止非金手指区域图样的输入导致算法奔溃，对系统乃至硬件机台造成不必要的影响。

步骤s1所述图像采集过程可理解为：

1)本系统及方法针对柔性基板的金手指部位进行缺陷的精密检测，因此目标采集图样集中在金手指部位，非金手指部位不作采图操作处理；

2)现场批量生产的柔性基板，其模板数据信息都有存档，通过划分每一类柔性基板中金手指所在区域并将所有定位坐标信息存入本系统数据库，即可建立本文所需柔性基板金手指部位模板数据库；

3)按数据库中对应目标基板的金手指坐标位置换算成脉冲信号，控制载物平台移动到目标位置进行图像采集。

步骤s2所述“输入图像保护机制”可理解为：

1)输入图像保护机制，用于保证只有输入图像是本系统算法针对对象(金手指)才可进行算法检测，否则弹窗警报并退出算法程序；

2)统计输入图像的平滑直方图，若直方图中双峰之间的距离较远则视为输入图像合法，继续算法流程，否则停止检测并弹窗警告；

3)在图像一半宽度位置从上往下检索每条金手指的中心点位置，以每个中心点为中心，从0°开始，以10°为间隔画直线作线性检测；

4)线性检测是指落在直线上的目标区域长度占比，若线性检测得到的占比值大于本系统设定阈值，则视为输入图像合法，继续算法流程，否则停止检测并弹窗警告。

步骤s3所述对金手指区域的提取可理解为：

1)以输入图像的平滑直方图中波谷值为阈值对图像进行二值化，这里采用基于插值法的直方图平滑，设步长step，对直方图f上某点x，按下面公式计算其平滑后的值temp：

2)针对二值图像采用3*3模板大小的中值滤波器，保证基板输入图样细节的同时，尽可能消除二值图中类似椒盐噪声的干扰点；

3)再进行闭操作，及先膨胀后腐蚀，弥合较窄的间断和细长的沟壑，消除小空洞，填补轮廓线中的断裂，本系统采用的“十”字型结构元能较好的对滤波后二值图进行目标区域当中细小空洞的填补。

步骤s4对每一条金手指进行单独分析，分析其中是否存在缺陷存疑区域，若有，则对该区域进行分割并保存到待计算图片缓冲区里，具体为：

1)通过自定义直线拟合算法检测并拟合出每条金手指的直线边缘，每两条直线确定一条金手指，确定其在图像中所占区域位置，然后对每条金手指分别检测其是否存在缺陷；

2)按二值图的宽度w，将每条金手指均分为n等份(n为自定义数值，本系统设其为8)，并统计每一份金手指区域内黑色像素(灰度值为0)的占空比，若占空比大于某一设定阈值(如0.04)，则视为该金手指局部区域存在缺陷的可能，将其切割保存为新图层放到缓冲区等待后续进一步分析，否则视为不存在缺陷；

3)对同一条金手指的缺陷存疑检测过程中，若相邻两局部区域都判定为缺陷存疑区域，则将两局部区域进行合并，将合并后的金手指局部区域图作为后续特征计算用的实际输入图像存到缓冲区中；

4)当前步骤结束后，若缓冲区中有图层数据，则继续执行步骤s5，否则表示该待检基板(金手指部位)质量良好，跳出判断算法，进行下一待检柔性基板的质量检测。

步骤s5对确定含有缺陷的图片计算九类特征数值，具体为：

1)从缺陷存疑图片缓冲区内依次读取图片进行轮廓提取，计算每一轮廓所包含的面积，若小于某一设定阈值，则视为干扰而非缺陷处理，不作后面的特征计算处理；

2)对确定存在缺陷的图片，计算其九类特征的数值，包括缺陷区域面积、缺陷区域个数、矩形度、圆形度、最小外接矩形的长宽比以及灰度共生矩阵的熵值、能量、对比度、一致性；

3)矩形度体现的是二维物体占其最小外接矩形的面积比例大小，定义为r＝s0/smer，其中s0是该物体的面积，smer是其最小外接矩形的面积；

4)圆形度是从二维空间的不规则度出发，指和标准圆形的近似程度，其计算公式如下，其中a表示物体在其二值图中的成像区域面积，c表示物体在图像中的成像区域周长，r表示圆度：

5)灰度共生矩阵是一个矩阵函数，通过计算图像中一定距离和一定方向的两点的灰度值之间的相关性，来反映图像在方向、间隔、变化幅度及快慢上的综合信息，其包含了熵值、能量、对比度、一致性在内的四个特征。

步骤s6以九类特征数值组成的向量作为输入向量，传入数据分析模块中的bp神经网络，计算输出向量，从而分析缺陷类型，具体为：

1)将步骤s5中计算得到的九类特征数据组成输入向量，传入本系统算法所用bp神经网络分类器中计算输出向量；

2)本系统针对金手指的压痕、划痕及露铜三类缺陷进行缺陷分类识别，故输出向量的维数为三；

3)输出向量中数值最大的那一项对应的类别作为本系统算法识别出来的，关于该金手指缺陷从属的类别，记录到系统数据库中；

4)除了计算分析出该柔性基板金手指部位缺陷类别以外，本系统会在输入原图上对缺陷部位进行标注，以供工程师或现场操作人员察看。

如图2所示，本实施例的一种基于bp神经网络的fics金手指缺陷检测系统包括图像采集子系统(包括运动控制模块和图像采集模块)、缺陷检测模块以及数据分析模块，其中：

图像采集子系统，用于控制显微镜对载物平台上放置的柔性基板进行定位拍照，目标位置为金手指所在区域位置，包括：

1)运动控制模块，用脉冲信号控制载物平台移动到目标位置供相机拍照；

2)图像采集模块，控制显微镜对载物平台上放置的fics进行拍照。

缺陷检测模块，用于提取柔性基板输入图样的灰度图和二值图，并对确定存在缺陷的金手指局部区域进行图像的分割，针对分割后的图像进行九类特征数据的计算；

数据分析模块，用于判断该柔性基板金手指部位的缺陷类别，并对缺陷区域进行标注，其中使用到了bp神经网络分类器，以九类特征数据组成输入向量计算输出向量。

如图3所示，本实施例的一种基于bp神经网络的fics金手指缺陷检测系统对检测到的压痕缺陷存在区域进行成功的识别并圈画出来。

如图4所示，本实施例的一种基于bp神经网络的fics金手指缺陷检测系统对检测到的划痕缺陷存在区域进行成功的识别并圈画出来。

如图5所示，本实施例的一种基于bp神经网络的fics金手指缺陷检测系统对检测到的露铜缺陷存在区域进行成功的识别并圈画出来。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如rom、磁盘或光盘等。

综上所述，本发明的一种基于bp神经网络的fics金手指缺陷检测系统及方法基于bp神经网络，对现场工作平台上的fics进行压痕、划痕、露铜三类缺陷的同时检测，着重利用规则进行检测，能较好地避免不同光照强度下金手指成像检测的缺陷误报，并且在准确率和工作效率上都能适应工厂的现场要求。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。