基于深度学习的ACF导电粒子检测方法及系统与流程

本发明属于计算机视觉，特别涉及基于深度学习的acf导电粒子检测方法及系统。

背景技术：

1、随着液晶显示行业的迅速发展，越来越多的液晶显示屏的厚度越来越薄，重量越来越轻，工业生产技术的要求不断增加。其中，在液晶显示屏在封装的过程，驱动器ic键合(bonding)在覆盖有各向异性导电膜(acf，anisotropic conductive film)的玻璃基板上，acf是一种类似于胶带组成的粘合剂环氧基体和导电粒子组成。液晶显示屏的导电能力取决于acf中导电粒子的数目，可以根据导电粒子的数目对液晶显示屏键合制程是否合格做出判断。acf导电粒子经过压合后特征比较明显，适合采用自动光学检测(aoi)系统进行检测，同人工检测相比，其速度快、准确率高。因此，如果能开发一套使用简单、精度高、快速的无接触式设备对acf中导电粒子的数目进行自动检测，对企业的液晶自动化生产是十分有益的。

2、在acf中导电粒子数目自动检测领域，公开号为“cn115661050a”的中国发明专利申请公开了一种液晶屏中各向异性导电膜粒子的自动检测方法。该方案包括如下步骤：s1、采集导电粒子区域图像；s2、对图像中的标记点进行定位，再对结果图像进行二值化处理，计算确定标记点中心的坐标；s3、采用基于均方差的算法分割出每块导电粒子区域；s4、使用基于局部极大值的算法对步骤3中分割出的每块区域进行检测；s5、统计步骤4中导电粒子的数量，和预设阈值进行比较，判断各向异性导电膜acf中导电粒子数量是否合格。该方法需要图像增强算法、图像二值化算法、求联通区域面积、局部极大值法等步骤，算法实现较复杂，同时只能检测粒子具有上下明暗对比的情况，对于实现中导电粒子可能出现模糊、重叠、对比度低等情形检测精度不高，算法鲁棒性差。

技术实现思路

1、本发明提供基于深度学习的acf导电粒子检测方法，旨在解决现有技术在检测acf中导电粒子个数时存在的检测精度不高及算法鲁棒性差的问题。

2、为解决上述技术问题，本发明提出的基于深度学习的acf导电粒子检测方法包括以下步骤：

3、s1：光学系统采集acf原图像，从所述原图像中提取出导电粒子目标区域图像；

4、s2：对所述目标区域图像进行预处理，所述预处理包括随机翻转、图像归一化及随机转换hsv颜色空间方法，生成预处理图像；

5、s3：对所述预处理图像进行标注，将标注后的预处理图像按设定的比例划分为训练集及验证集，所述标注的内容包括预处理图像中导电粒子的坐标及面积；

6、s4：构建导电粒子检测网络模型，所述导电粒子检测网络模型基于yolov7网络模型，在所述yolov7网络模型的特征融合层添加transformer全局注意力模块，用于提取输入所述transformer全局注意力模块的特征图的上下文信息；

7、s5：加载用于训练的导电粒子检测网络模型和预训练参数，利用所述训练集对网络模型进行训练，利用所述验证集对训练的网络模型进行验证，评估出最佳检测模型；

8、s6：对所述最佳检测模型进行模型量化处理，得到量化模型；

9、s7：检测机台上的光学系统采集实时图像，从所述实时图像中提取出导电粒子目标区域图像，将目标区域图像进行预处理后输入至量化模型对导电粒子进行检测，然后将检测结果发送回检测机台。

10、优选地，所述导电粒子检测网络模型包括特征提取层、特征融合层及特征检测层，所述特征融合层包括transformer全局注意力模块及路径聚合网络；所述transformer全局注意力模块输出的特征图作为路径聚合网络的输入。

11、优选地，所述transformer全局注意力模块包括依序设置的第一归一化层、多头注意力层、第二归一化层及多层感知机层；

12、输入transformer全局注意力模块的特征图首先分为两条支路，其中一条支路经过第一归一化层及多头注意力层后与另一条支路进行特征图相加操作，拼接后的特征图分为两条支路，其中一条支路经过第二归一化层及多层感知机层后与另一条支路进行特征图相加操作，相加后的特征图作为transformer全局注意力模块的输出。

13、优选地，所述步骤s1提取导电粒子目标区域图像具体为：

14、s1-1：在原图像中选取acf导电粒子区域模版；

15、s1-2：读取导电粒子区域模板及原图像；

16、s1-3：将导电粒子区域模板及原图像进行模板匹配，获取最佳匹配的位置；

17、s1-4：获取模板的宽度及高度，结合所述最佳匹配的位置，在原图像上绘制矩形框标记匹配结果，所述矩形框作为导电粒子目标区域图像。

18、优选地，所述导电粒子检测网络模型中的卷积层为深度可分离卷积层，所述深度可分离卷积包括依序设置的深度卷积及点卷积，所述深度卷积将输入的特征图宽度及高度减半，保持通道数不变，所述点卷积将输入的特征图的通道数扩张为256，保持宽度及高度不变。

19、优选地，所述最佳检测模型的判定标准为map[0.5]，具体为：

20、根据iou>0.5的检测框，采用不同的置信度，计算相应的tp,fp,fn；

21、其中：tp为真正类，即为正确检测为正确类型；

22、fp为假正类，即为错误检测为正确类型，为误报；

23、fn为假负类，即为错误检测为错误类型，为漏检；

24、计算查准率

25、计算召回率

26、根据查准率和召回率在直角坐标系上绘制p-r曲线，所述直角坐标系的横坐标为召回率recall，纵坐标为查准率precision；

27、在设定的训练次数中，p-r曲线与坐标轴围成的面积最大的一次训练模型作为最佳检测模型。

28、优选地，所述随机转换hsv颜色空间方法具体为：

29、s2-1：将输入的图片由rgb颜色模型转换为hsv颜色模型；

30、s2-2：在hsv的取值范围内随机生成色调、饱和度及亮度三个分量的变换值，记为[hgain,sgain,vgain]：

31、[hgain,sgain,vgain]＝random[-1,1]×[h,s,v]+1

32、式中，random[-1,1]为随机生成[-1,1]区间的值，[h,s,v]为色调、饱和度及亮度的参数，取值为[h,s,v]＝[0.015,0.7,0.4]；

33、s2-3：随机生成色调、饱和度及亮度的映射列表[luthue,lutsat,lutval]：

34、luthue＝(random[0,255]×hgain)％180

35、lutsat＝clip(random[0,255]×sgain)

36、lutsat＝clip(random[0,255]×vgain)

37、式中，random[0,255]为随机生成[0,255]区间的值，clip函数的作用是将最终取值限定在[0,255]；

38、s2-4：将hsv颜色模型图像通过映射列表[luthue,utsat,utval]进行调整；

39、s2-5：调整后的hsv颜色模型图像逆变换为rgb颜色模型图像。

40、优选地，所述图像归一化采用以下公式进行计算：

41、

42、式中，normalized_为归一化后的图像像素值，pixel为原图像像素值，mean为图像像素的均值，std为图像的方差。

43、优选地，所述量化采用ptq量化方法，具体为：

44、s6-1：加载训练好的最佳检测模型；

45、s6-2：使用tensorflow lite的量化转换器将最佳检测模型转换为量化形式，得到int8数据格式的模型；

46、s6-3：加载所述int8数据格式的模型，使用训练集对int8数据格式的模型进行微调训练，使用验证集对微调训练的int8数据格式的模型进行验证，将验证获得的最佳微调量化模型作为量化模型。

47、相应的，本发明还提出基于深度学习的acf导电粒子检测系统，所述检测系统配置为执行上述的检测方法，包括：

48、光学系统，所述光学系统部署于acf检测机台上，用于获取覆盖有acf的玻璃基板图像；

49、图像提取模块，所述图像提取模块采用模板匹配算法，从所述覆盖有acf的玻璃基板图像中提取出导电粒子目标区域图像；

50、图像预处理模块，所述图像预处理模块对用于训练的导电粒子目标区域图像进行预处理，所述预处理包括随机翻转、图像归一化及随机转换hsv颜色空间方法；

51、导电粒子检测网络模型，所述导电粒子检测网络模型基于yolov7网络模型，在所述yolov7网络模型的特征融合层添加transformer全局注意力模块，用于提取输入所述transformer全局注意力模块的特征图的上下文信息；

52、量化模块，所述量化模块采用ptq量化方法，对训练好的最佳检测模型进行量化。

53、与现有技术相比，本发明具有以下技术效果：

54、1.本发明提出的检测方法在yolov7的网络结构中引进了transformer全局注意力机制来提取上下文信息，上下文信息尤其对于小目标这种外观特征不明显的目标可以提升检测性能。该方法对小目标检出率高，检测模型体积小，推理速度快，满足实际工业场景的部署环境要求和检测实时性要求。

55、2.本发明提出的检测方法引入深度可分离卷积替换yolov7网络模型中的常规卷积，深度可分离卷积将常规的卷积运算分为两层，一层为深度卷积用于滤波，一层为逐点卷积用于组合，由于深度可分离卷积的只需要283个参数，相比常规卷积的2304个参数，这种分解过程能极大减少模型的参数量和计算量，进而提高模型的检测效率。

56、3.本发明提出的检测方法在对构造的导电粒子检测网络模型进行训练时，采用切图训练策略，可以减少背景干扰和增加小目标样本数，进一步提高对小物体目标的检测性能。

57、4.本发明提出的检测方法在输入图像的预处理过程中使用随机转换hsv颜色空间方法，可以增加训练数据的多样性进而降低训练过程中的过拟合风险，使模型更好地适应新数据；使得导电粒子检测网络模型能够处理不同光照、白平衡和色彩扭曲等变化，增强模型的鲁棒性。

58、5.本发明引进深度可分离卷积和ptq量化技术，大大减少了模型的体积，使得模型的推理速度满足工业上实时性的要求。