一种基于深度学习的印刷电路板图片去噪方法与流程

本发明涉及缺陷检测，尤其涉及一种基于深度学习的印刷电路板图片去噪方法。

背景技术：

1、印刷电路板（printed circuit board，pcb）是我国信息产业中十分钟的基础支撑产业之一，其中自动光学缺陷检测技术是确保印刷电路板生产质量的重要环节。而在pcb图像采集过程中，往往会混入一些不可控因素导致图像环境出现波动，例如采集设备的物理抖动、成像偏差，光照变化，人为偶然因素等等，在这种情况下，为了降低外部变化因素对图像内容识别的干扰，提升图片内容背景的统一性，提高后续pcb缺陷检测识别精度，需要设计出合理的pcb图片去噪算法。

2、目前常见的图像去噪算法主要分为传统去噪算法和基于深度学习的去噪算法两种。传统的图像去噪算法容易破坏图像细节，可能也会对缺陷信息进行消除。比如一种常见的pcb缺陷——划伤缺陷，在去噪之后缺陷信息丢失了，这就会造成漏报。基于深度学习的缺陷去噪算法有一个基本假设：有噪声的图像 = 无噪声的图像 + 噪声。这个假设对于pcb缺陷检测场景是不成立的。不同于普通的深度学习目标检测，pcb外观缺陷检测任务除了提供待测板之外，还额外提供一张无缺陷的标准板图片。pcb外观缺陷检测是通过比较待测板和标准版之间的差异，来实现检测缺陷的目的。因此pcb外观缺陷检测中的去噪是针对待测板和标准板而言，是希望去除掉待测板图片中的环境干扰因素，让待测板的环境与标准板尽可能一致，而非简单地去除掉待测板中的噪声。需要注意的是待测板和标准板大概率是有所不同的，因此如果直接套用深度学习去噪算法（如brdnet）进行训练的话，噪声的拟合会非常困难。

3、发明专利申请cn108416755a公开了一种基于深度学习的图像去噪方法及系统，并具体公开了该方法先构建主神经网络结构和副神经网络结构，采用迁移学习方法将副神经网络结构中的第一卷积层的可训练参数初始值和第五卷积层的可训练参数初始值分别赋值到主神经网络结构中的第一卷积层的可训练参数初始值和第十五卷积层的可训练参数初始值；其次将训练集加噪图像加入赋值后的主神经网络结构，通过前向传播算法对输入的训练集加噪图片进行图像特征提取、训练和学习，获得噪声特征图像；根据噪声特征图像确定训练模型；然后将验证集加噪图像输入到训练模型中，输出最终训练去噪模型；最后将测试集加噪图像加入最终训练去噪模型进行测试。该方法也是基于“有噪声的图像 = 无噪声的图像 + 噪声”的假设下提出的，无法直接用于pcb缺陷检测中的待测板和标准板的去噪。

4、发明专利申请cn114140385a公开了基于深度学习的印刷电路板缺陷检测方法及系统，并具体公开了方法包括将pcb原始图像输入深度神经网络进行目标检测推理；在目标检测推理之前，对pcb原始图像进行数据预处理及背景与边缘提取；其中，深度学习方法将pcb原始图像与标准板图像对齐；对pcb原始图像与标准板图像对齐后，使用深度目标检测模型进行缺陷检测，深度目标检测模型为综合单阶段目标检测算法的两阶段目标检测模型；基于深度目标检测模型，完成pcb原始图像缺陷检测，输出检测结果。该发明专利申请主要解决如何进行印刷电路板缺陷识别，未解决现有技术pcb缺陷检测中的待测板和标准板的去噪问题。

技术实现思路

1、本发明旨针对自动光学检测过程中成像质量低可能导致缺陷检测效果不佳的情况，基于深度学习方法，设计并研究一种 基于深度学习的印刷电路板图片去噪方法，保证成像环境和成像质量的统一，从而尽可能减少后续缺陷检测过程中缺陷的误检和漏检。

2、本发明提供一种基于深度学习的印刷电路板图片去噪方法，包括：

3、步骤s01，将一张原始待测板图片和一张原始标准板图片成对输入到去噪神经网络中，获得去噪待测板图片和去噪标准板图片；

4、其中，所述去噪神经网络包括待测板图片特征抽取模块、标准板图片特征抽取模块、第一特征抽取学习模块、第二特征抽取学习模块、主网络模块、去噪图片输出模块；

5、所述步骤s01具体为：

6、步骤s11，原始待测板图片分别经待测板图片特征抽取模块和第一特征抽取学习模块作用后，输入到所述主网络模块；原始标准板图片分别经标准板图片特征抽取模块和第二特征抽取学习模块作用后，输入到所述主网络模块；所述主网络模块输出第一调光矩阵；

7、原始标准板图片分别经待测板图片特征抽取模块和第一特征抽取学习模块作用后，输入到所述主网络模块；原始待测板图片分别经标准板图片特征抽取模块和第二特征抽取学习模块作用后，输入到所述主网络模块；所述主网络模块输出第二调光矩阵；

8、步骤s12，所述去噪图片输出模块利用第一调光矩阵和第二调光矩阵，结合损失函数，对原始待测板图片、原始标准板图片进行优化处理，继而输出去噪待测板图片和去噪标准板图片，具体为：

9、

10、其中，；；；

11、函数和是用来衡量两个值相似的损失函数，其中和分别为原始待测板图片a的待测板图片特征抽取模块数据和原始待测板图片b的标准板图片特征抽取模块数据，和分别为第一特征抽取学习模块和第二特征抽取学习模块数据；指1范式，指2范式，为待测板图片的环境矩阵，是指经过第一调光矩阵作用后的待测板图片的环境矩阵，为标准板图片的环境矩阵，是指经过第二调光矩阵作用后的标准板图片的环境矩阵，和是大于0的超参数，一般取值范围在[0.01,0.1]。

12、本发明设计了一种新的无监督的基于深度学习的去噪流程，同时设计了一个深度算法来学习待测板与标准板中环境特征的调节矩阵。通过该调节矩阵可以去除掉待测板图片中的环境干扰因素，让待测板的环境与标准板尽可能一致，达到去噪的目的，提高后续缺陷检测效果。

13、作为优选，所述待测板图片特征抽取模块、所述标准板图片特征抽取模块利用明度空间信息来完成印刷电路板图片的环境特征抽取。

14、作为优选，所述第一特征抽取学习模块、所述第二特征抽取学习模块采用图像mask特征抽取学习模块。

15、作为优选，所述主网络模块采用resnet18神经网络。

16、作为优选，方法还包括：步骤s02，对去噪待测板图片和去噪标准板图片，利用边缘提取算法抽取获得pcb区域的目标待测板图片和目标标准板图片。

17、作为优选，所述步骤s02包括：

18、步骤s21，利用sobel算子分别计算去噪待测板图片和去噪标准板图片的梯度值和梯度方向；

19、步骤s22，利用非极大值算法分别过滤去噪待测板图片和去噪标准板图片中不是边缘的像素点；

20、步骤s23，分别判断步骤s22处理后的去噪待测板图片去噪标准板图片的图像轮廓大小是否在下限阈值和上限阈值范围之间，若是，则去噪待测板图片或去噪标准板图片存在潜在边缘，否则不存在；其中，下限阈值为(0,0.5]，上限阈值为(0.5，1]；

21、步骤s24，提取并连接边界输出pcb区域的目标待测板图片和目标标准板图片。

22、作为优选，方法还包括：步骤s03，利用线性回归算法对目标待测板图片进行颜色校正。

23、作为优选，方法还包括：步骤s30，在执行步骤s03前，基于标准板图片，利用最小二乘法，获得校正矩阵；

24、

25、其中，c为颜色校正矩阵，b是待测板图片颜色矩阵，a是标准板图片颜色矩阵，为单位矩阵系数，取值范围为 0~0.1，i 为单位矩阵；

26、所述步骤s03将目标待测板图片通过校正矩阵换算公式：，获得颜色校正后的校正待测板图片，其中，t为目标待测板图片。

27、作为优选，方法还包括：步骤s04，利用单应性变换矩阵将颜色校正后的目标待测板图片和目标标准板图片进行单应性变换关联，以实现目标待测板图片和目标标准板图片的位置配准。

28、作为优选，方法还包括：步骤s05，利用overlap栅格切分方式，分别对位置配准后的目标待测板图片和目标标准板图片进行栅格化切分。

29、本发明具有以下有益效果：

30、本发明一种基于深度学习的印刷电路板图片去噪方法，设计了一个深度算法来学习待测板与标准板中环境特征的调节矩阵，通过该调节矩阵可以去除掉待测板图片中的环境干扰因素，让待测板的环境与标准板尽可能一致，达到去噪的目的。本发明实现简单，高速有效，达到了应用的要求。