一种基于孪生神经网络的数码印花步进道检测方法与流程

本发明属于缺陷检测，具体涉及一种基于孪生神经网络的数码印花步进道缺陷检测方法。

背景技术：

1、随着高速计算机的发展，数码印花技术日趋成熟，其具有高速高分辨率等特点且产品图案更加精细，带来了纺织业的重大技术革命。数码印花的过程中，由于设备的故障或布料的缺陷可能会使产品产生多种多样的缺陷，为了材料成本，需要对生产过程进行实时自动监测，以确保产品质量，否则产生大量残次品会带来巨大的经济损失。由于传统的人力目视抽查可能出现漏检误检的情况，通过采集图像进行缺陷在线检测的方法是不可或缺的。

2、在数码印花缺陷检测领域中，传统的算法研究主要针对单一颜色或者纹理的布料，这类算法在面对色彩丰富图案复杂的印花产品时的检测效率和准确性并不高。传统的用于检测步进道的算法包括lbp(局部二值模式)算法以及基于直方图的分析算法等，此类算法在检测复杂图案中的步进道和打印缺陷时表现较差，尤其是缺陷表征和印花图案或布纹有相似的情况下。

3、由于印花机无可避免地产生机械误差，会导致每次步进的距离不同，印花产品会出现步进道的缺陷，具体的表现形式为：当步进距离小于正确阈值时会出现两次印刷的交界区域重叠出现深色步进道，步进距离大于正确阈值时会出现两次印刷的交界区域有留白出现浅色步进道。由于这种缺陷实际物理尺寸在1mm以下，且可能和布纹或图案互相干扰，难以使用传统的图像处理方法进行检测。

4、目前还少有步进道检测的相关算法，其中基于深度学习的步进道检测算法更是几乎没有。相比于传统的直方图相似度和背景差分检测算法，基于深度学习技术的步进道检测方法拥有更强的特征学习能力，可以更高效率且准确的检出可能出现的步进道缺陷。

5、由于需要判断待检测图像中的线性特征是印花固有图案的一部分还是步进道缺陷，因此需要一种特殊的检测方法能够实现该步进道检测。

技术实现思路

1、本发明的目的是提供一种基于孪生神经网络的数码印花步进道检测方法，能够实现对于数码印花步进道缺陷的准确实时检测。

2、为实现上述发明目的，实施例提供的一种基于孪生神经网络的数码印花步进道检测方法，包括以下步骤：

3、采集数码印花机的检测图像及模板图像，并进行图像标注以构建图像集；

4、建立孪生神经检测网络模型，利用图像集和损失函数训练立孪生神经检测网络模型，以调整模型参数；

5、将参数调整的孪生神经检测网络模型以及检测代码安装在检测环境中进行实际检测。

6、优选地，所述采集数码印花的检测图像及匹配图像，并进行图像标注以构建图像集，包括：

7、利用架设在数码印花机导轨上方的相机采集检测图像，其中，检测图像包括无缺陷图像、深色步进道图像、浅色步进道图像；

8、使用拼接算法将周期内无缺陷图像拼接获得正确的印花图案模板，利用模板匹配算法得到检测图像在印花图案模板中对应的匹配图像，将检测图像和匹配图像作为一组图像；

9、将每组图像整理为统一格式，并进行分类标注，以建立带有标注的图像集。

10、优选地，所述孪生神经检测网络模型，包括两个resnet18网络，检测图像和匹配图像分别经过resnet18网络提取特征图后，两个特征图拼接后经过平均池化层、卷积层以及全连接层，获得检测图像的分类预测概率。

11、优选地，每个resnet18网络的主体由残差块组成，每个残差块包含卷积层，每个卷积层后接一个批量规范化层和relu激活函数，设计一个跨层的数据传递路线，将输入直接加在relu激活函数前。

12、优选地，所述利用图像集和损失函数训练立孪生神经检测网络模型，以调整模型参数，包括：

13、将检测图像和匹配图像进行预处理和亮度矫正后，根据步进道出现的位置将检测图像和匹配图像裁剪n张224*224的待检测图片，进行滤波处理后分别送入孪生神经检测网络模型中，经过计算输出检测图像分别属于无缺陷、深色步进道、浅色步进道的概率；

14、依据概率和图像标签计算损失函数，依据损失函数调整模型参数。

15、优选地，所述损失函数采用交叉熵损失函数。

16、优选地，所述将参数调整的孪生神经检测网络模型以及检测代码安装在检测环境中进行实际检测，包括：

17、(a)对于训练好的孪生神经模型进行pytorch-onnx模型转换，生成tensorrt推理引擎部署在基于c++语言的xavier平台上；

18、(b)采集一定数量的图片进行拼接得到模板图像；

19、(c)数码印花机每次步进，进行拍照获取检测图像，对检测图像进行预处理和二次匹配，获得精确的检测图像与匹配图像，将检测图像和匹配图像裁切出n张图像，经过归一化处理后符合模型的输入要求；

20、(d)将裁剪的图像输入到由模型转换的tensorrt推理引擎，推导出检测结果，对每个检测结果后进行投票，如果检测结果超过第一阈值则判断图像疑似步进道缺陷，将图像送入异常队列中，当出现多个疑似步进道缺陷的图像后，异常队列中图像个数超过第二阈值，判断图像存在步进道缺陷并上报检测结果。

21、优选地，所述第一阈值取值范围为[4,8]。

22、优选地，所述第二阈值取值范围为[3,6]。

23、与现有技术相比，本发明具有的有益效果至少包括：

24、本发明提供的一种基于孪生神经网络的数码印花步进道检测方法，能够实现数码印花步进道缺陷的实时检测，基于孪生神经网络，通过采集实际印花产品的图像进行训练，根据标注信息和损失函数结果进行参数调整，得到训练好的模型，对于两种步进道缺陷都能够实时准确检测。该方法克服了相似图案以及布匹纹理的干扰，能够对于各种图案的数码印花产品进行准确的步进道缺陷检测。

技术特征：

1.一种基于孪生神经网络的数码印花步进道检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于孪生神经网络的数码印花步进道检测方法，其特征在于，所述采集数码印花的检测图像及模板图像，并进行图像标注以构建图像集，包括：

3.根据权利要求1所述的基于孪生神经网络的数码印花步进道检测方法，其特征在于，所述孪生神经检测网络模型，包括两个resnet18网络，检测图像和匹配图像分别经过resnet18网络提取特征图后，两个特征图拼接后经过平均池化层、卷积层以及全连接层，获得检测图像的分类预测概率。

4.根据权利要求3所述的基于孪生神经网络的数码印花步进道检测方法，其特征在于，每个resnet18网络的主体由残差块组成，每个残差块包含卷积层，每个卷积层后接一个批量规范化层和relu激活函数，设计一个跨层的数据传递路线，将输入直接加在relu激活函数前。

5.根据权利要求1所述的基于孪生神经网络的数码印花步进道检测方法，其特征在于，所述利用图像集和损失函数训练立孪生神经检测网络模型，以调整模型参数，包括：

6.根据权利要求4所述的基于孪生神经网络的数码印花步进道检测方法，其特征在于，所述损失函数采用交叉熵损失函数。

7.根据权利要求1所述的基于孪生神经网络的数码印花步进道检测方法，其特征在于，所述将参数调整的孪生神经检测网络模型以及检测代码安装在检测环境中进行实际检测，包括：

8.根据权利要求7所述的基于孪生神经网络的数码印花步进道检测方法，其特征在于，所述第一阈值取值范围为[4,8]。

9.根据权利要求7所述的基于孪生神经网络的数码印花步进道检测方法，其特征在于，所述第二阈值取值范围为[3,6]。

技术总结
本发明公开了一种基于孪生神经网络的数码印花步进道检测方法，涉及缺陷检测技术领域，包括以下步骤：采集数码印花机的检测图像及模板图像，并进行图像标注以构建图像集；建立孪生神经检测网络模型，利用图像集和损失函数训练立孪生神经检测网络模型，以调整模型参数；将参数调整的孪生神经检测网络模型以及检测代码安装在检测环境中进行实际检测。该方法克服了相似图案以及布匹纹理的干扰，能够对于各种图案的数码印花产品进行准确的步进道缺陷检测，节约人力成本的同时做到了实时检测。

技术研发人员：顾梦奇,许毅杰,李晓鹏
受保护的技术使用者：苏州联视泰电子信息技术有限公司
技术研发日：
技术公布日：2024/1/12