一种基于机器视觉的布匹表面疵点检测方法及其系统与流程
本发明涉及纺织领域，特别涉及一种基于机器视觉的布匹表面疵点检测方法及其系统。
背景技术：
纺织工业是我国国民经济的支柱产业之一。布匹质量的优劣程度对纺织生产有相当大的影响。长期以来，对布匹质量的检测一般由人工目测完成。这种方法依靠的是检验人员的工作经验和熟练程度，同一个检验人员的评价标准不够稳定，行业内也没有建立起统一的布匹质量验证标准。因为人工检验中可能产生的人工失误，导致误检和漏检，降低产品质量和生产效率。另外，过大的劳动强度不利于检验人员的身心健康。
技术实现要素：
有鉴于此，本发明的目的在于提供一种基于机器视觉的布匹表面疵点检测方法及其系统，用于建立相比人工检验，更加标准、高效的布匹检验机制。其具体方案如下：
一种基于机器视觉的布匹表面疵点检测方法，包括：
获取第一训练样本；其中，所述第一训练样本包括布匹表面图像以及相应的表面疵点状态信息；
利用所述第一训练样本，对基于深度学习算法构建的第一待训练模型进行训练，得到第一训练后模型；
将待检测布匹的表面图像输入至所述第一训练后模型，得到所述第一训练后模型输出的与所述待检测布匹的表面图像对应的表面疵点检测结果。
优选的，所述利用所述第一训练样本，对基于深度学习算法构建的第一待训练模型进行训练，得到第一训练后模型的过程包括：
利用所述第一训练样本，对基于bp神经网络算法构建的第一待训练模型进行训练，得到第一训练后模型。
优选的，所述利用所述第一训练样本，对基于bp神经网络算法构建的第一待训练模型进行训练，得到第一训练后模型的过程包括：
对所述第一训练样本的布匹表面图像进行预处理，得到样本子图像；
对所述样本子图像进行特征提取，得到所述样本子图像的特征信息；
将所述特征信息输入所述第一待训练模型进行训练，获得第一训练后模型。
优选的，所述对所述第一样本的布匹表面图像进行预处理，得到样本子图像的过程，包括：
将所述布匹样本图像从空间域转化到频域，得到频域图像；
对所述频域图像进行平滑处理，得到平滑后图像；
将所述平滑后图像进行分割，得到样本子图像。
优选的，所述对所述样本子图像进行特征提取，得到所述样本子图像的特征信息的过程，包括：
通过gabor滤波方法对所述样本子图像进行特征提取，得到所述样本子图像的特征信息。
优选的，所述方法还包括：
获取第二训练样本；其中，所述第二训练样本包括布匹表面图像以及相应的表面疵点类型；
利用所述第二训练样本，对基于卷积神经网络算法构建的第二待训练模型进行训练，得到第二训练后模型；
当所述表面疵点检测结果表明所述待检测布匹存在疵点，将所述待检测布匹的表面图像输入所述第二训练后模型，得到所述第二训练后模型输出的所述待检测布匹的表面疵点类型。
优选的，所述第二训练样本的表面疵点类型，包括：
竹节类型、和/或断经类型、和/或缺纬类型、和/或飞针类型、和/或跳纱类型、和/或破洞类型、和/或油渍类型、和/或密路类型。
优选的，所述方法还包括：
获取第三训练样本；其中，所述第三训练样本包括表面疵点状态信息以及相应的表面疵点类型；
利用所述第三训练样本，对基于卷积神经网络算法构建的第三待训练模型进行训练，得到第三训练后模型；
当所述表面疵点检测结果表明所述待检测布匹存在疵点，将所述表面疵点检测结果输入所述第三训练后模型，得到所述第三训练后模型输出的所述待检测布匹的表面疵点类型。
优选的，所述第三训练样本的表面疵点类型，包括：
竹节类型、和/或断经类型、和/或缺纬类型、和/或飞针类型、和/或跳纱类型、和/或破洞类型、和/或油渍类型、和/或密路类型。
相应的，本发明还公布了一种基于机器视觉的布匹表面疵点检测系统，包括：
第一样本获取模块，用于获取第一训练样本；其中，所述训练样本包括布匹表面图像以及相应的表面疵点状态信息；
第一模型训练模块，用于利用所述训练样本，对基于深度学习算法构建的第一待训练模型进行训练，得到第一训练后模型；
疵点检测模块，用于将待检测布匹的表面图像输入至所述第一训练后模型，得到所述第一训练后模型输出的与所述待检测布匹的表面图像对应的表面疵点检测结果。
优选的，所述检测系统还包括：
第二样本获取模块，用于获取第二训练样本；其中，所述第二训练样本包括布匹表面图像以及相应的表面疵点类型；
第二模型训练模块，用于利用所述第二训练样本，对基于卷积神经网络算法构建的第二待训练模型进行训练，得到第二训练后模型；
第一疵点分类模块，用于当所述表面疵点检测结果表明所述待检测布匹存在疵点，将所述待检测布匹的表面图像输入所述第二训练后模型，得到所述第二训练后模型输出的所述待检测布匹的表面疵点类型。
优选的，所述检测系统还包括：
第三样本获取模块，用于获取第三训练样本；其中，所述第三训练样本包括表面疵点状态信息以及对应的表面疵点类型；
第三模型训练模块，用于利用所述第三训练样本，对基于卷积神经网络算法构建的第三待训练模型进行训练，得到第三训练后模型；
第二疵点分类模块，用于当所述表面疵点检测结果表明所述待检测布匹存在疵点，将所述表面疵点检测结果输入所述第三训练后模型，得到所述第三训练后模型输出的所述待检测布匹的表面疵点类型。
在本发明中，先获取布匹的训练样本，训练得到训练后模型，利用该模型对待检测的布匹进行表面疵点检测。本发明提前设定了客观的检测标准，与可能产生主观误差的人工检测相比，获得的检测结果更加准确，稳定性更高；而且由于这些步骤都由机器实现，不需考虑工作人员的身体健康和工作强度，提高了检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为第一种基于机器视觉的布匹表面疵点检测方法的步骤图；
图2为第二种具体的基于机器视觉的布匹表面疵点检测方法的步骤图；
图3为第三种具体的基于机器视觉的布匹表面疵点检测方法的步骤图；
图4为第四种具体的基于机器视觉的布匹表面疵点检测方法的步骤图；
图5为一种具体的基于机器视觉的布匹表面疵点检测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于机器视觉的布匹表面疵点检测方法，参见图1所示，包括：
s11：获取第一训练样本；
其中，上述第一训练样本包括布匹表面图像以及相应的表面疵点状态信息；
可以理解的是，第一训练样本包括有疵点的正样本和没有疵点的负样本。正样本相应的表面疵点状态信息包括疵点的具体位置分布和大小等；负样本相应的表面疵点状态信息包括表明本样本没有表面疵点的信息。
s12：利用上述第一训练样本，对基于深度学习算法构建的第一待训练模型进行训练，得到第一训练后模型；
进一步的，这里提到的深度学习算法，包括各类处理和识别的算法，例如bp神经网络算法，卷积神经网络算法等。
本实施例中，由于第一待训练模型的学习样本是第一训练样本的布匹表面图像及相应的表面疵点状态信息，因此学习得到布匹的表面图像与相应的表面疵点状态信息之间的映射关系。
s13：将待检测布匹的表面图像输入至上述第一训练后模型，得到上述第一训练后模型输出的与上述待检测布匹的表面图像对应的表面疵点检测结果。
本实施例中，步骤s13前还可以包括获取待检测布匹的表面图像这一步骤。
可以理解的是，与第一训练样本的表面疵点状态信息相对应的，获得的表面疵点检测结果也包括是否有疵点，以及疵点的具体位置和大小等信息。
在本实施例中，先获取布匹的训练样本，训练得到训练后模型，利用该模型对待检测的布匹进行表面疵点检测。本发明提前设定了客观的检测标准，与可能产生主观误差的人工检测相比，获得的检测结果更加准确，稳定性更高；而且由于这些步骤都由机器实现，不需考虑工作人员的身体健康和工作强度，提高了检测效率。
本发明实施例公开了一种具体的基于机器视觉的布匹表面疵点检测方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图2所示，具体的：
s21：获取第一训练样本；
其中，上述第一训练样本包括布匹表面图像以及相应的表面疵点状态信息；
其中，通过两台8k线阵相机采集尺寸为4096*1024的布匹表面图像；同时输入相应的表面疵点状态信息，包括表面有无疵点以及疵点的位置形状大小。
s22：对上述第一训练样本的布匹表面图像进行预处理，得到样本子图像；
本实施例中，该步骤可以包括以下步骤s221至s223：
s221：将上述布匹样本图像从空间域转化到频域，得到频域图像；
本实施例中，具体可以采用二维离散傅里叶变换将上述布匹样本图像从空间域转化到频域。
s222：对上述频域图像进行平滑处理，得到平滑后图像；
本实施例中，具体可以利用高斯滤波器对上述频域图像进行平滑处理。
s223：将上述平滑后图像进行分割，得到样本子图像；
例如，该步骤中可以将4096*1024的图像分割为256*256单元图像，再将256*256的单元图像分割为16*16的子图像。
s23：对上述样本子图像进行特征提取，得到上述样本子图像的特征信息；
进一步的，该步骤中的特征提取通过gabor滤波方法实现。
更具体的，采用自适应调校的gabor滤波器组将16*16的子图像分解为4个尺寸，8个方向的小波实部图像。通过在4个尺度上对图像进行分析，获取图像各个位置不同程度的细节信息，获得疵点区域能量增强而正常布匹纹理被抑制的分解后图像。最后采用多个幅值特征参数来描述分解后图像中的疵点能量，将这些特征参数作为该样本子图像的特征信息。通过对各图像块中疵点能量的检验，可以来判断该图像块中是否含有疵点。
s24：将上述特征信息输入基于bp神经网络算法的第一待训练模型进行训练，获得第一训练后模型。
具体的，将上述特征参数作为神经网络的输入信号，使用bp神经网络对特征参数进行训练，训练后获得第一训练后模型。
s25：将待检测布匹的表面图像输入至上述第一训练后模型，得到上述第一训练后模型输出的与上述待检测布匹的表面图像对应的表面疵点检测结果。
本发明实施例公开了一种具体的基于机器视觉的布匹表面疵点检测方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图3所示，具体的：
s31：获取第一训练样本；
s32：利用上述第一训练样本，对基于深度学习算法构建的第一待训练模型进行训练，得到第一训练后模型；
s33：将待检测布匹的表面图像输入至第一训练后模型，得到第一训练后模型输出的与待检测布匹的表面图像对应的表面疵点检测结果。
s34：获取第二训练样本；
其中，第二训练样本包括布匹表面图像以及相应的表面疵点类型；
其中，第二训练样本的表面疵点类型，可以包括：竹节类型、和/或断经类型、和/或缺纬类型、和/或飞针类型、和/或跳纱类型、和/或破洞类型、和/或油渍类型、和/或密路类型。
s35：利用上述第二训练样本，对基于卷积神经网络算法构建的第二待训练模型进行训练，得到第二训练后模型；
可以理解的是，图形处理中有多种算法可选择构建模型并进行训练。其中，bp神经网络的网络结构简单，容易操作，但是网络结构不容易确定，因此适用于简单判断布匹表面有无疵点，也即第一训练模型；卷积神经网络的网络结构复杂，训练也更加耗时，但是识别效果更好，因此适用于对于更加复杂的多种疵点分类判别，也即第二训练模型。
s36：当上述表面疵点检测结果表明上述待检测布匹存在疵点，将上述待检测布匹的表面图像输入上述第二训练后模型，得到上述第二训练后模型输出的上述待检测布匹的表面疵点类型。
可以理解的是，步骤s31、s32用于获取第一训练后模型，步骤s34、s35用于获取第二训练后模型，获取第一训练后模型和获取第二训练后模型并没有明确的动作先后。当步骤s33的结果表明上述待检测布匹存在疵点，进入步骤s36，判断待检测布匹的表面疵点类型。
本发明实施例公开了一种具体的基于机器视觉的布匹表面疵点检测方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图4所示，具体的：
s41：获取第一训练样本；
s42：利用上述第一训练样本，对基于深度学习算法构建的第一待训练模型进行训练，得到第一训练后模型；
s43：将待检测布匹的表面图像输入至上述第一训练后模型，得到上述第一训练后模型输出的与上述待检测布匹的表面图像对应的表面疵点检测结果。
s44：获取第三训练样本；
其中，上述第三训练样本包括表面疵点状态信息以及相应的表面疵点类型；
其中，上述表面疵点类型包括：竹节类型、和/或断经类型、和/或缺纬类型、和/或飞针类型、和/或跳纱类型、和/或破洞类型、和/或油渍类型、和/或密路类型。
s45：利用上述第三训练样本，对基于卷积神经网络算法构建的第三待训练模型进行训练，得到第三训练后模型；
s46：当上述表面疵点检测结果表明上述待检测布匹存在疵点，将上述表面疵点检测结果输入上述第三训练后模型，得到上述第三训练后模型输出的上述待检测布匹的表面疵点类型。
可以理解的是，步骤s41、s42用于获取第一训练后模型，步骤s44、s45用于获取第三训练后模型，获取第一训练后模型与获取第二训练后模型之间，没有明确的动作先后。当步骤s43的结果表明上述待检测布匹存在疵点，进入步骤s46，再判断待检测布匹的表面疵点类型。与上一个实施例不同，第三训练后模型的输入参数为第一训练后模型的输出结果，也即表面疵点检测结果。
本发明实施例公开了一种具体的基于机器视觉的布匹表面疵点检测方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的步骤包括s51到s58：
s51：获取第一训练样本；
其中，上述第一训练样本包括布匹表面图像以及相应的表面疵点状态信息；
其中，通过两台8k线阵相机采集尺寸为4096*1024的布匹表面图像；同时输入相应的表面疵点状态信息，包括表面有无疵点以及疵点的位置形状大小。
s52：对上述第一训练样本的布匹表面图像进行预处理，得到样本子图像；
可以理解的是，该步骤可以包括以下步骤s521至s523：
s521：将上述布匹样本图像从空间域转化到频域，得到频域图像；
本实施例中，具体可以采用二维离散傅里叶变换将上述布匹样本图像从空间域转化到频域。
s522：对上述频域图像进行平滑处理，得到平滑后图像；
本实施例中，具体可以利用高斯滤波器对上述频域图像进行平滑处理。
s523：将上述平滑后图像进行分割，得到样本子图像；
例如，该步骤中可以将4096*1024的图像分割为256*256单元图像，再将256*256的单元图像分割为16*16的子图像。
s53：对上述样本子图像进行特征提取，得到上述样本子图像的特征信息；
进一步的，该步骤中的特征提取通过gabor滤波方法实现。
更具体的，采用自适应调校的gabor滤波器组将16*16的子图像分解为4个尺寸，8个方向的小波实部图像。通过在4个尺度上对图像进行分析，获取图像各个位置不同程度的细节信息，获得疵点区域能量增强而正常布匹纹理被抑制的分解后图像。最后采用多个幅值特征参数来描述分解后图像中的疵点能量，将这些特征参数作为该样本子图像的特征信息。通过对各图像块中疵点能量的检验，可以来判断该图像块中是否含有疵点。
s54：将上述特征信息输入基于bp神经网络算法的第一待训练模型进行训练，获得第一训练后模型。
具体的，将上述特征参数作为神经网络的输入信号，使用bp神经网络对特征参数进行训练，训练后获得第一训练后模型。将上步提取的16*16的子图像幅值特征作为输入信号，使用bp神经网络对其进行训练。设wsq为网络中任意两个神经元之间的连接权，wsq也包含阈值在内，e总是一个与wsq有关的非线性误差函数，令
w＝(w11,...wsq,...wkl)
式中，w是各层权值，采用梯度法，对每个wsq元的修正值为
确定隐含层节点层数，经过多次试验确定最终的隐层节点层数为10：其中，hide表示隐含层个数，m和n分别为输入层和输出层节点数，a取1-10；初始权值选择(-1,1)之间的随机数，学习率δ设置为0.65，动量因子a设置为0.5，引入动量因子加速网络收敛，激励函数公式为：
其中y表示输入，定义域为[-∞，+∞]，σ(y)表示输出，值域为[0,1]。接下来对神经网络不断进行训练优化，使输出值尽可能接近期望值。
s55：将待检测布匹的表面图像输入至上述第一训练后模型，得到上述第一训练后模型输出的与上述待检测布匹的表面图像对应的表面疵点检测结果。
具体的，检测步骤中，对表面图像进行预处理和特征提取，与步骤s52、s53类似，获得待检测布匹的样本子图像后的特征提取后，通过bp神经网络对待检测布匹的表面图像进行检测。通过第一样本中不同的输出信号对比，设定阈值σ，将第一训练后模型的输出结果分为有缺陷、伪缺陷、无缺陷三类。其中，对比误差值0≤α＜0.5,则判定为无缺陷，0.5≤α＜1,则判定为伪缺陷，α＞1,则判定为有缺陷。
上述构建第一训练后模型与获取第一训练后模型的输出结果的方法，同样适用于其他实施例。
s56：获取第二训练样本；
其中，第二训练样本包括布匹表面图像以及相应的表面疵点类型；
s57：利用上述第二训练样本，对基于卷积神经网络算法构建的第二待训练模型进行训练，得到第二训练后模型；
其中，该步骤包括步骤s571-s573：
s571：深度卷积神经网络构建；
具体的，将第二训练样本的布匹表面图像作为输入层，自上而下经过卷积层和采样层提取特征后，得到输出层。
s572：表面疵点特征向量选取；
具体的方法如下：
第一步：输入层的图像大小为：
式中，sout与sin为输出图像与输入图像的尺寸，pad为边缘扩展像素个数，k为卷积核的尺寸，sd为卷积滑动步长.
第二步：卷积层的每一个特征map在前一层所有map上作卷积并将对应元素累加后加一个偏置，再由relu激活函数得到输出。公式为：
w代表卷积核，f代表激活函数，bi代表偏置。
第三步：对上一层map的相邻2*2小区域进行聚合统计，得到采样层。计算公式为：
其中，ω为权重。
第四步：将卷积层和采样层自下而上循环交替，设置合适的层数。
第五步：输出层与最后的采样层全连接，提取坯布整体的特征信息，得到最终坯布图像的高层特征向量，用于后续的分类器的输入。
s573：利用得到的表面疵点特征向量，训练得到第二训练后模型；
具体的，利用表面疵点特征向量，也即训练集的卷积特征，然后将卷积特征串接在一起归一化后得到图像特征作为softmax分类器的输入，用于训练softmax分类器。将softmax分类器与卷积神经网络结合使用，得到第二训练后模型。
s58：当上述表面疵点检测结果表明上述待检测布匹存在疵点，将上述待检测布匹的表面图像输入上述第二训练后模型，得到上述第二训练后模型输出的上述待检测布匹的表面疵点类型。
相应的，本发明实施例还公开了一种具体的基于机器视觉的布匹表面疵点检测系统，参见图5所示，包括：
第一样本获取模块01，用于获取第一训练样本；其中，上述训练样本包括布匹表面图像以及相应的表面疵点状态信息；
第一模型训练模块02，用于利用上述训练样本，对基于深度学习算法构建的第一待训练模型进行训练，得到第一训练后模型；
疵点检测模块03，用于将待检测布匹的表面图像输入至上述第一训练后模型，得到上述第一训练后模型输出的与上述待检测布匹的表面图像对应的表面疵点检测结果。
进一步的，该检测系统还可以包括第二样本获取模块、第二模型训练模块以及第一疵点分类模块；其中，
第二样本获取模块，用于获取第二训练样本；其中，上述第二训练样本包括布匹表面图像以及相应的表面疵点类型；
第二模型训练模块，用于利用上述第二训练样本，对基于卷积神经网络算法构建的第二待训练模型进行训练，得到第二训练后模型；
第一疵点分类模块，用于当上述表面疵点检测结果表明上述待检测布匹存在疵点，将上述待检测布匹的表面图像输入上述第二训练后模型，得到上述第二训练后模型输出的上述待检测布匹的表面疵点类型。
进一步的，该检测系统还可以包括第三样本获取模块、第三模型训练模块以及第二疵点分类模块；其中，
第三样本获取模块，用于获取第三训练样本；其中，上述第三训练样本包括表面疵点状态信息以及对应的表面疵点类型；
第三模型训练模块，用于利用上述第三训练样本，对基于卷积神经网络算法构建的第三待训练模型进行训练，得到第三训练后模型；
第二疵点分类模块，用于当上述表面疵点检测结果表明上述待检测布匹存在疵点，将上述表面疵点检测结果输入上述第三训练后模型，得到上述第三训练后模型输出的上述待检测布匹的表面疵点类型。
上述模块的详细功能和实现方式，具体参见上述实施例中基于机器视觉的布匹表面疵点检测方法。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的具体的基于机器视觉的布匹表面疵点检测方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上上述，本说明书内容不应理解为对本发明的限制。
- 还没有人留言评论。精彩留言会获得点赞！