织物疵点检测方法、装置、设备和机器可读介质与流程

本申请涉及织物检测技术领域，特别涉及织物疵点检测方法、装置、设备和机器可读介质。

背景技术：

在机织布、针织布、非织造布等织物的生产线上，需要检测所生产出来的织物是否存在疵点，例如，织物上是否有污渍、破洞、起毛等等。

目前的检测方法主要是由检测人员站在验布设备前通过肉眼检测的方式发现织物疵点并对疵点进行标记或记录。在织物的产量很大的情况下，由检测人员来检测将会很费人力，而且，检测人员在工作一段时间之后容易疲劳，从而存在发生误检的可能性。因此，由检测人员来检测的总体缺陷检测效率不高、并且检测准确度不够稳定。

相关技术中，利用计算机进行验布主要是通过机器视觉和疵点分类方法来实现，也即，通过摄像技术获取待检测的布料图像，通过预先设置多个类别，利用cnn(convolutionalneuralnetworks，卷积神经网络)模型包括的至少一个卷积层和至少一个池化层确定图像的特征，利用cnn模型包括的全连接层根据该图像的特征确定该图像分别属于该多个类别中的每个类别的概率，并将概率最大的类别确定为该图像所述的类别，以得到该布料图像所述的疵点分类。但是，由于织物表面印花的存在，通过单一的神经网络模型很容易造成误检，导致检测的准确率非常低。

技术实现要素：

鉴于以上问题，本发明的实施例提供一种织物疵点检测方法、装置和设备，其能解决上述背景技术部分提到的技术问题。

按照本发明的实施例的织物疵点检测方法，包括：当要检测指定图像所包含的织物表面是否存在疵点时，利用已训练的第一神经网络模型对所述指定图像进行分类，其中，所述第一神经网络模型用于检测图像是属于其中所包含的织物表面有可能存在疵点的异常图像还是属于其中所包含的织物表面不可能存在疵点的正常图像；如果所述第一神经网络模型将所述指定图像分类为所述异常图像，则利用已训练的具有记忆能力的第二神经网络模型对所述指定图像进行分类，其中，所述第二神经网络模型用于检测图像是属于其中所包含的织物表面存在疵点的问题图像还是属于所述正常图像；如果所述第二神经网络模型将所述指定图像分类为所述问题图像，则利用已训练的分类器对所述指定图像进行分类并确定所述指定图像所包含的织物表面的疵点类型，其中，所述分类器用于检测图像所包含的织物表面存在的疵点的类型。

按照本发明的实施例的织物疵点检测装置，包括：第一分类模块，用于当要检测指定图像所包含的织物表面是否存在疵点时，利用已训练的第一神经网络模型对所述指定图像进行分类，其中，所述第一神经网络模型用于检测图像是属于其中所包含的织物表面有可能存在疵点的异常图像还是属于其中所包含的织物表面不可能存在疵点的正常图像；第二分类模块，用于如果所述第一神经网络模型将所述指定图像分类为所述异常图像，则利用已训练的具有记忆能力的第二神经网络模型对所述指定图像进行分类，其中，所述第二神经网络模型用于检测图像是属于其中所包含的织物表面存在疵点的问题图像还是属于所述正常图像；第三分类模块，用于如果所述第二神经网络模型将所述指定图像分类为所述问题图像，则利用已训练的分类器对所述指定图像进行分类，其中，所述分类器用于检测图像所包含的织物表面存在的疵点的类型。

按照本发明的实施例的织物疵点检测设备，包括处理器；以及存储器，其上存储有可执行指令，其中，所述可执行指令当被执行时使得所述处理器执行前述的方法。

按照本发明的实施例的机器可读介质，其上存储有可执行指令，其中，所述可执行指令当被执行时使得机器执行前述的方法。

从以上的描述可以看出，本发明的实施例的方案利用第一神经网络分类出异常图像，利用第二神经网络分类出问题图像，利用分类器分类出问题图像所包含的织物表面存在的疵点的类型，因此，与现有技术相比，本发明的实施例的方案能够快速发现异常图像，并能在异常图像中很好地排除干扰找到真正的问题图像，最后对疵点进行精准分类，从而降低误检率，提高检测准确度。

附图说明

图1为按照本发明的一个实施例的用于模型训练的方法的流程图；

图2为按照本发明的一个实施例的织物疵点检测方法的总体流程图；

图3为按照本发明的一个实施例的织物疵点检测方法的流程图；

图4为按照本发明的一个实施例的织物疵点检测装置的示意图；

图5为按照本发明的一个实施例的织物疵点检测设备的示意图。

具体实施方式

现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

本发明的实施例提供的方案利用第一神经网络分类出异常图像，利用第二神经网络分类出问题图像，利用分类器分类出问题图像所包含的织物表面存在的疵点的类型，因此，与现有技术相比，本发明的实施例的方案能够快速发现异常图像，并能在异常图像中很好地排除干扰找到真正的问题图像，最后对疵点进行精准分类，从而降低误检率，提高检测准确度。

本发明的实施例的方案包括模型训练阶段和实际检测阶段。

图1示出了按照本发明的一个实施例的用于模型训练的方法的流程图。图1所示的方法100对应于模型训练阶段，其利用训练数据训练得到卷积神经网络(cnn：convolutionalneuralnetwork)模型、具有记忆能力的循环神经网络(rnn：recurrentneuralnetwork)模型和svm(supportvectormachine，支持向量机)分类器。其中，cnn模型用于检测所输入的包含织物的图像是属于正常图像还是异常图像，rnn模型用于检测cnn模型检测出的异常图像是属于正常图像还是问题图像，svm分类器用于对问题图像按疵点类型进行分类。其中，正常图像是指其中所包含的织物表面不存在疵点的图像，异常图像是指cnn模型分类出的其中所包含的织物表面有可能存在疵点的图像，问题图像是指其中所包含的织物表面存在疵点的图像。从以上可知，异常图像可能是正常图像也可能是问题图像。图1所示的方法100可以由计算机或其他合适的具有计算能力的电子设备来实现。

如图1所示，在方框102，接收多个原始拍摄的图像。其中，该多个原始拍摄的图像包括多个正常图像和多个问题图像。

在方框104，对该多个原始拍摄的图像执行图像标注(imageannotation)处理，以得到第一样本图像集sp1。其中，第一样本图像集sp1中的每一个样本图像是对该多个原始拍摄的图像的其中一个图像执行图像标注处理得到的。图像标注处理是已知的技术，在此省略对其的描述。

在方框106，对第一样本图像集sp1执行灰度化处理，以将第一样本图像集sp1中的各个样本图像转换为灰度图像。

在方框108，从已灰度化处理的第一样本图像集sp1中选取一些或全部样本图像作为种子图像。例如但不局限于，所选取的种子图像中包括更多的问题图像，因为通常情况下，第一样本图像集sp1包括更少的问题。

在方框110，对每一个种子图像执行一次或多次等角度旋转、镜像和/或其他合适的操作，以从每一个种子图像中衍生得到一个或多个图像。其中，已灰度化处理的第一样本图像集sp1中的样本图像和从各个种子图像中衍生得到的图像共同组合成第二样本图像集sp2。

通常情况下，问题样本图像要比正常样本图像少，例如问题样本图像与正常样本图像的比例可能是1∶10～1∶20，从而在第一样本图像集sp1中问题样本图像和正常样本图像的数量是不平衡的，而不平衡的样本在进行神经网络训练时会导致最后训练结果出现异常偏差。因此，在方框108选取种子图像时，选取的问题样本图像要比选取的正常样本图像要多，以便在经过方框110的等角度旋转、镜像等的操作之后得到的第二样本图像集sp2中，问题样本图像和正常样本图像的数量是平衡的，以避免训练结果出现异常偏差。此外，通过方框106和108的操作，能够增加训练样本的数量(例如，能够将2500张样本图像经过处理后得到超过50000张，甚至100000张的样本图像)，而随着训练样本的增加，最后训练得到的神经网络模型和分类器具有更高的检测准确度。

方框106-110构成了方法100的图像预处理过程(imagepreprocessing)。

在方框112，获取第二样本图像集sp2中的各个灰度图像的属性参数，其中，该属性参数包括但不局限于图像的长度、宽度等。

在方框114，从第二样本图像集sp2中选取其属性参数满足第一规则集中的各个规则的多个图像，作为用于训练cnn模型的第三样本图像集sp3。其中，该第一规则集用于定义适用于训练cnn模型的样本图像需要满足的条件。例如，第一规则集定义适用于cnn模型的样本图像需要满足的长度限制、宽度限制等。第三样本图像集sp3包括多个正常图像和多个问题图像。

在方框116，从第二样本图像集sp2中选取其属性参数满足第二规则集中的各个规则的多个图像，作为用于训练rnn模型的第四样本图像集sp4。其中，该第二规则集用于定义适用于训练rnn模型的样本图像需要满足的条件。例如，第二规则集定义适用于训练rnn模型的样本图像需要满足的长度限制、宽度限制等。第四样本图像集sp4包括多个正常图像和多个问题图像。

在方框118，从第二样本图像集sp2中选取其属性参数满足第三规则集中的各个规则的多个图像，作为用于训练svm分类器的第五样本图像集sp5。其中，该第三规则集用于定义适用于训练svm分类器的样本图像需要满足的条件。例如，第三规则集定义适用于训练svm分类器的样本图像需要满足的长度限制、宽度限制等。第五样本图像集sp5包括多个多种疵点分类的问题图像。疵点分类例如但不局限于斑、纱疵、织疵、印染疵点、边疵、褶皱、纬斜、破洞、勾丝、磨毛不均、剪毛不良、起毛、擦伤、驳口、停机痕。其中，斑包括油污、锈点、色点、污渍、霉斑、助剂斑；纱疵包括死棉、粗节、飞花、粗幼纱、污纱、条干不均；织疵包括断纱、纱结、漏针、烂针、拉架松紧、断拉架、间距不稳、布面起蛇、底纱露面、色纤、针路、错纱、纱痕、拉架露底、拉架露面；印染疵点包括漏印、印花移位、印花沾色、印花过底、印花不良、染花、阴阳色、走色、匹差；边疵包括针孔边、双针孔、卷边、烂边、窄封、阔封；褶皱包括中间夹痕、布面起皱、折痕；纬斜包括斜纹、弓形。

在方框120，使用第三样本图像集sp3的图像作为训练数据，训练得到cnn模型。

在方框122，使用第四样本图像集sp4的图像作为训练数据，训练得到rnn模型。

由于rnn模型中有记忆单元(memory)，其可以对之前循环的状态进行一定的信息存储，所以每次预测下一对象时，都可以利用之前预测的对象的部分信息，这有利于对存在一定规律的印花(印花序列)进行识别，排除印花对疵点识别的干扰。

在方框124，使用第五样本图像集sp5的图像作为训练数据，训练得到svm分类器。

图2示出了按照本发明的一个实施例的织物疵点检测方法的总体流程图。图2所示的方法200对应于实际检测阶段，其使用利用方法100训练得到的cnn模型、rnn模型和svm分类器来检测图像所包含的织物表面是否存在疵点。图2所示的方法200可以例如由计算机或其他合适的具有计算能力的电子设备来实现。

如图2所示，在方框202，当要检测图像t是属于正常图像还是问题图像以及如果是问题图像是属于哪类疵点的问题图像时，对图像t执行预处理，例如但不局限于，将图像t转换为灰度图像等。

在方框204，利用已训练的cnn模型对经预处理的图像t进行分类。

在方框206，如果cnn模型将图像t分类为正常图像，则确定图像t所包含的织物表面不存在疵点，然后流程结束。

在方框208，如果cnn模型将图像t分类为异常图像，则利用已训练的rnn模型对经预处理的图像t进行分类。

在一个方面，cnn模型对图像t进行分类时，会获取图像t的特征向量，当图像t被cnn模型分类为异常图像时，可将cnn模型获取的图像t的特征向量输入rnn模型中由rnn模型对图像t的特征向量进行分类。

在方框210，如果rnn模型将图像t分类为正常图像，则确定图像t所包含的织物表面不存在疵点，然后流程结束。

在方框212，如果rnn模型将图像t分类为问题图像，则利用已训练的svm分类器对经预处理的图像t进行分类。

在一个方面，当图像t被rnn模型分类为问题图像时，可将cnn模型获取的图像t的特征向量输入svm分类器中由svm分类器对图像t的特征向量进行分类。

在方框214，确定图像t所包含的织物表面的疵点类型并输出疵点类型的信息，然后流程结束。

其他变型

本领域技术人员将理解，虽然在上面的实施例中，方法200包括对图像t执行预处理的方框202，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在图像t的初始状态下已适用于利用模型或分类器来进行分类的情况下，方法200也可以不包括对图像t执行预处理的方框202。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括对所接收的图像执行图像标注处理的方框104，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在方框102所接收的图像已执行图像标注处理的情况下，方法100也可以不包括对所接收的图像执行图像标注处理的方框104。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括方框106-108以衍生更多的样本图像，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在已有样本图像的数量已经足够多的情况下，方法100也可以不包括方框106-108。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括方框108-110以平衡问题样本图像和正常样本图像的数量并且获得更多的样本图像，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在方框102所接收的图像中问题样本图像和正常样本图像的数量是平衡的且数量已经足够多的情况下，方法100也可以不包括方框108-110。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括方框106以将样本图像转化为灰度图像，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在方框102所接收的图像已是灰度图像的情况下，方法100也可以不包括方框106。

本领域技术人员将理解，虽然在上面的实施例中，方法100包括方框112-118以选取适用于训练cnn模型、rnn模型和分类器的样本图像，然而，本发明并不局限于此。在本发明的其他实施例中，方法100也可以不包括方框112-118。

本领域技术人员将理解，虽然在上面的实施例中，被训练用来检测图像是属于正常图像还是异常图像的神经网络模型是cnn模型，然而，本发明并不局限于此。在本发明的其他实施例中，被训练用来检测图像是属于正常图像还是异常图像的神经网络模型还可以是bp神经网络模型，或其他类型的神经网络模型。

本领域技术人员将理解，虽然在上面的实施例中，被训练用来检测异常图像是属于正常图像还是问题图像的神经网络模型是rnn模型，然而，本发明并不局限于此。在本发明的其他实施例中，被训练用来检测异常图像是属于正常图像还是问题图像的神经网络模型还可以是lstm(longshort-termmemory，长短期记忆)模型，或其他具有记忆能力的神经网络模型。

本领域技术人员将理解，虽然在上面的实施例中，被训练用来检测问题图像是属于哪类疵点的问题图像的分类器是svm分类器，然而，本发明并不局限于此。在本发明的其他实施中，被训练用来检测问题图像是属于哪类疵点的问题图像的分类器还可以是贝叶斯分类器、近邻分类器、线性分类器或其他类型的分类器。

图3示出了按照本发明的一个实施例的织物疵点检测方法的流程图。图3所示的方法300可以例如由计算机或其他合适的具有计算能力的电子设备来实现。

如图3所示，方法300可以包括，在方框302，当要检测指定图像所包含的织物表面是否存在疵点时，利用已训练的第一神经网络模型对所述指定图像进行分类，其中，所述第一神经网络模型用于检测图像是属于其中所包含的织物表面有可能存在疵点的异常图像还是属于其中所包含的织物表面不可能存在疵点的正常图像。

方法300还可以包括：在方框304，如果所述第一神经网络模型将所述指定图像分类为所述异常图像，则利用已训练的具有记忆能力的第二神经网络模型对所述指定图像进行分类，其中，所述第二神经网络模型用于检测图像是属于其中所包含的织物表面存在疵点的问题图像还是属于所述正常图像。

方法300还可以包括：在方框306，如果所述第二神经网络模型将所述指定图像分类为所述问题图像，则利用已训练的分类器对所述指定图像进行分类并确定所述指定图像所包含的织物表面的疵点类型，其中，所述分类器用于检测图像所包含的织物表面存在的疵点的类型。

在一个方面，所述第一神经网络模型是利用第一组样本图像训练得到的，所述第二神经网络模型是利用第二组样本图像训练得到的，以及，所述分类器是利用第三组样本图像训练得到的；其中，所述第一组样本图像是基于第一规则集中的规则从包含多个所述正常图像和多个所述问题图像的多个样本图像中选取的，所述第二组样本图像是基于第二规则集中的规则从所述多个样本图像中选取的，以及，所述第三组样本图像是基于第三规则集中的规则从包含多个所述问题图像的多个样本图像中选取的。

在另一个方面，所述第一神经网络模型是卷积神经网络模型，以及所述第二神经网络模型是循环神经网络模型。

在又一个方面，所述分类器包括贝叶斯分类器、近邻分类器、线性分类器、svm分类器的其中一种。

图4示出了按照本发明的一个实施例的织物疵点检测装置的示意图。图4所示的装置400可以利用软件、硬件或软硬件结合的方式来实现。装置400例如可以安装在计算机或其他合适的具有计算能力的电子设备中。

如图4所示，装置400可以包括第一分类模块402、第二分类模块404和第三分类模块406。第一分类模块402用于当要检测指定图像所包含的织物表面是否存在疵点时，利用已训练的第一神经网络模型对所述指定图像进行分类，其中，所述第一神经网络模型用于检测图像是属于其中所包含的织物表面有可能存在疵点的异常图像还是属于其中所包含的织物表面不可能存在疵点的正常图像。第二分类模块404用于如果所述第一神经网络模型将所述指定图像分类为所述异常图像，则利用已训练的具有记忆能力的第二神经网络模型对所述指定图像进行分类，其中，所述第二神经网络模型用于检测图像是属于其中所包含的织物表面存在疵点的问题图像还是属于所述正常图像。第三分类模块406用于如果所述第二神经网络模型将所述指定图像分类为所述问题图像，则利用已训练的分类器对所述指定图像进行分类并确定所述指定图像所包含的织物表面的疵点类型，其中，所述分类器用于检测图像所包含的织物表面存在的疵点的类型。

在一个方面，所述第一神经网络模型是利用第一组样本图像训练得到的，所述第二神经网络模型是利用第二组样本图像训练得到的，以及，所述分类器是利用第三组样本图像训练得到的；其中，所述第一组样本图像是基于第一规则集中的规则从包含多个所述正常图像和多个所述异常图像的多个样本图像中选取的，所述第二组样本图像是基于第二规则集中的规则从所述多个样本图像中选取的，以及，所述第三组样本图像是基于第三规则集中的规则从包含多个所述问题图像的多个样本图像中选取的。

在另一个方面，所述第一神经网络模型是卷积神经网络模型，以及所述第二神经网络模型是循环神经网络模型。

在又一个方面，所述分类器包括贝叶斯分类器、近邻分类器、线性分类器、svm分类器的其中一种。

图5示出了按照本发明的一个实施例的织物疵点检测设备的示意图。如图5所示，设备500可以包括处理器502和存储器504，其中，存储器504上存储有可执行指令，其中，所述可执行指令当被执行时使得处理器502执行图1所示的方法100、图2所示的方法200或图3所示的方法300。

在一个方面，织物疵点检测设备还可以包括以下一个或多个组件：电源组件、多媒体组件、音频组件、输入/输出(i/o)接口、传感器组件、以及通信组件。其中，电源组件为设备500的各种组件提供电源；多媒体组件包括在设备500和用户之间的提供一个输出接口的屏幕；音频组件被配置为输出和/或输入音频信号；i/o接口为处理器502和外围接口模块之间提供接口；传感器组件包括一个或多个传感器；通信组件被配置为便于设备500和其他设备之间有线或无线方式的通信。

本发明的实施例还提供一种机器可读介质，其上存储有可执行指令，其中，所述可执行指令当被执行时使得机器执行图1所示的方法100、图2所示的方法200或图3所示的方法300。

上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。