疵点检测方法、装置、终端设备、服务器和存储介质与流程

本申请涉及织物检测技术领域，特别涉及织物疵点检测方法、装置、终端设备、服务器和存储介质。

背景技术

在机织布、针织布、非织造布等织物的生产线上，需要检测所生产出来的织物是否存在疵点，例如，织物上是否有污渍、破洞、起毛等等。

目前的检测方法主要有两种方式：第一种为纯人工检测方式，即由检测人员站在验布设备前通过肉眼检测的方式发现织物疵点并对疵点进行标记或记录；第二种为机器辅助的检测方式，主要是通过机器视觉和计算机程序分析来发现织物疵点并实现分类。

第一种检测方式在织物的产量很大的情况下，由检测人员来检测将会很费人力，而且，检测人员在工作一段时间之后容易疲劳，从而存在发生误检的可能性。因此，由检测人员来检测的检测效率不高、并且检测准确度不够稳定。

第二种检测方式一般将整套程序固化到终端设备中，难以随业务的发展迭代，用户在使用过程中，如果检测需求有变化，需要更换整套程序，成本较高。

技术实现要素：

鉴于以上问题，本发明的实施例提供一种织物疵点检测方法、装置、终端设备、服务器和存储介质，其能解决上述背景技术部分提到的技术问题。

第一方面，按照本发明的实施例的织物疵点检测方法，包括：接收待检测图像，利用第一检测模型对所述待检测图像进行分类，其中，所述第一检测模型用于检测图像是属于其中所包含的织物表面存在疵点的问题图像还是属于其中所包含的织物不存在疵点的正常图像；如果所述第一检测模型将所述待检测图像分类为所述问题图像，则生成疵点检测请求；将所述待检测图像和疵点检测请求发送至服务器，所述服务器搭载有第二检测模型，其中，所述第二检测模型用于检测疵点的类型；接收所述服务器发送的疵点类型的预测结果。

第二方面，按照本发明的实施例的织物疵点检测方法，包括：接收待检测图像和疵点检测请求；根据所述疵点检测请求，利用第二检测模型对所述待检测图像进行检测，其中，所述第二检测模型用于检测疵点的类型；生成并输出所述疵点类型的预测结果。

第三方面，按照本发明的实施例的织物疵点检测装置，包括：检测分类模块，用于接收待检测图像，利用第一检测模型对所述待检测图像进行分类，其中，所述第一检测模型用于检测图像是属于其中所包含的织物表面存在疵点的问题图像还是属于其中所包含的织物不存在疵点的正常图像；请求生成模块，用于如果所述第一检测模型将所述待检测图像分类为所述问题图像，则生成疵点检测请求；请求发送模块，用于将所述待检测图像和疵点检测请求发送至服务器，所述服务器搭载有第二检测模型，其中，所述第二检测模型用于检测疵点的类型；结果接收模块，用于接收所述服务器发送的疵点类型的预测结果。

第四方面，按照本发明的实施例的织物疵点检测装置，包括：请求接收模块，用于接收待检测图像和疵点检测请求；疵点分类模块，用于根据所述疵点检测请求，利用第二检测模型对所述待检测图像进行检测，其中，所述第二检测模型用于检测疵点的类型；结果输出模块，用于生成并输出所述疵点类型的预测结果。

第五方面，按照本发明的实施例的终端设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器存储有可执行指令，其中，所述可执行指令当被执行时使得所述处理器执行上述第一方面所述的方法。

第六方面，按照本发明的实施例的服务器，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器存储有可执行指令，其中，所述可执行指令当被执行时使得所述处理器执行上述第二方面所述的方法。

第七方面，按照本发明的实施例的存储介质，其上存储有计算机可执行指令，其中，所述可执行指令当被执行时使得计算机执行上述第一方面所述的方法，上述第二方面所述的方法。

从以上的描述可以看出，本发明的实施例的方案在终端设备仅设置用于检测织物表面是否存在疵点的第一检测模型，而将对疵点进行分类的第二检测模型搭载在云端服务器上，通过终端设备和服务器的通信，当检测出织物表面存在疵点时，则进行云端检测并回传结果。服务器搭载的第二检测模型可由提供方根据业务的发展进行维护和升级，当用户有新的检测需求时，例如需要增加疵点类型识别，则只需在服务器侧进行更新迭代，而无需更换终端设备的检测模型，降低了用户的使用成本。

附图说明

图1为本发明可以应用于其中的示例性系统架构的示意图；

图2为按照本发明的一个实施例的用于检测模型训练的方法的流程图；

图3为按照本发明的一个实施例的织物疵点检测方法的信令流程图；

图4为按照本发明的一个实施例的织物疵点检测方法的流程图；

图5为按照本发明的另一个实施例的织物疵点检测方法的流程图；

图6为按照本发明的一个实施例的织物疵点检测装置的示意图；

图7为按照本发明的另一个实施例的织物疵点检测装置的示意图；

图8为按照本发明的一个实施例的终端设备的示意图；

图9为按照本发明的一个实施例的服务器的示意图。

具体实施方式

现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

本发明的实施例的方案在终端设备仅设置用于检测织物表面是否存在疵点的第一检测模型，而将对疵点进行分类的第二检测模型搭载在云端服务器上，通过终端设备和服务器的通信，当检测出织物表面存在疵点时，则进行云端检测并回传结果。服务器搭载的第二检测模型可由提供方根据业务的发展进行维护和升级，当用户有新的检测需求时，例如需要增加疵点类型识别，则只需在服务器侧进行更新迭代，而无需更换终端设备的检测模型，降低了用户的使用成本。

图1示出了可以应用本发明的织物疵点检测方法或装置的实施例的示例性系统架构的示意图。如图1所示，该系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送数据、消息等。终端设备101、102、103上可以安装有各种客户端应用，例如用于调用检测模型的检测应用程序等。终端设备101、102、103和服务器105可以是例如计算机或其他合适的具有计算能力的电子设备。

应该理解，图1中的终端设备、网络和服务器的数量仅仅是示意性的。根据实际需要，可以具有任意数目的终端设备、网络和服务器。

本发明的实施例的方案包括模型训练阶段和实际检测阶段。

图2示出了按照本发明的一个实施例的用于检测模型训练的方法的流程图。图2所示的方法200对应于第一检测模型和第二检测模型训练阶段，其利用训练数据训练得到卷积神经网络(cnn：convolutionalneuralnetwork)模型(即第一检测模型)和svm(supportvectormachine，支持向量机)分类器(即第二检测模型)。cnn模型用于检测所输入的包含织物的图像是属于正常图像还是问题图像，svm分类器用于对问题图像按疵点类型进行分类。其中正常图像是指其中所包含的织物表面不存在疵点的图像，问题图像是指其中所包含的织物表面存在疵点的图像。图2所示的方法200可以由计算机或其他合适的具有计算能力的电子设备来实现。

如图2所示，在方框202，接收多个原始拍摄的图像。其中，该多个原始拍摄的图像包括多个正常图像和多个问题图像。

在方框204，对该多个原始拍摄的图像执行图像标注(imageannotation)处理，以得到第一样本图像集sp1。其中，第一样本图像集sp1中的每一个样本图像是对该多个原始拍摄的图像的其中一个图像执行图像标注处理得到的。图像标注处理是已知的技术，在此省略对其的描述。

在方框206，对第一样本图像集sp1执行灰度化处理，以将第一样本图像集sp1中的各个样本图像转换为灰度图像。

在方框208，从已灰度化处理的第一样本图像集sp1中选取一些或全部样本图像作为种子图像。例如但不局限于，所选取的种子图像中包括更多的问题图像，因为通常情况下，第一样本图像集sp1包括更少的问题。

在方框210，对每一个种子图像执行一次或多次等角度旋转、镜像和/或其他合适的操作，以从每一个种子图像中衍生得到一个或多个图像。其中，已灰度化处理的第一样本图像集sp1中的样本图像和从各个种子图像中衍生得到的图像共同组合成第二样本图像集sp2。

通常情况下，问题样本图像要比正常样本图像少，例如问题样本图像与正常样本图像的比例可能是1∶10～1∶20，从而在第一样本图像集sp1中问题样本图像和正常样本图像的数量是不平衡的，而不平衡的样本在进行神经网络训练时会导致最后训练结果出现异常偏差。因此，在方框208选取种子图像时，选取的问题样本图像要比选取的正常样本图像要多，以便在经过方框210的等角度旋转、镜像等的操作之后得到的第二样本图像集sp2中，问题样本图像和正常样本图像的数量是平衡的，以避免训练结果出现异常偏差。此外，通过方框206和208的操作，能够增加训练样本的数量(例如，能够将2500张样本图像经过处理后得到超过50000张，甚至100000张的样本图像)，而随着训练样本的增加，最后训练得到的神经网络模型和分类器具有更高的检测准确度。

方框206-210构成了方法200的图像预处理过程(imagepreprocessing)。

在方框212，获取第二样本图像集sp2中的各个灰度图像的属性参数，其中，该属性参数包括但不局限于图像的长度、宽度等。

在方框214，从第二样本图像集sp2中选取其属性参数满足第一规则集中的各个规则的多个图像，作为用于训练cnn模型的第三样本图像集sp3。其中，该第一规则集用于定义适用于训练cnn模型的样本图像需要满足的条件。例如，第一规则集定义适用于cnn模型的样本图像需要满足的长度限制、宽度限制等。第三样本图像集sp3包括多个正常图像和多个问题图像。

在方框216，从第二样本图像集sp2中选取其属性参数满足第二规则集中的各个规则的多个图像，作为用于训练svm分类器的第四样本图像集sp4。其中，该第二规则集用于定义适用于训练svm分类器的样本图像需要满足的条件。例如，第二规则集定义适用于训练svm分类器的样本图像需要满足的长度限制、宽度限制等。第四样本图像集sp4包括多个多种疵点分类的问题图像。疵点分类例如但不局限于斑、纱疵、织疵、印染疵点、边疵、褶皱、纬斜、破洞、勾丝、磨毛不均、剪毛不良、起毛、擦伤、驳口、停机痕。其中，斑包括油污、锈点、色点、污渍、霉斑、助剂斑；纱疵包括死棉、粗节、飞花、粗幼纱、污纱、条干不均；织疵包括断纱、纱结、漏针、烂针、拉架松紧、断拉架、间距不稳、布面起蛇、底纱露面、色纤、针路、错纱、纱痕、拉架露底、拉架露面；印染疵点包括漏印、印花移位、印花沾色、印花过底、印花不良、染花、阴阳色、走色、匹差；边疵包括针孔边、双针孔、卷边、烂边、窄封、阔封；褶皱包括中间夹痕、布面起皱、折痕；纬斜包括斜纹、弓形。

在方框218，使用第三样本图像集sp3的图像作为训练数据，训练得到cnn模型。

在方框220，使用第四样本图像集sp4的图像作为训练数据，训练得到svm分类器。

训练好的cnn模型搭载于终端设备上，训练好的svm分类器搭载于服务器上。

图3示出了本发明实施例提供的验布方法的信令流程图，该方法300包括：

步骤s302，终端设备接收待检测图像t。

可选的，待检测图像t可以由ccd工业照相机采集，然后通过有线或无线的方式发送至终端设备。其中上述ccd(chargecoupleddevice，感光耦合组件)为数字相机中用于记录光线变化的半导体组件。具体实施时，ccd工业照相机可通过网络交换机或其他方式与终端设备连接。

步骤s304，终端设备对图像t执行预处理，例如但不局限于，将图像t转换为灰度图像等。

步骤s306，终端设备利用以训练的cnn模型对经预处理的图像t进行分类。

步骤s308，如果cnn模型将图像t分类为正常图像，则终端设备确定图像t所包含的织物表面不存在疵点，然后流程结束。

步骤s310，如果cnn模型将图像t分类为问题图像，则终端设备对图像t执行疵点定位和图像分割处理。其中，疵点定位和图像分割处理将疵点区域从图像中分割出来，有利于后续对疵点类型的快速和精准检测。疵点定位和图像分割处理是已知的技术，在此省略对其的描述。

步骤s312，终端设备对经疵点定位和图像分割处理的图像t执行图像增强和归一化处理，从而增强图像中有用的信息并转换为符合要求的标准形式。图像增强和归一化处理是已知的技术，在此省略对其的描述。

步骤s314，终端设备生成疵点检测请求。

步骤s316，终端设备将经过图像增强和归一化处理的图像t和疵点检测请求发送至服务器。

步骤s318，服务器根据疵点检测请求利用以训练的svm分类器对图像t进行检测分类，得到图像t所包含的织物表面的疵点类型的预测结果。

步骤s320，服务器将预测结果发送至终端设备。

步骤s322，终端设备接收服务器发送的预测结果，并执行相应的响应动作，然后流程结束。

可选的，终端设备执行相应的响应动作，例如但不限于，存储预测结果、通过显示设备展示预测结果、执行报警操作等。

由图2所示流程可以看出，本发明实施例提供的方案可在本地终端设备检测织物是否存在疵点，当检测出存在疵点时，则利用云端服务器检测疵点的类型，通过这种分配方法，可在云端服务器进行疵点类型数据库的维护和更新，当用户有新的检测需求时，例如需要增加疵点类型识别，则只需在服务器侧进行更新迭代，而无需更换终端设备的检测模型，降低了用户的使用成本。

其他变型

本领域技术人员将理解，在本发明的实施例中，待检测图像在终端设备的检测分类过程中，经过一系列的处理，最终获取的可以是待检测图像的特征数据，具体实施时，终端设备将待检测图像发送至服务器可以是将待检测图像的特征数据发送至服务器。

本领域技术人员将理解，虽然在上面的实施例中，方法300包括对图像t执行预处理的步骤s304，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在图像t的初始状态下已适用于利用模型进行分类的情况下，方法300也可以不包括对图像t执行预处理的步骤s304。

本领域技术人员将理解，虽然在上面的实施例中，方法300包括对图像t进行疵点定位和图像分割处理的步骤s310，然而，本发明并不局限于此。在本发明的其他实施例中，方法300也可以不包括对图像t执行疵点定位和图像分割处理的步骤s310。

本领域技术人员将理解，虽然在上面的实施例中，方法300包括对图像t进行图像增强和归一化处理的步骤s312，然而，本发明并不局限于此。在本发明的其他实施例中，方法300也可以不包括对图像t执行图像增强和归一化处理的步骤s312。

本领域技术人员将理解，虽然在上面的实施例中，方法200包括对所接收的图像执行图像标注处理的方框204，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在方框202所接收的图像已执行图像标注处理的情况下，方法200也可以不包括对所接收的图像执行图像标注处理的方框204。

本领域技术人员将理解，虽然在上面的实施例中，方法200包括方框206-208以衍生更多的样本图像，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在已有样本图像的数量已经足够多的情况下，方法200也可以不包括方框206-208。

本领域技术人员将理解，虽然在上面的实施例中，方法200包括方框208-210以平衡问题样本图像和正常样本图像的数量并且获得更多的样本图像，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在方框202所接收的图像中问题样本图像和正常样本图像的数量是平衡的且数量已经足够多的情况下，方法200也可以不包括方框208-210。

本领域技术人员将理解，虽然在上面的实施例中，方法200包括方框206以将样本图像转化为灰度图像，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在方框202所接收的图像已是灰度图像的情况下，方法200也可以不包括方框206。

本领域技术人员将理解，虽然在上面的实施例中，方法200包括方框212-216以选取适用于训练cnn模型和分类器的样本图像，然而，本发明并不局限于此。在本发明的其他实施例中，方法200也可以不包括方框212-216。

本领域技术人员将理解，虽然在上面的实施例中，第一检测模型是cnn模型，然而，本发明并不局限于此。在本发明的其他实施例中，第一检测模型也可以是bp神经网络模型，或其他类型的神经网络模型。

本领域技术人员将理解，虽然在上面的实施例中，第二检测模型是svm分类器，然而，本发明并不局限于此。在本发明的其他实施中，第二检测模型还可以是贝叶斯分类器、近邻分类器、线性分类器或其他类型的分类器。

图4示出了按照本发明的一个实施例的织物疵点检测方法的流程图。图4所示的方法400应用于终端设备。

如图4所示，方法400可以包括，在方框402，接收待检测图像，利用第一检测模型对所述待检测图像进行分类，其中，所述第一检测模型用于检测图像是属于其中所包含的织物表面存在疵点的问题图像还是属于其中所包含的织物不存在疵点的正常图像；

方法400还可以包括：在方框404，如果所述第一检测模型将所述待检测图像分类为所述问题图像，则生成疵点检测请求。

方法400还可以包括：在方框406，将所述待检测图像和疵点检测请求发送至服务器，所述服务器搭载有第二检测模型，其中，所述第二检测模型用于检测疵点的类型。

方法400还可以包括：在方框408，接收所述服务器发送的疵点类型的预测结果。

在一个方面，如果所述第一检测模型将所述待检测图像分类为所述问题图像，所述方法还包括：对所述待检测图像进行疵点定位和图像分割处理；相应的，将所述待检测图像和疵点检测请求发送至服务器，包括：将经过疵点定位和图像分割处理的待检测图像和疵点检测请求发送至服务器。

在另一个方面，所述第一检测模型是卷积神经网络模型，以及所述第二检测模型包括贝叶斯分类器、近邻分类器、线性分类器、svm分类器的其中一种。

图5示出了按照本发明的另一个实施例的织物疵点检测方法的流程图。图5所示的方法500应用于服务器。

如图5所示，方法500可以包括，在方框502，接收待检测图像和疵点检测请求。

方法500还可以包括：在方框504，根据所述疵点检测请求，利用第二检测模型对所述待检测图像进行检测，其中，所述第二检测模型用于检测疵点的类型。

方法500还可以包括：在方框506，生成并输出所述疵点类型的预测结果。

图6示出了按照本发明的一个实施例的织物疵点检测装置的示意图，图6所示的装置600可以利用软件、硬件或软硬件结合的方式来实现。装置600应用于终端设备。

如图6所示，装置600可以包括检测分类模块602、请求生成模块604、请求发送模块606和结果接收模块608。检测分类模块602用于接收待检测图像，利用第一检测模型对所述待检测图像进行分类，其中，所述第一检测模型用于检测图像是属于其中所包含的织物表面存在疵点的问题图像还是属于其中所包含的织物不存在疵点的正常图像。请求生成模块604用于如果所述第一检测模型将所述待检测图像分类为所述问题图像，则生成疵点检测请求。请求发送模块606用于将所述待检测图像和疵点检测请求发送至服务器，所述服务器搭载有第二检测模型，其中，所述第二检测模型用于检测疵点的类型。结果接收模块608用于接收所述服务器发送的疵点类型的预测结果。

在一个方面，如果所述第一检测模型将所述待检测图像分类为所述问题图像，所述装置还包括定位分割模块，用于对所述待检测图像进行疵点定位和图像分割处理；相应的，所述请求发送模块用于将经过疵点定位和图像分割处理的待检测图像和疵点检测请求发送至服务器。

在另一个方面，所述第一检测模型是卷积神经网络模型，以及所述第二检测模型包括贝叶斯分类器、近邻分类器、线性分类器、svm分类器的其中一种。

图7示出了按照本发明的另一个实施例的织物疵点检测装置的示意图，图7所示的装置700可以利用软件、硬件或软硬件结合的方式来实现。装置700应用于服务器。

如图7所示，装置700可以包括请求接收模块702、疵点分类模块704和结果输出模块706。请求接收模块702用于接收待检测图像和疵点检测请求。疵点分类模块704用于根据所述疵点检测请求，利用第二检测模型对所述待检测图像进行检测，其中，所述第二检测模型用于检测疵点的类型。结果输出模块706用于生成并输出所述疵点类型的预测结果。

图8示出了按照本发明的一个实施例的终端设备的示意图。如图8所示，终端设备800可以包括处理器802、存储器804、通信接口806和通信总线808，处理器802、存储器804和通信接口806通过通信总线808完成相互间的通信。

存储器804存储有可执行指令，其中，所述可执行指令当被执行时使得处理器802执行图2所示的方法200、图3所示的方法300或图4所示的方法400。

图9示出了按照本发明的一个实施例的服务器的示意图。如图9所示，服务器900可以包括处理器902、存储器904、通信接口906和通信总线908，处理器902、存储器904和通信接口906通过通信总线908完成相互间的通信。

存储器904存储有可执行指令，其中，所述可执行指令当被执行时使得处理器902执行图2所示的方法200或图5所示的方法500。

上述终端设备和服务器提到的通信总线可以是外设部件互连标准(peripheralpomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(randomaccessmemory，简称ram)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field-programmablegatearray，简称fpga)、图形处理器(graphicsprocessingunit，简称gpu)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明还提供一种存储介质，其上存储有计算机可执行指令，其中，所述可执行指令当被执行时使得计算机执行图2所示的方法、图3所示的方法、图4所示的方法或图5所示的方法。

上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。