验布方法、装置、终端设备、服务器、存储介质和系统与流程

本申请涉及织物检测技术领域，特别涉及验布方法、装置、终端设备、服务器、存储介质和系统。

背景技术：

在机织布、针织布、非织造布等织物的生产线上，需要检测所生产出来的织物是否存在疵点，例如，织物上是否有污渍、破洞、起毛等等。

目前的检测方法主要有两种方式：第一种为纯人工检测方式，即由检测人员站在验布设备前通过肉眼检测的方式发现织物疵点并对疵点进行标记或记录；第二种为机器辅助的检测方式，主要是通过机器视觉和计算机程序分析来发现织物疵点并实现分类。

第一种检测方式在织物的产量很大的情况下，由检测人员来检测将会很费人力，而且，检测人员在工作一段时间之后容易疲劳，从而存在发生误检的可能性。因此，由检测人员来检测的总体缺陷检测效率不高、并且检测准确度不够稳定。

第二种检测方式一般将程序固化到终端设备中，后期需要分别对每一终端设备进行维护，而且检测程序提供方无法统一管理，导致运营成本高昂。

技术实现要素：

鉴于以上问题，本发明的实施例提供一种验布方法、装置、终端设备、服务器和系统，其能解决上述背景技术部分提到的技术问题。

第一方面，按照本发明的实施例的验布方法，包括：接收验布机发送的待检测图像，并生成疵点检测请求；将所述待检测图像和疵点检测请求发送至服务器，所述服务器包括用于检测织物疵点的神经网络模型；如果接收到所述服务器发送的所述待检测图像所包含的织物存在疵点的检测结果，则根据所述检测结果生成疵点标记控制指令，所述检测结果包括疵点的类型信息和位置信息；将所述疵点标记控制指令发送至所述验布机。

第二方面，按照本发明的实施例的验布方法，包括：接收待检测图像和疵点检测请求；根据所述疵点检测请求，利用检测织物疵点的神经网络模型对所述待检测图像进行检测；若所述待检测图像所包含的织物存在疵点，则生成检测结果并输出，所述检测结果包括疵点的类型信息和位置信息。

第三方面，按照本发明的实施例的验布装置，包括：请求生成模块，用于接收验布机发送的待检测图像，并生成疵点检测请求；请求发送模块，用于将所述待检测图像和疵点检测请求发送至服务器，所述服务器包括用于检测织物疵点的神经网络模型；指令生成模块，用于如果接收到所述服务器发送的所述待检测图像所包含的织物存在疵点的检测结果，则根据所述检测结果生成疵点标记控制指令，所述检测结果包括疵点的类型信息和位置信息；指令发送模块，用于将所述疵点标记控制指令发送至所述验布机。

第四方面，按照本发明的实施例的验布装置，包括：请求接收模块，用于接收待检测图像和疵点检测请求；疵点检测模块，用于根据所述疵点检测请求，利用检测织物疵点的神经网络模型对所述待检测图像进行检测；结果输出模块，用于若所述待检测图像所包含的织物存在疵点，则生成检测结果并输出，所述检测结果包括疵点的类型信息和位置信息。

第五方面，按照本发明的实施例的终端设备，包括处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器存储有可执行指令，其中，所述可执行指令当被执行时使得所述处理器执行第一方面所述的方法。

第六方面，按照本发明的实施例的服务器，包括处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器存储有可执行指令，其中，所述可执行指令当被执行时使得所述处理器执行权利要求第二方面所述的方法。

第七方面，按照本发明的实施例的存储介质，其上存储有计算机可执行指令，其中，所述可执行指令当被执行时使得计算机执行第一方面所述的方法，第二方面所述的方法。

从以上的描述可以看出，本发明的实施例的方案将用于检测织物疵点的神经网络模型搭载在云端服务器，通过终端设备和服务器的通信，实现云端检测和结果回传，最终在验布机上实现对疵点的标记。检测织物疵点的神经网络模型提供方可在云端统一管理和维护，降低了后期运营成本。

附图说明

图1为本发明实施例提供的验布系统的硬件架构示意图；

图2为本发明实施例提供的验布方法的信令流程图；

图3为本发明实施例提供的验布方法的流程图；

图4为本发明实施例提供的验布方法的又一流程图；

图5为本发明实施例提供的对待检测图像进行检测的一方法流程图；

图6为本发明实施例提供的验布装置的结构框图；

图7为本发明实施例提供的终端设备的示意图；

图8为本发明实施例提供的验布装置的又一结构框图；

图9为本发明实施例提供的疵点检测模块的结构框图；

图10为本发明实施例提供的服务器的示意图。

具体实施方式

现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

参照图1，为本申请实施例提供的验布系统的硬件架构示意图，该架构100可以用于实施本申请实施例提供的验布方法，如图1所示，架构100可以包括：验布机102，终端设备104，网络106以及服务器108。网络106用以在终端设备104和服务器108之间提供通信链路的介质。网络106可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备104通过网络106与服务器108交互，以接收或发送消息、数据等，或者，终端设备104按照预设指令通过网络106与服务器108进行交互，终端设备104上可以安装验布应用程序。终端设备104可以是例如计算机或其他合适的具有计算能力的电子设备。

服务器108可以是提供检测服务的服务器，其搭载有用于检测织物疵点的神经网络模型。服务器108可以接收终端设备104的检测请求，并将检测结果反馈给终端设备104。

验布机102通常可以包括实时采集装置、控制装置、标记装置以及卷取装置。实时采集装置可以采用ccd工业照相机，其用于按预设频率实时采集验布机上的织物图像。其中，上述ccd(chargecoupleddevice，感光耦合组件)为数字相机中用于记录光线变化的半导体组件。具体实施时，实时采集装置可以通过网络交换机与终端设备连接，以将实时采集的待检测图像发送至终端设备。控制装置可以采用plc控制柜，控制装置分别与标记装置和卷取装置连接，用于控制标记装置进行疵点标记以及控制卷取装置开停机。具体实施时，控制装置可以通过串口连接的方式与终端设备连接，以接收终端设备发送的信息。标记装置可以采用喷墨打标器，在控制装置的控制下在织物的相应位置进行疵点标记。卷取装置通常可以包括卷布辊、卷取转动轴和卷取驱动电机，控制装置与卷取驱动电机连接，控制装置通过控制卷取驱动电机实现开停机操作，卷取装置可以将待检测的织物连续地通过实时采集装置的采集范围，从而实现对织物表面的连续采集。

应该理解，图1中的验布机、终端设备、网络和服务器的数目仅仅是示意性的。根据实际需要，可以具有任意数目的验布机、终端设备、网络和服务器。

基于图1所示的验布系统，图2示出了本发明实施例提供的验布方法的信令流程图，结合图1和图2所示，该方法200可以包括：

步骤s202、验布机采集待检测图像。

在本实施方式中，验布机通过实时采集装置采集待检测图像，具体实施时，实时采集装置可以采用ccd工业照相机。实时采集装置设置在卷布辊上方，实时采集织物表面图像作为待检测图像。

步骤s204、验布机将采集的待检测图像发送至终端设备。

在本实施方式中，验布机的实时采集装置可以通过有线或无线的方式将待检测图像发送至终端设备。

步骤s206、终端设备对待检测图像执行预处理，例如但不局限于，将图像t转换为灰度图像等。

步骤s208、终端设备对经预处理的待检测图像执行图像增强和归一化处理，从而增强图像中有用的信息并转换为符合要求的标准形式。图像增强和归一化处理是已知的技术，在此省略对其的描述。

步骤s210、终端设备生成疵点检测请求。

步骤s212、终端设备将经图像增强和归一化处理的待检测图像和疵点检测请求发送至服务器。

步骤s214、服务器根据疵点检测请求利用神经网络模型对待检测图像进行检测。

可选的，神经网络模型可以采用单一型神经网络模型，例如但不局限于，反向传播神经网络(bp：backpropagationneuralnetwork)模型、卷积神经网络(cnn：convolutionalneuralnetwork)模型、循环神经网络(rnn：recurrentneuralnetwork)模型、lstm(longshort-termmemory，长短期记忆)模型、gru(gatedrecurrentunit，门控循环单元)模型；也可以采用组合型神经网络模型，例如但不局限于，cnn模型+分类器、cnn模型+cnn模型、bp模型+分类器；也可以是其他类型的神经网络模型。

步骤s216、如果服务器未检测到待检测图像所包含的织物表面存在疵点，则确定待检测图像所包含的织物表面不存在疵点，然后流程结束。

步骤s218、如果服务器检测到待检测图像所包含的织物表面存在疵点，则生成检测结果，检测结果包括疵点类型信息和疵点位置信息。

可选的，疵点类型例如但不局限于斑、纱疵、织疵、印染疵点、边疵、褶皱、纬斜、破洞、勾丝、磨毛不均、剪毛不良、起毛、擦伤、驳口、停机痕。其中，斑包括油污、锈点、色点、污渍、霉斑、助剂斑；纱疵包括死棉、粗节、飞花、粗幼纱、污纱、条干不均；织疵包括断纱、纱结、漏针、烂针、拉架松紧、断拉架、间距不稳、布面起蛇、底纱露面、色纤、针路、错纱、纱痕、拉架露底、拉架露面；印染疵点包括漏印、印花移位、印花沾色、印花过底、印花不良、染花、阴阳色、走色、匹差；边疵包括针孔边、双针孔、卷边、烂边、窄封、阔封；褶皱包括中间夹痕、布面起皱、折痕；纬斜包括斜纹、弓形。

步骤s220、服务器将检测结果发送至终端设备。

步骤s222、终端设备根据检测结果生成疵点标记控制指令，疵点标记控制指令包括疵点类型信息和疵点位置信息。

步骤s224、终端设备将疵点标记控制指令发送至验布机。

在本实施方式中，终端设备将疵点标记控制指令发送至验布机的控制装置。

步骤s226、验布机根据疵点标记控制指令在织物上进行疵点标记。

在本实施方式中，验布机通过控制装置控制标记装置在织物上进行疵点标记。

可选的，验布机可根据疵点类型信息选用不同指示信息的标记方法标记不同类型的疵点，例如但不局限于，采用不同颜色的喷墨对应不同的疵点类型。

由图2所示流程可以看出，本发明的实施例提供的方案将用于检测织物疵点的神经网络模型搭载在云端服务器，通过终端设备和服务器的通信，实现云端检测和结果回传，最终在验布机上实现对疵点的标记。检测织物疵点的神经网络模型提供方可在云端统一管理和维护，降低了后期运营成本。

其他变型

本领域技术人员将理解，虽然在上面的实施例中，方法200包括对待检测图像执行预处理的步骤s206，然而，本发明并不局限于此。在本发明的其他实施例中，方法200也可以不包括对待检测图像执行预处理的步骤s206。

本领域技术人员将理解，虽然在上面的实施例中，方法200包括对待检测图像执行图像增强和归一化处理的步骤s208，然而，本发明并不局限于此。在本发明的其他实施例中，方法200也可以不包括对待检测图像执行图像增强和归一化处理的步骤s208。

下面以终端设备的角度，对本发明实施例提供的验布方法进行介绍，下文描述的验布方法可与上文的信令流程内容相互对应参照。

图3为本发明的实施例提供的验布方法的流程图，该方法300可应用于终端设备，参照图3，该方法300可以包括：

步骤s302、接收验布机发送的待检测图像，并生成疵点检测请求。

可选的，在接收验布机发送的待检测图像之后，可以对待检测图像执行图像预处理和/或图像增强和归一化处理。

步骤s304、将所述待检测图像和疵点检测请求发送至服务器，所述服务器包括用于检测织物疵点的神经网络模型。

可选的，神经网络模型用于检测待检测图像所包含的织物表面是否存在疵点，以及疵点的类型和位置。

步骤s306、如果接收到所述服务器发送的所述待检测图像所包含的织物存在疵点的检测结果，则根据所述检测结果生成疵点标记控制指令，所述检测结果包括疵点的类型信息和位置信息。

步骤s308、将所述疵点标记控制指令发送至所述验布机。

图4为本发明的实施例提供的验布方法的又一流程图，该方法400可应用于服务器，参照图4，该方法400可以包括：

步骤s402、接收待检测图像和疵点检测请求。

步骤s404、根据所述疵点检测请求，利用检测织物疵点的神经网络模型对所述待检测图像进行检测。

步骤s406、若所述待检测图像所包含的织物存在疵点，则生成检测结果并输出，所述检测结果包括疵点的类型信息和位置信息。

对应的，图5示出了本发明实施例提供的利用检测织物疵点的神经网络模型对所述待检测图像进行检测的一方法流程图，参照图5，该方法500可以包括：

步骤s502、利用已训练的第一神经网络模型获取所述指定图像的一个或多个候选区域所对应的对象的织物属性特征。

其中，可通过识别定位和图像分割算法获取所述指定图像的一个或多个候选区域，识别定位和图像分割算法为现有技术，在此省略对其的描述。候选区域所对应的对象包括织物疵点和/或织物属性，第一神经网络模型获取其中属于织物属性的对象的织物属性特征。

第一神经网络模型为预先训练好的用于获取织物属性特征的深度学习模型，可选的，第一神经网络模型可以是时序性神经网络模型，例如rnn模型、lstm模型或gru模型。

步骤s504、根据所述织物属性特征和所述候选区域，利用已训练的第二神经网络模型确定所述候选区域中是否存在疵点有效区域，以确定所述待检测图像所包含的织物是否存在疵点。

其中，第二神经网络模型为预先训练好的用于进行织物属性/疵点分类判别的深度学习模型，其根据第一神经网络模型获取的织物属性特征对候选区域进行属性/疵点的二分类判别，然后排除被判别为织物属性的属性无效区域，保留被判别为疵点的疵点有效区域。若待检测图像全部区域均被判别为无效区域，则确定待检测图像所包含的织物不存在疵点，若判别结果存在有效区域，则确定待检测图像所包含的织物存在疵点。可选的，第二神经网络模型可采用具有属性/疵点分类判别网络的cnn模型，其是在原始的卷积神经网络中增加一属性/疵点分类判别网络的神经网络模型，本实施方式所述cnn模型可以包括最基本的cnn模型，或，r-cnn、fastr-cnn、fasterr-cnn等在cnn上的改进模型。

具体地，具有属性/疵点分类判别网络的cnn模型包括卷积特征提取网络、属性/疵点分类判别网络和目标分类回归网络。其中，卷积特征提取网络用于提取候选区域的特征图，具体的卷积特征提取网络可以采用alexnet、zfnet、googlenet、vgg作为卷积特征提取网络。其中，属性/疵点分类判别网络的输入层为一个池化层，输出层为一个softmax层，中间为若干隐层，所有层级联连接，具体实施时，属性/疵点分类判别网络可以采用包含一个池化层、三个全连接层(隐层)和一个softmax层。其中，目标分类回归网络根据属性/疵点分类判别网络输出的疵点有效区域，从卷积特征提取网络提取的特征图中提取区域特征，从而确定疵点有效区域中是否存在疵点以及目标疵点边界框回归修正。若待检测图像全部区域均被判别为无效区域，则确定待检测图像所包含的织物不存在疵点，若判别结果存在有效区域，则确定待检测图像所包含的织物存在疵点。

具体实施时，属性/疵点分类判别网络的网络参数可采用如表1所示。

表1、本实施例属性/疵点分类判别网络参数

具体实施时，目标分类回归网络的网络参数可以采用如表2所示。

表2、本实施例目标分类回归网络参数

本实施例对待检测图像进行疵点检测时，首先获取织物属性特征，用于在确定疵点时进行综合考虑，从而排除了织物属性特征对检测结果的干扰，实现对织物疵点的精准检测，提高了检测准确度。

下面对本发明实施例提供的验布装置进行介绍，下文描述的验布装置可以与上文以终端设备角度描述的验布方法相互对应参照。

图6为本发明实施例提供的验布装置的一结构框图，该装置600可应用于终端设备，参照图6，该装置600可以包括请求生成模块602、请求发送模块604、指令生成模块606、指令发送模块608。请求生成模块602用于接收验布机发送的待检测图像，并生成疵点检测请求。请求发送模块604用于将所述待检测图像和疵点检测请求发送至服务器，所述服务器包括用于检测织物疵点的神经网络模型。指令生成模块606用于如果接收到所述服务器发送的所述待检测图像所包含的织物存在疵点的检测结果，则根据所述检测结果生成疵点标记控制指令，所述检测结果包括疵点的类型信息和位置信息。指令发送模块608用于将所述疵点标记控制指令发送至所述验布机。

本发明实施例还提供一种终端设备，该终端设备可以包括上述所述的验布装置。

采用本发明实施例提供的终端设备，可向搭载有检测织物疵点的神经网络模型的服务器发送疵点检测请求，并根据服务器发送的检测结果生成疵点标记控制指令以控制验布机进行疵点标记。

图7示出了按照本发明的一个实施例的终端设备的示意图。如图7所示，终端设备700可以包括处理器702、存储器704、通信接口706和通信总线708，处理器702、存储器704和通信接口706通过通信总线708完成相互间的通信。

存储器704存储有可执行指令，其中，所述可执行指令当被执行时使得处理器702执行图3所示的方法300。

下面以服务器的角度，对本发明实施例提供的验布装置进行介绍，下文描述的验布装置可与上文以服务器角度描述的验布方法相互对应参照。

图8位本发明实施例提供的验布装置的又一结构框图，该装置800可应用于服务器，参照图8，该装置800可以包括请求接收模块802、疵点检测模块804和结果输出模块806。请求接收模块802用于接收待检测图像和疵点检测请求。疵点检测模块804用于根据所述疵点检测请求，利用检测织物疵点的神经网络模型对所述待检测图像进行检测。结果输出模块806用于若所述待检测图像所包含的织物存在疵点，则生成检测结果并输出，所述检测结果包括疵点的类型信息和位置信息。

图9示出了本发明实施例提供的疵点检测模块804的一种可选结构框图，参照图9，疵点检测模块804可以包括第一分类单元8042、第二分类单元8044和第三分类单元8046。第一分类单元8042用于利用已训练的第一神经网络模型对所述待检测图像进行分类，其中，所述第一神经网络模型用于检测图像是属于其中所包含的织物有可能存在疵点的异常图像还是属于其中所包含的织物不可能存在疵点的正常图像。第二分类单元8044用于如果所述第一神经网络模型将所述待检测图像分类为所述异常图像，则利用已训练的具有记忆能力的第二神经网络模型对所述待检测图像进行分类，其中，所述第二神经网络模型用于检测图像是属于其中所包含的织物存在疵点的问题图像还是属于所述正常图像。第三分类单元8046用于如果所述第二神经网络模型将所述待检测图像分类为所述问题图像，则利用已训练的分类器确定所述待检测图像所包含的织物存在的疵点类型和疵点位置。

本发明实施例还提供一种服务器，该服务器可以包括上述以服务器角度所述的验布装置。

图10示出了按照本发明的一个实施例的服务器的示意图。如图10所示，服务器900可以包括处理器902、存储器904、通信接口906和通信总线908，处理器902、存储器904和通信接口906通过通信总线908完成相互间的通信。

存储器904存储有可执行指令，其中，所述可执行指令当被执行时使得处理器902执行图4所示的方法400、图5所示的方法500。

上述终端设备和服务器提到的通信总线可以是外设部件互连标准(peripheralpomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(randomaccessmemory，简称ram)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field-programmablegatearray，简称fpga)、图形处理器(graphicsprocessingunit，简称gpu)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明还提供一种存储介质，其上存储有计算机可执行指令，其中，所述可执行指令当被执行时使得计算机执行图3所示的方法300、图4所示的方法400或图5所示的方法500。

本发明实施例还提供一种验布系统，具体结构可参照图1所示，包括验布机102、终端设备104和服务器108，验布机102与终端设备104连接，终端设备104与服务器108通过有线网络或无线网络连接，终端设备104可以采用上述实施例所述的终端设备，服务器108可以采用上述实施例所述的服务器。

上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。