表面属性检测方法及装置、计算机设备及计算机可读介质与流程

本申请涉及织物检测技术领域，特别涉及织物表面属性检测方法及装置、计算机设备和计算机可读介质。

背景技术：

织物表面属性是机织物的重要规格参数，对织物和服装的外观及物理性能起着决定性作用，织物表面属性的识别因此也是纺织产品质量检测环节中不可或缺的部分。传统测量织物表面属性的检测方法是专业检测人员在密度镜的帮助下，通过肉眼观察分析完成。用密度镜测量织物密度虽然简单实用，但存在检测时间长、效率低的缺点，还易受到检测人员的熟练度和个人主观感觉的影响。因此目前已有的织物表面属性检测方法特别不适用于目前社会经济的发展需要。

技术实现要素：

鉴于以上问题，本发明的实施例提供一种织物表面属性检测方法及装置、计算机设备及计算机可读介质，其能解决上述背景技术部分提到的技术问题。

按照本发明的实施例的织物表面属性检测方法，包括：当要检测指定图像所包含的织物的表面属性时，获取所述指定图像一个或多个候选区域的特征向量；根据所述特征向量，利用已训练的时序性神经网络模型，或，时序性-残差神经网络模型检测所述候选区域所对应的对象的属性信息；其中，所述时序性-残差神经网络模型为在时序性神经网络的每一基本单元添加残差网络构成的神经网络模型，所述残差网络将所述基本单元上一时刻的输出加权叠加到所述基本单元当前时刻的输出上。

按照本发明的实施例的织物表面属性检测装置，包括：获取模块，用于当要检测指定图像所包含的织物的表面属性时，获取所述指定图像一个或多个候选区域的特征向量；检测模块，用于根据所述特征向量，利用已训练的时序性神经网络模型，或，时序性-残差神经网络模型检测所述候选区域所对应的对象的属性信息；其中，所述时序性-残差神经网络模型为在时序性神经网络的每一基本单元添加残差网络构成的神经网络模型，所述残差网络将所述基本单元上一时刻的输出加权叠加到所述基本单元当前时刻的输出上。

按照本发明的实施例的计算机设备，包括处理器；以及存储器，其上存储有可执行指令，其中，所述可执行指令当被执行时使得所述处理器执行前述的方法。

按照本发明的实施例的计算机可读介质，其上存储有可执行指令，其中，所述可执行指令当被执行时使得计算机执行前述的方法。

从以上的描述可以看出，本发明的实施例的方案利用神经网络技术，而不是人，来检测织物表面属性，与人相比，神经网络不会受主观感觉的影响，其能快速地检测织物表面的属性信息，因此，与现有技术相比，本发明的实施例的方案能够提高织物表面属性检测的效率，适用于目前社会经济的发展需要。

附图说明

图1为按照本发明的一个实施例的织物表面属性检测的方法的流程图；

图2为按照本发明的一个实施例的用于模型训练的方法的流程图；

图3为按照本发明的一个实施例的rnn-resnet模型的一个神经网络基本单元的结构示意图；

图4为按照本发明的一个实施例的织物表面属性检测的方法的总体流程图；

图5为按照本发明的一个实施例的lstm-resnet模型的一个神经网络基本单元的结构示意图；

图6为按照本发明的一个实施例的织物表面属性检测装置的示意图；

图7为按照本发明的一个实施例的计算机设备的示意图。

具体实施方式

现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

图1示出了按照本发明的一个实施例的用于织物表面属性检测的方法的流程图。图1所示的方法100可以由计算机或其他合适的具有计算能力的电子设备来实现。

如图1所示，方法100可以包括，在方框102，当要检测指定图像所包含的织物的表面属性时，获取所述指定图像一个或多个候选区域的特征向量。

方法100还可以包括：在方框104，根据所述特征向量，利用已训练的时序性神经网络模型，或，时序性-残差神经网络模型检测所述候选区域所对应的对象的属性信息；其中，所述时序性-残差神经网络模型为在时序性神经网络的每一基本单元添加残差网络构成的神经网络模型，所述残差网络将所述基本单元上一时刻的输出加权叠加到所述基本单元当前时刻的输出上。

在一个方面，所述获取所述指定图像一个或多个候选区域的特征向量包括：利用卷积神经网络(cnn：convolutionalneuralnetwork)模型获取所述指定图像一个或多个候选区域的特征向量。

在另一个方面，所述时序性神经网络包括循环神经网络(rnn：recurrentneuralnetwork)、长短时记忆网络(lstm：longshort-termmemory)，或门控循环单元网络(gru：gatedrecurrentunit)。相应的，所述时序性-残差神经网络模型包括循环-残差神经网络模型(rnn-resnet：recurrentneuralnetwork-residualnetwork)、长短时记忆-残差神经网络模型(lstm-resnet)、或门控循环单元-残差神经网络模型(gru-resnet)。

在又一个方面，所述表面属性包括组织结构、印花、提花、纹理、花色的一种或多种。

本发明的实施例的方案利用神经网络技术，而不是人，来检测织物表面属性，与人相比，神经网络不会受主观感觉的影响，其能快速地检测织物表面的属性信息，因此，与现有技术相比，本发明的实施例的方案能够提高织物表面属性检测的效率，适用于目前社会经济的发展需要。

本发明的实施例的方案采用时序性-残差神经网络模型，在时序性神经网络中加入残差网络连接，其中残差网络可以将时序性神经网络上一时刻的输出加权到当前输出上，可以解决时序性神经网络梯度弥散的问题，使得较深的神经网络易于训练。

图2示出了按照本发明的一个实施例的用于模型训练的方法的流程图。图2所示的方法200对应于模型训练阶段，其利用训练数据训练得到用于织物表面属性检测的rnn-resnet模型。图2所示的方法200可以由计算机或其他合适的具有计算能力的电子设备来实现。

如图2所示，在方框202，接收多个原始拍摄的图像。其中，该多个原始拍摄的图像包括具有连续性的多个图像和不具有连续性的多个图像。具有连续性的多个图像拼接形成至少一个织物属性循环，例如组织结构循环、印花循环。

在方框204，对该多个原始拍摄的图像执行图像标注(imageannotation)处理，以得到第一样本图像集sp1。其中，第一样本图像集sp1中的每一个样本图像是对该多个原始拍摄的图像的其中一个图像执行图像标注处理得到的。图像标注处理是已知的技术，在此省略对其的描述。每一图像可以含有一个或多个属性的标注信息。

在方框206，对第一样本图像集sp1执行灰度化处理，以将第一样本图像集sp1中的各个样本图像转换为灰度图像。

在方框208，从已灰度化处理的第一样本图像集sp1中选取一些或全部样本图像作为种子图像。

在方框210，对每一个种子图像执行一次或多次等角度旋转、镜像和/或其他合适的操作，以从每一个种子图像中衍生得到一个或多个图像。其中，已灰度化处理的第一样本图像集sp1中的样本图像和从各个种子图像中衍生得到的图像共同组合成第二样本图像集sp2。

通过方框208和210的操作，能够增加训练样本的数量(例如，能够将2500张样本图像经过处理后得到超过50000张，甚至100000张的样本图像)，而随着训练样本的增加，最后训练得到的神经网络模型具有更高的检测准确度。

方框206-210构成了方法200的图像预处理过程(imagepreprocessing)。

在方框212，获取第二样本图像集sp2中的各个灰度图像的属性参数，其中，该属性参数包括但不局限于图像的长度、宽度等。

在方框214，从第二样本图像集sp2中选取其属性参数满足第一规则集中的各个规则的多个图像，作为用于训练rnn-resnet模型的第三样本图像集sp3。其中，该第一规则集用于定义适用于训练rnn-resnet模型的样本图像需要满足的条件。例如，第一规则集定义适用于rnn-resnet模型的样本图像需要满足的长度限制、宽度限制等。其中，第三样本图像集sp3包括多个具有连续性的多个图像。

通常情况下，织物的部分表面属性具有周期循环的规律，通过具有连续性的多个图像来训练rnn-resnet模型，能够利用其记忆功能，对具有规律性的织物属性进行检测训练。

在方框216，使用第三样本图像集sp3的图像作为训练数据，训练得到rnn-resnet模型。

具体实施时，利用第三样本图像集sp3的图像对rnn-resnet模型进行训练时，可以包括：获取第三样本图像集sp3中的图像的一个或多个候选区域的特征向量，将所述特征向量作为rnn-resnet模型的输入，利用rnn-resnet模型检测并输出预测属性信息，根据属性检测误差值调整rnn-resnet模型的网络参数，直至收敛。其中，可通过距离函数、损失函数等来计算属性检测误差值。

图3示出了按照本发明的一个实施例的rnn-resnet模型的结构示意图。在本实施例中，采用在rnn模型的每一神经网络基本单元中添加残差网络连接，以构造rnn-resnet模型，残差网络连接用于将神经网络基本单元上一时刻的输出加权叠加到当前输出上。

本实施例中，rnn可以为常用的序列识别网络，可以理解的是，添加resnet的实质过程是对于rnn基本单元进行添加。添加后的神经网络基本单元计算公式如下：

st＝f(uxt+wst-1)+α·st-1

ot＝softmax(vst)

其中，xt为t时刻的外界输入，st为t时刻的rnn-resnet神经网络单元记忆输出，u、v、w为网络参数，f可以是tanh等函数，ot为t时刻的输出，α是残差系数。

可以理解的是，在rnn基本单元中添加了残差系数α，从而使得rnn基本单元的记忆输出st项增加了α·st-1项，将rnn上一时刻的输出加权叠加到当前输出上。当α为0时，即为普通的rnn基本单元，当α为1时，rnn基本单元中的f(uxt+wst-1)相当于学习st-st-1，即引入残差机制，当0＜α＜1时，为两种情况的折衷方案。

图4示出了按照本发明的一个实施例的织物表面属性检测方法的总体流程图。图4所示的方法300对应于实际检测阶段，其使用利用方法200训练得到的rnn-resnet模型来检测图像所包含的织物的表面属性。图4所示的方法300可以例如由计算机或其他合适的具有计算能力的电子设备来实现。

如图4所示，在方框302，当要检测图像t所包含的织物的表面属性时，对图像t执行预处理，例如但不局限于，将图像t转换为灰度图像等。

在方框304，对经预处理的图像t执行识别定位与图像分割处理，获得一个或多个织物属性候选区域。其中，识别定位与图像分割处理可采用图像分割算法，图像分割算法是已知的技术，在此省略对其的描述。

在方框306，利用cnn模型获取所述候选区域的特征向量。

在方框308，将所述特征向量输入已训练的rnn-resnet模型，利用rnn-resnet模型检测所述候选区域所对应的对象的属性信息。

在方框310，确定图像t所包含的织物表面的属性信息并输出所述属性信息，然后流程结束。

本实施例采用rnn-resnet模型是因为，如果采用常用的rnn模型，当模型层数较多时，由于随着层数的增多，当使用反向传播方法计算导数的时候，反向传播的梯度(从输出层到网络的最初几层)的幅度值会急剧地减小，结果造成了整体的损失函数相对于最初几层的权重的导数非常小，这样，当使用梯度下降法的时候，最初几层的权重变化非常缓慢，以至于它们不能够从训练样本中进行有效的学习，从而出现梯度弥散(diffusionofgradients)的现象。而采用rnn-resnet模型，在rnn中加入resnet连接，其中resnet可以将rnn上一时刻的输出加权叠加到当前输出上，使得较深的神经网络易于训练。

其他变型

本领域技术人员将理解，虽然在上面的实施例中，方法300包括对图像t执行预处理的方框302，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在图像t的初始状态下已适用于利用模型或分类器来进行分类的情况下，方法300也可以不包括对图像t执行预处理的方框302。

本领域技术人员将理解，虽然在上面的实施例中，方法300包括对图像t执行识别定位与图像分割处理的方框304，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在方框306所选取的神经网络模型具备候选区域识别定位功能时，方法300也可以不包括对图像t执行识别定位与图像分割处理的方框304。

本领域技术人员将理解，虽然在上面的实施例中，方法200包括对所接收的图像执行图像标注处理的方框204，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在方框202所接收的图像已执行图像标注处理的情况下，方法200也可以不包括对所接收的图像执行图像标注处理的方框204。

本领域技术人员将理解，虽然在上面的实施例中，方法200包括方框208-210以衍生更多的样本图像，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在已有样本图像的数量已经足够多的情况下，方法200也可以不包括方框208-210。

本领域技术人员将理解，虽然在上面的实施例中，方法200包括方框206以将样本图像转化为灰度图像，然而，本发明并不局限于此。在本发明的其他实施例中，例如但不局限于，在方框202所接收的图像已是灰度图像的情况下，方法200也可以不包括方框206。

本领域技术人员将理解，虽然在上面的实施例中，方法200包括方框212-214以选取适用于训练rnn-resnet模型的样本图像，然而，本发明并不局限于此。在本发明的其他实施例中，方法200也可以不包括方框212-214。

本领域技术人员将理解，虽然在上面的实施例中，用来获取候选区域特征向量的神经网络模型是cnn模型，然而，本发明并不局限于此。在本发明的其他实施例中，用来获取候选区域特征限量的还可以是r-cnn、fastr-cnn或fasterr-cnn模型。

本领域技术人员将理解，虽然在上面的实施例中，被训练用来检测候选区域所对应的对象的属性信息的神经网络模型是rnn-resnet模型，然而，本发明并不局限于此。在本发明的其他实施例中，被训练用来检测候选区域所对应的对象的属性信息的神经网络模型还可以是rnn模型、lstm模型、gru模型、lstm-resnet模型或gru-resnet模型。图5示出了一个实施例的lstm-resnet模型的一个神经网络基本单元的结构示意图。如图5所示，其添加resnet的实质过程是对于lstm基本单元进行添加，从而使得基本单元在输出st中增加了α·st-1项，将lstm单元上一时刻的输出加权到当前时刻的输出上。gru-resnet模型的原理与上述相同，在此省略对其的描述。

图6示出了按照本发明的一个实施例的织物表面属性检测装置的示意图。图6所示的装置400可以利用软件、硬件或软硬件结合的方式来实现。装置400例如可以安装在计算机或其他合适的具有计算能力的电子设备中。

如图6所示，装置400可以包括获取模块402和检测模块404。获取模块402用于当要检测指定图像所包含的织物的表面属性时，获取所述指定图像一个或多个候选区域的特征向量。检测模块404用于根据所述特征向量，利用已训练的时序性-残差神经网络模型检测所述候选区域所对应的对象的属性信息；其中，所述时序性-残差神经网络模型为在时序性神经网络的每一基本单元添加残差网络构成的神经网络模型，所述残差网络将所述基本单元上一时刻的输出加权叠加到所述基本单元当前时刻的输出上。

在一个方面，所述获取模块402进一步用于利用卷积神经网络(cnn：convolutionalneuralnetwork)模型获取所述指定图像一个或多个候选区域的特征向量。

在另一个方面，所述时序性神经网络包括循环神经网络(rnn：recurrentneuralnetwork)、长短时记忆网络(lstm：longshort-termmemory)，或门控循环单元网络(gru：gatedrecurrentunit)。相应的，所述时序性-残差神经网络模型包括循环-残差神经网络模型(rnn-resnet：recurrentneuralnetwork-residualnetwork)、长短时记忆-残差神经网络模型(lstm-resnet)、或门控循环单元-残差神经网络模型(gru-resnet)。

在又一个方面，所述表面属性包括组织结构、印花、提花、纹理、花色的一种或多种。

图7示出了按照本发明的一个实施例的计算机设备的示意图。如图7所示，设备500可以包括处理器502和存储器504，其中，存储器504上存储有可执行指令，其中，所述可执行指令当被执行时使得处理器502执行图1所示的方法100、图2所示的方法200或图4所示的方法300。

如图7所示，设备500可以通用计算设备的形式实现。设备500还可以包括连接不同系统组件(包括处理器502和存储器504)的总线506。总线506表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。

设备500典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器504可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)508和和/或高速缓存存储器510。设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统512可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom，dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线506相连。存储器504可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明上述图1、2或4实施例的功能。

具有一组(至少一个)程序模块516的程序/实用工具514，可以存储在例如存储器504中，这样的程序模块516包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块516通常执行本发明所描述的上述图1、2或4实施例中的功能和/或方法。

设备500也可以与一个或多个外部设备600(例如键盘、指向设备、显示器700等)通信，还可与一个或者多个使得用户能与该设备500交互的设备通信，和/或与使得该设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口518进行。并且，设备500还可以通过网络适配器520与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线506与设备500的其它模块通信。应当明白，尽管图中未示出，可以结合设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

处理器502通过运行存储在存储器504中的程序，从而执行各种功能应用以及数据处理，例如实现上述实施例所示的神经网络模型压缩方法。

本发明的实施例还提供一种计算机可读介质，其上存储有可执行指令，其中，所述可执行指令当被执行时使得计算机执行图1所示的方法100、图2所示的方法200或图4所示的方法300。

本实施例的计算机可读介质可以包括上述图7所示实施例中的存储器504中的ram508、和/或高速缓存存储器510、和/或存储系统512。

随着科技的发展，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载，或者采用其他方式获取。因此，本实施例中的计算机可读介质不仅可以包括有形的介质，还可以包括无形的介质。

本实施例的计算机可读介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c++，还包括常规的过程式程序设计语言，诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个计算机，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。