一种基于卷积神经网络的布料图像检索方法与流程

本发明涉及图像检索领域，特别是涉及一种基于卷积神经网络的布料图像检索方法。

背景技术：

在巨量的纺织品面料品种中如何快速查找与来料样布最为相似的面料一直是面料供应商面临的一个挑战。

传统的面料纺织品查找方法，一种是主要靠人眼去看，对于比较熟练的老师傅来说，可能还会依赖自己的记忆去加快查找。但是这种方法随着纺织品面料数量的增多，变得更加困难，且人的记忆具有衰退性和模糊性，容易经常出错，影响检索效率。另一种方案是基于传统的图像特征构建一个自动化的检索系统，比如图像的纹理特征，边缘特征，hash特征等。这些传统特征需要手工做实验去设定参数，而参数的设定并不能适合所有种类的纺织品面料图，主要原因是图像的种类过多，而参数量很少，无法去适应所有种类。而基于卷积神经网络的特征提取器，因为其具有成千上万的参数去控制模型的表达能力，在这种通用图像识别中具有明显的优势。且在我们的方法中该特征提取器是通过有监督的学习自动学出来的特征，更具有适应性。

因此，针对该技术问题，为了能够在所有种类纺织品面料图上都能较高精度的检索出面料，提供一种基于卷积神经网络的布料图像检索方法。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于卷积神经网络的布料图像检索方法。

为了实现上述目的，本发明实施提供的技术方案如下：

一种基于卷积神经网络的布料图像检索方法，包括：

s1、对采集到的布料图像库进行缩放到固定尺寸300*300，并进行归类，作为训练样本集；

s2、设计卷积神经网络分类模型；

s3、利用softmax交叉熵损失函数，来计算网络输出值与类别标签的误差；

s4、将上述误差对网络中的参数进行梯度反向传播，并多次迭代训练获取模型；

s5、取模型的最后一个全连接层的作为最后网络输出节点，把输入到该节点的网络作为特征提取器；

s6、利用训练好的网络特征提取器提取待检索的纺织品面料图的特征以及面料库的特征并存储为特征数据库；

s7、带检索特征与纺织品面料库特征向量计算欧式距离均值，对距离进行排序，获得检索结果；

作为本发明的进一步改进，所述步骤s1具体包括：

s11、采用双线性插值算法对布料图像进行缩放到300*300大小；

s12、按照纺织品面料类别进行归类，归类类型为最小布料型号，构建4万张的训练集。

s13、对图像进行增强，这里首先对图像所有像素缩放到0-1之间，再对rgb通道进行0均值单位方差归一化操作，

再对图像进行水平和垂直方向翻转以及亮度增强操作；

作为本发明的进一步改进，所述步骤s2具体包括：

s21、本发明的卷积神经网络采用多个卷积、池化、dropout和inceptionblock方式堆叠，最后用全连接层做为分类层；

s22、inceptionblock块结构由多个卷积采用串+并联的方式构成，特征图先分别经过3个1*1卷积和一个最大池化进行降采样，再经过1个3*3、1个5*5、1个1*1卷积，最后将4个输出按照通道维度拼接到一起作为下一层的输入；

作为本发明的进一步改进，所述步骤s3具体包括：

s31、所有的训练图像经过网络计算输出结果，再经过一个softmax函数输出类别概率yⁱ；

s32、根据下面的公式，计算与标签的误差值

作为本发明的进一步改进，所述步骤s4具体包括：

s41、这里采用学习率0.001，adam的梯度优化方法，batch_size＝32，对模型进行10k次迭代训练，最后一个step分类精度达到0.98，存储模型。

作为本发明的进一步改进，所述步骤s5具体包括：

s51、去除固化后的模型最后softmax分类层，保留剩下的层，作为特征提取器；

作为本发明的进一步改进，所述步骤s6具体包括：

s61、对已有纺织品面料图进行扫描缩放并提特征建库，作为检索的特征数据库，每一个纺织品面料通过特征提取器后输出1024维的float向量，存储到服务器硬盘中；

s62、对于待检索的纺织品面料，也需要通过卷积特征提取器输出1024维向量；

作为本发明的进一步改进，所述步骤s7具体包括：

s71、对待检索的纺织品面料图特征向量v＝[v1，v2，...，v1024]，与库中的所有带检索图进行计算欧式距离：

s72、对所有的欧式距离进行升序排序，取前15个结果作为最终的参考检索结果，将对应的库中布料型号返回出来。

与现有技术相比，基于卷积神经网络的纺织品料图像检索方法在自动检索和识别系统中，利用高效的inception卷积神经网络的高参数量以及有监督学习的优势，并对训练图像进行图像增强操作，保证具有尺度不变性、旋转不变性和平移不变性，提高了识别的准确率和鲁棒性，减小了计算复杂度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于卷积神经网络的布料图像检索方法的具体流程图。

图2为本发明具体实施方式中的卷积神经网络构造原理图；

图3为本发明具体实施方式中inception模块内部网络原理图；

图4为本发明具体实施方式中大提花布料图像的检索结果图；

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图1所示，本发明一种基于卷积神经网络的布料图像检索方法具体包括：

s1、对采集到的纺织品面料图像库进行缩放到固定尺寸300*300，并进行归类，作为训练样本集；

s2、设计卷积神经网络分类模型；

s3、利用softmax交叉熵损失函数，来计算网络输出值与类别标签的误差；

s4、将上述误差对网络中的参数进行梯度反向传播，并多次迭代训练获取模型；

s5、取模型的最后一个全连接层的作为最后网络输出节点，把输入到该节点的网络作为特征提取器；

s6、利用训练好的网络特征提取器提取待检索的纺织品面料图的特征以及面料库的特征并存储为特征数据库；

s7、带检索特征与面料库特征向量计算欧式距离均值，对距离进行排序，获得检索结果；

其中，步骤s1具体包括：

s11、采用双线性插值算法对纺织品面料图像进行缩放到300*300大小；

s12、按照纺织品面料类别进行归类，归类类型为最小面料型号，构建4万张的训练集。

s13、对图像进行增强，这里首先对图像所有像素缩放到0-1之间，再对rgb通道进行零均值单位方差归一化操作，

再对图像进行水平和垂直方向翻转以及亮度增强操作；

进一步地，步骤s2具体包括：

s21、本发明的卷积神经网络采用多个卷积、池化、dropout和inceptionblock方式堆叠，最后用全连接层做为分类层；整个卷积网络的构造如图2所示；

s22、inceptionblock块结构由多个卷积采用串+并联的方式构成，特征图先分别经过3个1*1卷积和一个最大池化进行降采样，再经过1个3*3、1个5*5、1个1*1卷积，最后将4个输出按照通道维度拼接到一起作为下一层的输入；inceptionblock模块内部结构如图3所示；

进一步地，步骤s3具体包括：

s31、所有的训练图像经过网络计算输出结果，再经过一个softmax函数输出类别概率yⁱ；

s32、根据下面的公式，计算与标签的误差值

进一步地，步骤s4具体包括：

s41、这里采用学习率0.001，adam的梯度优化方法，batch_size＝32，对模型进行10k次迭代训练，最后一个step分类精度达到0.98，存储模型。

上述步骤s5具体包括：

s51、去除固化后的模型最后softmax分类层，保留剩下的层，作为特征提取器；即图2中最后一层softmax层不保留；

上述步骤s6具体包括：

s61、对已有纺织品面料图进行扫描缩放并提特征建库，作为检索的特征数据库，每一个纺织品面料通过特征提取器后输出1024维的float向量，存储到服务器硬盘中；

s62、对于待检索的纺织品面料，也需要通过卷积特征提取器输出1024维向量；

上述步骤s7具体包括：

s71、对待检索的纺织品面料图特征向量v＝[v1，v2，...，v1024]，与库中的所有带检索图进行计算欧式距离：

s72、对所有的欧式距离进行升序排序，取前15个结果作为最终的参考检索结果，将对应的库中布料型号返回出来。

以下结合一具体实例，对本发明作进一步阐述。

本系统采用一个4万数据库，该库中共有3大类纺织品面料图：平素纹、小提花、大提花，44个小类的图像经过卷积神经网络特征提取器建立混合库。

对应用于本实施例的方法，为纺织品面料检索系统设计2个任务，表1中描述了任务的名称以及任务的功能。

表1：形状匹配和目标识别系统任务说明

如图1所示，纺织品面料图像检索算法过程如下：对纺织品面料图像进行预处理，采用双线性插值进行缩放图像，并进行归一化等预处理操作；设计卷积神经网络，作为分类器；利用分类的损失函数，以及梯度反向传播迭代训练该神经网络，获得特征提取器；对检索图以及面料库进行特征提取获得1024维特征向量；采用l2度量方法计算两个特征向量的相似度，并进行排序，实现纺织品面料图像检索的识别。

任务1中，模型分类精度在训练10k个step后保持0.99，波动范围小于0.01。

如图4所示，给出一张大提花的纺织品面料图，在特征库中进行检索，给出前5相似的检索结果，可以发现前3个检索结果都是该型号的大提花(检索的特征库中只有3张该型号布料，全部命中)，前5都是该种类的布料图，且相似度较高。

从分析过程和应用实例可以看出，一种基于卷积神经网络的布料图像检索方法能有效自动提取纺织品面料图的纹理、全局结构等特征，实现了目标的特征描述，获得较高的识别率。该方法在目标检索的工程领域中能得到广泛应用。

由以上技术方案可以看出，本发明提供的一种基于卷积神经网络的布料图像检索方法在遮挡目标识别和检索中，可以对图像特征提取进行有效表示，具有尺度不变性、旋转不变性和平移不变性，相比于传统手动特征检索方法提高了准确率和效率。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。