鞋模型检索管理方法和系统与流程

本发明涉及图像处理和机器学习的交叉领域，具体涉及基于卷积神经网络和深度学习的鞋模型检索管理方法和系统。

背景技术：

大型制鞋厂和鞋类b2b(business-to-business，企业对企业)交易平台上常存放有数量巨大的不同模型的鞋底，鞋底是制鞋加工的重要部分，按需对鞋底进行检索是加速生产过程的重要技术手段。在鞋类b2b交易平台上，先前的做法是将各个供应商的鞋底模型按照价格、型号等因素排序，供买家浏览选择；而现实情况则是买家更希望通过给定实际销售样例的鞋底图片作为输入去检索相应鞋底模型的供应商，以期能够检索到这种鞋底及其供应商，以便于向该供应商采购大量鞋底用于制造给定实际销售样例的这种鞋。这样一来，买家能够基于图片检索很快找到自己所需的鞋底，而不是在浩瀚的鞋底库中用人眼去识别所需要的鞋底。可见，实现基于图像特征的鞋模型检索有很重要的应用价值。目前相关的技术是电商平台所用的商业推荐系统，具体是通过采用图片来进行搜索，以求能够搜索到相同或相似的商品。这种商业推荐系统的图片检索方法采用了丰富的图像特征，包括了几乎所有的外观特征(如鞋帮、鞋的颜色、款式)和买卖方描述等属性，搜索结果是更加符合用户想购买的鞋种类。而在制鞋厂鞋模具检索管理和鞋类b2b交易平台中，鞋帮、颜色特征和买卖方描述等因素属于无关因素，仅鞋底的外观、结构决定了鞋模型的类别。

可见，现有技术已经无法满足当前制鞋厂和鞋类b2b交易平台对于鞋模型检索和管理的需求。

技术实现要素：

本发明的主要目的在于提出一种基于卷积神经网络和深度学习的鞋模型检索管理方法，该方法能够通过对输入的鞋模型产生的鞋底图片进行特征提取来描述待检索的鞋模型，并在检索时将输入的图像的特征提取结果与库存特征进行比对验证，以实现检索出匹配的目标鞋模型，从而解决现有技术无法为制鞋厂和鞋类b2b交易平台提供可靠、高效的鞋模型检索管理的问题。

本发明为达上述目的所提供的技术方案如下：

一种鞋模型检索管理方法，包括以下步骤：

s1、对多张含有鞋底图像的鞋模型图片进行预处理，得到对应的标准图片，其中，所有标准图片具有一致的色度、尺寸和鞋底朝向；

s2、对每一标准图片，按预设的位置和层次进行抠取，得到多个不同的取样图块；

s3、对每一标准图片，将步骤s2中形成的多个取样图块以及该标准图片统一缩放到一预定尺寸，得到多个归一化图块；

s4、将各归一化图块输入到预先训练好的对应参数的卷积神经网络中进行特征提取，以得到各归一化图块对应的参考特征向量；

s5、将每一标准图片的每一归一化图块对应的参考特征向量与该标准图片所属鞋模型的唯一标识号关联并保存于一特征库中；同一标准图片的多个参考特征向量构成该标准图片的特征矩阵；

s6、对给定的待检索图片执行步骤s1至s4，得到多个待比对特征向量；将各所述待比对特征向量与特征库中每一特征矩阵中对应位置和层次的参考特征向量分别进行比对以验证是否属于同一鞋模型；

s7、对所述多个待比对特征向量与所有特征矩阵中对应的参考特征向量比对验证的结果进行统计，以返回与待检索图片中的鞋底最匹配的鞋模型。

本发明提供的上述鞋模型检索管理方法，首先通过步骤s1至s5将所有待管理的鞋模型以特征矩阵进行描述后存入特征库，而后可对给定鞋模型图片基于特征库进行检索，查找出匹配的鞋模型，得到匹配的鞋模型的唯一标识号，通过该标识号可调用对应的鞋模型图片，可得知供应商等信息。该方法用于鞋类b2b交易平台时，对鞋部件的供应商和采购商而言都是相当方便的，尤其是对于像制鞋厂这样的采购商寻找特定鞋模型以进行采购时，是非常方便的，只要在b2b交易平台输入该特定鞋模型的包含鞋底的图片，即可检索出匹配的鞋模型，得到其供应商信息和型号等；即便没有最匹配的鞋模型，也会根据相似度排序罗列出较为匹配的鞋模型。

优选地，步骤s2中按预设的位置和层次进行抠取具体包括：在标准图片的鞋底区域中标注出多个位置点；然后针对每一位置点，都以该位置点为中心抠取多个不同大小的图块。

优选地，标注的所述位置点的个数为n，每一位置点抠取m个不同大小的图块，使得每张标准图片得到m×n个不同的取样图块，经步骤s3后每张标准图片对应得到m×n+1个归一化图块；m≥1，n≥1。

优选地，还包括对步骤s4中所述对应参数的卷积神经网络进行训练的步骤：选取w张标准图片的总共(m×n+1)×w个归一化图块，将每张标准图片的对应位置和层次的归一化图块分为一组，同时各标准图片本身对应的归一化图块作为一组，形成m×n+1组训练数据，用m×n+1组训练数据去分别训练具有同样架构的卷积神经网络，以得到m×n+1套网络参数，w≥1；每一套网络参数对应地用于对所有标准图片的对应位置和层次的归一化图块进行特征提取。

优选地，进行所述特征提取时，所述卷积神经网络的架构由输入端至输出端依次包括：多个依次串联的卷积层；连接于最后一层卷积层的第一全连接层和连接于倒数第二层卷积层的第二全连接层；同时连接于第一和第二全连接层的输出端的第三全连接层；其中，所述第三全连接层的输出为所述参考特征向量。

优选地，步骤s6具体包括：将各待比对特征向量与特征库中每一标准图片的对应位置和层次的参考特征向量分别进行拼接，形成多个拼接向量后依次输入至预先训练过的svm判同分类器中，以判别构成各所述拼接向量的待比对特征向量和对应的参考特征向量是否属于同一鞋模型并输出代表是或否的判别结果。

优选地，还包括对svm判同分类器进行训练的步骤：采用步骤s4中得到的参考特征向量，将属于同一鞋模型的对应位置和层次的两个参考特征向量进行拼接形成一个正例样本向量，将对应位置和层次的两个不属于同一鞋模型的参考特征向量进行拼接形成一个负例样本向量；从而，对每一标准图片，得到r个正例样本向量以及r个负例样本向量；采用各标准图片的对应位置和层次的正例样本向量和负例样本向量去训练所述svm判同分类器，从而得到r个具有不同的参数的svm判同分类器；其中r是一标准图片中的归一化图块的数量，r≥2；每一svm判同分类器分别基于各自的参数，对对应位置和层次的参考特征向量和待比对特征向量进行是否同属一个鞋模型的判别。

优选地，一个svm判同分类器每判别一个拼接向量则输出一位二进制数，1表示判别结果为是，0表示判别结果为否；则：所述待检索图片的所有待比对特征向量与特征库的一特征矩阵中对应位置和层次的参考特征向量分别经由对应的svm判同分类器进行判别后，所有的r个svm判同分类器的输出构成一个r位的二进制序列；当特征库中的所有特征矩阵都被比对后，总共产生v个r位的二进制序列，其中v为特征库中特征矩阵的数量，v≥1；

步骤s7具体包括：对每个r位的二进制序列分别统计二进制数1的个数，然后选出v个二进制序列中1的个数最多的前k名，k≥1；将与所述待检索图片进行比对验证时产生前k名二进制序列的k个特征矩阵分别所属的鞋模型的标识号作为检索结果返回。

本发明另还提出一种鞋模型检索管理系统，包括模型数据存储器、计算机可读存储介质以及处理器，所述计算机可读存储介质上存储有计算机程序，所述处理器用于执行所述计算机程序以实现权利要求1所述方法的步骤。

优选地，所述模型数据存储器用于存储步骤s5中形成的特征矩阵。

本发明提出的上述鞋模型检索管理系统，可用于制鞋厂、鞋类b2b交易平台等进行鞋模型的检索和管理，通过该系统，能够对用户输入的鞋模型图片进行处理后以特征向量来描述鞋模型，然后与系统中存储的鞋模型(以特征矩阵描述)进行一一比对验证，判别是否属于同一鞋模型或具有较高的相似度，并返回属于同一鞋模型或相似度较高的特征矩阵所关联的鞋模型标识号，根据标识号可调用相对应的鞋模型图片，也可获知对应鞋模型的供应商等信息。

附图说明

图1是对标准图片进行不同位置和层次的图块抠取的模型图；

图2是卷积神经网络的一种示例性架构图；

图3是svm判同分类器进行判别的过程示意图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步说明。

本发明的具体实施方式提供一种基于卷积神经网络和深度学习的鞋模型检索管理方法，通过对输入的含有鞋底图像的待检索鞋模型图片进行处理，通过卷积神经网络进行特征提取来描述鞋模型，通过svm判同分类器来将待检索鞋模型的特征与预先存储的很多个鞋模型的特征分别进行比对验证，从而输出匹配的鞋模型。该方法大致包括以下步骤s1～s7：

s1、对多张含有鞋底图像的鞋模型图片进行预处理，得到对应的标准图片，其中，所有标准图片具有一致的色度、尺寸和鞋底朝向；

s2、对每一标准图片，按预设的位置和层次进行抠取，得到多个不同的取样图块；

s3、对每一标准图片，将步骤s2中形成的多个取样图块以及该标准图片统一缩放到一预定尺寸，得到多个归一化图块；

s4、将各归一化图块输入到预先训练好的对应参数的卷积神经网络中进行特征提取，以得到各归一化图块对应的参考特征向量；

s5、将每一标准图片的每一归一化图块对应的参考特征向量与该标准图片所属鞋模型的唯一标识号关联并保存于一特征库中；同一标准图片的多个参考特征向量构成该标准图片的特征矩阵；

s6、对给定的待检索图片执行步骤s1至s4，得到多个待比对特征向量；将各所述待比对特征向量与特征库中每一特征矩阵中对应位置和层次的参考特征向量分别进行比对以验证是否属于同一鞋模型；

s7、对所述多个待比对特征向量与所有特征矩阵中对应的参考特征向量比对验证的结果进行统计，以返回与待检索图片中的鞋底最匹配的鞋模型。

下面通过一些具体的实施例来对上述方法的各个实施步骤进行详细的说明。

对于使用该方法进行鞋模型的检索管理的制鞋厂或b2b交易平台而言，首先得将其所拥有的数量巨大的鞋模型的图片进行图像处理后保存入库。获取到鞋模型的图片后，需要对这些图片先进行预处理，比如进行筛选去除不含鞋底的图片，辅助交互完成对鞋底图像区域的外边框定位、矫正鞋底方向为统一的朝向(例如鞋跟统一在左侧、鞋掌统一在右侧的水平摆放位置)，对鞋底图像区域进行进行色彩处理以将色度统一转换为一固定值，最后将图像缩放到固定大小(如宽400像素、高140像素)，形成很多张鞋底的标准图片。

步骤s2中预设的位置和层次例如图1所示的，在标准图片的鞋底区域中标注出多个位置点，并以每一位置点为中心抠取多个不同大小的图块。具体地，可以在鞋底区域分散性地标出具有代表性的n个位置点(n≥1)，例如n＝7，在鞋跟部分的位置点p6、p7，鞋底中央的位置点p5，鞋掌部分的位置点p1～p4，但这仅是示例性的，具体实施该方法时可根据具体情况进行不同的位置标注。标注出位置点之后，以每一位置点为中心抠取m个不同大小的图块(m≥1)，具体的做法例如可以是：以位置点p5为例，针对p5这个点，可以以它为中心，划分出多个不同层次大小的图块，例如图1中的m＝3个层次大小l1、l2、l3。对每个位置点都执行这样的层次划分和抠取之后，每张标准图片便可得到m×n＝7×3＝21个不同大小的取样图块。需要说明，图1中的模型仅仅是示例性的，层次大小的划分时，每个图块也可以不以对应的位置点为中心，只要包含该位置点也可以。

继续以图1中的模型为例来进行说明，对每一标准图片，将得到的21个取样图块以及它本身进行缩放到统一尺寸，该统一尺寸优选地是与最小的取样图块的尺寸相同或更小。这样就得到22个归一化图块(其中21对应于标准图片的不同局部，另1个对应于标准图片的全局)。

在一种优选的实施方式中，用于进行特征提取的卷积神经网络的架构由输入端至输出端依次包括：多个依次串联的卷积层；连接于最后一层卷积层的第一全连接层和连接于倒数第二层卷积层的第二全连接层；同时连接于第一和第二全连接层的输出端的第三全连接层；其中，所述第三全连接层的输出即为所述参考特征向量。

在一种实施例中，提供了如图2所示的卷积神经网络架构，包括：

第一层是卷积层conv1，卷积操作的输入是标准图片的归一化图块，卷积核大小为3*3，步长为2，特征通道数为20，输出的特征大小根据公式计算可得，公式为(c,(h-k_h+1)/stride_h,(w–h_w+1)/stride_w)，其中c是输出的特征通道数，h和w分别是输入的高和宽，k_h和k_w分别是卷积核的高和宽，stride_h和stride_w分别是卷积操作的高度方向和宽度方向步长，如所述步长为2表示高度和宽度步长均为2；

第二层是卷积层conv2，该层输入为conv1经过核大小是2*2，步长是2的下采样层后的特征层，下采样的输出大小计算卷积操作的计算类似，只是输出的特征通道数等于输入特征通道数。该卷积层的卷积核大小和步长与conv1一致，输出特征通道数为60；

第三层是卷积层conv3，该层输入为conv2经过核大小是2*2，步长是2的下采样层后的特征层，本卷积层的卷积核大小和步长和conv1一致，输出的特征通道数为120；

第四层是卷积层conv4，该层输入为conv3经过核大小是2，步长是2的下采样层后的特征层，本卷积层的卷积核大小和步长和conv1一致，输出的特征通道数为60；

第五层是全连接层fc1_4、fc1_3，fc1_4是输入为conv4的全连接层，其输出特征的大小为conv4的神经元个数；fc1_3是输入为conv3的全连接层，其输出特征的大小为conv3的神经元个数。

第六层是全连接层fc2，该层的输入是fc1_3、fc1_4两层拼接的结果，该层输出为特定个数神经元的特征向量，该层的输出即为特征提取的结果。

在进行卷积神经网络的训练时，还要用到第7层的全连接层fc3，该层的输入是fc2层的输出，输出的神经元数量由卷积神经网络模块训练时根据采集的已有鞋底类别个数决定，输出的结果送至softmax层分类，输出已有的分类类别，该层在训练卷积神经网络的过程中使用，在特征提取时不使用。

在进行特征提取前，进行到步骤s3的时候，可对卷积神经网络进行训练以得到合适的用于特征提取的网络参数。具体的训练过程如下：

训练时需要用到步骤s3生成的归一化图块，接着前面的例子，例如选取100张标准图片的总共22×100＝2200个归一化图块，将每张标准图片的对应位置和层次的归一化图块分为一组(例如每张标准图片的位置点p1处层次大小为l1的图块归为一组，位置点p1处层次大小为l2的图块又归为一组，……，则所有标准图片的局部图块共分成了21组)，同时各标准图片本身对应的归一化图块作为一组，形成22组训练数据，用22组训练数据去分别训练该卷积神经网络，即每一组都对相同架构的卷积神经网络进行训练，则可以得到22套不同的网络参数；每一套网络参数对应地用于对所有标准图片的对应位置和层次的归一化图块进行特征提取。

接着以前述的例子说明步骤s4进行特征提取的过程：对于某一标准图片而言，其22个归一化图块，分别采用训练好的对应参数的卷积神经网络进行特征提取，从而得到22个特征向量，作为后续比对用的参考特征向量，对每个标准图片都这样执行。在如图2所示的示例性架构中，全连接层fc2的输出是14个神经元，因此特征提取得到的每个参考特征向量即为14个元素的一维向量。对每个标准图片，其所属的鞋模型都有唯一的标识号，将标准图片的参考特征向量与标准图片对应的鞋模型的标识号进行关联后保存到特征库中。同时每一标准图片的22个1×14的参考特征向量可以构成用于描述该标准图片的特征矩阵，即特征库中的一个特征矩阵对应于一张标准图片。

此时，基本完成了对库存鞋模型建立检索管理用的特征库的流程，特征库中的特征矩阵即可用于检索时供比对验证用。

在进行步骤s6的检索过程时，优选地采用svm判同分类器进行特征向量的比对。同样地，svm判同分类器也需要进行训练。下面基于前述的例子对svm判同分类器的训练过程进行示例性说明：

选用经过卷积神经网络进行特征提取后生成的参考特征向量，将属于同一鞋模型的对应位置和层次的两个参考特征向量进行拼接形成一个正例样本向量，将对应位置和层次的两个不属于同一鞋模型的参考特征向量进行拼接形成一个负例样本向量。参考图1，例如两个参考特征向量，都是对应于位置点p1处层次大小为l1的图块(此处的所述图块可以是同一标准图片上的同一图块；也可以是两个标准图片上对应位置和层次的图块，且这两个标准图片属于同一鞋模型)，这两个参考特征向量拼接成一个正例样本向量。从而，对每一标准图片，得到r个正例样本向量以及r个负例样本向量；采用各标准图片的对应位置和层次的正例样本向量和负例样本向量去训练所述svm判同分类器，从而得到r个具有不同的参数的svm判同分类器；其中r是一标准图片中的归一化图块的数量，r≥2(因为一标准图片的归一化图块至少包括一个局部图块和一个全局图块)；采用前述的例子，则得到r＝22个具有不同参数的svm判同分类器，也可以看作22个不同的svm判同子分类器。每一svm判同子分类器分别用于对对应位置和层次的参考特征向量和待比对特征向量进行是否同属一个鞋模型的判别，可参考图3，s1、s2、……至s22即代表22个svm判同子分类器。

下面继续基于前述的例子来说明采用训练好的svm判同分类器进行辅助检索的过程，如图3所示，对于一待检索的图片，在经过步骤s1～s4的处理后得到22个待比对的特征向量，这22个特征向量同样也可构成用于描述待检索图片对应的标准图片的特征描述矩阵，将待比对的特征描述矩阵与特征库中存放的所有特征矩阵进行分别都进行比对，比对时具体是矩阵之间两个对应的特征向量分别两两进行比对。在优选的实施例中，特征向量的比对则就是通过svm判同分类器进行。由于每个待比对的特征向量y1至y22都一一对应于某个位置点处某个层次大小的图块，同时每个svm判同子分类器也是分别对应地由某个位置点处某个层次大小的图块的特征向量训练形成的，因此，前述训练形成的22个不同参数的svm判同子分类器s1至s22也是与22个待比对的特征向量y1至y22存在一一对应关系，比对哪个特征向量时该采用哪个svm判同子分类器，这是固定的和已知的。

继续参考图3，例如，22个待比对的特征向量与特征库中的代表某一标准图片的特征矩阵进行比对的过程：将一个待比对的特征向量y1与该特征矩阵中对应的参考特征向量进行拼接形成一个拼接向量，该拼接向量输入对应参数的svm判同子分类器s1中，进行是否属于同一鞋模型的判别，若是，则输出二进制数1；若否则输出二进制数0。则该22个待比对的特征向量与一个特征矩阵进行比对之后，22个svm判同子分类器总共输出22位二进制数，构成一个二进制序列。当与特征库中的所有特征矩阵都进行完比对之后，形成多个二进制序列。最后对这些二进制序列，分别统计每个二进制序列中的1的个数，还可进一步求1的个数所占的比例，比例最高的前几名二进制序列，能够获知其是与哪些特征矩阵比对得到的，因此能够得到对应于该前几名二进制序列的特征库中的特征矩阵，而这些特征矩阵都是和所属鞋模型的标识号关联的，也就可以输出最为匹配的鞋模型的标识号。或者，检索结果的返回是以匹配度的降序排列的，而不是只返回最匹配的一个或几个。

在另一些实施例中，也可再进一步地通过返回的标识号调用对应的鞋模型图片及供应商等信息提供给用户。或者，用户可根据返回的标识号自行去他们的数据库中调用。在此不再限定。

本发明的另一具体实施方式还提供了一种鞋模型检索管理系统，包括模型数据存储器、计算机可读存储介质以及处理器，所述计算机可读存储介质上存储有计算机程序，所述处理器用于执行所述计算机程序以实现前述鞋模型检索管理方法的步骤。其中，模型数据存储器用于存储检索时供比对用的特征矩阵。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。