基于多层分类识别模型的商品图片相似度匹配搜索方法和系统与流程

1.本发明涉及深度学习的神经网络技术领域、图片识别模型神经网络的设计与训练，及向量余弦相似度计算等技术的系统集成处理方法。


背景技术：

2.随着互联网交易平台信息的快速发展和相关技术的日新月异，网络应用及图片信息处理技术途径日益多样化、复杂化。特别是互联网的商品图片数量、种类越来越繁多，采用单一对商品图片进行识别分类处理方法已经不能满足速度、准确率的要求。目前大部分采用对图片的相似搜索处理还是基于图像哈希计算(如：minhash、lsh、phash)，或卷积神经网络等技术。这些普遍存在图片相似计算处理过程中的归类到桶的图片相似度差异较大，导致在数量庞大的图片库搜索时的特征相似计算量增大、且图片相似识别准确率不高。本发明采用不同层次分类模型的堆叠设计对大数量商品图片信息进行准确分类处理，及在分类后对应的商品图片数据集中进行再次的商品图片神经网络特征向量提取的相似度余弦值计算；通过两个深度学习网络技术分别处理不同任务的结合。使商品图片信息业务处理中的搜索准确率、查询速度等操作，得到很大的提高。所以提供一种基于多层分类识别模型的商品图片相似度匹配搜索方法和系统，应用人工智能的深度学习相关技术实现商品图片多层分类识别,及商品图片相似度匹配搜索方法，这就可以给大数量级别的商品图片库提供便捷有效的图片分析处理方法。


技术实现要素：

3.本发明所提供的解决方案是针对基于多层分类识别模型的商品图片相似度匹配搜索方法和系统的构建，该发明采用以下技术方案：
4.一种基于多层分类识别模型的商品图片相似度匹配搜索方法，所述方法包括：
5.a1、选取相应数量商品图片数据集，并进行商品图片的样本处理；
6.a2、构建商品图片识别分类模型的深度学习神经网络和商品图片特征提取模型的深度学习神经网络；
7.a3、根据层次分类后的商品图片样本，训练不同层次分类识别模型和商品图片特征提取网络模型，并更新相应网络参数；
8.a4、重复a3步骤，迭代训练网络，并保存训练好的分类识别模型和特征提取网络模型；
9.a5、选取识别准确率高的商品分类识别模型，进行不同层次商品分类识别模型的系统集成；
10.a6、基于商品图片多层分类集成识别对应分类商品图片，进行商品图片特征提取网络模型的图片特征提取；
11.a7、将提取的商品图片特征向量进行相似度特征计算比较；
12.a8、相似度计算值在设定值域范围，判定为相似，并输出图片。
13.进一步地，步骤a1所述的采集选取商品图片数据集，及分析整理商品图片进行分类挑选训练样本，并进行对应层次分类标记。
14.进一步地，步骤a2所述的商品图片识别分类模型的深度学习神经网络，采用残差学习神经网络，网络中多个残差单元堆积结构的输出与输入之间引入快捷连接解决网络的梯度消失问题，实现更多层的残差单元堆积，网络设计中隐藏层包含多个卷积层、最大值池化、均值池化层等操作，网络使用不同大小的卷积核进行卷积操作，使得残差单元在输入特征基础上学习到新的特征，从而拥有更好的学习性能；商品图片特征提取模型的深度学习神经网络，采用多个卷积层、多个最大值池化操作构成的网络结构，网络结构中隐藏层的多个卷积层之后均进行池化层的操作。
15.进一步地，步骤a3所述的具体为不同层次分类网络识别模型训练利用残差神经网络的监督学习方式，通过层次分类标记的样本图片，对不同分层相应分类进行网络模型训练，并在训练过程中调试网络相关超参数。将挑选好分类标记的商品样本图片，用于对商品图片特征提取网络模型进行训练，并在训练过程中调试网络相关超参数，使训练模型趋于收敛。
16.进一步地，步骤a4所述的具体包括对网络训练过程的损失函数值，相关参数值进行分析，模型训练以相应指标值是否收敛为模型训练完成的参考标准，选取相关模型进行测试，并保存识别效果好的模型。
17.进一步地，步骤a5所述的具体包括选取通过验证测试的层次分类对应分类识别模型，进行模型集成，根据多层分类识别的设计原则，将分类识别模型从上至下结构对应上层分类识别模型的输出分类作为下层对应分类识别模型的输入，完成商品图片多层分类识别方法的模型集成。
18.进一步地，步骤a6所述的在指定分类的商品图片数据集内，将商品图片设置为相应尺寸的张量作为输入，通过商品图片特征提取网络模型进行商品图片特征向量的计算，计算输出为多维度的商品图片特征向量。
19.进一步地，步骤a7所述的是在计算指定分类商品图片数据集的多维度(如：512维)图片特征向量基础上，对搜索的商品图片的特征向量与商品图片数据集中商品图片的特征向量进行余弦相似度计算；余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小，余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似。
20.进一步地，步骤a8所述的具体根据商品图片特征向量的余弦相似度计算值在设置阀值的值域范围，则输出商品图片相似的结果。
21.本发明还公开了一种基于多层分类识别模型的商品图片相似度匹配搜索系统，由三部分组成：商品图片多层分类识别模块、分类商品图片数据存储模块、商品图片相似度匹配搜索模块；
22.所述商品图片多层分类识别模块包括图片预处理模块、多层分类识别模型集成模块等两个子模块；
23.所述图片预处理模块，用于输入商品图片的相关属性的预处理操作；
24.所述多层分类识别模型集成模块，通过不同层次分类识别模型堆叠集成，用于商品图片数据的多层次分类处理，完成商品图片分类；
25.所述分类商品图片数据存储模块，用于商品图片的分类存储及搜索查询处理，通过相关商品图片分类信息，搜索输出相应分类商品图片数据集；
26.所述商品图片相似度匹配搜索模块包括图片特征提取处理模块、图片特征向量计算模块、相似度阀值处理模块等三个子模块；
27.所述图片特征提取处理模块，用于提取图片的多维度特征向量，供图片特征向量相似度比较计算使用；该模块处理数量来自图片预处理模块或分类商品图片数据存储模块处理后的图片数据；
28.所述图片特征向量计算模块，用于比较图片多维度特征向量的计算，该模块与图片特征提取处理模块或分类商品图片数据存储模块连接，处理由图片特征提取处理模块和分类商品图片数据存储模块的输出数据；
29.所述相似度阀值处理模块，用于设置相似图片比较计算后的输出阀值的处理，该模块与图片特征向量计算模块连接，处理由图片特征向量计算模块的输出数据。
30.本发明采用不同层次分类网络模型的堆叠和深度网络特征向量提取的相似度计算集成设计，实现了能够为千万级别数量的商品图片库进行分类查询、商品图片相似度匹配搜索等处理，提高商品图片信息匹配搜索处理的查询速度和查询准确率。
附图说明：
31.图1是本发明针对基于多层分类识别模型的商品图片相似度匹配搜索方法和系统构建的结构图；
32.图2是本发明的商品图片分类识别模型集成的多层分类识别设计结构图；
33.图3是本发明的商品图片分类识别模型网络设计说明图；
34.图4是本发明的商品图片特征提取网络模型设计说明图；
35.图5是本发明的系统模块总体结构图；
36.图6是本发明的分类商品图片数据存储模块处理流程图；
37.图7是本发明的分类商品图片数据存储模块处理流程图。
具体实施方式
38.为了更好地说明本发明的上述目的、特征和优点，能够更加简单易懂，下面结合附图和具体实施方式对本发明作进一步的详细说明；此处所描述的具体实施实例仅仅用以解释本发明，并不用于限定本发明。
39.实施实例
40.参照图1，是本发明针对基于多层分类识别模型的商品图片相似度匹配搜索方法和系统的构建，系统主要由三部分组成：商品图片多层分类识别处理模块、商品图片分类库模块、商品图片相似度匹配搜索处理模块等；总体流程图可以包括以下实施步骤：
41.步骤1：选取相应数量商品图片数据集，并进行商品图片的样本处理；该步骤根据分类总体业务需求的分类数量，进行采集选取商品图片数据集，及分析整理商品图片进行分类挑选训练样本，并进行对应层次分类标记。
42.步骤2：构建商品图片识别分类模型的深度学习神经网络；该步骤采用残差学习神经网络，网络中多个残差单元堆积结构的输出与输入之间引入快捷连接解决网络的梯度消
失问题，实现更多层的残差单元堆积，网络设计中隐藏层包含多个卷积层、最大值池化、均值池化层等操作，网络使用不同大小的卷积核进行卷积操作，使得残差单元在输入特征基础上学习到新的特征，从而拥有更好的学习性能；具体网络模型可以参见图3，实施设计神经网络可以表达为：
43.input-》[[conv]*1-》pool]-》[conv]*32-》[pool-》[fc]*1]。
[0044]
步骤3：根据层次分类后的商品图片样本，执行训练不同层次分类网络识别模型，并更新相应网络参数；该步骤是在步骤1的商品图片的挑选样本处理基础上通过不同层次的分类样本，通过图片预处理模块，对输入图片进行预处理(如：图片处理设置大小224*224后，转换为(224,224,3)的张量)后，来训练对应分层的商品分类识别模型；利用残差神经网络的监督学习方式，通过层次分类标记的样本图片，对不同分层相应分类进行网络模型训练，并在训练过程中调试网络相关超参数。
[0045]
步骤4：重复3步骤，迭代训练网络，并保存不同迭代次数的商品分类识别模型；该步骤对网络模型训练过程的输出损失函数值，相关参数值进行分析，模型训练以相应指标值是否收敛为模型训练完成的参考标准，选取相关模型进行测试，并保存识别效果好的模型。模型识别过程中图片转化的张量如下格式：tensor([[[1.0000,1.0000,1.0000,...,0.7647,0.7804,0.7882],
[0046]
……
,//这里省略其它向量值
[0047]
[1.0000,1.0000,1.0000,...,0.2000,-0.0275,-0.3490]]])
[0048]
步骤5：选取识别准确率高的商品分类识别模型，进行不同层次商品分类识别模型的集成；该步骤中，选取通过验证测试的层次分类对应分类识别模型，进行所有分层的分类识别模型集成，多层分类识别的设计原则，将分类识别模型从上至下结构对应上层分类识别模型的输出分类作为下层对应分类识别模型的输入，完成商品图片多层分类识别方法的模型集成；具体的多层分类识别模型集成设计可以参照图2。
[0049]
步骤6：构建商品图片特征提取模型的深度学习神经网络；该步骤采用卷积层、池化操作构建深度学习神经网络结构，网络结构中包含隐藏层为16个卷积层和5个池化层操作，网络全部使用3*3的卷积核和2*2的max pooling池化操作；具体的商品图片特征提取模型网络设计可以参见图4，实施设计神经网络可以表达为：input-》[[conv]*2-》pool]*2-》[[conv]*4-》pool]*3-》[pool]*1。
[0050]
步骤7：根据层次分类后的商品图片样本，训练商品图片特征提取网络模型；该步骤中将挑选好分类标记的商品样本图片，用于对商品图片特征提取网络模型进行训练，并在训练过程中调试网络相关超参数，使训练模型趋于收敛。特征提取网络模型获取512维图片特征向量格式如下：
[0051]
[37.354393 8.450011 56.538067 30.91038 8.2067
[0052]
……
,//这里省略其它向量值
[0053]
0.0 70.05595 27.11881 6.024384 10.021242]
[0054]
步骤8：重复7步骤，迭代训练网络，并测试验证保存商品图片特征提取网络模型；该步骤对网络训练收敛模型进行测试，并保存识别效果好的模型参数及权重。
[0055]
步骤9：将商品图片特征提取网络模型与多层次商品分类识别模型进行结合；该步骤对大数量级别的商品图片数据集通过图片预处理模块，对图片预处理的操作主要将图片
尺寸设置大小224*224后，转换为(224,224,3)的张量，再进行分类识别及提取商品图片的512维特征向量等图片信息进行分类入库存储，
[0056]
步骤10：输入检索商品图片进行图片相似度匹配搜索处理；该步骤中首先由商品图片多层分类识别模块处理，将预处理后搜索图片通过多层分类识别模型集成模块获取指定图片分类信息，并输入分类信息到商品图片分类库模块中获取分类对应商品图片数据集，供商品图片相似度匹配搜索模块处理。图片数据集信息是否需要进行多维度特征向量提取将由数据集保存的图片信息确定，如没有图片特征向量则需通过该模型提取处理，再将搜索商品图片设置为大小(224,224,3)的张量作为输入，通过商品图片特征提取网络模型进行商品图片特征向量的计算，输出计算为512维的商品图片特征向量，将所有图片数据信息作为图片特征向量计算处理的输入。
[0057]
步骤11：提取商品图片多维度特征向量进行相似度特征计算比较；该步骤是在步骤10计算指定分类商品图片数据集的512维图片特征向量基础上，对搜索的商品图片的特征向量与商品图片数据集中商品图片的特征向量进行余弦相似度计算；余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小；余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似。
[0058]
步骤12：相似度计算值在设定值域范围，判定为相似，并输出图片；该步骤中根据商品图片特征向量的余弦相似度计算值在设置阀值的值域范围，则输出商品图片相似的结果。
[0059]
本发明第二个实施例提供了一种基于多层分类识别模型的商品图片相似度匹配搜索系统的构建，该系统由三大模块组成：商品图片多层分类识别模块、分类商品图片数据存储模块、商品图片相似度匹配搜索模块；具体模块总体结构参见图5。
[0060]
其中商品图片多层分类识别模块包括图片预处理模块、多层分类识别模型集成模块等两个子模块；
[0061]
图片预处理模块，用于对输入商品图片的相关属性的预处理操作；
[0062]
多层分类识别模型集成模块，通过不同层次分类识别模型堆叠集成，用于商品图片数据的多层次分类处理，完成商品图片分类；具体分类识别模型堆叠集成可以参照图2。
[0063]
其次分类商品图片数据存储模块，用于商品图片的分类存储及搜索查询处理，通过商品图片多层分类识别模块处理后，输出的相关商品图片分类信息，在分类商品图片数据存储模块中搜索相应分类商品图片数据集；商品图片的分类库的存储构建，通过商品图片多层分类识别模块处理和图片特征提取网络模型处理后，输出图片分类信息和图片的多维特征向量经过预处理后，保存到商品图片分类库中；具体处理流程参见图6。
[0064]
商品图片相似度匹配搜索模块包括图片特征提取处理模块、图片特征向量计算模块、相似度阀值处理模块等三个子模块；商品图片相似度匹配搜索模块主要处理来自商品图片分类识别模块和分类商品图片数据存储模块处理后的图片和分类图片数据集信息，并进行商品图片多维特征向量的相似度计算处理，实现准确匹配搜索相似图片数据集，及输出的相似商品图片；具体处理流程参见图7。
[0065]
图片特征提取处理模块，用于提取图片的多维度特征向量，供图片特征向量相似度比较计算使用。该模块处理数量来自图片预处理模块或分类商品图片数据存储模块处理后的图片数据；
[0066]
图片特征向量计算模块，用于比较图片多维度特征向量的计算，该模块与图片特征提取处理模块或分类商品图片数据存储模块连接，处理由图片特征提取处理模块和分类商品图片数据存储模块的输出数据；
[0067]
相似度阀值处理模块，用于设置相似图片比较计算后的输出阀值的处理，该模块与图片特征向量计算模块连接，处理由图片特征向量计算模块的输出数据。
[0068]
以上所描述说明，仅为本发明所提供的针对基于多层分类识别模型的商品图片相似度匹配搜索方法和系统进行了详细说明。本文中应用了具体个例来说明本发明的原理及实施方法进行相关的阐述，以上实施例子的说明只是帮助理解本发明的流程、方法和核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，都应涵盖在本发明的保护范围之内，因此本发明的保护范围应该以权利要求的保护范围为准。