商品图像检索方法

本发明涉及一种商品图像检索方法，属于商品样本图像检索。

背景技术：

1、商品检索是一种典型的大规模度量学习任务，因为商品零售平台需要定期导入新的商品类型，现有商品的外观也会不时发生变化。

2、传统的图像分类模型在这些场景中由于没有识别未知类别的能力导致性能不理想。

3、有鉴于此，确有必要提出一种商品图像检索方法，以解决上述问题。

技术实现思路

1、本发明的目的在于提供一种商品图像检索方法，能够提高商品识检索系统的性能。

2、为实现上述目的，本发明提供了一种商品图像检索方法，主要包括以下步骤：

3、步骤s1、建立商品样本图像识别模型，根据带有多语义尺度标签信息的商品样本图像，训练深度卷积神经网络；

4、步骤s2、将经过标注的商品样本图像经过数据增强操作后，输入深度卷积神经网络的卷积层进行特征提取，获取商品样本图像在细粒度级别的深层特征；

5、步骤s3、指定深度卷积神经网络作为主干网络，复制深度卷积神经网络并形成两个分支网络，设置协同注意力模块连接两个分支网络并形成第三分支，协同注意力模块的输出经过全局池化操作之后作为商品样本图像识别模型最终输出的特征向量；

6、步骤s4、将特征向量经过softmax层输出得到商品类别采样概率，并计算损失函数值，以损失函数最小化为优化目标通过梯度反向传播算法更新模型的参数值；

7、步骤s5、循环步骤s2-s4直到达到深度卷积神经网络训练所预先设置的条件。

8、作为本发明的进一步改进，步骤s1中，所述深度卷积神经网络包括残差网络，所述残差网络由若干个卷积层或池化层组成的子网络模块构成，包括stage-0，stage-1，…，stage-4。

9、作为本发明的进一步改进，步骤s2中，所述数据增强操作包括图像随机擦除、图像随机旋转和图像随机裁剪。

10、作为本发明的进一步改进，步骤s3中，所述深度卷积神经网络的残差网络被分拆成双分支残差网络，具体分拆过程包括如下步骤：

11、步骤s31、复制残差网络的主干网络的stage-4形成双分支网络；

12、步骤s32、将步骤s31的双分支网络的每一分支分别连接一个全局池化层和一个全连接层；

13、步骤s33、在步骤s31的双分支网络后并行连接一个协同注意力模块、全局池化层、全连接层形成第三分支，所述第三分支用于输出图像检索所需的特征向量。

14、作为本发明的进一步改进，所述协同注意力模块包含空间注意力模块和一个通道注意力模块，将提取粗粒度级别的特征和提取的细粒度特征输入所述协同注意力模块进行特征融合，先经过空间注意力模块得到一个中间特征，然后再经过通道注意力模块得到最终用于商品图像检索的特征，通道注意力模块的具体计算方式为

15、，

16、其中，表示softmax函数, 查询和键是特征分别经过两个核大小为1×1的二维卷积层输出的特征， r为控制空间维数的超参数，值是由特征的前两个维度直接合并得到，为位置权重矩阵。

17、作为本发明的进一步改进，根据空间注意力模块产生的中间特征和作为通道注意力模块的输入，具体计算方式为

18、，

19、其中，，，为空间权重矩阵，将作为协同注意力模块的最终输出并经过全局池化操作之后作为模型最终输出的特征向量。

20、作为本发明的进一步改进，步骤s31中，复制残差网络的主干网络stage-4得到双分支的stage-4a和stage-4b，stage-4a和stage-4b的初始化权重参数设置为imagenet预训练模型中stage-4的权重参数。

21、作为本发明的进一步改进，步骤s4中，所述损失函数包括三部分，其中，第一部分和第二部分为第一分支stage-4a和第二分支stage-4b后连接的全连接层输出的类别信息与商品样本图像的标签信息所得到，第三部分为所述第三分支的协同注意力模块输出的特征经过池化和全连接分类器之后和图像的标签信息所得到。

22、作为本发明的进一步改进，步骤s4中，所述损失函数为

23、，

24、其中，为商品样本图像的索引值，、分别为商品样本图像经过特征提取网络在stage4-a和stage4-b的输出特征进行全局池化操作之后得到的特征向量，为所述第三分支的协同注意力模块输出特征进行全局池化操作之后得到的特征向量，为交叉熵损失函数，为softmax函数，、和分别为三部分损失函数的权重参数，、和分别为对应特征后接全连接层的权重参数，和分别是第个样本的粗粒度和细粒度类别标签。

25、作为本发明的进一步改进，所述商品图像检索方法还包括测试步骤，主要包括以下步骤：

26、步骤a1、获取查询图像和所有待查询图像；

27、步骤a2、将查询图像和所有待查询图像经过预先训练的特征提取网络得到查询图像和所有待查询图像的特征向量；

28、步骤a3、将查询图像经过模型的特征向量与所有待查询图像经过模型的输出特征向量进行相似度的计算；

29、步骤a4、根据步骤a3得到的相似度对所有待查询图像进行排序，最后得到若干待查询图像。

30、本发明的有益效果是：本发明能够提高商品识检索系统的性能。

技术特征：

1.一种商品图像检索方法，其特征在于，主要包括以下步骤：

2.根据权利要求1所述的商品图像检索方法，其特征在于：步骤s1中，所述深度卷积神经网络包括残差网络，所述残差网络由若干个卷积层或池化层组成的子网络模块构成，包括stage-0，stage-1，…，stage-4。

3.根据权利要求1所述的商品图像检索方法，其特征在于：步骤s2中，所述数据增强操作包括图像随机擦除、图像随机旋转和图像随机裁剪。

4.根据权利要求2所述的商品图像检索方法，其特征在于，步骤s3中，所述深度卷积神经网络的残差网络被分拆成双分支残差网络，具体分拆过程包括如下步骤：

5.根据权利要求4所述的商品图像检索方法，其特征在于：所述协同注意力模块包含空间注意力模块和一个通道注意力模块，将提取粗粒度级别特征和提取的细粒度特征输入所述协同注意力模块进行特征融合，先经过空间注意力模块得到一个中间特征，然后经过通道注意力模块得到最终用于商品图像检索的特征，经过空间注意力模块的具体计算方式为

6.根据权利要求5所述的商品图像检索方法，其特征在于：根据空间注意力模块产生的中间特征和特征后两维合并得到的特征作为通道注意力模块的输入，具体计算方式为

7.根据权利要求4所述的商品图像检索方法，其特征在于：步骤s31中，复制残差网络的主干网络stage-4得到双分支的stage-4a和stage-4b，stage-4a和stage-4b的初始化权重参数设置为imagenet预训练模型中stage-4的权重参数。

8.根据权利要求1所述的商品图像检索方法，其特征在于：步骤s4中，所述损失函数包括三部分，其中，第一部分和第二部分为第一分支stage-4a和第二分支stage-4b后连接的全连接层输出的类别信息与商品样本图像的标签信息所得到，第三部分为所述第三分支的协同注意力模块输出的特征经过池化和全连接分类器之后和图像的标签信息所得到。

9.根据权利要求8所述的商品图像检索方法，其特征在于：步骤s4中，所述损失函数为

10.根据权利要求1所述的商品图像检索方法，其特征在于，所述商品图像检索方法还包括测试步骤，主要包括以下步骤：

技术总结
本发明提供了一种商品图像检索方法，包括建立商品样本图像识别模型，根据带有多语义尺度标签信息的商品样本图像，训练深度卷积神经网络；将经过标注的商品样本图像经过数据增强操作后，输入深度卷积神经网络的卷积层进行特征提取；指定深度卷积神经网络作为主干网络，复制深度卷积神经网络并形成两个分支网络；将特征向量经过Softmax层输出得到商品类别采样概率，并计算损失函数值；循环步骤直到达到深度卷积神经网络训练所预先设置的条件。相较于现有技术，本发明能够提高商品识检索系统的性能。

技术研发人员：吴晓富,行阳阳,张索非,李春香,杨孟渭
受保护的技术使用者：南京邮电大学
技术研发日：
技术公布日：2024/1/12