一种商品图像特征描述方法

一种商品图像特征描述方法
1.本技术为申请号202110144794.9、申请日2021年02月02日、发明名称“一种基于多尺度视觉词包模型的商品图像特征描述方法”的分案申请。
技术领域
2.本发明涉及一种商品图像特征描述方法，属于图像分类领域。


背景技术：

3.我国电子商务的规模不断增长，已成为影响居民生活的重要行业。随着互联网的不断进步促进了淘宝、京东和唯品会等各大电子商务平台的快速发展，网上购物已经成为了大众购买商品的主要方式，越来越被人们所认可。根据中国互联网络信息中心统计，截至2020年3月，我国网民规模为9.04亿，互联网普及率达64.5％，我国网络购物用户规模达7.10亿，2019年交易规模达10.63万亿元，同比增长16.5％。为给用户对商品的快速浏览、搜索定位等提供更加优良的购物体验，一个良好的商品图像特征描述及分类系统也越来越凸显其重要性。而以往基于人工标注的图像分类方法已经不符合现实需求。如何利用图像处理、计算机视觉、模式识别以及机器学习等技术，实现商品图像的特征描述并进行分类具有很大的研究和商业价值。
4.对图像特征描述及分类的研究，从技术层面大致可划分成三类，第一类是使用颜色、纹理、形状的底层特征作为图片的描述通过分类器进行训练进而使该分类器具有对图像在所选特征上的分类效果；第二类是使用视觉词典这种中层语义特征来对图像进行分类，视觉词典通过整合底层特征的关系对图像的局部区域有很强的描述能力，在某些分类任务上具有较好的效果；第三类是使用深度学习的方法对图像进行分类，通过合适深度的网络可以设计出分类效果较好的分类模型。上述三种处理方式，其中底层特征主要针对像素来进行处理，会大大减轻距离较远像素间的关系，且不能很好的对图像内商品目标进行描述，往往会侧重于商品的某些特征，而忽略其他的特征；深度学习在图像分类上有不错的效果，但是深度学习存在着不可解释性和需要大量计算机算力的缺点，即便有不少方法能够在一定程度上减少运算量(例如迁移学习)，依然远远超出正常电脑运算的上限；词包特征在商品图像分类上有不错的效果，但对于词包模型的进一步研究有所匮乏，并且对于商品图像的自身特点没有很好地挖掘(例如忽视了商品图像的颜色信息，忽略了商品图像中的目标分布特点),所以视觉词典在商品图像的特征描述与分类研究仍具有价值和意义。
5.在视觉词包特征中关于局部区域的提取方式具有两种方式，分别为稀疏类和稠密类，其中稀疏类指的是提取图像中一些稳定的像素点并围绕该特征点根据确定的尺度大小划分成对应的图像块，而稠密类指的是在图像坐标中按一定抽样比例抽取像素点并围绕该点划定图像块。两种方式各有优缺点，稀疏类往往对前景突出的图像表现更好，而稠密类对背景明显的图像更有优势。对于商品图像是属于前景突出的类型，但同时商品图像有着比其他图像更光滑的特点，稀疏类的特征点提取较其他类型更加困难，过少的特征点导致不足以支撑对整个图像的描述。除了图像区域的划分之外，对于区域特征描述也存在特征描
述单一的问题，传统的描述方式是sift(scale
‑
invariant feature transform)与surf(speeded
‑
up robust features)，这两种方式都只包含了纹理信息。但对于商品而言，颜色信息也是一个值得参考的方面。对于传统的词包模型得到的特征是一个无序的统计特征，并没有包含词的位置信息，而常用的金字塔空间模型有着维数数十倍增长的特点，对于正常的词包特征维数会设定在一个较大的数值，将使得最终特征的维数爆炸，寻求一种表示商品图像更合适更简单的词包空间模型是一个研究的要点。


技术实现要素：

6.针对采用现有视觉词包特征描述方法的商品图像分类效果不佳的问题，本发明提供一种商品图像特征描述方法。
7.本发明的一种基于多尺度视觉词包模型的商品图像特征描述方法，所述方法包括：
8.s1：对2倍升采样的商品图像进行小波多尺度分解，在不同分解尺度进行多尺度特征点提取；
9.s2：对提取的多尺度特征点进行边缘填充，在边缘填充后的图像上划定图像的局部区域，利用surf局部特征与量化归一的颜色矢量角特征对划定的局部区域进行描述，并通过串行融合得到最终的局部区域特征的描述子；
10.s3：对s2得到的局部区域特征进行聚类，形成词包；
11.s4：对每个局部区域特征与词包中的词特征向量进行距离度量，给局部区域特征编码，并使用对角同心矩空间模型进行特征汇聚形成图像描述子，将该图像描述子使用主成分分析对特征进行降维，获得降维的视觉词包特征向量；
12.s5：将s4获得的视觉词包特征向量用分类器分类。
13.作为优选，所述s1包括：
14.s11：将商品图像灰度值化并进行二倍升采样处理，然后对升采样图像进行多层小波分解，对每层分解得到的三个方向的高频小波响应矩阵提取相同坐标上的归一化系数；
15.s12：根据归一化系数的大小筛选出侯选点；
16.s13：对所有候选点进行非极大值抑制，以候选点为中心划定5*5大小的矩阵块，矩阵块每个位置的值为坐标相同的三个小波高频通道响应值之和，若候选点的值为该区域的最大值则保留，反之去除，得到对应尺度下的特征点；
17.s14：计算出特征点映射到原图的坐标位置。
18.作为优选，所述s11中，对每层分解得到的三个方向的高频小波响应矩阵提取相同坐标上的归一化系数为：
[0019][0020][0021][0022]
其中ch、cv、cd分别为小波分解的竖直方向、水平方向和对角方向的高频小波响应
矩阵，max表示分量内取最大值，ch、cv、cd分别为竖直方向、水平方向和对角方向对应的归一化系数。
[0023]
作为优选，所述s14中，映射到原图的坐标位置为：
[0024][0025]
其中，l为小波分解层数，x和y是在尺度上检测的特征点位置坐标，x和y为原图所对应的坐标位置。
[0026]
作为优选，所述s1中，尺度大小为：
[0027]
σ＝1.6*2
l
‑1[0028]
其中，l为小波分解层数。
[0029]
作为优选，所述s2包括：
[0030]
s21：对图像进行边缘填充，根据特征点位置与尺度划定图像的局部区域；
[0031]
s22：对局部区域的surf描述子v
surf
：
[0032]
围绕以某一像素点为中心半径大小为6σ的圆形区域计算haar响应值，将响应值最大的方向视为主方向；
[0033]
将局部区域旋转至主方向位置，划分出以围绕特征点为中心，大小为20σ*20σ的局部区域，并将20σ*20σ的局部区域划分4*4的子区域，统计每个子区域内x、y方向的haar响应得到4维向量[σx,σy,σ|x|,σ|y|]，最终16个子区域特征串联得到4*4*4的64维surf描述子v
surf
，σ表示尺度；
[0034]
s23：在所述20σ*20σ的局部区域内统计每一级量化尺度对应颜色矢量角的出现次数，得到未归一化的颜色矢量角特征，对未归一化的颜色矢量角特征进行归一化处理得到颜色矢量角特征v
cva
[0035]
s24：将v
surf
与v
cva
进行串行融合得到最终的局部区域特征的描述子v：
[0036]
v＝[v
surf
,v
cva
]。
[0037]
作为优选，所述s23中，尺度大小是每0.5度为一级量化尺度；
[0038]
颜色矢量角表示的是将彩色图像像素点的3颜色通道的值视为三维空间的坐标值，计算两相邻像素点三通道坐标值与原点之间的夹角大小，颜色矢量角为：
[0039][0040][0041]
其中r1、g1、b1为某像素点的三通道颜色值，r2、g2、b2为相邻像素点的三通道颜色值，arccos表示反余弦函数，angle为两像素点的颜色矢量角；
[0042]
对得到的颜色矢量角量化过程为：
[0043][0044]
其中，angle表示颜色矢量角的大小，i为对应的量化值；
[0045]
归一化过程表示：
[0046][0047]
其中v＝[v1,v2,
…
,v
180
]，v
i
表示量化值i出现的统计次数。
[0048]
作为优选，所述s3包括：
[0049]
随机选取k个局部区域特征作为初始类型，再用kmeans算法进行迭代修正，直到误差小于阈值，得到最终k个聚类类心，即k个词包。
[0050]
作为优选，所述s4包括：
[0051]
s41：对每个局部区域特征分别与词包内所有的词特征向量进行欧氏距离的计算，将每个局部区域特征编码为距离最小的词特征向量，得到编码好的局部区域特征；
[0052]
s42：按照对角同心矩空间模型，给图像划定空间子区域，统计整张图像内每类词的出现次数以及在划定空间子区域每类词出现次数，进行归一化处理，得到空间词频特征向量f，作为图像描述子：
[0053]
f＝[f0,f1,...,f
m
]
[0054]
若图像划分为n部分则得到的空间词频特征向量f是k*(n+1)维的；其中，f0表示在整个图像范围而不考虑子空间范围得到的词频统计特征，它是k维的向量；f1,...,fn表示在划定的不同子空间内得到的词频统计特征，它们也是k维的向量；
[0055]
s43：对图像描述子使用主成分分析方法进行降维，获得降维的视觉词包特征向量。
[0056]
作为优选，所述s5使用svm多分类算法对降维的视觉词包特征向量进行商品图像分类。
[0057]
本发明的有益效果，本发明丰富了分布合理的特征点数量，在纹理特征的基础上增加了颜色信息使局部区域可区分性更强，比spm(spatial pyramid matching)空间模型降低了特征维度，可使用计算机程序对商品图像进行分类，提高图像分类的精度，减轻工作量。
附图说明
[0058]
图1为本发明的方法流程图；
[0059]
图2为本实施方式中涉及的多尺度特征点提取方法(wavelet multiscale feature points,wdfp)流程示意图；其中，候选点的颜色表示该位置的归一化响应值大于阈值；
[0060]
图3为本实施方式中涉及的多尺度特征区域划分的部分示意图；
[0061]
图4为本实施方式中涉及的多尺度特征点与surf(speeded
‑
up robust features)特征点位置分布示意图；
[0062]
图5为本实施方式中涉及的surf(speeded
‑
up robust features)描述子与颜色矢量角的角度形成过程，其中，(a)为surf描述子生成过程，(b)表示颜色矢量角的角度计算过程；
[0063]
图6为本实施方式中涉及的kmeans聚类算法在聚类数量为3时聚类过程的示意图；
[0064]
图7为本实施方式中涉及的对角同心矩空间模型(diagonal concetric rectangular model,dcrm)划定范围的示意图；
[0065]
图8(a)为本实施方式中中特征点提取方法(wavelet multiscale feature points,wdfp)结合surf(speeded
‑
up robust features)局部区域特征提取算法、主流基于原始sift(scale
‑
invariant feature transform)算法和原始surf(speeded
‑
up robust features)算法的三种算法在商品图像分类效果的比较；
[0066]
图8(b)为本实施方式中中以本发明的特征点提取方法(wdfp)加上颜色矢量角特征(color vector angle,cva)与surf(speeded
‑
up robust features)局部区域特征融合提取算法、主流基于原始surt算法加上颜色矢量角(color vector angle,cva)和原始surf(speeded
‑
up robust features)算法的分类效果的比较；图8(c)为本实施方式中的对角同心矩空间表示方法(diagonal concetric rectangular model,dcrm)、spm(spatial pyramid matching)空间表示方法与不进行空间划分的统计方法，在本发明特征提取方法与主流算法于商品图像分类效果的对比；
[0067]
图8(d)为本实施方式中三种改进方案的算法、与其它主流算法在不同空间模型表示的结合对分类效果的影响；
[0068]
图9为本发明涉及的一种基于多尺度视觉词包模型的商品图像特征描述方法流程图。
具体实施方式
[0069]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0070]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0071]
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0072]
如图1所示，本实施方式的一种基于多尺度视觉词包模型的商品图像特征描述方法，包括以下步骤：
[0073]
步骤一：对2倍升采样的商品图像进行小波多尺度分解，在不同分解尺度进行多尺度特征点提取及尺度大小的设定。
[0074]
步骤二：对提取的多尺度特征点进行边缘填充，在边缘填充后的图像上划定图像的局部区域，利用surf(speeded
‑
up robust features)局部特征与量化归一的颜色矢量角特征对划定的局部区域进行描述，并通过串行融合得到最终的局部区域特征的描述子；
[0075]
步骤三：对步骤二得到的局部区域特征进行聚类，形成词包。
[0076]
步骤四：对每个局部区域特征与词包中的词特征向量进行距离度量，给局部区域特征编码，并使用对角同心矩空间模型进行特征汇聚形成图像描述子，将该图像描述子使用主成分分析(principal compeonent analysis,pca)对特征进行降维，获得降维的视觉词包特征向量；
[0077]
步骤五：将步骤四提取的视觉词包特征向量用svm分类器分类，并通过与其它视觉词包算法进行比较得出分类效果。
[0078]
本实施方式增加了视觉词包特征在商品图像上的信息量，降低了传统视觉词包的特征维度，提高了准确率。能有效的对商品图像进行分类，提高分类效率，减轻人工分类的工作量。
[0079]
优选实施例中，如图2所示，本实施方式的步骤一包括：
[0080]
将商品图像灰度值化并进行2倍升采样处理，然后对升采样图像进行多层小波分解，对每层分解得到的三个方向的高频小波响应矩阵提取相同坐标上的归一化系数，根据系数大小筛选出侯选点，要求是三个高频通道相同坐标下的系数值都大于0.1。之后对所有候选点进行非极大值抑制，过程是以候选点为中心划定5*5大小的矩阵块，矩阵块每个位置的值为坐标相同的三个小波高频通道响应值之和，若候选点的值为该区域的最大值则保留，反之去除，得到对应尺度下的特征点，最后计算出映射到原图的大致粗略坐标位置。
[0081]
高频分量归一化过程表示为：
[0082][0083][0084][0085]
其中ch、cv、cd分别为小波分解的竖直方向、水平方向和对角方向的高频分量矩阵，max表示分量内取最大值，ch、cv、cd表示为归一化后的高频分量矩阵。
[0086]
坐标映射过程表示为：
[0087][0088]
其中l为小波分解层数，x和y是在尺度上检测的特征点位置坐标，x和y为原图所对应的坐标位置。值得注意的是该计算方法非理论验证得来，而是以视觉感官效果与尺度缩放位置变化的共同结果。
[0089]
关于尺度大小的确定按照如下公式变化：
[0090]
σ＝1.6*2
l
‑1[0091]
其中l为小波分解层数，1.6为设定的最初始尺度。
[0092]
优选实施例中，如图3、图4和图5本实施方式的步骤二包括：
[0093]
步骤二一：对图像进行边缘填充，根据特征点位置与尺度划定图像的局部区域。
[0094]
步骤二二：提取surf(speeded
‑
up robust features)局部区域描述子，该过程包括围绕以某一像素点为中心半径大小为6σ的圆形区域计算haar响应值，将响应值最大的方向视为主方向；将局部区域旋转至主方向位置，划分出以围绕特征点为中心，大小为20σ*20σ的局部区域，并将20σ*20σ的局部区域划分4*4的子区域，统计每个子区域内x、y方向的haar响应得到4维向量[σx,σy,σ|x|,σ|y|]，最终16个子区域特征串联得到4*4*4的64维surf(speeded
‑
up robust features)局部区域描述子v
surf
。
[0095]
步骤二三：提取颜色矢量角特征，颜色矢量角表示的是将彩色图像像素点的3颜色通道的值视为三维空间的坐标值，然后计算两相邻像素点三通道坐标值与原点(0,0,0)之间的夹角大小，并通过量化统计归一得到颜色矢量角特征；本发明关于颜色矢量角的量化的尺度大小是每0.5度量化1级，在与步骤二一相同的20σ*20σ的区域内统计每一级颜色矢量角的出现次数得到未归一化的颜色矢量角特征，最后对这180维特征进行归一化处理得到颜色矢量角特征v
cva
。
[0096]
颜色矢量角的计算公式为：
[0097][0098][0099]
其中r1,g1,b1为某像素点的三通道颜色值，r2,g2,b2为相邻像素点的三通道颜色值，arccos表示反余弦函数，angle为两像素点的颜色矢量夹角。
[0100]
在得到颜色矢量夹角后对其量化过程为：
[0101][0102]
其中angle表示颜色矢量角的大小，i为对应的量化值。
[0103]
归一化过程表示：
[0104][0105]
其中v＝[v1,v2,
…
,v
180
]，v
i
表示量化值i出现的统计次数。
[0106]
步骤二四：将64维的surf(speeded
‑
up robust features)局部区域描述子v
surf
与180维的颜色矢量角特征向量v
cva
进行串行融合。具体可表示为：
[0107]
v＝[v
surf
,v
cva
]
[0108]
优选实施例中，如图6所示，本实施方式的步骤三，具体为：
[0109]
将训练集里所有提取的局部区域特征，随机选取k个局部区域特征作为初始类型，再用kmeans算法进行迭代修正，直到误差小于阈值，得到最终k个聚类类心，即k个词向量。
[0110]
优选实施例中，本实施方式中，步骤四包括：
[0111]
步骤四一：对每个局部区域特征分别与词包内所有的词特征向量进行欧氏距离的计算，距离越小表明与对应词越相似，视该局部区域特征为距离最小的词，将每个局部区域特征编码为距离最小的词，得到编码好的局部区域特征。
[0112]
步骤四二：按照对角同心矩空间模型，如图7所示，给图像划定空间区域，给图像划定空间区域，统计整张图像内每类词的出现次数以及在给定子区域每类词出现次数，其中词的位置指的是特征点的位置，对得到的统计向量进行归一化处理。假设给图像划分为n部分则得到k*(n+1)维的空间词频特征向量f＝[f0,f1,...,fn]。其中，f0表示在整个图像范围而不考虑子空间范围得到的词频统计特征，它是k维的向量；f1,...,fn表示在划定的不同子空间内得到的词频统计特征，它们也是k维的向量。
[0113]
步骤四三：对最后的特征使用主成分分析(principal compeonent analysis,pca)方法进行降维，用以降低空间表示的词包特征维数过大的缺点，减少计算算力和计算时间。
[0114]
优选实施例中，本实施方式的步骤五中，将统计得到的特征词出现概率作为特征向量和svm(support vector machine)分类算法来对商品图像分类，并利用在不同数量的类心之下分析词的数量对分类的影响、不采用颜色矢量角特征的情况下的分类效果和不进行对图像划分空间下的分类精度进行比较，得出分类结果是否正确的步骤为：
[0115]
步骤五一、使用svm(support vector machine)多分类算法对归一化并降维的特征向量进行商品图像分类；
[0116]
步骤五二：再利用平均准确率(map)结果进行评价，其中：
[0117][0118]
需说明的是，本实施方式基于多尺度视觉词包模型的系统框架，针对商品图像的特点对以往的视觉词包特征的提取过程进行四个部分的修改，四个部分分别为：特征点提取及尺度设定、原surf(speeded
‑
up robust features)区域特征与颜色矢量角特征串行融合、对角同心矩空间模型和基于主成分分析(principal compeonent analysis,pca)的特征降维。本实施方式的方法过程是用设置好的计算机执行程序对商品图像进行分类，目的是提高商品图像分类的工作效率节省人力资源。
[0119]
在只改变特征点提取及区域选择方式且不采用空间模型表示方式上，随着词典里词数量的增加分类效果也有成正比的效果，词数趋于1000时接近分类极限，此时分类效果本文修改方法的分类效果为87.12％，比基于原始surf和原始sift的视觉词包算法分别提高1％和15.1％。
[0120]
由于基于sift算法的视觉词包算法效果不具有可比性，这里去掉该了基于sift的视觉词典算法。在只加上颜色矢量角统计特征(cva)之后，随着词典里词数量的增加分类效果也有成正比的效果，词数趋于1000时接近分类极限，分类效果达到了86.8％，比原始surf的视觉词包算法提高0.67％，在这基础上加上更改特征点提取及区域选择方式，两种方案改进下分类效果达到了88.23％，比原始surf提高2.1％。
[0121]
在改变特征点提取及区域选择方式和加上颜色矢量角量化统计特征且采用空间模型表示方式上，随着词典里词数量的增加分类效果也有成正比的效果，词数趋于1000时接近分类极限，此时本发明的三种修改方案共同作用下得到效果最佳分类效果为89.77％，
比基于原始surf和spm模型的视觉词包算法提高2.33％。
[0122]
除此之外，还对比了使用其他分类器下的分类效果，结果表明在这三种下svm多分类器下该特征表现最优。
[0123]
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。