一种细粒度图像分类方法、系统、装置和存储介质与流程

本发明涉及图像数据处理领域，尤其涉及一种细粒度图像分类方法、系统、装置和存储介质。

背景技术：

基于图像识别和目标检测算法的商品识别技术，在新零售、无人商店领域具有很大应用潜力。例如：通过商品识别，可以在顾客选取商品时自动进行记录，配合移动支付手段，可以不用在出口处排队进行支付，从而提升商超运营效率。但通用的目标检测算法，更加侧重于依赖形状、纹理、颜色等内容进行检测，而对于常见的商品包装中，在同一品类下的各种商品的区分中，往往其外形规律性非常强(往往是长方体、圆柱体等)，只能依赖局部内容差异来区分，因此这些算法往往效果不佳。

技术实现要素：

为了解决上述技术问题之一，本发明的目的是提供一种识别分类效果更佳加的细粒度图像分类方法、系统、装置和存储介质。

本发明所采用的第一技术方案是：

一种细粒度图像分类方法，包括以下步骤：

获取待分类的图像信息；

将图像信息输入采用局部区域进行训练的识别模型进行细粒度识别后，输出识别分类结果。

进一步，还包括建立识别模型的步骤，所述建立识别模型的步骤具体包括以下步骤：

获取输入图像，提取输入图像的图像局部区域；

对图像局部区域进行重叠区域检测，并对重叠的图像局部区域进行合并处理；

计算合并后的图像局部区域的图像复杂度，根据计算结果筛选多个图像局部区域；

按照预设的方式对筛选获得的图像局部区进行分组后，获得多个局部图像集；

结合输入图像、局部图像集和预设的损失函数对神经网络进行训练后，获得识别模型。

进一步，所述提取输入图像的图像局部区域这一步骤，具体为：

采用选择性搜索算法提取输入图像的图像局部区域。

进一步，所述对图像局部区域进行重叠区域检测，并对重叠的图像局部区域进行合并处理这一步骤，具体为：

采用交并比方式计算图像局部区域之间的重叠度，并在检测到重叠度大于预设值时，将对应的图像局部区域进行合并处理。

进一步，所述计算合并后的图像局部区域的图像复杂度，根据计算结果筛选多个图像局部区域这一步骤，具体包括以下步骤：

采用图像熵算法计算合并后的图像局部区域的图像复杂度；

根据计算结果对图像局部区域进行排序，并根据排序顺序获取多个图像局部区域。

进一步，所述结合输入图像、局部图像集和预设的损失函数对神经网络进行训练后，获得识别模型这一步骤，具体包括以下步骤：

将输入图像和局部图像集分别输入预设的神经网络中进行特征向量提取，获得多个特征向量；

将获得的特征向量进行拼接，并结合损失函数对神经网络进行训练后，获得识别模型。

进一步，所述损失函数采用交叉熵损失函数。

本发明所采用的第二技术方案是：

一种细粒度图像分类系统，包括：

输入模块，用于获取待分类的图像信息；

识别分类模块，用于将图像信息输入采用局部区域进行训练的识别模型进行细粒度识别后，输出识别分类结果。

本发明所采用的第三技术方案是：

一种细粒度图像分类装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述方法。

本发明所采用的第四技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明采用局部区域进行增强模型训练，使模型更加适应于细粒度识别，当两个商品高度相似时，识别模型更能有效地抓住商品图像中的关键区别信息，从而能够准确地对商品进行识别分类。

附图说明

图1是本发明一种细粒度图像分类方法的步骤流程图；

图2是具体实施例方式中建立识别模型的步骤流程图；

图3是本发明一种细粒度图像分类系统的结构框图。

具体实施方式

如图1所示，本实施例提供了一种细粒度图像分类方法，包括以下步骤：

s1、建立识别模型。

s2、获取待分类的图像信息。

s3、将图像信息输入采用局部区域进行训练的识别模型进行细粒度识别后，输出识别分类结果。

在本实施例中，具体采用了细粒度图像识别技术，通过细粒度图像识别技术，可以增强对图像细节部分的关注，从而实现区分同一大品类商品下的各个子品类识别，例如，同一品牌洗发液下的各个类型，如：去油型与清爽型等等，其图像包装高度相似。但是现有常见的细粒度图像识别方法中，需要通过人工标注物体中容易被算法所识别的图像局部区域，并训练识别模型。采用局部区域进行增强模型训练，使模型更加适应于细粒度识别，当两个商品高度相似时，识别模型更能有效地抓住商品图像中的关键区别信息，从而能够快速准确地对商品进行识别以及分类。其中，所述图像信息包括商品的图片和广告图片等。

参照图2，步骤s1具体包括步骤s11～s15：

s11、获取输入图像，提取输入图像的图像局部区域；

s12、对图像局部区域进行重叠区域检测，并对重叠的图像局部区域进行合并处理；

s13、计算合并后的图像局部区域的图像复杂度，根据计算结果筛选多个图像局部区域；

s14、按照预设的方式对筛选获得的图像局部区进行分组后，获得多个局部图像集；

s15、结合输入图像、局部图像集和预设的损失函数对神经网络进行训练后，获得识别模型。

其中步骤s11具体为：获取输入图像，采用选择性搜索算法提取输入图像的图像局部区域。

现有常见的细粒度图像识别方法中，需要通过人工标注物体中容易被算法所识别的图像局部区域，并训练识别模型。这种方式需要大量人力对样本进行更复杂标注，同时也需要标注人员对算法识别敏感内容有一定了解，这些都大幅度提升了人力成本。本实施例中，采用选择性搜索算法对图像局部区域进行自动提取，有效地避免了人工标注造成的成本上升。

其中步骤s12具体为：采用交并比方式计算图像局部区域之间的重叠度，并在检测到重叠度大于预设值时，将对应的图像局部区域进行合并处理。

步骤s13具体包括步骤a1～a2：

a1、采用图像熵算法计算合并后的图像局部区域的图像复杂度；

a2、根据计算结果对图像局部区域进行排序，并根据排序顺序获取多个图像局部区域。

步骤s15具体包括步骤b1～b2：

b1、将输入图像和局部图像集分别输入预设的神经网络中进行特征向量提取，获得多个特征向量；

b2、将获得的特征向量进行拼接，并结合损失函数对神经网络进行训练后，获得识别模型。所述损失函数采用交叉熵损失函数。

具体实施例

以下结合洗发水商品识别的例子对上述方法进行详细解释说明。

第一步：

在得到一个洗发水图像(即输入图像)输入后，首先使用selectivesearch方法(即选择性搜索算法)对图像进行提取，基于颜色、纹理、空间交叠3个参数，根据综合相似度，提取出若干相关区域。相似度计算采用如下公式1：

s(ri,rj)＝a1scolor(ri,rj)+a2stexture(ri,rj)+a3sfill(ri,rj)(1)

其中，ri、rj分别代表一个备选计算的25像素的图像网格；scolor代表颜色相似度计算函数、stextture代表纹理相似度计算函数、sfill代表空间交叠重合度计算函数；a1、a2、a3标识权重分配，在实施例中，设置a1＝a2＝a3＝1。

第二步：

对保留的图像局部基于重叠区域进行合并。因为selectivesearch方法提取出的区域均为矩形，因此在本实施例中，可以采用opevcv的rect来计算各区域之间的iou(交并比)，并将iou值大于预设值的区域进行合并。基于实践中经验，在本实施例中，选取0.6作为所述预设值。经过合并后，图像区域数量将减少。

第三步：

在获得的图像局部区域中，有些图像局部区域为空白的区域，即该图像区域内，没有包含相应的文字信息或者图标信息等，因此这种图像局部区域没有信息量，对商品的识别不具有价值。可采用一个合理阈值，即信息量更大的样本局部，对后续计算更加有意义。因此，使用图像熵算法计算保留区域图像(即图像局部区域的图像)复杂度，基于计算结果进行排序和过滤，仅保留信息量最高的n个样本局部，n的具体数值，可以在具体应用中进行调整。在本实施例中，设置n＝9，即信息量最高的9个局部区域将被保留，进入下一轮处理。图像熵计算中，我们采用二维图像灰度熵值计算，具体为：η＝∑²⁵⁵i＝0pi,jlogpi，其中i标识当前像素灰度值(0≤i≤255),j表示相邻域灰度值(0≤j≤255)。pi,j＝f(i,j)/n²。

第四步：

单独的图像局部区域进行特征值提取可能丢失样本整体性信息，为解决此问题，同时考虑到在商品图像中，各个特征区域分布几何关系相对固定，因此将多个区域进行组合，形成较大的区分区域。本实施例中，我们采用了基于位置最紧邻原则，将n个图像局部汇集为3个局部集，并保留每个集合内各个局部图像间的几何关系。最紧邻原则中，我们以完整图像左上角为坐标(0，0)，而后计算每个图像区域左上角坐标(xi，yi)，(1≤i≤n)，并基于(xi+yi)值，作为区域排序，将排序中相邻区域进行拼接，组合成3个局部图像集。

第五步：

将输入图像及3组局部区域集图像分别输入4个独立cnn网络进行特征向量提取，并将提取的4个特征向量进行拼接后，导入全连接层并通过交叉熵损失后获得评定模型。在本实施例中，我们采用了vgg16网络进行特征向量提取。为适应vgg网络要求，需要将完整图像及局部区域集图像，调整为224*224*3的图像，归一化过程中保持图像原始比例，不足区域需要进行填充。特征向量提取中，我们选用3x3的卷积核，步幅设置为1，所有池化层参数为2x。在第二个全连接层后，我们可获得一个1*1*4096的特征向量。获得全图特征向量及3组局部特征集向量后，我们将4个特征向量进行拼接，并对拼接后的特征向量采用交叉熵损失进行评定。在本实施例中，我们采用交叉熵损失函数为：l＝log(1+e^-s)。

在具体实践当中，通过上述方法，可将两种洗发液(一种为海飞丝丝质柔滑型，另一种为海飞丝丝清爽去油型，具体两者的外形完全一样，大部分纹理也类似)快速及准确地识别处理，并进行分类显示。

综上所述，本实施例的方法，相对于现有的方法至少具有如下有益效果：

(1)、本实施例方法通过引入局部区域进行增强模型训练，可以进行细粒度识别。

(2)、局部特征采用selectivesearch方法进行自动选取，极大地降低了人工成本。

(3)、依据信息丰富度进行特征区域筛选，并保持特征区域间几何关系约束，极大地提升识别准确性。

(4)、采用较为轻量的vgg16网络实现局部特征增强提取，从而实现快速准确地商品识别。

如图3所示，本实施例还提供了一种细粒度图像分类系统，包括：

输入模块，用于获取待分类的图像信息；

识别分类模块，用于将图像信息输入采用局部区域进行训练的识别模型进行细粒度识别后，输出识别分类结果。

本实施例的一种细粒度图像分类系统，可执行本发明方法实施例所提供的一种细粒度图像分类方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种细粒度图像分类装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述方法。

本实施例的一种细粒度图像分类装置，可执行本发明方法实施例所提供的一种细粒度图像分类方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述方法。

本实施例的一种存储介质，可执行本发明方法实施例所提供的一种细粒度图像分类方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。