基于语义分割网络的自定义标签识别系统及识别方法与流程

本发明涉及图像识别技术领域，具体涉及一种基于语义分割网络的自定义标签识别系统及识别方法。

背景技术：

目前，智能货柜对货柜内商品进行自动订单结算的方法为，首先通过安装在智能货柜中的摄像头采集场景图像，然后依靠预先训练的商品识别模型对场景图像中的目标商品进行识别检测，最后根据增减的目标商品对应的商品信息对购买订单进行自动结算。然而，现有的基于神经网络的商品识别算法对标准商品的识别准确度较高，但对于一些非标类商品，比如形状异常或者商品尺寸异常的商品的识别准确率较低。如果需要提高现有的商品识别算法对非标类商品的识别能力，需要对商品识别模型进行重新训练，但现实情况是，对非标类商品的样本采集难以在短时间内完成，所以也就无法及时对商品识别模型进行更新。

技术实现要素：

本发明的目的在于提供一种基于语义分割网络的自定义标签识别系统、方法，以解决上述技术问题。

为达此目的，本发明采用以下技术方案：

提供一种基于语义分割网络的自定义标签识别系统，用于对智能货柜中的目标商品进行检测和分类，该系统包括：

商品标签标注模块，用于提供给用户对场景图像中的各目标商品图像以及所述场景图像的背景图像进行自定义标签标注，得到各所述目标商品图像及所述场景图像的所述背景图像分别对应的自定义标签；

图像特征提取模块，连接商品标签标注模块，用于提取经标签标注后的所述场景图像的目标图像特征；

模型训练模块，连接所述图像特征提取模块，用于以所述场景图像对应的各特征图以及所述场景图像为训练样本，训练形成一语义分割模型；

场景图像采集模块，用于采集智能货柜开门前后的所述场景图像，所述场景图像中的各所述目标商品对应有一所述自定义标签；

图像识别模块，分别连接所述场景图像采集模块和所述模型训练模块，用于基于所述语义分割模型，对所述智能货柜的柜门开启前采集的第一场景图像进行图像分割识别，得到第一图像分割识别结果；

所述图像识别模块还用于基于所述语义分割模型，对关闭所述智能货柜的所述柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；

分割结果比对模块，连接所述图像识别模块，用于通过比对所述第一图像分割识别结果和所述第二图像分割识别结果，得到所述自定义标签在所述智能货柜的所述柜门开合前后的变化情况；

订单结算模块，连接所述分割结果比对模块，用于根据所述自定义标签的所述变化情况，对买家的购物订单进行结算。

作为本发明的一种优选方案，所述自定义标签识别系统还包括：

图像增强模块，分别连接所述商品标签标注模块和所述图像特征提取模块，用于对经标签标注后的所述场景图像进行图像增强，得到经图像增强后的所述场景图像并输出。

作为本发明的一种优选方案，对所述场景图像进行图像增强的方法包括在经标签标注后的所述场景图像中引入区别于所述目标商品图像的干扰图。

本发明还提供了一种基于语义分割网络的自定义标签识别方法，通过应用所述自定义标签识别系统实现，该方法包括如下步骤：

步骤s1，所述自定义标签识别系统采集所述智能货柜的所述柜门开启前后的所述场景图像；

步骤s2，所述自定义标签识别系统基于预先训练的所述语义分割模型，对开启所述智能货柜的所述柜门前采集的所述第一场景图像进行图像分割识别，得到所述第一图像分割识别结果；

步骤s3，所述自定义标签识别系统基于预先训练的所述语义分割模型，对关闭所述智能货柜的所述柜门后采集的所述第二场景图像进行图像分割识别，得到所述第二图像分割识别结果；

步骤s4，所述自定义标签识别系统通过比对所述第一图像分割识别结果和所述第二图像分割识别结果，得到代表各所述目标商品的所述自定义标签在所述智能货柜的所述柜门开合前后的变化情况；

步骤s5，所述自定义标签识别系统根据所述自定义标签的所述变化情况，对所述买家的所述购物订单进行自动结算。

作为本发明的一种优选方案，所述步骤s2中，训练所述语义分割模型的方法包括如下步骤：

步骤s21，对所述场景图像中的各所述目标商品图像以及所述场景图像的背景图像进行自定义标签标注，得到各所述目标商品图像及所述场景图像的所述背景图像分别对应的自定义标签；

步骤s22，将经标签标注后的所述场景图像作为训练样本输入到一语义分割网络中，训练形成所述语义分割模型。

作为本发明的一种优选方案，将经标签标注后的所述场景图像进行图像增强，并将经图像增强后的所述场景图像作为训练样本以训练所述语义分割模型。

作为本发明的一种优选方案，对所述场景图像进行图像增强的方法包括在经标签标注后的所述场景图像中引入区别于所述目标商品图像的干扰图。

本发明通过为智能货柜内的各个商品赋予自定义标签，然后以经自定义标签标注后的场景图像为训练样本训练形成语义分割模型，最终通过该语义分割模型识别场景图像中的目标商品，解决了现有的商品识别算法无法对非标类商品进行准确分类识别的技术问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例所述的基于语义分割网络的自定义标签识别系统的结构示意图；

图2是本发明一实施例所述的基于语义分割网络的自定义标签识别方法的步骤图；

图3是本发明训练所述语义分割模型的方法步骤图；

图4是输入的场景图像的示意图；

图5是对场景图像进行特征提取后的特征提取结果图；

图6是本发明一实施例所述的自定义标签识别系统对场景图像进行图像分割识别的过程原理图；

图7是经图像增强后的所述场景图像图的示意图；

图8是对特征提取结果图中的目标商品特征进行人工标注的示意图；

图9是本发明一实施例所述的自定义标签识别系统对智能货柜内的商品进行自动结算的流程框图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明一实施例提供的基于语义分割网络的自定义标签识别系统，用于对智能货柜中的目标商品进行检测和分类，请参照图1，该系统包括：

商品标签标注模块1，用于提供给用户对场景图像中的各目标商品图像以及场景图像的背景图像进行自定义标签标注，得到各目标商品图像及场景图像的背景图像分别对应的自定义标签。由于有些商品为非标商品，比如为非标准的商品尺寸或非标准的商品形状，所以现有的商品特征识别算法难以对这些非标商品进行有效识别，为了解决这个问题，本发明引入了标注自定义标签的方法，即对每个非标商品(当然也可以包括标准商品)赋予对应的自定义标签，然后可以通过挂件(比如塑料盒)，将自定义标签包装在商品上，这样拍摄的商品图像中就包含该目标商品对应的自定义标签，本发明通过对场景图像中的自定义标签进行图像识别，然后通过比对智能货柜开门前后的自定义标签的数量变化情况，即可判断识别出智能货柜中的商品的增减情况，以及增减的商品种类，然后系统可基于自定义标签变化情况对买家的购物行为进行订单结算。

请继续参照图1，本发明实施例提供的自定义标签识别系统还包括：

图像特征提取模块2，连接商品标签标注模块1，用于提取经标签标注后的场景图像的目标图像特征；输入的场景图像的示意图请参照图4，对输入的场景图像进行图像特征提取，得到该场景图像对应的各特征图的示意图请参照图5。图5中，各个灰色闭合区域即为目标图像(商品)的特征图。

上述技术方案中，对于场景图像的目标图像特征提取的方法为现有技术，比如可以基于卷积神经网络对场景图像进行目标图像特征提取，并且对于场景图像的目标图像特征提取的过程也并非本发明要求权利保护的范围，所以具体的特征提取过程在此不作阐述。

优选地，请继续参照图1，本实施例提供的自定义标签识别系统还包括：

模型训练模块3，连接图像特征提取模块2，用于以场景图像对应的各特征图以及场景图像为训练样本，训练形成一语义分割模型。后续，系统将基于该语义分割模型对场景图像上的自定义标签进行图像识别，进而识别出目标商品的商品信息(包括图像特征信息和图像分类信息)。

上述技术方案中，为了进一步提升语义识别模型的识别精度，优选地，对场景图像提取的目标商品图像对应的特征图同样进行自定义标签标注，以验证模型识别结果的准确性，然后将人工标注的各特征图和原始输入的场景图像再次输入到训练网络，以更新语义分割模型。对特征图进行人工标注后的示意图请参照图8，图8中，矩形框围合的区域即为目标商品区域。

请继续参照图1，本实施例提供的自定义标签识别系统还包括：

场景图像采集模块4，用于采集智能货柜开门前后的场景图像，场景图像中的各目标商品对应有一自定义标签；

图像识别模块5，分别连接场景图像采集模块4和模型训练模块3，用于基于语义分割模型，对智能货柜的柜门开启前采集的第一场景图像进行图像分割识别，得到第一图像分割识别结果；

图像识别模块还用于基于语义分割模型，对关闭智能货柜的柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；

分割结果比对模块6，连接图像识别模块5，用于通过比对第一图像分割识别结果和第二图像分割识别结果，得到自定义标签在智能货柜的柜门开合前后的变化情况；这里所述的自定义标签的变化情况包括自定义标签的数量变化情况以及增减的自定义标签对应的目标商品的商品特征变化情况。这里的商品特征包括目标商品的形状特征以及商品种类特征。

订单结算模块7，连接分割结果比对模块6，用于根据自定义标签的变化情况，对卖家的购物订单进行结算。比如，当智能货柜柜门开启前后系统比对到第二场景图像中的自定义标签相比第一场景图像中的自定义标签的数量少了一个，系统然后开始分析所减少的该自定义标签对应的目标商品的商品信息，比如商品种类、商品价格，最终系统根据分析的商品信息对买家的购物订单进行自动结算。

上述技术方案中，系统基于语义分割模型，对智能货柜柜门开启前后采集的场景图像进行图像识别，输出的第一图像分割识别结果或第二图像分割识别结果请

为了提高对目标商品的识别精度(本案中主要为提高对自定义标签图像的识别精度)，请继续参照图1，自定义标签识别系统还包括：

图像增强模块8，分别连接商品标签标注模块1和图像特征提取模块2，用于对经标签标注后的场景图像进行图像增强，得到经图像增强后的场景图像并输出，然后系统以增强后的场景图像以及对增强后的场景图像所提取的各特征图为训练样本，训练形成语义分割模型。

优选地，对场景图像进行图像增强的方法包括但不限于在经标签标注后的场景图像中引入区别于目标商品图像的干扰图，比如可以在原始输入的场景图像的背景图像中粘贴其他商品图像块。经图像增强后的场景图像的示意图请参照图7。

请参照图9，本发明实施例提供的自定义标签识别系统对买家的购买订单进行自动结算的过程简述如下：

在买家开启智能货柜的柜门前，智能货柜会自动采集一柜门开启前智能货柜内的第一场景图像，系统然后基于预设的语义分割模型对第一场景图像进行语义分割识别，识别到智能货柜中代表各商品的自定义标签；

当该买家开启智能货柜柜门后，系统将连续采集智能货柜内的第二场景图像，然后同样基于预设的该语义分割模型对第一场景图像进行语义分割识别，识别到智能货柜中代表各商品的自定义标签；

系统然后对第一场景图像和各第二场景图像进行图像比对，当系统判断到对第二场景图像识别得到的第二图像分割识别结果与对第一场景图像识别得到的第一图像分割识别结果不一致时，系统开始分析所增减的自定义标签对应的目标商品的商品信息，然后基于该商品信息对买家的购物订单进行自动结算。

本发明还提供了一种基于语义分割网络的自定义标签识别方法，通过应用上述的自定义标签识别系统实现，请参照图2和图6，该方法包括如下步骤：

步骤s1，自定义标签识别系统采集智能货柜的柜门开启前后的场景图像；

步骤s2，自定义标签识别系统基于预先训练的语义分割模型，对开启智能货柜的柜门前采集的第一场景图像进行图像分割识别，得到一第一图像分割识别结果；

步骤s3，自定义标签识别系统基于预先训练的语义分割模型，对关闭智能货柜的柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；

步骤s4，自定义标签识别系统通过比对第一图像分割识别结果和第二图像分割识别结果，得到代表各目标商品的自定义标签在智能货柜的柜门开合前后的变化情况；

步骤s5，自定义标签识别系统根据自定义标签的变化情况，对买家的购物订单进行自动结算。

上述技术方案中，由于图像特征提取网络输出的特征图的尺寸小于原始输入的场景图像的尺寸，因此需要对各特征图进行图像上采样(upsample)，以得到与原始输入的场景图像同尺寸的特征图，然后通过argmax对特征图上的各像素点对应的分类特征值进行最大分类特征值取值，最终得到图像分割识别结果。

图6中的英文dcnn为深度神经网络，用于提取场景图像的目标商品特征。

请参照图，步骤s2中，训练语义分割模型的方法具体包括如下步骤：

步骤s21，对场景图像中的各目标商品图像以及场景图像的背景图像进行自定义标签标注，得到各目标商品图像及场景图像的背景图像分别对应的自定义标签；

步骤s22，将经标签标注后的场景图像作为训练样本输入到一语义分割网络中，训练形成语义分割模型。

步骤s21中，优选地，将经标签标注后的场景图像进行图像增强，并将经图像增强后的场景图像作为训练样本以训练语义分割模型。

对场景图像进行图像增强的方法包括但不限于在经标签标注后的场景图像中引入区别于目标商品图像的干扰图。

本发明提高了对智能货柜内的目标商品特别是非标商品的识别准确率。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。