通过LOGO识别商品类别的方法、终端以及存储装置与流程

通过logo识别商品类别的方法、终端以及存储装置
技术领域
1.本发明涉及在图像识别领域，尤其涉及一种通过logo识别商品类别的方法、终端以及存储装置。


背景技术：

2.零售领域中，经常会出现某一个品牌下面，包含有各种不同的子品牌，拿玛氏箭牌来说，其旗下有消费者都不陌生的绿箭(doublemint)、m&m、士力架(snickers)、益达(extra)、德芙(dove)、彩虹糖(skittles)，而在每个子品牌中，又存在不同包装的商品，比如条状，盒装，罐装等，这就涉及到需要对商品的不同类别子品牌进行识别。
3.针对该问题，现有的技术方案主要基于纯图片分类来实现；首先收集各个类别的商品的数据，然后进行数据类别标注，然后利用深度学习中的分类模型进行训练，得到一个可识别的分类模型；该技术方案，应该来说是最一般也是最直接的办法，但是缺点也很明显：1)由于同属一个品牌，故不同类别商品之间外观极为相似，难以区分；2)想要对所有类别商品的所有包装都进行识别，必然需要对所有新上市的新品进行建模，而这实际建模中，由于建模周期长，人力成本高，新品挖掘的难度高，并不能做到高效识别建模；3)货架背景杂乱复杂，容易导致非本品牌的相似商品的误识别；4)场景复杂，容易受到头牌，货架层条等posm(point of sales materials，辅助销售物料)的干扰，导致识别准确率降低。


技术实现要素：

4.为了克服现有技术的不足，本发明提出一种通过logo识别商品类别的方法、终端以及存储装置，通过场景检测模型识别获取同一品牌商品的陈列区域，并通过训练后的posm检测模型、logo识别模型得到该陈列区域中posm的位置、logo的位置，进而根据该位置去除posm中的logo，从而根据未去除的logo识别商品的类别，能够通过logo识别的方式，区分同一品牌中不同类别的商品，避免了需要对商品包装进行识别的问题，降低了建模难度和人力成本，并且通过场景检测的方式有效去除背景干扰，减少了误识别，且不容易被辅助销售物料干扰，提高了识别准确率。
5.为解决上述问题，本发明采用的一个技术方案为：一种通过logo识别商品类别的方法，所述通过logo识别商品类别的方法包括：s101：通过场景检测模型检测商品陈列区域，根据所述商品陈列区域获取待检测商品的陈列区域，所述商品陈列区域为不同品牌商品的商品陈列区域；s102：分别训练posm检测模型、logo识别模型，并通过所述posm检测模型、logo识别模型获取所述陈列区域中posm的位置、logo的位置、类别；s103：根据所述posm的位置、logo的位置去除所述posm中的logo，并获取所述陈列区域中未去除的logo对应的类别。
6.进一步地，所述通过场景检测模型检测商品陈列区域的步骤具体包括：获取商品的陈列图像，对所述陈列图像进行预处理，并将预处理后的陈列图像输入所述场景检测模型，获取所述商品陈列区域的位置信息以及类别标签信息。
7.进一步地，所述根据所述商品陈列区域获取待检测商品的陈列区域的步骤具体包括：获取所述待检测商品的品牌，根据所述品牌获取所述陈列区域。
8.进一步地，所述分别训练posm检测模型、logo识别模型的步骤具体包括：分别采集包括posm的第一图片、包括logo的第二图片，对所述第一图片、第二图片进行预处理，并将预处理后的第一图片输入posm检测网络进行训练，将预处理后的第二图片输入logo检测网络进行训练；分别对训练形成的posm检测模型、logo识别模型进行参数调节和优化直至模型收敛。
9.进一步地，所述预处理包括图片缩放、图片外扩、图片归一化中的至少一种。
10.进一步地，所述场景检测模型、posm检测模型、logo识别模型使用的检测网络包括cascade rcnn，faster rcnn，yolo中的至少一种。
11.进一步地，所述根据所述posm的位置、logo的位置去除所述posm中的logo的步骤具体包括：根据所述posm的位置、logo的位置获取与所述posm的位置重叠的logo，并除去所述logo。
12.进一步地，通过所述logo识别模型获取所述陈列区域中logo的位置、类别的步骤具体包括：对所述陈列区域的图像进行预处理，通过训练后的logo识别模型对预处理后的图像进行logo位置、类别的识别处理，根据所述识别处理的结果获取logo的位置、类别。
13.基于相同的发明构思，本发明还提出一种智能终端，所述智能终端包括处理器、存储器，所述存储器存储有计算机程序，所述计算机程序被用于执行如上所述的通过logo识别商品类别的方法。
14.基于相同的发明构思，本发明又提出一种存储装置，所述存储装置存储有程序数据，所述程序数据被用于执行如上所述的通过logo识别商品类别的方法。
15.相比现有技术，本发明的有益效果在于：通过场景检测模型识别获取同一品牌商品的陈列区域，并通过训练后的posm检测模型、logo识别模型得到该陈列区域中posm的位置、logo的位置，进而根据该位置去除posm中的logo，从而根据未去除的logo识别商品的类别，能够通过logo识别的方式，区分同一品牌中不同类别的商品，避免了需要对商品包装进行识别的问题，降低了建模难度和人力成本，并且通过场景检测的方式有效去除背景干扰，减少了误识别，且不容易被辅助销售物料干扰，提高了识别准确率。
附图说明
16.图1为本发明通过logo识别商品类别的方法一实施例的流程图；
17.图2为本发明通过logo识别商品类别的方法另一实施例的流程图；
18.图3为本发明通过logo识别商品类别的方法中场景检测模型训练和场景检测一实施例的流程图；
19.图4为本发明通过logo识别商品类别的方法中posm检测模型训练和检测posm一实施例的流程图；
20.图5为本发明通过logo识别商品类别的方法中logo检测模型训练和识别logo一实施例的流程图；
21.图6为本发明智能终端一实施例的结构图；
22.图7为本发明存储装置一实施例的结构图。
具体实施方式
23.下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
24.请参阅图1
‑
5，图1为本发明通过logo识别商品类别的方法一实施例的流程图；图2为本发明通过logo识别商品类别的方法另一实施例的流程图；图3为本发明通过logo识别商品类别的方法中场景检测模型训练和场景检测一实施例的流程图；图4为本发明通过logo识别商品类别的方法中posm检测模型训练和检测posm一实施例的流程图；图5为本发明通过logo识别商品类别的方法中logo检测模型训练和识别logo一实施例的流程图。结合图1
‑
5对本发明通过logo识别商品类别的方法进行详细说明。
25.本发明就同品牌商品的不同子类别难以区分，建模周期长，建模范围难以全覆盖，背景杂乱复杂容易误识别，场景复杂易受到posm干扰等问题，提出了基于场景检测和logo(logotype，商标)识别的方式来解决上述问题。该方案主要分以下几个阶段：第一阶段场景检测；第二阶段去除背景；第三阶段posm检测；第四阶段logo检测识别；第五阶段去除posm中的logo；第六阶段输出要识别的商品的类别信息。
26.具体的，通过logo识别商品类别的方法包括：
27.s101：通过场景检测模型检测商品陈列区域，根据商品陈列区域获取待检测商品的陈列区域，商品陈列区域为不同品牌商品的商品陈列区域。
28.在本实施例中，用于识别的商品以二次陈列的方式摆放在货架、柜台等区域，其中，相同品牌的商品放置在一起。
29.在本实施例中，通过场景检测模型检测商品陈列区域的步骤具体包括：获取商品的陈列图像，对陈列图像进行预处理，并将预处理后的陈列图像输入场景检测模型，获取所商品陈列区域的位置信息以及类别标签信息。
30.在本实施例中，类别标签信息包括堆头、端架、澳洲架等陈列区域类别。
31.在本实施例中，预处理的步骤包括图片缩放、图片外扩、图片归一化以及其他预处理方式。通过预处理的方式得到尺寸一致且能够被场景检测模式处理的图像。
32.在一个具体的实施例中，陈列图像为拍摄的商品的货架图像，对拍摄的货架图像，进行预处理，主要包括图片缩放，图片外扩，图片归一化等。将预处理后的货架图像送入已训练好的场景检测模型，检测不同品牌商品的陈列区域和类别标签。
33.在本实施例中，训练场景检测模型的步骤包括：图像数据采集(采集包括不同品牌商品陈列图像的图像，如货架大图)，对图像数据进行预处理(归一化、数据增强等)，将预处理后的图像输入预训练检测网络，进行模型训练。并在模型训练时进行模型调优直至模型收敛，将收敛后的最优模型作为模型检测模型并导出，用户商品识别的陈列图像输入场景检测模型，获取不同品牌商品的商品陈列区域(场景框位置信息)即类别信息。
34.在本实施例中，根据商品陈列区域获取待检测商品的陈列区域的步骤具体包括：获取待检测商品的品牌，根据品牌获取待检测商品的陈列区域。其中，场景检测模型以场景检测框的方式标注不同品牌商品的商品陈列区域，通过场景检测框获取本品牌商品的商品陈列区域，并根据场景检测框四角的坐标信息得到待检测商品的陈列区域的位置信息。
35.s102：分别训练posm检测模型、logo识别模型，并通过posm检测模型、logo识别模
型获取陈列区域中posm的位置、logo的位置、类别。
36.在本实施例中，分别训练posm检测模型、logo识别模型的步骤具体包括：分别采集包括posm的第一图片、包括logo的第二图片，对第一图片、第二图片进行预处理，并将预处理后的第一图片输入posm检测网络进行训练，将预处理后的第二图片输入logo检测网络进行训练；分别对训练形成的posm检测模型、logo识别模型进行参数调节和优化直至模型收敛。其中，第二图片的logo包括同一品牌商品中不同子品牌的logo。
37.在本实施例中，预处理的方式与上文场景检测模型检测商品陈列区域中预处理的方式相同，均包括图片缩放、图片外扩、图片归一化中的至少一种。
38.在本实施例中，场景检测模型、posm检测模型、logo识别模型使用的检测网络包括cascade rcnn，faster rcnn，yolo算法中的至少一种。
39.在本实施例中，通过posm检测模型获取posm的位置信息的步骤包括：获取待检测商品的陈列区域，对该区域进行图片预处理，主要包括图片缩放，图片外扩，图片归一化等；将预处理后的图片，送入已训练好的posm检测模型，进行posm位置信息的检测；输出陈列区域中posm的位置信息。
40.在本实施例中，通过logo识别模型获取陈列区域中logo的位置、类别的步骤具体包括：对陈列区域的图像进行预处理，通过训练后的logo识别模型对预处理后的图像进行logo位置、类别的识别处理，根据识别处理的结果获取logo的位置、类别。
41.s103：根据posm的位置、logo的位置去除posm中的logo，并获取陈列区域中未去除的logo对应的类别。
42.在本实施例中，根据posm的位置、logo的位置去除posm中的logo的步骤具体包括：根据posm的位置、logo的位置获取与posm的位置重叠的logo，并除去该logo。
43.在取出posm中的logo后，将陈列区域中剩余的logo对应的商品类别作为陈列区域中商品的类别(商品所属的品牌、子品牌信息)。
44.与现有的技术方案相比，本发明技术方案具有相当明显的优点，主要体现在：
45.1)无须对所有新品都建模，即可达到商品识别全覆盖，省时省力，节约成本，该方案在识别过程中，不需要对所有商品包装进行分类识别，毕竟挖掘需要时间成本和人力成本，只需要对商品中的logo进行识别，即可实现本品以及本品不同系列，不同包装进行识别，并且该方案中所有模型可复用，如场景检测模型，posm检测模型，logo检测模型，不需要多次标注数据进行迭代，节约人力成本；
46.2)识别准确率高，该方案通过场景检测模型以及posm检测模型，对无关背景，干扰背景进行有效滤除，高效解决了现有方案中背景中高相似非本品商品的误识别(对于要识别的目标类来说，非本品尤其是外观极为相似的非本品sku属于干扰背景，利用场景检测可以有效去除这一背景干扰)，以及posm中logo的干扰；
47.3)多场景复用，通用性强，本发明中的实现方案，不受场景复杂性的局限和影响，可适配多个不同场景，均能达到很高的识别准确率。
48.基于相同的发明构思，本发明还提出一种智能终端，请参阅图6，图6为本发明智能终端一实施例的结构图，结合图6对本发明的智能终端进行说明。
49.在本实施例中，智能终端包括：处理器、存储器，处理器与存储器通信连接，存储器存储有计算机程序，处理器通过计算机程序执行如上述实施例所述的通过logo识别商品类
别的方法。
50.有益效果：本发明的智能终端通过场景检测模型识别获取同一品牌商品的陈列区域，并通过训练后的posm检测模型、logo识别模型得到该陈列区域中posm的位置、logo的位置，进而根据该位置去除posm中的logo，从而根据未去除的logo识别商品的类别，能够通过logo识别的方式，区分同一品牌中不同类别的商品，避免了需要对商品包装进行识别的问题，降低了建模难度和人力成本，并且通过场景检测的方式有效去除背景干扰，减少了误识别，且不容易被辅助销售物料干扰，提高了识别准确率。
51.基于相同的发明构思，本发明又提出一种存储装置，请查阅图7，图7为本发明存储装置一实施例的结构图。结合图7对本发明的存储装置进行说明。
52.在本实施例中，存储装置存储有程序数据，程序数据被用于执行如上述实施例所述的通过logo识别商品类别的方法。
53.在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其他的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其他的形式。
54.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
55.所述集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的程序数据可存储于一计算机可读存储介质中，该计算机程序在被执行时，可实现上述各个方法实施例的步骤。其中，所述程序数据包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
56.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
57.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一
致的最宽的范围。