零售关键业绩指标生成方法、系统、设备及存储介质与流程

本发明涉及新零售技术，具体地，涉及一种零售关键业绩指标生成方法、系统、设备及存储介质。

背景技术：

在零售行业，需要统计一些关键业绩指标，从而便于商家制定合适的营销策略。但是关键业绩指标的统计，需要花费大量的人力进行货架和冰箱上摆放的货物进行统计。

如商家经常在商场、地铁、火车站等公共场所租赁一些冰箱进行一些商品的售卖。如一些可乐公司在公共场所租赁冰箱进行瓶装或罐装客户的售卖。但是这些冰箱的数量较多，分布极为广泛。因此，商家很难安排人力去查看每个冰箱、每个冰箱中商品的布置以及冰箱中商品的布置情况。此外在很多商场中的货架上，由于数量较多，且每一货架上的摆放的商品数量极多，因此当通过人工进行商品数量的统计时，不仅工作量较多，而且也容易统计错误。

随着人工智能技术的发展，尤其是深度学习方法的出现，使图像识别开始具有实用化的价值。因此，可以从人工智能方面，上述技术问题提出一种解决方案。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种零售关键业绩指标生成方法、系统、设备及存储介质。

根据本发明提供的零售关键业绩指标生成方法，包括如下步骤：

步骤s1：对采集到的一图像通过预设的层列识别模型进行识别，以识别出所述图像上的每一层列对应的层列区域；

步骤s2：识别出每一层列上每个商品对应的商品区域和待存放商品的待存放区域，进而根据一所述商品区域的面积计算所述待存放区域的存储空间；

步骤s3：根据所述商品区域的数量和所述待存放区域的存储空间生成关键业绩指标，所述关键业绩指标至少包括商品容纳量。

优选地，所述步骤s1包括如下步骤：

步骤s101：获取多张用于层列识别的第一训练图像，对每一所述第一训练图像根据层列分割为多张第二训练图像；

步骤s102：通过所述第二训练图像训练生成所述层列识别模型；

步骤s103：通过所述层列识别模型对每一图像进行识别，识别出所述图像上的每一层列对应的层列区域。

优选地，在所述步骤s2和所述步骤s3之间还包括如下步骤：

步骤m1：选择一层列区域，以该层列的上侧边确定参考线l1，下侧边确定参考线l2；

步骤m2：以所述图像的左侧边确定参考线l3，所述参考线l3与所述参考线l1、所述参考线l2分别交于(x1,y1)点、(x4,y4)点，以所述图像的右侧边确定与所述参考线l3平行的参考线l4，所述参考线l4与所述参考线l1、所述参考线l2分别交于(x2,y2)点、(x3,y3)点；

步骤m3：将调整所述参考线l1、l2、l3、l4，使得l2⊥l3，l1||l2，从而所述参考线l3与参考线l1的交点(x1,y1)变为(x1,y1)′，所述参考线l3与参考线l2的交点(x4,y4)变为(x4,y4)′，所述参考线l4与参考线l1的交点(x3,y3)变为(x3,y3)′，所述参考线l4与参考线l1的交点(x2,y2)变为(x2,y2)′，所述参考线l4与参考线l2的交点(x3,y3)变为(x3,y3)′；

步骤m4：根据(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)，(x1,y1)′，(x2,y2)′，(x3,y3)′，(x4,y4)′求得透视变换矩阵h，进而根据所述透视变换矩阵h对所述图像进行矫正。

优选地，所述步骤s2包括如下步骤：

步骤s201：识别出每一层列上每个商品对应的商品区域和待存放商品的待存放区域；

步骤s202：按照从左至右的次序依次求出相邻商品区域之间的面积比例系数，根据多个所述面积比例系数平均值生成面积比例平均系数；

步骤s203：根据每一所述待存放区域的左侧相邻的一商品区域的面积和所述面积比例平均系数依次计算出所述待存放区域的存储空间。

优选地，在步骤s3中，所述关键业绩指标还包括空置率、纯净度以及排面率；

所述商品容纳量通过如下方式计算：

将每一商品区域作为一存储空间；

累加每个所述存放位区域的存储空间和每个商品区域的存储空间生成所述图像上冰箱或货架的存储容量；

所述空置率通过如下方式计算：

根据累加的每个所述存放位区域的存储空间与商品容纳量的比值生成所述空置率；

所述纯净度通过如下方式计算：

在所述图像中将设定类型商品和设定类型商品中的目标品牌商品识别出，并进而确定该设定类型商品数量和所述目标品牌商品数量；

根据所述目标品牌商品数量与所述类型的商品数量的比值生成所述纯净度；

所述排面率通过如下方式计算：

根据多张图像中计算出设定类型中的目标品牌商品数量与多张图像中计算出的设定类型的商品数量的比值生成所述排面率。

优选地，所述步骤s3之后还包括如下步骤：

当所述图像为冰箱图像时，当识别出多个沿水平方向依次排列的层列时，则确定所述冰箱为多门冰箱。

优选地，所述商品区域和所述待存放区域通过如下步骤识别出：

步骤n1：获取多组用于商品区域识别的第三训练图像，每组第三训练图像均包括多张目标商品图像，利用多组所述训练图像建立商品识别模型；

步骤n2：获取所述图像，通过所述商品识别模型识别出所述图像上的商品区域；

步骤n3：计算相邻商品区域的间隔面积，当所述间隔面积大于设置的商品面积阈值时，则判断该相邻商品区域之间存在待存放区域。

本发明提供的零售关键业绩指标生成系统，用于实现所述的零售关键业绩指标生成方法，包括：

层列识别模块，用于对采集到的一图像通过预设的层列识别模型进行识别，以识别出所述图像上的每一层列；

存储空间生成模块，用于识别出每一层列上每个商品对应的商品区域和待存放商品的待存放区域，进而根据所述商品区域的面积计算所述待存放区域的存储空间；

关键业绩指标生成模块，用于根据所述商品区域和所述待存放区域生成关键业绩指标，所述关键业绩指标所述至少包括商品容纳量。

本发明提供的零售关键业绩指标生成设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行所述零售关键业绩指标生成方法的步骤。

本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述零售关键业绩指标生成方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

本发明中在对商品区域和待存放区域进行识别之前，先对每一图像上进行层列区域识别，以识别出每一层列，进而对每一层列中商品区域和待存放区域进行识别，从而提供了商品区域和待存放区域的识别准确度，提高了零售行业关键业绩指标，如商品容纳量的计算准确度；

本发明先对每一图像上进行层列区域识别时，能够识别出图像中货架或冰箱的层数，进而对每一层列中商品区域进行识别，从而每一商品区域对应的层列；此外当所述图像为冰箱图像时，能够避免将冰箱的玻璃门上反射的商品被识别出，混入零售行业关键业绩的统计数据中，当所述图像为货架图像时，也能够避免所述货架外的商品被识别出，混入零售行业关键业绩的统计数据中。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明中零售关键业绩指标生成方法的步骤流程图；

图2为本发明中层列区域识别的步骤流程图；

图3为本发明中对对识别后的图像进行矫正的步骤流程图；

图4为本发明中图像进行矫正的原理示意图；

图5为本发明中待存放区域的存储空间的计算步骤流程图；

图6为本发明中待存放区域判定的步骤流程图；

图7为本发明中零售关键业绩指标生成系统的模块示意图；

图8为本发明中零售关键业绩指标生成设备的结构示意图；以及

图9为本发明中计算机可读存储介质的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

图1为本发明中零售关键业绩指标生成方法的步骤流程图，如图1所示，本发明提供的零售关键业绩指标生成方法，包括如下步骤：

步骤s1：对采集到的一图像通过预设的层列识别模型进行识别，以识别出所述图像上的每一层列对应的层列区域；

步骤s2：识别出每一层列上每个商品对应的商品区域和待存放商品的待存放区域，进而根据一所述商品区域的面积计算所述待存放区域的存储空间；

步骤s3：根据所述商品区域的数量和所述待存放区域的存储空间生成关键业绩指标，所述关键业绩指标至少包括商品容纳量。

在本实施例中，本发明中在对商品区域和待存放区域进行识别之前，先对每一图像上进行层列区域识别，以识别出每一层列，进而对每一层列中商品区域和待存放区域进行识别，从而提供了商品区域和待存放区域的识别准确度，提高了零售行业关键业绩指标，如商品容纳量的计算准确度。本发明能够适应多种图像中商品区域和待存放区域的识别，如拍摄角度偏斜的图像。

在本实施例中，本发明先对每一图像上进行层列区域识别时，能够识别出图像中货架或冰箱的层数，进而对每一层列中商品区域进行识别，从而每一商品区域对应的层列；此外当所述图像为冰箱图像时，能够避免将冰箱的玻璃门上反射的商品被识别出，混入零售行业关键业绩的统计数据中，当所述图像为货架图像时，也能够避免所述货架外的商品被识别出，混入零售行业关键业绩的统计数据中。

在本实施例中，根据识别出的多个层列区域计算每个的层列区域面积，生成层列区域面积的平均值，进而能够将小于所述层列区域面积的平均值二分之一的层列区域排除，从而将图像拍摄倾斜时引入的非目标货架上的商品区域排除掉。

在本实施例中，所述图像为冰箱图像或货架图像，所述层列区域为冰箱上的每一层区域或货架的每一层区域。所述商品容纳量为一冰箱能够容纳的商品数量，或一货架能够容纳的商品数量。

在本实施例中，所述图像通过手机、摄像头、装载摄像头的机器人或无人机等拍摄。

图2为本发明中层列区域识别的步骤流程图，如图2所示，所述步骤s1包括如下步骤：

步骤s101：获取多张用于层列识别的第一训练图像，对每一所述第一训练图像根据层列分割为多张第二训练图像；

步骤s102：通过所述第二训练图像训练生成所述层列识别模型；

步骤s103：通过所述层列识别模型对每一图像进行识别，识别出所述图像上的每一层列对应的层列区域。

即在本实施例中，通过将采集到的冰箱或货架的图像进行分割，形成多种仅具有冰箱一层列或货架一层列的图像形成所述第二训练图像。

在步骤s101，将第一训练图像中将层列用多边形标记处，实现对所述第一训练图像的分割，生成所述第二训练图像。如将一货架图像由于拍摄倾斜，可以才用五边形的标记处。

图3为本发明中对对识别后的图像进行矫正的步骤流程图，如图3所示，在所述步骤s2和所述步骤s3之间还包括如下步骤：

步骤m1：选择一层列区域，以该层列的上侧边确定参考线l1，下侧边确定参考线l2；

步骤m2：以所述图像的左侧边确定参考线l3，所述参考线l3与所述参考线l1、所述参考线l2分别交于(x1,y1)点、(x4,y4)点，以所述图像的右侧边确定与所述参考线l3平行的参考线l4，所述参考线l4与所述参考线l1、所述参考线l2分别交于(x2,y2)点、(x3,y3)点；

步骤m3：将调整所述参考线l1、l2、l3、l4，使得l2⊥l3，l1||l2，从而所述参考线l3与参考线l1的交点(x1,y1)变为(x1,y1)′，所述参考线l3与参考线l2的交点(x4,y4)变为(x4,y4)′，所述参考线l4与参考线l1的交点(x3,y3)变为(x3,y3)′，所述参考线l4与参考线l1的交点(x2,y2)变为(x2,y2)′，所述参考线l4与参考线l2的交点(x3,y3)变为(x3,y3)′；

步骤m4：根据(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)，(x1,y1)′，(x2,y2)′，(x3,y3)′，(x4,y4)′求得透视变换矩阵h，进而根据所述透视变换矩阵h对所述图像进行矫正。

在本实施例中，当步骤s3之前对所述图像进行矫正，使得所述图像中的商品区域之间的面积大小差距，从而提高了通过图像区域对待存放区域的存储空间的估算正确度。

图4为本发明中图像进行矫正的原理示意图，如图4所示，设矫正后图像f0有l′1,l′2，l′3,l′4，且l′1||l′2,l′3||l′4,l′2⊥l′3经透视变换后变成图像f，即将图像f中的l1,l2，l3，l4和f0中的l′1,l′2,l′3,l′4分别看作对应平面上的点集合，即有l′1＝hl1,f0＝hf,h为变换矩阵。因此已知四对匹配点(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)，(x1,y1)′，(x2,y2)′，(x3,y3)′，(x4,y4)′，便可求出h，进一步的求得f0。

图5为本发明中待存放区域的存储空间的计算步骤流程图，如图5所示，所述步骤s2包括如下步骤：

步骤s201：识别出每一层列上每个商品对应的商品区域和待存放商品的待存放区域；

步骤s202：按照从左至右的次序依次求出相邻商品区域之间的面积比例系数，根据多个所述面积比例系数平均值生成面积比例平均系数；

步骤s203：根据每一所述待存放区域的左侧相邻的一商品区域的面积和所述面积比例平均系数依次计算出所述待存放区域的存储空间。

在本实施例中，由于图像采集时存在一定的角度，因此同一商品对应的商品区域面积并不相同，而是呈一定的比例进行放大或缩小。本实施例中，通过从左到右次序依次求出相邻商品区域之间的面积比例系统，进而根据述面积比例系数平均值生成面积比例平均系数，进而根据所述面积比例平均系数和待存放区域左侧的商品区域推算出待存放区域的存储空间。

在变形例中，还可以通过将通过待存放区域左侧的商品区域推算出待存放区域的存储空间和通过待存放区域右侧的商品区域推算出待存放区域的存储空间之间的平均值作为所述待存放区域的最终存储空间。

在本实施例中，在步骤s3中，所述关键业绩指标还包括空置率、纯净度以及排面率；

所述商品容纳量通过如下方式计算：

将每一商品区域作为一存储空间；

累加每个所述存放位区域的存储空间和每个商品区域的存储空间生成所述图像上冰箱或货架的存储容量；

所述空置率通过如下方式计算：

根据累加的每个所述存放位区域的存储空间与商品容纳量的比值生成所述空置率；

所述纯净度通过如下方式计算：

在所述图像中将设定类型商品和设定类型商品中的目标品牌商品识别出，并进而确定该设定类型商品数量和所述目标品牌商品数量；

根据所述目标品牌商品数量与所述类型的商品数量的比值生成所述纯净度；

所述排面率(sovi)通过如下方式计算：

根据多张图像中计算出设定类型中的目标品牌商品数量与多张图像中计算出的设定类型的商品数量的比值生成所述排面率。

在本实施例中，所述步骤s3之后还包括如下步骤：

当所述图像为冰箱图像时，当识别出多个沿水平方向依次排列的层列时，则确定所述冰箱为多门冰箱。

如当所述冰箱为双门冰箱时，当对所述冰箱的图像进行识别时，能够识别出沿水平方向依次排列的两个层列区域，即能够判断出该图像中的冰箱为双门冰箱。

图6为本发明中零售关键业绩指标生成系统的模块示意图，如图6所示，所述商品区域和所述待存放区域通过如下步骤识别出：

步骤n1：获取多组用于商品区域识别的第三训练图像，每组第三训练图像均包括多张目标商品图像，利用多组所述训练图像建立商品识别模型；

步骤n2：获取所述图像，通过所述商品识别模型识别出所述图像上的商品区域；

步骤n3：计算相邻商品区域的间隔面积，当所述间隔面积大于设置的商品面积阈值时，则判断该相邻商品区域之间存在待存放区域。

在本实施例中，所述商品面积阈值为相邻商品区域的面积平均值。在变形例中，可以根据经验值对所述商品面积阈值进行设置。

在本实施例中，所述商品识别模型和所述层列识别模型采用卷积神经网络结构，在深度学习框架下进行训练得到。

图7为本发明中零售关键业绩指标生成设备的结构示意图，如图7所示，本发明提供的零售关键业绩指标生成系统，用于实现所述的零售关键业绩指标生成方法，其包括：

层列识别模块，用于对采集到的一图像通过预设的层列识别模型进行识别，以识别出所述图像上的每一层列；

存储空间生成模块，用于识别出每一层列上每个商品对应的商品区域和待存放商品的待存放区域，进而根据所述商品区域的面积计算所述待存放区域的存储空间；

关键业绩指标生成模块，用于根据所述商品区域和所述待存放区域生成关键业绩指标，所述关键业绩指标所述至少包括商品容纳量。

本发明实施例中还提供一种零售关键业绩指标生成设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的零售关键业绩指标生成方法的步骤。

如上，该实施例中通过对商品区域和待存放区域进行识别之前，先对每一图像上进行层列区域识别，以识别出每一层列，进而对每一层列中商品区域和待存放区域进行识别，从而提供了商品区域和待存放区域的识别准确度，提高了零售行业关键业绩指标，如商品容纳量的计算准确度。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

图8是本发明的零售关键业绩指标生成设备的结构示意图。下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图8中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。

本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的零售关键业绩指标生成方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，该实施例的计算机可读存储介质的程序在执行时，本发明中在对商品区域和待存放区域进行识别之前，先对每一图像上进行层列区域识别，以识别出每一层列，进而对每一层列中商品区域和待存放区域进行识别，从而提供了商品区域和待存放区域的识别准确度，提高了零售行业关键业绩指标，如商品容纳量的计算准确度。

图9是本发明的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

在本实施例中，本发明中在对商品区域和待存放区域进行识别之前，先对每一图像上进行层列区域识别，以识别出每一层列，进而对每一层列中商品区域和待存放区域进行识别，从而提供了商品区域和待存放区域的识别准确度，提高了零售行业关键业绩指标，如商品容纳量的计算准确度。本发明先对每一图像上进行层列区域识别时，能够识别出图像中货架或冰箱的层数，进而对每一层列中商品区域进行识别，从而每一商品区域对应的层列；此外当所述图像为冰箱图像时，能够避免将冰箱的玻璃门上反射的商品被识别出，混入零售行业关键业绩的统计数据中，当所述图像为货架图像时，也能够避免所述货架外的商品被识别出，混入零售行业关键业绩的统计数据中。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。