一种基于实体店内顾客行为识别的店员派遣系统的制作方法

本发明涉及实体店新零售调度技术，具体涉及一种基于实体店内顾客行为识别的店员派遣系统。

背景技术

传统零售面临着在线零售的强烈竞争，传统线下门店的生存空间受到挤压面临转型的压力。传统线下零售需要变得更加智能和更有效率，并且提高顾客的购物体验，从而跟线上销售达到共生。

目前大型实体店内已有大量的销售人员和店内服务人员，但是缺乏有效的人员调度管理，造成售货人员对顾客的服务带有很大的随机性，浪费了大量的人力成本。售货员和销售人员对顾客的密切注视也会造成顾客购物的不适感。而且由于促销员和店员对每个顾客缺乏了解，上前进行的促销和服务也带有很大的盲目性。另外，实体店也缺乏有效的衡量店员绩效的工具，使得店员积极的工作没有得到有效反馈，管理人员也很难全面衡量一个店员的价值。以上几点造成的传统实体店的效率大大降低，无法有效跟线上的网店和便利店进行竞争。

技术实现要素：

针对现有的实体店存在的问题，本发明提供了一种基于实体店内顾客行为识别的店员派遣系统，使得实体店内的员工可以更加有效的为顾客提供服务。

一种基于实体店内顾客行为识别的店员派遣系统，其特征在于：包括实体店视频采集子系统、顾客事件生成子系统、顾客行为数据库和店员派遣子系统，所述实体店视频采集子系统用于采集实体店内各个部分的视频数据；

所述顾客事件生成子系统包括身份匹配模块、行为识别模块、位置和跟踪模块及顾客事件生成模块，所述身份匹配模块通过人脸检测和识别软件从所述视频数据中识别出顾客的身份信息；所述行为识别模块通过人体关键点检测和行为识别软件从所述视频数据中识别出顾客的行为信息和行为参数信息；所述位置和跟踪模块通过位置识别软件从所述视频数据中识别出顾客的店内位置信息，并结合实体店内商品的摆放信息合成后得出顾客的关注商品信息；顾客事件生成模块依据所述身份信息、关注商品信息、行为信息和行为参数信息生成顾客事件；所述顾客行为数据库用于存储所述顾客事件，所述店员派遣子系统用于根据所述顾客事件向店员发出派遣命令及服务信息。

进一步为：包括结账子系统，所述身份匹配模块从所述结账子系统中提取会员卡信息或支付id信息并用于生成顾客的身份信息，所述顾客事件生成模块从所述结账子系统中提取顾客的商品购买记录并用于生成顾客事件。

进一步为：所述顾客事件生成子系统包括顾客基本信息识别子系统，所述顾客基本信息识别子系统通过图像识别软件用于根据所述视频数据获取顾客的个人信息，所述店员派遣子系统根据所述顾客的个人信息向店员发出派遣命令及服务信息。

进一步为：所述店员派遣子系统根据所述顾客事件中的顾客身份从所述顾客行为数据库中获取该顾客的历史购物行为；所述店员派遣子系统用于向店员提供顾客位于实体店内的当前位置信息，所述当前位置信息为货架编号或者为实体店内具体的物理坐标；所述店员派遣子系统根据顾客事件中的顾客基本信息、行为信息、行为参数信息及历史购物行为生成商品智能推销信息或个性化咨询帮助信息，并通过店员向顾客传达。

进一步为：所述店员派遣子系统包括显示设备，所示显示设备用于显示顾客的历史购物行为、智能推销信息、个性化咨询帮助信息和当前位置信息。

进一步为：所述店员派遣子系统包括智能终端和无线通讯设备，所述无线通讯设备用于将顾客的历史购物行为、智能推销信息、个性化咨询帮助信息和当前位置信息发送直所述智能终端上。

进一步为：所述店员派遣子系统包括顾客信息综合模块和店员派遣命令生成模块，所述顾客信息综合模块根据顾客的关注商品信息、行为信息、身份信息、顾客基本信息和历史购物行为生成服务信息，所述店员派遣命令生成模块用于向店员分配所述服务信息。

进一步为：所述服务信息包括顾客帮助请求信息、顾客当前位置信息、顾客基本信息、商品推销信息及专享打折信息。

本发明的有益效果：通过有效识别顾客需求并在适当的时候指派售货员进行服务增加了顾客的满意程度，并且通过为店员提供基于顾客个人信息的推销和折扣信息提高了店员的有效性；让实体店店员对店内的顾客进行更为精准的推销和更有效率的服务，从而增加实体店的销售，并且改善顾客的购物体验。

附图说明

图1为本发明系统框图；

图2为本发明中店员派遣系统框图；

图3为本发明中第一种派遣方式图示；

图4为本发明中第二种派遣方式图示。

具体实施方式

下面结合附图对本发明做详细说明。

如图1所示，一种基于实体店内顾客行为识别的店员派遣系统，包括实体店视频采集子系统、顾客事件生成子系统、顾客行为数据库、店员派遣子系统和结账子系统，所述实体店视频采集子系统用于采集实体店内各个部分的视频数据，具体通过安装在实体店内各个地方的摄像机实现视频采集，摄像机可以是实体店内原本就存在的安防摄像机，也可以是专门安装的顾客行为识别摄像机；所述顾客事件生成子系统用于根据所述视频数据识别出身份信息、关注商品信息和行为信息从而生成顾客事件，所述顾客行为数据库用于存储所述顾客事件，所述店员派遣子系统用于根据所述顾客事件向店员发出派遣命令及服务信息；整个系统由1台或多台计算设备组成，计算设备的机身内设有处理器、存储器、数据传输设备和电源，所述计算设备和摄像机通信连接，所述摄像机与所述数据传输设备通信连接，所述处理器与所述存储器通信连接，所述存储器与所述数据传输设备通信连接。

所述顾客事件生成子系统包括身份匹配模块、行为识别模块、位置和跟踪模块、顾客事件生成模块和顾客基本信息识别子系统，所述身份匹配模块通过人脸检测和识别软件从所述视频数据中检测出人脸图像，并依据所述人脸图像识别出顾客的身份信息；所述行为识别模块通过人体关键点检测和行为识别软件从所述视频数据中识别出顾客的行为信息和行为参数信息，找出人体的关键点，再根据人体各部分的运动轨迹使用人工智能来判断得出人体的行为信息；通过人体的行为信息就得到了顾客观看商品和将商品放入购物车等事件；所述位置和跟踪模块通过位置识别软件从所述视频数据中识别出顾客的店内位置信息，并结合实体店内商品的摆放信息合成后得出顾客的关注商品信息，通过顾客的在实体店内历史位置信息来实现店内顾客的轨迹追踪；顾客事件生成模块依据所述身份信息、关注商品信息、行为信息和行为参数信息生成顾客事件；

所述身份匹配模块从所述结账子系统中提取会员卡信息或支付id信息并用于生成顾客的身份信息，所述顾客事件生成模块从所述结账子系统中提取顾客的商品购买记录并用于生成顾客事件，其中，支付id信息包括微信支付id、支付宝支付id、淘宝支付id、京东支付id等电子支付方式下的id信息；所述顾客基本信息识别子系统通过图像识别软件用于根据所述视频数据获取顾客的个人信息，所述店员派遣子系统根据所述顾客的个人信息向店员发出派遣命令及服务信息，其中，个人信息包括性别、年龄、穿着、身高等比较直观的信息。

其中，所述行为信息包括观看商品、将商品放入购物车、将商品拿在手里、将商品放回货架等，所述行为参数信息包括行为信息中各行为的动作幅度、持续时长、发生频率等；所述面部表情信息为行为信息中各动作发生时顾客的面部情绪状态，面部情绪状态包括喜怒哀乐等，所述面部表情信息由身份匹配模块中人脸检测和识别软件检测并识别。

所述店员派遣系统根据所述顾客事件中的顾客身份从所述顾客行为数据库中获取该顾客身份匹配的历史购物行为；所述店员派遣系统用于向店员提供顾客位于实体店内的当前位置信息，所述当前位置信息为货架编号或者为实体店内具体的物理坐标；所述店员派遣系统根据顾客事件中的顾客基本信息、行为信息、行为参数信息及历史购物行为生成商品智能推销信息或个性化咨询帮助信息，并通过店员向顾客传达。另外，所述的顾客行为历史数据存储设备存储格式化的顾客离线事件，数据可以使用格式化查询语言进行检索和处理；存储后的格式化的离线事件数据可以被用来计算店员派遣命令，并且为店员在进行客户服务时提供参考。

其中，如图2所示，所述店员派遣系统包括顾客信息综合模块和店员派遣命令生成模块，所述顾客信息综合模块根据顾客的关注商品信息、行为信息、身份信息、顾客基本信息和历史购物行为生成服务信息，所述店员派遣命令生成模块用于向店员分配所述服务信息；这里，可以通过上述向店员发出派遣指令有两种方式实现；所述服务信息包括顾客帮助请求信息、顾客当前位置信息、顾客基本信息、商品推销信息及专享打折信息。

另外，向店员发出派遣指令有两种方式，第一种方式：如图3所示，设置显示设备并用于显示顾客的历史购物行为、智能推销信息、个性化咨询帮助信息和当前位置信息；设置一名调度员和多名店员，并给调度员和店员分配对讲机，调度员从显示设备上获取店员派遣系统生成的派遣命令及服务信息后，给店员派遣任务及服务信息。

第二种方式：如图4所示，所述店员派遣系统包括智能终端和无线通讯设备，所述无线通讯设备用于将顾客的历史购物行为、智能推销信息、个性化咨询帮助信息和当前位置信息发送至所述智能终端上；店员均配备有所述智能终端，当店员看到智能终端显示的信息和指派任务后，主动为顾客进行服务。

输入的视频的每一帧经过神经网络算法处理找出人体的各个关键点，识别出的人体关键点包括双眼，双耳，鼻子，脖子，肩，肘关节，手关节，髋关节，双膝及脚踝共18个人体关键点。综合连续多帧的信息就可以得出人体各部分的运动轨迹推断出顾客当前的行为种类以及动作持续时间。本系统感兴趣的顾客行为包含：举手求助，观看商品，拿起商品，将商品放回货架，寻找商品等。

本发明的工作原理：由于系统已知人体各个关节在一帧图像中的坐标，结合摄像头的信息通过坐标变换就可以计算得出人体在实际物理空间中的坐标。通过实际的物理坐标就可以确定出客户所在的货架。通过把人体相应的行为信息，货架信息和人体物理位置信息结合起来之后就可以生成实际的顾客事件。顾客事件种类包含：举手求助，观看商品，拿起商品，将商品放回货架，寻找商品等。与这些事件对应的参数包含：商品种类，商品名称，商品编号，商品数量，商品价格，动作持续时长等。下表内为一些顾客事件的例子

当顾客行为的持续时间大于预先设定的阈值之后系统就会发出真正的店员派遣请求。以下是一些系统发出店员请求命令的例子：

1.当一名顾客在一定区域内搜寻商品超过30秒之后，系统就自动发出店员派遣命令，指定一名店员到顾客所在的地区上前主动问询顾客所寻找的商品。

2.顾客举起手主动要求帮助超过5秒种，系统就自动发出店员派遣命令，派遣店员上前协助。

3.一名顾客拿起一件商品超过了一分钟仍然没有将物品放入购物车内。此时系统就会将此类别商品的特定打折信息发送到店员手中，并让店员主动利用打折信息向顾客推销此类别的商品。在这种情况下，如果系统以获取了此顾客的id并且搜寻了历史数据发现此顾客多次关注此类别的商品却从未购买，系统就会自动通知店员给与个性化的打折。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。