商超服务系统的制作方法

1.本技术涉及智能零售技术领域，具体涉及一种商超服务系统。


背景技术：

2.现有的商超需要人员盘点、看店等人工商品管理，还需要店员进行推广、与消费者交互等人工对顾客服务等。存在所需人力多，成本高、效率低等问题。目前出现了一些无人商超，虽然借助rfid等技术水平解决了无人收付款的问题。但是从目前的发展水平现有的商超需要人员盘点、看店、推广、与消费者交互人工商品管理和人工对顾客服务等。
3.因此，如何减少商超的人力成本，提高管理和服务效率成为亟待解决的技术问题。


技术实现要素：

4.本技术提供了一种商超服务系统，以至少解决相关技术中所存在的技术问题。
5.根据本技术提供一种商超服务系统，包括：图像采集模块，分布式的设置在商超内的第一预设位置，用于采集所述商超的环境图像，所述环境信息包括人员行为图像和商品状态图像；音频采集模块，分布式的设置在商超内的第二预设位置，用于采集所述商超内的音频信息；数据分析模块，分别与所述图像采集模块和所述音频采集模块连接，用于基于所述环境图像和所述音频信息生成顾客服务策略和商品管理策略；执行模块，与所述数据分析单元连接，用于基于执行所述顾客服务策略和商品管理策略。
6.可选地，所述数据分析模块包括：行为分析单元，用于基于所述行为图像和/或所述音频信息构建用户画像，基于所述用户画像与预设用户画像的对比结果提供与用户对应的服务信息，所述服务信息包括：商品广告、商超优惠信息、商品推荐信息和服务推荐信息中的至少之一。
7.可选地，所述数据分析模块包括：商品分析单元，用于基于所述商品状态图像识别商品状态，并基于所述商品状态对商品进行盘点，所述商品状态包括：商品缺货状态、商品整齐度和商品名称中的至少之一。
8.可选地，所述行为分析单元还用于基于所述行为图像和所述音频信息识别用户选购商品时的情绪类别，基于所述情绪类别评估用户对商品的喜好程度；根据所述喜好程度结合营销数据库与用户进行实时的营销互动。
9.可选地，所述行为分析单元还用于基于所述音频信息提取语音信息，并对语音信息进行语音识别，得到语音识别内容；基于所述语音识别内容生成与用户进行语音交互的交互内容。
10.可选地，所述商品缺货状态包括缺货程度、缺货商品信息和缺货位置中的至少之一，所述商品分析单元还用于基于商品状态确定各个商品的销售热度和货架位置的销售热度；综合所述商品的销售热度和货架位置的销售热度确定当前货架的补货商品种类和各类商品摆放位置。
11.可选地，所述数据分析模块还包括：用户偏好分析单元，用于基于所述行为图像提
取用户人脸信息、步态信息、位置信息和时间信息，基于所述人脸信息、所述步态信息、所述位置信息、所述时间信息以及所述商品状态得到用户的购物偏好信息，其中，所述购物偏好包括：具有不同用户画像的用户处于商超的购物状态、购物时段、选购商品类型偏好中的至少之一。
12.可选地，所述数据分析模块还用于统计历史所述购物偏好信息和历史所述商品状态，得到统计结果；基于所述统计结果预测在预设时段的补货商品种类和各类商品摆放位置。
13.可选地，所述数据分析模块还用于将所述环境图像输入预警检测模块，得到预警检测结果，所述预警检测模型基于标记有预警特征的图像信息训练得到，所述预警特征包括：火情预警特征或盗窃预警特征；当所述预警检测结果中存在预警状况时，所述执行模块执行预警。
14.可选地，所述图像采集模块和所述音频采集模块集成在服务机器人中，所述服务机器人还包括显示装置，用于显示顾客服务内容。
15.本技术的商超服务系统，图像采集模块，采集所述商超的环境图像，所述环境信息包括人员行为图像和商品状态图像；音频采集模块，采集所述商超内的音频信息；数据分析模块在得到图像信息采集的环境图像和音频采集模块采集的音频信息后，可以对环境图像中的顾客的行为图像和商品状态图像进行分析，再结合音频信息可以分析得到顾客所需的服务以及商品所需的管理，依次来生成服务策略和商品管理策略，并通过执行模块执行顾客服务策略和商品管理策略。进而实现减少商超的人力成本，提高管理和服务效率。
附图说明
16.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
17.图1为本技术提供的商超服务系统框架结构示意图；
18.图2为本技术提供的另一商超服务系统框架结构示意图。
具体实施方式
19.为了更清楚的阐释本技术的整体构思，下面结合说明书附图以示例的方式进行详细说明。
20.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
21.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于
清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
22.本技术实施例提供了一种商超服务系统，参见图1，可以包括：
23.图像采集模块10，分布式的设置在商超内的第一预设位置，用于采集所述商超的环境图像，所述环境信息包括人员行为图像和商品状态图像；音频采集模块20，分布式的设置在商超内的第二预设位置，用于采集所述商超内的音频信息；数据分析模块30，分别与所述图像采集模块和所述音频采集模块连接，用于基于所述环境信息和所述音频信息生成顾客服务策略和商品管理策略；执行模块40，与所述数据分析单元连接，用于基于执行所述顾客服务策略和商品管理策略。
24.其中，图像采集模块10可以为布置于商超内的摄像头、可以为商超服务机器人自带摄像头等，图像采集模块10采集的商超环境图像可以包括顾客的图像和商品的图像，具体的，可以包括顾客的行为图像和商品状态图像。
25.对于行为图像的采集可以通过安装在店铺内的摄像头获取，其中，获取的方式可以包括采集用户在选购商品、在商超内行动时的视频流或图像。示例性的，在用户进入店铺开始选购商品时，店铺内的摄像头对进入摄像头拍摄区域的的顾客进行图像或视频采集，作为用户在店铺内的行为信息。以选购商品行为为例，在检测到用户发生第一目标动作时，开始获取用户的行为信息，在用户发生第二目标动作时，结束获取用户的行为信息。具体的，在检测到用户发生第一目标动作时，可以表征用户开始选购商品，例如，用户在某一商品或某一区域前停留超过预设时长，或拿起某一商品时。在检测到用户发生第二目标动作时，可以表征用户暂停选购商品，例如，用户带走商品或重新放到货架上。在本实施例中，可以获取用户在第一目标动作和第二目标动作之间的行为信息。在本实施例中，还可以采集用户在商超内的行动信息，例如，行走时的步态图像、在商超内的位置信息、人脸信息等。
26.对于商品状态图像的采集可以利用摄像头实时采集货架的实时状态图像。作为可选地实施例，获取包含货架的视频流；每隔预设时长按照预设坐标在所述视频流中截取货架图像作为所述实时状态图像。示例性的，可以每隔预设时长截取预设帧数的视频流，并在视频流的图像中将货架在图像中的位置进行标定，例如可以在图像中标定货架的左上角坐标和右下角坐标，通过标定的坐标截取货架图像，作为货架的实时状态图像。其中，货架的实时状态图像可以包括货架上商品状态图像。
27.音频采集模块20，可以为安装在图像采集装置附近的麦克风，可以实时采集商超内各种音频信息。数据分析模块30在得到图像信息采集的环境图像和音频采集模块20采集的音频信息后，可以对环境图像中的顾客的行为图像和商品状态图像进行分析，再结合音频信息可以分析得到顾客所需的服务以及商品所需的管理，依次来生成服务策略和商品管理策略，并通过执行模块40执行顾客服务策略和商品管理策略。进而实现减少商超的人力成本，提高管理和服务效率。
28.作为示例性的实施例，如图2所示，数据分析模块30可以包括行为分析单元31，该行为分析单元31可以基于行为图像和/或所述音频信息构建用户画像，基于所述用户画像与预设用户画像的对比结果提供与用户对应的服务信息，所述服务信息包括：商品广告、商超优惠信息、商品推荐信息和服务推荐信息中的至少之一。
29.示例性的，在得到环境图像和音频信息后，对环境图像进行识别，例如，可以识别
环境图像中的顾客的行为信息、人脸信息、年龄、性别等信息，可以基于音频信息识别顾客的需求信息，例如，可以通过多麦克风采集环境声音，并通过降噪算法提取有效的人声，进行语音识别。可以得到顾客的当前需求信息。因此，可以基于解析到的顾客的行为信息、人脸信息、年龄、性别等信息以及当前需求信息构建顾客当前用户画像，再将当前用户画像与预存的用户画像进行对比，得到相似度大于预设相似度的预先用户画像，基于得到的预设用户画像提供与预设用户画像对应的服务，例如，对用户提供对应的商品广告、商超优惠信息、商品推荐信息和服务推荐信息等。提升用户体验度，进一步加深顾客对商超的了解程度。
30.作为示例性的实施例，数据分析模块30还可以包括商品分析单元32，用于基于所述商品状态图像识别商品状态，并基于所述商品状态对商品进行盘点，所述商品状态包括：商品缺货状态、商品整齐度和商品名称中的至少之一。具体的，在得到商品状态图像后，将所述实时商品状态图像输入至预先训练的商品状态检测模型，得到商品状态信息，商品状态检测模型可以采用神经网络模型，例如，卷积神经网络模型、深度卷积神经网络模型等。可以采用训练样本对商品状态检测模型进行预先训练。具体的，可以采集标注的商品缺货状态、商品整齐度和商品名称的数据对模型进行训练，在本实施例中，可以缺货检测为例对训练过程进行说明：
31.将训练图像中的商品和缺货位置进行手工标注，在带有gpu的硬件环境下对货架模型进行训练，以提高模型训练的收敛速度。采用带动量因子(momentum)的小批量(mini
‑
batch)随机梯度下降法(sgd)来训练网络。其中，每一批量图像样本数量(batchsize)设置为8，动量因子设为固定值0.95，权值衰减(decay)为4
×
10
‑
4。权重的初始化会影响模型训练的收敛速度，初始学习速率(learningrate)设为2
×
10
‑4，训练过程中，使用随机裁剪和水平翻转的方式进行数据增强。最终得到的训练图像大小为608*608，loss基本收敛到稳定值且小于0.1，表明网络模型已经达到了预期的训练效果停止训练，得到最终模型。在本实施例中，使用方向梯度直方图(hog)特征，不需要人为分析图像特征，同时对于图像颜色、亮度变化敏感度较小，鲁棒性较高。
32.作为可选的实施例，在训练时，可以在训练样本图像中分别标记商品缺货状态、商品整齐度和商品名称标签，进行训练，在本实施例中，对于每种商品状态信息的检测可以采用单独的模型，也可以采用一个模型。在得到商品的实时状态后，基于商品的实时状态进行自动的商品盘点，可以省去人工逐个检查商品，并逐个进行盘点，节省人工成本，提高商品盘点效率。
33.在上述实施例中，商品分析单元32可以识别商品状态，行为分析单元31还可以基于行为图像和所述音频信息识别用户选购商品时的情绪类别，结合商品状态和选购某一商品使得情绪类别可以确定用户对于某一商品或某类商品的喜好程度，作为示例性的实施例，行为分析单元31还用于基于所述行为图像和所述音频信息识别用户选购商品时的情绪类别，基于所述情绪类别评估用户对商品的喜好程度；根据所述喜好程度结合营销数据库与用户进行实时的营销互动。
34.在获取到用户的选购商品的行为图像和音频信息之后，可以基于行为图像和音频信息提取用户在查看展示商品时的生物特征信息，该生物特征可以为用户在选购或查看展示商品时表现出来的生物特征信息，例如，人脸表情、语气、肢体动作等生物特征信息，在选
购或查看商品时所表现出的生物特征信息可以反应用户对于当前商品的态度，例如，喜欢、讨厌或中立。作为示例性的实施例，对于生物特征的提取可以采用与生物特征类型对应的提取方法，示例性的，对于人脸图像或肢体动作的提取，可以基于目标检测算法进行提取，例如，可以采用faster r
‑
cnn模型、ssd模型或yolo模型进行检测。对于语音信息可以在对音频信息进行去噪处理，并采用语音分类模型进行分类得到用户音频信息。上述生物特征信息的提取方法只是举例说明，其他可在音频、视频或图像中提取生物特征的方法在本实施例中同样适用。
35.对于情绪类别的识别，可以采用情绪识别模型进行，情绪识别模型可以基于样本数据进行训练，将大量的生物特征信息作为训练样本，将情绪类别作为情绪识别模型的输出对情绪识别模型进行训练，在本实施例中，生物特征信息可以为多种类型，对应的情绪识别模型可以为与生物特征信息一一对应的多个模型，也可以为一个模型，采用多种生物特征信息共同进行训练。在本实施例中，情绪识别模型可以采用二分类或多分类的卷积神经网络模型。在本实施例中，在情绪识别模型训练完成后，可以将提取到生物特征信息输入模型，得到与生物特征信息对应的情绪类别的置信度，将置信度大于预设值的情绪类别作为情绪识别模型的输出。在本技术实施例中，情绪类别可以为二分类结果，例如，喜欢和讨厌。也可以为多分类结果，例如，喜欢、讨厌和中立等。
36.对于情绪类别的识别是基于用户选购和查看某一商品时所展现出的情绪，将该情绪与该展示商品关联，可以得到用户当前对该展示商品的态度。可以精准的了解用户当下所需或感兴趣的商品，也可以精准了解当下用户不感兴趣的商品，能够实时预测用户需求，并给予用户实时需求进行针对性的营销。以实现更为针对性的营销。
37.作为示例性的实施例，情绪类别可以融合多方面特征进行识别，示例性的，基于所述人脸图像、语音信息和肢体动作分别提取面部特征、声纹特征和姿态特征；将所述面部特征输入预先训练的面部情绪识别模型，得到面部情绪类别；将所述声纹特征输入预先训练的语音情绪识别模型，得到语音情绪类别；将所述姿态特征输入预先训练的姿态情绪识别模型，得到姿态情绪类别；基于情绪融合模型将所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别进行情绪融合，得到用户情绪类别。
38.在对情绪类别进行融合时，还可以基于所述人脸图像、语音信息和肢体动作分别确定人脸姿态、语音清晰度和动作幅度；基于所述人脸姿态、语音清晰度和动作幅度确定所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别在所述情绪融合模型中的实时融合权重；基于所述实时融合权重和所述情绪融合模型将所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别进行情绪融合，得到用户情绪类别。具体的，权重的确定可以采用分别获取所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别对应的预设融合权重；分别将所述人脸姿态、语音清晰度和动作幅度与人脸参考姿态、语音参考清晰度和动作参考幅度进行对比；基于对比结果对所述预设融合权重进行调整得到所述实时融合权重，其中，融合权重之和为1。示例性的，将实际提取的人脸姿态、语音清晰度和动作幅度分别与预设状态下的人脸参考姿态语音清参考晰度和动作参考幅度进行对比，得到对应的预设融合权重调整比例。示例性的，在人脸完整度为人脸参考完整度的百分之六十，对应的将面部情绪类别的预设融合权重下降对应的比例，同理，也可以按照比例对语音情绪类别的预设融合权重和姿态情绪类别的预设融合权重进行调整。在本实施例中，可以按照比例进行调
整，也可以按照他方式进行调整，最终得到各个情绪类别的实际融合权重。
39.作为示例性的实施例，商品分析单元32还用于基于商品状态确定各个商品的销售热度和货架位置的销售热度；综合所述商品的销售热度和货架位置的销售热度确定当前货架的补货商品种类和各类商品摆放位置，实现商品更加合理化的管理。
40.基于所述实际融合权重和所述情绪融合模型将所述面部情绪类别、所述语音情绪类别和所述姿态情绪类别进行情绪融合，得到用户情绪类别。在示例性的实施例中，基于实时融合权重对各个情绪类别在融合时进行实时调整，可以减小拍摄环境对预测结果的影响，进一步提升判断用户实时情绪状态的准确定，进而提升实时针对用户的营销策略的准确性。
41.示例性的，在得到商品状态后，可以统计某一时间段内，例如，一天、一周或者更长或更短的时间段的各个商品的缺货程度、缺货位置等确定各个商品的销售热度和货架位置的销售热度，其中，货架位置的销售热度可以为货架出现缺货位置概率较大的位置，例如，货架顶部位置，货架中层位置等。在得到各个商品的销售热度后，选择销售热度大于预设热度的商品作为热卖商品，并分析当前商品的搭配商品。例如，若牛奶为热卖品，其搭配商品可以为早餐面包或早餐饼干；例如，酒水为热卖品，其搭配商品可以为对应的零食、小吃等。以提升整体货物的整体向量，并且基于识别到的用户购买信息的反馈(基于商品状态，例如缺货商品、缺货位置等)调整商品的摆放，使商品摆放更加符合顾客的购买需求。
42.作为示例性的实施例，还可以基于环境图像对用户的偏好进行分析，以便能够根据用户偏好更加合理的管理商品。示例性的，数据分析模块30还包括：用户偏好分析单元33，用于基于所述行为图像提取用户人脸信息、步态信息、位置信息和时间信息，基于所述人脸信息、所述步态信息、所述位置信息、所述时间信息以及所述商品状态得到用户的购物偏好信息，其中，所述购物偏好包括：具有不同用户画像的用户处于商超的购物状态、购物时段、选购商品类型偏好中的至少之一。
43.在得到用户画像、用户购物偏好信息、用户购物时的情绪类别，以及商品的状态，可以基于上述分析结果对商超的商品备货进行预测，例如，统计历史所述购物偏好信息和历史所述商品状态，得到统计结果；基于所述统计结果预测在预设时段的补货商品种类和各类商品摆放位置。作为示例性的实施例，可以统计一段时长内的用户画像、用户购物偏好信息、用户购物时的情绪类别以及商品状态，例如，统计用户画像的分类，每一类用户画像的购物偏好、喜好商品、购物时段，每一购物时段所采购的商品等。可以基于统计结果按照时段针对不同的用户画像的用户进行备货或进行商品摆放。可以更好针对不同的顾客进行备货和商品摆放，提升用户购物体验，增加商超销售业绩。在本实施例中，还可以基于预测的某一时段的用户画像和用户购物偏好等提供针对性的推广和优惠活动。
44.以具体的实施例进行示例性的说明：可以采集不同用户画像的用户的购物时段、选购商品信息、选购商品时的情绪类别、货架位置的销售热度得到不同用户画像的用户在不同购物时段喜欢的商品、讨厌的商品、购买的商品以及选购时热衷的或货架的位置等购物大数据，可以基于该购物大数据分析的，对在每一时段时段的不同需要重点备货的种类，商品的摆放的位置进行针对性的调整。
45.示例性的，商超服务系统还可以实现自动看店，具体的，数据分析模块30还用于将所述环境图像输入预警检测模块，得到预警检测结果，所述预警检测模型基于标记有预警
特征的图像信息训练得到，所述预警特征包括：火情预警特征或盗窃预警特征；当所述预警检测结果中存在预警状况时，所述执行模块40执行预警。
46.以盗窃预警特征为例，摄像头会对商超进行监控，同时利用人体识别等算法判断商超内是否有人员活动，并且判断该活动动作是否符合预设盗窃特征。在符合时可以进行语音提醒，远程呼叫或者异常报警等服务。
47.作为示例性的实施例，商超服务系统中图像采集模块10和所述音频采集模块20集成在服务机器人中，所述服务机器人还包括显示装置，用于显示顾客服务内容。示例性的，机器人包含：屏幕、麦克风传感器、多个摄像头、喇叭、控制单元、电池这几个大的模块。屏幕用来展示机器人表情及商品信息等其他信息的展示。麦克风传感器用来捕捉环境中的声音，用来进行语音识别。摄像头用来对环境进行监控，获取的图像用来进行图像处理。喇叭用来播放各种音频。控制单元是整个机器人核心，负责处理各种传感器的数据，并通过网络与后台服务器进行数据交互，同时负责屏幕的显示。
48.作为示例性的实施例，后台服务器中可以包括数据分析模块30，用于根据环境图像和所述音频信息生成顾客服务策略和商品管理策略。
49.在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
50.在本技术所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
51.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例中所提供的方案的目的。
52.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
53.本技术中未述及的地方采用或借鉴已有技术即可实现。
54.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
55.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。