基于大数据和视频分析的商场内自动贩卖机智能运营方法与流程

本发明属于大数据、人工智能领域，尤其涉及一种基于大数据和视频分析的商场内自动贩卖机智能运营方法。

背景技术：

商场自动贩卖机虽然节省了大量人力，但是由于自动贩卖机的使用频率较高，机器时常存在一些故障，导致用户支付后未出货或少出货，却显示取货成功等情况的发生，这时就需要用户自行向商家上报，然后商家后台工作人员再人为确认去解决，这对用户体验十分不利。

技术实现要素：

为了解决上述问题，本发明提出一种基于大数据和视频分析的商场内自动贩卖机智能运营方法，该方法包括：

步骤一，在贩卖机附近进行行人图像的采集，利用多人姿态估计模型对采集到的行人图像进行姿态估计得到行人的姿态，将姿态信息中行人两脚面关键点连线的中心点投影到预先构建好的商场bim中，在bim中设立roi区域，其中，每个贩卖机都对应一个roi区域；

步骤二，当用户下单支付成功后，同时开始进行商品检测和取货行为检测；

商品检测：开启环境灯，利用内嵌在贩卖机内的摄像头采集取货口处商品的图像，采集到的商品图像经过关键点检测网络得到关键点热图，对关键点热图进行后处理得到商品的种类和数量；将得到的商品的种类和数量与用户的订单信息进行对比；

取货行为检测：获取bim中行人两脚面关键点连线的中心点的坐标，对中心点坐标位于所使用贩卖机对应roi区域内的行人的姿态进行分类，判断是否存在取货行为，不存在取货行为记为事件a，存在取货行为记为事件b；

步骤三，对商品检测和取货行为检测得到的结果进行分析：

若信息对比不一致，则贩卖机存在故障，向工作人员发送故障信息；

若信息对比一致且发生事件a，提醒用户取货并在一定时间后再次进行商品检测；

若信息对比一致且发生事件b，则再次进行商品检测，当未检测到商品时，关闭环境灯、结束商品检测；当检测到商品时，判定用户漏取商品，提醒用户取货并在一定时间后再次进行商品检测。

环境灯部署在取货口处。

关键点检测网络包括关键点编码器和关键点解码器，关键点编码器对输入图像进行特征提取，得到特征图，关键点解码器对特征图进行上采样生成关键点热图；该网络的训练过程具体为：采集商品的图像构建训练数据集；生成标签：关键点标注在商品的中心点处，标记关键点像素位置，而后使用高斯核，形成关键点热斑；每种商品的关键点对应一个通道；采用热图损失函数对该网络进行训练。

对行人的姿态进行分类通过全连接网络实现，该网络的输入为中心点坐标位于所使用贩卖机对应roi区域内的行人的姿态序列，输出为对应的行人姿势，其中，行人姿势包括站立、下蹲、弯腰。

是否存在取货行为的判断过程为：将站立姿势对应为状态值1，下蹲和弯腰姿势对应为状态值2，若在用户支付成功后一定时间内，状态值存在至少一次从2到1的跳变，判定发生取货行为，否则，判定为未发生取货行为。

本发明的有益效果在于：

1.现有的贩卖机对商品的检测是在出货之前进行的，但在出货过程中可能会出现卡货、掉货的情况，本发明可以对出货之后的商品进行种类和数量的检测，可避免由于卡货现象给用户带来损失。

2.本发明利用神经网络技术获取取货口处商品的种类和数量，再与用户的订单信息进行对比，可完成贩卖机的自证，若信息对比不一致，则给商家后台发送提示信息，提醒商家采取相关措施，可减少用户的损失，提升用户的贩卖机使用体验。

3.本发明通过人体姿态估计检测用户购买后的取货过程，防止因用户个人情况出现漏取少取或慢取的行为而造成商家的损失，提高贩卖机售货效率；且先对取货行为进行判断可以降低内嵌在贩卖机内摄像头的功耗，不需摄像头持续对取货口处进行图像采集，只需在用户发生取货行为后进行图像的采集和处理。

4.若贩卖机出现卡货这一异常情况，采用该方法可以准确得知被卡商品的种类和数量，可以有效防止恶意购买行为的发生，避免给商家带来损失。

附图说明

图1为本发明实施流程图。

具体实施方式

为了让本领域技术人员更好的理解本发明，下面结合实施例和附图对本发明进行进一步的说明。

本发明提出一种基于大数据和视频分析的商场内自动贩卖机智能运营方法，即主要对商场各个区域的自动贩卖机进行自动化管理与自证，最终结合贩卖机终端与计算机视觉实现贩卖机出货的自证与用户取货过程的检测，其实施流程图如图1所示，具体地：首先，对商场各个位置的相机所得到的图像进行行人姿态的检测，得到行人姿态信息，当用户支付成功后，开启取货口检测功能，同时进行行人位置、姿势判断，并对取货口相机检测的饮料出货情况是否与用户下单匹配，从而为自动贩卖机售后验证及销售提供自动化运营支持。

实施例：

利用商场中的摄像头在贩卖机附近进行行人图像的采集，利用多人姿态估计模型对采集到的行人图像进行姿态估计得到行人姿态。人体姿态估计技术属于计算机视觉领域的常见任务，考虑到常见的姿态估计模型对环境的鲁棒性较差，因此此处可对模型进行自行训练，提高检测的准确性。

对多人姿态估计模型进行训练：

首先对训练图像数据进行采集，优选地，针对商场贩卖机处行人图像进行采集；采集的图像要经过归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好的收敛。。

其次进行标签的制作，该标注采用以下方法，以减少人力的开支：

a)首先利用常见的多人姿态估计模型对图像进行姿态估计，并将处理后的姿态关节点显示在原图像中。多人姿态估计模型可采用开源的hrnet、higherhrnet等。

b)对于上述检测结果图像，进行人为挑错，更改错误的和有较大误差的姿态坐标。

c)然后通过高斯核针对上述各个类别关节点坐标进行卷积，得到行人姿态的热力图(heatmap)。具体的细节，如高斯核半径的选取等，不在本发明讨论范围内。

此处采用associativeembedding技术，区分图像内的不同人实例，属于区分示例的常见技术手段，该技术使得同一个人的所有关键点tag值相近，不同人之间的tag值疏远，相近的概念通过欧式距离来实现。其公式如下：

n表示第n个人，k表示第k个关键点，x表示真实关键点所在的像素位置，hk表示第k个人关键点的标签heatmap。

该模型的具体训练过程为：

用经过归一化处理的训练图像和标签数据，端到端地训练姿态估计编码器和姿态估计解码器，姿态估计编码器的输入为经过归一化处理后的图像数据，对输入图像进行特征提取后输出第一特征图，姿态估计解码器对第一特征图进行上采样并最终生成行人姿态热力图及关联嵌入图(associativeembedding)。

loss函数采用heatmapsloss+groupingloss的加权和，其中：

其中，pcij代表类别c的人关键点在位置(i,j)处的得分，得分越高就越可能是人的关键点。ycij表示groundtruth的heatmap。n代表groundtruth中的关键点数量。α、β为超参数，需要人为设定。

n代表groundtruth中人的数量，k表示每个人groundtruth中的关键点数量，n表示第n个人，k表示第k个关键点，x表示真实关键点所在的像素位置，表示groundtruth的tag值。hk(xnk,)即预测的tag值。n′为除第n个人外的其他人，δ为人为设定的值。

函数中前半段就是把输入同一个人的关键点的tag值尽量拉近，而公式的后半段就是把不同的人个体相互拉开。

所以，loss函数的公式为：

γ,同样是人为设定，是为了让两个损失的值比较接近，以更好地判断模型的收敛情况。

至此，完成多人姿态估计模型的训练。

本发明建议多人姿态估计模型直接套用associativeembedding论文多人姿态估计网络权重进行微调，进一步提高模型的鲁棒性。

需要注意的是，由于热力图本身的特点，该模型输出的行人姿态热力图的像素值符合高斯分布，其值域在[0,1]之间。

对行人姿态热力图进行后处理，得到关键点，其中，后处理方法是周知的，这里不再赘述。其中各个关键点的tag值越接近的，分为一组，即判断关键点属于哪个实例。

至此，得到行人姿态。

对行人进行行人姿态的检测，可以实现更精确的bim投影，从而判断行人的位置，具体地，从得到的关键点中选择行人的脚面关键点，将行人两脚面关键点连线的中心点投影到预先构建好的商场bim中，所述bim是以商场信息数据为基础，建立起三维的商场建筑模型，并包含内部设施、传感器等信息，实施者可通过revit软件进行商场bim的建模与设计；对于投影到bim，需要引入单应矩阵，具体操作可以基于地面贴标和bim对应坐标进行四点法估计。由于四点法是公知的常识，具体实施方法是简单易得的，在此不再赘述。

在bim中设立roi区域，具体的根据商场摄像头覆盖到的自动贩卖机屏幕面前局部区域进行设置，每个贩卖机都有一个相应的roi区域；

至此，完成中心点的投影。

之后，根据贩卖机的使用情况自动控制商品检测功能，最小化贩卖机的功耗。

为避免环境的影响，需要在取货口处部署环境灯，以提高检测的准确性。此处环境灯，根据贩卖机来自动开关，当用户下单支付成功后开启环境灯，完成检测后关闭环境灯，以减少能耗。

当用户下单支付成功后，同时开始进行商品检测和取货行为检测；

商品检测：开启环境灯，利用内嵌在贩卖机内的摄像头采集取货口处商品的图像，采集到的商品图像经过关键点检测网络得到关键点热图，其中，关键点检测网络包括：关键点编码器和关键点解码器，关键点编码器对输入图像进行特征提取，得到特征图，关键点解码器对特征图进行上采样生成关键点热图；该网络的训练过程具体为：采集商品的图像构建训练数据集；生成标签：关键点标注在商品的中心点处，标记关键点像素位置，而后使用高斯核，形成关键点热斑；每种商品的关键点对应一个通道；采用热图损失函数对该网络进行训练。

对关键点热图进行后处理得到商品的种类和数量，将得到的商品的种类和数量与用户的订单信息进行对比，实现贩卖机的自证。

取货行为检测：获取bim中行人两脚面关键点连线的中心点的坐标，对中心点坐标位于所使用贩卖机对应roi区域内的行人的姿态进行分类，该分类通过全连接网络实现，损失函数采用交叉熵函数，该网络的输入为中心点坐标位于所使用贩卖机对应roi区域内的行人的姿态序列，输出为行人姿势，其中，行人姿势包括站立、下蹲、弯腰。其中，行人的姿态序列由多人姿态估计模型得到。

根据得到的每个行人的姿势判断是否存在取货行为，不存在取货行为记为事件a，存在取货行为记为事件b，具体地：将站立姿势对应为状态值1，下蹲和弯腰姿势对应为状态值2，若在用户支付成功后一定时间内，实施例设置为30秒内，状态值存在至少一次从2到1的跳变，判定存在取货行为，否则，判定为不存在取货行为。其中，roi区域内可能存在多个行人，每个行人都有一个自己的状态值序列，则当至少一个行人的状态值序列中存在至少一次状态值从2到1的跳变，判定存在取货行为。

当roi区域中存在多个行人时，通过帧间g坐标之间欧式距离的绝对值对每个行人进行追踪：bim中每个roi区域分别对应一个点集，每个点集分别包括所对应roi区域内的所有中心点。实施例中将用户所使用贩卖机roi区域对应的点集成为g，若某一帧投影得到点集g1，下一帧投影得到点集g2，将g1中所有中心点的坐标与g2中所有中心点的坐标依次进行求欧式距离，并取其绝对值，最终认定g2与g1中欧氏距离绝对值最小的点为同一实例，举例说明：

假设g1中有3个点，g2有2个点，则共计算6次，若g2中第一个点与g1中3个点之间欧氏距离的绝对值分别为[5,7,9]，则认定g2中第一个点与g1中的第一个点为同一行人，g2中第二个点与g1中3个点之间欧氏距离的绝对值分别为[3,8,1]，则认定g2中第二个点与g1中的第3个点为同一行人。

至此，完成商品检测和取货行为检测。

根据商品检测的对比结果和取货行为的判定结果实现贩卖机的智能运营，具体地：

若信息对比不一致，则贩卖机存在故障，向工作人员发送故障信息，并自动关闭该自动贩卖机的售货功能；

若信息对比一致且发生事件a，则用户存在延时取货情况，提醒用户尽快取货并在一定时间后再次进行商品检测；

若信息对比一致且发生事件b，则再次进行商品检测，当未检测到商品时，关闭环境灯、结束商品检测；当检测到商品时，判定用户漏取商品，提醒用户取货并在一定时间后再次进行商品检测。

此外，本发明中所说的商品包括但不限于各种瓶装或盒装饮料、有包装袋或包装盒的零食、化妆品等。

以上所述旨在让本领域技术人员更好的理解本发明，并不用于限制本发明，凡在本发明精神和原则之内进行的修改，皆在本发明的保护范围内。