一种基于计算机视觉的超市智能货架的工作方法与流程

本发明涉及人脸识别领域，具体涉及一种基于计算机视觉的超市智能货架的工作方法。

背景技术：

人体骨骼识别是基于人体的骨骼特征进行的计算机视觉学习。人体骨骼关键点对于描述人体姿态，预测人体行为至关重要。因此人体骨骼关键点检测是诸多计算机视觉任务的基础。

目前使用的技术:

基于深度学习的骨骼关键点判断，继而进行的动作识别。已有的技术对于超市的多人多频率的场景没有进行细化。没有结合人脸识别的表情和顾客的动作进行深度学习的判断。

人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。人脸是顾客的独特特征，用于区分不同顾客，摄像头只是单独的记录，后台进行比对后，只是单独的处理顾客的进出场景，没有结合超市的货架进行动作分析和表情分析。

技术实现要素：

本发明针对现有技术的不足，提出一种基于计算机视觉的超市智能货架的工作方法，具体技术方案如下：一种基于计算机视觉的超市智能货架的工作方法，其特征在于：

采用以下步骤，

步骤1：在每个货架上设置有图像流采集装置，通过图像流采集装置采集当前区域的视图，将采集到的图像流上传到识别系统中，识别系统包括骨骼识别模块、货物识别模块和人脸识别模块；

步骤2：骨骼识别模块通过骨骼识别算法对图像流进行识别，判断图像中是否存在人的影像，如果是，则进入步骤3，否则，返回步骤1；

步骤3：骨骼识别模块对图像中人的动作进行识别分类，判断人的动作是否属于选取货物，如果是，则进入步骤4，否则，返回步骤2；

步骤4：人脸识别模块对人脸进行识别，将识别到的人脸特征上传到处理器模块中；

步骤5：处理模块将该人脸特征与会员数据库中记录的人脸特征进行比对，判断该人员的数据是否存在会员数据库中，如果是，则进入步骤6，否则，回到步骤2；

步骤6：货物识别模块通过识别货物在图片上的坐标，将会员选取的货物数据发送到处理模块；

步骤7：处理模块调出该会员对应的购物数据库，将会员选中的货物数据加入到购物数据库中；

步骤8：处理模块根据当前会员所在的货架位置，判断货架上是否存在购物数据库上的货物数据，如果存在，处理模块通过安装在货架上的语音模块发出提示。

进一步地：所述骨骼动作识别通过人体骨骼关键点对人体姿态进行预测。

进一步地：所述图像采集装置为红外线摄像机。

本发明的有益效果为：本发明通过超市货架上的人体骨骼动作检测预判不同用户，对于购物的意图，及时的响应客户的心思，在后续的超市体验中，能够智能的根据顾客的动作学习识别客户想要购买比对商品的心思。以及促进超市调整货物摆放，根据人脸识别分析超市顾客情绪，判断顾客对于商品的感情指数。改善超市场景和购物体验，通过人脸识别进行客户的用户画像生成，在下次顾客再次购物的时候，智能货架能够提醒顾客想要的商品，进而提升超市的商品的会员广告精准投放，提升大数据的使用。

附图说明

图1为本发明的工作流程图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1所示：一种基于计算机视觉的超市智能货架的工作方法，其特征在于：

采用以下步骤，

步骤1：在每个货架上设置有图像流采集装置，通过图像流采集装置采集当前区域的视图，将采集到的图像流上传到识别系统中，识别系统包括骨骼识别模块、货物识别模块和人脸识别模块；

步骤2：骨骼识别模块通过骨骼识别算法对图像流进行识别，判断图像中是否存在人的影像，如果是，则进入步骤3，否则，返回步骤1；

步骤3：骨骼识别模块对图像中人的动作进行识别分类，判断人的动作是否属于选取货物，如果是，则进入步骤4，否则，返回步骤2；

步骤4：人脸识别模块对人脸进行识别，将识别到的人脸特征上传到处理器模块中；

步骤5：处理模块将该人脸特征与会员数据库中记录的人脸特征进行比对，判断该人员的数据是否存在会员数据库中，如果是，则进入步骤6，否则，回到步骤2；

步骤6：货物识别模块通过识别货物在图片上的坐标，将会员选取的货物数据发送到处理模块；

步骤7：处理模块调出该会员对应的购物数据库，将会员选中的货物数据加入到购物数据库中；

步骤8：处理模块根据当前会员所在的货架位置，判断货架上是否存在购物数据库上的货物数据，如果存在，处理模块通过安装在货架上的语音模块发出提示。

技术特征：

技术总结
一种基于计算机视觉的超市智能货架的工作方法，采用以下步骤，步骤1：在每个货架上设置有图像流采集装置，通过图像流采集装置采集当前区域的视图，将采集到的图像流上传到识别系统中，识别系统包括骨骼识别模块、货物识别模块和人脸识别模块；步骤2：骨骼识别模块通过骨骼识别算法对图像流进行识别，判断图像中是否存在人的影像，如果是，则进入步骤3，否则，返回步骤1；本发明通过超市货架上的人体骨骼动作检测预判不同用户，对于购物的意图，及时的响应客户的心思，在后续的超市体验中，能够智能的根据顾客的动作学习识别客户想要购买比对商品的心思。

技术研发人员：孔靖
受保护的技术使用者：广州洪荒智能科技有限公司
技术研发日：2018.08.28
技术公布日：2019.02.12