用于检测人摔倒、人的拾取或放回行为的检测方法和设备与流程

本发明涉及计算机视觉中的人类行为检测和识别。具体地，本发明涉及能够准确地检测和识别人的摔倒、人的拾取或放回行为的检测方法和设备。

背景技术：

1、作为一门研究如何使机器通过“看”去理解世界的学科，计算机视觉技术是目前人工智能领域最热门的研究领域之一。具体来说，通过相机与计算单元的结合，在一定场景下机器视觉系统能够代替人眼对目标进行识别、跟踪和测量等工作。在计算机视觉技术的诸多应用领域之中，基于计算机视觉技术的人类行为的检测和识别是非常重要的一个方面，并且被应用于例如视频监控、群体互动、消费者行为识别等等场景。

2、尤其是近年来，随着无人超市、自助零售商店等智能零售场景模式的普及，大量的研究都关注于如何检测并识别无人零售环境中的人(即，顾客)的行为。在当前典型的无人零售环境(例如，小型无人超市)中，顾客在通过身份识别入场后，往往随意地在场所中移动并随机地在货架前拾取或放回货品，然后在无购物或经确认已自助结账的情况下离场。因此，通过计算机视觉检测并识别出顾客在购物场所中的行为，尤其是货架前对于商品的拾取和放回行为，不仅对于追踪并确认顾客的最终购买行为，更加快速地确定顾客的消费金额，提升顾客的消费体验有着非常直接的帮助，而且能够对无人零售环境中的货架布置、货品摆放等工作提供非常有价值的参考信息。另外，由于无人超市等购物场所往往为人流量较少的封闭空间，因此基于最基本的安全需求，还要求能够通过计算机视觉及时地发现在其中的顾客的例如突然倒地等具有潜在安全风险的行为。

3、目前，用于检测并识别顾客上述行为的最佳方法是创建一个自动系统，该系统通常具有rgb摄像机和智能信息处理设备。该系统首先通过为垂直安装的rgb摄像机检测到的每名顾客分配一个唯一的id，跟踪他们在商店内的活动，并且检测他们与货架的互动。接着进行分析和分类交互，记录顾客在商店内的活动，指示商品是否已被顾客从货架取出或者取出后的商品是否又被放回原处。由此，系统能够识别货架前顾客的行为活动。

技术实现思路

1、本发明要解决的技术问题

2、然而，当前应用于无人超市等智能零售场景的现有的顾客行为检测和识别的技术方案通常都需要rgb摄像机拍摄大量的图像视频文件，并涉及进行基于这些图像视频文件的大量的文件传输和处理。因此，导致整个系统的数据处理速度较为缓慢。另外，如上所述，这些方法往往需要为每名顾客分配id，而这样的处理通常是基于面部识别完成的。在未获得顾客授权的情况下，这样的信息收集和处理会有侵犯顾客隐私权的风险。

3、鉴于上述问题，本发明期望提供一种能够在保护顾客隐私权的前提下准确、快速地检测和识别顾客的摔倒、顾客的拾取或放回行为的检测方法和设备。

4、本发明的技术方案

5、根据本发明的第一实施例，提供了一种用于检测分布有相机的场所中的人的摔倒的检测方法，包括如下步骤：对所有所述相机进行标定，以使在各所述相机的视场中均具有恰当的垂直向量；通过至少一部分所述相机获得包含所述场所中的人的图像数据，并且从所述图像数据中提取出所述人的骨架的关键点的数据；通过使用所述关键点数据估算所述人的个人垂直度；针对所述至少一部分相机中的各者，基于相应的相机的所述视场中的所述垂直向量和所述个人垂直度计算所述人的垂直角度；通过对所述人在某一时刻在所述至少一部分相机的各所述视场中的所有所述垂直角度进行聚合，获得所述人的最终垂直角度；基于由所述最终垂直角度求出的摔倒分值判定所述人是否摔倒。

6、根据本发明的第一实施例，还提供了一种用于检测场所内的人的摔倒的检测设备，包括：多个相机，所述多个相机分布在所述场所内并且具有不同的视场，所述多个相机能够获得包含所述场所中的人的图像数据；处理单元，所述处理单元对所述多个相机获得的所述图像数据进行处理，以判定所述场所内的所述人是否摔倒。所述处理单元包括：标定模块，对所有所述相机进行标定，以使在各所述相机的视场中均具有恰当的垂直向量；数据处理模块，对从所述多个相机传输来的所述图像数据进行处理，从而获得所述人在所述多个相机之中的至少一部分相机的所述视场中的个人垂直度；计算模块，基于从所述标定模块发送来的所述垂直向量和从所述数据处理模块发送来的所述个人垂直度计算所述人的最终垂直角度；以及判定模块，基于由所述最终垂直角度求出的摔倒分值判定所述人是否摔倒。

7、根据本发明的第一实施例，还提供了一种存储介质，其上存储有计算机可读程序，所述程序在处理器上执行时实施前述的根据本发明的第一实施例的检测方法。

8、根据本发明的第二实施例，提供了一种用于检测人在货架前的拾取或放回行为的检测方法，包括如下步骤：从图像数据中获取所述人的骨架的包含手部关键点的多个关键点的数据，并且从所述图像数据提取所述货架的外轮廓线，其中，所述外轮廓线包括所述货架的外部多边形以及与所述货架的真实外轮廓相对应的内部多边形，所述外部多边形在所述内部多边形的外部的接近区域中；在所述人的至少一只手的所述手部关键点被检测到进入所述外部多边形的情况下，针对所述人的进入所述外部多边形的每只手分别执行用于检测所述手部关键点的附近的物品的进入物品检测；在所述人的至少一只手的所述手部关键点被检测到退出所述外部多边形的情况下，针对所述人的退出所述外部多边形的每只手分别执行用于检测所述手部关键点的附近的物品的退出物品检测；基于所述进入物品检测的结果和所述退出物品检测的结果来判定所述人在所述货架前的所述拾取或放回行为。优选地，在执行所述进入物品检测与进行所述退出物品检测之间还包括步骤：针对所述人的进入所述外部多边形的每只手，分别记录所述手部关键点附近的所述物品在所述外部多边形与所述内部多边形之间的轨迹。

9、根据本发明的第二实施例，还提供了一种用于检测人在货架前的拾取或放回行为的检测设备，包括：至少一台相机或图像传感器，用于获取图像数据；处理单元，所述处理单元根据前述的用于检测人在货架前的拾取或放回行为的检测方法对所述图像数据进行处理。

10、根据本发明的第二实施例，还提供了一种存储介质，其上存储有计算机可读程序，所述程序在处理器上执行时实施前述的根据本发明第二实施例的检测方法。

11、本发明的有益效果

12、根据本发明，由于在获取视频或图片数据后就立即对这些数据进行了简化提取处理，在后续的所有步骤中均只需要传输和处理提取出的图片中的关键点的数据，因此大大减少了数据处理量，能够快速准确地实现顾客的行为的检测和识别。此外，由于不会对顾客进行面部识别，并且在经过最初的数据简化提取处理后，存储和传输的数据中将只包含顾客骨架关键点的相关信息，因此保护了顾客隐私权。

13、应当理解，本发明的有益效果不限于上述效果，而可以是本文中说明的任何有益效果。

技术特征：

1.一种用于检测分布有相机的场所中的人的摔倒的检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，在所述步骤s6中，所述最终垂直角度αv与所述摔倒分值sf之间的关系满足如下等式：

3.一种用于检测场所内的人的摔倒的检测设备，其特征在于，包括：

4.根据权利要求3所述的检测设备，其特征在于，所述数据处理模块包括：

5.一种存储介质，其上存储有计算机可读程序，所述程序在处理器上执行时实施如权利要求1或2中所述的方法。

6.一种用于检测人在货架前的拾取或放回行为的检测方法，其特征在于，包括如下步骤：

7.根据权利要求6所述的方法，其特征在于，在所述步骤s2之后，还包括判定所述人的所述手部关键点是否进入所述内部多边形的步骤，其中

8.根据权利要求6所述的方法，其特征在于，在所述步骤s2与所述步骤s4之间还包括步骤s3：

9.一种用于检测人在货架前的拾取或放回行为的检测设备，其特征在于，所述检测设备包括：

10.一种存储介质，其上存储有计算机可读程序，所述程序在处理器上执行时实施如权利要求6-8中任一项所述的方法。

技术总结
本发明公开了用于检测场所中的人的摔倒的检测方法和设备以及用于检测人在货架前的拾取或放回行为的检测方法的设备。用于检测人的摔倒的方法包括步骤：对相机进行标定，以使在各相机的视场中均具有恰当的垂直向量；通过至少一部分相机获得包含场所中的人的图像数据，并且从图像数据中提取出人的骨架的关键点的数据；通过使用关键点的数据估算人的个人垂直度；基于针对至少一部分相机的视场中的垂直向量和个人垂直度计算人的垂直角度；通过对人在某一时刻在至少一部分相机的各视场中的所有垂直角度进行聚合，获得人的最终垂直角度；基于由最终垂直角度求出的摔倒分值判定人是否摔倒。根据本发明，能够保护顾客隐私权并且准确快速地进行检测。

技术研发人员：约瑟夫·萨里尼
受保护的技术使用者：索尼半导体解决方案公司
技术研发日：
技术公布日：2024/1/14