行为信息的识别方法、设备和存储介质与流程

本技术涉及信息处理，尤其涉及一种行为信息的识别方法、设备和存储介质。

背景技术：

1、随着信息技术、人工智能技术的不断突破以及成熟落地，新零售业务也不断向着便捷化、智能化方向发展。自助收银设备能够让顾客以自助的方式扫描商品、结账，免去排队过程，解放收银员与收银之间一对一的束缚关系，目前已成功在各类商超卖场部署落地。自助收银给商家带来了效率的提升以及良好的客户购物体验，以自助收银为主的结账模式逐步替代以人工收银为主的模式。

2、但自助收银设备的部署同时给商超卖场带来了更多的盗损问题，商超卖场为了防止盗损事件的发生，需要安排额外的人力进行实时监督顾客自助操作，造成资源的浪费。

3、目前自助收银系统的各个硬件厂商以及算法软件厂商都在积极研发自动防损功能，以期能够通过机器自动地甄别盗损事件的发生，并及时处置挽回损失。但是目前各类方案实际执行中识别准确度较低，无法满足商超卖场客户的使用需求。

技术实现思路

1、本技术实施例的主要目的在于提供一种行为信息的识别方法、设备和存储介质，实现了结合图像深度信息以获得跟踪对象更佳准确的跟踪轨迹，从而提高风险行为识别的准确性，提高用户体验。

2、第一方面，本技术实施例提供一种行为信息的识别方法，包括：获取目标区域内的原始图像和所述原始图像对应的深度信息；根据所述原始图像和所述深度信息，确定所述目标区域中至少一个待处理物品的第一运动轨迹和用户的关键肢体部位的第二运动轨迹；根据所述第一运动轨迹和所述第二运动轨迹，从所述待处理物品中确定与所述关键肢体部位存在交叠的当前物品；响应于当前订单信息，根据所述当前订单信息和所述当前物品的目标运动轨迹，识别所述当前物品是否存在异常行为。

3、于一实施例中，所述获取目标区域内的原始图像和所述原始图像对应的深度信息，包括：通过预设双目相机获取所述目标区域在不同视角下的至少两个原始图像，其中，所述目标区域在所述双目相机的拍摄范围内；根据所述至少两个原始图像进行双目测距处理，确定所述原始图像的深度信息；和/或，通过预设深度相机获取所述目标区域原始图像，所述原始图像包括深度信息。

4、于一实施例中，所述根据所述原始图像和所述深度信息，确定所述目标区域中至少一个待处理物品的第一运动轨迹和用户的关键肢体部位的第二运动轨迹，包括：根据所述原始图像和所述深度信息，识别出所述目标区域中包含的至少一个待处理物品和/或用户的关键肢体部位；根据所述原始图像和所述深度信息对每个所述待处理物品进行轨迹跟踪，生成每个所述待处理物品的所述第一运动轨迹；和/或，根据所述原始图像和所述深度信息对所述关键肢体部位进行轨迹跟踪，得到所述关键肢体部位的第二运动轨迹。

5、于一实施例中，所述根据所述原始图像和所述深度信息，识别出所述目标区域中包含的至少一个待处理物品，包括：对所述原始图像进行分类识别，确定所述原始图像中第一物品的位置；将所述第一物品的位置与所述深度信息进行位置匹配，确定所述深度信息中未落入所述第一物品的位置范围内的目标像素区域；根据所述深度信息确定所述目标像素区域对应的第二物品的位置，所述待处理物品包括所述第一物品和所述第二物品。

6、于一实施例中，所述根据所述深度信息确定所述目标像素区域对应的第二物品的位置，包括：对所述目标像素区域中的像素点进行位置聚合，将相邻位置并且深度值相同的像素点归为相同的聚合区域，得到所述目标像素区域对应的至少一个聚合区域；针对每个所述聚合区域，计算所述聚合区域的最大外接矩形框，将所述最大外接矩形框确定为识别出的新对象位置，根据所述新对象位置确定所述目标像素区域对应的所述第二物品的位置。

7、于一实施例中，所述根据所述新对象位置确定所述目标像素区域对应的所述第二物品的位置，包括：对所述新对象位置进行筛选，去除冗余对象的位置，将筛选后的新对象位置确定为所述目标像素区域对应的所述第二物品的位置，其中所述冗余对象包括：背景对象、位置范围大于第一阈值的对象和/或位置单位小于第二阈值的对象中的一个或多个，所述第一阈值大于所述第二阈值。

8、于一实施例中，所述原始图像包括所述目标区域的图像序列；所述根据所述原始图像和所述深度信息对每个所述待处理物品进行轨迹跟踪，生成每个所述待处理物品的所述第一运动轨迹，包括：针对所述图像序列中的当前帧图像，将所述待处理物品在所述当前帧图像中的当前位置与对应的所述深度信息进行位置匹配，确定所述当前位置范围内所有像素点的深度值集合；将所述深度值集合中占比最大的深度值确定为所述待处理物品在所述当前帧图像中的当前深度信息；根据所述当前位置和所述当前深度信息生成所述待处理物品在所述当前帧图像中的轨迹位置信息；统计所述待处理物品在所述图像序列中的轨迹位置信息集合，根据所述轨迹位置信息集合生成所述待处理物品对应的所述第一运动轨迹。

9、于一实施例中，所述根据所述第一运动轨迹和所述第二运动轨迹，从所述待处理物品中确定与所述关键肢体部位存在交叠的当前物品，包括：根据所述第一运动轨迹和所述第二运动轨迹，从所述待处理物品中确定与所述关键肢体部位存在交叠的候选物品；若所述候选物品为一个，将所述候选物品确定为所述当前物品；若所述候选物品为多个，将多个所述候选物品按照对应深度值从小到大排序，将排序在前预设名次的候选物品确定为所述当前物品。

10、于一实施例中，所述根据所述第一运动轨迹和所述第二运动轨迹，从所述待处理物品中确定与所述关键肢体部位存在交叠的候选物品，包括：根据所述第一运动轨迹中所述待处理物品的位置和所述第二运动轨迹中所述关键肢体部位的位置，分别计算每个所述待处理物品与所述关键肢体部位之间的重叠度；将对应所述重叠度大于预设阈值的待处理物品，确定为与所述关键肢体部位存在交叠的候选物品；和/或，根据所述第二运动轨迹确定所述关键肢体部位的中心点位置，将对应位置范围内包含所述中心点位置的待处理物品，确定为与所述关键肢体部位存在交叠的候选物品。

11、于一实施例中，所述响应于当前订单信息，根据所述当前订单信息和所述当前物品的目标运动轨迹，识别所述当前物品是否存在异常行为，包括：若根据所述当前物品的目标运动轨迹和所述第二运动轨迹判定所述当前物品被实施了扫码行为，根据所述当前订单信息判断是否接收到所述当前物品的扫码信息，若未接收到所述当前物品的扫码信息，确定所述当前物品存在异常行为；

12、于一实施例中，所述方法还包括：根据所述原始图像，检测所述目标区域中存在的包袋位置；所述响应于当前订单信息，根据所述当前订单信息和所述当前物品的目标运动轨迹，识别所述当前物品是否存在异常行为，包括：若根据所述当前物品的目标运动轨迹和所述包袋位置判定所述当前物品被实施了装包行为，根据所述当前订单信息判断是否接收到关于所述当前物品的编码录入信息，若未接收到所述当前物品的编码录入信息，确定所述当前物品存在异常行为；

13、于一实施例中，所述响应于当前订单信息，根据所述当前订单信息和所述当前物品的目标运动轨迹，识别所述当前物品是否存在异常行为，还包括：若根据所述当前物品的目标运动轨迹判定所述当前物品的移动距离超过预设距离阈值，根据所述当前订单信息判断是否接收到关于所述当前物品的编码录入信息，若未接收到所述当前物品的编码录入信息，确定所述当前物品存在异常行为。

14、第二方面，本技术实施例提供一种行为信息的识别方法，应用于自助收银系统，所述系统包括收银区域和深度图像采集器，所述收银区域在所述深度图像采集器的拍摄范围内，所述方法包括：通过所述深度图像采集器获取所述收银区域的原始图像和所述原始图像对应的深度信息；根据所述原始图像和所述深度信息，确定所述收银区域中至少一个待处理商品的第一运动轨迹和用户的关键肢体部位的第二运动轨迹；根据所述第一运动轨迹和所述第二运动轨迹，从所述待处理商品中确定与所述关键肢体部位存在交叠的当前商品；响应于当前订单信息，根据所述当前订单信息和所述当前商品的目标运动轨迹，识别所述当前商品是否存在异常行为。

15、第三方面，本技术实施例提供一种行为信息的识别装置，包括：

16、获取模块，用于获取目标区域内的原始图像和所述原始图像对应的深度信息；

17、轨迹跟踪模块，用于根据所述原始图像和所述深度信息，确定所述目标区域中至少一个待处理物品的第一运动轨迹和用户的关键肢体部位的第二运动轨迹；

18、确定模块，用于根据所述第一运动轨迹和所述第二运动轨迹，从所述待处理物品中确定与所述关键肢体部位存在交叠的当前物品；

19、识别模块，用于响应于当前订单信息，根据所述当前订单信息和所述当前物品的目标运动轨迹，识别所述当前物品是否存在异常行为。

20、于一实施例中，所述获取模块，用于通过预设双目相机获取所述目标区域在不同视角下的至少两个原始图像，其中，所述目标区域在所述双目相机的拍摄范围内；根据所述至少两个原始图像进行双目测距处理，确定所述原始图像的深度信息；和/或，通过预设深度相机获取所述目标区域原始图像，所述原始图像包括深度信息。

21、于一实施例中，所述轨迹跟踪模块，用于根据所述原始图像和所述深度信息，识别出所述目标区域中包含的至少一个待处理物品和/或用户的关键肢体部位；根据所述原始图像和所述深度信息对每个所述待处理物品进行轨迹跟踪，生成每个所述待处理物品的所述第一运动轨迹；和/或，根据所述原始图像和所述深度信息对所述关键肢体部位进行轨迹跟踪，得到所述关键肢体部位的第二运动轨迹。

22、于一实施例中，所述轨迹跟踪模块，具体用于对所述原始图像进行分类识别，确定所述原始图像中第一物品的位置；将所述第一物品的位置与所述深度信息进行位置匹配，确定所述深度信息中未落入所述第一物品的位置范围内的目标像素区域；根据所述深度信息确定所述目标像素区域对应的第二物品的位置，所述待处理物品包括所述第一物品和所述第二物品。

23、于一实施例中，所述轨迹跟踪模块，具体用于对所述目标像素区域中的像素点进行位置聚合，将相邻位置并且深度值相同的像素点归为相同的聚合区域，得到所述目标像素区域对应的至少一个聚合区域；针对每个所述聚合区域，计算所述聚合区域的最大外接矩形框，将所述最大外接矩形框确定为识别出的新对象位置，根据所述新对象位置确定所述目标像素区域对应的所述第二物品的位置。

24、于一实施例中，所述轨迹跟踪模块，具体用于对所述新对象位置进行筛选，去除冗余对象的位置，将筛选后的新对象位置确定为所述目标像素区域对应的所述第二物品的位置，其中所述冗余对象包括：背景对象、位置范围大于第一阈值的对象和/或位置单位小于第二阈值的对象中的一个或多个，所述第一阈值大于所述第二阈值。

25、于一实施例中，所述原始图像包括所述目标区域的图像序列；所述轨迹跟踪模块，具体用于针对所述图像序列中的当前帧图像，将所述待处理物品在所述当前帧图像中的当前位置与对应的所述深度信息进行位置匹配，确定所述当前位置范围内所有像素点的深度值集合；将所述深度值集合中占比最大的深度值确定为所述待处理物品在所述当前帧图像中的当前深度信息；根据所述当前位置和所述当前深度信息生成所述待处理物品在所述当前帧图像中的轨迹位置信息；统计所述待处理物品在所述图像序列中的轨迹位置信息集合，根据所述轨迹位置信息集合生成所述待处理物品对应的所述第一运动轨迹。

26、于一实施例中，所述确定模块，用于根据所述第一运动轨迹和所述第二运动轨迹，从所述待处理物品中确定与所述关键肢体部位存在交叠的候选物品；若所述候选物品为一个，将所述候选物品确定为所述当前物品；若所述候选物品为多个，将多个所述候选物品按照对应深度值从小到大排序，将排序在前预设名次的候选物品确定为所述当前物品。

27、于一实施例中，所述确定模块，具体用于根据所述第一运动轨迹中所述待处理物品的位置和所述第二运动轨迹中所述关键肢体部位的位置，分别计算每个所述待处理物品与所述关键肢体部位之间的重叠度；将对应所述重叠度大于预设阈值的待处理物品，确定为与所述关键肢体部位存在交叠的候选物品；和/或，所述确定模块，具体用于根据所述第二运动轨迹确定所述关键肢体部位的中心点位置，将对应位置范围内包含所述中心点位置的待处理物品，确定为与所述关键肢体部位存在交叠的候选物品。

28、于一实施例中，所述识别模块，用于若根据所述当前物品的目标运动轨迹和所述第二运动轨迹判定所述当前物品被实施了扫码行为，根据所述当前订单信息判断是否接收到所述当前物品的扫码信息，若未接收到所述当前物品的扫码信息，确定所述当前物品存在异常行为；

29、于一实施例中，所述装置还包括：检测模块，用于根据所述原始图像，检测所述目标区域中存在的包袋位置；所述识别模块，具体还用于若根据所述当前物品的目标运动轨迹和所述包袋位置判定所述当前物品被实施了装包行为，根据所述当前订单信息判断是否接收到关于所述当前物品的编码录入信息，若未接收到所述当前物品的编码录入信息，确定所述当前物品存在异常行为；

30、于一实施例中，所述识别模块，具体还用于若根据所述当前物品的目标运动轨迹判定所述当前物品的移动距离超过预设距离阈值，根据所述当前订单信息判断是否接收到关于所述当前物品的编码录入信息，若未接收到所述当前物品的编码录入信息，确定所述当前物品存在异常行为。

31、第四方面，本技术实施例提供一种电子设备，包括：

32、至少一个处理器；以及

33、与所述至少一个处理器通信连接的存储器；

34、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备执行上述任一方面所述的方法。

35、第五方面，本技术实施例提供一种云设备，包括：

36、至少一个处理器；以及

37、与所述至少一个处理器通信连接的存储器；

38、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述云设备执行上述任一方面所述的方法。

39、第六方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述任一方面所述的方法。

40、第七方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一方面所述的方法。

41、本技术实施例提供的行为信息的识别方法、设备和存储介质，通过结合目标区域内的原始图像积极原始图像对应的深度信息，对目标区域中的用户和待处理物品进行轨迹检测与跟踪，分别得到待处理物品和用户的运动轨迹，然后根据待处理物品的第一运动轨迹和用户的关键肢体部位的第二运动轨迹，从至少一个待处理物品中选出与用户关键肢体部分有交叠的当前物品，当前物品是用户正在操作的物品，用户很有可能对当前物品进行不安全的操作行为，因此响应于当前订单信息，有针对性的结合当前物品的目标运动轨迹进行操作行为的识别，确定用户是否对该当前物品实施了不安全的操作行为。如此，结合图像深度信息可以获得跟踪对象更佳准确的跟踪轨迹，从而提高风险行为识别的准确性，提高用户体验。