一种商品抓取动作的识别方法、装置、设备及存储介质与流程

本发明涉及图像处理，特别是涉及一种商品抓取动作的识别方法、装置、设备及存储介质。

背景技术：

1、无人智能货柜近几年发展迅速，通过无人值守，非接触式的方式完成商品的交易，极大程度为买卖双方提供了便利。目前主流的无人货柜方案。通过对消费者抓取商品的抓取轨迹来生成商品结算信息。

2、但是当用户手持商品在货柜前停留、徘徊等往复折返的运动时，则会导致抓取轨迹对应的商品放入或拿出的状态难以识别，难以区分消费者的具体动作行为，从而降低了商品结算信息的精确度。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的商品抓取动作的识别方法、装置、设备及存储介质。

2、依据本发明的第一方面，提供了一种商品抓取动作的识别方法，所述方法包括：

3、获取满足动作捕捉条件的多张图像，所述图像包括多张第一视角图像和多张第二视角图像，且所述图像中标定有轨迹绊线，所述轨迹绊线用于区分货柜的内部方向和外部方向，所述轨迹绊线包括：第一视角图像对应的第一轨迹绊线和第二视角对象对应的第二轨迹绊线；

4、分别将各图像输入到商品检测模型中进行商品检测，确定出所述图像对应的商品检测结果，所述商品检测结果包括：第一视角对象对应的第一商品检测结果和第二视角图像对应的第二商品检测结果；

5、按时序将各图像对应的商品检测结果，分别输入到商品追踪模型中进行商品追踪，确定出多条商品抓取轨迹，其中，所述商品抓取轨迹包括轨迹头坐标；

6、依据所述轨迹绊线的位置信息与各商品抓取轨迹对应的轨迹头坐标，确定当前的商品抓取动作。

7、依据本发明的第二方面，提供了一种商品抓取动作的识别装置，所述装置包括：

8、图像获取模块，用于获取满足动作捕捉条件的多张图像，所述图像包括多张第一视角图像和多张第二视角图像，且所述图像中标定有轨迹绊线，所述轨迹绊线用于区分货柜的内部方向和外部方向，所述轨迹绊线包括：第一视角图像对应的第一轨迹绊线和第二视角对象对应的第二轨迹绊线；

9、商品检测模块，用于分别将各图像输入到商品检测模型中进行商品检测，确定出所述图像对应的商品检测结果，所述商品检测结果包括：第一视角对象对应的第一商品检测结果和第二视角图像对应的第二商品检测结果；

10、轨迹确定模块，用于按时序将各图像对应的商品检测结果，分别输入到商品追踪模型中进行商品追踪，确定出多条商品抓取轨迹，其中，所述商品抓取轨迹包括轨迹头坐标；

11、抓取动作确定模块，用于依据所述轨迹绊线的位置信息与各商品抓取轨迹对应的轨迹头坐标，确定当前的商品抓取动作。

12、依据本发明的第三方面，提供了一种电子设备，包括：

13、一个或多个处理器；

14、存储器；

15、一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述中任一所述的方法。

16、依据本发明的第四方面，提供了一种计算机可读存储介质，存储与电子设备结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述中任一所述的方法。

17、本发明方案中，首先通过获取满足动作捕捉条件的多张图像，所述图像包括多张第一视角图像和多张第二视角图像，且所述图像中标定有轨迹绊线，所述轨迹绊线用于区分货柜的内部方向和外部方向，所述轨迹绊线包括：第一视角图像对应的第一轨迹绊线和第二视角对象对应的第二轨迹绊线。然后分别将各图像输入到商品检测模型中进行商品检测，确定出所述图像对应的商品检测结果，所述商品检测结果包括：第一视角对象对应的第一商品检测结果和第二视角图像对应的第二商品检测结果。接着按时序将各图像对应的商品检测结果，分别输入到商品追踪模型中进行商品追踪，确定出多条商品抓取轨迹，其中，所述商品抓取轨迹包括轨迹头坐标。最后依据轨迹绊线的位置信息与各商品抓取轨迹对应的轨迹头坐标，确定当前的商品抓取动作。因而通过对商品对象当前的轨迹头坐标与轨迹绊线之间的位置关系的动态监测，确定出商品对象当前的商品抓取动作，能够大大提升商品结算的精确度。

18、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种商品抓取动作的识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的商品抓取动作的识别方法，其特征在于，所述依据所述轨迹绊线的位置信息与各商品抓取轨迹对应的轨迹头坐标，确定当前的商品抓取动作，包括：

3.根据权利要求2所述的商品抓取动作的识别方法，其特征在于，所述确定所述商品抓取轨迹的当前穿越状态，包括：

4.根据权利要求3所述的商品抓取动作的识别方法，其特征在于，所述依据所述当前穿越状态，确定当前的商品抓取动作，包括：

5.根据权利要求4所述的商品抓取动作的识别方法，其特征在于，所述依据所述当前穿越状态，确定当前的商品抓取动作，包括：

6.根据权利要求所述的商品抓取动作的识别方法，其特征在于，所述方法还包括标定所述轨迹绊线的步骤：

7.根据权利要求1所述的商品抓取动作的识别方法，其特征在于，所述商品检测结果包括：商品框、商品类别以及分类置信度；

8.一种商品抓取动作的识别装置，其特征在于，所述装置包括：

9.一种电子设备，包括：

10.一种计算机可读存储介质，存储与电子设备结合使用的计算机程序，所述计算机程序可被处理器执行以完成权利要求1-8中任一所述的方法。

技术总结
本发明实施例公开了一种商品抓取动作的识别方法、装置、设备及存储介质，涉及图像处理技术领域。所述方法包括获取满足动作捕捉条件的多张图像，图像包括多张第一视角图像和多张第二视角图像，且图像中标定有轨迹绊线，轨迹绊线用于区分货柜的内部方向和外部方向。然后分别将各图像输入到商品检测模型中进行商品检测，确定出图像对应的商品检测结果。接着将各商品检测结果分别输入到商品追踪模型中进行商品追踪，确定出多条商品抓取轨迹，商品抓取轨迹包括轨迹头坐标。最后依据轨迹绊线的位置信息与各商品抓取轨迹对应的轨迹头坐标，确定当前的商品抓取动作，从而能够提升商品结算的精确度。

技术研发人员：田光亚,朱勇
受保护的技术使用者：中科创达软件股份有限公司
技术研发日：
技术公布日：2024/1/16