一种举手统计方法、装置、设备及存储介质与流程

本申请涉及计算机，尤其涉及一种举手统计方法、装置、设备及存储介质。

背景技术：

1、视频序列中的人体姿态估计是一项涉及计算机视觉、模式识别及人工智能等多领域的研究课题，其在人机交互、虚拟现实、游戏开发等诸多方面存在着广泛的应用价值。例如，在教室课堂中可以通过检测学生举手的行为来评估学生的学习状态；或者在会议视频中可以通过统计参会人员的举手投票行为来判断投票结果等。

2、目前，现有的举手统计方法通常包括两种：一种是基于手工设计的特征和规则进行统计的方法，但该方法难以达到较高的准确度；另一种是基于深度学习的举手统计方法，但该方法是采用检测算法来判断用户是否举手，对于手部部分被遮挡的情况无法进行准确判断，精度不够，并且基于深度学习的检测算法通常比较复杂，无法实现实时统计，只能识别出单帧图像中用户的举手情况，无法更为快速、准确的对视频序列进行用户的举手统计。因此，现有的举手统计方法的效果均不够理想，如何提高举手统计结果的准确性，以提高统计效果是目前亟待解决的技术问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种举手统计方法、装置、设备及存储介质，能够有效提高举手统计结果的准确性，进而提高统计效果。

2、第一方面，本申请提供了一种举手统计方法，包括：

3、获取目标视频；该目标视频为包含目标用户的视频；

4、利用轻量化的深度网络模型，提取该目标视频中目标用户的人体关键点特征；

5、结合时空信息，对目标用户的人体关键点特征进行时序分类处理，得到目标用户的初步举手分类结果；

6、基于位置增强的追踪算法，对目标视频的相邻帧中的目标用户进行位置交并比匹配计算，得到匹配结果，并根据匹配结果和初步举手分类结果统计目标用户中的举手人数，得到最终举手统计结果。

7、第二方面，本申请实施例还提供了一种举手统计装置，包括：

8、获取模块，用于获取目标视频；该目标视频为包含目标用户的视频；

9、提取模块，用于利用轻量化的深度网络模型，提取该目标视频中目标用户的人体关键点特征；

10、分类模块，用于结合时空信息，对目标用户的人体关键点特征进行时序分类处理，得到目标用户的初始举手分类结果；

11、统计模块，用于基于位置增强的追踪算法，对目标视频的相邻帧中的目标用户进行位置交并比匹配计算，得到匹配结果，并根据匹配结果和初始举手分类结果统计目标用户中的举手人数，得到最终举手统计结果。

12、第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。

13、第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。

14、第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现本上述的方法中的步骤。

15、上述举手统计方法、装置、设备及存储介质，具有如下有益效果：

16、本申请在对目标视频中的目标用户进行举手统计时，首先利用轻量化的深度网络模型提取目标用户的人体关键点特征，提高了模型推理速度，然后是利用时序分类和基于位置增强的追踪算法，综合空间特征、时间特征和位置信息对目标用户进行更为准确的举手人数统计，其中通过位置交并比匹配确定的举手检测结果对手部部分被遮挡造成的漏检问题进行了改善，从而有效解决了现有技术中基于检测算法等方式进行举手人数统计时准确率不高的问题，获得了更准确的举手统计结果。

技术特征：

1.一种举手统计方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述利用轻量化的深度网络模型，提取所述目标视频中所述目标用户的人体关键点特征，包括：

3.根据权利要求1所述的方法，其特征在于，所述结合时空信息，对所述目标用户的人体关键点特征进行时序分类处理，得到所述目标用户的初步举手分类结果，包括：

4.根据权利要求3所述的方法，其特征在于，所述将所述时空图输入时序分类模型进行图卷积操作处理，提取出包含时空信息的目标用户手部行为特征，并根据所述手部行为特征，预测所述目标用户的初步举手分类结果，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于位置增强的追踪算法，对目标视频的相邻帧中的目标用户进行位置交并比匹配计算，得到匹配结果，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据得到的交并比取值，确定所有目标用户的匹配结果，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述匹配结果和初步举手分类结果统计目标用户中的举手人数，得到最终举手统计结果，包括：

8.一种举手统计装置，其特征在于，包括：

9.一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种举手统计方法、装置、设备及存储介质，该方法包括：首先获取包含目标用户的目标视频；然后利用轻量化的深度网络模型，提取该目标视频中目标用户的人体关键点特征；接着结合时空信息，对目标用户的人体关键点特征进行时序分类处理，得到目标用户的初始举手分类结果；再基于位置增强的追踪算法，对目标视频的相邻帧中的目标用户进行位置交并比匹配计算，得到匹配结果，并根据匹配结果和初始举手分类结果统计目标用户中的举手人数，得到最终举手统计结果。采用本申请，能够在利用轻量化的深度网络模型提取目标用户的人体关键点特征后，利用时序分类和基于位置增强的追踪算法进行更为准确的举手人数统计，有效提高了统计结果准确率。

技术研发人员：岳家名,张之楠,周超,吕江波,沈小勇
受保护的技术使用者：深圳思谋信息科技有限公司
技术研发日：
技术公布日：2024/1/16