时空动作检测方法、装置、电子设备及存储介质与流程

本发明涉及计算机视觉与深度学习领域，尤其涉及一种时空动作检测方法、装置、电子设备及存储介质。

背景技术：

1、时空动作检测，是指对给定的未修剪视频，对其中的不同人物进行位置定位，并对定位到的人物进行动作分析，输出不同人物的动作类型。与动作识别相比，时空动作检测需要对每个人物进行动作建模，而动作识别是对整个视频进行动作建模，通常情况下，在分析视频中存在多个人物，不同人物的动作行为也不一致，对整个视频进行动作建模显然不合适。

2、时空动作检测包含空间域人物定位及时序动作分析两个子任务。现有的时空动作检测方法可以分为两阶段和单阶段的。然而，无论是两阶段还是单阶段，当前动作识别绝大部分是以时序片段作为整体进行动作建模，对该片段输出一个动作类别，存在采样策略选取不合适、采样长度选取过长、无法准确定位动作帧以及时序特征表述差，从而导致不能对长视频中的不同人物，不同动作进行准确定位与识别的问题。

技术实现思路

1、本发明的目的在于解决上述问题，提供一种时空动作检测方法、装置、电子设备及存储介质，解决了采样策略选取不合适、采样长度选取过长、无法准确定位动作帧以及时序特征表述差的问题，实现了对长视频中的不同人物，不同动作进行准确定位与识别的目的。

2、为解决上述问题，本申请的实施例提供了一种时空动作检测方法，方法包括：对连续视频帧中的各人物进行定位，得到每一视频帧中的各人物的位置信息，并对每一视频帧中的各人物的位置信息进行缓存；根据缓存的预设长度序列的视频帧中的人物位置信息，识别每一视频帧的人物动作，得到连续视频帧中每一视频帧的各人物的人物动作。

3、为解决上述问题，本申请的实施例提供了一种时空动作检测装置，方法包括：位置识别模块，用于对连续视频帧中的各人物进行定位，得到每一视频帧中的各人物的位置信息，并对每一视频帧中的各人物的位置信息进行缓存；动作识别模块，用于根据缓存的预设长度序列的视频帧中的人物位置信息，识别每一视频帧的人物动作，得到连续视频帧中每一视频帧的各人物的人物动作。

4、为解决上述问题，本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述时空动作检测方法。

5、为解决上述问题，本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述时空动作检测方法。

6、在本申请实施例中，首先对人物进行定位获取位置信息，并对获取的各人物的位置信息进行缓存，再根据缓存的预设长度序列的视频帧中的人物位置信息，识别每一视频帧的人物动作，得到连续视频帧中每一视频帧的各人物的人物动作，解决了采样策略、采样长度选取的问题，对每个视频帧进行动作判别，可以区分视频帧序列的背景与动作前景信息，增强了网络模型的时序特征表述能力。实现了对长视频中的不同人物、不同动作进行准确定位与识别。

技术特征：

1.一种时空动作检测方法，其特征在于，包括：

2.根据权利要求1所述的时空动作检测方法，其特征在于，所述对连续视频帧中的各人物进行定位，得到每一视频帧中的各人物的位置信息，包括：

3.根据权利要求2所述的时空动作检测方法，其特征在于，所述将所述缓冲矩阵中存储的各所述人物的位置信息输入预先训练好的动作识别模型，包括：

4.根据权利要求3所述的时空动作检测方法，其特征在于，在所述对所述缓冲矩阵中每一行的长度进行检测后，还包括：

5.根据权利要求2所述的时空动作检测方法，其特征在于，所述将所述目标跟踪网络模型输出的各所述人物的位置信息存储在缓冲矩阵中，包括：

6.根据权利要求2至4中任一项所述的时空动作检测方法，其特征在于，所述将所述缓冲矩阵中存储的各所述人物的位置信息输入预先训练好的动作识别模型，包括：

7.根据权利要求2至5中任一项所述的时空动作检测方法，其特征在于，在所述通过预先训练好的目标跟踪网络模型，对连续视频帧中的各人物进行定位之前，还包括：

8.一种时空动作检测装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的时空动作检测方法。

技术总结
本申请实施例涉及计算机视觉与深度学习领域，公开了一种时空动作检测方法、装置、电子设备及存储介质，方法包括：对连续视频帧中的各人物进行定位，得到每一视频帧中的各人物的位置信息，并对每一视频帧中的各人物的位置信息进行缓存；根据缓存的预设长度序列的视频帧中的人物位置信息，识别每一视频帧的人物动作，得到连续视频帧中每一视频帧的各人物的人物动作，实现了对长视频中的不同人物、不同动作进行准确定位与识别。

技术研发人员：葛成伟,童俊文,关涛,李健
受保护的技术使用者：中兴通讯股份有限公司
技术研发日：
技术公布日：2024/1/13