一种行为识别方法、装置、设备和存储介质与流程

本发明涉及行为识别，尤其涉及一种行为识别方法、装置、设备和存储介质。

背景技术：

1、相关技术中，流媒体行为检测的方法包括流媒体视频片段检测法和图像分析检测法，在这两种检测方法中，需要先采集关键帧，再做解码，再编码成视频放入视频识别神经网络，整个行为识别周期长，针对该问题，目前尚无有效解决方案。

技术实现思路

1、为解决现有存在的技术问题，本发明的主要目的在于提供一种行为识别方法、装置、设备和存储介质。

2、为达到上述目的，本发明实施例的技术方案是这样实现的：

3、第一方面，本发明提供一种行为识别方法，所述方法包括：

4、根据待识别行为对应的视频流数据获取第一视频帧和第二视频帧对应的初始运动矢量差；所述第一视频帧是所述第二视频帧的前一视频帧；

5、在所述待识别行为满足预设条件的情况下，获取满足所述预设条件的所述待识别行为对应的第一图像数据；

6、将所述初始运动矢量差和所述第一图像数据进行融合处理，得到目标信息；

7、对所述目标信息进行行为识别，得到所述待识别行为对应的识别结果。

8、在上述方案中，所述根据待识别行为对应的视频流数据获取第一视频帧和第二视频帧对应的初始运动矢量差，包括：

9、对所述待识别行为对应的视频流数据进行反卷积解码处理，获取所述第一视频帧和所述第二视频帧对应的初始运动矢量差。

10、在上述方案中，所述在所述待识别行为满足所述预设条件的情况下，获取满足所述预设条件的所述待识别行为对应的第一图像数据，包括：

11、判断所述第一视频帧和所述第二视频帧之间是否存在变化，或所述第一视频帧和所述第二视频帧中是否检测到目标对象；

12、在所述第一视频帧和所述第二视频帧之间存在变化，或所述第一视频帧和所述第二视频帧中检测到所述目标对象的情况下，获取满足所述预设条件的所述待识别行为对应的第一图像数据。

13、在上述方案中，所述在所述待识别行为满足预设条件的情况下，获取满足所述预设条件的所述待识别行为对应的第一图像数据之前，所述方法还包括：

14、获取所述待识别行为对应的视频流数据对应的第二图像数据；

15、根据所述初始运动矢量差对所述第二图像数据进行剪切处理，得到所述待识别行为对应的第一剪切差图；

16、对所述第一剪切差图和所述初始运动矢量差进行拼接处理，得到第二剪切差图；所述第二剪切差图为所述第一剪切差图对应的下一帧差图；

17、基于所述第二剪切差图确定所述待识别行为对应的分类结果。

18、在上述方案中，所述方法还包括：

19、基于所述第一图像数据进行采样和反卷积处理，得到所述第一图像数据对应的至少一个分辨率的图像；每个所述分辨率的图像用于对所述第一图像数据进行识别。

20、在上述方案中，所述对所述初始运动矢量差和所述第一图像数据进行融合处理，得到目标信息，包括：

21、对所述初始运动矢量差和所述第一图像数据进行预测处理，得到第一目标信息；所述第一目标信息用于对所述待识别行为进行行为预测；

22、对所述第一图像数据进行卷积处理，得到第二目标信息；所述第二目标信息用于对所述待识别行为进行行为识别。

23、在上述方案中，所述对所述目标信息进行行为识别，得到所述待识别行为对应的识别结果，包括：

24、在所述待识别对应的视频流中确定目标视频流；

25、基于所述第二目标信息确定所述目标视频流对应的状态值序列参数；

26、根据所述状态值序列参数将所述目标视频流划分为至少两个窗口，对所述窗口进行滑动处理，得到每个所述窗口对应的序列值；

27、基于所述序列值得到所述待识别行为对应的识别结果。

28、第二方面，本发明还提供一种行为识别装置，所述装置包括获取单元、判断单元、处理单元和识别单元，其中，

29、所述第一获取单元，用于根据待识别行为对应的视频流数据获取第一视频帧和第二视频帧对应的初始运动矢量差；所述第一视频帧是所述第二视频帧的前一视频帧；

30、所述第二获取单元，用于在所述待识别行为满足预设条件的情况下，获取满足所述预设条件的所述待识别行为对应的第一图像数据；

31、所述处理单元，用于将所述初始运动矢量差和所述第一图像数据进行融合处理，得到目标信息；

32、所述识别单元，用于对所述目标信息进行行为识别，得到所述待识别行为对应的识别结果。

33、第三方面，本发明实施例提供一种存储介质，所述存储介质上存储有计算机程序；所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。

34、第四方面，本发明实施例提供一种行为识别设备，所述行为识别设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行上述任一项所述方法的步骤。

35、本发明实施例提供一种行为识别方法、装置、设备和存储介质。其中，所述方法包括：根据待识别行为对应的视频流数据获取第一视频帧和第二视频帧对应的初始运动矢量差；所述第一视频帧是所述第二视频帧的前一视频帧；判断在所述待识别行为满足预设条件的情况下，获取满足预设条件的所述待识别行为对应的第一图像数据；将所述初始运动矢量差和所述第一图像数据进行融合处理，得到目标信息；对所述目标信息进行行为识别，得到所述待识别行为对应的识别结果。采用本发明实施例的技术方案，在所述待识别行为满足预设条件的情况下，才进行行为识别，可以减少计算资源的浪费，共享初始运动矢量差可以减少全图搜索的范围，从而减少行为识别的时间，提高行为识别效率。

技术特征：

1.一种行为识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据待识别行为对应的视频流数据获取第一视频帧和第二视频帧对应的初始运动矢量差，包括：

3.根据权利要求1所述的方法，其特征在于，所述在所述待识别行为满足预设条件的情况下，获取满足所述预设条件的所述待识别行为对应的第一图像数据，包括：

4.根据权利要求1所述的方法，其特征在于，所述在所述待识别行为满足预设条件的情况下，获取满足所述预设条件的所述待识别行为对应的第一图像数据之前，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述初始运动矢量差和所述第一图像数据进行融合处理，得到目标信息，包括：

7.根据权利要求6所述的方法，其特征在于，所述对所述目标信息进行行为识别，得到所述待识别行为对应的识别结果，包括：

8.一种行为识别装置，其特征在于，所述装置包括获取单元、判断单元、处理单元和识别单元，其中，

9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序；所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。

10.一种行为识别设备，其特征在于，所述行为识别设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述方法的步骤。

技术总结
本发明实施例公开了一种行为识别方法、装置、设备和存储介质。所述方法包括：根据待识别行为对应的视频流数据获取第一视频帧和第二视频帧对应的初始运动矢量差；所述第一视频帧是所述第二视频帧的前一视频帧；在所述待识别行为满足预设条件的情况下，获取满足所述预设条件的所述待识别行为对应的第一图像数据；将所述初始运动矢量差和所述第一图像数据进行融合处理，得到目标信息；对所述目标信息进行行为识别，得到所述待识别行为对应的识别结果。

技术研发人员：张程,陈建,李泽源,罗江阳,叶建荣
受保护的技术使用者：中移（成都）信息通信科技有限公司
技术研发日：
技术公布日：2024/1/16