一种视频预处理方法、装置、设备及存储介质与流程

本技术涉及计算机视觉，尤其涉及一种视频预处理方法、装置、设备及存储介质。

背景技术：

1、视频行为识别技术是计算机视觉领域一个重要分支，主要识别目标一般是人类，但也可以是动物、机器人等更宽泛的对象。视频行为识别技术广泛应用于视频监控、视频分析和理解、以及人机交互等领域，是目前一种热门的研究领域。

2、现有视频行为识别技术主要通过双流法或3d卷积及其相应变种的算法模型进行有效提取视频中的时空特征，从而进行视频行为识别。由于视频帧间信息冗余严重，普遍使用帧采样的方法进行视频识别，帧间信息丢失比较多，不利于后续的视频行为识别。

技术实现思路

1、本技术提供一种视频预处理方法、装置、设备及存储介质，可以有效保留视频帧间信息，方便后续的视频行为识别。

2、第一方面，本技术提供一种视频预处理方法，该方法包括：获取视频的目标帧，以及目标帧的前向帧与后向帧；基于目标帧以及周围帧，得到周围帧对应的运动信息掩膜；周围帧为前向帧或者后向帧；融合目标帧、前向帧对应的运动信息掩膜以及后向帧对应的运动信息掩膜，得到融合图像。

3、本技术提供的视频预处理方法，该方法中通过获取视频中目标帧的前向帧以及后向帧，并基于前向帧与目标帧确定运动信息掩膜，基于后向帧与目标帧确定运动信息掩膜，进而使用这些信息融合构成新的视频帧。该新的视频帧中包括目标帧以及前后帧的运动信息，可以方便后续视频行为识别算法的训练与推断，实现不用增加采样帧的数量也可以实现多帧识别的效果，可以有效避免视频帧间信息的丢失，保证视频行为识别的准确性。并且无需增加采样帧的数量，可以提高效率，减少计算成本。

4、一种可能的实现方式，周围帧与目标帧之间的间隔帧数、基于视频的长度、视频中目标帧的采样数量以及抖动参数确定；抖动参数为随机整数。

5、另一种可能的实现方式，前向帧满足如下表达式：

6、xni＝xnj-int(m/n/2),(1≤i≤m)

7、其中，xni为前向帧的序号，xnj为目标帧的序号，int(m/n/2)为间隔帧数，m为视频的长度，n为采样数量；

8、后向帧满足如下表达式：

9、xnk＝xnj+int(m/n/2),(1≤k≤m)

10、其中，xnk为后向帧的序号。

11、又一种可能的实现方式，周围帧与目标帧之间的间隔帧数、基于视频的长度、视频中目标帧的采样数量以及抖动参数确定；抖动参数为随机整数。

12、又一种可能的实现方式，前向帧满足如下表达式：

13、xni＝xnj-(int(m/n/2)+zi)

14、其中，xni为前向帧的序号，xnj为目标帧的序号，int(m/n/2)+zi为间隔帧数，zi为前向帧对应的抖动参数，m为视频的长度，n为采样数量；

15、后向帧满足如下表达式：

16、xnk＝xnj+int(m/n/2)+zk

17、其中，xnk为后向帧的序号，int(m/n/2)+zk为间隔帧数，zk为后向帧对应的抖动参数；

18、抖动参数的绝对值小于int(m/n/2)。

19、又一种可能的实现方式，基于目标帧以及周围帧，得到周围帧对应的运动信息掩膜，包括：

20、分别对目标帧以及周围帧，进行图像灰度化处理、尺寸缩放处理、高斯模糊处理后得到第一图像和第二图像；

21、对第一图像和第二图像进行差分处理后得到第三图像；

22、对第三图像进行尺寸恢复处理、二值化处理后得到运动信息掩膜。

23、又一种可能的实现方式，基于目标帧以及周围帧，得到周围帧对应的运动信息掩膜，包括：

24、采用目标检测算法，提取周围帧相较于目标帧中发生变换的目标区域，得到运动信息掩膜。

25、又一种可能的实现方式，融合目标帧、前向帧对应的运动信息掩膜以及后向帧对应的运动信息掩膜，得到融合图像，包括：

26、采用如下表达式得到融合图像：

27、xz＝αxa+βxb+γxc,(α+β+γ＝1)

28、其中，xz为融合图像，xa为前向帧对应的运动信息掩膜，xb为目标帧，xc为后向帧对应的运动信息掩膜；α不等于γ，且α与γ均小于β。

29、又一种可能的实现方式，融合目标帧、前向帧对应的运动信息掩膜以及后向帧对应的运动信息掩膜，得到融合图像，包括：

30、采用如下表达式得到融合图像：

31、xz＝merge([xa,xe,xc])

32、其中，merge为通道拼接函数，xa为前向帧对应的运动信息掩膜，xe为灰度化后的目标帧，xc为后向帧对应的运动信息掩膜。

33、第二方面，本技术提供一种视频预处理装置，该装置包括：获取模块和融合模块。获取模块用于，获取视频的目标帧，以及目标帧的前向帧与后向帧；获取模块还用于，基于目标帧以及周围帧，得到周围帧对应的运动信息掩膜；周围帧为前向帧或者后向帧；融合模块用于，融合目标帧、前向帧对应的运动信息掩膜以及后向帧对应的运动信息掩膜，得到融合图像。

34、一种可能的实现方式，周围帧与目标帧之间的间隔帧数，基于视频的长度以及视频中目标帧的采样数量确定。

35、另一种可能的实现方式，周围帧与目标帧之间的间隔帧数，基于视频的长度以及视频中目标帧的采样数量确定。

36、又一种可能的实现方式，前向帧满足如下表达式：

37、xni＝xnj-int(m/n/2),(1≤i≤m)

38、其中，xni为前向帧的序号，xnj为目标帧的序号，int(m/n/2)为间隔帧数，m为视频的长度，n为采样数量；

39、后向帧满足如下表达式：

40、xnk＝xnj+int(m/n/2),(1≤k≤m)

41、其中，xnk为后向帧的序号。

42、又一种可能的实现方式，间隔帧数还基于抖动参数确定；抖动参数为随机整数。

43、又一种可能的实现方式，前向帧满足如下表达式：

44、xni＝xnj-(int(m/n/2)+zi)

45、其中，xni为所述前向帧的序号，xnj为所述目标帧的序号，int(m/n/2)+zi为间隔帧数，zi为前向帧对应的抖动参数；

46、后向帧满足如下表达式：

47、xnk＝xnj+int(m/n/2)+zk

48、其中，int(m/n/2)+zk为间隔帧数，zk为后向帧对应的抖动参数；

49、抖动参数的绝对值小于int(m/n/2)。

50、又一种可能的实现方式，获取模块具体用于，分别对目标帧以及周围帧，进行图像灰度化处理、尺寸缩放处理、高斯模糊处理后得到第一图像和第二图像；对第一图像和第二图像进行差分处理后得到第三图像；对第三图像进行尺寸恢复处理、二值化处理后得到运动信息掩膜。

51、又一种可能的实现方式，获取模块具体用于，采用目标检测算法，提取周围帧相较于目标帧中发生变换的目标区域，得到运动信息掩膜。

52、又一种可能的实现方式，融合模块具体用于，采用如下表达式得到融合图像：

53、xz＝αxa+βxb+γxc,(α+β+γ＝1)

54、其中，xz为融合图像，xa为前向帧对应的运动信息掩膜，xb为目标帧，xc为后向帧对应的运动信息掩膜；α不等于γ，且α与γ均小于β。

55、又一种可能的实现方式，融合模块具体用于，采用如下表达式得到融合图像：

56、xz＝merge([xa,xe,xc])

57、其中，merge为通道拼接函数，xa为前向帧对应的运动信息掩膜，xe为灰度化后的目标帧，xc为后向帧对应的运动信息掩膜。

58、第三方面，本技术提供一种电子设备，该电子设备包括：处理器和存储器；存储器存储有处理器可执行的指令；处理器被配置为执行指令时，使得电子设备实现上述第一方面的方法。

59、第四方面，本技术提供一种计算机可读存储介质，该计算机可读存储介质包括：计算机软件指令；当计算机软件指令在电子设备中运行时，使得电子设备实现上述第一方面的方法。

60、第五方面，本技术提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述第一方面描述的相关方法的步骤，以实现上述第一方面的方法。

61、上述第二方面至第五方面的有益效果参考第一方面的对应描述，不再赘述。