视频帧超分辨率重构方法、装置及计算机设备与流程

本发明涉及视频处理，具体涉及一种视频帧超分辨率重构方法、装置及计算机设备。

背景技术：

1、图像超分辨率重构(super resolution,sr)是指利用计算机将一幅低分辨率图像(low resolution,lr)或图像序列进行处理，恢复出高分辨率图像(high resolution，hr)的一种图像处理技术。hr意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。

2、现有技术在视频超分辨重建时，利用对原始视频帧的图像特征提取，获取空间信息和时间信息，再对空间信息和时间信息进行重建得到超分辨率视频帧，如此获得的超分辨率视频帧虽然提高了视频帧的分辨率，但也大大的提高了视频帧的数据量，不利于视频帧的传输和存储。

技术实现思路

1、本发明的目的在于提供一种视频帧超分辨率重构方法、装置及计算机设备，以解决现有技术中超分辨率重建大大的提高了视频帧的数据量，不利于视频帧的传输和存储的技术问题。

2、为解决上述技术问题，本发明具体提供下述技术方案：

3、在本发明的第一个方面，本发明提供了一种视频帧超分辨率重构方法，包括以下步骤：

4、获取流媒体视频，所述流媒体视频中包含有多个第一视频帧；

5、对第一视频帧，通过图像特征提取，得到第一视频帧的第一焦点特征，所述第一焦点特征对应于第一视频帧中第一对象形成的图像特征，所述第一对象为流媒体视频的拍摄对象；

6、根据第一视频帧，通过目标映射关系，得到第一视频帧的第一采样率，所述第一采样率对应于使得第一视频帧保留第一焦点特征的压缩采样率，所述目标映射关系为表征第一视频帧与第一采样率间关联关系的神经网络；

7、根据第一采样率对第一视频帧，进行图像重采样，得到第二视频帧，所述第二视频帧对应于压缩后的第一视频帧；

8、对第二视频帧，进行超分辨率处理，得到第二超分辨率视频帧；

9、将第二超分辨率视频帧对应替换至流媒体视频中，得到流媒体超分辨率视频。

10、作为本发明的一种优选方案，所述第一视频帧的第一焦点特征，包括：

11、利用区域生长法对第一视频帧进行分割，得到第一对象所在的图像区域和非第一对象所在的图像区域；

12、将第一对象所在的图像区域，通过cnn神经网络进行图像特征提取，得到所述第一视频帧的第一焦点特征。

13、作为本发明的一种优选方案，所述目标映射关系的构建，包括：

14、选取多个第一视频帧作为样本视频帧；

15、在每个样本视频帧中，利用梯度下降法设定多个采样率；

16、在每个样本视频帧中，逐一利用每个采样率对样本视频帧进行图像重采样，得到每个采样率下的压缩样本视频帧；

17、在每个样本视频帧中，逐一将每个采样率下的压缩样本视频帧中第一对象所在的图像区域，通过cnn神经网络进行图像特征提取，得到每个采样率下的压缩样本视频帧的第一焦点特征；以及

18、将样本视频帧中第一对象所在的图像区域，通过cnn神经网络进行图像特征提取，得到样本视频帧的第一焦点特征；

19、在每个样本视频帧中，根据每个采样率下的压缩样本视频帧与样本视频帧进行差异度量化，得到第一差异度；

20、在每个样本视频帧中，利用bp神经网络对采样率与第一差异度进行学习训练，得到第一采样率测算网络；

21、所述第一采样率测算网络的函数表达式为：

22、k=bp(f)；

23、式中，k为第一差异度，f为采样率，bp为神经网络；

24、在每个样本视频帧中，利用第一采样率测算网络对样本视频帧所有可选的采样率进行第一差异度测算，并将最小第一差异度对应的采样率作为样本视频帧的第一采样率；

25、在多个样本视频帧中，利用bp神经网络对样本视频帧与样本视频帧的第一采样率进行学习训练，得到所述目标映射关系，以实现利用视频帧测算出视频帧的第一采样率；

26、所述目标映射关系的函数表达式为：

27、f_s=bp(g)；

28、式中，f_s为第一采样率，g为视频帧，bp为bp神经网络。

29、作为本发明的一种优选方案，所述第一差异度的量化，包括：

30、将每个采样率下的压缩样本视频帧中第一对象所在的图像区域，通过cnn神经网络进行图像特征提取，得到每个采样率下的压缩样本视频帧的第一焦点特征，封装至第一孪生网络中作为第一cnn神经网络结构，其中，压缩样本视频帧中第一对象所在的图像区域作为第一cnn神经网络的输入项，将压缩样本视频帧的第一焦点特征作为第一cnn神经网络的输出项；

31、将样本视频帧中第一对象所在的图像区域，通过cnn神经网络进行图像特征提取，得到样本视频帧的第一焦点特征，封装至第一孪生网络中作为第二cnn神经网络结构，其中，样本视频帧中第一对象所在的图像区域作为第二cnn神经网络的输入项，将样本视频帧的第一焦点特征作为第二cnn神经网络的输出项；

32、将样本视频帧作为第二孪生网络中第一cnn神经网络的输入项，将样本视频帧的全局图像特征作为第二孪生网络中第一cnn神经网络的输出项；

33、将压缩样本视频帧作为第二孪生网络中第二cnn神经网络的输入项，将压缩样本视频帧的全局图像特征作为第二孪生网络中第二cnn神经网络的输出项；

34、将第一孪生网络的损失函数与第二孪生网络的损失函数间差值作为第一差异度；

35、其中，所述第一孪生网络的损失函数对应于压缩样本视频帧的第一焦点特征与样本视频帧的第一焦点特征间的差异性；

36、所述第二孪生网络的损失函数对应于压缩样本视频帧的全局图像特征与样本视频帧的全局图像特征间的差异性；

37、第一差异度对应于压缩样本视频帧相对于样本视频帧的压缩目标，损失压缩目标包含压损损失和压缩比；

38、最小第一差异度对应于压缩样本视频帧相对于样本视频帧具有最小压缩损失和最大压缩比。

39、作为本发明的一种优选方案，所述压缩样本视频帧中第一对象所在的图像区域与样本视频帧中第一对象所在的图像区域具有一致的像素坐标。

40、作为本发明的一种优选方案，所述第一视频帧的第一采样率，包括：

41、将第一视频帧输入至目标映射关系中，由目标映射关系输出第一视频帧的第一采样率。

42、作为本发明的一种优选方案，所述第一视频帧是流媒体视频经过坏帧检测确定为图像完整的视频帧。

43、作为本发明的一种优选方案，所述将第二超分辨率视频帧对应替换至流媒体视频中，得到流媒体超分辨率视频，包括：

44、将第二超分辨率视频帧，分别依据第一视频帧在流媒体视频帧中的序列位置，对相应序列位置处的第一视频帧进行替换，得到所述流媒体超分辨率视频。

45、在本发明的第二个方面，本发明提供了一种视频帧超分辨率重构装置，包括：

46、数据获取模块，用于获取流媒体视频，所述流媒体视频中包含有多个第一视频帧；

47、数据处理模块，用于对第一视频帧，通过图像特征提取，得到第一视频帧的第一焦点特征；

48、用于根据第一视频帧，通过目标映射关系，得到第一视频帧的第一采样率；

49、用于根据第一采样率对第一视频帧，进行图像重采样，得到第二视频帧；

50、用于对第二视频帧，进行超分辨率处理，得到第二超分辨率视频帧；

51、用于将第二超分辨率视频帧对应替换至流媒体视频中，得到流媒体超分辨率视频；

52、数据存储模块，用于存储目标映射关系。

53、在本发明的第三个方面，本发明提供了一种计算机设备，

54、至少一个处理器；以及

55、与所述至少一个处理器通信连接的存储器；

56、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行视频帧超分辨率重构方法。

57、在本发明的第四个方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现视频帧超分辨率重构方法。

58、本发明与现有技术相比较具有如下有益效果：

59、本发明通过建立目标映射关系，得到使得视频帧保留焦点特征的最佳压缩采样率，基于最佳压缩采样率压缩得到的视频帧进行超分辨率处理，实现了提高视频帧的分辨率同时，保持低数据量。