一种基于深度神经网络的视频帧间预测增强方法与流程

技术特征：

1.一种基于深度神经网络的视频帧间预测增强方法，包括以下步骤：

A1、选取部分视频序列分为训练集序列与验证集序列，对这两个序列集使用一组连续的量化参数进行压缩，并且从中提取出“训练集-验证集”图像对。

A2、利用提取出来的某一个分组下的“训练集-验证集”图像对，基于深度卷积神经网络训练该压缩率分组下的视频帧间预测增强模型；

A3、测试帧间预测增强模型的有效性；利用不同于训练集与验证集的视频序列，提取出测试集图片,对模型进行测试；在有效的情况下将训练得到模型移植入编码器视频帧间预测模块中；

A4：基于GPU利用并行开发工具将测试网络并行化，并编译为动态链接库文件，导入编码器中进行时间复杂度上的优化。

2.根据权利要求1所述的方法，其特征在于：具体地，步骤A1中选第一组不同内容的视频序列作为训练集序列，选第二组不同内容的视频序列作为验证集序列，所述训练集序列与所述验证集序列没有重复或/和相似的情况，将两个所述序列同时对不同的量化参数进行压缩，产生多个不同压缩率的训练集序列、测试集序列对，然后将多个所述训练集序列、所述测试集序列对分为n组，并从每个组的所有视频序列对中提取出图片，组成不同压缩率分组下的“训练集-验证集”图像对；其中n是大于1的正整数。

3.根据权利要求1所述的方法，其特征在于：步骤A1中所述训练集序列包含的图片数量大于所述验证集序列包含的图片数量。

4.根据权利要求3所述的方法，其特征在于：所述训练集序列包含的视频数量范围为10～20个，所述验证集序列包含的视频数量小于10个。

5.根据权利要求1所述的方法，其特征在于：步骤A1中所述压缩分组并从中提取出视频图片，包括以下步骤：

B1、选取视频压缩的量化参数，利用量化参数分别压缩所述训练集序列和所述验证集序列，得到量化参数范围的多个视频压缩序列集对

其中表示训练集序列，表示验证集序列；

将所述多个视频压缩序列集对分为n组，并将组对记为

其中表示第i组中不同量化参数压缩后的训练集序列组成的序列集合， 表示第i组中不同量化参数压缩后的验证集序列组成的序列集合；

B2、对于所述组对中的任一组中的所有视频序列，找到对应的压缩前的视频原序列并将对应的视频原序列作为深度神经网络的训练标签，将这样的“压缩序列集-视频原序列集”组成的训练对记为

B3、从训练对的视频序列中，按照抽样比例提取图片，组成训练图片集对所述训练图片集对中即包含压缩之后的视频序列提取帧，也包含了压缩之前原视频序列的提取帧。

6.根据权利要求5所述的方法，其特征在于：所述量化参数为20至51，所述抽样比例为10:1。

7.根据权利要求1所述的方法，其特征在于：步骤A2中利用提取的视频图片训练深度卷积神经网络模型，包括以下步骤：

C1、将训练图片集对作为卷积神经网络模型的输入，得到卷积神经网络的测试程序；

C2、设置卷积神经网络模型的迭代次数以及验证集序列的验证周期，进行训练得到卷积神经网络模型训练参数Mⁱ。

8.根据权利要求1所述的方法，其特征在于：步骤A3中的有效模型移植入编码器帧间预测模块，包括：

D1、从不同于训练集序列与验证集序列的测试集序列中，提取图片作为已训练得到的模型的输入，在评价指标下显示卷积神经网络模型是否有效；

D2、在卷积神经网络模型有效的情况下，针对视频编码器帧间预测模块，在帧间预测结束后，移植入卷积神经网络模型的测试程序，用于视频帧间的增强；

D3、对于某个量化参数值的压缩序列，假设其量化参数值所在的组为第i组，则将训练得到的参数模型Mⁱ应用于编码器的帧间预测增强中。

9.根据权利要求1所述的方法，其特征在于：步骤A4中基于GPU利用并行开发工具将测试网络并行化，并编译为动态链接库文件，导入编码器中进行时间复杂度上的优化，包括：

S1、将在步骤A3中提到的卷积神经网络的测试程序，改写为在GPU上运行的程序；

S2、将所述在GPU上运行的程序，编译生成为动态链接库文件；

S3、在编码器帧间预测结束后，导入所述动态链接库文件。