一种基于3D卷积的视频超分辨率的方法与流程

一种基于3d卷积的视频超分辨率的方法
技术领域
1.本发明涉及计算机视觉领域，特别地，涉及一种基于3d卷积的视频超分辨率的方法。


背景技术：

2.随着科学技术的发展，低分辨率的电子显示器，逐渐被2k/4k显示屏等超高清显示器所替代，消费者对超高清视频片源的需求也越来越高。但是，老旧影视因为早期拍摄设备落后等问题，导致没有超高清片源，严重影响观看体验。与此同时，基于深度神经网络的视频超分辨率算法，在将标清视频处理成超高清视频的技术应用上，得到广泛应用，取得了巨大进步。现有方法中，将视频解码后输入到神经网络，分辨率1920*1080的视频，100帧画面的时间跨度较长，解码后所需内存高达100*1920*1080*3*64≈4.6gb，现有的单层级的深度神经网络算法模型，难以处理如此大规模的数据，最终导致算法无法建立长时间跨度图像帧的相互依赖关系，进而导致视频帧参考信息的缺失。
3.解决上述问题的难度为：在现有技术中，一般将视频帧进行简单的卷积计算，或者用对抗生成网络结合光流算法，进行图像帧的依赖关系的特征提取，将提取到的特征作为当前视频帧的参考信息，但由于在超分应用中，视频帧数据量较大，导致难以建立长时间跨度的图像帧。
4.对视频的某一帧进行超分，输入的原始信息越多，意味着超分后的画面越接近真实情况；视频通用编码特性，视频前后十几帧，甚至几百帧，都与当前帧强相关；而视频解码后的数据量，是十分庞大的。解决上述问题的意义为：多层级3d卷积，可以将数据分批处理，并分批输入神经网络，特别是分批输入多个浅层神经网络，多层级3d卷积神经网络，在提取到信息特征的同时，可以将数据迅速缩减；对抗生成网络的计算量，由通道数量、宽度、深度共同决定，数据量减少之后，通道数量、宽度都会减小，此时深度不变，因此对抗生成网络的计算量，随着输入数据量的锐减而迅速下降，从而，解决当前单层级神经网络难以解决的输入数据量过大，导致计算量巨大而难以计算的问题。


技术实现要素：

5.本发明提供了一种基于3d卷积的视频超分辨率的方法，以此解决在现有方法中超分算法因无法进行长时间跨度视频帧的依赖关系特征提取而导致视频帧参考信息缺失的问题。
6.本发明的技术方案如下：
7.本发明的基于3d卷积的视频超分辨率的方法，包括以下步骤：s1.视频帧分组：从视频文件中，读取视频帧，并将视频帧分组；s2.3d卷积计算：基于3d卷积神经网络，构建特征提取算法模型；s3.基于对抗生成网络(gan)，构建超分辨率算法模型。
8.可选地，在上述基于3d卷积的视频超分辨率的方法中，在步骤s1中，使用通用编解码软件工具，读取视频文件，将视频帧解码成通用的数组矩阵，依次存放在内存中；选取视
频帧的某一帧，并将视频帧前后相邻的m帧视频，依次分成n组；将每一组的视频帧进行拼接，以此作为每个层级3d卷积的输入数据。
9.可选地，在上述基于3d卷积的视频超分辨率的方法中，在步骤s2中，构架一个多层级、多输入的3d卷积神经网络模型，首先输入一帧超分前的视频帧，经过卷积神经网络，得到一组特征图；每个层级输入一组视频帧和上一级的特征图，输出一组特征图；多层级输出后，得到3d卷积算法模型最终输出的一组特征图。
10.可选地，在上述基于3d卷积的视频超分辨率的方法中，在步骤s3中，基于对抗生成网络(gan)，构建上采样算法模型，实现超分辨率生成算法，超分辨率生成算法输入3d卷积计算最终输出的一组特征图，输出当前超分后的视频帧。
11.可选地，在上述基于3d卷积的视频超分辨率的方法中，超分辨率算法模型包括：基于cnn卷积的超分前视频帧输入网络、基于3d卷积的特征提取网络和基于gan对抗生成网络的超分辨率提升网络。
12.根据本发明的技术方案，产生的有益效果是:
13.本发明的基于3d卷积的视频超分辨率的方法，根据视频帧之间的相关性，利用3d卷积提取图像帧之间的依赖关系，并结合对抗生成网络(gan)的生成能力，采用多层级图像帧分组输入，从而避免了旧有方法无法进行长时间跨度视频帧的依赖关系特征提取而导致视频帧参考信息缺失的问题，最终，实现长时间跨度视频帧的依赖关系特征提取的超分功能。
14.为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过具体实施例，对本发明进行详细说明如下：
附图说明
15.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
16.图1是本发明的基于3d卷积的视频超分辨率的方法的流程图；
17.图2是本发明方法涉及的超分算法模型的示意图；
18.图3是本发明方法涉及的超分辨率算法模型的示意图。
具体实施方式
19.为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。
20.本发明的基于3d卷积的视频超分辨率的方法,本发明将视频帧进行分组作为输入数据，利用多层级3d卷积提取视频帧之间的相关性，并结合gan对抗生成网络的生成能力，从而实现长时间跨度视频帧依赖关系特征提取的视频超分功能。具体地，采用多层级3d卷积的方式，将视频帧分组作为输入数据依次使用3d卷积进行特征提取(即，提取视频帧之间的相关性)，得到超分前的某帧视频图像与其他视频帧之间的关系。根据相邻越近，视频帧关系越密切的原则，多层级分组输入，可以减少不必要的视频帧之间的特征提取，以此减少计算量，最终使得可以输入长时间跨度的视频帧，并对进行视频帧进行依赖关系的特征提取。
21.本发明的工作原理是:利用3d卷积提取视频帧的相关性，对视频帧之间建立联系，进而实现长时间跨度视频帧的依赖关系特征提取的功能；利用对抗生成网络gan的生成特性，将低分辨率特征图，生成为高分辨率图像。本发明方法的思路是，首先特征提取，然后使用这些特征作为对抗生成网络的输入数据，对抗生成网络可以设计成上采样或下采样，本发明要提升分辨率，而不是降低分辨率，所以将对抗生成网络设计为上采样，实现分辨率提升的功能。
22.如图1所示，本发明的基于3d卷积的视频超分辨率的方法，包含以下步骤：
23.s1.视频帧分组：从视频文件中，读取视频帧，并将视频帧分组。根据算法模型的数据结构要求，对数据流的数据结构进行预处理。
24.在该步骤中，使用通用编解码软件工具，读取视频文件，将视频帧解码成通用的数组矩阵，依次存放在内存中；选取视频帧的某一帧，并将该视频帧前后相邻的m帧视频，依次分成n组；将每一组的视频帧，使用通用的方式，进行拼接，以此作为每个层级3d卷积的输入数据。
25.s2.3d卷积计算：基于3d卷积神经网络，构建特征提取算法模型。
26.构架一个多层级、多输入的3d卷积神经网络模型，首先输入一帧超分前的视频帧，经过卷积神经网络(cnn)，得到一组特征图；每个层级输入一组视频帧和上一级的特征图，输出一组特征图；多层级输出后，得到3d卷积算法模型(即，特征提取算法模型)最终输出的一组特征图。
27.如图2所示，
①
将准备好的超分前的某一帧视频(即，图2中的超分前的视频帧)，输入到一个通用的卷积神经网络(cnn卷积)中，经过神经网络特征提取，输出得到特征图c。
②
第1层级的3d卷积神经网络(3d卷积1)，将特征图c和第1组视频帧(视频帧组1)作为输入数据，经第1层级的3d卷积神经网络进行特征提取后，得到一组特征图1；
③
第2层级的3d卷积神经网络(3d卷积2)，将特征图1和第2组视频帧(视频帧组2)作为输入数据，经第2层级的3d卷积神经网络进行特征提取后，得到一组特征图2；
④
依次类推，最终输出特征图n，特征图n将作为gan对抗生成网络的输入数据。
28.如图2所示，是本发明的超分算法模型的示意图。算法模型由三大部分组成：基于cnn卷积的超分前视频帧输入网络、基于3d卷积的特征提取网络、基于gan对抗生成网络的超分辨率提升网络。
29.s3.gan对抗生成(对抗生成网络)：基于对抗生成网络(gan)，构建超分辨率算法模型。
30.基于对抗生成网络(gan)，构建上采样算法模型(即，超分辨率算法模型)，实现超分辨率生成算法，该算法输入3d卷积计算最终输出的一组特征图，输出当前超分后的视频帧。
31.如图3所示，是本发明的超分辨率算法模型的示意图。步骤s2中得到了特征图n，该特征图描述了当前视频帧与其他视频帧之间的依赖关系，以及视频帧所携带的信息。特征图n作为分辨率提升网络(gan对抗生成网络)的输入数据，经过对抗生成网络，实现分辨率的提升，生成输出高分辨率的视频帧。该视频帧就是最终输出的超分后视频帧。至此，完成基于3d卷积的视频超分辨率的算法模型的实现。
32.本发明方法利用视频帧之间的相关性，并结合3d卷积对视频帧之间的特征提取能
力，设计了全新的视频超分辨率算法模型，支持长时间跨度的视频帧依赖关系的特征提取，特别的，基于3d卷积提取视频帧之间的相关性，设计了基于3d卷积的依赖关系特征提取的算法模型，实现一个多层级、多输入的视频帧依赖关系特征提取算法，进而实现一个视频超分辨率的方法。以此支持多层级的多组视频帧的输入，并结合gan对抗神经网络的生成能力，最终实现提供长时间跨度视频帧依赖的信息参考的超分功能。
33.以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。