时空超分辨率的视频增强方法和系统与流程

本发明涉及图像处理的技术领域，尤其涉及时空超分辨率的视频增强方法和系统。

背景技术：

时空超分辨率st-mr是将低空间分辨率视频转换为时空高分辨率视频，而传统的st-mr只是单独地在时间或空间上处理上下文信息。多个输入帧的空间分辨率s-sr，即多图像和视频sr通过空间对齐相似帧，然后将空间低分辨率s-lr解析为空间高分辨率s-hr，时间分辨率t-sr则通过视频插值来构造中间帧，从而将时间低分辨率t-lr提高到时间高分辨率t-hr。现有技术的st-mr不是基于深度学习的方法，需要输入较长的视频来提取时空模式，虽然manoj等人基于深层网络提出st-mr，然而该st-mr方法只依赖lr进行插值，未能充分利用st-mr模式的优点。实际上视频数据空间和时间显然是相关联的，需要联合学习空间和时间特征来解决视频增强任务，这需要更高的空间表示法(分辨率)可以提供更精确的运动信息，更高的时间表示法(帧率)能够更好地提取更多空间上下文信息，在时空超分辨率视频中提取上下文信息，能够提高视频的准确性和清晰度。

技术实现要素：

针对上述现有技术存在的缺陷，本发明提供时空超分辨率的视频增强方法和系统，其通过收集视频数据集，并对所述视频数据集进行视频数据增强处理，再将所述视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集，并构建时空超分辨率网络stamnet，并通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中的高维图像特征信息，再将所述训练数据集的视频数据输入所述时空超分辨率网络，并引入流细化损失来训练所述时空超分辨率网络的整个网络结构，同时还利用sgd优化算法来训练与优化所述时空超分辨率网络，以使在空间和时间上联合学习所述高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型，最后将所述测试数据集中的测试视频数据输入所述最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果；可见，该时空超分辨率的视频增强方法和系统通过流细化损失来降低大运动引起的流动噪声，从而解决了大运动使得视频插值变得困难的问题，并且通过插值帧和输入帧来增强空间分辨率s-sr，通过空间高分辨率s-hr中观察到的大运动和空间低分辨率s-lr中观察到的细微运动来增强时间分辨率t-sr，从而增强空间分辨率s-sr和时间分辨率t-sr模型，解决了在空间高分辨率s-hr帧上执行时间分辨率t-sr很难估计大运动，而在空间低分辨率s-lr帧上插值很难估计细微的运动的问题，再利用时间和空间之间的相互关系，在时空上联合学习，在多分辨率st-mr中从低分辨率lr直接连接到高分辨率hr，从而得到丰富的多尺度特征来增强空间分辨率s-sr和时间分辨率t-sr，最后形成时空超分辨率网络stamnet解决了st-mr只是单独地在时间和空间上处理上下文信息的问题，从而通过视频插值来提高帧率，进而提高了视频帧的空间分辨率，以及在时空超分辨率视频中提取上下文信息，能够提高视频的准确性和清晰度。

本发明提供时空超分辨率的视频增强方法，其特征在于，其包括如下步骤：

步骤s1，收集视频数据集，并对所述视频数据集进行视频数据增强处理，再将所述视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集；

步骤s2，构建时空超分辨率网络stamnet，并通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中的高维图像特征信息；

步骤s3，将所述训练数据集的视频数据输入所述时空超分辨率网络，并引入流细化损失来训练所述时空超分辨率网络的整个网络结构，同时还利用sgd优化算法来训练与优化所述时空超分辨率网络，以使在空间和时间上联合学习所述高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型；

步骤s4，将所述测试数据集中的测试视频数据输入所述最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果；

进一步，在所述步骤s1中，收集视频数据集，并对所述视频数据集进行视频数据增强处理，再将所述视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集具体包括：

步骤s101，收集vimeo90k视频数据集，以此使所述视频数据集包括若干大小为448×256的视频；

步骤s102，使用图像旋转、图像翻转和图像随机裁剪中的至少一种操作，来对所述视频数据集进行视频数据增强处理；

步骤s103，将所述视频数据集转换为tfrecord格式文件，并以多线程并行方式来对所述tfrecord格式文件进行数据读取，从而得到相应的训练与测试数据集；

进一步，在所述步骤s2中，构建时空超分辨率网络stamnet，并通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中的高维图像特征信息具体包括：

步骤s201，联合优化空间分辨率s-sr、时间分辨率t-sr和时空超分辨率st-mr，以使在多分辨率中相互增强视频的空间和时间特征和实现视频空间高分辨率特征s-hr和空间低分辨率特征s-lr的相互转换，从而构建得到所述时空超分辨率网络stamnet；

步骤s202，通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中每个视频对应的高维图像特征信息；

进一步，在所述步骤s3中，将所述训练数据集的视频数据输入所述时空超分辨率网络，并引入流细化损失来训练所述时空超分辨率网络的整个网络结构，同时还利用sgd优化算法来训练与优化所述时空超分辨率网络，以使在空间和时间上联合学习所述高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型具体包括：

步骤s301，对所述时空超分辨网络进行实现关于空间分辨率s-sr、时间分辨率t-sr和时空超分辨率st-mr联合学习的初始化处理，进行关于从原始光流图像到高分辨率特征和低分辨率特征图以及生成细化特征图的改进处理，进行关于在空间和时间上联合学习低分辨率特征图和高分辨率特征图的重建处理，从而实现对所述时空超分辨网络的端到端的训练，再将所述训练数据集的视频数据输入所述时空超分辨网络；

步骤s302，基于所述视频数据中图像帧前向和后向运动的流图像，确定所述视频数据的流细化损失函数，并根据所述流细化损失函数来训练所述时空超分辨率网络的整个网络结构；

步骤s303，利用sgd优化算法来训练与优化所述时空超分辨率网络，以使在空间和时间上联合学习所述高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型；

进一步，在所述步骤s4中，将所述测试数据集中的测试视频数据输入所述最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果具体包括：

步骤s401，将所述测试数据集中的测试视频数据输入所述最优的视频增强模型中，以此利用插入帧和输入帧来增强图像空间分辨率，以及通过在空间高分辨率图像中观察得到的大运动和在空间低分辨率中观察得到的细微运动来增强图像时间分辨率，从而实现所述联合学习空间和时间上下文处理；

步骤s402，从所述联合学习空间和时间上下文处理得到的输出结果中，确定输出结果中每一个输出视频数据的空间分辨率，并将具有最高空间分辨率的视频数据作为最终结果。

本发明还提供时空超分辨率的视频增强系统，其特征在于，其包括数据预处理模块、特征提取模块、训练模块和视频处理模块；其中，

所述数据预处理模块用于收集视频数据集，并对所述视频数据集进行视频数据增强处理，再将所述视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集；

所述特征提取模块用于构建时空超分辨率网络stamnet，并通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中的高维图像特征信息；

所述训练模块用于将所述训练数据集的视频数据输入所述时空超分辨率网络，并引入流细化损失来训练所述时空超分辨率网络的整个网络结构，同时还利用sgd优化算法来训练与优化所述时空超分辨率网络，以使在空间和时间上联合学习所述高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型；

所述视频处理模块用于将所述测试数据集中的测试视频数据输入所述最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果；

进一步，所述数据预处理模块收集视频数据集，并对所述视频数据集进行视频数据增强处理，再将所述视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集具体包括：

收集vimeo90k视频数据集，以此使所述视频数据集包括若干大小为448×256的视频；

并使用图像旋转、图像翻转和图像随机裁剪中的至少一种操作，来对所述视频数据集进行视频数据增强处理；

再将所述视频数据集转换为tfrecord格式文件，并以多线程并行方式来对所述tfrecord格式文件进行数据读取，从而得到相应的训练与测试数据集；

进一步，所述特征提取模块构建时空超分辨率网络stamnet，并通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中的高维图像特征信息具体包括：

联合优化空间分辨率s-sr、时间分辨率t-sr和时空超分辨率st-mr，以使在多分辨率中相互增强视频的空间和时间特征和实现视频空间高分辨率特征s-hr和空间低分辨率特征s-lr的相互转换，从而构建得到所述时空超分辨率网络stamnet；

再通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中每个视频对应的高维图像特征信息；

进一步，所述训练模块将所述训练数据集的视频数据输入所述时空超分辨率网络，并引入流细化损失来训练所述时空超分辨率网络的整个网络结构，同时还利用sgd优化算法来训练与优化所述时空超分辨率网络，以使在空间和时间上联合学习所述高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型具体包括：

对所述时空超分辨网络进行实现关于空间分辨率s-sr、时间分辨率t-sr和时空超分辨率st-mr联合学习的初始化处理，进行关于从原始光流图像到高分辨率特征和低分辨率特征图以及生成细化特征图的改进处理，进行关于在空间和时间上联合学习低分辨率特征图和高分辨率特征图的重建处理，从而实现对所述时空超分辨网络的端到端的训练，再将所述训练数据集的视频数据输入所述时空超分辨网络；

再基于所述视频数据中图像帧前向和后向运动的流图像，确定所述视频数据的流细化损失函数，并根据所述流细化损失函数来训练所述时空超分辨率网络的整个网络结构；

最后利用sgd优化算法来训练与优化所述时空超分辨率网络，以使在空间和时间上联合学习所述高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型；

进一步，所述视频处理模块将所述测试数据集中的测试视频数据输入所述最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果具体包括：

将所述测试数据集中的测试视频数据输入所述最优的视频增强模型中，以此利用插入帧和输入帧来增强图像空间分辨率，以及通过在空间高分辨率图像中观察得到的大运动和在空间低分辨率中观察得到的细微运动来增强图像时间分辨率，从而实现所述联合学习空间和时间上下文处理；

再从所述联合学习空间和时间上下文处理得到的输出结果中，确定输出结果中每一个输出视频数据的空间分辨率，并将具有最高空间分辨率的视频数据作为最终结果。

相比于现有技术，本发明的时空超分辨率的视频增强方法和系统通过收集视频数据集，并对所述视频数据集进行视频数据增强处理，再将所述视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集，并构建时空超分辨率网络stamnet，并通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中的高维图像特征信息，再将所述训练数据集的视频数据输入所述时空超分辨率网络，并引入流细化损失来训练所述时空超分辨率网络的整个网络结构，同时还利用sgd优化算法来训练与优化所述时空超分辨率网络，以使在空间和时间上联合学习所述高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型，最后将所述测试数据集中的测试视频数据输入所述最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果；可见，该时空超分辨率的视频增强方法和系统通过流细化损失来降低大运动引起的流动噪声，从而解决了大运动使得视频插值变得困难的问题，并且通过插值帧和输入帧来增强空间分辨率s-sr，通过空间高分辨率s-hr中观察到的大运动和空间低分辨率s-lr中观察到的细微运动来增强时间分辨率t-sr，从而增强空间分辨率s-sr和时间分辨率t-sr模型，解决了在空间高分辨率s-hr帧上执行时间分辨率t-sr很难估计大运动，而在空间低分辨率s-lr帧上插值很难估计细微的运动的问题，再利用时间和空间之间的相互关系，在时空上联合学习，在多分辨率st-mr中从低分辨率lr直接连接到高分辨率hr，从而得到丰富的多尺度特征来增强空间分辨率s-sr和时间分辨率t-sr，最后形成时空超分辨率网络stamnet解决了st-mr只是单独地在时间和空间上处理上下文信息的问题，从而通过视频插值来提高帧率，进而提高了视频帧的空间分辨率，以及在时空超分辨率视频中提取上下文信息，能够提高视频的准确性和清晰度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的时空超分辨率的视频增强方法的流程示意图。

图2为本发明提供的时空超分辨率的视频增强系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1，为本发明提供的时空超分辨率的视频增强方法的流程示意图。该时空超分辨率的视频增强方法包括如下步骤：

步骤s1，收集视频数据集，并对该视频数据集进行视频数据增强处理，再将该视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集；

步骤s2，构建时空超分辨率网络stamnet，并通过该时空超分辨率网络的卷积层来提取得到该训练与测试数据集中的高维图像特征信息；

步骤s3，将该训练数据集的视频数据输入该时空超分辨率网络，并引入流细化损失来训练该时空超分辨率网络的整个网络结构，同时还利用sgd优化算法来训练与优化该时空超分辨率网络，以使在空间和时间上联合学习该高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型；

步骤s4，将该测试数据集中的测试视频数据输入该最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果。

上述技术方案的有益效果为：该时空超分辨率的视频增强方法通过流细化损失来降低大运动引起的流动噪声，从而解决了大运动使得视频插值变得困难的问题，并且通过插值帧和输入帧来增强空间分辨率s-sr，通过空间高分辨率s-hr中观察到的大运动和空间低分辨率s-lr中观察到的细微运动来增强时间分辨率t-sr，从而增强空间分辨率s-sr和时间分辨率t-sr模型，解决了在空间高分辨率s-hr帧上执行时间分辨率t-sr很难估计大运动，而在空间低分辨率s-lr帧上插值很难估计细微的运动的问题，再利用时间和空间之间的相互关系，在时空上联合学习，在多分辨率st-mr中从低分辨率lr直接连接到高分辨率hr，从而得到丰富的多尺度特征来增强空间分辨率s-sr和时间分辨率t-sr，最后形成时空超分辨率网络stamnet解决了st-mr只是单独地在时间和空间上处理上下文信息的问题，从而通过视频插值来提高帧率，进而提高了视频帧的空间分辨率，以及在时空超分辨率视频中提取上下文信息，能够提高视频的准确性和清晰度。

优选地，在该步骤s1中，收集视频数据集，并对该视频数据集进行视频数据增强处理，再将该视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集具体包括：

步骤s101，收集vimeo90k视频数据集，以此使该视频数据集包括若干大小为448×256的视频；

步骤s102，使用图像旋转、图像翻转和图像随机裁剪中的至少一种操作，来对该视频数据集进行视频数据增强处理；

步骤s103，将该视频数据集转换为tfrecord格式文件，并以多线程并行方式来对该tfrecord格式文件进行数据读取，从而得到相应的训练与测试数据集。

在实际应用中，可在nvidia平台上使用python3.7进行开发，使用vimeo90k训练集进行训练，此数据集大小为448×256的15000个视频组成。在训练过程中，本发明使用旋转、翻转和随机裁剪操作来增强视频数据。原始图像视为s-hr，采用双三次插值法将原始图像缩小到112×64的s-lr帧(比原始图像小4倍)。这样能够有效地提高视频数据集的收集效率和将视频数据集转换为训练与测试数据集的可靠性。

优选地，在该步骤s2中，构建时空超分辨率网络stamnet，并通过该时空超分辨率网络的卷积层来提取得到该训练与测试数据集中的高维图像特征信息具体包括：

步骤s201，联合优化空间分辨率s-sr、时间分辨率t-sr和时空超分辨率st-mr，以使在多分辨率中相互增强视频的空间和时间特征和实现视频空间高分辨率特征s-hr和空间低分辨率特征s-lr的相互转换，从而构建得到该时空超分辨率网络stamnet；

步骤s202，通过该时空超分辨率网络的卷积层来提取得到该训练与测试数据集中每个视频对应的高维图像特征信息。

优选地，在该步骤s3中，将该训练数据集的视频数据输入该时空超分辨率网络，并引入流细化损失来训练该时空超分辨率网络的整个网络结构，同时还利用sgd优化算法来训练与优化该时空超分辨率网络，以使在空间和时间上联合学习该高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型具体包括：

步骤s301，对该时空超分辨网络进行实现关于空间分辨率s-sr、时间分辨率t-sr和时空超分辨率st-mr联合学习的初始化处理，进行关于从原始光流图像到高分辨率特征和低分辨率特征图以及生成细化特征图的改进处理，进行关于在空间和时间上联合学习低分辨率特征图和高分辨率特征图的重建处理，从而实现对该时空超分辨网络的端到端的训练，再将该训练数据集的视频数据输入该时空超分辨网络；

步骤s302，基于该视频数据中图像帧前向和后向运动的流图像，确定该视频数据的流细化损失函数，并根据该流细化损失函数来训练该时空超分辨率网络的整个网络结构；

步骤s303，利用sgd优化算法来训练与优化该时空超分辨率网络，以使在空间和时间上联合学习该高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型。

在对该时空超分辨网络进行实际训练过程中，其对整个网络进行端到端的训练，并可分为为三个阶段：(1)初始化阶段；(2)改进阶段；(3)重建阶段，具体地，

(1)初始化阶段在lr和hr上实现s-sr、t-sr和st-mr的联合学习。其中，t-sr、st-mr和st-mr在同一子网中学习。此阶段有四个输入，两个rgb帧(和)和两个双向光流图像(ft→t+1和ft+1→t)，初始化阶段定义为：

s-sr:

lt＝netd(ht；θd)

lt+1＝netd(ht+1；θd)

motion：m＝netm(ft→t+1,ft+1→t；θm)

st-sr：ht+n,lt+n＝netst(ht,ht+1,lt,lt+1,m；θst)

其中，s-sr是大小为(m^l×n^l)的连续帧(和)及其双向光流图像(ft→t+1和ft+1→t)通过nets生成一对s-lr和s-hr特征图(lt、ht、lt+1和ht+1)，和分别表示t时刻s-lr和s-hr的特征图，c^l和c^h是通道数；θ表示每个网络中的一组权重；上采样和下采样用来增强sr的特征，ht和ht+1分别通过netd的下采样来更新lt和lt+1。双向光流图像(ft→t+1和ft+1→t)输入运动网络netm得到运动特征(m)，通过cnn网络学习输出光流特征图，从而有助于对齐ft→t+1和ft+1→t之间的相似帧。最后，所有这些特征通过st-mr方法的netst，输出中间帧的hr和lr特征图(ht+n和lt+n)，n∈[0，1]，最后得到大小为(m^h×n^h)的时空sr帧(和)，其中n∈[0，1]，m^l<m^h并且n^l<n^h。初始化阶段stamnet在s-hr和s-lr之间保持循环一致性；

(2)在初始化阶段原始光流图像(ft→t+1和ft+1→t)通过st-mr得到中间帧的hr和lr特征图，改进阶段通过循环一致性来再次细化特征图，提取残差特征，从而生成更可靠的特征图。改进阶段的定义为：

t：

t+1：

t+n:

(3)重建阶段，stamnet从(和)计算s-lr内部帧以在空间和时间上联合学习lr和hr。另外，四个特征图(和)通过一个卷积层netrec转换来重建stamnet所有的输出(和)，例如，

此外，在训练阶段使用损失函数来计算stamnet重构的图像(和)与真实图像之间的损失。损失包含有以下三类：1)在和上评估空间损失；2)仅在上评估时间损失；3)仅在上计算时空损失。在空间和时间上，输入帧使用stamnet的三个损失函数来训练，同时产生和t+表示帧数大于t。stam-st是stamnet的一个微调模型，hr在空间和时间上使用了时空损失函数，在时空超分辨率帧上对网络进行优化。stam-s是stamnet在s-hr上使用空间损失函数得到的一个微调模型，仅优化stam-t是stamnet在t-hr上使用时间损失函数得到的一个微调模型，stam-t可以在s-lr和s-hr两种不同的体制下训练，stam-thr使用原始帧(s-hr)作为输入帧，而stam-tlr使用缩小后的帧(s-lr)作为输入帧。

每个像素的三种损失(空间、时间和时空损失)都由两种类型的损失函数(l1和lvgg)组成。l1是计算每个像素在预测的超分辨帧和其hr帧之间的损失。lvgg是通过预训练vgg19网络映射到特征空间得到的损失值。

其中，t表示帧数；i^h和i^sr都是vgg19最大池化层(m＝5)通过可微函数fm映射到特征空间得到的。l1用来评估图像质量的指标，lvgg用来评估视觉感知的指标。

相邻两帧(t和t+1)之间的大运动使得视频插值变得困难，这种大运动引起的流动噪声对插值结果有不利影响。stamnet在s-sr中通过t-sr来抑制这种噪声，但是很难完全解决这个问题。为了解决此问题，本发明提出了流细化(fr)模块，fr模块定义为：

fr:

其中，ft→t+1和ft+1→t分别是和帧前向和后向运动的流图像；netflow是一个u-net网络。为了降低噪声，本发明提出的流细化损失lflow为：

其中，训练stamnet的损失函数定义为：

而采用sgd优化算法来训练和优化网络结构，在vimeo90k测试集上使用峰值信噪比(psnr)、结构相似性(ssim)来验证模型的准确性，psnr和ssim越高表示模型越准确。n＝0.5，和分别表示输入帧和帧间的sr帧。损失函数w1＝1，w2＝2和w3＝0.1，批量大小为10，学习率为0.0001，动量为0.9，总共训练70次，每训练30次学习率降低10倍。对于每一个微调模型，学习率为0.0001来训练模型20次，每训练10次学习率降低10倍。

可选地，stamnet的初始化阶段，在nets和netd中使用s-sr方法(dbpn或rbpn具有上下采样层)可同时生成一对s-lr和s-hr特征(c^h＝64和c^l＝128)。netm网络由两个残差块构成，每个残差块由两个大小为3×3的卷积层组成，步长和边距都为1。netst有五个残差块，然后是上采样的反卷积层。在改进阶段，netf和netb使用5个残差块和反卷积层构建。

使用vimeo90k测试集来评估stamnet组件的有效性，从而验证各种组件在多分辨率上联合学习的有效性。第一种方法删除了改进阶段的细化部分。第二种方法删除了输入光流图像和netm，因此不使用运动上下文信息。第三种方法移除fr模块。第四种方法是stamnet对所有组件进行了评估。这四个方法的结果见表1中的“stamnetw/ostage2”、“stamnetw/oflow”、“stamnetw/ofr”和“stamnet”。与stamnet相比，stamnetw/ostage2的峰值信噪比(psnr)在和上分别降低了1.473db和2.01db。另外，在和上stamnet组件的psnr最高，表明了各部分组件对增强视频都很重要。

优选地，在该步骤s4中，将该测试数据集中的测试视频数据输入该最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果具体包括：

步骤s401，将该测试数据集中的测试视频数据输入该最优的视频增强模型中，以此利用插入帧和输入帧来增强图像空间分辨率，以及通过在空间高分辨率图像中观察得到的大运动和在空间低分辨率中观察得到的细微运动来增强图像时间分辨率，从而实现该联合学习空间和时间上下文处理；

步骤s402，从该联合学习空间和时间上下文处理得到的输出结果中，确定输出结果中每一个输出视频数据的空间分辨率，并将具有最高空间分辨率的视频数据作为最终结果。

参阅图2，为本发明提供的时空超分辨率的视频增强系统的结构示意图。该时空超分辨率的视频增强系统包括数据预处理模块、特征提取模块、训练模块和视频处理模块；其中，

该数据预处理模块用于收集视频数据集，并对该视频数据集进行视频数据增强处理，再将该视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集；

该特征提取模块用于构建时空超分辨率网络stamnet，并通过该时空超分辨率网络的卷积层来提取得到该训练与测试数据集中的高维图像特征信息；

该训练模块用于将该训练数据集的视频数据输入该时空超分辨率网络，并引入流细化损失来训练该时空超分辨率网络的整个网络结构，同时还利用sgd优化算法来训练与优化该时空超分辨率网络，以使在空间和时间上联合学习该高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型；

该视频处理模块用于将该测试数据集中的测试视频数据输入该最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果。

上述技术方案的有益效果为：该时空超分辨率的视频增强系统通过流细化损失来降低大运动引起的流动噪声，从而解决了大运动使得视频插值变得困难的问题，并且通过插值帧和输入帧来增强空间分辨率s-sr，通过空间高分辨率s-hr中观察到的大运动和空间低分辨率s-lr中观察到的细微运动来增强时间分辨率t-sr，从而增强空间分辨率s-sr和时间分辨率t-sr模型，解决了在空间高分辨率s-hr帧上执行时间分辨率t-sr很难估计大运动，而在空间低分辨率s-lr帧上插值很难估计细微的运动的问题，再利用时间和空间之间的相互关系，在时空上联合学习，在多分辨率st-mr中从低分辨率lr直接连接到高分辨率hr，从而得到丰富的多尺度特征来增强空间分辨率s-sr和时间分辨率t-sr，最后形成时空超分辨率网络stamnet解决了st-mr只是单独地在时间和空间上处理上下文信息的问题，从而通过视频插值来提高帧率，进而提高了视频帧的空间分辨率，以及在时空超分辨率视频中提取上下文信息，能够提高视频的准确性和清晰度。

优选地，该数据预处理模块收集视频数据集，并对该视频数据集进行视频数据增强处理，再将该视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集具体包括：

收集vimeo90k视频数据集，以此使该视频数据集包括若干大小为448×256的视频；

并使用图像旋转、图像翻转和图像随机裁剪中的至少一种操作，来对该视频数据集进行视频数据增强处理；

再将该视频数据集转换为tfrecord格式文件，并以多线程并行方式来对该tfrecord格式文件进行数据读取，从而得到相应的训练与测试数据集。

优选地，该特征提取模块构建时空超分辨率网络stamnet，并通过该时空超分辨率网络的卷积层来提取得到该训练与测试数据集中的高维图像特征信息具体包括：

联合优化空间分辨率s-sr、时间分辨率t-sr和时空超分辨率st-mr，以使在多分辨率中相互增强视频的空间和时间特征和实现视频空间高分辨率特征s-hr和空间低分辨率特征s-lr的相互转换，从而构建得到该时空超分辨率网络stamnet；

再通过该时空超分辨率网络的卷积层来提取得到该训练与测试数据集中每个视频对应的高维图像特征信息。

优选地，该训练模块将该训练数据集的视频数据输入该时空超分辨率网络，并引入流细化损失来训练该时空超分辨率网络的整个网络结构，同时还利用sgd优化算法来训练与优化该时空超分辨率网络，以使在空间和时间上联合学习该高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型具体包括：

对该时空超分辨网络进行实现关于空间分辨率s-sr、时间分辨率t-sr和时空超分辨率st-mr联合学习的初始化处理，进行关于从原始光流图像到高分辨率特征和低分辨率特征图以及生成细化特征图的改进处理，进行关于在空间和时间上联合学习低分辨率特征图和高分辨率特征图的重建处理，从而实现对该时空超分辨网络的端到端的训练，再将该训练数据集的视频数据输入该时空超分辨网络；

再基于该视频数据中图像帧前向和后向运动的流图像，确定该视频数据的流细化损失函数，并根据该流细化损失函数来训练该时空超分辨率网络的整个网络结构；

最后利用sgd优化算法来训练与优化该时空超分辨率网络，以使在空间和时间上联合学习该高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型。

优选地，该视频处理模块将该测试数据集中的测试视频数据输入该最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果具体包括：

将该测试数据集中的测试视频数据输入该最优的视频增强模型中，以此利用插入帧和输入帧来增强图像空间分辨率，以及通过在空间高分辨率图像中观察得到的大运动和在空间低分辨率中观察得到的细微运动来增强图像时间分辨率，从而实现该联合学习空间和时间上下文处理；

再从该联合学习空间和时间上下文处理得到的输出结果中，确定输出结果中每一个输出视频数据的空间分辨率，并将具有最高空间分辨率的视频数据作为最终结果。

该时空超分辨率的视频增强系统中数据预处理模块、特征提取模块、训练模块和视频处理模块所起的作用和效果与上述时空超分辨率的视频增强方法所描述的相同，这里就不做重复累述。

从上述实施例的内容可知，该时空超分辨率的视频增强方法和系统通过收集视频数据集，并对所述视频数据集进行视频数据增强处理，再将所述视频数据集转换为预定格式的文件和进行数据读取，从而得到相应的训练与测试数据集，并构建时空超分辨率网络stamnet，并通过所述时空超分辨率网络的卷积层来提取得到所述训练与测试数据集中的高维图像特征信息，再将所述训练数据集的视频数据输入所述时空超分辨率网络，并引入流细化损失来训练所述时空超分辨率网络的整个网络结构，同时还利用sgd优化算法来训练与优化所述时空超分辨率网络，以使在空间和时间上联合学习所述高维图像特征信息中的低分辨率图像信息和高分辨率图像信息，从而得到最优的视频增强模型，最后将所述测试数据集中的测试视频数据输入所述最优的视频增强模型进行联合学习空间和时间上下文处理，从而输出具有最高空间分辨率的视频数据作为最终结果；可见，该时空超分辨率的视频增强方法和系统通过流细化损失来降低大运动引起的流动噪声，从而解决了大运动使得视频插值变得困难的问题，并且通过插值帧和输入帧来增强空间分辨率s-sr，通过空间高分辨率s-hr中观察到的大运动和空间低分辨率s-lr中观察到的细微运动来增强时间分辨率t-sr，从而增强空间分辨率s-sr和时间分辨率t-sr模型，解决了在空间高分辨率s-hr帧上执行时间分辨率t-sr很难估计大运动，而在空间低分辨率s-lr帧上插值很难估计细微的运动的问题，再利用时间和空间之间的相互关系，在时空上联合学习，在多分辨率st-mr中从低分辨率lr直接连接到高分辨率hr，从而得到丰富的多尺度特征来增强空间分辨率s-sr和时间分辨率t-sr，最后形成时空超分辨率网络stamnet解决了st-mr只是单独地在时间和空间上处理上下文信息的问题，从而通过视频插值来提高帧率，进而提高了视频帧的空间分辨率，以及在时空超分辨率视频中提取上下文信息，能够提高视频的准确性和清晰度。