基于双向循环卷积网络的视频超分辨率方法和系统的制作方法
【技术领域】
[0001] 本发明涉及计算机视觉与机器学习领域，特别涉及一种基于双向循环卷积网络的 视频超分辨率方法和系统。
【背景技术】
[0002] 随着近些年大量高清播放设备的涌现，如何将低分辨视频转换为更适宜播放的高 分辨率视频，即超分辨率技术，逐渐成为计算机视觉领域的热点研究问题。
[0003] 目前超分辨率的工作可以大概分为两类：1)单图像超分辨，其假设所有视频帧之 间是相互独立的，然后单独对每个视频帧进行超分辨率。这种方法忽视了视频序列中一个 很重要的特征，即视频帧之间的时间相依性。2)多帧超分辨，这种方法在超分辨率的过程中 考虑了视频的时间相依性，例如利用光流技术对视频中的运动信息进行估计。
[0004] 然而在实际应用中，这种对时间相依性的建模通常需要很高的计算代价，在很大 程度上限制了多帧超分辨率技术的应用范围。
【发明内容】
[0005] 本发明提供了 一种基于双向循环卷积网络的视频超分辨率方法和系统。为了有效 的对视频中时间相依特性进行学习，本发明在传统循环神经网络的基础上引入双向的循环 和条件卷积操作。
[0006] 根据本发明的一方面，本发明提出了一种基于双向循环卷积网络的视频超分辨率 方法，该方法包括以下步骤：
[0007] 步骤1、建立双向循环网络，包括按照时间顺序的一个前向循环子网络和一个后向 循环子网络，在每一个循环子网络中，自底向上包含一个输入序列层，两个隐含序列层和一 个输出序列层，其中每一序列层包括多个状态，对应于不同时刻的视频帧；
[0008] 步骤2、用三种卷积操作来连接这些状态，所述三种卷积操作包括前馈卷积，循环 卷积和条件卷积，以得到双向循环卷积网络；
[0009] 步骤3、把训练视频送到建立好的双向循环卷积网络中，利用随机梯度下降算法来 最小化双向循环卷积网络的目标函数，从而迭代地优化该网络的权重，并得到最终的双向 循环卷积网络；以及
[0010] 步骤4、向所述最终的双向循环卷积网络模型输入待处理的低分辨率视频序列，得 到对应的超分辨率结果。
[0011] 根据本发明的另一方面，本发明还提出了一种基于双向循环卷积网络的视频超分 辨率系统，所述系统包括：
[0012] 网络建立模块，用于建立双向循环网络，包括按照时间顺序的一个前向循环子网 络和一个后向循环子网络，在每一个循环子网络中，自底向上包含一个输入序列层，两个隐 含序列层和一个输出序列层，其中每一序列层包括多个状态，对应于不同时刻的视频帧；
[0013] 连接模块，用于用三种卷积操作来连接这些状态，所述三种卷积操作包括前馈卷 积，循环卷积和条件卷积，以得到双向循环卷积网络；
[0014] 优化模块，用于把训练视频送到建立好的双向循环卷积网络中，利用随机梯度下 降算法来最小化双向循环卷积网络的目标函数，从而迭代地优化该网络的权重，并得到最 终的双向循环卷积网络；以及
[0015] 视频处理模块，用于向所述最终的双向循环卷积网络模型输入待处理的低分辨率 视频序列，得到对应的超分辨率结果。
[0016] 本发明通过在在传统循环神经网络的基础上引入双向的循环和条件卷积操作，使 模型更适于处理含有时序相依关系的视频超分辨率问题。本发明的模型可以在较大程度上 提升视频超分辨效果，同时在速度上比其他多帧超分辨率方法快两个数量级。
【附图说明】
[0017] 图1是本发明基于双向循环卷积网络的视频超分辨率流程图。
[0018] 图2是本发明一实施例的解决视频超分辨率问题的模型图。
[0019] 图3是图2中的局部细节图。
[0020] 图4是本发明基于双向循环卷积网络的视频超分辨率系统的框图。
[0021] 图5是现今视频超分辨效果最好的一些方法与本发明实验结果的比较图。
[0022] 图6和图7是现今视频超分辨效果最好的一些方法与本发明实验结果的可视化结 果。
[0023] 图8是现今视频超分辨效果最好的一些方法与本发明实验结果的PSNR和测试时 间的比较图。
【具体实施方式】
[0024] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。
[0025] 根据本发明的一方面，提出一种基于双向循环卷积网络的视频超分辨率方法，能 够广泛地应用于包含复杂运动情况的视频超分辨率问题。
[0026] 图1示出了本发明提出的基于双向循环卷积网络的视频超分辨率方法的流程图。 图2显示出了本发明一实施例中所使用的双向循环卷积网络结构。
[0027] 如图1所示，所述基于双向循环卷积网络的视频超分辨率方法包括以下步骤：
[0028] 步骤1、建立双向循环网络，如图2所示，包括按照时间顺序的一个前向循环子网 络和一个后向循环子网络。在每一个有向循环子网络中，自底向上包含一个输入序列层，两 个隐含序列层和一个输出序列层，其中每一序列层包括多个状态，对应于不同时间刻的视 频帧；
[0029] 其中，所述双向循环网络的输入序列层为原始低分辨率的视频帧序列。在本发明 一实施例中，要求所有视频帧保持相同的大小，例如同样的长度和宽度，但不固定视频帧的 数量，其可以是任意数量；输出序列层用于表示超分辨率后的高分辨率视频帧序列，这里输 出序列是与输入序列一一对应的；隐含序列层则表示一些中间数据表示，即视频帧从低分 辨率到高分辨率的中间过渡状态。每个序列层状态需要设置相应的通道数，比如对于RGB 格式的视频，输入层和输出层状态的通道数设置为3。隐含层状态的通道数可以根据需要被 调节以使得该模型的效果最优。例如，可以如下调节隐含层状态通道数：在数据量足够多的 情况下，通道数越多则最终结果越好。但是，通道数过多会极大的增加计算复杂度。通过实 验发现，当第一隐含层状态和第二隐含层状态的通道数分别为64和32时，可以取得较好的 实验结果和较低的计算复杂度。
[0030] 前向循环子网络和后向循环子网络共享输入序列层和输出序列层，即两个子网络 接收相同的低分辨率输入视频帧，然后联合预测高分辨率输出视频帧。但是各隐含序列层 是不共享的，并且对于某个隐含序列层来说，前向循环子网络中当前时刻的状态只受前一 时刻的状态影响，而后向循环子网络中当前时刻的状态只受后一时刻的状态影响，以此在 时间轴上类推。
[0031] 步骤2、用三种卷积包括前馈卷积，循环卷积和条件卷积操作，来连接各序列层的 状态，其中每个卷积连接需要设置相应的滤波器的数量和尺度；
[0032] 所述滤波器的尺度可以被调节以使得该模型的效果最优，其中调节方式如下：首 先选用较小的尺度进行实验，然后通过不断增加尺度得到相应的实验结果，并选取较好实 验结果对应的滤波器尺度最为最终的尺度。滤波器的数量等于其连接的两个状态的通道的 积。所述滤波器具有权重，用于根据当前状态值获得其他状态值。所述滤波器的权重是网 络中预先设定的参数，类似于传统的神经网络模型，网络可以根据目标函数自主学习得到 所述权重。
[0033] 图3显示了前向循环子网络的输入序列层和第一隐含序列层在时刻t_l和t状 态的具体卷积情况。如图2所示，双向循环卷积网络包含一个四层前向循环子网络和一 个四层的后向循环子网络，每一行的所有结点表示一个序列层，每一个结点表示该层内的 一个