训练好的模型中，并在输出层输出超分辨 率后的结果，输出的结果是一个视频序列。
[0065] 定量的实验结果如图5所示（其中BRCN代表本发明），度量指标为信号干扰比 (signal-to-noiseratio,PSNR)和测试时间（Time)。在表格中对比了现今视频超分辨效 果最好的一些方法。通过比较，可以发现本发明的方法取得了最好的实验结果，并且在测试 时间上接近于当前最快的单张图像超分辨的方法ANR。此外，这里还给出了一些定性的可视 化结果，如图6和7所示。可以看出，本发明相对于其他方法可以恢复出更多的图像细节。 另外，这里还给出了PSNR和测试时间的比较，如图8所示，可以看出本发明在速度和性能上 显著优于其他多帧超分辨率方法例如3DSKR，并且在性能上优于当前最好的单图像超分辨 率方法ANR。
[0066] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详 细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡 在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保 护范围之内。
【主权项】
1. 一种基于双向循环卷积网络的视频超分辨率方法，其特征在于，该方法包括以下步 骤： 步骤1、建立双向循环网络，包括按照时间顺序的一个前向循环子网络和一个后向循环 子网络，在每一个循环子网络中，自底向上包含一个输入序列层，两个隐含序列层和一个输 出序列层，其中每一序列层包括多个状态，对应于不同时刻的视频帧； 步骤2、用三种卷积操作来连接这些状态，所述三种卷积操作包括前馈卷积，循环卷积 和条件卷积，以得到双向循环卷积网络； 步骤3、把训练视频送到建立好的双向循环卷积网络中，利用随机梯度下降算法来最小 化双向循环卷积网络的目标函数，从而迭代地优化该网络的权重，并得到最终的双向循环 卷积网络；以及 步骤4、向所述最终的双向循环卷积网络模型输入待处理的低分辨率视频序列，得到对 应的超分辨率结果。2. 根据权利要求1所述的方法，其特征在于，所述双向循环卷积网络包括一个前向循 环卷积子网络和一个后向循环卷积子网络。3. 根据权利要求1所述的方法，其特征在于，所述前向循环子网络和所述后向循环子 网络分别包括一个输入序列层，两个隐含序列层和一个输出序列层。4. 根据权利要求1所述的方法，其特征在于，所述双向循环卷积网络的状态之间以卷 积的方式进行连接，其中： 属于同一时刻下的相邻序列层的状态用前馈卷积进行连接； 属于相邻时刻的同一隐含序列层的两个状态用循环卷积进行连接； 对于前向循环子网络，当前时刻输入序列层、第一隐含序列层和第二隐含序列层的状 态分别和前一时刻的第一隐含序列层、第二隐含序列层及输出序列层的状态用条件卷积进 行连接；以及 对于后向循环子网络，当前时刻输入序列层、第一隐含序列层和第二隐含序列层的状 态分别和后一时刻的第一隐含序列层、第二隐含序列层及输出序列层的状态用条件卷积进 行连接。5. 根据权利要求1所述的方法，其特征在于，所述双向循环卷积网络的输入层为低分 辨率视频帧序列，输出层为预测的高分辨率视频帧序列，所述双向循环卷积网络具有网络 权重，以根据当前层状态获得其他层状态。6. 根据权利要求1所述的方法，其特征在于，所述双向循环卷积网络的目标函数是预 测的和真实的高分辨率视频之间的均方误差。7. 根据权利要求1所述的方法，其中： 每次卷积连接通过滤波器实现； 滤波器的尺度被调节以使得该模型的效果最优，其中调节方式如下：首先选用较小的 尺度进行实验，然后通过不断增加尺度得到相应的实验结果，并选取所需实验结果对应的 滤波器尺度最为最终的尺度； 滤波器的数量等于其连接的两个状态的通道的积；以及 所述滤波器具有权重，双向循环卷积网络根据目标函数学习得到所述权重。8. -种基于双向循环卷积网络的视频超分辨率系统，其特征在于，该系统包括以下模 块： 网络建立模块，用于建立双向循环网络，包括按照时间顺序的一个前向循环子网络和 一个后向循环子网络，在每一个循环子网络中，自底向上包含一个输入序列层，两个隐含序 列层和一个输出序列层，其中每一序列层包括多个状态，对应于不同时刻的视频帧； 连接模块，用于用三种卷积操作来连接这些状态，所述三种卷积操作包括前馈卷积，循 环卷积和条件卷积，以得到双向循环卷积网络； 优化模块，用于把训练视频送到建立好的双向循环卷积网络中，利用随机梯度下降算 法来最小化双向循环卷积网络的目标函数，从而迭代地优化该网络的权重，并得到最终的 双向循环卷积网络；以及 视频处理模块，用于向所述最终的双向循环卷积网络模型输入待处理的低分辨率视频 序列，得到对应的超分辨率结果。9. 根据权利要求8所述的系统，其特征在于，所述双向循环卷积网络包括一个前向循 环卷积子网络和一个后向循环卷积子网络。10. 根据权利要求8所述的系统，其特征在于，所述前向循环子网络和所述后向循环子 网络分别包括一个输入序列层，两个隐含序列层和一个输出序列层。11. 根据权利要8所述的系统，其特征在于，所述双向循环卷积网络的状态之间以卷积 的方式进行连接，其中： 属于同一时刻下的相邻序列层的状态用前馈卷积进行连接； 属于相邻时刻的同一隐含序列层的两个状态用循环卷积进行连接； 对于前向循环子网络，当前时刻输入序列层、第一隐含序列层和第二隐含序列层的状 态分别和前一时刻的第一隐含序列层、第二隐含序列层及输出序列层的状态用条件卷积进 行连接；以及 对于后向循环子网络，当前时刻输入序列层、第一隐含序列层和第二隐含序列层的状 态分别和后一时刻的第一隐含序列层、第二隐含序列层及输出序列层的状态用条件卷积进 行连接。12. 根据权利要求8所述的系统，其特征在于，所述双向循环卷积网络的输入层为低分 辨率视频帧序列，输出层为预测的高分辨率视频帧序列，所述双向循环卷积网络具有网络 权重，以根据当前层状态获得其他层状态。13. 根据权利要求8所述的系统，其特征在于，所述双向循环卷积网络的目标函数是预 测的和真实的高分辨率视频之间的均方误差。14. 根据权利要求8所述的系统，其中： 每次卷积连接通过滤波器实现； 滤波器的尺度被调节以使得该模型的效果最优，其中调节方式如下：首先选用较小的 尺度进行实验，然后通过不断增加尺度得到相应的实验结果，并选取所需实验结果对应的 滤波器尺度最为最终的尺度； 滤波器的数量等于其连接的两个状态的通道的积；以及 所述滤波器具有权重，双向循环卷积网络根据目标函数学习得到所述权重。
【专利摘要】本发明公开了一种基于双向循环卷积网络的视频超分辨率方法，包括：建立双向循环网络，包括按照时间顺序的前向循环子网络和后向循环子网络，每个循环子网络自底向上包含一个输入序列层，两个隐含序列层和一个输出序列层，每一序列层包括多个状态，对应于不同时刻的视频帧；用三种卷积操作来连接这些状态，包括前馈卷积，循环卷积和条件卷积，以得到双向循环卷积网络；把训练视频送到建立好的双向循环卷积网络中，利用随机梯度下降算法来最小化预测的和真实的高分辨率视频之间的均方误差，从而迭代地优化该网络的权重，并得到最终的双向循环卷积网络；向所述最终的双向循环卷积网络模型输入待处理的低分辨率视频序列，得到对应的超分辨率结果。
【IPC分类】H04N7/01
【公开号】CN105072373
【申请号】CN201510540560
【发明人】王亮, 王威, 黄岩
【申请人】中国科学院自动化研究所
【公开日】2015年11月18日
【申请日】2015年8月28日