基于双向循环网络的高分辨率视频复原系统及方法

文档序号:25992589发布日期:2021-07-23 21:05阅读:来源:国知局

技术特征:

1.一种基于双向循环网络的高分辨率视频复原系统,其特征在于,包括:

正向循环模块,所述正向循环模块包括多个依次设置的正向处理单元,所述正向处理单元与视频帧的一一对应设置,当前所述正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧,将当前视频帧转化为低频部分;

反向循环模块,所述反向循环模块包括多个依次设置的反向处理单元,所述反向处理单元与视频帧的一一对应设置,当前所述反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧,将当前视频帧转化为高频部分;

融合单元,所述融合单元具有多个,所述融合单元与正向处理单元和反向处理单元对应设置,所述融合单元将所述低频部分与高频部分融合,获得高分辨率的视频帧。

2.根据权利要求1所述的基于双向循环网络的高分辨率视频复原系统,其特征在于,所述正向处理单元将视频的预设图像帧转化为低频部分,包括以下步骤:

利用卷积层对xf进行浅层特征提取,获得浅层特征,其中,为第t帧参考帧;

将浅层特征进行通道拆分,获得重置信号r和更新信号u两部分;

将重置信号r与进行点乘,并与级联得到新的中层特征

中层特征通过残差网络进行特征细化,获得细化后的特征h't-1;

将细化后的特征h't-1与u组合进行特征更新,获得输出分量和隐藏分量其中,将作为输入进入下一个时刻的循环,作为第一输出分量,参与最终t时刻视频帧的复原过程。

3.根据权利要求2所述的基于双向循环网络的高分辨率视频复原系统,其特征在于,所述残差网络包括多个残差块。

4.根据权利要求2所述的基于双向循环网络的高分辨率视频复原系统,其特征在于,所述将细化后的特征h't-1与u组合进行特征更新,获得输出分量和隐藏分量包括:

计算uf,

通过卷积层和激活层对uf进行处理,获得隐藏分量

通过卷积层对uf进行处理,获得输出分量

5.根据权利要求1所述的基于双向循环网络的高分辨率视频复原系统,其特征在于,所述融合单元包括三个通道数为3的残差块。

6.一种基于双向循环网络的高分辨率视频复原方法,基于权利要求1-5任一项所述的高分辨率视频复原系统,其特征在于,包括以下步骤:

s1、进入正向循环模块,令帧数t=1,初始化隐藏状态和输出状态采用第1帧的图像输入模拟第0帧的图像输入;

s2、每一个正向循环单元采用第t-1帧的图像、第t帧图像、作为输入,获得正向输入特征xf;采用卷积层对正向输入特征xf进行浅层特征提取,得到对应的浅层特征ffin;

s3、采用正向循环单元对浅层特征ffin进行深层特征细化和错误信息删除,得到下一个时间的隐藏状态和输出状态

令t=t+1,判断t<k是否成立,若成立,则重复步骤s2,若不成立,则进入步骤s5,并初始化隐藏状态和输出状态采用第k帧的图像输入模拟第k+1帧的图像输入,其中,k为视频序列的总帧数;

s4、每一个反向循环单元采用第t帧的图像、第t+1帧图像、作为输入,以级联的方式组合,获得反向输入特征xb,采用卷积层对反向输入特征xb进行浅层特征提取,得到对应的浅层特征fbin;

s5、采用反向循环单元对浅层特征fbin进行深层特征细化和错误信息删除,得到下一个时间的隐藏状态和输出状态令t=t-1,判断t>0是否成立,若成立,则重复s4,若不成立,则进入s6;

s6、融合正向循环的结果和反向循环的结果,复原获得高分辨率的视频序列。

7.根据权利要求6所述的基于双向循环网络的高分辨率视频复原方法,其特征在于,所述s6具体包括:

融合复原获得高分辨率的视频序列。

8.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求6或7所述方法的步骤。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求6或7所述方法的步骤。

10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求6或7任一项所述的方法。


技术总结
本发明涉及一种基于双向循环网络的高分辨率视频复原系统及方法,包括:正向循环模块包括多个依次设置的正向处理单元,正向处理单元与视频帧的一一对应设置,当前正向处理单元根据前一级正向处理单元的输出、上一时刻视频帧和当前视频帧,将当前视频帧转化为低频部分;反向循环模块包括多个依次设置的反向处理单元,反向处理单元与视频帧的一一对应设置,当前反向处理单元根据前一级反向处理单元的输出、下一时刻的视频帧和当前视频帧,将当前视频帧转化为高频部分;融合单元将低频部分与高频部分融合,获得高分辨率的视频帧。其针对各类场景下低分辨率视频序列,能够适应不同长度的视频,具有很好的鲁棒性。

技术研发人员:胡剑凌;高立杭;马青静;曹洪龙
受保护的技术使用者:苏州大学
技术研发日:2021.05.20
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1