一种面向实时视频会话业务的超分辨率重建方法

文档序号:26142395发布日期:2021-08-03 14:27阅读:来源:国知局

技术特征:

1.一种面向实时视频会话业务的超分辨率重建方法,其特征在于:该方法包括如下步骤:

步骤1:训练与测试数据的准备;

采取两种训练数据同时进行训练,即公共数据训练集和以视频会话为场景的数据训练集;并选取两种数据集进行测试,分别是公共数据测试集和以视频会话为场景的数据测试集;

步骤2:数据增强;

将整个训练集使用双三次插值的方法将所有视频帧进行下采样,对训练集进行平移、旋转、加噪的操作;

步骤3:设计网络结构;

首先,将连续3帧视频帧送入到基于帧差参数对齐的超分辨率重建网络,提取出参考帧和相邻帧的特征,然后通过帧差参数对齐模块将相邻帧特征进行对齐,将对齐后的特征帧送入到融合模块进行特征融合操作,最后将融合后的特征及参考帧送入到上采样重建模块重建出最后的高分辨率视频帧;

步骤4:训练;

采用mini-batch的训练策略,对于网络权重的设置,采用高斯随机初始化来为超分网络权重赋予初值;使用adam优化器对超分网络进行训练,最后使用psnr和ssim作为整个网络输出视频帧的评估指标;

步骤6:测试;

对公共数据测试集和以视频会话为场景的数据测试集分别进行测试,输入连续低分辨率图像进入卷积神经网络输出即为重建后的视频帧;

步骤7:将得到的连续超分辨率视频帧合成视频。

2.根据权利要求1所述的面向实时视频会话业务的超分辨率重建方法,其特征在于:所述视频会话的场景的多种可能性包括摄像头位置、摄像头内人数,分别以单人近距离、单人中距离、单人远距离、多人近距离、多人中距离、多人远距离、多角度单人、多角度多人、像头固定的场景进行数据集的制作。

3.根据权利要求1或2所述的面向实时视频会话业务的超分辨率重建方法,其特征在于:所述步骤3的具体方法为:

帧差参数对齐模块中帧差参数对齐的具体运算公式如下:

θ1=fθ(fi-1,fi)(1)

θ2=fθ(fi+1,fi)(2)

公式(1)、公式(2)分别表示计算相邻帧特征fi-1、fi+1与参考帧特征fi之间的帧差参数,其中,fθ表示帧差参数生成函数;

θ=fθ(θ1,θ2)(3)

公式(3)表示采用循环网络的思想,利用输出的θ1、θ2互相约束,求取最优的帧差参数θ;fθ表示帧差参数优化函数;

f`i-1=fdc(fi-1,θ)(4)

f`i+1=fdc(fi+1,θ)(5)

公式(4)、公式(5)分别表示对相邻帧特征fi-1、fi+1进行对齐操作,分别得到对齐的相邻帧f`i-1、f`i+1;其中,fdc表示可变形卷积对齐操作;

融合模块进行特征融合的具体运算公式如下:

公式(6)及公式(7)表示计算相邻帧与参考帧之间的距离h,其中θ和是简单的基于卷积的滤波器实现的嵌入操作;

公式(8)及公式(9)表示帧间距离特征图与特征图像进行强化计算;

公式(10)表示对强化后的相邻帧进行特征融合;

将融合后的特征帧送入到信息蒸馏块1的增强单元中,尽可能多的提取及收集边缘纹理信息,之后将收集到的信息送入压缩单元进有效信息筛选,再将其送入到信息蒸馏块2的增强单元中在对特征进行更精细的提取,最后再提取有效特征信息,即由粗到精的提取信息;与此同时,将提取到的有效残差信息及低分辨率参考帧进行上采样操作,放大为目标高分辨率视频帧的大小,最后将有效残差信息与上采样的低分辨率视频帧进行加和,得到最后的高分辨率视频帧。


技术总结
本发明提供一种面向实时视频会话业务的超分辨率重建方法,涉及数字图像处理技术领域。该方法重新设计超分的各个模块,首先特征提取模块采用由粗到精的特征提取,采用残差的思想,加快特征提取的速度,将可变形卷积引入到视频超分辨率重建方法之中,通过循环神经网络的思想,对帧差学习模块进行动态调优从而获得一个最优对齐参数,用最优参数指导可变形卷积进行对齐操作,然后设计一个增强相关性的特征融合网络,进行相邻帧的特征融合,最后采用信息蒸馏的思想对重建模块进行设计,设计出上采样重建模块,利用信息蒸馏块提取更多边缘及纹理特征,与上采样的参考帧进行加和,生成最后的高分辨率视频帧。本发明的方法重建速度快,且重建质量好。

技术研发人员:雷为民;张璐;张紫薇;王玉;张伟;李浩
受保护的技术使用者:东北大学
技术研发日:2021.04.30
技术公布日:2021.08.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1