用于处理视频的方法和装置与流程

文档序号:21369024发布日期:2020-07-04 04:45阅读:来源:国知局

技术特征:

1.一种用于处理视频的方法,包括:

从待处理视频中获取包含预设帧数视频帧的视频帧序列;

将所述视频帧序列输入预先训练的包括去噪网络、超分辨率重建网络和色彩增强网络的视频处理模型,以便所述视频处理模型执行以下操作:

使用所述去噪网络对所述视频帧序列进行去噪处理,得到去噪后的特征信息;

将所述特征信息分别输入所述超分辨率重建网络和所述色彩增强网络,分别得到超分辨率重建后的超分辨率视频帧序列和色彩增强后的色彩增强视频帧序列;

根据所述超分辨率视频帧序列和所述色彩增强视频帧序列,生成处理后的视频帧序列。

2.根据权利要求1所述的方法,其中,所述视频处理模型是通过以下方式训练得到的:

获取样本集,其中,样本包括样本视频帧序列和样本处理后视频帧序列;

将所述样本集中的样本视频帧序列作为输入,将与输入的样本视频帧序列对应的样本处理后视频帧序列作为期望输出,训练得到所述视频处理模型。

3.根据权利要求2所述的方法,其中,在将所述样本集中的样本视频帧序列作为输入,将与输入的样本视频帧序列对应的样本处理后视频帧序列作为期望输出,训练得到所述视频处理模型之前,所述方法还包括:

确定训练前的视频处理模型的初始参数。

4.根据权利要求3所述的方法,其中,所述确定训练前的视频处理模型的初始参数,包括:

使用预设的第一样本集对所述去噪网络进行训练,将训练得到的去噪网络的参数作为第一初始参数,其中,所述第一样本集中的第一样本包括第一视频和第一视频对应的含噪声视频;

使用预设的第二样本集对所述超分辨率重建网络进行训练,将训练得到的超分辨率重建网络的参数作为第二初始参数,其中,所述第二样本集中的第二样本为不同分辨率的视频对;

使用预设的第三样本集对所述色彩增强网络进行训练,将训练得到的色彩增强网络的参数作为第三初始参数,其中,所述第三样本集中的第三样本为包含不同色彩特征的视频对;

使用所述第一初始参数、所述第二初始参数和所述第三初始参数组成训练前的视频处理模型的初始参数。

5.根据权利要求1所述的方法,其中,所述根据所述超分辨率视频帧序列和所述色彩增强视频帧序列,生成处理后的视频帧序列,包括:

对所述超分辨率视频帧序列和所述色彩增强视频帧序列进行对应位置相乘操作,得到处理后的视频帧序列。

6.一种用于处理视频的装置,包括:

获取单元,被配置成从待处理视频中获取包含预设帧数视频帧的视频帧序列;

输入单元,被配置成将所述视频帧序列输入预先训练的包括去噪网络、超分辨率重建网络和色彩增强网络的视频处理模型,以便所述视频处理模型执行以下操作:

使用所述去噪网络对所述视频帧序列进行去噪处理,得到去噪后的特征信息;

将所述特征信息分别输入所述超分辨率重建网络和所述色彩增强网络,分别得到超分辨率重建后的超分辨率视频帧序列和色彩增强后的色彩增强视频帧序列;

根据所述超分辨率视频帧序列和所述色彩增强视频帧序列,生成处理后的视频帧序列。

7.根据权利要求6所述的装置,其中,所述视频处理模型是通过训练单元训练得到的,所述训练单元包括:

样本获取单元,被配置成获取样本集,其中,样本包括样本视频帧序列和样本处理后视频帧序列;

训练子单元,被配置成将所述样本集中的样本视频帧序列作为输入,将与输入的样本视频帧序列对应的样本处理后视频帧序列作为期望输出,训练得到所述视频处理模型。

8.根据权利要求7所述的装置,其中,所述训练单元还包括:

确定单元,被配置成确定训练前的视频处理模型的初始参数。

9.根据权利要求8所述的装置,其中,所述确定单元进一步被配置成:

使用预设的第一样本集对所述去噪网络进行训练,将训练得到的去噪网络的参数作为第一初始参数,其中,所述第一样本集中的第一样本包括第一视频和第一视频对应的含噪声视频;

使用预设的第二样本集对所述超分辨率重建网络进行训练,将训练得到的超分辨率重建网络的参数作为第二初始参数,其中,所述第二样本集中的第二样本为不同分辨率的视频对;

使用预设的第三样本集对所述色彩增强网络进行训练,将训练得到的色彩增强网络的参数作为第三初始参数,其中,所述第三样本集中的第三样本为包含不同色彩特征的视频对;

使用所述第一初始参数、所述第二初始参数和所述第三初始参数组成训练前的视频处理模型的初始参数。

10.根据权利要求6所述的装置,其中,所述根据所述超分辨率视频帧序列和所述色彩增强视频帧序列,生成处理后的视频帧序列,包括:

对所述超分辨率视频帧序列和所述色彩增强视频帧序列进行对应位置相乘操作,得到处理后的视频帧序列。

11.一种设备,包括:

一个或多个处理器;

存储装置,其上存储有一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。


技术总结
本公开实施例公开了用于处理视频的方法和装置。该方法的一具体实施方式包括:从待处理视频中获取包含预设帧数视频帧的视频帧序列;将上述视频帧序列输入预先训练的包括去噪网络、超分辨率重建网络和色彩增强网络的视频处理模型,以便上述视频处理模型执行以下操作:使用上述去噪网络对上述视频帧序列进行去噪处理,得到去噪后的特征信息;将上述特征信息分别输入上述超分辨率重建网络和上述色彩增强网络,分别得到超分辨率重建后的超分辨率视频帧序列和色彩增强后的色彩增强视频帧序列;根据上述超分辨率视频帧序列和上述色彩增强视频帧序列,生成处理后的视频帧序列。该实施方式实现了视频的高效处理。

技术研发人员:李超;何栋梁;文石磊;章宏武;丁二锐
受保护的技术使用者:北京百度网讯科技有限公司
技术研发日:2020.03.26
技术公布日:2020.07.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1