视频插帧模型训练、视频插帧生成方法及相关装置与流程

文档序号:23552326发布日期:2021-01-05 21:11阅读:来源:国知局

技术特征:

1.一种视频插帧模型训练方法,其特征在于,包括:

获取训练数据,所述训练数据包括:均包括至少2级分辨率的训练标签帧、训练标签前帧和训练标签后帧,且同一级的所述训练标签帧、所述训练标签前帧和所述训练标签后帧的分辨率相同;

根据各级所述训练标签前帧和各级所述训练标签后帧利用所述视频插帧模型获取各级训练标签插帧,根据各级训练标签插帧和各级所述训练标签帧获取生成损失,根据所述生成损失利用优化方法调整所述视频插帧模型的模型参数,得到训练后的所述视频插帧模型,直至所述生成损失达到损失阈值。

2.如权利要求1所述的视频插帧模型训练方法,其特征在于,所述根据所述训练数据利用所述视频插帧模型获取各级训练标签插帧的步骤包括:

获取具有相同当前级分辨率的所述训练标签前帧、所述训练标签后帧、训练标签前帧图像特征和训练标签后帧图像特征;

当所述当前级分辨率低于最大级分辨率时,利用深度神经网络根据所述训练标签前帧图像特征和所述训练标签后帧图像特征获取当前级光流和当前级掩码,当所述当前级分辨率等于最大级分辨率时,对具有低一级分辨率的上一级光流进行上采样得到具有最大级分辨率的当前级光流,对具有低一级分辨率的上一级掩码进行上采样得到具有最大级分辨率的当前级掩码;

根据所述训练标签前帧、所述训练标签后帧、所述当前级光流和所述当前级掩码,获取具有相同当前级分辨率的所述训练标签插帧,按照分辨率等级更新所述当前级分辨率,直至完成全部分辨率等级的所述训练标签插帧的获取,得到各级训练标签插帧。

3.如权利要求2所述的视频插帧模型训练方法,其特征在于,所述利用深度神经网络根据所述训练标签前帧图像特征和所述训练标签后帧图像特征获取当前级光流和当前级掩码的步骤包括:

获取具有低一级分辨率的上一级光流;

对所述上一级光流进行上采样得到具有所述当前级分辨率的上一级采样光流;

根据所述训练标签后帧图像特征与所述上一级采样光流,计算所述训练标签后帧到所述训练标签前帧的后帧转换图像特征;

计算所述训练标签前帧图像特征和所述后帧转换图像特征之间的前帧互相关特征;

根据所述训练标签前帧图像特征和所述前帧互相关特征得到所述当前级光流和所述当前级掩码。

4.如权利要求3所述的视频插帧模型训练方法,其特征在于,利用以下公式计算所述训练标签前帧图像特征和所述后帧转换图像特征之间的前帧互相关特征:

其中,fa--训练标签前帧图像特征;

fb′--后帧转换图像特征;

<,>--卷积运算;

o--位移偏移;

k--互相关窗口大小。

5.如权利要求3所述的视频插帧模型训练方法,其特征在于,所述根据所述训练标签前帧图像特征和所述前帧互相关特征得到所述当前级光流和所述当前级掩码的步骤包括:

根据所述训练标签前帧图像特征和所述前帧互相关特征,利用深度神经网络,得到当前级融合特征、当前级中间光流和当前级中间掩码;

利用深度神经网络,根据所述当前级融合特征、当前级中间光流和当前级中间掩码获取当前级中间光流残差和当前级中间掩码残差;

计算所述当前级中间光流残差和所述当前级中间光流之和,得到所述当前级光流,计算所述当前级中间掩码和所述当前级中间掩码残差之和,得到所述当前级掩码。

6.如权利要求5所述的视频插帧模型训练方法,其特征在于,利用以下公式根据所述训练标签前帧、所述训练标签后帧、所述当前级光流和所述当前级掩码,获取具有相同当前级分辨率的所述训练标签插帧:

其中,m--分辨率等级数;

t—设训练标签前帧的编号为0时,训练标签帧的编号;

ia--训练标签前帧;

ib--训练标签后帧;

mask--当前级掩码;

f′a→b--当前级光流

⊙--点乘;

g--图像插值方法。

7.如权利要求1-6任一项所述的视频插帧模型训练方法,其特征在于,所述获取训练数据的步骤包括:

利用差值法分别对具有相同分辨率的所述训练标签帧中的训练标签原始帧、所述训练标签前帧中的训练标签前原始帧和所述训练标签后帧中的训练标签后原始帧以图像分辨率的1/2倍率进行至少1次递归下采样,得到具有至少2级分辨率的所述训练标签帧、所述训练标签前帧和所述训练标签后帧。

8.如权利要求7所述的视频插帧模型训练方法,其特征在于,还包括:

通过拆解视频数据获取所述训练标签原始帧、所述训练标签前原始帧和训练标签后原始帧,所述训练标签原始帧位于所述训练标签前原始帧和训练标签后原始帧之间的一帧,且所述训练标签前原始帧和训练标签后原始帧之间的间隔帧数小于预定帧数阈值。

9.如权利要求1-6任一项所述的视频插帧模型训练方法,其特征在于,所述根据各级训练标签插帧和各级所述训练标签帧获取生成损失的步骤包括:

根据各级所述训练标签帧和各级所述训练标签插帧获取计算感知损失和均方误差损失;

根据所述感知损失和均方误差损失计算所述生成损失。

10.一种视频插帧生成方法,其特征在于,包括:

获取插帧数据,所述插帧数据包括:均包括至少2级分辨率的视频插帧前帧和视频插帧后帧,待插帧数量,视频插帧在所述插帧视频前帧和所述插帧视频后帧中的插帧位置;

根据插帧数据利用如权利要求1-9任一项所述的视频插帧模型训练方法训练后的视频插帧模型生成视频插帧。

11.如权利要求10所述的视频插帧生成方法,其特征在于,所述利用如权利要求1-9任一项所述的训练后的视频插帧模型生成视频插帧的步骤包括:

根据所述视频插帧前帧获取各级视频插帧前帧图像特征,根据所述视频插帧后帧获取各级视频插帧后帧图像特征;

获取具有相同当前级分辨率的所述视频插帧前帧图像特征、所述视频插帧后帧图像特征、所述视频插帧前帧和所述视频插帧后帧;

当所述当前级分辨率低于最大级分辨率时,利用深度神经网络根据所述视频插帧前帧图像特征和所述视频插帧后帧图像特征获取当前级光流和当前级掩码,当所述当前级分辨率等于最大级分辨率时,对具有低一级分辨率的上一级光流进行上采样得到具有最大级分辨率的当前级光流,对具有低一级分辨率的上一级掩码进行上采样得到具有最大级分辨率的当前级掩码;

根据所述视频插帧前帧、所述视频插帧后帧、所述最大级分辨率的当前级光流和所述最大级分辨率的当前级掩码,获取具有最大级分辨率的所述视频插帧。

12.一种视频插帧模型训练装置,其特征在于,包括:

训练数据获取单元,适于获取训练数据,所述训练数据包括:均包括至少2级分辨率的训练标签帧、训练标签前帧和训练标签后帧,且同一级的所述训练标签帧、所述训练标签前帧和所述训练标签后帧的分辨率相同;

训练后的视频插帧模型获取单元,适于根据各级所述训练标签前帧和各级所述训练标签后帧利用所述视频插帧模型获取各级训练标签插帧,根据各级训练标签插帧和各级所述训练标签帧获取生成损失,根据所述生成损失利用优化方法调整所述视频插帧模型的模型参数,得到训练后的视频插帧模型,直至所述生成损失达到损失阈值。

13.如权利要求12所述的视频插帧模型训练装置,其特征在于,所述训练后的视频插帧模型单元,适于根据各级所述训练标签前帧和各级所述训练标签后帧利用所述视频插帧模型获取各级训练标签插帧,根据各级训练标签插帧和各级所述训练标签帧获取生成损失,根据所述生成损失利用优化方法调整所述视频插帧模型的模型参数,得到训练后的视频插帧模型直至所述生成损失达到损失阈值,具体包括:

获取具有相同当前级分辨率的所述训练标签前帧、所述训练标签后帧、训练标签前帧图像特征和训练标签后帧图像特征;

当所述当前级分辨率低于最大级分辨率时,利用深度神经网络根据所述训练标签前帧图像特征和所述训练标签后帧图像特征获取当前级光流和当前级掩码,当所述当前级分辨率等于最大级分辨率时,对具有低一级分辨率的上一级光流进行上采样得到具有最大级分辨率的当前级光流,对具有低一级分辨率的上一级掩码进行上采样得到具有最大级分辨率的当前级掩码;

根据所述训练标签前帧、所述训练标签后帧、所述当前级光流和所述当前级掩码,获取具有相同当前级分辨率的所述训练标签插帧,按照分辨率等级更新所述当前级分辨率,直至完成全部分辨率等级的所述训练标签插帧的获取,得到各级训练标签插帧。

14.一种视频插帧的生成装置,其特征在于,包括:

插帧数据获取单元,适于获取插帧数据,所述插帧数据包括:均包括至少2级分辨率的视频插帧前帧和视频插帧后帧,待插帧数量,视频插帧在所述插帧视频前帧和所述插帧视频后帧中的插帧位置;

视频插帧获取单元,适于根据插帧数据利用如权利要求1-9任一项所述的视频插帧模型训练方法训练后的视频插帧模型生成视频插帧。

15.如权利要求14所述的视频插帧的生成装置,其特征在于,所述视频插帧获取单元,适于利用如权利要求1-9任一项所述的训练视频插帧模型生成所述当前视频插帧,具体包括:

根据所述视频插帧前帧获取各级视频插帧前帧图像特征,根据所述视频插帧后帧获取各级视频插帧后帧图像特征;

获取具有相同当前级分辨率的所述视频插帧前帧图像特征、所述视频插帧后帧图像特征、所述视频插帧前帧和所述视频插帧后帧;

当所述当前级分辨率低于最大级分辨率时,利用深度神经网络根据所述视频插帧前帧图像特征和所述视频插帧后帧图像特征获取当前级光流和当前级掩码,当所述当前级分辨率等于最大级分辨率时,对具有低一级分辨率的上一级光流进行上采样得到具有最大级分辨率的当前级光流,对具有低一级分辨率的上一级掩码进行上采样得到具有最大级分辨率的当前级掩码;

根据所述视频插帧前帧、所述视频插帧后帧、所述最大级分辨率的当前级光流和所述最大级分辨率的当前级掩码,获取具有最大级分辨率的所述视频插帧。

16.一种设备,其特征在于,包括至少一个存储器和至少一个处理器;所述存储器存储有程序,所述处理器调用所述程序,以执行如权利要求1-9任一项所述的视频插帧模型训练方法。

17.一种存储介质,其特征在于,所述存储介质存储有适于视频插帧模型训练的程序,以实现如权利要求1-9任一项述的视频插帧模型训练方法。

18.一种设备,其特征在于,包括至少一个存储器和至少一个处理器;所述存储器存储有程序,所述处理器调用所述程序,以执行如权利要求10或11所述的视频插帧生成方法。

19.一种存储介质,其特征在于,所述存储介质存储有适于视频插帧模型训练的程序,以实现如权利要求10或11所述的视频插帧生成方法。


技术总结
本发明实施例提供了一种视频插帧模型训练、视频插帧生成方法及相关装置,视频插帧模型训练方法包括:获取训练数据,所述训练数据包括:均包括至少2级分辨率的训练标签帧、训练标签前帧和训练标签后帧;根据各级所述训练标签前帧和各级所述训练标签后帧利用所述视频插帧模型获取各级训练标签插帧,根据各级训练标签插帧和各级所述训练标签帧获取生成损失,根据所述生成损失利用优化方法调整所述视频插帧模型的模型参数,得到训练后的所述视频插帧模型,直至所述生成损失达到损失阈值。本发明实施例所提供的视频插帧模型训练方法、视频插帧生成方法、装置、设备及介质,保证所生成的视频插帧具有较高的精度。

技术研发人员:冀志龙;侯琦;张无名
受保护的技术使用者:北京新唐思创教育科技有限公司
技术研发日:2019.07.01
技术公布日:2021.01.05
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1