基于机器学习的去伪影方法、去伪影模型训练方法及装置与流程

文档序号:19664781发布日期:2020-01-10 21:29阅读:来源:国知局

技术特征:

1.一种基于机器学习的去伪影方法,其特征在于,所述方法包括:

获取待处理的视频;

调用去伪影模型预测所述视频的第i个原始图像帧与对应的压缩后的图像帧之间的残差,得到第i个所述原始图像帧的预测残差,i为正整数;

调用所述去伪影模型将所述预测残差与对应的所述原始图像帧相加,得到去伪影处理后的目标图像帧;

将若干个所述目标图像帧按序进行编码压缩,得到去伪影后的视频帧序列。

2.根据权利要求1所述的方法,其特征在于,所述调用去伪影模型预测所述视频的第i个原始图像帧与对应的压缩后的图像帧之间的残差,得到第i个所述原始图像帧的预测残差,包括:

调用所述去伪影模型对第i个所述原始图像帧进行特征提取,得到第i个所述原始图像帧的特征向量;

调用所述去伪影模型对所述特征向量降维,得到降维后的特征向量;

调用所述去伪影模型对所述降维后的特征向量进行特征重建,得到所述第i个原始图像帧与对应的压缩后的图像帧之间的预测残差。

3.根据权利要求2所述的方法,其特征在于,所述去伪影模型包括至少两个特征提取单元和第一特征融合层,至少两个所述特征提取单元顺次连接,每一个所述特征提取单元的输出端还与所述第一特征融合层的输入端连接;

所述调用所述去伪影模型对第i个所述原始图像帧进行特征提取,得到第i个所述原始图像帧的特征向量,包括:

调用至少两个所述特征提取单元中的每一个所述特征提取单元对第i个所述原始图像帧进行特征提取,得到至少两个特征子向量;

调用所述第一特征融合层将至少两个所述特征子向量进行融合,得到所述特征向量。

4.根据权利要求2所述的方法,其特征在于,所述去伪影模型包括第一1×1卷积层、第二1×1卷积层、特征提取层和第二特征融合层;

所述调用所述去伪影模型对所述特征向量降维,得到降维后的特征向量,包括:

调用所述第一1×1卷积层对所述特征向量降维,得到降维后的第一特征向量;

调用所述第二1×1卷积层对所述特征向量降维,得到降维后的第二特征向量;

调用所述特征提取层对所述第二特征向量进行特征提取,得到特征提取后的第二特征向量;

调用所述第二特征融合层将所述第一特征向量与所述特征提取后的第二特征向量进行融合,得到所述降维后的特征向量。

5.根据权利要求1至4任一所述的方法,其特征在于,所述去伪影模型是通过如下方式训练得到的:

获取训练样本,每组训练样本包括视频样本的每一个原始图像帧样本和对应的编码压缩后的图像帧样本;

调用所述去伪影模型预测所述每组训练样本中所述编码压缩后的图像帧样本的残差,得到样本残差;

调用所述去伪影模型将所述样本残差与对应的所述编码压缩后的图像帧样本相加,得到去伪影处理后的目标图像帧样本;

确定所述目标图像帧样本与对应的所述原始图像帧样本之间的损失,并根据所述损失对所述去伪影模型中的模型参数进行调整,训练所述去伪影模型的残差学习能力。

6.根据权利要求5所述的方法,其特征在于,所述调用所述去伪影模型预测所述每组训练样本中所述编码压缩后的图像帧样本的残差,得到样本残差,包括:

调用所述去伪影模型对所述编码压缩后的图像帧样本进行特征提取,得到所述编码压缩后的图像帧样本的样本特征向量;

调用所述去伪影模型对所述样本特征向量降维,得到降维后的样本特征向量;

调用所述去伪影模型对所述降维后的样本特征向量进行特征重建,得到所述样本残差。

7.根据权利要求6所述的方法,其特征在于,所述去伪影模型包括至少两个特征提取单元和第一特征融合层,至少两个所述特征提取单元顺次连接,每一个所述特征提取单元的输出端还与所述第一特征融合层的输入端连接;

所述调用所述去伪影模型对所述编码压缩后的图像帧样本进行特征提取,得到所述编码压缩后的图像帧样本的样本特征向量,包括:

调用至少两个所述特征提取单元中的每一个所述特征提取单元对所述原始图像帧样本进行特征提取,得到至少两个样本特征子向量;

调用所述第一特征融合层将至少两个所述样本特征子向量进行融合,得到所述样本特征向量。

8.根据权利要求6所述的方法,其特征在于,所述去伪影模型包括第一1×1卷积层、第二1×1卷积层、特征提取层和第二特征融合层;

所述调用所述去伪影模型对所述样本特征向量降维,得到降维后的样本特征向量,包括:

调用所述第一1×1卷积层对所述样本特征向量降维,得到降维后的第一样本特征向量;

调用所述第二1×1卷积层对所述样本特征向量降维,得到降维后的第二样本特征向量;调用所述特征提取层对所述第二样本特征向量进行特征提取,得到特征提取后的第二样本特征向量;

调用所述第二特征融合层将所述第一样本特征向量与所述特征提取后的第二样本特征向量进行融合,得到所述降维后的样本特征向量。

9.一种基于机器学习的去伪影模型训练方法,其特征在于,所述方法包括:

获取训练样本,每组训练样本包括视频样本的每一个原始图像帧样本和对应的编码压缩后的图像帧样本;

调用所述去伪影模型预测所述每组训练样本中所述编码压缩后的图像帧样本的残差,得到样本残差;

调用所述去伪影模型将所述样本残差与对应的所述编码压缩后的图像帧样本相加,得到去伪影处理后的目标图像帧样本;

确定所述目标图像帧样本与对应的所述原始图像帧样本之间的损失,并根据所述损失对所述去伪影模型中的模型参数进行调整,训练所述去伪影模型的残差学习能力。

10.一种基于机器学习的去伪影装置,其特征在于,所述装置包括:

第一获取模块,用于获取待处理的视频;

第一调用模块,用于调用去伪影模型预测所述视频的第i个原始图像帧与对应的压缩后的图像帧之间的残差,得到第i个所述原始图像帧的预测残差,i为正整数;

所述第一调用模块,用于调用所述去伪影模型将所述预测残差与对应的所述原始图像帧相加,得到去伪影处理后的目标图像帧;

编码模块,用于将若干个所述目标图像帧按序进行编码压缩,得到去伪影后的视频帧序列。

11.一种基于机器学习的去伪影模型训练装置,其特征在于,所述装置包括:

第二获取模块,用于获取训练样本,每组训练样本包括视频样本的每一个原始图像帧样本和对应的编码压缩后的图像帧样本;

第二调用模块,用于调用所述去伪影模型预测所述每组训练样本中所述编码压缩后的图像帧样本的残差,得到样本残差;

所述第二调用模块,用于调用所述去伪影模型将所述样本残差与对应的所述编码压缩后的图像帧样本相加,得到去伪影处理后的目标图像帧样本;

训练模块,用于确定所述目标图像帧样本与对应的所述原始图像帧样本之间的损失,并根据所述损失对所述去伪影模型中的模型参数进行调整,训练所述去伪影模型的残差学习能力。

12.一种电子设备,其特征在于,所述电子设备包括:

存储器;

与所述存储器相连的处理器;

其中,所述处理器被配置为加载并执行可执行指令以实现如权利要求1至8任一所述的基于机器学习的去伪影方法,以及如权利要求9所述的基于机器学习的去伪影模型训练方法。

13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集;所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1至8任一所述的基于机器学习的去伪影方法,以及如权利要求9所述的基于机器学习的去伪影模型训练方法。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1