多模块阶梯式融合学习的视频修复方法与流程

本发明属于视频处理，具体涉及一种多模块阶梯式融合学习的视频修复方法。

背景技术：

1、在影片数字化流程中，胶片电影从产生到数字化整个过程中出现的由于各种因素而产生的划痕或污渍，最后数字化成数字视频后会在画面中留下瑕疵，从而影响观看效果，因此去除这些瑕疵是保留影片价值的关键。

2、目前针对划痕去除，传统的图像处理方法是检测到划痕的位置，再利用图像相似块进行填补，以上处理方式存在诸多问题，首先检测的准确性不够，其次图像块直接填补的区域会与整体图像差异较大，边缘分界明显。

3、且对于不规则区域的修复，传统图像处理方法无能为力，只能使用深度学习的方式，目前有基于三维卷积的方法，运用神经网络训练，可以去除小区域斑点和污渍，但对于视频中出现较大运动位移的物体时，会引入外部噪声，导致处理异常，效果较差。

技术实现思路

1、鉴于以上存在的问题，本发明提供一种多模块阶梯式融合学习的视频修复方法，用于采用先分阶段训练再融合优化的方式，通过分阶段训练得到针对不同类型瑕疵修复的子模块，再进行特征融合优化，从而得到更加准确的参数，达到对视频进行修复的目的。

2、为解决上述技术问题，本发明采用如下的技术方案：

3、一种多模块阶梯式融合学习的视频修复方法，包括分阶段训练过程，融合优化过程和推理过程，

4、所述分阶段训练过程用于利用划痕检测模块初筛出一部分划痕，输入待处理的训练数据对<x_inputt，y_maskt>，表示待处理数据与真实的划痕类型特征，输出筛选出的一组划痕类型特征y_maskdetect，通过函数优化模块进行优化得到最佳的参数θu；光流变换融合模块输入训练数据序列对<x_inputt-i，x_inputt，yt>，其中x_inputt-i表示待处理的前第i帧，x_inputt表示待处理的当前帧，yt表示真实参考掩模，光流变换flow需要前后帧分别与当前帧两两运算，首先计算得到两帧之间的光流信息，再做仿射变换操作warp，最终输出完整变换融合后的序列交给掩模提取模块；掩模提取模块对光流变换融合模块的输出序列进行空间对齐，融合前后帧与当前帧的时序信息，得到准确的掩模信息yextract；采用函数优化模块对划痕检测模块单独进行优化，优化目标是真实的划痕类型y_maskt和筛选出的划痕类型特征y_maskdetect，两者之间计算最小重建损失，从而找到最佳的参数θu；采用函数优化模块对光流变换融合模块和掩模提取模块一起优化，优化目标是真实的参考掩模yt和提取的掩模信息yextract，计算最小重建损失，得到最佳参数θf；

5、融合优化过程为划痕检测模块、光流变换融合模块和掩模提取模块分别使用在分阶段训练过程中得到的最佳参数θu与θf，通过函数优化模块对划痕检测模块、光流变换融合模块、掩模提取模块和多模块融合模块的参数进行整体优化，通过计算基准图像gt和融合数据y_outputfusion之间的最小重建损失，优化最佳整体参数θall；

6、推理过程为划痕检测模块、光流变换融合模块、掩模提取模块和多模块融合模块的参数使用融合优化过程中得到的最佳参数θall，将待处理的视频或图像序列转换成模型适用的数据形式{framet}，处理后的输出帧yfusion转换为实际输出的视频序列。

7、一种可能的实现方式中，所述划痕检测模块包括多个卷积操作conv和激活函数，所述激活函数有两类，分别表示为：

8、α是可学习参数

9、

10、所述划痕检测模块结构为u型金字塔结构，即每层包括一个卷积操作与激活函数，层数不小于六层，前半段层间使用2倍下采样的操作过渡，后半段使用2倍上采样操作过渡，整体表达为u(x)，所述划痕检测模块输入是待处理的训练数据对<x_inputt，y_maskt>，表示待处理数据与真实的划痕类型特征，输出是筛选出的一组划痕类型特征y_maskdetect，所述划痕检测模块在分阶段训练过程中通过函数优化模块进行优化得到最佳的参数θu。

11、一种可能的实现方式中，采用函数优化模块对划痕检测模块单独进行优化，优化目标是真实的划痕类型y_maskt和筛选出的划痕类型特征y_maskdetect，两者之间计算最小重建损失，从而找到最佳的参数θu的公式表示为：

12、l＝∑(y_maskt-y_maskdetect)2

13、

14、一种可能的实现方式中，采用函数优化模块对光流变换融合模块和掩模提取模块一起优化，优化目标是真实的参考掩模yt和提取的掩模信息yextract，计算最小重建损失，得到最佳参数θf的公式表示为：

15、l＝∑(yt-yextract)2

16、

17、一种可能的实现方式中，，推理过程中采用数据流入模块将待处理的视频或图像序列转换成模型适用的数据形式{framet}表示所有帧，其中输入的帧数可根据需要增加或减少，处理好后将数据传人划痕检测模块和光流变换融合模块。

18、采用本发明具有如下的有益效果：本发明的技术方案采用先分阶段训练再融合优化的方式，通过分阶段训练得到针对不同类型瑕疵修复的子模块，再进行特征融合优化，从而得到更加准确的参数，达到对视频进行修复的目的。本发明的技术方案分阶段训练不同模块，使模型高度模块化且更具鲁棒性；模型处理后的序列没有大运动带来的伪影问题，修复质量得到提高。

技术特征：

1.一种多模块阶梯式融合学习的视频修复方法，其特征在于，包括分阶段训练过程，融合优化过程和推理过程，

2.如权利要求1所述的多模块阶梯式融合学习的视频修复方法，其特征在于，所述划痕检测模块包括多个卷积操作conv和激活函数，所述激活函数有两类，分别表示为：

3.如权利要求1所述的多模块阶梯式融合学习的视频修复方法，其特征在于，采用函数优化模块对划痕检测模块单独进行优化，优化目标是真实的划痕类型y_maskt和筛选出的划痕类型特征y_maskdetect，两者之间计算最小重建损失，从而找到最佳的参数θu的公式表示为：

4.如权利要求1所述的多模块阶梯式融合学习的视频修复方法，其特征在于，采用函数优化模块对光流变换融合模块和掩模提取模块一起优化，优化目标是真实的参考掩模yt和提取的掩模信息yextract，计算最小重建损失，得到最佳参数θf的公式表示为：

5.如权利要求1所述的多模块阶梯式融合学习的视频修复方法，其特征在于，推理过程中采用数据流入模块将待处理的视频或图像序列转换成模型适用的数据形式{framet}表示所有帧，其中输入的帧数可根据需要增加或减少，处理好后将数据传入划痕检测模块和光流变换融合模块。

技术总结
本发明公开了一种多模块阶梯式融合学习的视频修复方法，分阶段训练过程用于利用划痕检测模块初筛出一部分划痕，通过函数优化模块进行优化得到最佳的参数θ<supgt;U</supgt;；采用函数优化模块对划痕检测模块单独进行优化；采用函数优化模块对光流变换融合模块和掩模提取模块一起优化；融合优化过程得到优化最佳整体参数；推理过程为划痕检测模块、光流变换融合模块、掩模提取模块和多模块融合模块的参数使用融合优化过程中得到的最佳参数θ<supgt;all</supgt;，将待处理的视频或图像序列转换成模型适用的数据形式{frame<supgt;t</supgt;}，处理后的输出帧y<supgt;fusion</supgt;转换为实际输出的视频序列。

技术研发人员：赵浩,陈晓峰,祁伟,谢亚光
受保护的技术使用者：杭州当虹科技股份有限公司
技术研发日：
技术公布日：2024/1/15