面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法与流程

本发明涉及图像处理，尤其是涉及一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法。

背景技术：

1、滚动快门(rs，rolling shutter)机制广泛应用于消费级视频相机，通过在采集过程中持续地拍摄照片，从而有效提高灵敏度。rs相机采用cmos传感器，而不是像使用ccd传感器的全局快门(gs，global shutter)一样瞬间拍摄整个场景，但在极端运动条件下，连续扫描线之间的时间间隔会引起运动伪影，称为rs效应，例如晃动和扭曲，除了有害的视觉伪影外，rs效应还会破坏基于gs假设的许多3d视觉算法，例如相机姿态估计、运动结构和slam。因此，滚动快门校正(rsc)在摄影中非常重要，并在过去几十年中吸引了大量的研究注意力，现有的rs校正方法主要分为单帧和多帧方法：

2、基于单帧的模型——为简化rsc问题，许多方法采用不同的几何假设，例如直线保持直线、消失方向约束以及解析3d直线rs投影模型，此外，这类方法还应用了简化的相机运动模型，例如旋转模型和ackerman模型，最新研究有提出具有全局重置特征的rs去除模型，然而，单帧模型要么依赖于强假设，要么依赖于不显眼的特征，导致性能不佳；

3、基于多帧的模型——多帧方法可分为传统方法和基于学习的方法，传统的多帧方法针对一般的无序rs图像和连续两帧之间的运动，将rs帧之间的运动建模为混合单应性矩阵，用于修正无序的rs图像和两个连续的帧；基于学习的方法则根据常速度和常加速下的微分极线约束来估计两帧之间的相对姿态、并恢复gs图像，然而，这些方式要么依赖于简化的相机运动模型，要么需要先验镜头校准。

4、详细来说，基于多帧的学习模型可以分为基于运动场和基于光流的方法。前者通常通过相关层计算代价体积来获取两帧之间的运动场，例如使用金字塔结构用于恢复gs图像，使用可变形注意力特征融合模块的架构，然而，基于运动场的方法间接地估计校正场，难以有效地监督；基于光流的方法则间接地在恒定速度假设下形成rs去畸变流，使用深度神经网络从光流中恢复rs去畸变，然而，当前的基于光流的方法忽略了非线性运动，因此在复杂的运动场景中无法很好地工作。

5、综上可知，在复杂非线性和动态场景中，针对极端遮挡的卷帘快门图像失真校正问题，现有技术主要还存在以下问题：1、由于基于统一速度假设(即基于匀速假设)，难以估计精确的修正矢量场，导致在复杂运动下存在显著的图像校正误差；2、面对动态场景存在的极端遮挡问题，由于对齐和聚合多帧的固有困难，难以实现高图像质量修复。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法，能够准确估计每个像素的高阶修正矢量场、有效地对多帧上下文进行对齐和聚合，从而可靠解决卷帘快门图像失真校正问题。

2、本发明的目的可以通过以下技术方案来实现：一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法，包括以下步骤：

3、s1、获取rs数据集，通过数据处理方式，划分得到训练集、测试集和验证集；

4、s2、构建卷帘快门图像修正算法框架，利用训练集、测试集和验证集进行模型训练，得到rs修正模型；

5、s3、将待修正的图像输入rs修正模型，输出得到重建后的修正图像。

6、进一步地，所述步骤s1中rs数据集包括carla-rs、fastec-rs以及bs-rsc数据集。

7、进一步地，所述步骤s2中卷帘快门图像修正算法框架包括依次连接的光流估计器、multi-qrs运动解算器和rsa2-net单元。

8、进一步地，所述光流估计器用于从连续的多帧rs图像中预测前向和后向光流。

9、进一步地，所述光流估计器设置有openmmlab optical flow toolbox中的raft和gma网络。

10、进一步地，所述multi-qrs运动解算器用于从前向和后向光流中求解出像素二阶运动，以对像素运动轨迹进行建模，输出得到每个像素的高阶修正矢量场。

11、进一步地，所述rsa2-net单元用于在动态场景中重建遮挡帧。

12、进一步地，所述rsa2-net单元包括3d视频编码器(3d-transformer)、顺序排列的解码层和迭代的rsadacof模块。

13、进一步地，所述3d视频编码器用于对输入进行编码，得到多尺度编码特征，所述输入具体由连续帧和multi-qrs运动解算器获得的相应校正场拼接而成。

14、进一步地，所述解码层用于对多尺度编码特征进行解码，所述rsadacof模块用于进行分层变形处理，以产生重建后的gs帧。

15、与现有技术相比，本发明具有以下优点：

16、本发明通过构建卷帘快门图像修正算法框架，结合rs数据集进行模型训练，以得到rs修正模型，该卷帘快门图像修正算法框架包括依次连接的光流估计器、multi-qrs运动解算器和rsa2-net单元，一方面利用multi-qrs运动解算器来对像素的运动轨迹进行建模，以准确估计每个像素的高阶修正矢量场，另一方面利用三维视频架构rsa2-net单元对多帧上下文进行有效对齐和聚合，由此能够在动态场景中重建高质量的遮挡帧，从而在复杂非线性和动态场景中，可靠解决针对极端遮挡的卷帘快门图像失真校正问题。

17、本发明为了解决在复杂非线性运动下的校正场估计问题，提出一个用于实际可变速度和动态场景的精确高阶运动求解器——multi-qrs运动解算器，根据导数定义，使用时间t0周围的二阶泰勒展开来表达平面上像素的运动轨迹，结合rs行扫描的原理，由multi-qrs运动解算器从光流估计器中的前向后向光流中求解出像素二阶运动，从而估计出像素修正到任何时刻的位置，而将解算器扩展成多维，则可直接处理连续的rs视频流，并且完成精细化对齐。本发明针对像素的复杂运动进行建模，能够处理复杂运动场景细的rs修正任务。

18、本发明在rsa2-net单元设计3d视频编码器、顺序排列的解码层和迭代的rsadacof模块，使用了3d网络结构，能够从整个视频流中更精细化地对齐、聚合像素信息，从而取得更高质量的修正结果，即在动态场景中重建高质量的遮挡帧，解决了现有方法在动态场景和极端遮挡下无法有效对齐的问题。

技术特征：

1.一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法，其特征在于，所述步骤s1中rs数据集包括carla-rs、fastec-rs以及bs-rsc数据集。

3.根据权利要求1所述的一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法，其特征在于，所述步骤s2中卷帘快门图像修正算法框架包括依次连接的光流估计器、multi-qrs运动解算器和rsa2-net单元。

4.根据权利要求3所述的一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法，其特征在于，所述光流估计器用于从连续的多帧rs图像中预测前向和后向光流。

5.根据权利要求4所述的一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法，其特征在于，所述光流估计器设置有openmmlab optical flow toolbox中的raft和gma网络。

6.根据权利要求4所述的一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法，其特征在于，所述multi-qrs运动解算器用于从前向和后向光流中求解出像素二阶运动，以对像素运动轨迹进行建模，输出得到每个像素的高阶修正矢量场。

7.根据权利要求6所述的一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法，其特征在于，所述rsa2-net单元用于在动态场景中重建遮挡帧。

8.根据权利要求7所述的一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法，其特征在于，所述rsa2-net单元包括3d视频编码器、顺序排列的解码层和迭代的rsadacof模块。

9.根据权利要求8所述的一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法，其特征在于，所述3d视频编码器用于对输入进行编码，得到多尺度编码特征，所述输入具体由连续帧和multi-qrs运动解算器获得的相应校正场拼接而成。

10.根据权利要求9所述的一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法，其特征在于，所述解码层用于对多尺度编码特征进行解码，所述rsadacof模块用于进行分层变形处理，以产生重建后的gs帧。

技术总结
本发明涉及一种面向非线性运动和遮挡鲁棒性的卷帘快门图像修正方法，包括：获取RS数据集，通过数据处理方式，划分得到训练集、测试集和验证集；构建卷帘快门图像修正算法框架，利用训练集、测试集和验证集进行模型训练，得到RS修正模型；将待修正的图像输入RS修正模型，输出得到重建后的修正图像。与现有技术相比，本发明设计由光流估计器、Multi‑QRS运动解算器、RSA<supgt;2</supgt;‑Net单元组成的算法框架，利用基于几何的二次卷帘快门(QRS)运动求解器，能够准确估计每个像素的高阶修正矢量场；利用三维视频架构(RSA<supgt;2</supgt;‑Net)，能够在动态场景中重建高质量的遮挡帧，由此可靠解决卷帘快门图像失真校正问题。

技术研发人员：李学龙,赵斌,屈德林
受保护的技术使用者：上海人工智能创新中心
技术研发日：
技术公布日：2024/2/8