混合单应性变换滚动快门单图矫正系统及方法，计算机存储介质

本发明属于涉及计算机视觉、计算机图形学领域，具体涉及一种混合单应性变换滚动快门单图矫正系统及方法，计算机存储介质。

背景技术：

1、cmos传感器由于其紧凑性和低功耗，被广泛用于消费级设备，在许多便携式设备上应用，比如手机、机器人或无人机上的摄像头。然而，cmos传感器受到滚动快门(rollingshutter,rs)效应的影响，在拍摄过程和成像过程中，不同行的像素在不同时间被曝光，这种逐行曝光的方式往往会带来一些假象，这些假象包括但不限于图像内容的歪斜、直线的混杂、以及对图像的破坏，这些会导致图像内容的倾斜，直线的混合和时间上的摇摆影响，造成图像和视频的扭曲。更糟糕的是，相机的晃动越大，场景的动态运动越强。场景动态运动越强，rs效应就越强。而因此导致的图像和视频的扭曲，不仅在视觉上令人不快，而且对下游任务有害，如三维重建、姿势估计和深度估计等下游任务，会造成一定的影响。与rs相比，全局快门(global shutter,gs)更加友好，但是，全局快门需要额外的设计实现内部同步，这是更复杂的。

技术实现思路

1、本发明提供种混合单应性变换滚动快门单图矫正系统及方法，计算机存储介质，实现混合单应性矩阵估计，并以此来进行滚动快门效应的消除，有效对滚动快门单图进行矫正。

2、本发明通过下述技术方案实现：

3、一方面，本发明提供一种混合单应性变换滚动快门单图矫正方法，包括以下步骤：将待处理的图像划分为k个块，并对每一个块的单应性矩阵的所有运动基分别赋予一个权重；其中，每一个块的单应性矩阵的所有运动基为一组运动基，每一个块所有的权重为一组权重；对k个块分别进行处理，得到k个块各自对应的初始单应性变换流场；其中，对每一个块的处理步骤为：将每一个块中设置的一组权重与该块的一组运动基进行加权；利用高斯平滑特征，沿k个块的中心线定义高斯权重，得到k张高斯权重图；将k个块各自对应的初始单应性变换流场和k张高斯权重图进行点积，得到待处理图像的最终单应性变换流场；基于待处理图像的最终单应性变换流场，对待处理的图像进行映射，得到矫正后的图像。

4、在其中一些实施例中，待处理图像每一个块的一组运动基的获取包括以下步骤：从视频数据集中提取出n对相邻帧；估计相邻帧的n个单应性矩阵；将所有的单应性矩阵全部转换为运动流场；将所有的运动流场展开并拼接，得到矩阵f；将矩阵f进行奇异值分解：

5、f＝u∑vt

6、其中，u、v均为酉矩阵，分别包含左奇异向量和右奇异向量；σ代表包含了所有奇异值的矩阵，且奇异值分布在其对角线上提取前n个奇异值对应的左奇异向量；按照图像尺寸调整n个左奇异向量为匹配图像尺寸的张量，得到一组运动基。

7、在其中一些实施例中，将每一个块中设置的一组运动基的权重的获取通过神经网络学习实现。

8、在其中一些实施例中，神经网络的损失函数如下：

9、

10、其中，h和w是图像的尺寸；m为网络预测加权后图像对应位置的流场；m为生成滚动快门图像时作标签的相同位置的流场；mij指的是网络预测输出的运动流场在第i行第j列对应的坐标变换，mij指的是训练标签的运动流场在第i行第j列对应的坐标变换。

11、在其中一些实施例中，将待处理的图像划分为k个块包括：将待处理的图像沿纵向划分为k个块。

12、在其中一些实施例中，将待处理的图像划分为k个块还包括：将待处理的图像均匀划分为k个块。

13、另一方面，本申请提供一种混合单应性变换滚动快门单图矫正系统，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序，以实现上述实施例中任一项的混合单应性变换滚动快门单图矫正方法。

14、本申请还提供一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器进行加载，以执行上述实施例中任一项的混合单应性变换滚动快门单图矫正方法。

15、本发明与现有技术相比，具有以下优点及有益效果：

16、本发明提供的混合单应性变换滚动快门单图矫正方法采用混合单应性变换，以此来进行滚动快门效应的消除。相比于传统的单个单应性变换，混合单应性变换具有更高的空间自由度，可以用于滚动快门矫正。

17、本发明采用深度学习的方式估计混合单应性变换，相比于直接学习单应性矩阵元素，本发明学习一组运动基权重，这组基权重加权多个运动流场以获得混合单应性变换；相比于采用预定义运动流场，本发明提出一种运动流场的学习方法以构建更真实的运动流场用于运动基，这样有助于运动基权重学习。

技术特征：

1.一种混合单应性变换滚动快门单图矫正方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的混合单应性变换滚动快门单图矫正方法，其特征在于，所述待处理图像每一个块的一组运动基的获取包括以下步骤：

3.根据权利要求1所述的混合单应性变换滚动快门单图矫正方法，其特征中在于，所述将每一个块中一组运动基的权重的获取通过神经网络学习实现。

4.根据权利要求3所述的混合单应性变换滚动快门单图矫正方法，其特征中在于，所述神经网络的损失函数如下：

5.根据权利要求1所述的混合单应性变换滚动快门单图矫正方法，其特征中在于，所述将待处理的图像划分为k个块包括：

6.根据权利要求1或5所述的混合单应性变换滚动快门单图矫正方法，其特征中在于，所述将待处理的图像划分为k个块还包括：

7.一种混合单应性变换滚动快门单图矫正系统，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序，以实现权利要求1至6任一项所述的混合单应性变换滚动快门单图矫正方法。

8.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至6任一项的混合单应性变换滚动快门单图矫正方法。

技术总结
本发明公开了一种混合单应性变换滚动快门单图矫正系统及方法，计算机存储介质，该方法包括以下步骤：将待处理的图像划分为K个块，并对每一个块的单应性矩阵的所有运动基分别赋予一个权重；对K个块分别进行处理，得到K个块各自对应的初始单应性变换流场；利用高斯平滑特征，沿K个块的中心线定义高斯权重，得到K张高斯权重图；将K个块各自对应的初始单应性变换流场和K张高斯权重图进行点积，得到待处理图像的最终单应性变换流场；基于待处理图像的最终单应性变换流场，对待处理的图像进行映射，得到矫正后的图像。本发明相比于传统的单个单应性变换，混合单应性变换具有更高的空间自由度，可以用于滚动快门矫正。

技术研发人员：刘帅成,闫威龙
受保护的技术使用者：电子科技大学
技术研发日：
技术公布日：2024/1/12