一种基于坐标转换的图像扭曲处理方法与流程

本发明涉及数字图像处理与计算机视觉领域，尤其涉及一种基于坐标转换的图像扭曲处理方法。

背景技术：

图像扭曲就是改变图像外观的一个过程，其结果就是改变了原始图像中像素的位置。最简单的图像扭曲操作是水平移位，向左或向右移动1个、2个或是n个像素的位置。然而，当同时在横纵两个方向上进行小数移位而不是整数移位时，情况有所不同。此时，像素新的位置不会落到一个图形的整数格位置上。因此，它的新值不得不进行某种方式的插值来适应任意新位置。出现这种情况通常发生在当对输入图像进行几何变换时，例如旋转、平移、缩放和射影变换。图像扭曲系统包括坐标变换和像素插值两部分，其中，扭曲模块由正向和逆向扭曲操作组成。

坐标变换模块负责在源坐标系和目标坐标系间像素坐标的映射。对于此模块，本发明提出逆向扭曲方案，坐标变换总是进行逆坐标映射，即输出(已变形)空间向输入(原始)空间，这意味着需要知道逆变换的参数。然而，一般正向变换是已知的，在这种情况下逆映射需要被计算出来的。故本发明提出用匹配点确定坐标变换，此方法可被用来评估变换的线性参数，即变换是否能被写成线性方程组的形式，其中方程的数目大于等于未知参数的数目，此方法可用于弹性立体匹配，根据视差图进行扭曲变换，然后与原始图像进行对比，可避免在冗长复杂的运算工程中出错以影响测量精度，并在尺度空间中被反复使用。

技术实现要素：

针对现有技术中存在的计算复杂、验证困难等技术问题，本发明的目的是：提供一种简单、直观的基于坐标转换的图像扭曲处理方法。

为了达到上述目的，本发明采用如下技术方案：

一种基于坐标转换的图像扭曲处理方法，通过匹配点和正向变换计算出逆映射，其中匹配点是通过相机和采样平面选定的点，正向变换为图像从输入空间到输出空间的变换，正向变换为已知的，逆映射为图像从输出空间到输入空间的变换；求得逆映射后，通过逆映射将图像从输入空间变换至输出空间。本发明提出逆变换的方法，可以避免正变换情况下，输入图像由于映射后区域可能重叠，导致输出图像产生空洞，即正变换中对输入图像中的一些不同点，经过扭曲变换，映射到输出图像中同一个点，然而，它们原本都有不同的值，因此使用正变换的方法时我们需要将这些值存储至累加器以被后续的插值阶段使用，因此本专利方法更为的简单、直观。

作为一种优选，一种基于坐标转换的图像扭曲处理方法，包括如下步骤：(1)固定采样平面与相机的相对位置；(2)建立相机坐标系；(3)选取匹配点对采样平面进行标定；(4)对测得坐标进行逆扭曲变换得到基本映射；(5)由匹配点确定线性变换；(6)构建向量范数l2,即欧几里得距离；(7)构建函数e(x)求得满足向量范数l2最小化的解x0，通过x0计算出逆映射。

作为一种优选，步骤(1)中，为了保证采样平面和相机在标定和测量过程中的相对位置不变，通过安装支架将采样平面与相机刚性绑定在一起；相机和采样平面的位置关系要保证相机在视场范围的合适角度内能观测到采样平面。

作为一种优选，(2)中，取相机中心为坐标系原点，以相机光轴为z轴成像面的水平方向为x轴，成像面的竖直方向为y轴，其中z轴垂直于采样平面，并过采样面的中心。

作为一种优选，步骤(3)中，在采样平面上选取3个匹配点，并利用仿射变换。

作为一种优选，步骤(3)中，仿射变换只需要六个参数，被写成

式中，a为坐标变换(扭曲变换)矩阵；x为齐次坐标系中的像素坐标；为扭曲变换后输出图像中的新像素坐标。

作为一种优选，步骤(4)中，基本映射写成如下形式：

式中：p1、p2、p3和分别为原始的点和经过扭曲变换后的点，要想得到b，需将上面的等式重写为以下形式：

式中pij为点的分量；bij为b的元素，这个式子缩写成如下形式：

b9×1是来自于b的列向量，和p9×1都在式(4)中给出。

作为一种优选，步骤(5)中，在图像扭曲变换中可能会发生当匹配点数目比多项式系数多的情况，确定多项式变换的问题就是解超定系统的线性方程；

线性方程组：

ax＝b(6)

式中：am×n为一个系数矩阵；xn×1为未知的矩阵；bm×1为一个系数矩阵，只有当m＝n且a是非奇异时，式(6)才有解；当m>n，方程组数量大于未知数数量，式(6)系统是超定的，一般无解，因为b是m维的向量，不属于阶数最大为n的矩阵a的值域空间；

因此，转化为寻找x使下式中

r＝b-ax(7)

向量rm×1的系数最小。

作为一种优选，步骤(6)中，选择一个向量范数，即欧几里得距离l2范数，这样，最小化式(7)的问题被表达为

在l2的情况下满足式(8)的向量x是在a的值域空间中离向量b最近的向量。

作为一种优选，步骤(7)中，为求得满足式(8)的向量x0，残差向量r正交于r，即a^t(b-ax)＝0；为得到x0可构建函数e(x)：

式中：l2范数可以表示为

e(x)＝(b-ax)^t(b-ax)(10)

区别于上述x的方程，正规方程为：

使之等于0，得到极值点x0：

a^t(b-ax0)＝0(12)

假设a^ta是非奇异的，则上述方程的唯一解为

x0＝(a*a)^-1a*b(13)

式中：a*为a的共轭矩阵；a⁺＝(a*a)^-1a*为a的伪逆矩阵。

总的说来，本发明具有如下优点：

1.简单、直观，可避免在冗长复杂的运算工程中出错以影响测量精度。

2.在某些正向变换不能实现的情况下，能通过近似求解的方式，使得图像从输入空间到输出空间的变换均能实现。

3.本发明提出逆变换的方法，输出图像是逐点扫描，使得在输入图像中相应的像素位置就可以被计算出来，此外，新位置往往不是输入图像的网格整数点；因此，可以避免正变换情况下，输入图像由于映射后区域可能重叠，导致输出图像产生空洞，即正变换中对输入图像中的一些不同点，经过扭曲变换，映射到输出图像中同一个点，然而，它们原本都有不同的值，因此使用正变换的方法时我们需要将这些值存储至累加器以被后续的插值阶段使用。

4.采用逆变换的方法确定像素的值时，需要对原始图样进行重新采样，这时候更容易在输入图像中找到离插值像素最近的像素。

5.逆变换中，当从输出图像向输入图像映射时，像素映射的方法通常不会产生空洞问题。

附图说明

图1是相机坐标系建立示意图。

图2是本发明的逆扭曲方案示意图。其中输出图像的点被映射到输入空间，然后，基于已映射点的最近领域，由像素值插值确定其值。即使两个点被映射至同一个位置，也不会出现空洞问题。(a)输入目标；(b)输出(被扭曲的)图像。其中，输出中的不同点pa、pb映射到了输入中的相应点pa＝pb’，pc映射到pc’。

图3是本发明的一种基于坐标转换的图像扭曲处理方法的流程图。

具体实施方式

下面将结合具体实施方式来对本发明做进一步详细的说明。

一种基于坐标转换的图像扭曲处理方法，该方法通过匹配点来确定坐标变换的问题，具体包括以下步骤：

(1)固定采样平面与相机的相对位置

为了保证采样平面和相机在标定和测量过程中的相对位置不变，通过安装支架将采样平面与相机刚性绑定在一起。相机和采样平面的位置关系要保证相机在视场范围的合适角度内能观测到采样平面。

(2)建立相机坐标系

如图1所示，取相机中心为坐标系原点，以相机光轴为z轴成像面的水平方向为x轴，成像面的竖直方向为y轴，其中z轴垂直于采样平面，并过采样面的中心，采样面到相机的中心的垂直距离为d。

(3)选取匹配点对采样平面进行标定

在采样平面上选取3个匹配点，平面涉及射影变换和仿射变换，平面射影单应变换需要9个参数，而仿射变换只需要6个参数，因此，本发明从仿射变换开始。

在很多应用中，对应着旋转、平移和缩放的仿射变换经常被使用。它只需要6个参数，可以被写为

在齐次坐标系中，第三个坐标的选择从某种意义上讲是任意的，因此对于由上面公式给出的仿射变换，为方便起见，假设式中，a为坐标变换(扭曲变换)矩阵；x为齐次坐标系中的像素坐标；为扭曲变换后输出图像中的新像素坐标。

此时，在计算笛卡尔坐标时可以避免除法。

(4)对测得坐标进行逆扭曲变换得到基本映射

在执行逆扭曲变换时，不再是找矩阵a，而是找它的逆b＝a^-1,假设这个逆矩阵存在。如图2所示，矩阵b描述的是从输出到原始图像(未扭曲)的映射，因为有六个未知数，每个二维点增加两个等式，因此必须有三个不同的点来决定矩阵b的参数。此外所有点不应全在一条只显示，否则的话最终导致奇异性的相关方程。这样的基本映射则可写成如下形式：

式中：p1、p2、p3和分别为原始的点和经过扭曲变换后的点，要想得到b，需将上面的等式重写为以下形式：

式中pij为点的分量；bij为b的元素，这个式子可以缩写成如下形式：

b9×1是来自于b的列向量，和p9×1都在式(4)中给出。

(5)由匹配点确定线性变换

在图像扭曲变换中可能会发生当匹配点数目比多项式系数多的情况，确定多项式变换的问题就是所谓的解超定系统的线性方程。

线性方程组：

ax＝b(6)

式中：am×n为一个系数矩阵；xn×1为未知的矩阵(向量)；bm×1为一个系数矩阵(向量)，只有当m＝n且a是非奇异时，方程组(6)才有解。当m>n(方程组数量大于未知数数量)，式(6)系统是超定的，一般无解，因为b是m维的向量，不属于阶数最大为n的矩阵a的值域空间。

因此，可转化为寻找x使下式中

r＝b-ax(7)

向量rm×1的系数最小。

(6)构建向量范数l2(即欧几里得距离)

选择一个向量范数。最自然(直观)的选择是l2范数(即欧几里得距离)，这样，最小化(7)的问题被表达为

在l2的情况下满足式(8)的向量x是在a的值域空间中离向量b最近的向量。

(7)构建函数e(x)求得满足向量范数l2最小化的解x0

为求得满足式(8)的向量x0，残差向量r正交于r，即a^t(b-ax)＝0。为得到x0可构建函数e(x)：

式中：l2范数可以表示为

e(x)＝(b-ax)^t(b-ax)(10)

区别于上述x的方程，我们所谓的正规方程为：

使之等于0，得到极值点x0：

a^t(b-ax0)＝0(12)

假设a^ta是非奇异的，则上述方程的唯一解为

x0＝(a*a)^-1a*b(13)

式中：a*为a的共轭矩阵；a⁺＝(a*a)^-1a*为a的伪逆矩阵。

一幅简单的图像可以用来储存在计算机内存的二维数组来表示，数组中的元素表示像素光强值。在数学上，用矩阵来表示图像。坐标变换模块是利用像素在源坐标系中的位置，计算像素在目标坐标系中的位置，通过逆向扭曲处理，可纠正正向扭曲处理所出现的问题。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。