一种图像畸变校正方法、装置、设备及存储介质与流程

本发明涉及图像校正技术领域，特别是涉及一种图像畸变校正方法、装置、设备及存储介质。

背景技术：

目前，常见的图像畸变校正方法是基于标定模板方法，如采用点阵图、平面网格等模板，通过世界坐标和像素坐标的映射关系来分析场景结构和相机的内外参数，并利用dlt(directlinertransformation)线性求解方法求解畸变校正矩阵，此类方法需要求解复杂的方程组。

因此，如何避免求解复杂dlt线性畸变校正矩阵，使图像畸变校正方法简单化，是本领域技术人员亟待解决的技术问题。

技术实现要素：

有鉴于此，本发明的目的在于提供一种图像畸变校正方法、装置、设备及存储介质，可以避免传统求解复杂dlt线性畸变校正矩阵的过程，整个方法较简单。其具体方案如下：

一种图像畸变校正方法，包括：

分别将参考图像和畸变图像从直角坐标系转换至极坐标系；

采用拉格朗日插值法对所述参考图像中选取的特征点和所述畸变图像中与所述特征点对应的待校正像素点之间的极径差和极角差进行插值运算，得到插值结果；

根据得到的所述插值结果，对所述畸变图像内的每一待校正像素点进行畸变校正。

优选地，在本发明实施例提供的上述图像畸变校正方法中，从直角坐标系转换至极坐标系的坐标变换关系为：

其中，(xc,yc)为光学对称中心在所述直角坐标系中的坐标位置，(x,y)为所述参考图像和所述畸变图像中各像素点在所述直角坐标系中的坐标位置，(r,θ)为(x,y)经坐标转换后相对应的极坐标表示。

优选地，在本发明实施例提供的上述图像畸变校正方法中，采用拉格朗日插值法进行插值运算时，以所述特征点的极角作为插值节点，且以所述特征点和与所述特征点对应的待校正像素点之间的极径差和极角差作为对应的插值函数值。

优选地，在本发明实施例提供的上述图像畸变校正方法中，所述插值运算采用下述公式进行：

其中，θ0,θ1,...,θn为插值节点，lk(θ)为所述插值节点θ0,θ1,...,θn上的插值基函数，dri和dθi分别为所述特征点和与所述特征点对应的待校正像素点之间的极径差和极角差，lrn(θi)和lθn(θi)分别为dri和dθi的拉格朗日插值多项式。

优选地，在本发明实施例提供的上述图像畸变校正方法中，采用拉格朗日插值法进行插值运算之前，还包括：

将所有特征点的极角和作为待插值点的待校正像素点一起按照从小到大的顺序进行排序，并具体按照需求选取距离所述待插值点最近的两个或多个特征点的极角作为所述插值节点。

优选地，在本发明实施例提供的上述图像畸变校正方法中，在进行排序的过程中，若所述待插值点的极角为最小值时，将所述待插值点的极角和所有特征点中当前排序第二的特征点的极角均加上2π，并重新按照从小到大的顺序进行排序。

优选地，在本发明实施例提供的上述图像畸变校正方法中，在进行排序的过程中，若所述待插值点的极角为最大值时，将所有特征点中当前排序第一的特征点的极角加上2π，并重新按照从小到大的顺序进行排序。

本发明实施例还提供了一种图像畸变校正装置，包括：

坐标系转换模块，用于分别将参考图像和畸变图像从直角坐标系转换至极坐标系；

插值运算模块，用于采用拉格朗日插值法对所述参考图像中选取的特征点和所述畸变图像中与所述特征点对应的待校正像素点之间的极径差和极角差进行插值运算，得到插值结果；

畸变校正模块，用于根据得到的所述插值结果，对所述畸变图像内的每一待校正像素点进行畸变校正。

本发明实施例还提供了一种图像畸变校正设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述图像畸变校正方法。

本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述图像畸变校正方法。

本发明实施例的有益效果包括：

本发明所提供的一种图像畸变校正方法、装置、设备及存储介质，该方法包括：分别将参考图像和畸变图像从直角坐标系转换至极坐标系；采用拉格朗日插值法对所述参考图像中选取的特征点和所述畸变图像中与所述特征点对应的待校正像素点之间的极径差和极角差进行插值运算，得到插值结果；根据得到的所述插值结果，对所述畸变图像内的每一待校正像素点进行畸变校正。本发明通过极坐标变化、拉格朗日插值运算和根据插值结果进行畸变校正这三个步骤，就可以实现图像的畸变校正，过程简单，避免了传统求解复杂dlt线性畸变校正矩阵的过程，且对大视场短焦距镜头造成的畸变同样适用，具有更广泛的应用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的图像畸变校正方法的流程图；

图2为本发明实施例提供的特征点映射到与待校正像素点同一扇区的示意图；

图3为本发明实施例提供的对特征点的极角和作为待插值点的待校正像素点进行排序并调整的示意图之一；

图4为本发明实施例提供的对特征点的极角和作为待插值点的待校正像素点进行排序并调整的示意图之二；

图5为本发明实施例提供的图像畸变校正装置的结构示意图。

具体实施方式

图像一般可分为径向畸变和切向畸变，通常情况下对于大多数的机器视觉应用来说，切向畸变可以忽略不计。而径向畸变的校正则可根据光学成像规律来分析求解畸变校正模型。与径向畸变有关的几个光学成像规律为：通过光学中心的直线成像后仍为直线；图像自身的畸变程度与到光学中心的距离有关，光学中心附近畸变量最小，离中心越远图像畸变越严重；垂直于光轴的物平面上两条长度相等的直线段，在理想光学系统(无畸变)条件下成像在像平面上对应的两条线段长度相同。

根据上述对畸变图像产生畸变的原因进行分析，本发明提出了一种图像畸变校正方法，该方法基于极坐标拉格朗日(lagrange)插值。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种图像畸变校正方法，如图1所示，包括以下步骤：

s101、分别将参考图像和畸变图像从直角坐标系转换至极坐标系；

通常情况下认为图像畸变有中心对称的特点，其光轴即为畸变对称中心，图像不同位置的畸变程度只与距对称中心的距离有关。本发明将这一性质应用到图像畸变校正中，在实际应用中，分别对参考图像和畸变图像进行极坐标变化，即将参考图像和畸变图像从直角坐标系转换至极坐标系，并认为不同像素点的畸变程度只与像素点到光学对称中心的距离即极径r有关。

s102、采用拉格朗日插值法对所述参考图像中选取的特征点和所述畸变图像中与所述特征点对应的待校正像素点之间的极径差和极角差进行插值运算，得到插值结果；

需要理解的是，参考图像和畸变图像中均具有多个像素点，且两者具有一一对应的像素点。在实际应用中，参考图像中选取的特征点是从参考图像中的所有像素点中进行选取的，该特征点可以人为手动提供，利用该特征点建立畸变模型。由于图像的畸变程度具体体现在畸变图像与参考图像对应像素点的极径差和极角差上，具体地，在极坐标的基础上，采用lagrange插值的方法对特征点和待校正像素点之间的极径差和极角差进行插值运算。

s103、根据得到的所述插值结果，对所述畸变图像内的每一待校正像素点进行畸变校正。

在实际应用中，根据插值结果来计算校正后的极径和极角，并将校正结果变换回极坐标系，最后采用此方法在整个畸变图像内逐点进行畸变校正。

在本发明实施例提供的上述图像畸变校正方法中，首先分别将参考图像和畸变图像从直角坐标系转换至极坐标系；然后采用拉格朗日插值法对所述参考图像中选取的特征点和所述畸变图像中与所述特征点对应的待校正像素点之间的极径差和极角差进行插值运算，得到插值结果；最后根据得到的所述插值结果，对所述畸变图像内的每一待校正像素点进行畸变校正。本申请通过极坐标变化、拉格朗日插值运算和根据插值结果进行畸变校正这三个步骤，就可以实现图像的畸变校正，过程简单，避免了传统求解复杂dlt线性畸变校正矩阵的过程，且对大视场短焦距镜头造成的畸变同样适用，具有更广泛的应用性。

进一步地，在具体实施时，在本发明实施例提供的上述图像畸变校正方法中，可以选取光学对称中心为坐标原点，此时步骤s101中从直角坐标系转换至极坐标系的坐标变换关系可以为：

其中，(xc,yc)为光学对称中心在所述直角坐标系中的坐标位置，(x,y)为所述参考图像和所述畸变图像中各像素点在所述直角坐标系中的坐标位置，(r,θ)为(x,y)经坐标转换后相对应的极坐标表示。

此时所述参考图像中选取的特征点和所述畸变图像中与所述特征点对应的待校正像素点之间的极径差和极角差，采用下述公式表示：

其中，ra为所述特征点的极径，rb为与所述特征点对应的待校正像素点的极径，θa为所述特征点的极角，θb为与所述特征点对应的待校正像素点的极角，dr为所述特征点和与所述特征点对应的待校正像素点之间的极径差，dθ为所述特征点和与所述特征点对应的待校正像素点之间的极角差。

根据极坐标变化，可获取特征点和与所述特征点对应的待校正像素点之间的极径差和极角差dr和dθ，本发明实施例提供的上述图像畸变校正方法，就是利用lagrange插值法来求取dr和dθ的插值结果。

在具体实施时，采用lagrange插值法进行插值运算时，可以以所述特征点的极角作为插值节点，且以所述特征点和与所述特征点对应的待校正像素点之间的极径差和极角差作为对应的插值函数值。具体地，在这里可以将特征点的极角θ0,θ1,...,θn作为插值节点，将相应的极径差和极角差dri和dθi作为对应的插值函数值，则依据拉格朗日插值法可分别得到待校正点的插值结果：

其中，θ0,θ1,...,θn为插值节点，lk(θ)为所述插值节点θ0,θ1,...,θn上的插值基函数，lrn(θi)和lθn(θi)分别为dri和dθi的拉格朗日插值多项式。

本发明采取的插值策略是依据插值效果来选取距离待插值点最近的两个特征点或几个特征点来进行插值。

由于图像的畸变程度与到光学、中心的距离有关，因此本发明在进行插值时，需将特征点映射到与待校正像素点同一扇区中(极径相同)，只有当待校正像素点和特征点具有相同的极径r时，插值才具有意义，如图2所示，当已知四个特征点时，将特征点映射到与待校正像素点同一扇区中。

此时dri'＝dri*(r/ri)，其中r表示待校正像素点的极径，ri表示特征点的极径，dri表示特征点映射前的畸变量，dri'表示特征点映射后的畸变量。

根据拉格朗日插值法的定义要求，插值节点需满足θ0＜θ1＜...＜θn条件，当进行手动提供特征点时，特征点的极角不一定按照从小到大排列，因此在实现时需要将参考图像的特征点连同待插值点一起按照特征点的极角的大小重新排列，并按需求选取距离待插值点最近的两个或多个特征点作为插值节点进行后续插值运算。因此，在具体实施时，在本发明实施例提供的上述图像畸变校正方法中，采用拉格朗日插值法进行插值运算之前，还可以包括：将所有特征点的极角和作为待插值点的待校正像素点一起按照从小到大的顺序进行排序，并具体按照需求选取距离所述待插值点最近的两个或多个特征点的极角作为所述插值节点。

当所述待插值点的极角为最小值或最大值时，超出了插值节点(θ0,θn)的范围，这两种情况不满足拉格朗日插值的定义要求，此时应特殊考虑，如图3和图4所示，以选取四个特征点为例，其中pt表示待插值点，fpi表示特殊情况处理前的特征点序列，fpi'则表示处理后特征点序列

具体地，如图3所示，在进行排序的过程中，若所述待插值点的极角为最小值时，将所述待插值点的极角θ和所有特征点中当前排序第二的特征点的极角θ1均加上2π，并重新按照从小到大的顺序进行排序，然后再进行插值运算。

具体地，如图4所示，在进行排序的过程中，若所述待插值点的极角θ为最大值时，将所有特征点中当前排序第一的特征点的极角θ0加上2π，并重新按照从小到大的顺序进行排序，然后再进行插值运算。

若参考图像的某一特征点与畸变图像的待校正像素点均在横轴的正半轴附近，且分别位于第一、四象限时，那么在计算特征点和待校正像素点之间的极角差dθ时会导致其数值的绝对值接近2π左右，然而实际上极角差dθ绝对值很小，这样会造成插值结果不准确，影响最终的校正效果。因此，需将此时排序最小的特征点的极角值θ0加上2π，再计算极角差dθ，从而可避免对校正效果的影响。

基于同一发明构思，本发明实施例还提供了一种图像畸变校正装置，由于该图像畸变校正装置解决问题的原理与前述一种图像畸变校正方法相似，因此该图像畸变校正装置的实施可以参见图像畸变校正方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的图像畸变校正装置，如图5所示，具体包括：

坐标系转换模块11，用于分别将参考图像和畸变图像从直角坐标系转换至极坐标系；

插值运算模块12，用于采用拉格朗日插值法对所述参考图像中选取的特征点和所述畸变图像中与所述特征点对应的待校正像素点之间的极径差和极角差进行插值运算，得到插值结果；

畸变校正模块13，用于根据得到的所述插值结果，对所述畸变图像内的每一待校正像素点进行畸变校正。

在本发明实施例提供的上述图像畸变校正装置中，可以通过上述三个模块的相互作用，就可以实现图像的畸变校正，过程简单，避免了传统求解复杂dlt线性畸变校正矩阵的过程，且对大视场短焦距镜头造成的畸变同样适用，具有更广泛的应用性。

关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

相应的，本发明实施例还公开了一种图像畸变校正设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的图像畸变校正方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的图像畸变校正方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

本发明实施例提供的一种图像畸变校正方法、装置、设备及存储介质，该方法包括：分别将参考图像和畸变图像从直角坐标系转换至极坐标系；采用拉格朗日插值法对所述参考图像中选取的特征点和所述畸变图像中与所述特征点对应的待校正像素点之间的极径差和极角差进行插值运算，得到插值结果；根据得到的所述插值结果，对所述畸变图像内的每一待校正像素点进行畸变校正。本发明通过对参考图像和畸变图像进行极坐标变化、进行拉格朗日插值运算和根据插值结果进行畸变校正这三个步骤，就可以实现图像的畸变校正，过程简单，避免了传统求解复杂dlt线性畸变校正矩阵的过程，且对大视场短焦距镜头造成的畸变同样适用，具有更广泛的应用性。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的图像畸变校正方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。