基于鱼眼畸变校正方法及其系统、电子设备与流程

本发明涉及计算机领域，其特别涉及一种鱼眼畸变校正方法及其系统、电子设备。

背景技术：

鱼眼镜头作为一种超广角镜头，其视角可以达到或超过180°，即可拍摄的范围非常大，因此在视频监控、虚拟现实、三维建模、视觉导航领域有广泛的应用。然而，鱼眼镜头采集的画面并非皆与光轴平行，在其将半球形物面成像为平面时，所拍摄的图像会产生严重畸变，使得人在视觉上感受不自然，因此需要将鱼眼镜头所拍摄的畸变图像校正为人的视觉可以接受的透视投影图像。

现有技术中进行鱼眼图像校正已有一些方法，但是，这些方法或对于鱼眼图像边缘处的拉伸效应并没法处理得很好，或牺牲了一部分画面的可视范围，最后产生的画面范围小于原先鱼眼畸变图像范围，只产生画面较中心区域。例如，现有的二维图像畸变校正法对于鱼眼图像边缘处的拉伸效应无法处理得很好，二维图像畸变校正法是在二维平面上运用插值法对鱼眼畸变图像进行校正，而且是采用正向去畸变校正思路，将校正前的图像像素坐标通过校正模型转换为校正后的图像坐标，从而影响了畸变参数估计精度和畸变校正效果。

技术实现要素：

为解决现有鱼眼畸变图像的校正精度不高的技术问题，本发明提供一种鱼眼畸变校正方法及其系统、电子设备。

本发明为解决上述技术问题，提供如下的技术方案：一种鱼眼畸变校正方法，其包括以下步骤：步骤s1，提供一鱼眼成像函数模型；及步骤s2，提供一深度图像，将该鱼眼成像函数模型运用于所述深度图像使之转化成为鱼眼深度图像；及步骤s3，利用深度传感器技术将二维平面上的鱼眼深度图像建立在三维空间上，并运用插值法进行内插，以完成对二维平面上的鱼眼深度图像的三维校正；步骤s4，将校正完成的上述鱼眼深度图像转化为二维平面上的无畸变图像。

优选地，所述步骤s1中鱼眼成像函数模型公式为：

x0＝x(1+k1r²+k2r⁴+k3r⁶)(1)

y0＝y(1+k1r²+k2r⁴+k3r⁶)(2)

其中，(x0，y0)是畸变点在鱼眼深度图像上的原始位置，(x，y)是校正完成后畸变点在深度图像上新的位置，k1、k2、k3为鱼眼畸变校正系数，均为定值，r为在原始位置时畸变点(x0，y0)与主点之间的距离。

优选地，所述步骤s1中鱼眼成像函数模型与鱼眼镜头类型相匹配。

优选地，上述步骤s2具体包括以下步骤：步骤s21，在所述深度图像上任取一点，并将其坐标记为(x，y)，利用该鱼眼成像函数模型求该点(x，y)对应得到的鱼眼深度图像上的点，坐标记为(x0，y0)；及步骤s22，在所述深度图像上选取下一个点，并利用鱼眼成像函数模型求得对应同一鱼眼深度图像上的点，直至深度图像上所有点都经过鱼眼成像函数模型计算。

优选地，上述步骤s3中所述深度传感器技术具体是通过深度传感器进行深度检测。

优选地，上述步骤s3中所述插值法具体为双线性插值法。

优选地，上述步骤s3具体包括以下步骤：步骤s31，利用深度传感器将上述二维鱼眼深度图像建立在三维空间上，则在二维平面上鱼眼深度图像的坐标为(x0，y0)的点在三维空间上的坐标对应为(x0，y0，z0)；步骤s32，利用双线性插值算法对此三维空间上的坐标(x0，y0，z0)进行内插处理；及步骤s33，利用双线性插值算法将此三维空间上鱼眼深度图像对应的全部的点进行内插处理，得到在三维空间上校正完成的无畸变的鱼眼图像。

优选地，上述步骤s4中经三维校正完成的鱼眼深度图像通过投影转化为二维平面上的无畸变图像。

本发明为解决上述技术问题，提供又一技术方案如下：一种鱼眼畸变校正系统，其包括：图像转化模块，利用鱼眼成像函数模型将深度图像转化成为鱼眼深度图像；空间转化模块，利用深度传感器将二维平面上的鱼眼深度图像建立在三维空间上；及校正模块，将三维空间上的鱼眼深度图像运用双线性插值算法进行内插，以完成对鱼眼图像的校正；导图模块，将校正完成的上述鱼眼深度图像转化为二维平面上的无畸变图像。

本发明为解决上述技术问题，提供又一技术方案如下：一种电子设备，其包括存储单元和处理单元，所述存储单元用于存储计算机程序，所述处理单元用于通过所述存储单元存储的计算机程序执行上述鱼眼畸变校正方法的步骤。

与现有技术相比，本发明所提供的一种鱼眼畸变校正方法及其系统、电子设备具有如下的有益效果：

本发明所提供的一种鱼眼畸变校正方法，利用鱼眼镜头提供一鱼眼成像函数模型；及利用深度镜头提供一深度图像，将该鱼眼成像函数模型运用于所述深度图像使之转化成为鱼眼深度图像；及利用深度传感器将二维平面上的鱼眼深度图像建立在三维空间上，并运用双线性插值算法进行内插，以完成对鱼眼深度图像的校正；将在三维空间上校正完成的上述鱼眼深度图像转化为二维平面上的无畸变图像。相对于直接在二维平面上对鱼眼畸变图像进行内插校正处理，在三维空间上对鱼眼畸变图像进行内插处理由于引入了z轴方向上的坐标，在进行内插时能够对空间点的校正更精准，上述方法提高了对鱼眼畸变图像的校正精度。

具体地，本发明是利用鱼眼镜头提供特定的鱼眼成像函数模型，及利用深度镜头提供一深度图像，接着用该鱼眼成像函数模型将该深度图像转化成为鱼眼深度图像，再在三维空间上对鱼眼深度图像进行校正，最后将三维空间上校正完毕的鱼眼深度图像转化为二维平面上的无畸变图像。利用深度传感器将二维平面上的鱼眼深度图像转化为三维空间上的图像，再在三维空间上利用双线性插值算法对鱼眼图像进行校正，进一步提高了鱼眼图像的校正精度而且有效降低了鱼眼图像边缘部分的拉伸效应，并且对图像的可视区域不造成影响。

在三维空间上对鱼眼深度图像运用双线性插值算法进行校正比在二维空间上利用双线性插值算法校正得到的结果更精确。

本发明所提供的一种鱼眼畸变校正系统及一种电子设备，具有与上述鱼眼畸变校正方法相同的有益效果，可以有效提升鱼眼畸变图像的校正精度。

【附图说明】

图1是本发明第一实施例提供的鱼眼畸变校正方法的步骤流程示意图；

图2是图1中所示步骤s2的具体步骤流程示意图；

图3是图1中所示步骤s3的具体步骤流程示意图；

图4是本发明第二实施例提供的鱼眼畸变校正系统的功能模块示意图；

图5是本发明第三实施例提供的电子设备的功能模块示意图。

附图标注说明：

20，鱼眼畸变校正系统；21，图像转化模块；22，空间转化模块；23，校正模块；24，导图模块；30，电子设备；31，存储单元；32，处理单元。

【具体实施方式】

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明的第一实施例提供一种鱼眼畸变校正方法s10，其包括如下的步骤：

步骤s1，提供一鱼眼成像函数模型；及

步骤s2，提供一深度图像，将该鱼眼成像函数模型运用于所述深度图像使之转化成为鱼眼深度图像；及

步骤s3，利用深度传感器技术将二维平面上的鱼眼深度图像建立在三维空间上，并运用插值法进行内插，以完成对二维平面上的鱼眼深度图像的三维校正；及

步骤s4，将校正完成的上述鱼眼深度图像转化为二维平面上的无畸变图像。

需要说明的是，在本发明一些具体实施方式中，可利用鱼眼镜头提供特定的鱼眼成像函数模型，及利用深度镜头提供一深度图像，接着用该鱼眼成像函数模型将该深度图像转化成为鱼眼深度图像，再在三维空间上对鱼眼深度图像进行校正，最后将在三维空间上校正完毕的鱼眼深度图像转化为二维平面上的无畸变图像。相对于常规操作直接在二维空间上利用双线性插值法进行鱼眼畸变校正，利用深度传感器将二维平面上的鱼眼图像转化为三维空间上的图像，再在三维空间上利用双线性插值算法对鱼眼图像进行校正，进一步提高了鱼眼图像的校正精度。

具体地，在一些具体实施方式中，所述步骤s1中鱼眼成像函数模型公式为：

x0＝x(1+k1r²+k2r⁴+k3r⁶)(1)

y0＝y(1+k1r²+k2r⁴+k3r⁶)(2)

其中，(x0，y0)是畸变点在鱼眼深度图像上的原始位置，(x，y)是校正完成后畸变点在深度图像上新的位置，k1、k2、k3为鱼眼畸变校正系数，均为定值，r为在原始位置时畸变点(x0，y0)与主点之间的距离。

在此需要说明，每个鱼眼镜头出厂后产品系数是确定的，即选定一个鱼眼镜头，其对应的鱼眼成像函数模型是确定的，鱼眼成像函数模型公式中鱼眼畸变校正系数k1，k2，k3的值是确定的，而主点是镜头中主视线与透视面的交点，则主点与对应的在鱼眼深度图像上的原始位置的畸变点之间的距离r是一定的；即已知畸变点坐标(x0，y0)，可对应求出校正后的坐标(x，y)，已知校正完毕的坐标(x，y)，也可求出对应的原图像的畸变点坐标(x0，y0)。本发明是已知坐标(x，y)，求出原畸变点坐标(x0，y0)，对应的，即已知深度图像，得出鱼眼深度图像。

可选地，在本发明的一些具体实施方式中，如图2中所示，上述步骤s2进一步包括以下步骤：

步骤s21，在所述深度图像上任取一点，并将其坐标记为(x，y)，利用该鱼眼成像函数模型求该点(x，y)对应得到的鱼眼深度图像上的点，坐标记为(x0，y0)；及

步骤s22，在所述深度图像上选取下一个点，并利用鱼眼成像函数模型求得对应同一鱼眼深度图像上的点，直至深度图像上所有点都经过鱼眼成像函数模型计算。

在此需要说明，步骤s21从深度图像上选取一点作为坐标(x，y)，即已知坐标(x，y)，对应需要求原畸变点坐标(x0，y0)，而该原畸变点(x0，y0)正好落在鱼眼深度图像上相应的位置，此步骤实现了深度图像上的一点向鱼眼深度图像的转化；而步骤s22实现了该深度图像上全部的点向鱼眼深度图像的转换，由此实现了深度图像向鱼眼深度图像的转化，该种转化方式给二维平面上的鱼眼畸变图像的全部的点提供了往三维空间上转化的深度值，为后续校正提供了有利的基础。

可选地，在本发明的一些具体实施方式中，如图3中所示，上述步骤s3进一步包括以下步骤：

步骤s31，利用深度传感器将上述二维鱼眼深度图像建立在三维空间上，则在二维平面上鱼眼深度图像的坐标为(x0，y0)的点在三维空间上的坐标对应为(x0，y0，z0)；

步骤s32，利用双线性插值算法对此三维空间上的坐标(x0，y0，z0)进行内插处理；及

步骤s33，利用双线性插值算法将此三维空间上鱼眼深度图像对应的全部的点进行内插处理，得到在三维空间上校正完成的无畸变的鱼眼图像。

需要说明的是，步骤s31中深度传感器用于测量深度值，不同型号的深度传感器的可探测的深度范围及类型不同，深度传感器一般用于工业测量深度，比如，hyt-jc型绞车传感器是石油工业中用于测量钻井深度的一种深度传感器，即利用该深度传感器可以测量钻井油面到钻井底部的距离。本发明是利用深度传感器将上述二维鱼眼深度图像建立在三维空间上，对应的，在二维平面上的鱼眼深度图像上的畸变点坐标(x0，y0)在三维空间上成为(x0，y0，z0)，此处z0即是由深度传感器测量出的确切的深度值；步骤s32利用双线性插值算法对此三维空间上的坐标(x0，y0，z0)进行内插处理，得到校正后该点无畸变的三维空间坐标，另外，双线性插值算法是本领域处理鱼眼畸变图像的常规手段，当然，lagrange插值、newton插值、hermite插值等也可以用来处理鱼眼畸变图像进行校正，在此不另作说明；步骤s33则将三维空间上该鱼眼深度图像全部的点的坐标校正成无畸变的点的坐标，则对应的三维空间上该鱼眼深度图像实现了向无畸变图像的校正，最后通过步骤s4将在三维空间上校正完成的上述鱼眼深度图像转化为二维平面上的无畸变图像，实现整个校正过程。

上述步骤s4中，将在三维空间上校正完成的上述鱼眼深度图像转化为二维平面上的无畸变图像可以有多种实施方式，例如，通过投影，或者利用图像处理软件。

请参阅图4，本发明的第二实施例提供一种鱼眼畸变校正系统20，其包括：

图像转化模块21，利用鱼眼成像函数模型将深度图像转化成为鱼眼深度图像；

空间转化模块22，利用深度传感器将二维平面上的鱼眼深度图像建立在三维空间上；及

校正模块23，将三维空间上的鱼眼深度图像运用双线性插值算法进行内插，以完成对鱼眼图像的校正；

导图模块24，将校正完成的上述鱼眼深度图像转化为二维平面上的无畸变图像。

具体地，在本实施例中，有关图像转化、空间转化、鱼眼深度图像校正等相关内容，与上述第一实施例中的一致，在此不再赘述。

请参阅图5，本发明的第三实施例提供一电子设备30，所述电子设备30包括存储单元31和处理单元32，所述存储单元31用于存储计算机程序，所述处理单元32用于通过所述存储单元31存储的计算机程序执行上述第一实施例中所述鱼眼畸变校正方法的具体步骤。

在本发明一些具体的实施例中，所述电子设备30可以是硬件，也可以是软件。当电子设备30为硬件时，可以是具有显示屏并且支持视频播放的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(movingpictureexpertsgroupaudiolayeriii，动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当电子设备30为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

所述存储单元31包括只读存储器(rom)、随机访问存储器(ram)及硬盘等的存储部分等，所述处理单元32可以根据存储在所述只读存储器(rom)中的程序或者加载到随机访问存储器(ram)中的程序而执行各种适当的动作和处理。在随机访问存储器(ram)中，还存储有所述电子设备30操作所需的各种程序和数据。

所述电子设备30还可包括键盘、鼠标等的输入部分(图未示)；所述电子设备30还可进一步包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分(图未示)；以及所述电子设备30可进一步包括诸如lan卡、调制解调器等的网络接口卡的通信部分(图未示)。所述通信部分经由诸如因特网的网络执行通信处理。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明所公开的实施例可包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装。

在该计算机程序被所述处理单元32执行时，执行本申请的所述鱼眼畸变校正方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本申请中，计算机可读存储介质还可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可采用一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言--诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明的附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方案中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，在此基于涉及的功能而确定。需要特别注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本发明的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中。

作为另一方面，本发明的第四实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，所述程序具体包括：提供一鱼眼成像函数模型；及提供一深度图像，将该鱼眼成像函数模型运用于所述深度图像使之转化成为鱼眼深度图像；及利用深度传感器技术将二维平面上的鱼眼深度图像建立在三维空间上，并运用插值法进行内插，以完成对二维平面上的鱼眼深度图像的三维校正；将校正完成的上述鱼眼深度图像转化为二维平面上的无畸变图像。

与现有技术相比，本发明所提供一种鱼眼畸变校正方法及其系统、电子设备具有如下的有益效果：

本发明所提供的一种鱼眼畸变校正方法，利用鱼眼镜头提供一鱼眼成像函数模型；及利用深度镜头提供一深度图像，将该鱼眼成像函数模型运用于所述深度图像使之转化成为鱼眼深度图像；及利用深度传感器将二维平面上的鱼眼深度图像建立在三维空间上，并运用双线性插值算法进行内插，以完成对鱼眼深度图像的校正；将在三维空间上校正完成的上述鱼眼深度图像转化为二维平面上的无畸变图像。相对于直接在二维平面上对鱼眼畸变图像进行内插校正处理，在三维空间上对鱼眼畸变图像进行内插处理由于引入了z轴方向上的坐标，在进行内插时能够对空间点的校正更精准，上述方法提高了对鱼眼畸变图像的校正精度。

具体地，本发明是利用鱼眼镜头提供特定的鱼眼成像函数模型，及利用深度镜头提供一深度图像，接着用该鱼眼成像函数模型将该深度图像转化成为鱼眼深度图像，再在三维空间上对鱼眼深度图像进行校正，最后将三维空间上校正完毕的鱼眼深度图像转化为二维平面上的无畸变图像。利用深度传感器将二维平面上的鱼眼深度图像转化为三维空间上的图像，再在三维空间上利用双线性插值算法对鱼眼图像进行校正，进一步提高了鱼眼图像的校正精度而且有效降低了鱼眼图像边缘部分的拉伸效应，并且对图像的可视区域不造成影响。

在三维空间上对鱼眼深度图像运用双线性插值算法进行校正比在二维空间上利用双线性插值算法校正得到的结果更精确。

本发明所提供的一种鱼眼畸变校正系统及一种电子设备，具有与上述鱼眼畸变校正方法相同的有益效果，可以有效提升鱼眼畸变图像的校正精度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。