一种用于畸变矫正中心点定位的方法与流程

本发明涉及一种中心点定位的方法，更具体一点说，涉及一种用于畸变矫正中心点定位的方法。

背景技术：

广角镜头或鱼眼镜头等大视角成像设备在提供宽阔成像范围的同时，都或多或少的伴随着非线性畸变，且一般视角越大畸变程度越大。一般来说，镜头畸变主要可以分为关于畸变中心的径向量和切向量两种。而无论怎么设计畸变矫正算法，例如常见的透视投影变换矫正，球形矫正，椭圆矫正或者多项式模型矫正，找到畸变中心都是其最基础又最关键的一步。

由于镜头与成像传感器之间的安装偏差，镜头畸变中心与传感器中心一般不在同一位置。目前常见的畸变中心定位方法可概括为轮廓检测法、摄像机参数标定法两大类。更进一步说，轮廓检测法又常见于标定检测和扫描线检测及圆拟合等三类，其核心思想均为识别图像有效成像区，其主要通过有效区域轮廓而进一步得到相应畸变中心，显然，该方法只适用于传感器成像面大于镜头成像面，图像存在无效边界，且大多数轮廓为规则形状的情况，基本适用于鱼眼镜头。例如，专利文献cn103679166a公开在全白场景下对鱼眼镜头成像，通过识别全白有效区域来获取镜头畸变中心即全白成像区中心；专利文献cn106910173a提出的扫描线检测轮廓提取方法，通过行、列扫描像素灰度，得到有效区最上行，最下行，最左列和最右列，然后得到畸变中心，该类方法在图像边界暗区或者镜头外光晕等情况下误差较大；而专利文献cn107633489a则是利用检测到的图像边界点进行圆拟合得到畸变中心。而摄像机参数标定法常见单目标定或多目标定，通过标定过程获得相机的内外参，此类方法通常标定过程要求复杂且计算量较大，不利于实际实现。

技术实现要素：

为了解决上述现有技术问题，本发明针对畸变图像进行畸变中心定位，通过平面平行线信息提出约束函数，得到最佳中心，其具有精确度高，对定位场景和光照限定少，适应范围大等技术特点。

为了实现上述目的，本发明是通过以下技术方案实现的：

一种用于畸变矫正中心点定位的方法，包括依次通信连接的图像输入模块、检测信息提取模块、畸变中心计算模块，其中，所述图像输入模块通过畸变镜头获取含有检测信息的畸变图像内容，所述畸变图像内容包括定位信息量，所述定位信息量为包含有至少两条平行线或可代表两条平行线的定位点信息的任一平面，所述平面与畸变镜头成像面呈一定角度，所述检测信息提取模块对畸变图像内容中的定位信息量进行提取，并将定位信息量传输到畸变中心计算模块，所述畸变中心计算模块对接收到的定位信息量进行计算转换获得约束值，并优化获得最佳畸变中心。

作为一种改进，所述畸变镜头获取含有检测信息的畸变图像内容的成像采集场景包括特殊标定场景、正常场景，所述畸变镜头包括鱼眼镜头、广角镜头。

作为一种改进，所述定位点信息量包括常见标定图像、特殊标定图像以及正常场景中可提取的在同一平面的平行线或代表平行线的定位点信息，所述常见标定图像包括棋盘格图像。

作为一种改进，所述畸变镜头通信连接有摄像机传感器，至少两条平行线或可代表两条平行线的定位点信息分布于摄像机传感器的中心两侧。

作为一种改进，所述检测信息提取模块包括自动检测子模块、用户交互子模块，所述自动检测子模块包括自动直线检测单元、自动角点检测单元，所述自动直线检测单元包括直线提取子单元、平行判定子单元、平行线筛选子单元，基于畸变镜头的非线性畸变特性所述直线提取子单元对曲线或曲弧检测，并输出曲线或曲弧信息，所述平行判定子单元对摄像机畸变模型进行平行线特性检测获得平行线判定基准，基于平行线判定基准所述平行线筛选子单元对直线提取子单元输出的曲线或曲弧信息进行平行对筛选。

作为一种改进，所述曲线检测包括基于randon变换的曲线检测和基于hough变换的曲线检测，所述平行线判定基准包括共圆形圆弧。

作为一种改进，所述自动角点检测单元包括角点提取子单元、平行线定位点判定子单元、平行线定位点筛选子单元，所述角点提取子单元用于角点提取检测，并输出角点信息，所述平行线定位点判定子单元对摄像机畸变模型进行平行线定位点特性检测获得平行定位点判定判定基准，基于平行定位点判定判定基准所述平行线定位点筛选子单元对角点提取子单元输出的角点信息进行平行线定位点筛选，所述角点提取检测包括harris检测。

作为一种改进，所述用户交互模块用于用户对畸变图像进行平行线对选定或平行线定位信息手动选定。

作为一种改进，所述畸变中心计算模块包括畸变矫正子模块、约束计算子模块和寻优子模块，所述畸变矫正子模块对定位信息量进行畸变矫正并输出畸变信息送入约束计算子模块，所述约束计算模块利用平行线对的畸变信息量进行交点拟合，并以相互交点距离最小建立优化函数，并将优化函数模型送入寻优单元进行最小二乘法拟合，或将优化函数模型送入寻优单元进行levenberg-marquardt拟合定参。

作为一种改进，所述畸变矫正子模块为多项式矫正单元、镜头成像模型矫正单元、镜头参数直接矫正单元中的任一种单元。

有益效果：相比于常见的轮廓检测确定畸变中心的方法，本发明可用于广角畸变，对镜头制造过程中的边界光晕现象容错度高，对定位场景和光照限定少，适应范围更大；相比于摄像机标定内参确定畸变中心的方法，计算过程简单，作为畸变矫正算法预处理模块开销合理，定位信息量和约束函数不仅在普通畸变矫正场合定位精确，在对于某些要将矫正结果进行透视变换以实现视角切换的场景，结果精确度也明显优于其它只单单考虑畸变特性的方法。

附图说明

图1是本发明整体工作原理流程图。

图2是本发明自动直线检测工作原理流程图。

图3是本发明自动角点检测工作原理流程图。

图4是本发明畸变中心计算模块工作原理流程图。

图5是本发明实施例2中车载标定布及其对应定位信息示意图。

具体实施方式

以下结合说明书附图，对本发明作进一步说明，但本发明并不局限于以下实施例。

实施例1

如图1-5所示为一种用于畸变矫正中心点定位的方法的具体实施例，该实施例一种用于畸变矫正中心点定位的方法，包括依次通信连接的图像输入模块、检测信息提取模块、畸变中心计算模块，图像输入模块通过畸变镜头获取含有检测信息的畸变图像内容，畸变图像内容包括定位信息量，该定位信息量包含至少两条平行线或可代表两条平行线的定位点信息的任一平面，平面与畸变镜头成像面呈一定角度，检测信息提取模块对畸变图像内容中的定位信息量进行提取，并将定位信息量传输到畸变中心计算模块，畸变中心计算模块对接收到的定位信息量进行计算转换获得约束值，并优化获得最佳畸变中心；

作为一种改进的实施例，畸变镜头获取含有检测信息的畸变图像内容的成像采集场景包括特殊标定场景、正常场景，特殊标定场景如棋盘格标定板、车载标定布，正常场景如室外高楼场景(与高楼成一定角度拍摄，则定位信息可以直接提取高楼墙体平行线或角点等)、室内常见包含规则家具(如衣柜等)，可直接提取其垂直边界等作为定位信息，畸变镜头包括鱼眼镜头、广角镜头等。

作为一种改进的实施例，定位点信息量包括常见标定图像、特殊标定图像以及正常场景中可提取的在同一平面的平行线或代表平行线的定位点信息，其中，常见标定图像包括棋盘格图像。

作为一种改进的实施例，畸变镜头通信连接有摄像机传感器，定位点信息量中的至少两条平行线或可代表两条平行线的定位点信息分布于摄像机传感器的中心两侧，定位点信息分布在成像场景(摄像机传感器)预估中心两侧是为了更精确检测畸变中心，定位点信息不是镜头本身包含的信息，而是成像场景或者标定环境的信息。

作为一种改进的实施例，检测信息提取模块由自动检测子模块、用户交互子模块组成，自动检测子模块包括自动直线检测单元、自动角点检测单元，如图2所示为自动直线检测工作原理流程图，其中，自动直线检测单元包括直线提取子单元、平行判定子单元、平行线筛选子单元，其中，基于畸变镜头的非线性畸变特性所述直线提取子单元对曲线或曲弧检测，并输出曲线或曲弧信息，平行判定子单元对摄像机畸变模型进行平行线特性检测获得平行线判定基准，基于平行线判定基准所述平行线筛选子单元对直线提取子单元输出的曲线或曲弧信息进行平行对筛选。

作为一种改进的实施例，曲线检测包括基于randon变换的曲线检测和基于hough变换的曲线检测，平行线判定基准包括共圆形圆弧。

作为一种改进的实施例，如图3所示为自动角点检测工作原理流程图，自动角点检测单元包括角点提取子单元、平行线定位点判定子单元、平行线定位点筛选子单元，角点提取子单元用于角点提取检测，并输出角点信息，平行线定位点判定子单元对摄像机畸变模型进行平行线定位点特性检测获得平行定位点判定判定基准，基于平行定位点判定判定基准，平行线定位点筛选子单元对角点提取子单元输出的角点信息进行平行线定位点筛选，其中，角点提取检测包括harris检测。

作为一种改进的实施例，本发明用户交互模块用于用户对畸变图像进行平行线对选定或平行线定位信息选定，便于人机交互。

作为一种改进的实施例，如图4所示，畸变中心计算模块包括畸变矫正子模块、约束计算子模块和寻优子模块，畸变矫正子模块对定位信息量进行畸变矫正输出畸变信息送入约束计算子模块，约束计算模块利用平行线对的畸变信息量进行交点拟合，并以相互交点距离最小建立优化函数，并将优化函数模型送入寻优单元进行最小二乘法拟合，或将优化函数模型送入寻优单元进行levenberg-marquardt拟合定参。

作为一种改进的实施例，畸变矫正子模块为多项式矫正单元、镜头成像模型矫正单元、镜头参数直接矫正单元中的任一种单元。

实施例2

以车载360俯视系统为例说明，车载360俯视系统由车身前后左右4路180度鱼眼镜头为输入信息源，车载360系统在利用车载标定布进行标定过程中，一般会提取如图5所示的8个定位点，故图像输入模块可直接利用其提取信息作为定位信息量，即无需额外特意标定。

以单路180度车载鱼眼畸变定位为例说明本发明实施2步骤如下：

图像输入模块利用传统车载系统标定过程的地面标定布作为输入图像(如图5所示)，采用标定布作为输入图像，其相当于图像输入模块通过畸变镜头获取含有检测信息的畸变图像内容，选取的标定布与畸变镜头成像面呈一定夹角，且标定布自身黑块或棋盘格信息均为平行定位量，定位信息量为包含至少两条平行线或可代表两条平行线的定位点信息的任一平面；

检测信息提取模块：直接利用车载系统标定过程输入的角点信息作为平行线定位点，将该坐标输入至畸变中心计算模块，以图5中输入信息为例，从左至右，从上至下依次记录该8角点分别为p1(x1，y1)、p2(x2，y2)、p3(x3，y3)、p4(x4，y4)、p5(x5，y5)、p6(x6，y6)、p7(x7，y7)、p8(x8，y8)；

畸变中心计算模块：通过畸变矫正子模块对定位信息量进行畸变矫正，将其矫正后的对应畸变信息送入约束计算模块，最终通过寻优子模块得到最佳畸变中心，其具体步骤如下：

畸变矫正子模块：以等距投影模块说明为例，其成像模型公式表达如下：

其中，为成像入射角，f为镜头焦距，r表示鱼眼半径。

设本发明所求的镜头畸变中心与成像设备中心相同，且表示为(xc，yc)，则畸变矫正子模块对定位信息量的畸变矫正过程具体如下：1)对定位信息量依次求其与畸变中心(xc，yc)的距离，即上述公示的r值，然后通过镜头参数f，得到定位信息量对应的入射角信息

2)根据入射角信息求其对应矫正后的半径，计算公式如下：

其中，f同上为镜头焦距，tan表示正切函数，rdc为校正后的半径；根据矫正半径得到定位信息量在畸变矫正后的对应矫正信息量，即坐标信息，其计算公式如下：

其中，mdci表示对应第i个矫正信息量的x或y，mi分别表示第i个定位信息量的x或y，mc表示假设的中心点的x或y，rdci和ri分别表示第i个定位信息量和其矫正信息量的半径值。

约束计算子模块：约束计算子模块输入量为畸变矫正子模输入的定位信息量对应的矫正信息量，可对应表示为pdc1(xdc1，ydc1)、pdc2(xdc2，ydc2)、pdc3(xdc3，ydc3)、pdc4(xdc4，ydc4)、pdc5(xdc5，ydc5)、pdc6(xdc6，ydc6)、pdc7(xdc7，ydc7)、pdc8(xdc8，ydc8)，其约束函数模型建立过程如下：

1)直线信息点分组：对输入的矫正信息量按线分组，即将表示同一直线的坐标点整合，对于平行线定位信息，表示同一直线的坐标点数目远大于2，而本实施例的平行线定位点类的定位信息，其由2点确定一条直线；

2)直线参数拟合：

bj＝ydc1-xdc1*kj

显然，上述为两点的直线参数计算公式，对于多点拟合直线直接用最小二乘法求最小均方差即可。

3)求两直线交点，其公式如下：

yp＝xp*k1+b1

坐标点数目远大于2的定位信息量(以1条直线参数为1定位信息量，如8点表示4条垂直线，则为4定位信息量)，要分别两两求得交点，则该实施例所求交点数目应为6，依次表示交点为pp1(xp1，yp1)、pp2(xp2，yp2)、pp3(xp3，yp3)、pp4(xp4，yp4)、pp5(xp5，yp5)、pp6(xp6，yp6)；

2)求约束函数，对所求交点求均值，并求每个交点到中心交点的距离，其公式表达如下：

其中，xpc和ypc分别表示为交点的均值坐标，d为最终优化约束函数，可依次由上述计算过程迭代得到最终关于畸变中心的约束函数表达式。

寻优子模块：根据约束计算模块输出的仅含有畸变中心(x，y)的函数表达式，利用常见的最小二乘法或levenberg-marquardt拟合过程求最优解，一般可根据应用场景对畸变中心相对于摄像机传感器中心的偏移量进行限制以提高鲁棒性。

最后，需要注意的是，本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。