基于点云影像的鱼眼影像纠正方法
【专利摘要】本发明提供了一种基于点云影像的鱼眼影像纠正方法，包括以下步骤：S1、以鱼眼镜头的投影中心为视点，对鱼眼影像进行柱面投影变换，投影到柱面上并展开形成鱼眼全景影像；S2、以鱼眼镜头的投影中心为视点，对点云数据进行柱面投影变换，投影到柱面上并展开形成点云距离影像；S3、对鱼眼全景影像进行边缘检测及直线特征提取；S4、对点云距离影像进行边缘检测及直线特征提取；S5、通过仿射变换，把鱼眼全景影像校正到点云距离影像上。本发明采用基于点云影像的仿射变换模型对柱面投影变换校正后的鱼眼影像进行二次校正，校正后的鱼眼影像可以直接给三维模型进行纹理映射，其计算量较小且具备空间量测的可行性。
【专利说明】
基于点云影像的鱼眼影像纠正方法
技术领域
[0001] 本发明设及影像处理领域，具体设及一种基于点云影像的鱼眼影像纠正方法。
【背景技术】
[0002] 鱼眼镜头采用的是非线性结构的半球面镜头，是一种极端的广角镜头，焦距在8mm 左右的影像完全呈圆形，视角为180°，少数的甚至可W达到220°，理论上只需要两幅鱼眼照 片就可W完成一幅全景影像的拼接，从而大大减少实地拍摄和后续像片处理的工作量。由 于鱼眼镜头采用的是非线性结构的半球面镜头，因此鱼眼影像描述的是半个球空间内的场 景信息，W非线性投影的方式记录在2D平面上，存在非常严重的变形，为了利于人眼观察， 必须对其进行校正。
[0003] 鱼眼影像变形的校正方法主要有两种：
[0004] 1、直接采用二维平面变换的方法进行校正，该方法直接在鱼眼影像与校正影像之 间建立对应坐标变换关系，然后将鱼眼影像投影到校正影像上，然后再对没有整数像素值 进行像素插值处理。运种方法常用的是球面坐标定位和多项式坐标变换等。球面坐标定位 法是将鱼眼影像类比为地球仪上的经度线，即落在每一条经度线上的所有像素点在校正后 的影像中的横坐标都相同，因此可W根据扭曲比例建立二者之间的投影关系，对鱼眼影像 实现校正。多项式坐标变换一般需要5次甚至更高次的多项式，且需要多个控制点，因此计 算量巨大，同时合理地选取控制点也很难把握。
[0005] 2、采取Ξ维空间鱼眼影像变换的方式进行校正，常用的主要有投影转换和鱼眼镜 头标定。投影转换算法就是将鱼眼影像上每个二维平面影像点映射到球面成像面上形成Ξ 维球面影像点，然后再W透视投影的方法投影到影像平面上构成校正影像的二维平面点， 其实是通过成像模型从鱼眼影像像素点反算出对应的入射光线的Ξ维向量，从而实现校 正;鱼眼镜头标定算法，首先建立鱼眼镜头变形模型，然后设计鱼眼镜头成像的崎变因子， 再通过实验对鱼眼镜头的内、外部参数进行求解，从而实现鱼眼影像的精确校正。但是，鱼 眼影像由于受到鱼眼相机的外方位因素和成像粗差和的影响，采取Ξ维空间鱼眼影像变换 的方式进行校正只是满足了全景影像的可视化浏览需求，完全无法具备空间量测的可行 性。
【发明内容】
[0006] 本发明的目的在于，针对现有技术中存在的问题，提供一种基于点云影像的鱼眼 影像纠正方法，其计算量较小且具备空间量测的可行性。
[0007] 为实现上述目的，本发明采用W下技术方案：
[000引一种基于点云影像的鱼眼影像纠正方法，包括W下步骤：
[0009] S1、W鱼眼镜头的投影中屯、为视点，对鱼眼影像进行柱面投影变换，投影到柱面上 并展开形成鱼眼全景影像；
[0010] S2、W鱼眼镜头的投影中屯、为视点，对点云数据进行柱面投影变换，投影到柱面上 并展开形成点云距离影像；
[0011] S3、对鱼眼全景影像进行边缘检测及直线特征提取；
[0012] S4、对点云距离影像进行边缘检测及直线特征提取；
[0013] S5、通过仿射变换，把鱼眼全景影像校正到点云距离影像上。
[0014] 进一步地，在所述S1中，采用W下步骤对鱼眼影像进行柱面投影变换：
[0015] S101、W鱼眼镜头的投影中屯、为原点，建立W原点为球屯、，W平行于鱼眼影像的成 像平面且过原点的平面为截面，W鱼眼镜头的焦距为半径的半球模型；
[0016] S102、沿半球模型的轴屯、方向，将鱼眼影像上的影像点投影到半球模型的半球面 上；
[0017] S103、建立W过原点的竖直方向直线为轴屯、，W鱼眼镜头的焦距为半径的圆柱模 型;将S102中所述半球面上的投影点投影到所述圆柱模型的柱面上；
[0018] S104、将柱面展开成二维平面，柱面上的所有投影点即构成鱼眼全景影像。
[0019] 进一步地，在所述S103中，将S102中所述半球面上的投影点W等弧长映射的方式 投影到所述圆柱模型的柱面上。
[0020] 进一步地，在所述S103中，将S102中所述半球面上的投影点沿其与原点的连线方 向投影到所述圆柱模型的柱面上。
[0021] 进一步地，在所述S2中，采用W下步骤对点云数据进行柱面投影变换：
[0022] S201、W鱼眼镜头的投影中屯、为原点，建立W原点为中屯、，W过原点的竖直方向直 线为轴屯、的圆柱模型；
[0023] S202、针对每一个需转化为影像的激光测点进行柱面投影变换，将其投影到S1所 述的圆柱模型的柱面上，形成柱面投影点；
[0024] S203、将柱面展开成二维平面，在二维平面上对柱面投影点的坐标进行定义;计算 各激光测点与原点之间的距离值，将距离值与对应的柱面投影点的坐标进行关联记录；
[0025] S204、W激光测点与原点之间的距离值作为对应的柱面投影点的灰度值，将S3所 述二维平面上的柱面投影点处理成栅格影像，即为点云距离影像。
[00%] 进一步地，所述S202包括W下步骤：
[0027] S2021、建立W原点为球屯、，WS201所述的圆柱模型的半径为半径的球面模型，沿 激光测点与原点的连线方向将激光测点投影到球面模型上，形成球面投影点；
[00%] S2022、将S2021中所述的球面投影点W等弧长映射的方式投影到S1所述的圆柱模 型的柱面上，形成柱面投影点。
[0029] 进一步地，所述S202包括:沿激光测点与原点的连线方向将激光测点投影到圆柱 模型的柱面上，形成柱面投影点。
[0030] 进一步地，所述S3包括：
[0031] S301、将鱼眼全景影像进行灰度变换W及对比度拉伸；
[0032] S302、对灰度鱼眼全景影像进行平滑滤波处理；
[0033] S303、采用化nny算子对S302处理后的影像进行边缘检测；
[0034] S304、采用化U曲变换对S303中检测到的边缘点集进行共线判断，求出共线点集， 然后对共线点集进行直线特征提取。
[00巧]进一步地，所述S4包括：
[0036] S401、对点云距离影像进行平滑滤波处理；
[0037] S402、采用化nny算子对S401处理后的影像进行边缘检测；
[003引S403、采用化U曲变换对S402中检测到的边缘点集进行共线判断，求出共线点集， 然后对共线点集进行直线特征提取。
[0039] 进一步地，所述S5包括：
[0040] S501、对鱼眼全景影像和点云距离影像进行仿射变换，得到配准转换函数；
[0041] S502、将S3和S4中提取的特征线作为配准基元，根据特征线之间的共线约束得到 鱼眼全景影像和点云距离影像的相似性测度，并得到共线约束方程；
[0042] S503、利用S502中得到的共线约束方程，解算出配准转换函数中的配准转换参数， 把鱼眼全景影像校正到点云距离影像上。
[0043] 本发明提供的一种基于点云影像的鱼眼影像纠正方法，W鱼眼镜头的投影中屯、为 视点，分别对鱼眼影像和点云数据进行柱面投影变换，生成鱼眼全景影像和点云距离影像， 提取两种影像的直线特征后，通过仿射变换，把鱼眼全景影像校正到点云距离影像上。由于 鱼眼影像受到鱼眼相机的外方位因素和成像粗差和的影响，W往采用的单一柱面投影变换 校正只是满足了全景影像的可视化浏览需求，完全无法具备空间量测的可行性;而本发明 采用基于点云影像的仿射变换模型对柱面投影变换校正后的鱼眼影像进行二次校正，校正 后的鱼眼影像可W直接给Ξ维模型进行纹理映射，其计算量较小且具备空间量测的可行 性。
【附图说明】
[0044] 图1是本发明实施例一提供的一种基于点云影像的鱼眼影像纠正方法的流程图；
[0045] 图2是本发明实施例一中鱼眼镜头朝上时鱼眼影像的投影过程示意图；
[0046] 图3是本发明实施例一中鱼眼镜头朝向水平方向时鱼眼影像的投影过程示意图；
[0047] 图4是本发明实施例一中点云数据的投影过程示意图；
[0048] 图5是本发明实施例一中鱼眼全景影像和点云距离影像的仿射变换示意图；
[0049] 图6是本发明实施例二中鱼眼镜头朝上时鱼眼影像的投影过程示意图；
[0050] 图7是本发明实施例二中鱼眼镜头朝向水平方向时鱼眼影像的投影过程示意图； [0051 ]图8是本发明实施例二中点云数据的投影过程示意图。
【具体实施方式】
[0052] 下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。
[0053] 实施例一
[0054] 本发明实施例提供了一种基于点云影像的鱼眼影像纠正方法，如图1所示，其包括 W下步骤：
[0055] S1、W鱼眼镜头的投影中屯、为视点，对鱼眼影像进行柱面投影变换，投影到柱面上 并展开形成鱼眼全景影像；
[0056] S2、W鱼眼镜头的投影中屯、为视点，对点云数据进行柱面投影变换，投影到柱面上 并展开形成点云距离影像；
[0057] S3、对鱼眼全景影像进行边缘检测及直线特征提取；
[005引S4、对点云距离影像进行边缘检测及直线特征提取；
[0059] S5、通过仿射变换，把鱼眼全景影像校正到点云距离影像上。
[0060] 本实施例中，采用柱面等距投影变换的方式对鱼眼影像和点云数据进行投影处 理。
[0061 ] 具体地，所述S1包括：
[0062] S101、W鱼眼镜头的投影中屯、为原点，建立W原点为球屯、，W平行于鱼眼影像的成 像平面且过原点的平面为截面，W鱼眼镜头的焦距为半径的半球模型；
[0063] S102、沿半球模型的轴屯、方向，将鱼眼影像上的影像点投影到半球模型的半球面 上；
[0064] S103、建立W过原点的竖直方向直线为轴屯、，W鱼眼镜头的焦距为半径的圆柱模 型;将S102中所述半球面上的投影点W等弧长映射的方式投影到所述圆柱模型的柱面上；
[0065] S104、将柱面展开成二维平面，柱面上的所有投影点即构成鱼眼全景影像。
[0066] 本发明中采用的鱼眼镜头的成像模型是球面透视模型，鱼眼影像可W看作是成像 在一个球屯、为0、半径为R的半球面上。柱面投影变换就是将鱼眼影像上的每个二维像平面 点映射到半球面上的Ξ维影像点，即对于鱼眼影像上的每一个像素点，都可W恢复为从照 相机的投影中屯、出发的一条Ξ维向量光线，也即入射光线，从而完成从像平面到半球面的 坐标变换;然后按照半球面半径，建立一个外切圆柱，将3D向量光线反向投射到柱面上就能 完成投影变换。
[0067] 具体地，鱼眼镜头生成鱼眼影像时一般有两种朝向，一种是镜头朝上的，一种是镜 头水平的，镜头方向的不同会导致投影变换公式的不同。
[0068] 当鱼眼镜头朝上时，如图2所示，W0为原点，W圆柱模型的轴屯、为Z轴，W半球模型 的截面为xOy平面，建立Ξ维直角坐标系0-xyz。根据鱼眼的等距成像模型计算鱼眼影像上 任意一点影像坐标A(x，y)在单位球面上的投影坐标4'（01，弓1)，即计算入射光线相对于相机 成像坐标系的方位角，设单位球面半径为焦距f，它们的关系如下式：
[0069]
[0070] 其中，Θ功0A'与Z轴的夹角，ξ功0A与y轴的夹角。
[0071] Wy轴正方向与圆柱模型的柱面的交点B为原点，W柱面上y轴正方向到X轴正方向 的圆周方向为i轴方向，W柱面的轴向为巧由方向，在柱面上建立二维直角坐标系B-ij;鱼眼 影像中像点A经过球面对应点Α'（θι，ξι)再投影到柱面后沿母线抓展开，在影像空间iBj对应 点为A"(i，j)，取焦距f为圆柱半径。鱼眼镜头朝上时，镜头主光轴垂直于地面，i，j可表示为 式：
[0072]
[0073] 从而直接通过球面坐标(θι，ξι)可W建立柱面上A"(i，j)与鱼眼影像坐标A(x，y)之 间的对应关系D
[0074] 当鱼眼镜头朝向水平方向时，如图3所示，W0为原点，^圆柱模型的轴屯、为Z轴，W 半球模型的轴屯、为X轴，建立Ξ维直角坐标系0-xyz。镜头水平的鱼眼影像变换和镜头朝上 的不一样，入射光线相对于相机成像坐标系的方位角（Θ2，ξ2)不再是直接作为Ξ维直角坐标 系0-xyz的方位角(α，β)。但是，可W建立柱面投影坐标(α，β)与入射光线球面坐标(Θ2，ξ2)的 关系如下式：
[0075]
[0076] 其中，02为0Α'与X轴的夹角，ξ劝0Α与Ζ轴的夹角，α为0Α'与xOy平面的夹角，峽J0A' 在xOy平面上的投影与y轴之间的夹角。
[0077] 进一步地，Wy轴正方向与圆柱模型的柱面的交点B为原点，W柱面上y轴正方向到 X轴正方向的圆周方向为i轴方向，W柱面的轴向为巧由方向，在柱面上建立二维直角坐标系 B-i j ;根据倾斜角α、水平方位角β在圆柱模型上进行等弧长投影得到A" (i，j):
[007引
[0079] 从而通过倾斜角α、水平方位角β与球面坐标Α'（θ2,ξ2)可W建立柱面上A"(i，j)与 鱼眼影像坐标A之间的对应关系。
[0080] 进一步地，所述S2包括：
[0081] S201、W鱼眼镜头的投影中屯、为原点，建立W原点为中屯、，W过原点的竖直方向直 线为轴屯、的圆柱模型；
[0082] S202、针对每一个需转化为影像的激光测点进行柱面投影变换，将其投影到S1所 述的圆柱模型的柱面上，形成柱面投影点；
[0083] S203、将柱面展开成二维平面，在二维平面上对柱面投影点的坐标进行定义;计算 各激光测点与原点之间的距离值，将距离值与对应的柱面投影点的坐标进行关联记录；
[0084] S204、W激光测点与原点之间的距离值作为对应的柱面投影点的灰度值，将S3所 述二维平面上的柱面投影点处理成栅格影像，即为点云距离影像。
[0085] 其中，所述S202包括W下步骤：
[0086] S2021、建立W原点为球屯、，WS201所述的圆柱模型的半径为半径的球面模型，沿 激光测点与原点的连线方向将激光测点投影到球面模型上，形成球面投影点；
[0087] S2022、将S2021中所述的球面投影点W等弧长映射的方式投影到S1所述的圆柱模 型的柱面上，形成柱面投影点。
[008引参见图4，W鱼眼镜头的投影中屯、0(X0，yo，Z0)为原点，建立W原点0为中屯、，WR为 半径，W过原点0的竖直方向直线为轴屯、的圆柱模型；并W投影中屯、0(xo，yo，zo)为原点，W 圆柱模型的轴屯、为Z轴，建立立维直角坐标系0-xyz;针对激光测点4佔，7^1)，建立^原点 0为球屯、，WR为半径的球面模型，沿A0方向将激光测点A投影到球面模型上，形成球面投影 点的，巧);其中，θ3为激光测点A与原点0的连线在xOy平面上的投影与y轴正方向的夹角， 钩为激光测点A与原点0的连线与xOy平面的夹角。W球面模型为参考，θ3也可理解为球面投 影点A'在球面模型上的经度，妍也可理解为球面投影点A'在球面模型上的缔度。
[0089] 具体地，θ3的计算方法如下：
[0090] 首先，判定激光测点A在xOy平面上的投影点相对于0-xy坐标系所处的象限；
[0091] 然后按照如下公式进行计算：
[0092]
[0093] 其中，当激光测点A在xOy平面上的投影点分别落入0-xy坐标系的第一、二、Ξ、四 象限时，k值分别取k = 0，1，2，3。
[0094] 約的计算公式则如下所示：
[0095]
[0096] 根据上述的方法获得激光测点A在球面模型上的投影^'(0,，約）后，将球面投影 点/Γ(巧，0)W等弧长映射的方式投影到圆柱模型的柱面上，形成柱面投影点A"。此过程 即是一个由赤道到极地均匀地按照弧长的方式映射，其实也就是将球面缔度方向180°的视 域按照缔度进行等分再均匀投影到柱面上，而经度方面还是与柱面等角变换相同，如图4所 /J、- 〇
[0097] 最后，Wy轴正方向与圆柱模型的柱面的交点B为原点，W柱面上y轴正方向到X轴 正方向的圆周方向为i轴方向，W柱面的轴向为巧由方向，在柱面上建立二维直角坐标系B- ij ;则将柱面沿巧由（即图4所示的抓方向）展开成二维平面后，柱面投影点A"在二维平面上 的坐标(i，j) W及激光测点A与原点0之间的距离值d的取值如下：
[009引
[0099] 点云数据投影到二维平面后W栅格影像记录，栅格影像中各象元的灰度由激光测 点A到原点0的距离值加角定。影像的分辨率根据点云数据密度而定，由于点云数据的密度非 常大，可W认为不存在空桐的可能性。但肯定存在一个象元内存在多个激光测点的投影的 情况，那么该象元的灰度就W最临近原点的激光测点为准，即取象元内距离值d的最小值。
[0100] 柱面投影变换后，鱼眼全景影像和点云距离影像在纵横比例上存在较大的差异， 但是都很好地保证了现实世界里垂直线条的不变性。因此，接下来分别提取鱼眼全景影像 和点云距离影像的直线特征。
[0101] 进一步地，所述S3包括：
[0102] S301、将鱼眼全景影像进行灰度变换W及对比度拉伸；
[0103] S302、对灰度鱼眼全景影像进行平滑滤波处理；
[0104] S303、采用化nny算子对S302处理后的影像进行边缘检测；
[0105] S304、采用化u曲变换对S303中检测到的边缘点集进行共线判断，求出共线点集， 然后对共线点集进行直线特征提取。
[0106] 所述S4包括：
[0107] S401、对点云距离影像进行平滑滤波处理；
[0108] S402、采用化nny算子对S401处理后的影像进行边缘检测；
[0109] S403、采用化U曲变换对S402中检测到的边缘点集进行共线判断，求出共线点集， 然后对共线点集进行直线特征提取。
[0110] 进一步地，所述S5包括：
[0111] S501、对鱼眼全景影像和点云距离影像进行仿射变换，得到配准转换函数；
[0112] S502、将S3和S4中提取的特征线作为配准基元，根据特征线之间的共线约束得到 鱼眼全景影像和点云距离影像的相似性测度，并得到共线约束方程；
[0113] S503、利用S502中得到的共线约束方程，解算出配准转换函数中的配准转换参数， 把鱼眼全景影像校正到点云距离影像上。
[0114] 由于经过投影变换后的鱼眼全景影像和点云距离影像均满足透视成像条件，且具 有相同的视点，同时为满足MIHT(Modified Iterated Hou曲^Transform，改进的迭代Hough 变换)算法对于待解算的参数不宜过多的特性，可使用仿射变换模型作为配准转换模型。仿 射变换具有良好的数学特性，经仿射变换后直线仍为直线，有平行关系的也会保持不变。
[0115] 设鱼眼全景影像上的点的坐标为(x，y)，点云距离影像上的点的坐标为(x'，y'）。 则根据仿射变换模型，投影变换后的鱼眼全景影像上的点坐标和激光扫描点云距离影像上 的点坐标之间的配准转换函数为：
[0116]
[01 17] 式中有日日、日1、日2、13日、131、62共6个参数，日日、13日是平移（化日]131日1：；[0]1)参数，日1、日2、131、62 分别是旋转(Rotation)、缩放(Scale)、翻转(Flip)和错切（Shear)参数，解出运6个参数就 能完成鱼眼全景影像的校正。
[0118] 将直线特征提取的特征线作为配准基元，从特征线之间的共线约束可W得到相似 性测度。
[0119] 如图5所示，鱼眼全景影像的特征线段^变换到点云距离影像的影像坐标X0Y后， 端点Pi(xi，yi)、P2(x2，y2)变换为Pi'（XI'，yi'）、P2'（X2'，y2'）。判定直线段1^1与直线段L2共线 的条件是Pi'、P2'距离特征线L2的距离都为0,即ηι = Π2 = 0。设P为影像坐标X0Y下原点到直线 L2的距离，Θ为L2的法线和X轴的夹角，则此时共线约束条件用点线对偶的形式写为：
[0120]
[0121]由上可知，每一对同名特征至少可在两个端点上得到两个共线约束方程(也可W 是根据特征线上的任意两点来构造约束方程）。利用η个特征共线关系，可W建立化个条件。 利用运些约束条件得到的共线约束方程，可解算出上述配准转换函数中6个配准转换参数， 公式如下：
[0122]
[0123] 实施例二
[0124] 本实施例提供的一种基于点云影像的鱼眼影像纠正方法与实施例一大体相同，只 是在S1和S2中采用了另一种与实施例一不同的柱面投影变换方式对鱼眼影像和点云数据 进行投影处理。下面将围绕S1和S2重点阐述本实施例的差异，S3至S5与实施例一相同，在此 不再寶述。
[0125] 具体地，本实施例在S1和S2中采用柱面等角投影变换的方式对鱼眼影像和点云数 据进行投影处理。
[0126] 所述S1包括：
[0127] S101、W鱼眼镜头的投影中屯、为原点，建立W原点为球屯、，W平行于鱼眼影像的成 像平面且过原点的平面为截面，W鱼眼镜头的焦距为半径的半球模型；
[0128] S102、沿半球模型的轴屯、方向，将鱼眼影像上的影像点投影到半球模型的半球面 上；
[0129] S103、建立W过原点的竖直方向直线为轴屯、，W鱼眼镜头的焦距为半径的圆柱模 型；将S102中所述半球面上的投影点沿其与原点的连线方向投影到所述圆柱模型的柱面 上；
[0130] S104、将柱面展开成二维平面，柱面上的所有投影点即构成鱼眼全景影像。
[0131] 当鱼眼镜头朝上时，如图6所示，W0为原点，W圆柱模型的轴屯、为Z轴，W半球模型 的截面为xOy平面，建立Ξ维直角坐标系0-xyz。根据鱼眼的等距成像模型计算鱼眼影像上 任意一点影像坐标A(x，y)在单位球面上的投影坐标4'（04，弓4)，即计算入射光线相对于相机 成像坐标系的方位角，设单位球面半径为焦距f，它们的关系如下式：
[0132]
[013引其中，04为0A'与Z轴的夹角，ξ4为0A与y轴的夹角。
[0134] Wy轴正方向与圆柱模型的柱面的交点B为原点，W柱面上y轴正方向到X轴正方向 的圆周方向为i轴方向，W柱面的轴向为巧由方向，在柱面上建立二维直角坐标系B-ij;鱼眼 影像中像点A经过球面对应点Α'（θ4，ξ4)再投影到柱面后沿母线抓展开，在影像空间iBj对应 点为A"(i，j)，取焦距f为圆柱半径。鱼眼镜头朝上时，镜头主光轴垂直于地面时，i，j可表示 为式：
[0135]
[0136] 从而直接通过球面坐标(Θ4，ξ4)可W建立柱面上A"(i，j)与鱼眼影像坐标A(x，y)之 间的对应关系。
[0137] 当鱼眼镜头朝向水平方向时，如图7所示，W0为原点，W圆柱模型的轴屯、为Z轴，W 半球模型的轴屯、为X轴，建立Ξ维直角坐标系0-xyz。镜头水平的鱼眼影像变换和镜头朝上 的不一样，入射光线相对于相机成像坐标系的方位角（Θ5，ξ5)不再是直接作为倾斜角与水平 方位角(α，0)。但同样按照中屯、透视的原理，柱面上的投影点Α"和球面上的投影点Α'（θ4，ξ4) 的倾斜角α与水平方位角0是相等的，从而可W建立柱面投影坐标(α，0)与入射光线球面坐 标此点)的关系如下式：
[013 引
[0139] 其中，05为0Α'与X轴的夹角，ξ功0Α与Ζ轴的夹角，α为0Α'与xOy平面的夹角，峽J0A' 在xOy平面上的投影与y轴之间的夹角。
[0140] 进一步地，Wy轴正方向与圆柱模型的柱面的交点B为原点，W柱面上y轴正方向到 X轴正方向的圆周方向为i轴方向，W柱面的轴向为巧由方向，在柱面上建立二维直角坐标系 B-i j ;根据倾斜角α、水平方位角β在圆柱上进行等角投影得到A" (i，j):
[0141]
[0142] 从而通过倾斜角α、水平方位角β与球面坐标（Θ5，ξ5)可W建立柱面上A"(i，j)与鱼 眼影像坐标A(r，Cs)之间的对应关系。
[0143] 进一步地，所述S2包括：
[0144] S201、W鱼眼镜头的投影中屯、为原点，建立W原点为中屯、，W过原点的竖直方向直 线为轴屯、的圆柱模型；
[0145] S202、针对每一个需转化为影像的激光测点进行柱面投影变换，将其沿激光测点 与原点的连线方向将激光测点投影到圆柱模型的柱面上，形成柱面投影点；
[0146] S203、将柱面展开成二维平面，在二维平面上对柱面投影点的坐标进行定义;计算 各激光测点与原点之间的距离值，将距离值与对应的柱面投影点的坐标进行关联记录；
[0147] S204、W激光测点与原点之间的距离值作为对应的柱面投影点的灰度值，将S3所 述二维平面上的柱面投影点处理成栅格影像，即为点云距离影像。
[014引参见图8，W鱼眼镜头的投影中屯、0(xo，yo，zo)为原点，建立W原点0为中屯、，WR为 半径，W过原点0的竖直方向直线为轴屯、的圆柱模型；并W投影中屯、0(xo，yo，zo)为原点，W 圆柱模型的轴屯、为Z轴，建立Ξ维直角坐标系0-xyz;沿A0方向将激光测点A投影到圆柱模型 的柱面上，直接得到柱面投影点A"。
[0149]接着，Wy轴正方向与圆柱模型的柱面的交点B为原点，W柱面上y轴正方向到X轴 正方向的圆周方向为i轴方向，W柱面的轴向为巧由方向，在柱面上建立二维直角坐标系B- ij ;则将柱面沿巧由（即图8所示的抓方向）展开成二维平面后，柱面投影点A"在二维平面上 的坐标(i，j) W及对应激光测点A与原点0之间的距离值d的取值如下：
[0150]
[0151] 其中，R为圆柱模型的半径，06为激光测点A与原点0的连线在xOy平面上的投影与y 轴正方向的夹角，烤为激光测点A与原点0的连线与xOy平面的夹角。
[0152] 进一步地，06的计算方法与实施例一相同，tan錢的值为；
[0153]
[0154] 本发明提供的一种基于点云影像的鱼眼影像纠正方法，W鱼眼镜头的投影中屯、为 视点，分别对鱼眼影像和点云数据进行柱面投影变换，生成鱼眼全景影像和点云距离影像， 提取两种影像的直线特征后，通过仿射变换，把鱼眼全景影像校正到点云距离影像上。由于 鱼眼影像受到鱼眼相机的外方位因素和成像粗差和的影响，W往采用的单一柱面投影变换 校正只是满足了全景影像的可视化浏览需求，完全无法具备空间量测的可行性;而本发明 采用基于点云影像的仿射变换模型对柱面投影变换校正后的鱼眼影像进行二次校正，校正 后的鱼眼影像可W直接给Ξ维模型进行纹理映射，其计算量较小且具备空间量测的可行 性。
[0155] W上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并 不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员 来说，在不脱离本发明构思的前提下，还可W做出若干变形和改进，运些都属于本发明的保 护范围。因此，本发明专利的保护范围应W所附权利要求为准。
【主权项】
1. 一种基于点云影像的鱼眼影像纠正方法，其特征在于，包括以下步骤： 51、 以鱼眼镜头的投影中心为视点，对鱼眼影像进行柱面投影变换，投影到柱面上并展 开形成鱼眼全景影像； 52、 以鱼眼镜头的投影中心为视点，对点云数据进行柱面投影变换，投影到柱面上并展 开形成点云距离影像； 53、 对鱼眼全景影像进行边缘检测及直线特征提取； 54、 对点云距离影像进行边缘检测及直线特征提取； 55、 通过仿射变换，把鱼眼全景影像校正到点云距离影像上。2. 根据权利要求1所述的基于点云影像的鱼眼影像纠正方法，其特征在于，在所述S1 中，采用以下步骤对鱼眼影像进行柱面投影变换： 5101、 以鱼眼镜头的投影中心为原点，建立以原点为球心，以平行于鱼眼影像的成像平 面且过原点的平面为截面，以鱼眼镜头的焦距为半径的半球模型； 5102、 沿半球模型的轴心方向，将鱼眼影像上的影像点投影到半球模型的半球面上； 5103、 建立以过原点的竖直方向直线为轴心，以鱼眼镜头的焦距为半径的圆柱模型;将 S102中所述半球面上的投影点投影到所述圆柱模型的柱面上； 5104、 将柱面展开成二维平面，柱面上的所有投影点即构成鱼眼全景影像。3. 根据权利要求2所述的基于点云影像的鱼眼影像纠正方法，其特征在于，在所述S103 中，将S102中所述半球面上的投影点以等弧长映射的方式投影到所述圆柱模型的柱面上。4. 根据权利要求2所述的基于点云影像的鱼眼影像纠正方法，其特征在于，在所述S103 中，将S102中所述半球面上的投影点沿其与原点的连线方向投影到所述圆柱模型的柱面 上。5. 根据权利要求1所述的基于点云影像的鱼眼影像纠正方法，其特征在于，在所述S2 中，采用以下步骤对点云数据进行柱面投影变换： 5201、 以鱼眼镜头的投影中心为原点，建立以原点为中心，以过原点的竖直方向直线为 轴心的圆柱模型； 5202、 针对每一个需转化为影像的激光测点进行柱面投影变换，将其投影到S1所述的 圆柱模型的柱面上，形成柱面投影点； 5203、 将柱面展开成二维平面，在二维平面上对柱面投影点的坐标进行定义;计算各激 光测点与原点之间的距离值，将距离值与对应的柱面投影点的坐标进行关联记录； 5204、 以激光测点与原点之间的距离值作为对应的柱面投影点的灰度值，将S3所述二 维平面上的柱面投影点处理成栅格影像，即为点云距离影像。6. 根据权利要求5所述的基于点云影像的鱼眼影像纠正方法，其特征在于，所述S202包 括以下步骤： 52021、 建立以原点为球心，以S201所述的圆柱模型的半径为半径的球面模型，沿激光 测点与原点的连线方向将激光测点投影到球面模型上，形成球面投影点； 52022、 将S2021中所述的球面投影点以等弧长映射的方式投影到S1所述的圆柱模型的 柱面上，形成柱面投影点。7. 根据权利要求5所述的基于点云影像的鱼眼影像纠正方法，其特征在于，所述S202包 括:沿激光测点与原点的连线方向将激光测点投影到圆柱模型的柱面上，形成柱面投影点。8. 根据权利要求1所述的基于点云影像的鱼眼影像纠正方法，其特征在于，所述S3包 括： 5301、 将鱼眼全景影像进行灰度变换以及对比度拉伸； 5302、 对灰度鱼眼全景影像进行平滑滤波处理； 5303、 采用Canny算子对S302处理后的影像进行边缘检测； 5304、 采用Hough变换对S303中检测到的边缘点集进行共线判断，求出共线点集，然后 对共线点集进行直线特征提取。9. 根据权利要求1所述的基于点云影像的鱼眼影像纠正方法，其特征在于，所述S4包 括： 5401、 对点云距离影像进行平滑滤波处理； 5402、 采用Canny算子对S401处理后的影像进行边缘检测； 5403、 采用Hough变换对S402中检测到的边缘点集进行共线判断，求出共线点集，然后 对共线点集进行直线特征提取。10. 根据权利要求1所述的基于点云影像的鱼眼影像纠正方法，其特征在于，所述S5包 括： 5501、 对鱼眼全景影像和点云距离影像进行仿射变换，得到配准转换函数； 5502、 将S3和S4中提取的特征线作为配准基元，根据特征线之间的共线约束得到鱼眼 全景影像和点云距离影像的相似性测度，并得到共线约束方程； 5503、 利用S502中得到的共线约束方程，解算出配准转换函数中的配准转换参数，把鱼 眼全景影像校正到点云距离影像上。
【文档编号】G06T3/00GK105825470SQ201610136853
【公开日】2016年8月3日
【申请日】2016年3月10日
【发明人】熊友谊
【申请人】广州欧科信息技术股份有限公司