一种基于双目像机的全景图像拼接方法与流程

本发明属于数字图像处理领域，涉及全景图像拼接方法，特指一种基于双目像机的全景图像拼接方法。

背景技术：

随着科技的发展，全景视觉的应用越来越广泛，其中包括气象、医疗、安全监控、检测技术等方面的应用。将多张图像拼接成一张全景图像的过程，不仅操作复杂、效率低下，而且在实际工程应用中的适用性不高。

鱼眼镜头具有比普通摄像头更广阔的视角，为了简化多方位拍摄覆盖全景的摄像头摆放装置模型，双目像机通过在相反方向上同时拍摄获取覆盖全景的两张鱼眼图像，经过一系列图像处理过程，实现全景图像的拼接，这种方法简单、快速、可行性高。

基于鱼眼镜头的全景图像拼接方法主要包括图像采集、鱼眼图像畸变校正、图像特征点提取和匹配、图像融合，最后将拼接好的全景图像输出。其中图像畸变校正的精确度直接影响着特征点能否成功地提取和准确地匹配，从而影响全景图像拼接的效果。

目前鱼眼图像畸变校正的方式主要分为基于投影变换模型的校正方法和基于标定的鱼眼镜头畸变校正方法。其中基于球面透视投影主要是通过拟合多项式以优化目标函数，从而估计校正模型参数，推导出校正后的图像，该方法研究较早，但计算复杂，实时性差。基于标定的校正方法，主要是借助外部设备对鱼眼图像的内外参数进行标定，通过真实坐标与语言成像平面坐标之间坐标转换，实现鱼眼图像畸变校正，该方法校正精度高，对实验设备要求较高。

为了简化传统校正方法复杂度，提高视觉效果，在这两类方法的基础上结合图像的具体应用领域提出了许多校正方法。如刘红军等人(参考文献《鱼眼图像校正软件的关键技术研究》发表在仪表技术与传感器，2011年7期)采用球面透视投影和柱面展开两种算法对鱼眼图像进行校正，廖士中等人(参考文献《一种光学镜头摄像机图像几何畸变的修正方法》发表在中国图像图形学报，2000年5期)则提出利用多项式表示校正前后像素点坐标之间的关系，并通过最小二乘法求得多项式参数，实现鱼眼图像校正，但多项式次数越高，校正效果越好，计算量越大。

经纬度校正算法是二维校正的典型代表，计算量小，校正过程简单，针对传统经纬校正算法以球面上的经度和纬度映射对应平面图像横向和纵向坐标，校正后图像在竖直方向上校正效果较好，但水平方向上的拱形畸变校正失败，而且出现中心校正过度而边缘校正不足的问题，为了解决传统经纬校正法这一缺陷，提出了双经度畸变校正的方法，将传统算法中的经线和纬线看作横向经线和纵向经线对畸变图像进行映射校正，提高了校正精度。本发明所指的传统经纬校正法是由英向华等人在计算机学报发表文献《一种基于球面投影约束的鱼眼镜头校正方法》中提出经纬映射图像校正原理。

特征点的提取和匹配是图像处理中能否成功拼接的另一个重要模块，对同一目标进行拍摄的两幅图像，进行特征点提取之后，得到大量的特征点，这些特征点有些非常相似，但并不能形成一一对应的关系，即存在伪匹配点。同时有部分特征点会出现在一副图像中存在，而相匹配的另一幅图像中却不存在的现象。因此，特征点匹配过程中需要选定合适的搜索策略和相似性度量准则，确保图像特征点匹配的搜索效率和准确性。图像配准完成后，图像重叠部分在强度或颜色上的不连续会造成拼接的图像存在明显的拼接痕迹，因此必须采用适当的方法对配准后的图像进行融合处理，消除两幅图像在拼接过程中所产生的拼接痕迹，使两幅图像的亮度变化均匀，形成一幅分辨率较高的无缝拼接图像。

技术实现要素：

针对现有技术存在的不足，本发明提出一种基于双目像机的全景图像拼接方法。其创新性在于同时快速、稳定地获取两张覆盖全景的鱼眼图像，利用改进的经纬度校正法，提高图像校正精度，并将校正图像投影到同一坐标系，提取重叠区域特征点进行匹配，最后使用线性融合消除重影和变化生硬问题。

为了实现上述技术目的，本发明采用的技术方案是：

一种基于双目像机的全景图像拼接方法，包括以下步骤：

S1、将双目像机置于空间内某一视点处，两镜头视角均为180°～220°的超广角镜头，分别负责空间内全景图像的前后视角拍摄，完成一次拍摄同时获取两张鱼眼图像；

S2、对采集的两幅鱼眼图像进行畸变校正；

S3、将畸变校正后的两幅不同视角的鱼眼图像投影到同一球面坐标系下，采用球面正投影的方法，使鱼眼图像能够覆盖整个视点空间；

S4、基于SIFT特征点检测法提取两投影图像重叠区域内的特征点，利用K-D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配，并用RANSAC算法对特征点去噪和消除误匹配点，完成图像拼接。

本发明中，S2的方法是将经纬度校正方法中球面上经纬度看作水平经度和垂直经度，采用逆向映射的方法，由平面二维目标图像出发，反向计算鱼眼图像上对应点，利用等距成像模型和球面投影建立鱼眼图像与校正图像之间的对应关系，然后通过双线性插值算法计算相应像素值，从而实现畸变校正。

本发明的S2对采集的两幅鱼眼图像进行畸变校正，通过以下步骤实现：

S21根据鱼眼镜头球面模型成像几何性质，对真实空间内的直线在鱼眼图像上对应的畸变弧线进行采样，然后根据采样点拟合椭圆方程，并求得拟合椭圆的中心位置(x₀,y₀)及长轴半径R，从而确定光学中心与球面半径，方法如下：

a.在鱼眼图像中畸变弧线上等间隔采样，然后随机选取10个采样点，并记录采样点对应的行列坐标；

b.采用最小二乘法确定椭圆系数，根据椭圆参数方程得到椭圆中心和长轴半径值；

假设椭圆参数方程为Ax²+2Bxy+Cy²+Dx+Ey+F＝0其中A、B、C、D、E、F均为椭圆方程参数，A、C均为正数，且B²＜AC，根据采样点的行列坐标代入利用最小二乘法确定椭圆方程参数，再代入下列公式求得椭圆中心和长轴半径：

C.在鱼眼图像中畸变弧线上采用a步骤相同的方法进行两次以上的重复采样，并利用b步骤中的方法获得相应的椭圆中心和长轴半径值；

d.求取多次重复采样后获得的多个椭圆中心和长轴半径值的平均值，将椭圆中心和长轴半径的平均值作为拟合椭圆的中心(x₀,y₀)和长轴半径R。

S22以2R作为校正后图像的行和列数目，通过逆向映射方法，设校正后图像为目标图像，目标图像中一点P_a的坐标为(i,j)，P_b(α,β)为P_a(i,j)在半球面双经度俯视图中对应的逆向映射点，点P_c(x,y,z)为P_b(α,β)在xoy平面的投影点，P_d为目标图像中点P_a在鱼眼图像中对应的点，P_d在鱼眼图像坐标系中所对应的坐标为(u,v)，其中点P_b在xoz平面和yoz平面上的投影点分别为p1、p2，op1与x轴正向夹角和op2与y轴正向夹角分别为θ，P_b在球面上的双经度坐标为(α,β)，则存在关系式：

联立(3)式和(4)式得到球面三维坐标系下的点与校正后图像坐标系下对应点的转化关系如(5)式所示：

再根据鱼眼镜头的等距投影模型，得到鱼眼图像与球面点之间的映射关系为：

通过式(5)和(6)反向查询，找出校正后图像上各坐标点与鱼眼图像中对应点之间的像素灰度一一对应关系，然后对鱼眼图像上对应点进行双线性插值得到畸变校正图像上相应点的灰度值，最终完成双经度图像畸变校正。

进一步地，本发明还包括S5，采用线性融合的方法，通过对图像重叠区域进行加权处理，将重叠区域中的像素与两幅图像的位置关系作为权重信息，对拼接后的图像进行融合，避免图像过渡区域出现颜色和场景变化生硬的现象，从而达到自然过渡的效果。

如果经S4拼接之后的两图I₁和I₂之间存在重叠区域，则以重叠区域的中线为准，在重叠区域内任取一点A，若点A处在重叠区域的中线上，则图像I₁和I₂在点A的像素灰度权重值中取值均为0.5；当A点位于重叠区域最左侧边界线上时，图像I₁在A点的权重值取1，图像I₂在A点的权重值取0；同理，当A点位于重叠区域最右侧边界线上时，图像I₁在A点的权重值取0，图像I₂在A点的权重值取1；由此可知，线性融合方法按照线性等分原则对重叠区域求取像素灰度值，即越靠近左边的图像，则左图权重越大，同时右图权重下降，具体表达式如下：

其中x，y表示A点的像素坐标位置，xl为重叠区域的像素坐标起点，xr为重叠区域的像素坐标终点，A(x,y)为A点的灰度像素值，I₁(x,y)和I₂(x,y)分别为图像I₁和I₂在点(x,y)位置处的灰度值。

本发明首先将双目像机置于空间某一视点处，完成一次拍摄同时采集到两张鱼眼图像；其次针对经纬校正法在水平方向上畸变矫正不足的缺点，对传统经纬校正法进行了改进，并利用球面正投影的方法将校正后的图像投影到同一坐标系下，实现鱼眼图像快速校正；然后基于SIFT(尺度不变特征转换)特征点检测法提取两投影图像重叠区域内的特征点，利用K-D树(K-DimensionTree)的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配，并用RANSAC算法(随机采样一致性算法)对特征点去噪和消除误匹配点，完成图像拼接；最后采用线性融合的方法，对拼接后的图像进行融合，避免图像过渡区域出现颜色和场景变化生硬的现象。

综上所述，本发明能够实现一次成像，通过对传统经纬度校正法的改进实现准确、快速校正，并利用K-D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配，提高了算法的运行效率，采用线性融合方法对图像重叠区域加权处理，达到拼接图像自然过渡的效果。

附图说明

图1全景拼接方法实现框图

图2双目像机采集图像实现拼接示意图

图3畸变矫正方法实现框图

图4校正坐标系和投影模型示意图

图4-a校正后图像坐标图；图4-b半球面水平和垂直经度俯视图；图4-c球面模型侧视图；图4-d鱼眼图像坐标图。

图5图像融合示意图。

图6为传统经纬校正方法中经纬度分割球面的示意图。

图7位本发明改进的双经线分割球面的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。

参照图1，本发明一种基于双目像机的全景图像拼接方法，包括以下步骤：

(1)首先将双目像机置于空间内某一视点处，分别负责空间内全景图像的前后视角拍摄，如图2所示，图2为双目像机采集图像实现拼接示意图。双目像机完成一次拍摄同时能够获取两张鱼眼图像，双目像机的两镜头视角均为180°～220°的超广角镜头，在本实施例中选用视角为190°的鱼眼镜头。

(2)鱼眼镜头所采集到的图像视场范围大，存在着严重的畸变，需要对两幅鱼眼图像进行校正，针对传统的经纬校正法(参见：杨玲等在文献《应用经纬映射的鱼眼图像校正设计方法》中提出校正方法，2010年，工程图学学报，第6期)按同一比例校正过程中出现中心校正过度而边缘校正不足的问题。

参照图6，传统的经纬校正法是通过经线和纬线对球面进行分割，校正后映射到平面上的图像应该为同一经线上的点具有相同的列坐标，同一纬线上的点具有相同的行坐标。而事实上，鱼眼镜头拍摄时采用等距投影或正交投影所建立的鱼眼图像点与球面坐标点之间的映射关系，导致校正后的图像在经线方向的拱形畸变得到了校正，而纬线方向上的拱形畸变校正失败。为了解决这一问题，本发明利用双经度畸变校正模型，参照图7，本发明采用横向经度线和纵向经度线对球面进行分割，弥补纬线方向上校正不足的缺点。本发明对传统的经纬校正法进行改进，将球面上经纬度看作横向经度和纵向经度，即将原本的经度和纬度用双经度的方法表示，原经度线表示为纵向经度，原纬度线表示为横向经度。采用逆向映射的方法，由平面二维目标图像(即无畸变的平面图像)出发，反向计算鱼眼图像上对应点，利用等距成像模型和球面投影建立鱼眼图像与校正图像之间的对应关系，然后通过双线性插值算法计算相应像素值，从而实现畸变校正。

对采集的两幅鱼眼图像进行畸变校正后需要将校正图投影到球面上。鱼眼图像是以非线性方式存储的，从成像模型可以看出，越靠近球心的数据密度越大，形变越小，离球心越远，失真越严重。透视变换中，垂直于球面赤道的直线仍然保持垂直，因此经纬度校正法具有垂直不变性，但水平方向存在着拱形畸变，针对这一缺陷，对传统的经纬校正法进行改进。

在真实世界三维空间内的直线，经鱼眼镜头成像的几何模型所得到的图像中，原本的直线就成了一条发生畸变的曲线或者弧线。根据鱼眼镜头球面模型成像几何性质，对真实空间内的直线在鱼眼图像上对应的畸变弧线进行采样，然后根据采样点拟合椭圆方程，并求得拟合椭圆的中心位置及长轴半径，从而确定光学中心与球面半径；具体过程为：

a.在鱼眼图像中畸变弧线上等间隔采样，然后随机选取10个采样点，并记录采样点对应的行列坐标；

b.采用最小二乘法确定椭圆系数，根据椭圆参数方程得到椭圆中心和长轴半径值；

C.在鱼眼图像中畸变弧线上采用a步骤相同的方法进行两次以上的重复采样，并利用b步骤中的方法获得相应的椭圆中心和长轴半径值；

d.求取多次重复采样后获得的多个椭圆中心和长轴半径值的平均值，将椭圆中心和长轴半径的平均值作为拟合椭圆的中心(x₀,y₀)和长轴半径R。

其中步骤b中，计算椭圆中心和长轴半径的方法为：

假设椭圆参数方程为Ax²+2Bxy+Cy²+Dx+Ey+F＝0其中A、B、C、D、E、F均为椭圆方程参数，A、C均为正数，且B²＜AC，根据采样点的行列坐标代入利用最小二乘法确定椭圆方程参数，再代入下列公式求得椭圆中心和长轴半径。

畸变校正具体过程将采用逆向映射的方法如图3所示，由平面二维目标图像出发，反向计算鱼眼图像上对应点的方法，然后通过双线性插值算法计算相应像素值。当投影模型为半球面时，横向经度与纵向经度取值范围均为0-π，直接映射时校正后图像太小，为保证校正后图像与原畸变图像大小相当，以2R作为校正后图像的行和列数目。如图4所示，通过逆向映射方法，设校正后图像为目标图像，目标图像中一点P_a的坐标为(i,j)，P_b(α,β)为P_a(i,j)在半球面双经度俯视图中对应的逆向映射点，点P_c(x,y,z)为P_b(α,β)在xoy平面的投影点，P_d为目标图像中点P_a在鱼眼图像中对应的点，P_d在鱼眼图像坐标系中所对应的坐标为(u,v)，其中点P_b在xoz平面和yoz平面上的投影点分别为p1、p2，op1与x轴正向夹角和op2与y轴正向夹角分别为θ，P_b在球面上的双经度坐标为(α,β)，则存在关系式：

联立(3)式和(4)式得到球面三维坐标系下的点与校正后图像坐标系下对应点的转化关系如(5)式所示。

再根据鱼眼镜头的等距投影模型，得到鱼眼图像与球面点之间的映射关系为：

通过式子(5)和(6)反向查询，找出校正后图像上各坐标点与鱼眼图像中对应点之间的像素灰度一一对应关系，然后对鱼眼图像上对应点进行双线性插值得到畸变校正图像上相应点的灰度值，最终完成双经度图像畸变校正。

(3)将畸变校正后的两幅不同视角的鱼眼图像投影到同一球面坐标系下，采用球面正投影的方法，使鱼眼图像能够覆盖整个视点空间。其中球面正投影方法可以参照张茂军的《虚拟现实》一书。

(4)基于SIFT特征点检测法提取两投影图像重叠区域内的特征点，利用K-D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配，并用RANSAC算法对特征点去噪和消除误匹配点，完成图像拼接。

经过畸变校正之后投影到同一坐标系下的两幅鱼眼图像仍然存在着一定程度的形变，不能简单地通过位移变换实现拼接，因此需要寻找两幅鱼眼图像中同一目标的精确位置来确定两幅鱼眼图像的相对位置关系，即在重叠区域内提取特征点，并对特征点进行搜索和匹配。

目前常用的特征点检测方法有SUSAN算法、SIFT算法、Moravec算法、Harris算法、直方图特征点描述等，基于SIFT特征点检测法具有多尺度空间检测稳定性，特征描述符信息量丰富。由于直接采用SIFT特征点检测法，计算特征描述符之间的欧氏距离维数高，耗时长。K-d树是对数据点在K维空间中划分的一种数据结构，是二叉树在维数上扩展之后的一种搜索方法。特征空间被K-d树的每一层分为两部分，树的节点按每一维进行划分，通过二叉搜索，生成搜索路径，沿路径找最邻近相似点，更新邻近点和查询点的距离，进行回溯搜索，直到全部节点回溯完成。

本发明通过对两幅待拼接的图像重叠区域分别进行K-d数搜索，然后查找每个特征点的最邻近欧氏距离，设若有N个数据节点，则k维的搜索时间复杂度为O(kN^1-1/k)，比SIFT直接搜索所有特征点n个元素集合的时间复杂度O(n²)低很多，显然，在SIFT特征点检测算法中采用K-d树搜索方式，可以有效地降低算法的时间复杂度。特征点匹配完毕之后利用RANSAC算法对匹配好的特征点进行去噪处理，排除匹配异常点，保证正确匹配点不被去除，增强结果的稳定性。

(5)最后采用线性融合的方法，通过对图像重叠区域进行加权处理，将重叠区域中的像素与两幅图像的位置关系作为权重信息，对拼接后的图像进行融合，避免图像过渡区域出现颜色和场景变化生硬的现象，从而达到自然过渡的效果。

图像融合就是利用重叠区域的数据内容和位置关系，尽可能的降低噪声的影响，提高拼接图像的显示效果。图像融合的常用算法包括线性过渡、最佳缝合线、多通道融合等算法。线性融合通过对图像重叠区域进行加权处理，将重叠区域中的像素与两幅图像的位置关系作为权重信息，从而达到自然过渡的效果，使人眼观察图像时，不会由于剧烈的灰度或者亮度变化而产生不适应，不真实的感觉。

设待拼接的两幅图像I₁和I₂展开图的一部分如图5所示，两图之间存在着视角为10°左右的重叠区域，以重叠区域的中线为准，在该区域内任取一点A，若该点处在中线上，则图像I₁和I₂在点A的像素灰度权重值中取值均为0.5；当A点位于重叠区域最左侧边界线上时，图像I₁在A点的权重值取1，图像I₂在A点的权重值取0；同理，当A点位于重叠区域最右侧边界线上时，图像I₁在A点的权重值取0，图像I₂在A点的权重值取1。由此可知，线性融合方法按照线性等分原则对重叠区域求取像素灰度值，即越靠近左边的图像，则左图权重越大，同时右图权重下降。具体表达式如下：

其中x，y表示A点的像素坐标位置，xl为重叠区域的像素坐标起点，xr为重叠区域的像素坐标终点，A(x,y)为A点的灰度像素值，I₁(x,y)和I₂(x,y)分别为图像I₁和I₂在点(x,y)位置处的灰度值。