鱼眼镜头全景图像拼接方法
【技术领域】
[0001] 本发明涉及图像拼接技术领域，特别是一种鱼眼镜头全景图像拼接方法。
【背景技术】
[0002] 目前的鱼眼图像的实时拼接技术非常少且单一，一般鱼眼图像的全景图像的实时 拼接分两步，首先求出全景图像与各镜头单元图像的参数映射表，然后在线的调用参数映 射表对镜头单元图像实时一帧一帧的进行全景图像拼接。最关键的就是第一步，目前解决 方案主要有两种：
[0003] 第一种是把鱼眼图像的径向畸变校正参数和图像元（即单元镜头）的位姿参数作 为一体，整体用最优化技术进行参数估计。镜头畸变参数校正最常用的技术是多项式拟合， 单元镜头的位姿估计参数是3x3维矩阵，9个参数，这两部分的参数的关系是复合函数，通常 用RANSAC或遗传算法、免疫算法、蚁群算法等迭代优化技术求解，这种复合最优化技术对参 数的初始值依赖性很强，而且彼此的干扰性也很强，很难达到全局最优，甚至局部最优也无 法找到，即使找到的局部最优解，这种比较差的局部最优解也使图像拼接误差增大，因此全 景图像重叠区域中的重影、错位问题，边缘区域变形严重、模糊及图像区域空白等问题都比 较严重。
[0004] 第二种是用一个常规镜头的投影变换和多项式畸变校正技术用校正模板图像对 镜头畸变参数进行畸变校正，生成一组中间校正后的2D图像，然后用2D图像配准技术对校 正后的图像元进行2D配准。该方案在最后的一个拼接重叠区域会把误差放大，导致全景球 面图像和等柱面全景图像中会有一个拼接误差严重的区域，在该区域重影、错位问题，边缘 区域变形严重、模糊及图像区域空白等问题比较严重。
[0005] 综上，现有技术鱼眼镜头图像拼接技术拼接出来的全景图像拼接误差比较大，如 在拼接重叠区域中重影、错位严重，在图像的边缘区域变形严重，甚至在全景等柱面展开图 的上下边缘中存在一定面积的空白区域。
【发明内容】
[0006] 本发明的目的是提供一种鱼眼镜头全景图像拼接方法，以改进提高鱼眼全景图像 拼接重叠区域中的拼接误差，进而解决全景拼接图像重叠区域中的重影错位问题，边缘区 域变形严重、模糊及图像区域空白等问题。
[0007] 为了解决上述技术问题，本发明提供一种鱼眼镜头全景图像拼接方法，包括：
[0008] 步骤一、通过多项式拟合模型将多个鱼眼镜头拍摄的单元图像分别映射到三维球 面上，并计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型；
[0009] 步骤二、将待配准的多个所述单元图像中的每幅图像重叠区域中的匹配特征点通 过确定后的所述多项式拟合模型分别映射到三维单位球面上，在三维单位球面上对多个所 述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多 个所述单元图像配准形成球面全景图像；
[0010] 步骤三、把所述球面全景图像按等柱面方式展开成柱面全景图像，对所述柱面全 景图像进行处理，建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中 的每个像素点的对应位置关系的参数映射表；
[0011] 步骤四、读取多个鱼眼镜头拍摄的鱼眼图像，调用所述参数映射表将多个鱼眼镜 头拍摄的鱼眼图像融合成全景图像。
[0012] 步骤一中计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合 模型，具体为：
[0013] 取空间同一条直线映射到鱼眼镜头的元图像上的直线上的至少三个点，然后用所 述多项式拟合模型求出所述至少三个点到三维单位球面上的映射点，再把所有映射点在三 维单位球面拟合成一个大圆，求出各个映射点到拟合的大圆的球面距离，求出他们的平方 和;用同种方法取空间中多条直线计算，所取的多条直线在鱼眼图像中分布均匀，如果分布 不均可以多拍几张弥补。建立以下函数:Dist = Sl +，"+SNn;其中SI = dl~2+d2~2+…+dnl ~ 2,…，SNn = dNr2+dN2~2+…+dNrT2;以函数Dist最小值为目标，求出所述多项式拟合模型 的系数参数。
[0014] 在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型， 根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像，具体为：
[0015] 设多个鱼眼镜头的单元图像重叠区域中匹配的特征点为(x，y)，则通过确定后的 所述多项式拟合模型映射到三维单位球面上的点的四元坐标为[x，y，z，l] ;以多个鱼眼镜 头中的一个鱼眼镜头为参考镜头，用特征点对求解另外的鱼眼镜头相对于参考镜头的配准 模型：
le是16个自由度的 矩阵。该配准模型演化出以下三个方程
;(X7 ,Υ' ,Ζ')和（x，y，z)是匹配的特征点对的球面坐标，把5对 不共面的匹配特征点的坐标代入这三个方程中，5对特征点可以得到15个独立的方程，通过 解他们组成的方程组求解得到Modle矩阵。
[0017] 所述步骤三具体为:对所述柱面全景图像进行重采样处理，将采样点通过柱面展 开图和球面全景图像的变换关系求得在参考球面上的位置，再通过配准模型的逆模型求得 到原来镜头影射的单位球面的位置，再由鱼眼图像到单位球面的所述多项式拟合模型反求 出在鱼眼图像中的位置，从而建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的 单元图像中的每个像素点的对应位置关系的参数映射表。
[0018] 该发明从原理上说，通过鱼眼图像的球面映射校正模型能够有效校正鱼眼图像产 生的径向畸变，使其映射到自己所在单位球面上的映射的相对位置得到校正，边缘区域的 变形得到有效的校正;通过在单位球面上的配准，使得球面上的绝对位置得到有效的配准， 两步分开进行也消除了彼此参数间的耦合影响。因此使得重合区域中匹配的图像点间的拼 接误差大幅度减小，因此使得全景图像中由匹配点间的拼接误差引起的重影、错位、模糊等 问题也相应得到了解决。只要鱼眼镜头的分布都能满足在单位球面的任意位置都至少是一 个鱼眼镜头的成像区域，从原理上说全景图像中就不可能存在空白图像区域。
[0019] 本发明的有益效果是：根据本发明产生的参数映射表拼接出来的全景图像效果 好，全景图像中完全没有空白图像区域，重叠区域图像误差小，使得该区域重影、错位问题 以及边缘区域变形严重、模糊及图像区域空白等问题肉眼几乎分辨不出来。
【附图说明】
[0020] 图1是本发明中二维平面图像到三维球面图像的映射模型示意图；
[0021 ]图2是本发明实施例中单元鱼眼镜头的分布示意图；
[0022] 图3是本发明实施例中单元鱼眼镜头的一个特殊分布示意图；
[0023] 图4是本发明实施例中鱼眼图像到单位球面映射流程图；
[0024] 图5是本发明实施例中全景图像参数映射表建立流程图；
[0025] 图6是本发明实施例中全景图像拼接融合流程图。
【具体实施方式】
[0026] 下面结合附图和实施方式对本发明作进一步的说明。
[0027] 本发明提供一种鱼眼镜头全景图像拼接方法，包括：
[0028]步骤一、通过多项式拟合模型将多个鱼眼镜头拍摄的单元图像分别映射到三维球 面上，并计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型；
[0029] 步骤二、将待配准的多个所述单元图像中的每幅图像重叠区域中的匹配特征点通 过确定后的所述多项式拟合模型分别映射到三维单位球面上，在三维单位球面上对多个所 述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多 个所述单元图像配准形成球面全景图像；
[0030] 步骤三、把所述球面全景图像按等柱面方式展开成柱面全景图像，对所述柱面全 景图像进行处理，建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中 的每个像素点的对应位置关系的参数映射表；
[0031