基于固定拼接参数的快速双目鱼眼全景图像拼接方法与流程

本发明涉及鱼眼图像处理技术领域，具体是一种基于固定拼接参数的快速双目鱼眼全景图像拼接方法。

背景技术：

全景图像作为一种能为用户提供超大视野观察的实景图片，广泛应用于虚拟旅游、增强现实、工程开发、抢险救灾、机器人导航等多个领域。其中基于图像拼接的全景图像生成主要包括以下三种方式：(1)采用多镜头的特制设备，比如facebooksurround360、goproodyssey、中国实用新型专利(申请号201220019086.9，申请公开号cn202455444u)等，但这类设备价格昂贵，普通大众往往承受不起；(2)通过单镜头旋转一周，采集多张图像拼接，如中国发明专利(申请号201110159291.5，申请公开号cn102222337a)等，这类方法拍摄时间过长，仅适用于静态场景；(3)基于鱼眼图像拼接，因为鱼眼镜头的视角可以达到甚至超过180°，所以理论上两张鱼眼图像就可得到全景图像，这种方法成本较低，操作简单，效果显著。

本发明采用基于鱼眼图像拼接的方法，不同于中国发明专利(申请号201510299400.1，申请公开号cn104835118a)等采用图像特征点匹配的方法寻找重叠区域，上述方法匹配速度慢，每次生成全景图像，都要执行一次特征点检测和匹配过程，增加了全景生成的代价，同时基于特征点的图像匹配不精确，拼接效果不理想，本发明提出了一种基于固定拼接参数的快速双目鱼眼全景图像拼接方法，自制简单、易实现的硬件装置，通过获取旋转偏移参数和重合度即可获得拼接鱼眼图像的查找表，实现鱼眼图像到拼接后图像的位置映射，从而实现双目鱼眼图像的快速拼接。

技术实现要素：

本发明的目的是提供一种操作简单、拼接效果好、易于硬件实现、速度快的基于固定拼接参数的快速双目鱼眼全景图像拼接方法，来解决现有基于鱼眼图像拼接的方法中，拼接速度慢、边缘拼接效果不精确等问题。

本发明的技术方案如下：

一种基于固定拼接参数的快速双目鱼眼全景图像拼接方法，其特征在于：具体包括以下步骤：

s1、设置鱼眼全景图像拼接参数获取装置：具体包括以下部分：设置硬件装置主结构、设置相机支撑架和相机、设置特殊线条；

s11、设置硬件装置主结构：选取一个立方盒体，所述的立方盒体包括有abcd、aefb、dhgc、bfgc、adeh和efgh六个面，其中abcd、aefb、dhgc和bfgc四个面均为半透明亚克力玻璃面，adeh面和efgh面为空；

s12、设置相机支撑架和相机：首先选取一个可支持前后、上下活动的支架作为相机支撑架，并选取一个双目鱼眼相机，再将所述的相机支撑架通过adeh面放置到所述立方盒体内，并固定到所述立方盒体的efgh面上；然后将所述的双目鱼眼相机通过adeh面固定到所述相机支撑架上，使得所述双目鱼眼相机的两个镜头关于其机身呈对称设置，并保证上述两个镜头的光轴位于同一水平线上；

s13、设置特殊线条组：在所述立方盒体的abfe、abcd和dcgh三个面上分别设置紧密排列的且与各自所在半透明亚克力玻璃面具有明显色差的线条组，共三组线条组，其中abfe面上的线条组分别与abfe面的ae边和bf边平行，abcd面上的线条组分别与abcd面的ad边和bc边平行，dcgh面上的线条组分别与dcgh面的dh边和cg边平行，上述三组线条组的中间线条分别位于所在面的中心位置，且abfe面上的线条组与abcd面上的线条组以及abcd面上的线条组与dcgh面上的线条组分别相连；在所述立方盒体的abfe、bcgf和dcgh面上分别设置一根与所述立方盒体的中心位置等高的且与各自所在半透明亚克力玻璃面具有明显色差的水平线条，共三根水平线条，其中abfe面上的水平线条与bcgf面上的水平线条以及bcgf面上的水平线条与dcgh面上的水平线条分别相连；

s2、获取鱼眼图像拼接参数：首先将所述双目鱼眼相机获取的两幅鱼眼图像展开为柱面全景图，这样两幅鱼眼图像的拼接缝位于同一条线上，便于拼接参数的获取，具体包括以下步骤：

s21、将所述的双目鱼眼相机放置所述立方盒体的正中心位置，使得所述双目鱼眼相机的两个镜头分别朝向所述立方盒子的aedh面和bfgc面，获取两幅鱼眼图像，并提取两幅鱼眼图像的有效区域，两幅鱼眼图像的有效区域具体为一个正圆形区域；

s22、建立柱面校正模型，将上述两幅鱼眼图像的有效区域映射到圆柱面上，获取柱面图一和柱面图二，柱面图一和柱面图二分别包括有一条竖直线和三条水平线，记录上述两幅鱼眼图像中的像素点与柱面图一和柱面图二中像素点的对应关系；

s23、将柱面图一和柱面图二上下对齐放置，所获取的图像中的两条相邻竖直线的距离为所述双目鱼眼相机的两个镜头的旋转偏移参数，三条水平线的平均距离为所述双目鱼眼相机的两个镜头的区域重叠参数；

s3、通过所获取的旋转偏移参数和区域重叠参数生成鱼眼图像拼接查找表，具体包括以下内容：

s31、将柱面图一中的竖直线左右平移至与柱面图二中的竖直线相对齐，记录平移前后的像素点对应关系；再将柱面图一中的三条水平线上下平移至与柱面图二中的三条水平线分别相重合，形成柱面全景图，记录柱面全景图中的像素点与柱面图一、二中的像素点的对应关系；

s32、将柱面全景图转为球面全景图，记录柱面全景图中的像素点与球面全景图中的像素点的对应关系；

s33、根据上述各步骤中记录的像素点对应关系，最终获得球面全景图与两幅鱼眼图像之间的像素对应关系，此即为鱼眼图像到拼接后图像的位置映射查找表。

所述的基于固定拼接参数的快速双目鱼眼全景图像拼接方法，其特征在于：所述立方盒体底部的四周分别具有支撑脚ei、fj、gk和hl，立方盒体的各条棱以及支撑脚ei、fj、gk和hl均为金属杆。

本发明的有益效果：

1、本发明的硬件装置自制简单、易实现，通过获取旋转偏移参数和重合度获得拼接鱼眼图像的查找表，实现鱼眼图像到拼接后图像的位置映射，从而实现双目鱼眼图像的快速拼接。

2、本发明操作简单，易于硬件实现。

3、本发明通过查找表，直接实现鱼眼图像和全景图像的位置，无需中间计算过程，加快了拼接速度；同时，相较于特征点匹配方法，本发明提高了图像的融合准确性和拼接质量。

附图说明

图1为本发明实例的流程图。

图2为本发明实例的标定环境示意图。

图3左、右图为本发明实例采集的标定环境的双目鱼眼图像图(a)、图(b)。

图4左、右图为本发明实例对图3图像提取的有效区域图像图(a)、图(b)。

图5为本发明实例柱面校正模型示意图。

图6为本发明实例建立的柱面图像坐标系示意图。

图7为本发明实例建立的鱼眼图像有效区域的坐标系示意图。

图8为本发明实例将图3校正为柱面图像后的图像。

图9为本发明实例将图8中标定线对齐并融合后得到的图像。

图10为本发明实例柱面全景图坐标系示意图。

图11为本发明实例球面全景图坐标系示意图。

图12为本发明实例对图3处理后最终得到的球面全景图。

具体实施方式

下面结合发明实施例中的附图，对本发明进一步说明。

一种基于固定拼接参数的快速双目鱼眼全景图像拼接方法，具体包括以下步骤：

s1、设置鱼眼全景图像拼接参数获取装置：具体包括以下部分：设置硬件装置主结构、设置相机支撑架和相机、设置特殊线条；

s11、设置硬件装置主结构：如图2，选取一个立方盒体，立方盒体包括有abcd、aefb、dhgc、bfgc、adeh和efgh六个面，立方盒体底部的四周分别具有支撑脚ei、fj、gk和hl，其中立方盒体的各条棱以及支撑脚ei、fj、gk和hl均为金属杆，abcd、aefb、dhgc和bfgc四个面均为半透明亚克力玻璃面，adeh面和efgh面为空；

s12、设置相机支撑架和相机：如图2，首先选取一个可支持前后、上下活动的支架作为相机支撑架，并选取一个双目鱼眼相机，再将相机支撑架通过adeh面放置到立方盒体内，并固定到立方盒体的efgh面上；然后将双目鱼眼相机通过adeh面固定到相机支撑架上，使得双目鱼眼相机的两个镜头关于其机身呈对称设置，并保证上述两个镜头的光轴位于同一水平线上；

s13、设置特殊线条组：在立方盒体的abfe、abcd和dcgh三个面上分别设置紧密排列的且与各自所在半透明亚克力玻璃面具有明显色差的线条组，共三组线条组，其中abfe面上的线条组分别与abfe面的ae边和bf边平行，abcd面上的线条组分别与abcd面的ad边和bc边平行，dcgh面上的线条组分别与dcgh面的dh边和cg边平行，上述三组线条组的中间线条分别位于所在面的中心位置，且abfe面上的线条组与abcd面上的线条组以及abcd面上的线条组与dcgh面上的线条组分别相连；在立方盒体的abfe、bcgf和dcgh面上分别设置一根与立方盒体的中心位置等高的且与各自所在半透明亚克力玻璃面具有明显色差的水平线条，共三根水平线条，其中abfe面上的水平线条与bcgf面上的水平线条以及bcgf面上的水平线条与dcgh面上的水平线条分别相连；

s2、获取鱼眼图像拼接参数：首先将双目鱼眼相机获取的两幅鱼眼图像展开为柱面全景图，这样两幅鱼眼图像的拼接缝位于同一条线上，便于拼接参数的获取，具体包括以下步骤：

s21、将双目鱼眼相机放置立方盒体的正中心位置，使得双目鱼眼相机的两个镜头分别朝向立方盒子的aedh面和bfgc面，获取两幅鱼眼图像，如图3，根据标定线的几何关系，制作标准模板，用尺寸呈线性变化的动态模板，对获取的两幅鱼眼图像匹配，最佳匹配时记录圆心和半径，从而提取出两幅鱼眼图像的有效区域，两幅鱼眼图像的有效区域具体为一个正圆形区域，如图4；

s22、根据论文《基于全景视觉的目标识别及图像初态复原》建立柱面校正模型，将上述两幅鱼眼图像的有效区域映射到圆柱面上，获取柱面图一和柱面图二，柱面图一和柱面图二分别包括有一条竖直线和三条水平线，记录上述两幅鱼眼图像中的像素点与柱面图一和柱面图二中像素点的对应关系；

建立如图5的柱面校正模型，鱼眼镜头与成像坐标系为oxyz，采用与成像面同半径r的柱面作为视平面，将成像面的影像逆投影到柱面上，如像平面上某点q2，等距模型对应到半径为r的球面上点q1，作oq1的平行线并与柱面交会于点q，将oq与z轴的夹角α定义为入射角，oq与x轴的夹角β定义为水平方位角，q2到圆心的距离||oq2||为r，这样就实现了鱼眼影像上的q2点、物球面上的q1点、柱面上的q点的一一对应，具体推导过程如下：

第一步，如图5，由于柱面与成像面同半径，且与球面等高，由此可求出柱面的高度h1和宽度w1：

第二步，若将柱面分成w1×h1个点，并以左下角为原点建立如图6的坐标系，那么柱面第u1行点入射角α：

第三步，柱面第v1列的水平方位角β：

第四步，由等距投影知：r＝fα，其中f为焦距，由论文《等距投影的鱼眼图像畸变校正算法设计》知，当视场角度为π时，鱼眼图像刚好映射到整个半球面，于是鱼眼图像上的任一直径映射到球面上即为经过a点且连接半球直径的圆弧，由周长公式可得：

第五步，对像平面建立如图7的坐标系x1oy1，易知：

联立(1)、(2)、(3)、(4)、(5)可得：

这样就建立起了柱面上点(x1,y1)与鱼眼影像上点(u1,v1)之间的映射关系；

s23、将柱面图一和柱面图二上下对齐放置，所获取的图像中的两条相邻竖直线oa与o’b的距离为双目鱼眼相机的两个镜头的旋转偏移参数，三条水平线(即立方盒体中的竖直线条组)的平均距离为双目鱼眼相机的两个镜头的区域重叠参数；

在对鱼眼相机进行固定时，难以保证两个镜头对齐，可能存在着一定的旋转偏移，需获取旋转偏移参数，以对此偏移校正，在上述s22建立的圆柱校正模型中，将鱼眼图像的半径映射到了柱面图像的一条竖直线上，这样理论上两幅鱼眼图像同一位置的半径在相应的矩形柱面图像上应该是对齐的，故反推之，只需使矩形柱面图像对齐，就可满足鱼眼图像对齐，也即对镜头实现了校正，如图8，两幅由鱼眼图像校正得到的矩形柱面图像中的竖直线存在明显偏移，左右循环移动其中一幅图像，使竖直线的位置对齐，便可校正了旋转偏移，从而获得旋转偏移参数d；

由于双目鱼眼镜头视角大于180°，所以采集的鱼眼图像在边缘部分有重叠区域，需获取重叠区域参数，以进一步对图像融合，在上述s22建立的圆柱校正模型中，图6鱼眼图像外边缘圆周部分映射到了图5矩形图像底边水平边缘部分，需对边缘部分的重叠区域校正，如图7，上矩形柱面图像的下边缘有三条水平线，下矩形柱面图像的上边缘有三条水平线，通上下循环移动其中一幅图像，使两幅图像的水平线重合，柱面图像的三条水平线(即立方盒体中的竖直线条组)位置的平均距离即为区域重叠参数l。

s3、通过所获取的旋转偏移参数和区域重叠参数生成鱼眼图像拼接查找表(lut)，具体包括以下内容：

s31、将柱面图一中的竖直线左右平移至与柱面图二中的竖直线分别相对齐(即竖直线oa与o’b相对齐)，记录平移前后的像素点对应关系；再将柱面图一中的三条水平线(即立方盒体中的竖直线条组)上下平移至与柱面图二中的三条水平线分别相重合，形成柱面全景图，如图9，记录柱面全景图中的像素点与柱面图一、二中的像素点的对应关系；

s32、将柱面全景图转为球面全景图，记录柱面全景图中的像素点与球面全景图中的像素点的对应关系；

为了便于全景漫游，需对上述s31得到的柱面全景图转换为长为w2宽为h2的球面全景图，其中w2＝2*h2，具体推导过程如下：

第一步，若将球面全景图分为w2×h2个点，并以左上角为原点建立如图10的坐标系，那么球面上第u2行点入射角α：

第v2行点水平方位角β：

第二步，在如图5的空间直角坐标系oxyz中，点q1(x,y,z)可以用球面坐标(r,α,β)表示：

第三步，如图5对空间直角坐标系oxyz进行坐标变换，先沿z轴顺时针旋转90°，再沿x轴顺时针旋转90°，此时新坐标系为：

第四步，设q3到圆心o的距离为r，则

在新坐标系ox'y'z'中计算球面坐标的参数α'和β'分别为：

其中，α'为新坐标系下oq1与oy'轴正方向的夹角，β'为与oq1轴负方向的夹角，

第五步，若将柱面全景图分为w3×h3个点，其中h3＝2r-l，w3＝2*h3，并以左上角为原点建立如图11的坐标系，那么柱面全景图中点(x2,y2)的坐标为：

联立(7)、(8)、(9)、(10)、(11)、(12)、(13)，就可建立起柱面全景图坐标(x2,y2)与球面全景图坐标(u2,v2)之间的对应关系；

s33、根据上述各步骤中记录的像素点对应关系，最终获得球面全景图与两幅鱼眼图像之间的像素对应关系，此即为鱼眼图像到拼接后图像的位置映射查找表。

这样，对于新的输入图像，就可直接从查找表中找出最终球面全景图中各个像素点对应于两张鱼眼图像中的像素位置，继而映射获得球面全景图像，球面全景图像是一张1:2的图像，需使用专门的播放器实现球面全景漫游，犹如身临其境，能够获得强烈的沉浸感。

应当理解的是，以上实施例仅仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现方法和具体实施步骤。本领域的普通技术人员应当理解，可以对发明的技术方案进行修改或者等同替换，而不脱离本发明方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。