一种基于外参数修正鱼眼像机的图像生成方法与流程

本发明涉及一种图像处理方法，具体涉及一种基于外参数修正鱼眼像机的图像生成方法。

背景技术：

全景视频是一种基于图像拼接技术实现的低成本虚拟现实技术，是虚拟现实、计算机视觉技术领域中的一个研究热点。全景拼接技术作为一种廉价、直观的实现方式已经在多个领域得到广泛的应用，比如vr/ar、视频拍摄、视频监控、房地产、装潢设计、旅游景点、虚拟校园、街景服务等，有着广阔的市场需求。为拍摄更大、更全的高清全景图，全景像机通常由两个以上的像机组成来覆盖全方位的视角，由于鱼眼像机的镜头具有超大视场角的特点，因此全景像机大多由鱼眼像机组成。

生成全景影像需要通过若干鱼眼像机分别将采集到的原始图像拼接而成，如果要实现拼接，那么必须得到每一鱼眼像机精确的内参数、外参数；以及鱼眼像机之间的相对位姿关系，而由于工业制造技术的限制使得像机之间的相对位姿关系无法满足像机间姿态关系理论值的准确对位需求，一般直接利用理论设计的姿态值对不同像机获取的视频图像进行拼接会产生明显的错位和重影。

技术实现要素：

本发明的目的在于，提供一种基于外参数修正鱼眼像机的图像生成方法，标定方式简单且与实际的场景情况更加接近，提高精度，解决以上技术问题；本发明所解决的技术问题可以采用以下技术方案来实现：

一种基于外参数修正鱼眼像机的图像生成方法，提供两个具有重合视场的鱼眼像机，每一鱼眼像机具有初始的内参数和外参数，以及用于成像的原始平面模型，

包括

步骤s1，根据初始的内参数分别对每一所述鱼眼像机的建立对应的所述视场球面模型；

步骤s2，提供第一标定板，通过所述第一标定板修正每一所述鱼眼像机初始的内参数，得到修正后的内参数；

步骤s3，建立一基准球面模型，根据所述初始的外参数分别确定每一所述鱼眼像机的视场球面模型和所述基准球面模型的基准映射关系；

步骤s4，提供若干第二标定板位于所述重合视场中，每一所述第二标定板包括若干第二特征点，每一所述鱼眼像机分别采集所述第二特征点并根据对应的基准映射关系投影所述特征点至基准视场球面模型，于所述基准视场球面模型中确定相同的第二特征点为同名组，计算每一所述同名组内的所述第二特征点之间的偏差距离，修正每一所述鱼眼像机初始的外参数直至所有所述同名组的所述偏差距离之和最小，得到修正后的外参数；

步骤s5，根据所述修正后的内参数和所述修正后的外参数将每一所述鱼眼镜头采集的图像投影至所述基准球面模型中得到全景图像。

进一步地，所述基准球面模型的中心点与其中一所述视场球面模型的中心点重合。

进一步地，所述基准球面模型的中心点为所有所述视场球面模型的中心点之间的中点。

进一步地，所述鱼眼像机设置为两个，两个所述鱼眼像机的所述重合视场为环形视场，若干所述第二标定板沿所述环形视场均匀布置。

进一步地，每一所述第二标定板上设置有辨识图形，所述鱼眼像机采集所述辨识图形的图像可获取用于区分所述第二标定板的辨识码。

进一步地，所述步骤s4中，还包括有步骤s41用于确定相同的第二特征点于一同名组；

所述步骤s41包括，建立一公共视场模型，所述公共视场模型与每一所述鱼眼像机的视场球面模型存在映射关系；对于任意存在重合视场的第一鱼眼像机和第二鱼眼像机，分别将所述第一鱼眼像机和所述第二鱼眼像机采集的所述第二特征点映射到所述公共视场模型上，在所述公共视场模型上，若所述第一鱼眼像机对应的一第二特征点与所述第二鱼眼像机对应的一第二特征点互为最接近的第二特征点，则将这两个所述第二特征点确定于同一所述同名组中。

进一步地，所述公共视场模型的形状为环形带状曲面。

进一步地，所述第二标定板包括若干黑白相间的正方形图形，每两个相邻的所述正方形图形的重合的角点为所述的第二特征点。

有益效果：由于采用以上技术方案，通过这样设置，基于初始的内参数和外参数，重新对鱼眼像机的内参数和外参数进行修正，使得修正后的内参数和外参数与实际场景情况更加接近，使鱼眼像机的全景拼接精度更高，且标定的方法较为简便，较其他的标定方式而言更加具有实用意义。

附图说明

图1为鱼眼图像重投影示意图；

图2为鱼眼像机平差法内参数修正模型示意图；

图3为球面全景图投影模型侧视图；

图4为第二标定板的a型标定板结构示意图；

图5为第二标定板的b型标定板结构示意图；

图6为鱼眼像机图像拼接的标定结构示意图；

图7为鱼眼像机投影示意图；

图8为利用第二标定板获取鱼眼像机的第二特征点同名组示意图；

图9为利用公共视场中同名像点差优化外参示意图；

图10为鱼眼像机全景视频生成流程图。

附图标记：1、原始平面模型；2、视场球面模型；21、第一标定板；3、基准球面模型；110、横杆；120、中心支撑杆；130、侧支撑杆；140、第二标定板；141、底板；142、棋盘图形；143、标识图形；200、鱼眼像机；210、鱼眼镜头。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

一种基于鱼眼像机200的图像生成方法，提供至少两个具有重合视场的鱼眼像机200，每一鱼眼像机200具有初始的内参数和外参数，以及用于成像的原始平面模型1，相邻鱼眼像机200之间具有初始的相对位姿关系，

鱼眼像机初始的内参数指的是鱼眼像机固有的参数，例如鱼眼图像的中心坐标(cx，cy)，也就是原始平面模型的中心坐标，原始平面模型的半径r(形状为圆形)，鱼眼像机镜头的焦距f，鱼眼像机镜头视场角fov以及具体的视场球面模型和像差系数等，而在本发明的方法中，视场球面模型的生成在步骤s1中实现，而以部分内参数为例，对本发明做出解释。

对于计算原始平面模型的中心坐标和半径，可以首先利用鱼眼像机采集一个图像，利用阈值法对图像进行抠图，然后用huogh变换法或切线法找出原始平面模型的圆心和半径，设圆心o的坐标为(cx,cy)，半径为r；然后对鱼眼图像上所有像点(u,v)进行坐标系变换：u＝u-cx,v＝v-cy，从而将坐标系原点由图像的左上角点变换到以圆心o为坐标系原点；这样就建立了原始平面模型。而后通过鱼眼像机采集标定板图像通过zhang氏标定法和ocam法等内参数标定方法，实现鱼眼像机镜头的焦距f，鱼眼像机镜头视场角fov的标定。

外参数包括旋转矩阵r和平移参数t等，初始的外参数由旋转矩阵和平移参数可以由实际鱼眼像机200的中心位置以及对应的原始平面模型1获得外参数。

步骤s1，根据初始的内参数分别对每一鱼眼像机200的建立对应的视场球面模型2，建立方法已为公知常识，在此不做赘述；由于单个鱼眼像机200的视场范围不可能是360°，例如视场为210°的话，这里的视球面上就只有210°的范围有图像存在，其他没有图像存在的球面区域就为透明。

球面重投影过程如图1所示，为原始平面模型1的圆心，同时也为视场球面模型2的球面的球心，根据zhang氏标定法将鱼眼图像上的像点投影到视场球面模型2的球面上，设fov为鱼眼像机200的镜头的视场角，则原始平面模型1r处对应于视场球面模型2的球面上fov处的小圆。设视场球面模型的球面半径为r，鱼眼图像上的原始像点(u,v)^t投影到标准球面上的三维像点为(x,y,z)^t，(u,v)^t到球心o的距离为rd，三维像点(x,y,z)^t与光轴的夹角为θ，如图1所示：

以等距投影模型为例，通过步骤1)中得到的等距投影模型内参数f，可得：

进一步，可以根据原始像点(u,v)^t求得三维像点(x,y,z)^t的值：

求解上述公式即可获得视场球面模型上的所有像点，从而完成了原始平面模型根据映射关系到视场球面模型上的投影。

步骤s2，通过一预设的第一标定板修正每一所述鱼眼像机的所述初始的内参数，得到修正后的内参数，具体如下：

提供第一标定板21，即一种用于标定的标定板，通过第一标定板21修正每一鱼眼像机200初始的内参数，得到修正后的内参数；

第一标定板21包括若干第一特征点，步骤s2中，包括若干次修正步骤，修正步骤包括

步骤s21，根据第一标定板21与对应的鱼眼像机200的相对位姿关系，以及鱼眼像机200的初始的内参数和外参数，计算第一特征点于鱼眼像机200的原始平面模型1中的理论像点位置，因为鱼眼像机200成像每一个像点都有对应的位置，即实际像点位置，而通过原始平面模型计算获得的位置则叫做实际像点位置；

步骤s22，计算第一特征点于鱼眼像机200的原始平面模型1中的实际像点位置；

步骤s23，计算每一第一特征点的理论像点位置与实际像点位置的偏差，根据该偏差修正对应的鱼眼像机200的初始的内参数使理论像点的位置趋近实际像点位置。

步骤s21中，第一标定板21与对应的鱼眼像机200的相对位姿关系不同。

具体如下，一般来说，初始的内参数是不精确的，还需要进行进一步的修正。本发明通过鱼眼镜头210像机采集多张不同距离和不同姿态的第一标定板21图像的方法，构造实际像点与由鱼眼像机200内参构建的投影模型得到的理论像点的之间的约束关系，从而利用平差的方法来对初始的内参数进行修正。

如图2所示，设标定板上有n个第一特征点(角点)，也就是白色正方形图形和黑色正方形图形重合的角点，方便识别，第一标定板坐标系中第i个第一特征点的坐标为[xi，yi，0]^t，对应的视场球面模型中特征点坐标为映射到视场球面模型上时的球面像点坐标为[xi，yi，zi]^t，对应的原始平面模型上的二维像点坐标为[ui，vi]^t，则对第k帧标定图像，存在如下映射关系：1、标定板坐标系到视球面坐标系的三维坐标映射：2、视球面坐标系三维坐标到视场球面模型坐标的映射：其中3、视场球面模型坐标到原始平面模型坐标的映射：[xi，yi，zi]^t→[ui，vi]^t。

若原始平面模型像点到视场球面模型坐标系像点的映射为f的话，即：

其中cx，cy，f，fov等为待修正的内参数，则视场球面模型坐标到原始平面模型坐标的映射为上述映射的逆映射，即：

若记标定板图像坐标[xi，yi，0]^t到原始平面模型上的像点坐标[ui，vi]^t的映射为g，则由式——式则有：

从式可以看出，对单帧标定板图像，将会产生n个约束以及cx，cy，f，fov等5个内参未知量和rk、tk等6个外参未知量，但由于内参为恒定量保持不变，所以每增加一帧标定图像，将只会增加6个外参未知量，从而可以依据式列出平差约束方程，利用平差的方法对内参进行进一步的修正，其中平差时的误差量为依据式所示的投影模型得到的理论像点与实际像点之间的误差，平差量为cx，cy，f，fov等5个内参。

步骤s3，建立一基准球面模型，并根据所述初始的外参数分别确定每一所述鱼眼像机的所述视场球面模型和所述基准球面模型的基准映射关系；具体如下：

建立一基准球面模型3，基准球面模型3是为一个球面，用于生成球面全景图，根据初始的外参数分别确定每一鱼眼像机200的视场球面模型2和基准球面模型3的基准映射关系，基准映射关系反应的是视场球面模型2和基准球面模型3的相对位置关系，使得每一个像点都能在另一个对应的球面上找到对应的位置；在其中一个实施例中，基准球面模型3的中心点与其中一视场球面模型2的中心点重合。在另一个实施例中，基准球面模型3的中心点为所有视场球面模型2的中心点之间的中点。

球面全景图是与人眼模型最接近的全景描述。本专利的全景拼接思路是将不同鱼眼像机200获得的影像投影到共同坐标系下的球面上，所以建立基准球面模型3，从而形成一幅球面全景图，如图3所示。

首先，根据公式将两个鱼眼像机获得的原始鱼眼图像分别根据其投影模型投影到对应的视场球面模型上，即鱼眼图像sa投影到球面oa-xayaza上，鱼眼图像sb投影到球面ob-xbybzb上；

设sa上的原始像点(ua,va)^t投影到标准球面上的三维像点为(xa,ya,za)^t，sb上的原始像点(ub,vb)^t投影到标准球面上的三维像点为(xb,yb,zb)^t，因此有：

通过公式即可将单位球(即视场球面模型)ob-xbybzb上的像点重映射到单位球(即视场球面模型)oa-xayaza上。

对于一般的光心相距较近的鱼眼像机组，可以直接投影到其中某一个鱼眼像机对应的视球面上(例如上述中即把鱼眼像机b对应的视球面b重投影到了摄像机a对应的视球面a上)。但是，如果两个鱼眼像机的光心距离较大，将两个鱼眼图像统一投影到其中一个鱼眼像机的坐标系下会出现“偏心”现象，为避免这个问题，可以将两个像机根据如图3所示方法统一投影到两个像机中间位置处的单位球面上oo-xoyozo，其中，姿态与鱼眼像机a保持一致，则有：

就得到了基准映射关系，根据基准映射关系就可以将两个或多个鱼眼像机采集的图像从原始平面模型投影到基准球面模型上，以便全景图像的拼接。

步骤s4，通过一预设的第二标定板修正每一所述鱼眼像机的所述初始的外参数，得到修正后的外参数；具体如下：

提供若干第二标定板140位于重合视场中，第二标定板也同样为一种用于标定的标定板，每一第二标定板140包括若干第二特征点，第二特征点则是第二标定板色块之间的角点，每一鱼眼像机200分别采集第二特征点并根据对应的基准映射关系投影特征点至基准视场球面模型2，于基准视场球面模型2中确定相同的第二特征点为同名组，由于对于同一个像点，两个鱼眼像机是分别采集的，所以这两个像点都投影到基准视场球面模型2上时，就会出现两个对应的第二特征点，每两个这种特征点为一组同名组，方便后续处理，计算每一同名组内的第二特征点之间的偏差距离，修正每一鱼眼像机200初始的外参数直至所有同名组的偏差距离之和最小，得到修正后的外参数；

步骤s4中，还包括有步骤s41用于确定相同的第二特征点于一同名组；

步骤s41包括，建立一公共视场模型，公共视场模型与每一鱼眼像机200的视场球面模型2存在映射关系；对于任意存在重合视场的第一鱼眼像机200和第二鱼眼像机200，分别将第一鱼眼像机200和第二鱼眼像机200采集的第二特征点映射到公共视场模型上，在公共视场模型上，若第一鱼眼像机200对应的一第二特征点与第二鱼眼像机200对应的一第二特征点互为最接近的第二特征点，则将这两个第二特征点确定于同一同名组中。每一第二标定板140上设置有辨识图形，鱼眼像机200采集辨识图形的图像可获取用于区分第二标定板140的辨识码。第二标定板140包括若干黑白相间的正方形图形，每两个相邻的正方形图形的重合的角点为的第二特征点。鱼眼像机200设置为两个，两个鱼眼像机200的重合视场为环形视场，若干第二标定板140沿环形视场均匀布置。公共视场模型的形状为环形带状曲面。

为了实现外参数修正，需要对应设计一种鱼眼镜头210图像拼接标定结构，这个图像拼接的标定结构具体如下：针对两个鱼眼像机200组成的标定模型，计了专用的环形标定场，并通过在各鱼眼像机200的重合视场区域布置特定的第二标定板140(本发明设计了两种形式的第二标定板140：a型是直接由二维码组成的网格板；b型是由普通的棋盘板辅以标识用的二维码图形)。

a型标定板直接利用二维码(此处为aruco码)构成，从而可以利用每个aruco码的四个角点作为同名点，在具体使用的时候可以先识别出每个aruco码的id号，然后，分别对各个aruco码所在的方块区域运用数字图像处理方法(如形态学运算和阈值二值化)，将aruco码区域转换为黑色方块，从而使标定板变为普通的棋盘网格板，最后再进行角点坐标提取；

b型标定板由棋盘网格图形和二维码图形组合而成(例如可通过在棋盘网格板上下方各贴一个aruco二维码)，该型标定板中还是利用棋盘网格板上的角点作为同名点，该型标定板中的二维码仅起到标识棋盘网格板id号的作用，不用来作为同名点。

鱼眼镜头210图像拼接标定结构则是由多块上述的a型或b型合作标志板固联而成，其中，所有的合作标志板均处于相邻像机的公共视场区域，(注意：并不一定要求整个标志板必须全部位于公共视场内，只要保证公共视场内有同名点即可)。

鱼眼镜头210图像拼接标定结构包括支架底盘，支架底盘包括六根横杆110组合成一个正六边形结构，中心向上延伸形成一个中心支撑杆120，中心支撑杆120用于固定鱼眼像机200组件，以实现标定的作用，每一横杆110向外还固定有侧支撑杆130，侧支撑杆130垂直于地面向上延伸并固定有一底板141，底板141上固定有标定图形，标定图形可以设置为a型也可以设置为b型，底板141可以采用亚克力板构成，底板141和标定图形组成第二标定板140，侧支撑杆130、中心支撑杆120和横杆110之间的固定方式可以是焊接、螺纹连接、一体成型等固定方式，不做局限，而在另一实施例中，侧支撑杆130可以与地面平行同时与横杆110垂直，底板141固定在侧支撑杆130的上方，底板141和侧支撑杆130固定方式可以是粘接、螺纹连接等固定连接方式，不做局限。

第二步则需要实现第二特征点的检测和提取。由于通过鱼眼像机200得到的标图像影像包含较大的畸变，尤其在边缘部分畸变十分严重，所以即使适应性很强的sift特征匹配也不能够直接在原始平面模型1上对提取到的第二特征点进行匹配，本发明中提出一种将两鱼眼像机200影像先投影到视场球面模型2上，再以一定的小窗口将其投影到视场球面模型2的环形带状曲面的方法获取畸变较小的影像，最后基于这个畸变较小的影像来进行特征点匹配。原始平面模型i上的一个像点p首先根据鱼眼投影模型投影到视场球面模型c上的点k，然后再将视场球面模型c上的点k投影到与视场球面模型相切的环形圆带状曲面s上的点q。

然后对相邻鱼眼图像中同名特征点进行匹配，在相邻两个全景像机的公共视场区域(公共视场模型)放置多个第二标定板，位于公共视场模型中，标定板的位置应均匀分布在各个方向以避免姿态优化时陷于局部最优，c1、c2为两个鱼眼像机投影后的视场球面模型，环形圆带状曲面(公共视场模型)s为两个像机共同的可视区域，本专利优选在环带部分六个方向放置六个棋盘用于棋盘角点检测。分别在各个鱼眼像机获取的影像上提取棋盘角点，则同一位置的棋盘的相同角点即为同名像点。

最后，为了保证匹配过程中同名像点对的可靠性，本发明优选ransca方法+双向匹配验证来剔除错误的匹配点。其中，双向匹配指的是如果鱼眼图像sa中的点p1在鱼眼图像sb中的最佳匹配点为点p2，则p1与p2是同名像点的条件是鱼眼图像sb中的点p2在图像sa中的最佳匹配点也为p1，那么则将这两个第二特征点划分为同一同名组。在ransac方法中，为了剔除误匹配点，使用相邻鱼眼像机之间的相对位姿关系(旋转矩阵r和平移向量t)来作为内点的校验条件，设相邻鱼眼像机对应视球面上的同名像点分别为pi和则pi和之间的约束关系如下：

由前述得到相邻鱼眼像机公共视场内标定板的同名组之后，便可以依据同名组的第二特征点于基准球面模型的像差来对鱼眼像机间的相对位姿关系进行优化了。

设i1和i2分别为两个固联鱼眼镜头的原始鱼眼图像，p1和p2分别为i1和i2上的一对同名像点，将像点p1和p2按照中方法利用各自的内参分别投影到各自的视场球面模型s1和s2上，得到对应视场球面模型的视球面上的像点k1和k2，利用外参数(旋转矩阵r和平移向量t)投影到统一的基准球面模型s上，得到对应的像点q1和q2，则同名像点(同名组的第二特征点)q1和q2应该重合，故调整优化外参的原理就是使所有同名像点的不重合量最小，优化的目标函数为：

其中表示像点q1i和q2i之间的图像距离，i为同名点的索引号，n为同名点个数。当目标函数达到极小值时即可得到最优的旋转和平移参数，记为r′和t′，就是修正后的外参数。

步骤s5，根据修正后的内参数和修正后的外参数将每一鱼眼镜头210采集的图像投影至基准球面模型3中得到全景图像。

参照流程图所示，初始的内、外参数，对每一鱼眼像机200建立视场球面模型2，按照步骤s2对内参进行修正，按照步骤s3建立基准球面模型3和步骤s4方法对外参进行修正，得到优化后的新的外参数，将两个鱼眼图像从原始平面模型1投影到共同坐标系下的基准球面模型3上，从而得到一幅球面全景图。

尽管经过优化之后的旋转和平移参数可以使像机准确对位，使得全景影像的拼接对位更加准确，但是重合部分的图像由于曝光等原因难免会在拼接处产生痕迹，从而影响最终的全景图视觉效果，本专利优选加权平均法对拼接处的图像灰度值先加权后叠加平均进行处理，假设和分别为待融合图像，为融合之后的图像，则有：

其中，ω1+ω2＝1，0＜ω1,ω2＜1是重叠区域像素的权值，经过平滑处理后，得到最终的球面全景图。i1和i2为待融合图像，i为融合后图像，ω1+ω2＝1，0＜ω1,ω2＜1，ω1、ω2分别是待融合图像中像点坐标的权值，(x,y)表示切平面上图像的像点坐标，i1(x,y)和i2(x,y)为待融合图像中对应坐标的像点的灰度，i(x,y)为融合后图像中对应坐标的像点的灰度。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。