全空间摄像机外参标定及全空间视频拼接方法
【专利摘要】本发明公开了一种全空间摄像机外参标定及全空间视频拼接方法，其首先对全空间相机拍摄的视频进行外参标定，标定内容包括每个相机的水平角度、俯仰角度、自旋角度；接着为每个相机建立相应的局部经纬表，并结合外参合并出全局经纬表，使得空间中每一点都能找到其对应于相机原图的两个坐标位置以及相应权重；最后在全空间相机模式与视角模式两种查看模式下，分别建立相应的视图表，使得视图中每一点通过视图表可以快速地映射到其对应的两个相机原图位置以及相应权重，再通过加权求和即可计算出其颜色值。本发明通过前述技术方案实现了准确快速地标定全空间相机的外参标定以及快速准确地拼接出全空间图像的技术效果。
【专利说明】
全空间摄像机外参标定及全空间视频拼接方法
技术领域
[0001]本发明涉及计算机视频拼接技术领域，具体来说涉及全空间摄像机外参标定及全空间视频拼接方法。
【背景技术】
[0002]全空间视频作为新兴的视频技术，既可以提供朝向某视觉角度的视频，便于人们观看不同方位的图像信息，也可以同时观看到所有方位的图像信息，扩大了人眼的视角范围。目前全空间视频使用较多的主要有柱面全空间视频和球面全空间视频两类。
[0003]关于柱面全空间视频，该方法采用多个摄像头对不同视角方向进行全方位覆盖的视频采集，然后通过视频进行全空间拼接，对视频流中的每一帧进行拼接，将其生成全空间视频。
[0004]然而，柱面全空间视频受到垂直方向的视域限制，导致仰视和俯视角度的盲区，影响观看的效果。具体地说明，即全空间视频播放时，受制于视频的二维平面角度的限制，只能观看到以固定角度播放的视频，而不能按照使用者的观看角度需求自由地选择，影响了人们观看全空间视频的互动性和灵活性。
[0005]关于球面全空间视频，其是根据所采用镜头种类的不同可以分为普通镜头全空间视频以及鱼眼镜头全空间视频。对于普通镜头形成的全空间视频，由于普通镜头视角比较狭窄，因而要想达到水平360度垂直360度的全角度覆盖，就必须靠相机的数量来弥补，比如，设置6个用于水平摄像的镜头，上下各I个镜头用于垂直摄像。然而，镜头数量的增多即意味着成本的增加，同时使得需要处理的数据量增大，进而影响程序的执行速度，最终导致硬件装置设计和安装的复杂度增大，也不利于量化。
[0006]相对于普通镜头，鱼眼镜头是一种更好的选择。鱼眼镜头的优势在于其广角性，SP视野角度比普通镜头要大很多，甚至超过180度。然而，如图1、图2所示，鱼眼镜头成像在远离图像中心时发生的扭曲现象，使得其在映射成正常视角图时的清晰度很难保证。因此，选择合适视野角度的鱼眼镜头是设计全空间视频的关键之一。
【发明内容】
[0007]鉴于上述情况，本发明提供一种全空间摄像机外参标定及全空间视频拼接方法，以解决了现有技术中采用普通镜头导致硬件装置设计和安装的复杂、不易量化，以及采用鱼眼镜头时，其映射成正常视角图的清晰度难以保证的技术问题，并提供一种能够准确快速地标定全空间相机的外参以及快速准确地拼接出全空间图像且可量化的全空间摄像机外参标定及全空间视频拼接方法。
[0008]为实现上述目的，本发明采取的技术方案是:
[0009]—种全空间摄像机外参标定及全空间视频拼接方法，其特征在于所述摄像机具有四个以上的鱼眼镜头，且所述摄像机的查看模式具有全空间模式和视角模式，其中，所述方法步骤包括:
[0010]对所述摄像机进行全空间拍摄的视频进行外参标定，以获得外参值;所述标定内容包括每个鱼眼镜头的水平角度、俯仰角度、自旋角度；
[0011]为每个鱼眼镜头建立相应的局部经玮表，并结合所述外参值合并出全局经玮表，使得空间中每一点都能找到其对应于相机原图的两个坐标位置以及相应权重；
[0012]所述摄像机在全空间模式和视角模式两种查看模式下，分别建立相应的视图表，使得视图中每一点通过是视图表可以快速地映射到其对应的两个相机原图位置以及相应权重，再通过加权求和以计算出其颜色值；
[0013]所述摄像机根据所述视图表至相应鱼眼镜头位置读取颜色值，以生成全空间视频。
[0014]本发明全空间摄像机外参标定及全空间视频拼接方法的进一步改进在于，所述鱼眼镜头的有效视角范围大于100度。
[0015]本发明全空间摄像机外参标定及全空间视频拼接方法的进一步改进在于，所述方法采用棋盘格标定法结合梯度下降法标定全空间摄像机中每个鱼眼镜头的外参值;所述外参值标定方法步骤包括:
[0016](I)放置棋盘格并录下视频；
[0017](2)播放视频并抓取鱼眼图像；
[0018](3)设置外参初值将鱼眼图转换为经玮图；
[0019](4)寻找棋盘格角点位置并配对；
[0020](5)反映射角点到鱼眼图；
[0021](6)映射鱼眼图角点并计算迭代误差；
[0022](7)如果本次误差和上次误差的差的绝对值小于给定阈值则继续往下执行步骤
(8);否则根据误差修改外参值，然后跳到步骤(6)继续执行；
[0023](8)迭代步骤(6)、(7)，其最终获得的收敛值，即所述摄像机的外参值。
[0024]本发明全空间摄像机外参标定及全空间视频拼接方法的进一步改进在于，在局部经玮表合成全局经玮表的过程中，对于两个相邻鱼眼镜头重叠图像中心附近的点，根据其距离两个鱼眼镜头图像中心位置的远近不同设置不同的权重，以有效地消除拼接缝隙。对于远离两个相邻鱼眼镜头重叠图像中心附近的点，其最接近的鱼眼镜头权重设为I，其余权重为O，用以保证全空间图像的清晰度。
[0025]本发明全空间摄像机外参标定及全空间视频拼接方法的进一步改进在于，所述摄像机的查看模式为全空间模式时，所述视图表的建立步骤包括:所述摄像机的查看模式为全空间模式时，所述视图表的建立是依据视图窗口的大小，和全局经玮表之间建立一个伸缩变换，令视图与全局经玮表之间的点建立映射关系。
[0026]本发明全空间摄像机外参标定及全空间视频拼接方法的进一步改进在于，所述摄像机的查看模式为视角模式时，所述视图表的建立步骤包括:建立视角图上的点和视角方向上单位球切面上的点的映射关系;经由所述全局经玮表中视角方向上单位球切面上的点和原始图像上的点的映射关系，获得视角图上的点和原始图像上的点的映射关系。
[0027]本发明全空间摄像机外参标定及全空间视频拼接方法的进一步改进在于，所述摄像机具有用于定位安装在摄影空间内的安装支架，所述安装支架底端连接一封装外壳，所述封装外壳周侧开设有四个安装口，用以设置镜头进行摄像，且所述封装外壳内部设有处理部件与所述镜头连接，所述处理部件用以接收处理镜头采集的图像或视频流再输出至服务器及客户端。
[0028]本发明全空间摄像机外参标定及全空间视频拼接方法的进一步改进在于，所述摄像机的镜头与处理部件连接，所述处理部件并与服务器端通信连接;所述服务器用以将镜头采集获得的图像/视频等在服务器端实现所有相关运算及储存;所述客户端与所述服务器连接，并通过使用者操作界面对储存在服务器的图像/视频资料进行全空间图像的查看、查看模式切换、拖动鼠标转换视角以及滚动鼠标轮对图像进行缩放操作。
[0029]本发明全空间摄像机外参标定及全空间视频拼接方法的进一步改进在于，所述摄像机为网络硬盘录像机，用以进行视频回放。
[0030]本发明全空间摄像机外参标定及全空间视频拼接方法的进一步改进在于，所述摄像机的镜头在采集视频帧后，于输出时插入输出时间戳至所述图像，用以保证非实时调用视频数据时不同摄像头的视频在时间上的一致性。
【附图说明】
[0031]图1是现有鱼眼摄像机的拍摄示意图。
[0032]图2是由图1所示鱼眼图拼合所得的全空间图像。
[0033]图3是本发明将四个鱼眼镜头集合摄像机的外观示意图
[0034]图4是本发明摄像机的三轴旋转角度示意图。
[0035]图5是本发明全空间视频生成方法流程图。
[0036]图6是本发明摄像机标定过程流程图。
[0037]图7是本发明方法中显示于客户端的程序主界面。
[0038]附图标记与部件的对应关系如下:
[0039]摄像机10;安装支架11;封装外壳12;安装口13;镜头14;处理部件15;X轴;Y轴;Z轴；步骤201?208 ；步骤301?311。
【具体实施方式】
[0040]为利于对本发明的了解，以下请参阅图3至图7，说明本发明提供的一种全空间摄像机外参标定及全空间视频拼接方法的具体实施例。
[0041]本发明全空间摄像机如图3所示，所述摄像机10包括了用于定位安装在摄影空间内的安装支架U，所述安装支架11底端连接一封装外壳12，所述封装外壳12周侧开设有四个安装口 13，用以设置镜头14进行摄像，且所述封装外壳12内部设有处理部件15与所述镜头14连接，用以接收处理镜头14采集的图像或视频流再输出至其他设备。
[0042]于本实施例中，所述摄像机10至少设有四个鱼眼镜头14，且较佳是如图3在同一水平面上安装4个180度视角的鱼眼镜头进行摄像，其中任意相邻两个摄像镜头14之间的角度为90度。其中，本发明采用的鱼眼镜头14的有效视角必须大于100度，以使相邻两种鱼眼图片所拍摄的景物之间有足够大的部分重叠，便于执行棋盘格标定法，使棋盘格能分别完整地落到相邻两个鱼眼摄像机的视频中，同时为无缝拼合提供可能性。如图4所示，所述摄像机10的水平角度、俯仰角度、旋转角度是沿X轴、Y轴及Z轴旋转达成。
[0043]本发明全空间摄像机外参标定及全空间视频拼接方法是采用服务器/客户端模式;具体地，所述服务器可以是计算机设备并与所述摄像机10的处理部件15连接，用以将镜头14采集获得的图像/视频等在服务器端实现所有相关运算及储存;所述客户端主要与所述服务器连接，并通过如图7所示界面，对储存在服务器的图像/视频资料进行全空间图像的查看操作，并可以进行查看模式切换、拖动鼠标转换视角、滚动鼠标轮对图像进行缩放等功能。
[0044]此外，本发明摄像机10的镜头14在采集视频帧后，于输出时插入输出时间戳至所述图像，用以保证非实时调用视频数据时不同摄像头的视频在时间上的一致性。
[0045]进一步地，本发明摄像机10为网络硬盘录像机，具有NVR同步录像功能(NVR，Network Video Recorder，网络硬盘录像机)，以根据需要进行视频回放。
[0046]本发明所提供一种水平360度及垂直360度的全空间摄像机外参标定及全空间视频拼接方法，如图5所示，所述方法步骤包括了准备步骤201、摄像机外参标定步骤202、为每个摄像机生成局部经玮表步骤203、合成全局经玮表步骤204、根据查看模式生成相应的视图表步骤205、载入四路视频步骤206、生成全空间视频步骤207以及结束步骤208。其中:
[0047]所述摄像机外参标定步骤202，请参阅图6所示，进一步包括了准备步骤301、放置棋盘格并录下视频步骤302、播放视频并抓取鱼眼图像步骤303、设置外参初值将鱼眼图转换为经玮图步骤304、寻找棋盘格角点位置并配对步骤305、反映射角点到鱼眼图步骤306、映射鱼眼图角点并计算迭代误差步骤307、本次误差和上次误差的差的绝对值是否小于给定阈值(0.0001)步骤308、根据误差修改外参值步骤309、获得摄像机的外参值310、结束步骤311。其中:
[0048]所述放置棋盘格并录下视频步骤302，是在任意相邻两个摄像机之间都放置棋盘格录下视频，如此可得到4组共16个视频；
[0049]所述播放视频并抓取鱼眼图像步骤303，是依次播放4组视频，每次播放I组，从4个视频中抓取4次图片，每次同时从4个视频中各抓取I张，这样得到16组共64张图片；
[0050]所述设置外参初值将鱼眼图转换为经玮图步骤304，是设置外参初值，将上面64张图片转换为经玮图；
[0051]所述寻找棋盘格角点位置并配对步骤305，是在上面经玮图上需找棋盘格角点位置，并配对;配对的原则为真实棋盘格上的同一角点在相邻摄像机图像中对应的两点为一对；
[0052]所述反映射角点到鱼眼图步骤306，是反映射角点到鱼眼图，并合并同类角点对，合并的原则为角点分别所属的两个摄像机都相同则为一类；
[0053]所述映射鱼眼图角点并计算迭代误差步骤307，是映射鱼眼图角点到经玮图并计算误差;其中误差的计算方法为，首先计算同一点对的角点在经玮图上Y坐标的差，对所有角点对，计算上述差的平均值即为误差；
[0054]所述本次误差和上次误差的差的绝对值是否小于给定阈值(0.0001)步骤308，是判断本次误差和上次误差的差的绝对值是否小于给定阈值(0.0001)，若是则执行步骤310、311获得摄像机的外参值，结束外参标定;若否则执行根据误差修改外参值步骤309，接着重覆所述映射鱼眼图角点并计算迭代误差步骤307，直到本次误差和上次误差的差的绝对值小于给定阈值，则最终收敛的值即为标定出来的相机外参。
[0055]完成摄像机外参标定步骤202后，接着执行为每个摄像机生成局部经玮表步骤203，所述局部经玮表的值给出了从每个相机的经玮图上的点的位置与其在该相机鱼眼图上对应点位置之间的对应关系，对经玮图上点(i，j)，其对应经玮表上值为(ux，vy)，(ux，vy)的值是通过反映射过程的坐标变换公式得到:
[0056](1)将(;1，]_)转换为球面坐标(11，77)；
[°°57] (2)将球面坐标(xx，yy)转换为直角坐标(xw，yw，zw)；
[0058](3)根据摄像机水平角度和俯仰角度进行角度旋转矫正得到(x，y，z);
[0059](4)根据鱼眼相机成像原理将上面直角坐标转换为像平面中心坐标系坐标(ax，ay);具体如下:
[0060]将点(x，y，z)往xy平面投影，得到入射角Θ，以及水平角度aa，设鱼眼图像有效圆半径为R，像点与像中心距离为r，则
[0061]r = R sin(P0)/sin(03r/2)
[0062]β为镜像映射参数，由实验数据拟合得到，取值为0.57;
[0063]从而有ax = -l-r*cos(aa) ;ay = r*sin(aa)该公式也是由实验数据拟合得到；
[0064](5)根据相机自旋角度对(ax，ay)进行角度旋转矫正，得到(bx，by);
[0065](6)将像平面中心坐标系坐标(bx，by)进行平移变换转换为像平面坐标(ux，Vy);
[0066]接着执行所述合成全局经玮表步骤204。在局部经玮表合成全局经玮表的过程中，实际只需要解决两个问题，一个是每个局部经玮表在全局经玮表中的位置，另一个是相邻摄像机对应局部经玮表在全局经玮表中重叠部分的处理。
[0067]对于第一个问题，由上面相机外参标定过程中，可得到每个相机的水平角度，从而可以计算出任意相邻两个摄像机在全局经玮表上位置的相对偏移量;本发明设定在水平方向上第一个相机局部经玮表的中心位置与全局经玮表的第一列重合，其余相机根据上面相邻两相机的水平相对偏移量即可确定其在全局经玮表中水平位置;在垂直方向上，局部经玮表和全局经玮表相应行对齐即可。
[0068]对于第二个问题，对于两个相邻摄像机重叠图像中心附近的点，根据其距离两个摄像机图像中心位置的远近不同设置不同的权重，可以有效地消除拼接缝隙；对于远离两个相邻摄像机重叠图像中心的点，其最接近的摄像机权重设为I，其余权重为0，这样可以保证全空间图像的清晰度。更具体的权重划分操作如下:对每个相机，过其中心点在全局经玮表中所在列的最上和最下两点，以及该中心点和左边相邻相机的中心点的中点作圆，该圆与全局经玮表的相交部分圆弧，定为该相机的左边界，同样的方法可以计算出该相机的右边界;在计算出所有相机的左右边界后，全局经玮表上点根据其在位置不同，其对应两个相机的权重可按如下方式确定:落在相机i左右边界之间的点，其对应相机i的权重为I，其余相机权重为O;落在相机i左边界左边，同时在相机1-Ι右边界右边的点，设沿该点所在行到相机1-Ι右边界的距离为dl，到相机i的左边界距离为d2，则该点对应相机1-Ι的权重为d2/(dl+d2)，对应相机i的权重为dl/(dl+d2)；
[0069]之后执行所述根据查看模式生成相应的视图表步骤205。本发明全空间摄像机外参标定及全空间视频拼接方法支持两个查看模式:全空间查看模式及视角查看模式，两者对应不同的视图表。
[0070]对于全空间查看模式，其根据查看界面的大小，将全空间经玮表缩放到该界面大小;对于视角查看模式，其查看结果由下面三个因素决定:水平角度alpha、俯仰角beta以及视野角度theta ;视角图像落在垂直于以相机光学中心为球心的单位球沿射线(aIpha、beta)的切平面A上。对于视图表中位置(i，j)，其对应全局经玮表上的位置(px，py)，两者对应关系按如下方式进行计算:
[0071](I)在上面切平面A上以切点为中心、以切平面A与水平面的交线为X轴建立直角坐标系，对于视图表上点(i，j)，计算出其对应切平面上点(X，y)，该点的空间坐标为(X，y，I);
[0072](2)根据(alpha、beta)进行坐标旋转，将点(x，y，l)坐标转换到世界坐标系下坐标(xw,yw,zw)；
[0073](3)将世界坐标(xw，yw，zw)转换成球坐标(xx，yy)；
[0074](4)将球坐标(xx，yy)转换成全局经玮表位置(px，py)；
[0075]最后，通过全局经玮表为桥梁，可以得到视图表中位置(i，j)对应两个相机中位置及相应权重。
[0076]接着执行所述载入四路视频步骤206，于本步骤中，需要注意四路视频的ID需要和标定过程一致。
[0077]最后执行所述生成全空间视频步骤207。经由前述步骤201?206，形成了所述视图表，是以，最终全空间视频或某视角视频只要根据视图表的值去相应摄像机位置读取颜色值即可。需说明的是，视图表中对应鱼眼视频位置是浮点数，其涉及到一个亚像素取值问题，因此本发明采用如下线性插值的方法实现:假设亚像素点P落在A、B、C、D四点组成的小方格中，我们过点P分别做直线平行于两个坐标轴，这样就把小方格ABCD分割成四个小方格，假设四个小方格的面积分别为SA、SB、SC、SD，S = SA+SB+SC+SD，则A、B、C、D四点颜色值的权重依次为 SA/S、SB/S、SC/S、SD/S。
[0078]以上结合附图及实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。
【主权项】
1.一种全空间摄像机外参标定及全空间视频拼接方法，其特征在于所述摄像机具有四 个以上的鱼眼镜头，且所述摄像机的查看模式具有全空间模式和视角模式，其中，所述方法 步骤包括:对所述摄像机进行全空间拍摄的视频进行外参标定，以获得外参值;所述标定内容包 括每个鱼眼镜头的水平角度、俯仰角度、自旋角度；为每个鱼眼镜头建立相应的局部经炜表，并结合所述外参值合并出全局经炜表，使得 空间中每一点都能找到其对应于相机原图的两个坐标位置以及相应权重；所述摄像机在全空间模式和视角模式两种查看模式下，分别建立相应的视图表，使得 视图中每一点通过是视图表可以快速地映射到其对应的两个相机原图位置以及相应权重， 再通过加权求和以计算出其颜色值；所述摄像机根据所述视图表至相应鱼眼镜头位置读取颜色值，以生成全空间视频。2.根据权利要求1所述的全空间摄像机外参标定及全空间视频拼接方法，其特征在于: 所述鱼眼镜头的有效视角范围大于100度。3.根据权利要求1所述的全空间摄像机外参标定及全空间视频拼接方法，其特征在于: 所述方法采用棋盘格标定法结合梯度下降法标定全空间摄像机中每个鱼眼镜头的外参值;所述外参值标定方法步骤包括:(1)放置棋盘格并录下视频；(2)播放视频并抓取鱼眼图像；(3)设置外参初值将鱼眼图转换为经炜图；(4)寻找棋盘格角点位置并配对；(5)反映射角点到鱼眼图；(6)映射鱼眼图角点并计算迭代误差；(7)如果本次误差和上次误差的差的绝对值小于给定阈值则继续往下执行步骤(8);否 则根据误差修改外参值，然后跳到步骤(6)继续执行；(8)迭代步骤(6 )、( 7 )，其最终获得的收敛值，即所述摄像机的外参值。4.根据权利要求1所述的全空间摄像机外参标定及全空间视频拼接方法，其特征在于: 在局部经炜表合成全局经炜表的过程中，对于两个相邻鱼眼镜头重叠图像中心附近的点，根据其距离两个鱼眼镜头图像中心位置的远近不同设置不同的权重;对于远离两个相 邻鱼眼镜头重叠图像中心附近的点，其最接近的鱼眼镜头权重设为1，其余权重为0。5.根据权利要求1所述的全空间摄像机外参标定及全空间视频拼接方法，其特征在于， 所述摄像机的查看模式为全空间模式时，所述视图表的建立方法包括:依据视图窗口的大小，和全局经炜表之间建立一个伸缩变换，令视图与全局经炜表之 间的点建立映射关系。6.根据权利要求1所述的全空间摄像机外参标定及全空间视频拼接方法，其特征在于， 所述摄像机的查看模式为视角模式时，所述视图表的建立步骤包括:建立视角图上的点和视角方向上单位球切面上的点的映射关系；经由所述全局经炜表中视角方向上单位球切面上的点和原始图像上的点的映射关系， 获得视角图上的点和原始图像上的点的映射关系。7.根据权利要求1所述的全空间摄像机外参标定及全空间视频拼接方法，其特征在于:所述摄像机具有用于定位安装在摄影空间内的安装支架，所述安装支架底端连接一封 装外壳，所述封装外壳周侧开设有四个安装口，用以设置镜头进行摄像，且所述封装外壳内 部设有处理部件与所述镜头连接，所述处理部件用以接收处理镜头采集的图像或视频流再 输出至服务器及客户端。8.根据权利要求1所述的全空间摄像机外参标定及全空间视频拼接方法，其特征在于: 所述摄像机的镜头与处理部件连接，所述处理部件并与服务器端通信连接;所述服务器用以将镜头采集获得的图像/视频等在服务器端实现所有相关运算及储存;所述客户端 与所述服务器连接，并通过使用者操作界面对储存在服务器的图像/视频资料进行全空间 图像的查看、查看模式切换、拖动鼠标转换视角以及滚动鼠标轮对图像进行缩放操作。9.根据权利要求1所述的全空间摄像机外参标定及全空间视频拼接方法，其特征在于: 所述摄像机为网络硬盘录像机，用以进行视频回放。10.根据权利要求1所述的全空间摄像机外参标定及全空间视频拼接方法，其特征在 于:所述摄像机的镜头在采集视频帧后，于输出时插入输出时间戳至所述图像，用以保证 非实时调用视频数据时不同摄像头的视频在时间上的一致性。
【文档编号】H04N5/232GK105991929SQ201610466264
【公开日】2016年10月5日
【申请日】2016年6月21日
【发明人】曹江中, 李彦志, 茅庆江, 谢福平
【申请人】浩云科技股份有限公司