一种基于六摄像机环视的柱面全景生成装置及方法
【技术领域】
[0001] 本发明涉及图像处理和机器视觉领域，尤其涉及一种基于六摄像机环视的柱面全 景生成装置及方法。
【背景技术】
[0002] 视觉感知是最重要的信息获取方式之一。随着社会的发展，监控领域的需求越来 越高，尤其需要监控一些像机场，火车站，十字路口，商业街等大范围区域，若使用单个摄像 头，由于视野范围小，需要多个监控点协同且需要监控人员不停的切换视频进行观察，但这 样很容易使人疲劳。运用全景成像技术可以获得单视点在周围360度观察方向上的场景信 息，使得观察者能够更快更准确的感知周围场景的变化，比以往传统的监控技术有着很大 进步。
[0003] 获取全景图像的方法有三种：（1)旋转式，由摄像机旋转一周拍摄的一系列图像， 再经过拼接和融合获得全景图像，但旋转需要时间而不能实时监控；（2)反射式，由凹面反 射镜把周围景象反射到摄像机的镜头中，一次性完成180度的成像，但畸变十分严重，不符 合人眼观察规律；（3)拼接式，需要多摄像机呈水平环形放置，同时采集图像，再进行图像 拼接和融合，构建一幅360度环视的全景图像。
[0004] 鱼眼镜头是一种超广角镜头，水平视角可达180度，因此常用鱼眼图像构建全景 视图。但是缺点是鱼眼摄像机的视角越大，畸变越严重，观测范围也就越短，不适用于远距 离的全景监控。相对的，多摄像机合成的全景视图具有较高的分辨率，适合应用于大范围场 景的监控，但是对硬件计算能力和算法的实时性要求较高，多摄像机的装配精度往往对全 景合成成像效果有很大影响。
【发明内容】
[0005] 针对上述问题，本发明提供了一种基于六摄像机环视的柱面全景生成方法及装 置，旨在解决现有全景生成技术方案实时性不高、畸变严重等技术问题。
[0006] 本发明的技术方案由以下部分构成： 1)硬件装置。将6个具有90度水平视角且为固定焦距的鱼眼摄像机，安装在类似正六 棱柱机壳的每一面的中心上，保证6个摄像机水平呈环形均匀放置，且相邻摄像机视野之 间的重叠区域为30度视角范围。
[0007] 2)摄像机标定。采用张正友标定法对6个摄像机进行标定得到相机的内部参数。
[0008] 3)图像采集。同时采集6个摄像机的一幅图像。
[0009] 4)畸变校正。采集到的图像有一定程度的畸变，需要畸变校正处理，本发明采用的 算法是逆向除法模型，将校正和插值算法进行了融合统一，在保证相同校正精度的情况下， 减少了算法运行时间，提高了实时性。
[0010] 5)柱面投影。对6幅经过校正后的图像进行柱面投影，投影到统一的柱面上，投影 角度为90度。
[0011] 6)特征点检测与匹配。经过柱面投影后，对具有重叠区域相邻图像，进行特征点 检测与匹配，采用SIFT特征点检测算法(尺度不变特征转换，Scale-invariant feature transform)，为了减少算法用时，且由于重叠区域大约为图片大小的三分之一，所以确定兴 趣区域为重叠部分所在二分之一图像部分，只对兴趣区域进行特征点检测与匹配。对于高 分辨率的图像，检测出的匹配特征点可能达到超过1000对，耗时较长，因此可以采用金字 塔压缩的方法先对原始图像进行压缩再进行SIFT特征点检测与匹配。
[0012] 7)计算重叠区域大小。为了消除匹配特征点坐标的随机误差和粗大误差，采用平 均值法计算出最佳匹配位置的坐标。由最佳匹配坐标和图片长宽等参数，根据平面几何关 系，可以计算出重叠区域的宽度r，和上下平移参数_r。
[0013] 8)图像拼接。传统拼接方式是由匹配特征点来计算平移参数，将两幅图像统一到 同一坐标系下，进行平移拼接，再对重合区域进行融合。本发明采用的是基于特征点匹配确 定融合区域的拼接算法，可以一次性完成融合和拼接两个步骤。
[0014] 9)图像融合。为了解决因拍摄角度不同引起的曝光差异问题，必须要进行图像融 合，本发明采用了渐入渐出的融合方法，实现了公共区域融合的平滑过渡，得到过渡自然的 柱面全景图像。
[0015] 10)全景显示。最后利用循环对六幅图片完成柱面全景合成，对单幅360度柱面全 景图像，可以通过平面显示设备如显示器、投影仪显示出来。
[0016] 本发明的技术方案是这样实现的： 步骤一：摄像机的标定； 采用张正友标定法对6个90度鱼眼相机进行标定，得到相机的内参矩阵，尽管是6个 同一型号的摄像机，但是由于光学元件的差异和装配精度不足等问题，会造成摄像机内部 参数不尽相同，所以必须对6个相机进行标定，为后续的畸变校正处理提供必要的内部参 数。
[0017] 步骤二：图像采集； 通过六摄像机的环视装置开始采集图像。把同一时刻采集到的图像传输到计算机中进 行下一步处理。
[0018] 步骤三：畸变校正处理； 对采集来的六幅图像进行畸变校正处理，建立基于向后映射法的除法模型，该模型用 来描述第一次校正图像中的像素点到第一次校正图像中心的距离与校正图像中的像素点 与校正图像中心的距离的线性关系，该模型的输入为第一次校正图像中像素点的坐标，该 模型的输出为基于向后映射法的除法模型的校正算子。经过校正后的图像，消除了桶形畸 变，更符合人眼观察的视觉效果，同时能够提高拼接效果，避免出现重影问题。
[0019] 步骤四：对六幅校正后的图像进行柱面投影； 柱面全景图是将通过把多摄像机环形采集的图像投影到柱面坐标下，在对得到的图像 进行柱面投影变换，得到在同一坐标空间的图像序列。柱面全景图的产生和显示都比较简 单，还可以实现水平360度的视觉浏览。而且柱面全景图展开是一个矩形图像，可以直接存 储在计算机上。
[0020] 步骤五：特征点检测与匹配； 对经柱面投影后的两幅具有重叠区域的图像进行SIFT特征点检测与匹配，主要计算 步骤为：（1)构建尺度空间；（2)尺度空间极值检测；（3)关键点的定位；（4)确定关键点的 方向；（5)生成特征点描述子；（6)匹配关键点。
[0021] 在经典算法中，SITF算法是遍历了整个图像，是对全局进行检测，相对特征点的 数量就较多，运算量也很大，速度就慢。这是因为提取SIFT特征是在多尺度空间完成的， 还要需要和高斯核进行多次卷积，而且为了产生精确的特征描述符，还需要对直方图进行 多次加权运算。而且，为了增加算法的鲁棒性，算法还要检测尽可能多的关键点，这也给拼 接算法带来了很大的负担，降低了运算速率。为了降低消耗的时间，采用了如下的方法 ： 从图像拍摄数量知道相邻两幅图像的旋转角度60°，重合30°，通过第一幅图像的右半 部分和第二幅图像的左半部分进行SIFT特征点的提取，搜索。此时，程序在检测特征点时 就避免了在非重合区域进行特征点的提取，有效的节省了图像的拼接时间，从而提高实时 性。对于高分辨率的图像，还可以进行金字塔压缩，再进行检测。这种改进是可行的，在不 影响算法精度的条件下节约了算法的匹配时间。
[0022] 步骤六：对两幅图像进行拼接； 采用基于特征点匹配确定融合区域的图像拼接方法，主要步骤如下： 1)由步骤四得到的两幅图像中匹配的SIFT特征点坐标