一种基于六摄像机环视的柱面全景生成装置及方法_2

文档序号:9728028阅读:来源:国知局
,用平均值法计算出最佳匹配 点的坐标,通过这个坐标和相关平面几何关系,计算出重叠区域的宽度r,和上下平移参数
[0023] 2)由重叠区域宽度々,把待拼接的两幅图像分成A图与B图不重叠的部分,和A、B 图的重叠部分,融合后四个区域变成三个区域,也就同时进行融合和拼接。
[0024] 步骤七:对重叠区域进行图像融合; 采用渐入渐出的融合方法,完成拼缝的过渡融合,形成过渡自然的拼接图像。
[0025] 步骤八:循环处理与全景显示; 完成两幅具有重叠区域的图像完成配准拼接和融合过后,作为待拼接图像之一,再与 下一幅图像进行配准拼接融合,当完成六幅图像的拼接后就可以形成一幅具有360度视角 的环状柱面全景视图,显示部分用简单的平面显示法,显示设备为平面显示器。
[0026] 本发明提出的一种基于六摄像机环视的柱面全景生成方法,是一种新颖的基于多 摄像机环视的拼接式全景生成方法。在畸变校正、特征点检测、图像拼接算法方面,进行了 相关改进,适合本发明的使用;尤其采用了一种基于点匹配确定融合区域的拼接算法,同时 完成融合和拼接,提高了实时性,为全景视频的生成提供了可能。也为使用者提供了一幅高 分辨率、具有360度视野的自然全景图像,更符合人眼的观察规律,避免对多个摄像机的监 控画面进行切换,减轻了人的工作量。
【附图说明】
[0027] 图1为六摄像机环视装置的示意图; 图2为模块组成示意图; 图3为柱面全景图像生成方法实施步骤图; 图4为本发明的180度鱼眼图像经过逆向除法畸变校正算法处理后的效果图,左图为 鱼眼摄像相机拍摄的原始图像,右图为校正后的图像; 图5为本发明的柱面投影示意图; 图6为柱面投影7K意图的侧视图与俯视图; 图7为本发明的SIFT特征点检测算法中高斯差分构建尺度空间的示意图; 图8为本发明的SIFT特征点检测算法中检测空间极值的示意图; 图9为本发明的SIFT特征点检测算法中生成特征点描述子的示意图; 图10为本发明的由最佳匹配坐标计算重叠区域宽度r与上下平移参数崩示意图; 图11为本发明的基于点匹配确定融合区域拼接算法的操作示意图。
【具体实施方式】
[0028] 下面结合附图对本发明的【具体实施方式】进行详细说明。
[0029] 本发明的实施方式的软件环境为windows 7系统,仿真环境为MATLAB R2012b,处 理器为酷睿i5_3230。
[0030] 本发明的六摄像机环视的柱面全景生成装置与方法,用于采集图像的装置如图1 所示:将六个具有90度水平视角且焦距固定的鱼眼摄像机,安装在类似正六棱柱机壳的每 一面的中心上,使六个摄像机水平呈环形均匀放置,保证摄像机的光轴在一个水平高度上, 且相邻摄像机视野之间的重叠区域为30度视角范围。
[0031] 本发明的柱面全景生成方法框架,如图3所示,具体实施步骤如下: 步骤1 :由于畸变校正中需要用要摄像机的内部参数,所以要提前进行摄像机的标定。 本发明中采用经典的张正友平面棋盘标定法,首先制作了黑白棋盘标定版,用摄像机从不 同角度拍摄标定板得到一系列图像,再使用MATLAB标定工具箱calibration_v24进行处 理,对每个获得的图像提取图像上网格的角点;由标定板与图像棋盘角点的对应关系,就可 确定一个单应性矩阵,这样就能够进行摄像机定标,求出相应的内参矩阵H。对其中一个鱼 眼摄像机(分辨率为720*480)进行相机标定后得到的内参矩阵如下:
式中:1??丨表示主点坐标,即图像坐标系原点在像素坐标系下的坐标表示; ?^:条 称为像素尺寸因子,分别表示每一个像素在与方向上的物理尺寸;/为镜头焦距。
[0032] 步骤2:图像采集; 通过六摄像机的环视装置开始采集图像。用多路图像采集卡,把同一时刻采集到的图 像传输到计算机中进行下一步处理。
[0033] 步骤3 :畸变校正处理; 逆向模型是在正向校正模型的基础上改进的。正向模型校正方法,即对源图像的坐标 进行映射变换求出对应的目标图像的坐标后,将源图像坐标处的像素属性复制到目标图像 坐标处,正向模型算法带来的直接结果是需要对校正后的图像进行插值处理。正向除法校 正模型的表达式为: (2) 式中:/)代表理想图像中某一点的坐标向量,表示畸变图像中某一点的坐标向量,分 母中的|·|Ρ表示畸变图像中某一点距离畸变中心的距离,Z表示待求参数,决定着对畸 变曲线的拟合精度。
[0034] 根据逆向求解的基本思想,可以对除法模型公式(2)进行变形得到(3):
(3) 假设校正前后主点坐标和物理尺寸因子是相等,逆向求解表达式(3)可以得到最终的 模型表达式(4):
(4) 式中:校正前后像素坐标系下对应点为||:_^和|__,物理坐标系下为_:_和 ,距离轴心的距离为~_和~,像素尺寸因子为》_:。
[0035] 这种方法运用了用逆向思维对鱼眼图像进行校正,避免了插值处理,提高了运行 速度。在MATLAB上做了逆向除法校正的仿真实验,效果如图4所示。
[0036] 步骤4 :柱面投影处理; 在图像拼接过程中,直接对环形拍摄的图像序列进行拼接,会破坏实际景物的结构特 性,为了解决这一问题,需要对原始图像进行投影处理。为保证实际景象在视觉上保持连贯 性,需要图像都投影到同一平面下,相比立方体和球面投影,柱面投影简单且便于显示与储 存,因此采用柱面投影方法。柱面投影是将空间看作一个圆柱体,将图像投影到柱面坐标系 下。首先确定柱面投影的两个参数投影焦距沒P单幅投影角度
式中:/为相机的像素焦距;〃为单幅投影角度,由环绕一周拍摄的图像数量Λ和重 合度^7决定。
[0037] 投影算法是一种数学运算,在图像变换时,坐标可能是非整数,而图像中的坐标 只能定义在整数上,所以必须有取整预算。一般有向前映射法(像素移交)和向后映射法(像 素填充)。本发明使用的是,向后映射的方法。柱面投影变换的核心是投影变换公式,将图 像平面点坐标映射到柱面坐标变换公式为:
[0038] 其中表示投影后的像素坐标,表示原图的像素坐标;0表示投 影角,K /?示原始图像的像素长宽大小。本发明使用6个水平视角为90度的摄像机,分 辨率为720*480,重叠视角为30度。重叠度为三分之一,根据公式(5)计算出柱面投影的焦 距/与单幅投影角度〃。再根据公式(6)的像素映射关系,完成六幅图像的柱面投影。
[0039] 步骤5 :SIFT特征点的检测与匹配; SIFT算子是David G. Lowe于1999年提出的一种基于图像局部特征的描述子。SIFT 特征点对于图像的尺度和旋转保持不变性,对于光照和3D视角的变化也能保持一定的稳 定性,而且由于在立体和频域空间被很好的局部化,故而降低了噪声干扰的可能性。以下是 SIFT特征点检测与匹配的主要计算步骤。
[0040] 1)构建尺度空间: 构建尺度空间的目的是检测对于图像的尺度变化具有不变性的位置,可以使用尺度的 连续函数也就是尺度空间在所有可能的尺度中寻找稳定的特征。假设尺度空间内核是高斯 函数。因此,若为输入图像,是尺度可变高斯函数,则一个图像的尺度空间被 定义为函数,则有:
(7)
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1