一种全景图生成方法
【专利摘要】一种全景图生成方法，步骤为：(1)针对同一区域，获得基准图像和待配准图像；(2)对于两幅图像分别形成像素特征值序列；(3)分别选取两个序列中的前M个像素点作为特征点；(4)针对两组特征点进行特征匹配，得到匹配点对序列；(5)利用匹配点对序列，构建仿射映射关系，得到变换后待配准图像；(6)对两幅图像的共有区域进行融合，得到针对同一区域的球面全景图；(7)将球面全景图从球面坐标系变换到展开后的平面坐标系，生成全景图。本发明方法整体流程简单、速度快，在镜头俯仰角度未知、旋转角度未知的情况下可完成高精度、畸变小的全景图生成，并可将全景图从球面转换到平面，方便用户观看。
【专利说明】一种全景图生成方法
【技术领域】
[0001] 本发明涉及一种图像处理方法。
【背景技术】
[0002] 采用单一镜头对周围环境拍照，受视场大小限制，难以反映周围全景概况。针对这 种情况，需要对周围场景的若干幅图像进行拼接，形成周围的全景图像，方便用户感知周围 地形地貌或场景的概况。对汽车等用户而言，基于该技术的多摄像头记录仪可以对汽车周 围360度全景无缝监控。对于月球车而言，周围全景图变得尤为重要，可以指导月球车的行 走，避免驶入月球坑及撞上岩石。对普通家庭用户而言，采用多摄像头配合使用，可以对家 庭实现360度全景无缝监控。由于生成的图像为周围全景图像，在计算机、电视等媒介上回 放时无需传统的多个显示窗口，拼接后的视频内容在同一个窗口内拼接后回放，具有观看 简洁、清晰、震撼的效果。
[0003] 传统方法使用特征点邻域灰度互相关法进行特征点匹配，运用优化算法估计图像 间的点变换关系，最后采用颜色插值对交接处进行颜色过渡来形成全景图。例如2004年第 9期《中国图像图形学报》上的文献"一种全自动稳健的图像拼接融合算法"使用了 LM优化 算法估计图像间的点变换关系；2013年第5期《计算机辅助设计与图形学学报》上的文献 "基于旋转采集Data Matrix码序列图像拼接方法"使用了对拼接区域分块、对不同块区域 进行颜色融合的方法。这些方法的不足之处在于计算复杂，难以满足实时性的要求；其次方 法仅考虑了摄像角度水平情况下的拼接，此种情况的拼接为柱面拼接，相对只有一个平移 量，比较简单，对于镜头存在俯仰等情况，拼接出来的图像为球面图像，需要将球面图像转 换到柱面图像，以进行更客观的展示。
【发明内容】
[0004] 本发明解决的技术问题是：克服现有技术的不足，提供了一种拼接精度高、图像 畸变小、重叠区域柔和过渡、拼接速度快的全景图生成方法，针对镜头任何角度的俯仰和旋 转、不同视角的不同曝光，均能完成全景图的生成，对拼接过渡区域能柔和展现，适用于月 球车、汽车记录仪、家用监控等图像处理领域。
[0005] 本发明的技术解决方案是：一种全景图生成方法，包括如下步骤：
[0006] (1)针对同一区域，采用同一相机以不同的角度先后获取两幅图像，其中一幅为基 准图像，另一幅为待配准图像；所述的基准图像和待配准图像中存在部分重叠的影像，称为 共有区域；
[0007] (2)对于基准图像，分别计算每一个像素点和其附近的N个像素点之间的灰度值 差值，将计算得到的针对同一像素点的N个灰度差值求和作为该像素点的特征值，将所有 像素点按照特征值由大到小的顺序进行排序，形成基准图像像素特征值序列；对于待配准 图像，执行相同的操作，形成待配准图像像素特征值序列，其中N为不小于5的正整数；
[0008] (3)在基准图像像素特征值序列中选择前M个像素点作为基准图像特征点，在待 配准图像像素特征值序列中选择前M个像素点作为待配准图像特征点，M为不小于500的 正整数；
[0009] (4)选取一个基准图像特征点，然后选取与该基准图像特征点的特征值最接近和 次接近的两个待配准图像特征点，如果特征值最接近的待配准图像特征点的特征值DFMin 与次接近的待配准图像特征点的特征值Ds%Min的比值不大于预先设定的匹配阈值，则将选 取的基准图像特征点与特征值最接近的待配准图像特征点作为一个匹配点对；遍历所有的 基准图像特征点，执行同样的操作，形成匹配点对序列；
[0010] (5)利用步骤（4)得到的匹配点对序列，构建仿射映射关系，通过构建的仿射映射 关系，得到基准图像与待配准图像的共有区域及两幅图像之间的图像变换关系；
[0011] (6)对两幅图像的共有区域进行拼接融合，融合后共有区域的每个像素点的像素 值为：
【权利要求】
1. 一种全景图生成方法，其特征在于包括如下步骤： (1) 针对同一区域，采用同一相机以不同的角度先后获取两幅图像，其中一幅为基准图 像，另一幅为待配准图像；所述的基准图像和待配准图像中存在部分重叠的影像，称为共有 区域； (2) 对于基准图像，分别计算每一个像素点和其附近的N个像素点之间的灰度值差值， 将计算得到的针对同一像素点的N个灰度差值求和作为该像素点的特征值，将所有像素点 按照特征值由大到小的顺序进行排序，形成基准图像像素特征值序列；对于待配准图像，执 行相同的操作，形成待配准图像像素特征值序列，其中N为不小于5的正整数； (3) 在基准图像像素特征值序列中选择前M个像素点作为基准图像特征点，在待配准 图像像素特征值序列中选择前M个像素点作为待配准图像特征点，M为不小于500的正整 数； (4) 选取一个基准图像特征点，然后选取与该基准图像特征点的特征值最接近和次接 近的两个待配准图像特征点，如果特征值最接近的待配准图像特征点的特征值DFMin与次 接近的待配准图像特征点的特征值Dsecffin的比值不大于预先设定的匹配阈值，则将选取的 基准图像特征点与特征值最接近的待配准图像特征点作为一个匹配点对；遍历所有的基准 图像特征点，执行同样的操作，形成匹配点对序列； (5) 利用步骤（4)得到的匹配点对序列，构建仿射映射关系，通过构建的仿射映射关 系，得到基准图像与待配准图像的共有区域及两幅图像之间的图像变换关系； (6) 对两幅图像的共有区域进行拼接融合，融合后共有区域的每个像素点的像素值 为：
(7) 重复步骤（1)?￠)，直到拼接融合完针对同一区域的所有图像，由此得到针对同 一区域的球面全景图； (8) 将所述球面全景图从球面坐标系变换到展开后的平面坐标系，生成全景图，其中变 换公式为：
其中V，/为平面坐标系下像素点的坐标，x、y为球面图像坐标系下像素点的坐标，α为相机镜头的俯仰角，R为像素点对应的目标点到相机镜头的距离。
2. 根据权利要求1所述的一种全景图生成方法，其特征在于：所述N的取值为8。
3. 根据权利要求1所述的一种全景图生成方法，其特征在于：所述M的取值为500。
4. 根据权利要求1所述的一种全景图生成方法，其特征在于：所述的匹配阈值范围为 1. 2 ?4。
【文档编号】G06T3/00GK104463778SQ201410645293
【公开日】2015年3月25日 申请日期:2014年11月6日 优先权日:2014年11月6日
【发明者】刘达, 王立, 梁潇, 周建涛, 刘鲁, 吴奋陟, 李春艳, 张洪华, 陈建新 申请人:北京控制工程研究所