一种低空无人机影像无地理编码快速拼接方法
【技术领域】
[0001] 本发明属于视频影像处理和图像处理领域，涉及一种视频帧图像提取技术与图像 自动拼接技术，特别涉及一种无地理编码的低空无人航摄遥感系统视频监控与影像快速拼 接纠正技术。
【背景技术】
[0002] 随着科学技术的进步和社会可持续发展，国民经济建设对国土资源的需求与日俱 增，准确、快速、经济地获取地理信息是实现国土资源科学开发与管理的前提，同时也是实 现数字地球、数字中国战略的首要环节。我国各种地质灾害和其它突发性事件较多，如何快 速准确地获取现场信息，为决策者提供决策依据，是长久以来不断完善和发展的问题。
[0003] 近年来随着科学技术的进步，轻型无人机测绘遥感系统的研制和工程化应用取得 技术突破，尤其是轻小型监测型无人机的发展和完善，使其能够获取更加稳定的视频与图 像，有效补充了传统航摄手段在高分辨率遥感影像获取方面的薄弱环节，完善了我国遥感 数据获取技术体系，成为灵活机动、低成本、高效获取高分辨率遥感数据的重要组成部分， 为应急方面提供了快速及时可靠的决策依据。
[0004] 低空无人航摄遥感系统视频监控与影像快速拼接纠正系统利用低空无人机飞行 平台实时视频影像数据，实现空地视频数据的实时传输、监测与视频数据保存；通过非量测 型摄像机的标定，提取关键帧影像，实现无地理编码关键帧影像的快速拼接，并可结合控制 数据对拼接后的成果影像进行几何纠正。可服务于应急测绘、防灾减灾、国土监测、突发事 件监控、石油部门管线布设及巡查和电力部门线路布设及电力线巡查等领域。
[0005] 国外具有代表性的研宄人员有微软研宄院的Richard Szeliski教授和匹兹堡大 学的Sevket Gumustekin博士等人。Sevket Gumustekin博士主要对消除在固定点旋转摄 像机拍摄自然景物时形成的透视变形，和将捕获的图像拼接为全景图进行了研宄。起主要 的研宄成果是通过标定摄像机来建立成像模型，再利用成像模型将捕获到的图像投影到统 一的高斯球面上，从而获得拼接图像。用这种基于投影模型的方法来完成图像拼接，拼接的 效果好、可靠性高。但是该方法要求对摄像机进行精确的标定，同时要求摄像机透镜本身的 畸变参数引起的图像变形可以忽略不计，这在实际应用中比较难以实现。Szeliski教授又 提出通过迭代求精每幅图像对应的旋转矩阵和摄像机焦距，来实现拼接的方法。这种方法 在一定程度上减少了拍摄图像时对摄像机运动的限制，但计算量却大量增加。
【发明内容】
[0006] 为了克服现有技术的不足，本发明提出了一种低空无人机影像无地理编码快速拼 接技术。
[0007] 本发明技术方案提供一种低空无人机影像无地理编码快速拼接方法，其特征在 于：从视频中提取关键帧影像进行无地理编码的快速拼接生成全景图像，包括以下步骤，
[0008] 步骤1，从视频流中提取关键帧影像，得到所有待拼接的影像；
[0009] 步骤2,对各待拼接的影像分别进行特征点提取，包括建立多尺度空间，构建金字 塔影像，确定关键点位置，剔除不稳定点，确定关键点梯度大小和方向，提取特征描述符；然 后用SUSAN算法对关键点进行筛选，得到最终的特征点；
[0010] 步骤3,将待拼接的影像作为待配准图像，根据相应参考图像和待配准图像分别的 特征点进行特征匹配，包括先用K-D树搜索待配准图像上每个特征点在相应参考图像上的 两个最近邻域特征点，然后通过计算比较最近邻域与次近邻域的比值，基于RANSAC算法筛 选得到最终的匹配点；
[0011] 步骤4,对待拼接的影像采取增益补偿法进行平滑，然后对拼接的重叠区域进行加 权平均值融合消除接缝及锯齿，拼接生成全景图像，
[0012] 采取增益补偿法进行平滑时，利用以下误差方程求取误差e，
[0013]
【主权项】
1. 一种低空无人机影像无地理编码快速拼接方法，其特征在于：从视频中提取关键帧 影像进行无地理编码的快速拼接生成全景图像，包括以下步骤， 步骤1，从视频流中提取关键帧影像，得到所有待拼接的影像； 步骤2,对各待拼接的影像分别进行特征点提取，包括建立多尺度空间，构建金字塔影 像，确定关键点位置，剔除不稳定点，确定关键点梯度大小和方向，提取特征描述符；然后用 SUSAN算法对关键点进行筛选，得到最终的特征点； 步骤3,将待拼接的影像作为待配准图像，根据相应参考图像和待配准图像分别的特征 点进行特征匹配，包括先用K-D树搜索待配准图像上每个特征点在相应参考图像上的两个 最近邻域特征点，然后通过计算比较最近邻域与次近邻域的比值，基于RANSAC算法筛选得 到最终的匹配点； 步骤4,对待拼接的影像采取增益补偿法进行平滑，然后对拼接的重叠区域进行加权平 均值融合消除接缝及锯齿，拼接生成全景图像， 采取增益补偿法进行平滑时，利用以下误差方程求取误差e，
其中，Nu为重叠部分中的像元数，S S 8为常数，gJPh分别为两张影像重叠区域 各像素的增益补偿，^为重叠区域的平均灰度； 进行加权平均值融合时，采用以下公式，
其中，4和匕分别表示两幅待拼接的影像，f表示重合后的影像，x，y为全景图像素坐 标值，Wl(x，y) *?2(x，y)分别表示第一幅影像和第二幅影像中重叠区域对应像素（x，y)的 权值，满足 W1(XJ)+w2 (x，y) = 1，(Kw1(Xj)〈1，0〈w2 (x，y)〈l。
2. 根据权利要求1所述低空无人机影像无地理编码快速拼接方法，其特征在于：权值 采用帽函数确定如下，
其中，widthJP heighti分别表示第i幅影像的宽和高。
3. 根据权利要求2所述低空无人机影像无地理编码快速拼接方法，其特征在于：进行 加权平均值融合时，在进行多幅影像拼接的情况下，设需要对num幅影像进行拼接，采用以 下公式，
其中，fi表示待拼接的影像，k i (X，y)表示第i幅影像中重叠区域对应像素（X，y)归一 化后的的权值，i = 1，2,…，num。
4. 根据权利要求1或2或3所述低空无人机影像无地理编码快速拼接方法，其特征在 于：步骤2中所述确定关键点位置，包括利用尺度空间函数的二次泰勒展开式用最小二乘 法进行拟合，通过拟合计算极值进一步确定关键点的精确位置和尺度，使关键点的最终坐 标和尺度精确到子像素级。
5. 根据权利要求1或2或3所述低空无人机影像无地理编码快速拼接方法，其特征在 于：步骤2中所述剔除不稳定点，包括根据预设阈值进行低对比度点的剔除，以及边缘响应 的去除。
【专利摘要】一种低空无人机影像无地理编码快速拼接方法，从视频中提取关键帧影像进行无地理编码的快速拼接生成全景图像，包括从提取关键帧影像，得到所有待拼接的影像；对各待拼接的影像分别进行特征点提取，包括建立多尺度空间，构建金字塔影像，确定关键点位置，剔除不稳定点，然后用SUSAN算法对关键点进行筛选，得到最终的特征点；根据相应参考图像和待配准图像分别的特征点进行特征匹配，对待拼接的影像采取增益补偿法进行平滑，然后对拼接的重叠区域进行加权平均值融合消除接缝及锯齿，拼接生成全景图像。本发明技术方案可服务于应急测绘、防灾减灾、国土监测、突发事件监控、石油部门管线布设及巡查和电力部门线路布设及电力线巡查等领域。
【IPC分类】G06T3-40
【公开号】CN104820965
【申请号】CN201510219314
【发明人】潘励, 谈家英, 张羽飞
【申请人】武汉大学
【公开日】2015年8月5日
【申请日】2015年4月30日