一种基于动态匹配的无人机遥感影像快速拼接技术的制作方法
【技术领域】
[0001]本发明基于对RGB与HSI颜色空间的特性分析，提出一种根据颜色的色度和饱和度特征来度量象素颜色相似性的方法，同时提出了一种用于彩色图像匹配中的特征模板提取方法，最终实现无人机遥感影像的快速无缝拼接。
【背景技术】
[0002]无人机即无人驾驶飞机，是一种由无线电遥控设备或自身程序控制装置操纵的无人驾驶飞行器。无人机上一般装备有自动驾驶仪、程序控制系统、遥控与遥测系统、自动导航系统、自动着陆系统等，通过这些系统实现远距离控制飞行。20世纪80年代以来，随着计算机技术、通讯技术以及传感器技术的迅速发展口无人机的性能得到不断提高，任务载荷和续航时间大大提升，这使得无人机的应用范围和应用领域得到迅速扩展。目前世界范围内各种性能指标的无人机类型己达数百种，被广泛的应用于航空摄影测量、全球气候变化、水利、减灾救灾等非军事领域。
[0003]作为一种特殊的飞行载体，无人机多在某一局部地区完成监测任务，特殊目的下需要对地面目标进行实时跟踪飞行，需要低空、盘旋飞行，飞行姿态多变，飞机与地面景物之间的相对运动显著，成像载荷获得的图像产生着较大的畸变和直线、旋转运动模糊。受特殊天气和光照、相机离焦等因素的影响，获取的遥感图像会出现对比度低、模糊甚至遮挡现象。图像质量的降低，不仅使地面人员无法清晰观察地面情况，更不利于图像的后续处理与分析，如目标跟踪和定位等。随着无人机飞行速度、遥感图像的分辨率、数据采样频率和通讯频带宽度的不断提高，海量遥感图像数据的自动、高速、高质量的实时处理己成为急需解决的关键冋题。
[0004]由于无人机特殊的飞行特性和对图像监控系统的特殊功能、性能要求，在无人机遥感图像监控系统的构建和实现上都存在着很多需要进一步研究和解决的问题，对图像的实时处理和分析这一研究领域带来了一项艰巨挑战。针对实时图像处理的客观迫切要求，20世纪70年代以来，国际上逐渐将数字图像处理技术的研究重点同时放在实时图像处理技术上，这是因为对动态图像只有在实时处理时才更有实际应用价值。根据无人机实时图像处理分析的要求，目前无人机实时图像处理技术主要是指基于动态匹配技术的无人机遥感影像快速拼接，由于真彩色图像由于具有更为丰富的可视化信息，如何提高拼接算法的效率也是需要特别考虑的问题。国内的武汉大学和解放军测绘工程学院对该技术均有研究，主要应用方向为巡航弹的地理位置精确匹配，可将该技术用于无人机实时图像处理分析。
【发明内容】
[0005]彩色图像由于具有更为丰富的可视化信息，因此也得到了更为广泛的应用。彩色图像中像素颜色通常需要由3维颜色空间向量来表示，因此与灰度图像相比，在图像的表达方式和处理方法存在着较大差异，使得彩色图像拼接具有更大的难度。以往的彩色图像拼接方法大多首先将彩色图像变换为灰度图像，然后采用灰度图像拼接的方法进行匹配计算。由于在彩色与灰度图像变换过程中，必然会丢失大量有用的颜色信息，因此难以得到理想的拼接处理结果。彩色图像平滑过程中可以通过对图像的拼接缝作各种颜色过渡处理，但由于图像整体上存在着颜色差异，使平滑后的图像很难保证整体上的颜色一致性。人眼对于彩色具有更高的敏感程度，彩色图像平滑也同样成为图像拼接中的另一个关键技术环节。由于彩色图像数据量更大，如何提高拼接算法的效率也是需要特别考虑的问题。
[0006]基于对RGB与HSI颜色空间的特性分析，提出一种根据颜色的色度和饱和度特征来度量象素颜色相似性的方法，同时提出了一种用于彩色图像匹配中的特征模板提取方法。通过待拼接的两幅彩色图像之间的重叠区域亮度关系分析，建立了图像之间的亮度变化函数，全局化地调整两幅图像之间的颜色差异，消除拼接缝，增强视觉效果。
【附图说明】
[0007]图1是无人机航空遥感影像动态拼接流程图。
【具体实施方式】
[0008]1.相邻影像拼接
[0009](1)颜色空间变换
[0010]颜色空间是颜色的空间表达形式，包括多种类型，例如RGB，HSI和YUV等颜色空间把抽象的、主观的视觉感受具体化为三维空间中的位置或向量，使各种彩色图像、彩色设备的颜色特性都能实现可视化，成为颜色研究的重要工具。
[0011]为了克服RGB颜色空间的不均匀和不直观的缺点，在彩色图像处理中大多采用颜色空间变换方法，将RGB颜色空间转换为其它的更为符合颜色视觉特性的颜色空间，再做进一步的处理，并将处理后的结果重新转换为RGB颜色空间。颜色空间的转换过程需要进行大量的计算，对彩色图像处理的实时性有较大的影响。
[0012](2)色差计算
[0013]通过计算R，G，B三种颜色值，判定两种颜色的色度和饱和度是近似相等的。由于色度、饱和度和亮度三个颜色分量中，色度和饱和度决定了颜色的主要类别，可取以上三项的和值作为度量两种颜色色差大小的变量。
[0014](3)彩色图像匹配
[0015]a.特征模板提取
[0016]图像拼接要求待拼接的相邻2幅图像边界必须存在重叠区域，重叠区域具有相同的景物内容。特征模板是指在一幅图像的重叠区域中搜索到的，可进行有效图像匹配计算的图像区域。一般说来，图像模板的选择要满足两条原则:特征模板的尺寸选择不宜过大，尽管大尺寸的特征模板可提高匹配计算的精度，但会使匹配过程所需的计算量也急剧增加；另外，要求特征模板中的图像灰度或颜色信息较为丰富，以保证匹配计算的准确性。因此，特征模板的选择在图像匹配计算中较重要。对于彩色图像来说，合理的特征模板所在的图像区域应包含更多类别的颜色，具有更多的图像纹理或边缘。具体来说，要求特征模板中的像素颜色在RGB颜色空间内较为离散地分布，颜色与颜色之间具有较小的相关性。为了在图像重叠区域中，搜索得到颜色分布合理的特征模板，这里引入多维数据的数字特征分析及相关矩阵计算，以实现有效的后续匹配运算。
[0017]b.匹配搜索策略
[0018]以特征模板为基准，在待拼接地图像重叠区域中，采用颜色色差度量方法进行匹配计算，记录所有匹配位置处的模板总体颜色相似度量数值，取其中最小的匹配位置为最佳匹配位置。
[0019](4)彩色图像平滑
[0020]由于人眼对于彩色信息更为敏感，彩色图像拼接中拼接缝或图像整体颜色的不协调将使图像的视觉效果受到影响，因此彩色图像拼接中图像颜色平滑的问题更为突出。常用的图像颜色平滑方法包括基于图像直方图、基于图像信息熵、基于相邻图像方差、均值的色调调整方法等。这些方法都是以相邻图像之间的重叠区域或相邻图像之间拼接缝为基础，通过颜色的平滑过渡来消除人为的假边缘和拼接缝。在相邻图像重叠区域较大的情况下，对于两幅相邻图像拼接缝的消除都有一定的效果，但无法真正消除大幅面图像的颜色差异。从根本解决这类问题的方法应是以一幅图像为基准，通过建立序列图像之间的颜色变换关系，全局调整其它整幅图像的颜色分布，使合成的大幅面图像颜色协调一致。前述的匹配运算是以色度和饱和度为标准来实现，可保证匹配后的两幅图像对应的像素色度和饱和度的一致性，但无法保证其亮度的一致性，因此需要对亮度上可能存在的差异进行调整，从而实现两幅图像颜色的一致性。以最小二乘方法为数学工具，通过引入伽马校正，建立图像之间的亮度变换函数，实现图像的亮度平滑。
[0021]2.无人机影像的自动空中三角测量
[0022]由于操控特性及受风力等的影响，无人机遥感平台没有航空或航天摄影平台的稳定性，相邻影像间很可能存在很大的旋转角和重叠度变化，使得影像匹配时初始视差的确定和同名点的搜索变得非常困难，传统的影像匹配方法根本无法获得准确可靠的同名点。因此需要突破无人机遥感影像的自动数据整理，无P0S情况下基于多种特征的智能匹配、大旋角单航带应急摄影航空影像的智能匹配等关键技术，并采用多基线立体影像匹配、金字塔匹配等策略提高匹配成功率。
[0023]3.非常规摄影的无人机影像的区域网平差
[0024]无人机数码影像的整体区域网平差是保证最终成果精度的最重要手段。无人机遥感影像的航向和旁向重叠度一般较大，理论上不仅可以提高整体平差的精度和可靠性，也非常有利于粗差观测值的探测和剔除。但是，无人机数码影像的重叠度和姿态角变化大，需要设法构建较为准确的自由区域网作为整体平差的初始值，保证区域网平差的快速收敛性。
[0025]4.大比例尺正射影像的快速拼接
[0026]快速拼接方式是选用每幅影像的最佳纹理区域填充到镶嵌影像，利用每幅影像的地面覆盖范围来进行“最佳”纹理区域的判断，最终实现影像的快速无缝拼接。
【主权项】
1.一种基于动态匹配的无人机遥感影像快速拼接技术，其特征包括: 无人机航空遥感影像动态拼接流程:将RGB颜色空间转换为其它的更为符合颜色视觉特性的颜色空间，再做进一步的处理，并将处理后的结果重新转换为RGB颜色空间；取色度、饱和度和亮度三个颜色分量的和值作为度量两种颜色色差大小的变量；利用特征模板提取及匹配搜索策略进行彩色图像匹配；以一幅图像为基准，通过建立序列图像之间的颜色变换关系，全局调整其它整幅图像的颜色分布，使合成的大幅面图像颜色协调一致进行图像颜色平滑，完成相邻影像的拼接；无人机影像的自动空中三角测量，突破无人机遥感影像的自动数据整理，基于多种特征的智能匹配、大旋角单航带应急摄影航空影像的智能匹配等关键技术，并采用多基线立体影像匹配、金字塔匹配等策略提高匹配成功率；构建较为准确的自由区域网作为整体平差的初始值，保证非常规摄影的无人机影像的区域网平差；选用每幅影像的最佳纹理区域填充到镶嵌影像，利用每幅影像的地面覆盖范围来进行“最佳”纹理区域的判断，最终实现影像的快速无缝拼接。
【专利摘要】真彩色图像由于具有更为丰富的可视化信息，如何提高拼接算法的效率也是需要特别考虑的问题。基于对RGB与HSI颜色空间的特性分析，提出一种根据颜色的色度和饱和度特征来度量象素颜色相似性的方法，同时提出了一种用于彩色图像匹配中的特征模板提取方法。通过待拼接的两幅彩色图像之间的重叠区域亮度关系分析，建立了图像之间的亮度变化函数，全局化地调整两幅图像之间的颜色差异，消除拼接缝，增强视觉效果。
【IPC分类】G06T5/50, G06T3/40
【公开号】CN105243653
【申请号】CN201510742154
【发明人】倪金生, 刘翔, 于飞
【申请人】北京航天泰坦科技股份有限公司
【公开日】2016年1月13日
【申请日】2015年11月5日