一种SAR影像翻译为光学影像的方法与流程

文档序号:13254353阅读:219来源:国知局
技术领域本发明属于测绘遥感技术领域,具体涉及一种SAR影像翻译为光学影像的方法。

背景技术:
受观测平台、电磁波波长、天气、传感器材料等各种因素的制约,遥感数据获取和处理技术仍有不足。例如,光学传感器可以获取分辨率高、视觉特征明显的可见光影像,但其成像容易受时间和云层遮挡等外界条件的影响。合成孔径雷达(SyntheticApertureRadar,SAR)虽然具有全天时、全天候、多波段、多极化、穿透能力强等优点,在军事、工业和民用上有十分广泛的用途,但是SAR影像不如光学影像直观易懂,解译困难,阻碍了SAR数据的应用。我国幅员辽阔,大面积多云雾地区难于获取光学影像,尤其是西部地区。在地震和地质滑坡等自然灾害的应急处理过程,也经常出现阴雨天气造成光学图像无法及时获取和使用。因此,借鉴语言翻译的思路,研究SAR影像到光学影像的翻译技术,不仅可以使得SAR影像易于理解和解译,更好地发挥SAR数据的价值,而且还能弥补在某些条件下无法获取光学影像的不足,为测绘数据生产、地震和滑坡等各类灾害的应急处理提供辅助和支撑。目前,有关光学遥感影像解译的研究非常多,正在从计算机辅助的半自动解译向全智能化解译方向发展。SAR影像解译研究相对较晚,国内外学者进行了许多探索性的研究工作,也提出了许多有效的解译算法,但其通用性不强,性能还不太理想,并且SAR影像的自动解译非常困难。由于SAR影像与光学图像有很多互补性,也有许多SAR影像与光学影像融合、配准方面的研究成果。但是,SAR影像与光学影像的翻译还是一个全新的研究方向,到目前为止国内外还没有相关的研究成果出现。此外,遥感影像翻译涉及的数据组织、表达形式及解译方法与语言文字的组织和表达完全不同,因而语言翻译的方法难以直接用于图像翻译。至今还没有将SAR影像翻译为光学影像的有效技术。

技术实现要素:
为了解决上述技术问题,本发明公开了一种SAR影像翻译为光学影像的方法。本发明所采用的技术方案是:一种SAR影像翻译为光学影像的方法,其特征在于,包括以下步骤:步骤1:构建翻译知识库;步骤2:对待翻译SAR影像进行预处理和特征提取;步骤3:利用特征和分类算法进行图像分类,标识地物类别;步骤4:根据分类结果确定待翻译SAR影像与光学影像地物映射关系;步骤5:根据翻译知识库提供的翻译规则和目标样本,采用目标表达方法进行待翻译SAR影像目标的转换与重新表达;步骤6:输出翻译得到的光学影像。作为优选,步骤1中所述构建翻译知识库,其具体实现包括以下子步骤:步骤1.1:从不同类别的SAR影像和可见光影像上人工采集植被、水体、居民地等易于区分和识别的若干个典型地物样本,包括本来自不同波段组合图像样本、同一地物不同颜色样本、同一地物不同纹理变化样本,形成样本图像库;步骤1.2:利用特征提取算法提取各类地物样本的光谱统计特征、纹理特征、形状统计特征;步骤1.3:将光谱统计特征、纹理特征、形状统计特征作为样本数据,利用机器学习算法对其进行学习和训练,形成不同的分类模型,构建分类模型库;步骤1.4:构建规则库;根据不同地物样本的特征和大量实例学习训练结果,制定不同地物的解译规则;根据同一地物在SAR影像和光学影像上的特征对比,确定不同地物的特征转换规则和映射关系;根据有无可用的参考光学图像或参照光学图像上不同地物的灰度分布特性,确定SAR图像上不同目标的可视化表达规则;步骤1.5:集合专家人工转换或通过计算机转换的一些翻译结果,利用欧氏距离或相关系数等指标计算其视觉特征与目标光学影像的相似性度量值,并计算其空间结构特征与源SAR影像的相似性度量值,取相似性度量指标取值在[0.9-1.0]之间的翻译结果作为较好的翻译示例,构建翻译示例库。作为优选,步骤1.2中所述光谱统计特征包括灰度均值、方差、颜色矩和直方图;纹理特征包括灰度共生矩阵纹理、Gabor纹理、小波变换纹理;形状统计特征包括Hu不变矩、面积、边界长度、长宽比、形状因子、主方向和对称性。作为优选,步骤1.3中所述机器学习算法包括支持向量机(SupportVectorMachine,SVM)、人工神经网络(ANN)。作为优选,步骤2中所述对待翻译SAR影像进行预处理和特征提取,所述预处理过程为:SAR影像斑点噪声抑制和图像增强;所述特征提取过程为:采用各类特征提取算法分别提取影像的局域灰度统计特征、灰度共生矩阵纹理、Gabor纹理特征和形状特征。作为优选,步骤3中所述利用特征和分类算法进行图像分类,其具体实现过程是:将SAR影像上提取的地物特征,与翻译知识库中存储的各类光学图像的特征进行对比分析,找出SAR图像与光学图像同类地物之间的特征对应关系,并根据这种特征对应关系建立SAR图像与光学图像地物目标之间的映射关系;若难以通过SAR图像与光学图像之间的特征建立地物映射关系,则从翻译知识库中选择灰度统计特征、GLCM纹理特征和Gabor滤波纹理特征的组合作为分类特征,并选择在解决小样本、非线性、高维模式识别问题上具有特殊优势和出色学习性能的支持向量机(SVM)分类算法,对SAR图像进行高精度分类,主要形成水体、植被和人工建筑区三大类地物目标,根据类别来建立SAR图像与光学图像地物目标之间的映射关系。作为优选,步骤5的具体实现过程为,利用翻译知识库中存储的与SAR影像地物类别相同的光学图像地物样本提供的先验知识,采用特定的区域填充方法将样本图像的颜色和纹理信息填充到SAR影像分类图的不同目标轮廓区域,从而实现目标SAR影像各类地物目标向光学图像对应目标的转换和表达。作为优选,所述特定的区域填充方法将样本图像的颜色和纹理信息填充到SAR影像分类图的不同目标轮廓区域,其中:将SAR影像的水体目标转换为光学影像时,通过计算图像翻译知识库中光学影像水体样本的颜色均值,将其作为填充色,对SAR影像分类图中的水体区域采用种子填充算法填充;将SAR影像的植被和建筑区转换为光学影像时,先从图像翻译知识库中获取植被和建筑区这些地物的光学样本图像,再采用基于样本的纹理合成算法来填充对应目标区域的颜色和纹理结构信息。作为优选,所述纹理合成算法为基于块拼接的纹理合成算法,其具体步骤为:(1)按照扫描线顺序逐块合成输出纹理;(2)在输入图像中搜寻符合条件的匹配块,从中随机选择一块;(3)计算选取的纹理块和已合成块重叠区域的误差,找到最佳分割路径作为新纹理块的边界,将新纹理块贴入到合成图中;(4)重复以上过程,直至合成结束。作为优选,所述块拼接的纹理合成算法,是基于动态规划原理的Mincut算法在重叠区域找出一条最佳切分路线,然后将两块进行镶嵌拼接;块镶嵌拼接具体过程为:在输入样图中任取一块B1放在输出图中,然后在输入样图中查找B2,使B2放入输出图后与B1有一定的重叠区域,且边界匹配误差控制在一定的范围内;接着从B1、B2的重叠区域找出一条误差最小的路径作为B2的边缘,把B2贴入合成图;计算误差最小的路径方法如下:设B1、B2具有垂直的重叠边,重叠区域为B1ov和B2ov,将重叠区域中对应点的像素值对应空间场上的高度值,则重叠区域的误差曲面可以定义为e=(B1ov-B2ov)2;通过以下公式计算每条路径上各点的累积误差Ei,j:Ei,j=eij+min(Ei-1,j,Ei-1,j-1,Ei-1,j+1);其中i,j表示图像像素的行号和列号,i,j从2开始;在获得误差最小的一点后,通过反向跟踪获得最优切割路径;水平方向重叠采用相同的方法获得;当水平与垂直方向都有重叠时,两条路径有交集,此时分割边界由两条路径共同决定。本发明视角独特,通过使用多特征组合的支持向量机算法对SAR影像进行分类,然后采用基于样本的纹理合成算法来分别进行水体、植被和人工建筑区等地物的区域填充表达,从而实现SAR影像向光学影像的翻译,使得SAR影像具有与光学图像类似的视觉效果特征,直观易懂。本发明所用算法效率高,人工交互少,翻译效果好,翻译结果图像在保持地物空间结构信息方面与SAR影像尽量一致,而在光谱、色调和纹理特征等方面非常接近于目标光学影像。附图说明图1:本发明实施例的流程图;图2:本发明实施例的翻译知识库构建流程;图3:本发明实施例的SAR影像及分类结果图,其中(a)为ENVISAT-ASAR影像,(b)为分类结果图;图4:本发明实施例的SAR影像水体目标及翻译结果图,其中(a)为SAR影像水体区域,(b)为翻译结果图;图5:本发明实施例的Mincut图像块拼接示意图;图6:本发明实施例的SAR影像植被及翻译结果图,其中(a)为SAR影像植被区域,(b)TM影像植被样本,(c)为翻译结果图;图7:本发明实施例的SAR影像人工建筑区及翻译结果图,其中(a)为SAR影像建筑区,(b)TM影像建筑样本,(c)为翻译结果图;图8:本发明实施例的SAR影像最终翻译结果图;图9:本发明实施例的SAR影像翻译结果补缺应用效果图。其中(a)缺失部分区域的TM影像,其中(b)SAR影像翻译结果填补TM空缺效果图。具体实施方式为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。请见图1,本发明提供的一种SAR影像翻译为光学影像的方法,包括以下步骤:步骤1:构建翻译知识库;在图像翻译的理解、目标转换、特征表达等各个环节中,需要用到图像特征、目标解译模型、转换规则、典型地物样本和翻译示例等各种先验知识。为此,本发明先构建一套适合图像翻译的知识库,充当翻译字典的角色,为图像翻译的自动化或智能化发展提供一种有效工具。请见图2,翻译知识库的构建包括以下子步骤:步骤1.1:从不同类别的SAR影像和可见光影像上人工采集植被、水体、居民地等易于区分和识别的若干个典型地物样本,包括本来自不同波段组合图像样本、同一地物不同颜色样本、同一地物不同纹理变化样本,形成样本图像库;步骤1.2:利用特征提取算法提取各类地物样本的灰度均值、方差、颜色矩和直方图等光谱统计特征;灰度共生矩阵纹理、Gabor纹理、小波变换纹理等纹理特征;Hu不变矩、面积、边界长度、长宽比、形状因子、主方向和对称性等形状统计特征;步骤1.3:将光谱统计特征、纹理特征、形状统计特征作为样本数据,利用支持向量机(SVM)、人工神经网络(ANN)等机器学习算法对其进行学习和训练,形成不同的分类模型,构建分类模型库;步骤1.4:构建规则库;根据不同地物样本的特征和大量实例学习训练得到的分类模型库,制定不同地物的解译规则;根据同一地物在SAR影像和光学影像上的特征对比,确定不同地物的特征转换规则和映射关系;根据有无可用的参考光学图像或参照光学图像上不同地物的灰度分布特性,确定SAR图像上不同目标的可视化表达规则;步骤1.5:集合专家人工转换或通过计算机转换的一些翻译结果,利用欧氏距离或相关系数等指标计算其视觉特征与目标光学影像的相似性度量值,并计算其空间结构特征与源SAR影像的相似性度量值,取相似性度量指标取值在[0.9-1.0]之间的翻译结果作为较好的翻译示例,构建翻译示例库。步骤2:对待翻译SAR影像进行预处理和特征提取;预处理过程为:SAR影像斑点噪声抑制和图像增强;所述特征提取过程为:采用各类特征提取算法分别提取影像的局域灰度统计特征、灰度共生矩阵纹理、Gabor纹理特征和形状特征。步骤3:利用特征和分类算法进行图像分类,标识地物类别;准确理解并提取SAR图像的空间地物信息是实现图像翻译的基础。对SAR影像的理解主要是提取影像上的典型地物目标,确定每类目标的分布区域,形成分类图。这一步的关键是提取合适的分类特征,并采用有效的分类算法进行基于特征的分类。将SAR影像上提取的特征,与翻译知识库中存储的各类光学图像的特征进行对比分析,找出SAR图像与光学图像之间的特征转换关系,并利用特征转换关系建立目标之间的映射关系。如果难以通过特征建立地物映射关系,就从翻译知识库中选择对应的特征组合模型,本方案中选择灰度统计特征、GLCM纹理特征和Gabor滤波纹理特征的组合作为分类特征,并选择在解决小样本、非线性、高维模式识别等问题上具有特殊优势和出色学习性能的支持向量机(SupportVectorMachine,SVM)分类算法,对SAR图像进行高精度分类,主要形成水体、植被和人工建筑区三大类地物目标,根据类别来建立SAR图像与光学图像地物目标之间的映射关系。SVM分类采用径向基(RadialBasisFunction,RBF)核函数,其参数通过交叉验证和网格搜索方法自动获取。对一幅单波段、HH极化,空间分辨率为30米的ENVISAT-ASAR影像进行分类的结果如图3所示。利用精确选取的一定数量的感兴趣区域作为精度验证样本,计算出分类结果的总体精度为93.13%,Kappa系数为0.89,说明多特征组合的SVM分类算法具有较高的分类精度。步骤4:根据分类结果确定待翻译SAR影像与目标光学影像地物之间的映射关系;步骤5:根据翻译知识库提供的翻译规则和光学样本,采用目标表达方法进行SAR影像地物目标的转换与重新表达;在上一步对SAR图像进行正确分类的基础上,利用翻译知识库中存储的光学图像同类地物样本提供的先验知识,采用特定的区域填充技术将样本图像的颜色和纹理等信息填充到SAR分类图的不同目标轮廓区域,从而实现SAR目标向光学图像对应目标的转换和表达。对于水体这类地物目标,它在可见光影像上的灰度分布一般都比较均匀,每个区域可以近似认为是由单一颜色构成。因此,将SAR影像的水体目标转换为光学影像时,通过计算图像翻译知识库中光学影像水体样本的颜色均值,将其作为填充色,对SAR分类图中的水体区域采用种子填充算法来填充即可,如图4所示。对于植被和建筑区这类地物目标,既有颜色信息,又含纹理结构。对于这类目标的转换,先从图像翻译知识库中获取植被和建筑区这些地物的光学样本图像,再采用基于样本的纹理合成算法来填充对应目标区域的颜色和纹理结构信息。本发明采用基于块拼接的纹理合成算法,具体步骤描述如下:(1)按照扫描线顺序逐块合成输出纹理。(2)在输入图像中搜寻符合条件的匹配块,从中随机选择一块。(3)计算选取的纹理块和已合成块重叠区域的误差,找到最佳分割路径作为新纹理块的边界,将新纹理块贴入到合成图中。(4)重复以上过程,直至合成结束。为了使得两图像块之间达到最好的拼接视觉效果,用基于动态规划原理的Mincut算法在重叠区域找出一条最佳切分路线,然后将两块进行镶嵌拼接,如图5所示。块镶嵌拼接具体过程为:在输入样图中任取一块B1放在输出图中,然后在输入样图中查找B2,使B2放入输出图后与B1有一定的重叠区域,且边界匹配误差控制在一定的范围内;接着从B1、B2的重叠区域找出一条误差最小的路径作为B2的边缘,把B2贴入合成图;计算误差最小的路径方法如下:设B1、B2具有垂直的重叠边,重叠区域为B1ov和B2ov,将重叠区域中对应点的像素值对应空间场上的高度值,则重叠区域的误差曲面可以定义为e=(B1ov-B2ov)2;通过以下公式计算每条路径上各点的累积误差Ei,j:Ei,j=eij+min(Ei-1,j,Ei-1,j-1,Ei-1,j+1);其中i,j表示图像像素的行号和列号,i,j从2开始。在获得误差最小的一点后,通过反向跟踪获得最优切割路径;水平方向重叠采用相同的方法获得;当水平与垂直方向都有重叠时,两条路径有交集,此时分割边界由两条路径共同决定。对SAR分类图中的植被区域(图6a)和人工建筑区(图7a)采用基于样图的纹理合成方法进行填充。样本图像来自于翻译知识库或者从目标参考影像选取,其中,植被样图大小为16×16像素(图6b),建筑区样本大小为27×27像素(图7b)。利用基于样本的纹理合成算法可生成图6(c)和图7(c)所示的纹理合成结果。步骤6:输出翻译得到的光学影像。最后将湖泊、植被和人工建筑区三类地物各自的填充结果融合在一起,形成一幅完整的光学影像,从而实现SAR影像到光学影像(LandsatTM)的翻译,如图8所示。光学传感器受天气、云层和烟雾等因素干扰在某些地区可能无法成像,此时,可以利用遥感影像翻译技术来填补光学影像受干扰的空缺区域。假设实验所用TM影像由于云层遮挡而造成中间部分区域的信息缺失(图9a),可以获取同一时期该地区的SAR影像,通过从光学影像周边区域提取样本,采用SAR影像分类、基于区域填充的目标转换和表达方法,将SAR影像翻译成TM影像(图8),并将其填补TM影像缺失区域,可获得图9b所示的补缺效果。应当理解的是,本说明书未详细阐述的部分均属于现有技术。应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1