专利名称：一种高分辨率遥感图像自动语义标记方法
技术领域：
本发明涉及遥感图像处理领域，尤其涉及高分辨率遥感图像的语义标注或语义分类方法。
背景技术：
遥感图像语义自动标注是遥感图像组织、索引的基础，特别是随着近年来遥感数据爆炸式增加，高分辨率遥感图像数据量极大，直接查找、获取图像困难更大，高分辨率遥感图像的语义标注意义更加明显。但是现有的人工直接标注费时、费力，可行性不强，急需从图像语义层次的高效标注方法。现有技术中，对高分辨率遥感图像语义标注的方法主要有:多不例-多标记学习方法(Mult1-1nstance mult1-label learning,简称 MIML)。多示例-多标记学习方法是近年来提出的一种方便的图像分类、标注方法。与传统的图像标注方法相比，多示例-多标记学习方法在分类器训练过程中不需要对每一个图像区域进行标记，只需要对包的标记进行标记，指示包中是否包含示例标记，因此，在分类器训练中比较简单方便，实际可操作性比较强。但是传统的多示例-多标记学习方法忽略了词袋中示例之间的语义相关性，并且在示例构造时往往采用均匀切分图像的方法，致使多示例-多标记学习方法在图像标注时均衡对待每一个示例，无法真正从图像目标角度出发实现图像的语义层标注。这种处理问题的思路明显不符合遥感图像的特点:遥感图像尺寸一般很大，反映了一个较大区域内的地物地貌，而遥感图像通常在遥感图像解译过程中，用户感兴趣的只是其中若干局部区域，因此，直接提取整幅图像的全局特征根本无法反映感兴趣的目标概念，故有必要对整幅图像进行分解或者分割。例如，从低空间尺度图像上可以更方便区分“陆地”和“海洋”，从中等空间分辨率上可以区分“陆地”上的“城市”和“乡村”，而想要区分开“城市”中的“建筑物”、“道路”、“植被”等目标语义则需要较高空间分辨率。另外，可以明显看出，这些语义标签之间存在严格的等级隶属关系。以图像区域目标为单位，结合图像空间尺度变换，利用遥感图像地物先验信息，实现遥感图像等级语义隶属关系建模，是提高遥感图像语义标注的主要途径。
发明内容
本发明提供了一种高分辨率遥感图像自动语义标记方法，将目标等级语义模型和多示例-多标记学习方法相结合，通过利用遥感图像中目标语义之间的等级隶属先验信息，构建目标等级语义模型，以克服传统多示例-多标记学习方法中对示例之间语义相关性以及语义等级约束的忽略造成的标注精度不高。本发明的技术方案为:步骤S102，对高分辨率遥感图像进行多尺度分解，自低分辨率尺度开始，每个尺度上的图像进行过分割，获取多个尺度上的过分割区域；步骤S104，以每个尺度上过分割区域为单位对每一幅遥感图像提取颜色特征、纹理特征，SIFT特征以及熵特征，以过分割区域为单位构造特征向量；步骤S106，以某个尺度上图像为词袋，以该图像中的过分割区域为多示例学习中的示例，以过分割区域的特征向量为示例的特征，在每个尺度上构造一个多示例-多标记学习框架，从而在多个尺度上形成一个等级语义多示例-多标记学习框架，利用训练样本分别在每个尺度上训练多示例-多标记学习框架中的分类器，得到最佳分类器参数设置；步骤S108，利用已训练的多示例-多标记学习框架中的分类器，自低尺度到高尺度为序，对测试数据首先在低尺度上进行语义标注，并将标注的语义信息传递到高尺度，在低尺度语义信息辅助下对高尺度上图像进行语义标注；标注结果以概率形式输出，所有尺度上的语义标注结果构成图像地物类型等级标注置信构成图。所述步骤S102中对高分辨率遥感图像进行多尺度分解，利用小波金字塔变换方法对每幅图像进行多个尺度分解，由每一层的小波低频系数图像及原始图像构成多尺度图像序列。所述步骤S102中自低分辨率尺度开始，每个尺度上的图像进行过分割，利用分水岭分割方法自低分辨率尺度开始，在每个尺度上进行图像过分割。所述等级多示例-多标记学习框架构建的步骤包括:单尺度上多示例-多标记学习方法的构建:每个尺度上的图像的每个过分割区域作为多示例-多标记学习方法中的一个示例，该尺度上的图像作为多示例-多标记学习方法中的一个词袋，区域的特征矢量对应为该示例的特征表述，区域的标注作为示例的标记；如果一个词袋中所有的示例均标记为负样本时，该词袋被标记为副词袋；如果一个词袋中有一个示例被标记为正样本时，该词袋被标记为正词袋；通过“词袋-图像，示例-区域”的映射，完成单一尺度上遥感图像的多示例-多标记学习框架构建；多尺度上多示例-多标记学习方法的构建:通过前一步骤单一尺度上遥感图像的多示例-多标记学习框架构建，按照图像尺度分割获取的尺度等级顺序，将每个单尺度多示例-多标记学习框架结合起来，通过“词袋-图像，示例-区域，尺度-等级”的映射，形成多尺度等级多示例-多标记学习框架；所述的等级多示例-多标记学习框架中分类器训练，其步骤包括:训练样本集建设过程中，首先图像等级尺度分割和特征表述，然后对图像进行多尺度语义标注；多尺度语义标注的准则是:以遥感图像地物先验信息为辅助，低尺度上的语义标签涵盖高尺度上的语义标签，各个尺度上的语义标签是隶属关系，不能存在冲突矛盾；每个语义标签按照图像中包含语义信息的多少根据人工专家经验按照置信度大小进行概率标注；多示例-多标记学习框架中分类器选取支持向量机分类器，分类器训练过程就是利用已标注样本对支持向量机分类器参数设置的过程；在训练过程中，自低尺度图像向高尺度图像逐尺度训练，低尺度上的训练参数作为高尺度上训练参数设置的先验；利用给定的训练样本集对应的每个尺度上的特征矢量集合和标记集合，对支持向量机分类器进行训练，得到最佳的分类器参数设置；多个尺度上分类器构成一个分类器组，每个分类器对应一组最佳参数设置。所述分类器训练采用支持向量机分类器，该分类器使用高斯径向基核函数。本发明的有益效果为:
(I)将遥感图像的尺度特点以多尺度形式表现出来，并将多示例-多标记学习方法和多尺度分割方法相结合，以多尺度目标区域为单位，更加切合遥感图像，特别是高分辨率遥感图像的特点，提高了多示例-多标记学习方法对遥感图像建模的准确性；(2)利用遥感图像地物先验信息构建遥感图像等级语义模型，指导遥感图像语义标注，并将目标等级语义模型和多示例-多标记学习方法相结合，有效地解决了传统多示例-多标记学习方法忽略示例之间语义相关性的问题，提高了图像标注精度；(3)图像标注结果中不仅给出语义标签，还给出了每个标签的概率置信度，实现了图像标注的定量表示。
图1为本发明实施例高分辨率遥感图像的语义标注方法的流程示意图。图2为本发明方法框架示意图；图3为本发明实施例等级语义隶属关系不意具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。且在附图中，实施例以简化或是方便标示。再者，附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。本发明高分辨率遥感图像自动标注方法中，将目标等级语义模型与多示例-多标记学习方法相结合，利用遥感图像地物先验信息构建遥感图像等级语义模型，指导遥感图像语义标注，有效地解决了传统多示例-多标记学习方法忽略示例之间语义相关性的问题，提高了图像标注精度。图1为本发明实施例高分辨率遥感图像自动标注的流程示意图。如图1所示，本实施例包括以下步骤:步骤S102，对高分辨率遥感图像进行多尺度分解，自低分辨率尺度开始，每个尺度上的图像进行过分割，获取多个尺度上的过分割区域；其中，上述的高分辨率遥感图像优选光学遥感图像，其图像空间分辨率高于2米/像素，图像包含RGB三个波段。该步骤又可以分为以下步骤:步骤S102a，利用小波金字塔变换方法对每幅图像进行多个尺度分解，由每一层的小波低频系数图像及原始图像构成多尺度图像序列。之所以采用小波方法，是因为小波系数包含上下文信息，有助于提高可分性。其中，原始输入图像的空间尺度为最高。具体尺度分解的层数就标注实际应用目的而定:实际应用中小波分解的层数根据原始图像分辨率和目标一分辨率关系共同决定，所需的语义标注等级层数越多则尺度分解次数越高，反之，则分解次数越低。
步骤S102b,利用分水岭分割方法(J.Roerdink and A.Mei jster, uTheffatershedTransform:Definitions, Algorithms, and Parallellization Strategies,，’FundamentaInformaticae, vol.41, pp.187-228，2000.),自低分辨率尺度开始，在每个尺度上进行图像过分割，每个过分割区域具备一定的区域同质一致性，即为同质区域。在过分割过程中，为了保证区域的最大一致性以及语义标注的实际解译性，选取区域面积作为约束条件，即当某个分割区域的总像素个数少于200时该区域停止分割；将低尺度上的过分割区域映射到高一级尺度图像上，对该区域继续利用分水岭分割方法进行过分割处理，直到最高空间分辨率图像过分割完毕；自低分辨率尺度到高分辨率尺度，低尺度上的过分割区域的细节信息可以在其对应高尺度区域中找到；步骤S104，以每个尺度上过分割区域为单位对每一幅遥感图像提取颜色特征、纹理特征，SIFT特征以及熵特征，以过分割区域为单位构造特征向量；其中，颜色特征主要是提取CIELab颜色特征，其步骤为:对原始输入图像进行平滑滤波，图像中的每个像素P (i, j)，以坐标(i，j)为中心，取3*3大小的图像区域，计算区域中像素的光谱均值作为当前像素P (i，j)的滤波后光谱值，得到滤波处理后的两时相遥感图像；将图像RGB颜色空间投影CIELab颜色空间，得到图像中每个像素在CIELab颜色空间中的颜色特征值；以前一步获取的过分割图像为基础，每个过分割区域中所有像素的Lab颜色特征的均值作为该区域的CIELab特征,得到每个区域的3维CIELab颜色特征；其中，RGB颜色空间到CIELab颜色空间的转换计算公式为:
权利要求
1.一种高分辨率遥感图像自动语义标记方法，包括: 步骤S102，对高分辨率遥感图像进行多尺度分解，自低分辨率尺度开始，每个尺度上的图像进行过分割，获取多个尺度上的过分割区域； 步骤S104，以每个尺度上过分割区域为单位对每一幅遥感图像提取颜色特征、纹理特征，SIFT特征以及熵特征，以过分割区域为单位构造特征向量； 步骤S106，以某个尺度上图像为词袋，以该图像中的过分割区域为多示例学习中的示例，以过分割区域的特征向量为示例的特征，在每个尺度上构造一个多示例-多标记学习框架，从而在多个尺度上形成一个等级语义多示例-多标记学习框架，利用训练样本分别在每个尺度上训练多示例-多标记学习框架中的分类器，得到最佳分类器参数设置； 步骤S108，利用已训练的多示例-多标记学习框架中的分类器，自低尺度到高尺度为序，对测试数据首先在低尺度上进行语义标注，并将标注的语义信息传递到高尺度，在低尺度语义信息辅助下对高尺度上图像进行语义标注；标注结果以概率形式输出，所有尺度上的语义标注结果构成图像地物类型等级标注置信构成图。
2.根据权利要求1所述的高分辨率遥感图像自动语义标记方法，其特征在于:所述步骤S102中对高分辨率遥感图像进行多尺度分解，利用小波金字塔变换方法对每幅图像进行多个尺度分解，由每一层的小波低频系数图像及原始图像构成多尺度图像序列。
3.根据权利要求1所述的高分辨率遥感图像自动语义标记方法，其特征在于:所述步骤S102中自低分辨率尺度开始，每个尺度上的图像进行过分割，利用分水岭分割方法自低分辨率尺度开始，在每个尺度上进行图像过分割。
4.根据权利要求1所述的高分辨率遥感图像自动语义标记方法，其特征在于:所述等级多示例-多标记学习框架构建的步骤包括: 单尺度上多示例-多标记学习方法的构建:每个尺度上的图像的每个过分割区域作为多示例-多标记学习方法中的一个示例，该尺度上的图像作为多示例-多标记学习方法中的一个词袋，区域的特征矢量对应为该示例的特征表述，区域的标注作为示例的标记；如果一个词袋中所有的不例均标记为负样本时，该词袋被标记为副词袋；如果一个词袋中有一个示例被标记为正样本时，该词袋被标记为正词袋；通过“词袋-图像，示例-区域”的映射，完成单一尺度上遥感图像的多示例-多标记学习框架构建； 多尺度上多示例-多标记学习方法的构建:通过前一步骤单一尺度上遥感图像的多示例-多标记学习框架构建，按照图像尺度分割获取的尺度等级顺序，将每个单尺度多示例-多标记学习框架结合起来，通过“词袋-图像，示例-区域，尺度-等级”的映射，形成多尺度等级多示例-多标记学习框架。
5.根据权利要求1所述的高分辨率遥感图像自动语义标记方法，其特征在于:所述的等级多示例-多标记学习框架中分类器训练，其步骤包括: 训练样本集建设过程中，首先图像等级尺度分割和特征表述，然后对图像进行多尺度语义标注；多尺度语义标注的准则是:以遥感图像地物先验信息为辅助，低尺度上的语义标签涵盖高尺度上的语义标签，各个尺度上的语义标签是隶属关系，不能存在冲突矛盾；每个语义标签按照图像中包含语义信息的多少根据人工专家经验按照置信度大小进行概率标注； 多示例-多标记学习框架中 分类器选取支持向量机分类器，分类器训练过程就是利用已标注样本对支持向量机分类器参数设置的过程；在训练过程中，自低尺度图像向高尺度图像逐尺度训练，低尺度上的训练参数作为高尺度上训练参数设置的先验； 利用给定的训练样本集对应的每个尺度上的特征矢量集合和标记集合，对支持向量机分类器进行训练，得到最佳的分类器参数设置；多个尺度上分类器构成一个分类器组，每个分类器对应一组最佳参数设置。
6.根据权利要求1或5所述的高分辨率遥感图像自动语义标记方法，其特征在于:所述分类器训练采用支持向量机 分类器，该分类器使用高斯径向基核函数。
全文摘要
本发明公开了一种高分辨率遥感图像自动语义标记方法，本发明在高分辨率遥感图像自动语义标记中，利用等级语义模型对遥感图像多尺度语义信息进行建模，并结合多示例学习方法实现对高分辨率光学遥感图像的自动标注。本发明的特点是1)利用等级语义模型实现地物先验隶属关系的模型化表述；2)将多示例-多标记方法引入遥感图像语义标注，降低标记工作难度；3)图像标记输出结果以地物等级隶属关系形式给出，并且自动给出标注结果的概率置信度。
文档编号G06K9/66GK103198333SQ20131012894
公开日2013年7月10日 申请日期2013年4月15日 优先权日2013年4月15日
发明者陈克明, 鉴萍, 郭建恩, 周志鑫, 张道兵, 孙显 申请人:中国科学院电子学研究所