一种基于权重特征融合的遥感图像自动标注方法与流程

本发明涉及遥感图像自动标注技术领域，具体地说，是一种基于权重特征融合的遥感图像自动标注方法。

背景技术：

随着卫星技术的迅速进步发展，多颗遥感卫星相继发射(如zy-3、cbers-04、gf-2、quickbird、worldview-2等卫星)。经统计，全球现有卫星数量已超过1000颗，遥感图像数据获取量呈tb级/天的速度增长，国家级数据中心获取的遥感图像数据量已达到pb级。面对如此大规模的遥感图像，国内外研究人员展开遥感图像语义标注研究，以帮助用户快速检索到目标图像。

遥感图像语义标注是通过一系列语义标注词来描述一副遥感图像内容，这样就可将图像检索转变成文本搜索形式，以实现海量遥感图像的快速、准确检索。遥感图像标注领域研发了许多标注模型，如果从模型所采用的统计学习方法角度考虑，遥感图像语义自动标注模型可以被分成两种，一种是基于生成模型的图像语义自动标注方法，另一种是基于可判别分类模型的图像语义自动标注方法。基于生成模型的遥感图像语义自动标注方法是先计算图像可视特征和语义标注词间的联合概率分布，然后利用该联合概率完成新图像的语义自动标注。缺点是图像语义标注过程对表面相似但蕴含语义不同的图像具有较弱的判别能力。基于可判别分类的图像语义自动标注方法首先分别训练每个语义标注词，得到对应语义标注词的分类器，然后利用得到的分类器对新图像进行语义自动标注。缺点是容易受到图像规模和语义标注词数量的影响，复杂度随之提高，不适用于大规模图像语义标注。随着传感器技术的发展，遥感图像可以获取广阔范围地表信息，并且产生大量的高分辨遥感图像，地物随之清晰，使用单一的图像特征不能很好描述图像内容。图像特征融合为遥感图像特征表达提供新思路，但是不同图像特征提取维度差异较大，不能全面反映遥感图像底层特征。

面对高分辨率遥感图像，基于单一特征的图像内容描述方法具有片面性，使得基于单一特征的语义标注结果不够可靠。然而利用不同特征提取方法获得的特征维度相差较大，组成的特征描述符会降低遥感图像标注精度。

中国发明专利cn201611073445.8，公开日为2017.05.10，公开了一种图片标注方法，包括根据目标任务需求获取互联网图片数据，对获取的互联网图片数据进行数据清洗，根据清洗后的互联网图片数据进行图片标注，并接收图片标注后对应的完成结果，根据完成结果生成标注数据集。该方法可以提高标注数据的数量、质量及标注速度，达到快速、低成本产出高质量数据标注结果的目的。但是这种标注方法无法应用于大规模高分辨率遥感图像的标注，且该标注方法是收集图像数据然后筛选图像数据，而不是对图像数据进行处理分类，导致遥感图像数据无法全部被标注。

中国发明专利cn201210184510.x，公开日为2012.06.06，公开了一种标注图像中区域与标注对应关系的确定方法，包括将视觉描述转换为标注字的权值，代表与视觉的相关程度，利用topic模型提取场景类别，并将场景内图像的区域聚类为视觉概念，在不同场景中，采用新都船舶方法降低视觉概念的标注不确定性，构建每个场景下的贝叶斯网络，获得视觉概念的标注结果。该方法通过对图像分割区域的标识结果进行融合，最终可以获得图像物体语义级的分割与识别效果，避免了对担负图像的每个区域单独进行标注，有效地提高算法效率，方便有效地实现非标注图像的语义内容分析。但是该方法需要对图像过分割，会导致在分割过程中图像像素点损失，影响图像质量。

因此，亟需一种能够基于多特征图像内容描述、帮助用户迅速定位的遥感图像自动标注方法，而目前关于折后总方法还未见报道。

技术实现要素：

本发明的目的是针对现有技术中的不足，提供一种基于权重特征融合的遥感图像自动标注方法。

为实现上述目的，本发明采取的技术方案是：

本发明的一种基于权重特征融合的遥感图像自动标注方法，所述的遥感图像自动标注方法包括以下步骤：

s01：对遥感图像进行颜色描述；

s02：对遥感图像进行纹理描述；

s03：对遥感图像进行形状描述；

s04：对遥感图像进行权重特征融合；

s05：对遥感图像进行自动标注；

其中，步骤s02利用灰度共生矩阵方法进行纹理描述，步骤s03利用sift方法进行形状描述。

作为一种优选的技术方案，所述的遥感图像自动标注方法的具体工作步骤为：

s01：对遥感图像进行颜色描述；

s011：将遥感图像从rgb颜色空间转换至hsv颜色空间；

s012：对处于hsv颜色空间的遥感图像计算一阶矩、二阶矩、三阶矩；

s013：将h分量、s分量、v分量以及相应分量的一阶矩、二阶矩、三阶矩的值共同组成图像的颜色特征向量；

s02：对遥感图像进行纹理描述；

s021：判断遥感图像是否为灰度图像，若不为灰度图像，则进入步骤s022，若为灰度图像，则进入步骤s023；

s022：对遥感图像进行灰度转换，转换完成的遥感图像进入步骤s023；

s023：对遥感图像进灰度级量化；

s024：计算遥感图像的灰度共生矩阵；

s025：计算灰度共生矩阵的特征量；

s026：计算特征量的平均值和标准差，组成纹理特征向量。

s03：对遥感图像进行形状描述；

s031：构建图像尺度空间；

s032：对图像尺度空间进行极值检测；

s033：寻找稳定的特征点位置；

s034：确定特征点的方向；

s035：描述特征点；

s04：对遥感图像进行权重特征融合；

s041：随机选取三个权重值；

s042：对遥感图像可视特征进行随机权重组合；

s05：对遥感图像进行自动标注。

作为一种优选的技术方案，所述的步骤s011中，将遥感图像从rgb颜色空间转换至hsv颜色空间的转换公式如(1)所示。

作为一种优选的技术方案，所述的步骤s012中，对处于hsv颜色空间的遥感图像计算一阶矩、二阶矩、三阶矩，计算公式如(2)所示，其中，i为颜色模型分量，i＝1为h分量，i＝2为s分量，i＝3为v分量，pij为颜色分量i像素j的概率值，n为图像中像素点个数。

作为一种优选的技术方案，所述的步骤s022中，对遥感图像进行灰度转换，转换公式如(3)所示。

gray＝0.3*r+0.59*g+0.11*b(3)

作为一种优选的技术方案，所述的步骤s024中，计算遥感图像的灰度共生矩阵的方法为，取距离为1，方向分别为0°、45°、90°、135°，计算共生矩阵，进行归一化处理，构造四个方向的共生矩阵；设二维图像f(x,y)，大小为m*n，图像灰度级为ng级，共生矩阵为ng*ng的对称矩阵，矩阵中的各元素值为p(i,j|d,θ)，θ表示方向，d表示距离，灰度级为i,j的两个像素共同出现的次数的计算公式如(4)所示。

作为一种优选的技术方案，所述的步骤s025中，计算灰度共生矩阵的特征量选取灰度共生矩阵的四个特征向量，分别为能量、熵、惯性矩、相关，计算公式分别如(5)、(6)、(7)、(8)所示，其中，

作为一种优选的技术方案，所述的步骤s04中，对遥感图像进行权重特征融合的步骤为：

s041：随机选取三个权重值

随机选取三个和为1的正值作为特征的权重，计算公式如(9)所示，其中i为提取的特征种类，ri表示第i个权重值，i＝{1,2,3}；

s042：对遥感图像可视特征进行随机权重组合

以随机值的最小值作为颜色特征的权重，以随机值的最大值作为纹理特征的权重，以随机值的中间值作为形状特征的权重，对提取的遥感图像可视特征进行随机权重组合，计算公式如(10)所示，其中，i＝1时f表示添加权重后的颜色特征向量，i＝2时f表示添加权重后的纹理特征向量，i＝3时f表示添加权重后的形状特征向量。

f＝rifi(10)

作为一种优选的技术方案，所述的步骤s05中，利用(xi,yi)表示遥感图像集合，其中xi代表遥感图像集合中第i幅图像，yi＝{yi¹,yi²...,yi^l}代表该幅遥感图像对应的标注词集。l表示图像的标注词个数，所有的遥感图像语义标注词个数是相同的，其中yi^j值为1的话，表明第j个语义标注词可以标注给第i幅遥感图像，利用svm分类器对遥感图像进行自动标注。

作为一种优选的技术方案，对遥感图像进行形状描述的方法还可以是pca-sift、csift、surf、asift中的任一一种。

本发明优点在于：

1、对遥感图像进行颜色、纹理、形状特征提取，以随机权重形式进行组合，获得遥感图像内容的准确表达，实现遥感图像的语义自动标注；

2、遥感图像自动标注帮助用户迅速定位目标图像，为普通大众获取遥感图像提供便利，提高遥感图像检索效率，有利于图像管理和使用；

3、保留多种相关特征，增强弱特征维度比重，构造合理的特征描述符，为图像语义准确标注提供保障；

4、提高遥感图像检索精度和效率，为遥感应用奠定坚实基础，帮助实时追踪、快速预警和辅助决策，对海洋安全具有重要意义。

附图说明

附图1是本发明的一种基于权重特征融合的遥感图像自动标注方法的流程图。

附图2是本发明的一种基于权重特征融合的遥感图像自动标注方法的纹理描述流程图。

附图3是本发明的一种基于权重特征融合的遥感图像自动标注方法的权重融合流程图。

附图4是本发明的一种基于权重特征融合的遥感图像自动标注方法的纹理描述具体流程图。

附图5是本发明的一种基于权重特征融合的遥感图像自动标注方法的权重融合具体流程图。

具体实施方式

下面结合附图对本发明提供的具体实施方式作详细说明。

实施例1

参照图1，图1是本发明的一种基于权重特征融合的遥感图像自动标注方法的流程图。本发明的一种基于权重特征融合的遥感图像自动标注方法，所述的遥感图像自动标注方法包括以下步骤：

s01：对遥感图像进行颜色描述；

s02：对遥感图像进行纹理描述；

s03：对遥感图像进行形状描述；

s04：对遥感图像进行权重特征融合；

s05：对遥感图像进行自动标注；

其中，步骤s02利用灰度共生矩阵方法进行纹理描述，步骤s03利用sift方法进行形状描述。

实施例2

本发明的一种基于权重特征融合的遥感图像自动标注方法的具体工作步骤为：

s01：对遥感图像进行颜色描述

s011：将遥感图像从rgb颜色空间转换至hsv颜色空间；

s012：对处于hsv颜色空间的遥感图像计算一阶矩、二阶矩、三阶矩；

s013：将h分量、s分量、v分量以及相应分量的一阶矩、二阶矩、三阶矩的值共同组成图像的颜色特征向量。

s02：对遥感图像进行纹理描述

参照图2，图2是遥感图像纹理描述的流程图。

s021：判断遥感图像是否为灰度图像，若不为灰度图像，则进入步骤s022，若为灰度图像，则进入步骤s023；

s022：对遥感图像进行灰度转换，转换完成的遥感图像进入步骤s023；

s023：对遥感图像进灰度级量化；

s024：计算遥感图像的灰度共生矩阵；

s025：计算灰度共生矩阵的特征量；

s026：计算特征量的平均值和标准差，组成纹理特征向量。

s03：对遥感图像进行形状描述；

s031：构建图像尺度空间；

s032：对图像尺度空间进行极值检测；

s033：寻找稳定的特征点位置；

s034：确定特征点的方向；

s035：描述特征点。

s04：对遥感图像进行权重特征融合

参照图3，图3是遥感图像权重特征融合的流程图。

s041：随机选取三个权重值；

s042：对遥感图像可视特征进行随机权重组合。

s05：对遥感图像进行自动标注

利用svm分类器对遥感图像进行标注。

本发明的一种基于权重特征融合的遥感图像自动标注方法的优点在于，对遥感图像进行颜色、纹理、形状特征提取，以随机权重形式进行组合，获得遥感图像内容的准确表达，实现遥感图像的语义自动标注；遥感图像自动标注帮助用户迅速定位目标图像，为普通大众获取遥感图像提供便利，提高遥感图像检索效率，有利于图像管理和使用；保留多种相关特征，增强弱特征维度比重，构造合理的特征描述符，为图像语义准确标注提供保障；提高遥感图像检索精度和效率，为遥感应用奠定坚实基础，帮助实时追踪、快速预警和辅助决策，对海洋安全具有重要意义。

实施例3

本发明的一种基于权重特征融合的遥感图像自动标注方法的具体应用方法为：

s01：对遥感图像进行颜色描述

s011：将遥感图像从rgb颜色空间转换至hsv颜色空间，转换公式如(1)所示；

s012：对处于hsv颜色空间的遥感图像计算一阶矩、二阶矩、三阶矩，计算公式如(2)所示，其中，i为颜色模型分量，i＝1为h分量，i＝2为s分量，i＝3为v分量，pij为颜色分量i像素j的概率值，n为图像中像素点个数；

s013：将h分量、s分量、v分量以及相应分量的一阶矩、二阶矩、三阶矩的值共同组成图像的颜色特征向量。

s02：对遥感图像进行纹理描述

s021：判断遥感图像是否为灰度图像，若不为灰度图像，则进入步骤s022，若为灰度图像，则进入步骤s023；

s022：对遥感图像进行灰度转换，转换公式如(3)所示，转换完成的遥感图像进入步骤s023；

gray＝0.3*r+0.59*g+0.11*b(3)

s023：对遥感图像进灰度级量化

在不改变遥感图像纹理特征的情况下，将其映射到更小范围，控制矩阵大小，降低计算量；

s024：计算遥感图像的灰度共生矩阵

设二维图像f(x,y)，大小为m*n，图像灰度级为ng级，共生矩阵为ng*ng的对称矩阵，矩阵中的各元素值为p(i,j|d,θ)，θ表示方向，d表示距离，灰度级为i,j的两个像素共同出现的次数的计算公式如(4)所示；

s025：计算灰度共生矩阵的特征量

选取灰度共生矩阵的四个特征向量，分别为能量、熵、惯性矩、相关，计算公式分别如(5)、(6)、(7)、(8)所示，其中，

s026：计算特征量的平均值和标准差，组成纹理特征向量

计算共生矩阵的能量、熵、惯性矩、相关的平均值和标准差，共同组成纹理特征向量。

s03：对遥感图像进行形状描述

利用sift方法对遥感图像进行形状描述。

s031：构建图像尺度空间；

s032：对图像尺度空间进行极值检测

对尺度空间中所有图像进行搜索，采用高斯微分函数获得尺度、旋转不变的极值点，检测出尺度空间的极值；

s033：寻找稳定的特征点位置

平滑区域的点经模糊后变化较小，边缘、角等区域变化较大，根据这些点在高斯模糊下的稳定情况，准确找到稳定的特征点位置；

s034：确定特征点的方向

基于图像局部区域特征的梯度方向确定特征点方向，使特征点满足旋转不变的特性；

s035：描述特征点

对不同尺度的每个特征点领域测量局部梯度，描述特征点。

需要进一步说明的是，对遥感图像进行形状描述的方法还可以是pca-sift、csift、surf、asift中的任一一种。

s04：对遥感图像进行权重特征融合

参照图5，图5是遥感图像权重特征融合的具体流程图。

s041：随机选取三个权重值

随机选取三个和为1的正值作为特征的权重，计算公式如(9)所示，其中i为提取的特征种类，ri表示第i个权重值，i＝{1,2,3}；

s042：对遥感图像可视特征进行随机权重组合

以随机值的最小值作为颜色特征的权重，以随机值的最大值作为纹理特征的权重，以随机值的中间值作为形状特征的权重，对提取的遥感图像可视特征进行随机权重组合，对提取的遥感图像可视特征进行随机权重组合，计算公式如(10)所示，其中，i＝1时f表示添加权重后的颜色特征向量，i＝2时f表示添加权重后的纹理特征向量，i＝3时f表示添加权重后的形状特征向量。

f＝rifi(10)

s05：对遥感图像进行自动标注

利用(xi,yi)表示遥感图像集合，其中xi代表遥感图像集合中第i幅图像，yi＝{yi¹,yi²...,yi^l}代表该幅遥感图像对应的标注词集。l表示图像的标注词个数，所有的遥感图像语义标注词个数是相同的，其中yi^j值为1的话，表明第j个语义标注词可以标注给第i幅遥感图像，利用svm分类器对遥感图像进行自动标注。

实施例4

本发明的一种基于权重特征融合的遥感图像自动标注方法的具体实施例。

选取需要进行标注的遥感图像，对该遥感图像进行以下步骤：

s01：对遥感图像进行颜色描述

s011：将遥感图像从rgb颜色空间转换至hsv颜色空间，转换公式为

s012：对处于hsv颜色空间的遥感图像计算一阶矩、二阶矩、三阶矩，h分量的一阶矩、二阶矩、三阶矩分别为s分量的一阶矩、二阶矩、三阶矩分别为v分量的一阶矩、二阶矩、三阶矩分别为

s013：将h分量、s分量、v分量以及相应分量的一阶矩、二阶矩、三阶矩的值共同组成图像的颜色特征向量。

s02：对遥感图像进行纹理描述

参照图4，图4是遥感图像的纹理描述的流程图。

s021：对遥感图像进行判断，该遥感图像不是灰度图像，；

s022：对遥感图像进行灰度转换，转换公式为gray＝0.3*r+0.59*g+0.11*b，转换后的遥感图像灰度级为256级；

s023：对遥感图像进灰度级量化

将遥感图像灰度级降到16级；

s024：计算遥感图像的灰度共生矩阵

取距离为1，方向分别为0°、45°、90°、135°，计算共生矩阵，进行归一化处理，构造四个方向的共生矩阵；

s025：计算灰度共生矩阵的特征量

选取灰度共生矩阵的四个特征向量，分别为能量、熵、惯性矩、相关；

s026：计算特征量的平均值和标准差，组成纹理特征向量

计算四个共生矩阵的能量、熵、惯性矩、相关的平均值和标准差，共同组成纹理特征向量。

s03：对遥感图像进行形状描述

利用sift方法对遥感图像进行形状描述。

s031：构建图像尺度空间；

s032：对图像尺度空间进行极值检测

对尺度空间中所有图像进行搜索，采用高斯微分函数获得尺度、旋转不变的极值点，检测出尺度空间的极值；

s033：寻找稳定的特征点位置

对图像进行高斯模糊，平滑区域的点经模糊后变化较小，边缘、角等区域变化较大，根据这些点在高斯模糊下的稳定情况，准确找到稳定的特征点位置；

s034：确定特征点的方向

基于图像局部区域特征的梯度方向确定特征点方向，使特征点满足旋转不变的特性；

s035：描述特征点

对不同尺度的每个特征点领域测量局部梯度，描述特征点。

s04：对遥感图像进行权重特征融合

s041：随机选取三个权重值

选取r1＝0.2、r2＝0.5、r3＝0.3分别表示颜色特征、纹理特征、形状特征的权重值；

s042：对遥感图像可视特征进行随机权重组合

添加权重后的颜色特征向量为f＝0.2f1，添加权重后的纹理特征向量为f＝0.5f2，添加权重后的形状特征向量为f＝0.3f3，将三个特征向量进行融合，组成遥感图像特征描述符。

s05：对遥感图像进行自动标注

根据特征的随机权重融合，兼顾遥感图像特征之间的关系，利用svm分类器对遥感图像进行自动标注。

实施例5

本发明的一种基于权重特征融合的遥感图像自动标注方法的具体实施例。

选取需要进行标注的遥感图像，对该遥感图像进行以下步骤：

s01：对遥感图像进行颜色描述

s011：将遥感图像从rgb颜色空间转换至hsv颜色空间，转换公式为

s012：对处于hsv颜色空间的遥感图像计算一阶矩、二阶矩、三阶矩，h分量的一阶矩、二阶矩、三阶矩分别为s分量的一阶矩、二阶矩、三阶矩分别为v分量的一阶矩、二阶矩、三阶矩分别为

s013：将h分量、s分量、v分量以及相应分量的一阶矩、二阶矩、三阶矩的值共同组成图像的颜色特征向量。

s02：对遥感图像进行纹理描述

s021：对遥感图像进行判断，该遥感图像不是灰度图像，；

s022：对遥感图像进行灰度转换，转换公式为gray＝0.3*r+0.59*g+0.11*b，转换后的遥感图像灰度级为128级；

s023：对遥感图像进灰度级量化

将遥感图像灰度级降到8级；

s024：计算遥感图像的灰度共生矩阵

取距离为1，方向分别为0°、45°、90°、135°，计算共生矩阵，进行归一化处理，构造四个方向的共生矩阵；

s025：计算灰度共生矩阵的特征量

选取灰度共生矩阵的四个特征向量，分别为能量、熵、惯性矩、相关；

s026：计算特征量的平均值和标准差，组成纹理特征向量

计算四个共生矩阵的能量、熵、惯性矩、相关的平均值和标准差，共同组成纹理特征向量。

s03：对遥感图像进行形状描述

利用sift方法对遥感图像进行形状描述。

s031：构建图像尺度空间；

s032：对图像尺度空间进行极值检测

对尺度空间中所有图像进行搜索，采用高斯微分函数获得尺度、旋转不变的极值点，检测出尺度空间的极值；

s033：寻找稳定的特征点位置

对图像进行高斯模糊，平滑区域的点经模糊后变化较小，边缘、角等区域变化较大，根据这些点在高斯模糊下的稳定情况，准确找到稳定的特征点位置；

s034：确定特征点的方向

基于图像局部区域特征的梯度方向确定特征点方向，使特征点满足旋转不变的特性；

s035：描述特征点

对不同尺度的每个特征点领域测量局部梯度，描述特征点。

s04：对遥感图像进行权重特征融合

s041：随机选取三个权重值

选取r1＝0.25、r2＝0.4、r3＝0.35分别表示颜色特征、纹理特征、形状特征的权重值；

s042：对遥感图像可视特征进行随机权重组合

添加权重后的颜色特征向量为f＝0.25f1，添加权重后的纹理特征向量为f＝0.4f2，添加权重后的形状特征向量为f＝0.35f3，将三个特征向量进行融合，组成遥感图像特征描述符。

s05：对遥感图像进行自动标注

根据特征的随机权重融合，兼顾遥感图像特征之间的关系，利用svm分类器对遥感图像进行自动标注。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。