专利名称：一种基于对象语义树模型的遥感人造地物目标识别方法
技术领域：
本发明涉及遥感图像信息处理领域中关于目标识别的方法，尤其是一种通过构建目标的对象语义树模型来实现对高分辨率遥感图像中人造地物目标进行识别的方法，是一种综合利用图像空间结构和目标类别语义信息来进行高分辨率遥感图像中人造地物目标识别的方法。
背景技术：
随着遥感图像处理技术的发展迅速，部分卫星影像的地面分辨率已经达到米级、 甚至厘米级，能及时、准确地提供大量多时相、多波段的地物目标观测数据。单纯依赖人工目视对遥感图像进行解译，提取并识别图像中的人造地物目标，耗时多、周期长，准确率也欠佳。如何提高遥感图像中人造地物目标识别方法的自动化程度，将人从枯燥烦杂的图像判读工作中解放出来，并突破图像数据向有价值信息转化的瓶颈，已成为当前遥感图像信息处理领域的一个热点问题。传统的地物目标识别方法往往通过在图像中寻找特定形状的元素，如直线、圆弧、 多边形等，然后分析元素间的几何特性来提取目标。这类方法对每类目标都需要一个对应的模板，而且忽略了地物间的空间关系，在识别复杂结构目标时效率较低。部分方法通过对图像区域进行统计，将其表达为边界、纹理、色彩等特征向量形式，并采用自下而上的判别式方法分类标记。这种处理方式简单直接，能快速预测给定图像中的目标类别及位置。但是由于得到的主要是较低层次局部信息，缺乏对目标的整体性描述，并且在学习过程中容易出现训练不足的情况，导致分类精度下降。近年来，不少国内外学者提出将地物目标视为由若干子目标或部件组成，通过产生式方法自上而下地对图像和目标建模，分析目标部件间存在的关联语义，并得到了广泛的关注。针对不同目标的结构特性，Fergus和Perona等提出了星座模型，将目标模型视为包括一系列片段的组合，每个部分具有各自的特性，通过最大化模型似然函数以实现对目标类型的学习与识别。Agarwal等提出了基于稀疏结构图的处理框架，通过无监督的学习得到特定目标的类别信息。然而，这类方法通常基于较强的先验约束条件，模型在不同类别目标中的通用性受到限制。PariW1等提出以一种松散的序列结构来存储目标间的语义关系， 通过区域的配对计算来获取目标各个子部分的属性，实现了对多类目标的识别。Simon和 kitz提出利用颜色、空间分布两类简单的局部特征处理问题的一个复杂的概率产生式模型，克服了前景目标部分信息缺失对检测结果的影响，提高了检测结果的准确率，但是对目标部件的选择往往是随机的，因此部件具有的特性不够单一，对训练样本的需求量比较大， 影响计算效率。为此，Fidler和Berginc等提出在分等级框架下，以无监督的方式通过相邻层之间的继承关系限定目标片段的结构及位置等信息，实现对目标的识别。类似的，Leibe 和Leonardis拓展了隐含形状模型，联合模板匹配的整体信息与部件的结构信息，可用于不同类别目标的分割检测。由于先验知识的弱化，为了保证识别精度，这类模型一般复杂度较高，而且方法中还需要在样本图像中详细标注出目标的类别和具体位置，增加了训练的工作量。
发明内容
本发明的目的在于提供一种基于对象语义树模型的遥感人造地物目标识别方法， 以解决如何综合利用图像空间结构和目标类别语义信息来进行高分辨率遥感图像中人造地物目标的自动识别。为实现上述目的，本发明提供的基于对象语义树模型的遥感人造地物目标识别方法，首先通过多尺度分割，获取图像的语义树结构，并采用隐含语义对象作为树结点，以概率直方图的形式表达对象内包含的隐含特征和语义规律；然后将树结构转化为有向无环图，通过匹配学习的方式提取同类目标间的共有最大子树；最终由这些子树组建构成目标的语义树，用于抽象描述目标的特征和属性，进而完成目标的识别和提取。本发明克服了现有高分辨率遥感图像中人造地物目标识别方法中存在的误检和漏检问题，提高了识别的准确性和智能性，减少了人工参与的程度，能够满足复杂结构目标的识别和图像解译需求。本发明的技术方案如下第一步，建立高分辨率遥感地物目标代表图像集。方法是1. 1、根据需要定义J个遥感地物目标类别，类别编号为1 J，J为自然数；1. 2、对每个遥感地物目标类别，选取多幅(比如200幅)图像作为该类目标的代表图像；1. 3、对每幅遥感地物目标代表图像进行标绘，标记出目标所在的区域范围；1. 4、将所有J类目标的代表图像合并为高分辨率遥感地物目标代表图像集；第二步，对高分辨率遥感地物目标代表图像集中的图像采用多尺度方法进行分割，得到每幅图像的对象树，具体方法如下2. 1、利用指数函数定义线性尺度空间，在尺度&和层次1间构建关系，并计算图像各个层次的分割对象块数K1 ；2.2、将给定的第1层图像视为四向连接图，把似1~11^11狀(1-(3肚分割算法与每层分割对象块数K1相关联，获取图像分割结果，从1-1层开始，依据上一层分割结果，生成新的连接图继续粗化分割，由上到下递归处理构建对象分割树；第三步，采用LDA (Latent Dirichlet Allocation)方法对对象树中每一个结点建模，计算树结点对象内包含的隐含类别语义特征，具体方法如下；3. 1、对于分割树中的每一个结点对象，在对象所在区域中计算局部梯度方向直方图得到SIFT特征，该SIFT特征为一个1 维的特征向量；3. 2、使用K-Means聚类方法对代表集中所有图像各个层次上的SIFT特征进行量化，每个聚类中心的取值对应一个视觉单词，构成通用视觉词汇表，可通过改变聚类中心个数调整单词个数N，一般N取值为500至3000之间；3. 3、对分割树中的每一个结点对象进行视觉单词映射描述，应用LDA分析方法对每一个结点对象构建模型，求解模型参数后计算得到每一个结点对象内包含的隐含主题类别概率分布，具体包括以下步骤3. 3. 1、约定映射关系，即令特征描述子对应视觉单词w，为N个单词集合中的一项，结点对象对应文档D，由M个单词序列D = Iw1, w2，. .，wM}组成；
3. 3. 2、随机生成一个IXk的向量θ，该向量服从Dirichlet分布，k为主题个数， 选择主题\服从多项式分布，选择单词Wn的分布P(wn|zn，β)为主题\的多项式条件分布，单词的概率参数β为kXN矩阵，其中^ij = p(wj = Ilzi = 1)；3. 3. 3、获取结点对象中主题Z、N个单词w及混合参数θ的联合分布，通过变分EM 的方法求解LDA模型中控制参数(α，β)的解，其中α反映了图像集合中隐含主题间的相对强弱，β刻画所有隐含主题自身的概率分布；3. 4、解得模型参数后，得到每一个对象包含各个类别主题的概率分布，以类别直方图的形式表示；第四步，获取代表集中所有图像的对象树集合7 =仏，/2，...^；[，对每一对对象树 [tX) e Τχ Γ进行匹配学习，从中提取出共有最大子树，具体方法如下4. 1、优化分割对象树，考察每个树中的每一对相邻结点，当其满足合并条件时，将两个结点合并为一个结点，以父对象结点的形式插入到待合并区域的上一级，将树结构转换为有向无环图的形式；4. 2、在每个有向无环图的上下级结点中添加新边，构建传递闭包(Transitive Closure)，实现结点间和子结点间的匹配；4. 3、将所有分割树TxT转换而成的有向无环图逐个配对，使用编辑距离操作计算相似匹配度，所有编辑操作的代价总和相加，得到两个有向无环图的最终相似度量； 对于J幅遥感地物目标代表图像，共计获得J(J-I)个树对用于计算子树的相似度，当相似度大于相似阈值thsimi时，认为该子树是体现目标共有子目标或部件的区域，建议取thsimi 值为0. 5 ；第五步，采用逐步添加法将所有最大共有子树组合在一起，形成描述目标类别的对象语义树，具体方法如下5.1、给定子树t和t'，组合树为7=^1^(卜0仏2(广^，其中ε1= ε (τ ,t),
ε2= ε (τ, t')，依次从 中选取一个新的子树t，与已有的组合树一“)相匹配，形成新的组合树一⑷)；5.2、对于树结点ve<Tw的区域属性Vv，记录之前各轮迭代中结点v’e<r的区域属
性值的集合1>ν, }，然后取Vv为集合中所有属性的均值；5. 3、由于取出子树顺序的不同会影响组合结果的不同，随机选定三种组合顺序， 计算组合树的匹配熵，选取匹配熵最小值所对应的结果为目标类别最终的对象语义树；第六步，根据对象语义树对人造地物目标进行识别按照本发明第二、三步所述获得待识别图像的对象树结构，从该对象树中自上而下选取子树t1; t2，...、，提交给对象语义树模型，获得各个子树的匹配相似度S1, s2,...、，选取最优相似= arg HiaxsS1对应的子树即为目标所在的结构，还原对应的对象结点，即可得到目标的所在区域。所述的方法，其所述步骤2. 1中的尺度&和层次1存在如下关系S1 = μ 1 = 1,2, . . . , L (1)其中μ为尺度因子，由此可以得到图像各个层次的分割块数K1
权利要求
1.一种基于对象语义树模型的遥感图像人造地物目标识别方法，包括以下主要步骤 第一步，建立遥感地物目标代表图像集；第二步，对遥感地物目标代表图像集中的图像采用多尺度方法进行分割，得到每幅图像的对象树；第三步，采用LDA方法对对象树中每一个结点建模，计算树结点对象内包含的隐含类别语义特征；第四步，获取代表集中所有图像的对象树集合T ={t1,t2,...tM}，对每一对对象树(t,t'))eTxT进行匹配学习，从中提取出共有最大子树；第五步，采用逐步添加法将所有最大共有子树组合在一起，形成描述目标类别的对象语义树；第六步，根据对象语义树对人造地物目标进行识别，得到目标的所在区域。
2.如权利要求1所述的方法，其中， 第一步包括·1.1)根据需要定义J个遥感地物目标类别，类别编号为1 J，J为自然数； ·1. 2)对每个遥感地物目标类别，选取多幅图像作为该类目标的代表图像； ·1. 3)对每幅遥感地物目标代表图像进行标绘，标记出目标所在的区域范围；·1.4)将所有J类目标的代表图像合并为遥感地物目标代表图像集； 第二步包括·2.1)利用指数函数定义线性尺度空间，在尺度S1和层次1间构建关系，并计算图像各个层次的分割对象块数K1 ；·2.2)将给定的第1层图像视为四向连接图，把Normalized-cut分割算法与每层分割对象块数K1相关联，获取图像分割结果，从1-1层开始，依据上一层分割结果，生成新的连接图继续粗化分割，由上到下递归处理构建对象分割树；第三步包括·3.1)对于分割树中的每一个结点对象，在对象所在区域中计算局部梯度方向直方图得到SIFT特征，该SIFT特征为一个1 维的特征向量；·3. 2)使用K-Means聚类方法对代表集中所有图像各个层次上的SIFT特征进行量化，每个聚类中心的取值对应一个视觉单词，构成通用视觉词汇表，可通过改变聚类中心个数调整单词个数N，N取值范围为500至3000之间；·3. 3)对分割树中的每一个结点对象进行视觉单词映射描述，应用LDA分析方法对每一个结点对象构建模型，求解模型参数后计算得到每一个结点对象内包含的隐含主题类别概率分布，步骤如下·3. 3. 1)约定映射关系，令特征描述子对应视觉单词w，为N个单词集合中的一项，结点对象对应文档D，由M个单词序列D = {w1, w2，...Wm}，组成；·3.3.2)随机生成一个IXk的向量θ，该向量服从Dirichlet分布，k为主题个数，选择主题Zn服从多项式分布，选择单词Wn的分布P(wn zn，β)为主题\的多项式条件分布， 单词的概率参数β为kXN矩阵，其中βij = p(wj = 1|zi = 1)；·3.3.3)获取结点对象中主题Z、N个单词w及混合参数θ的联合分布，通过变分EM的方法求解LDA模型中控制参数(α，β)的解，其中α反映了图像集合中隐含主题间的相对强弱，β刻画所有隐含主题自身的概率分布；3.3. 4)解得模型参数后，得到每一个对象包含各个类别主题的概率分布，以类别直方图的形式表示；第四步包括4.1)优化分割对象树，考察每个树中的每一对相邻结点，当其满足合并条件时，将两个结点合并为一个结点，以父对象结点的形式插入到待合并区域的上一级，将树结构转换为有向无环图的形式；4.2)在每个有向无环图的上下级结点中添加新边，构建传递闭包，实现结点间和子结点间的匹配；4.3)将所有分割树(t,t')eTxT转换而成的有向无环图逐个配对，使用编辑距离操作计算相似匹配度，所有编辑操作的代价总和相加，得到两个有向无环图的最终相似度量；对于J幅遥感地物目标代表图像，共计获得J(J-I)个树对用于计算子树的相似度，当相似度大于相似阈值thsimi时，认为该子树是体现目标共有子目标或部件的区域，相似阈值取值为 0. 5 ；第五步包括5.1)给定子树t和t'，组合树为
3.如权利要求2所述的方法，其中，所述步骤2.1中的尺度&和层次1存在如下关系S1=UL-1 1=1,2,....L(1)其中μ为尺度因子，由此可以得到图像各个层次的分割块数k1
4.如权利要求2所述的方法，其中，所述步骤2.2在计算分割结果时，将图像视为四向连接图G = (V，Ε)，V为代表像素的结点集，E为相邻结点的连接边集，然后按照分割数K1, 利用Normalized-cut算法求解分割
5.如权利要求2所述的方法，其中，所述步骤2.2中，图像中L个层次的尺度序列以尺 度因子P逐层递减，尺度因子u≥3。
6.如权利要求2所述的方法，其中，所述步骤3.3. 3在求解LDA模型中控制參数吋，可 以获得结点对象中主题z、N个单词w及混合參数θ的联合分布
7.如权利要求2所述的方法，其中，所述步骤4.1中，对于考察的任意每ー对相邻的两 个结点R1和R2，当且仅当满足三个合并条件吋，可以合并为ー个结点。这三个合并条件分 别是:R1和R2位于同一尺度级别中;R1和R2属于同一父对象，且两者边界相邻;R1和R2的 属性向量C1和C2满足DKl(C1|c2) < thmerge，其中，Dkl为KL散度，thmerge为合并阈值，并阈 值为0.2。
8.如权利要求2所述的方法，其中，所述步骤4.3在计算相似匹配度吋，对于 给定的两个有向无环图t = (V，E，φ)和t ‘ = (V ‘ , E ‘ , φ')，通过最大化相 似度量Stt,寻找满足要求的同构子树tisoU-U'，其中，V和E为对象结点和边界 的集合，φ为结点特征属性φv的向量，U=V、U'=V'，相似度Stt,的定义如下
9.如权利要求2所述的方法，其中，所述步骤5. 3中的匹配熵为
全文摘要
一种基于对象语义树模型的遥感图像人造地物目标识别方法，步骤为建立遥感地物目标代表图像集；对遥感地物目标代表图像集中的图像采用多尺度方法进行分割，得到每幅图像的对象树；采用LDA方法对对象树中每一个结点建模，计算树结点对象内包含的隐含类别语义特征；获取代表集中所有图像的对象树集合对每一对对象树进行匹配学习，从中提取出共有最大子树；采用逐步添加法将所有最大共有子树组合在一起，形成描述目标类别的对象语义树；根据对象语义树对人造地物目标进行识别，得到目标的所在区域。本发明能有效处理绝大多数高分辨率遥感图像下的人造地物目标，识别结果准确、鲁棒性好、适用性高，减少了人工参与程度。
文档编号G06K9/66GK102279929SQ201010207538
公开日2011年12月14日 申请日期2010年6月13日 优先权日2010年6月13日
发明者付琨, 孙显, 王宏琦 申请人:中国科学院电子学研究所