基于dbnmi模型实现遥感影像自动标注的方法
【专利摘要】本发明涉及一种基于DBNMI模型实现遥感影像自动标注的方法，其中包括对初始输入遥感影像进行自适应分割，粗粒度划分遥感影像背景区域和对象区域；针对划分出的遥感影像的对象区域，利用多示例多标签技术表示；针对遥感影像的对象区域的低层视觉特征和高层语义概念间关系，基于DBNMI模型进行自动建模；定量计算标注词间共现和对立的语义关系。采用该种基于DBNMI模型实现遥感影像自动标注的方法，针对海洋遥感影像语义标注任务感兴趣的区域仅占影像很小一部分，提出一种基于DBNMI的遥感影像语义自动标注模型，有效提高影像自动标注的精度，具有更广泛的应用范围。
【专利说明】
基于DBNMI模型实现遥感影像自动标注的方法
技术领域
[0001] 本发明涉及图像处理技术领域，尤其涉及海洋遥感影响标注技术领域，具体是指 一种基于DBNMI模型实现遥感影像自动标注的方法。
【背景技术】
[0002] 遥感影像语义自动标注是让机器通过学习已知语义标签的影像示例，然后使用语 义概念表示一副未标注遥感影像的内容。随着多颗海洋遥感卫星的发射（如SeaStar、 GEOSAT、ERS-n、HY-I到HY-3等卫星），海洋遥感影像数量爆炸性增长。通过遥感影像语义标 注，可以实现遥感影像数据分析、索引和检索等任务，高效利用遥感影像。人工标注的方法 存在主观性和不精确性，费时费力，已不能满足当今"大数据"时代。机器学习等理论的发 展，使得遥感影像语义自动标注成为一大研究方向。
[0003] 现有遥感影像语义标注方法主要从以下方面着手:特征提取、分类模型、高层语义 划分层次等。Bratasanu等人提出一种将相同语义概念的像素组合到一起的映射方式，完成 无语义底层特征到光谱语义索引映射再到人类理解的高层语义的映射。Lignou等人对每个 概念给定一个训练集，利用最大似然方法给未知图像分配概率，基于潜在狄利克雷分配模 型（Latent Dirichlet Allocation,简称LDA)模型进行学习。Chen等人在第一层利用多示 例多标签学习（multi-instance multi-label learning ,MIML)框架进行高分辨率遥感影 像标注，第二层采用多尺度分层语义信息模拟示例在MML的空间关系，第三层利用非参数 概率模型合并可能的类。杨阳等人提出改进的深度学习模型，将图像的标注信息视为图像 的类别信息，对图像特征关注不足。由于语义鸿沟的存在，影像语义的自动标注性能亟待提 尚。
[0004] 遥感影像具有丰富的空间结构信息和地理特征信息，而海洋遥感影像语义标注任 务感兴趣的区域仅占影像很小一部分。一副遥感影像的不同区域对语义相似性度量的贡献 程度不同，海洋遥感影像中"对象区域"比"背景区域"的贡献要大很多，现有工作对海洋遥 感影像结构的复杂性考虑不多。遥感影像标注词汇之间存在着多种多样的语义层次和关 系，包括相近、对立、包容等。比如，一副遥感影像已被标注为"轮船"、"海水"等词汇后，"港 口"作为该影像标注词汇的概率就会相应提升。
【发明内容】
[0005] 本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现针对海洋遥感 影像语义标注任务感兴趣的区域仅占影像很小一部分、提高了海洋遥感影像自动标注的精 度的基于DBNMI模型实现遥感影像自动标注的方法。
[0006] 为了实现上述目的，本发明具有如下构成：
[0007]该基于DB匪I模型实现遥感影像自动标注的方法，其主要特点是，所述的方法包括 以下步骤：
[0008] (1)对初始输入遥感影像进行自适应分割，粗粒度划分遥感影像背景区域和对象 区域；
[0009] (2)针对划分出的遥感影像的对象区域，利用多示例多标签技术表示；
[0010] (3)针对遥感影像的对象区域的低层视觉特征和高层语义概念间关系，基于DB匪I 模型进行自动建模；
[0011] (4)定量计算标注词间共现和对立的语义关系。
[0012] 较佳地，所述的遥感影像为海洋遥感影像。
[0013] 较佳地，所述的步骤(1 )，包括以下步骤：
[0014] (1-1)利用小波变换产生多分辨率影像的金字塔形式；
[0015] (1-2)自适应构建不同尺度的影像信息等级结构；
[0016] (1-3)根据影像场景复杂性选择合适的分割尺度，对遥感影像进行分割。
[0017] 较佳地，所述的步骤(2)，包括以下步骤：
[0018] (2-1)采用(X1,L1)表示一幅遥感影像，其中X 1= Ix11A2,…，Xlm}表示示例空间，m 是示例个数，Li= {li1，li2，···，lin}表示标签集，η标签个数；
[0019] (2-2)每幅遥感影像在不同空间尺度中作为一个包，相关的分割区域视为示例，其 中第i层用包Bi= {xil，Xi2，···，Xim}表示；
[0020] (2-3)设置阈值t，计算背景区域与对象区域相似度s，判断s和t的大小关系，如果s 大于预设阈值t时，则第i层包需要继续划分，否则第i层包不需要继续划分。
[0021] 较佳地，所述的步骤(3 )，包括以下步骤：
[0022] (3-1)对遥感影像的对象区域进行特征提取，将提取出的特征作为DBN模型的第一 层，即输入层；
[0023] (3_2)DBN模型对输入数据进行逐层特征变换，将样本在原空间的特征表示变换到 一个新特征空间；
[0024] (3-3)通过受限玻尔兹曼机获得从底层特征到高层语义表达最佳的权值，利用反 向传播网络对深度信念网络进行调优。
[0025] 较佳地，所述的步骤(4)，包括以下步骤：
[0026] (4-1)当F(Bi，L) = 1时，W M表示标注词间共现关系，其中Bi为第i个 包，L代表语义标签集，表示包仏中含有标签1，则该包可以选择该标签所属语义标签集L中 的其他标签；
[0027] (4-2)当F(Bi,Li，L2) = 1时，ν/ι € VW2 ei2，Count(Bi，1ι)^1，Δ (Bi，l2) = 0，表示 标注词间对立关系，其中语义标签集L1，L2属于对立关系，包Bi中含有标签I 1，则该包可以选 择该标签所属语义标签集L1中的其他标签，但不能选择语义标签集L2中的标签。
[0028] 较佳地，所述的方法在Matlab实验平台上进行。
[0029]采用了该发明中的基于DB匪I模型实现遥感影像自动标注的方法，针对海洋遥感 影像语义标注任务感兴趣的区域仅占影像很小一部分，提出一种基于DBNMK深度信念网络 多示例）的遥感影像语义自动标注模型，对初始输入遥感影像进行自适应分割，粗粒度划分 海洋遥感影像背景区域和对象区域，针对影像对象区域的低层视觉特征和高层语义概念间 关系，基于受限玻尔兹曼机的深度信念网络模型进行自动建模，定量计算标注词间共现和 对立的语义关系，有效提高影像自动标注的精度，具有更广泛的应用范围。
【附图说明】
[0030] 图1为本发明的各个分割区域的示意图。
[0031] 图2为本发明的利用反向传播网络对深度信念网络进行调优的流程图。
[0032] 图3为本发明的通过学习到的标注模型完成新影像的语义标注的流程图。
[0033] 图4为本发明的遥感影像自动标注的方法的流程图。
【具体实施方式】
[0034]为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的 描述。
[0035] 本发明解决上述问题所采用的技术方案是，具体步骤如下：
[0036] 步骤一，对初始输入海洋遥感影像进行自适应分割，粗粒度划分遥感影像背景区 域和对象区域；
[0037] 步骤二，针对划分出的海洋遥感影像的对象区域，利用多示例表示；
[0038] 步骤三，针对遥感影像对象区域的低层视觉特征和高层语义概念间关系，基于 DBWI模型进行自动建模；
[0039] 步骤四，定量计算标注词间共现和对立的语义关系。
[0040] 在一种较佳的实施方式中，步骤一中利用小波变换产生多分辨率影像的金字塔形 式，自适应构建不同尺度的影像信息等级结构，实现遥感影像信息在不同尺度层之间的传 递。其实现方式如下，
[0041]根据影像场景复杂性选择合适的分割尺度，简单场景选择大的尺度，复杂场景选 择小的尺度；
[0042]小波变换能提供影像在不同分辨率下的表达，实现影像按照不同尺度和位移的分 解。
[0043]在一种较佳的实施方式中，步骤二中利用多示例多标签(M頂L)技术表示海洋遥感 影像对象区域，其实现方式如下，
[0044] 采用(Xi,Li)表示一幅遥感影像，其中Xi= {xi1 ,Xi2,…，xim}表示示例空间，m是示例 个数，Li= Ili1JiV"，lin}表示标签集，η标签个数；
[0045] 每幅影像在不同空间尺度中作为一个包（bag)，相关的分割区域视为示例 (instances)，其中第i层用包Bi= {Xii，Xi2，···，xim}。自适应设置阈值t，计算背景区域与对 象区域相似度s，若s大于预设阈值t时，第i层包需要继续划分，小于阈值t时则不需要。
[0046] 而且，步骤三中针对影像对象区域的低层视觉特征和高层语义概念间关系，基于 DB匪I模型进行自动建模，其实现方式如下，
[0047] 对通过小波变换生成的遥感影像对象区域进行特征提取，将提取出的特征作为 DBN的第一层，即输入层；
[0048] DBN模型对输入数据进行逐层特征变换，将样本在原空间的特征表示变换到一个 新特征空间；
[0049]通过受限玻尔兹曼机获得从底层特征到高层语义表达最佳的权值，利用反向传播 网络对深度信念网络进行调优，实现基于受限玻尔兹曼机的深度信念网络模型自动标注。
[0050] 在一种较佳的实施方式中，步骤四中定量计算标注词间共现和对立的语义关系， 其实现方式如下，
[0051] 当F (B i，L) = 1时，W _e_4, /) 21_表示标注词间共现关系。其中B i为第i个包，L 代表语义标签集。表示包仏中含有标签1，则该包可以选择该标签所属语义标签集L中的其 他标签；
[0052] 当F(Bi，Li，L2) = 1时，wi eA，W2 ei2，c〇unt(Bi, Ii)彡1，Δ (Bi, 12) = 0,表示标注词 间对立关系。其中语义标签集L1 ,L2属于对立关系，包Bi中含有标签I1，则该包可以选择该标 签所属语义标签集L 1中的其他标签，但不能选择语义标签集L2中的标签。
[0053]下面以一个具体实施例来进一步介绍本发明：
[0054] 本发明在Matlab2013a实验平台上进行实现，主要包括三个步骤，具体如下：
[0055] 每幅遥感影像利用小波金字塔方法进行3层分辨率预处理，得到不同分辨率尺度 下的影像；
[0056] 在不同空间尺度上对遥感影像进行粗粒度分割，影像视为包，相关的分割区域视 为示例，每个包由2-10个示例组成，如图1所示。其中第i层用包Bi = {xu，xi2,…，xim}表示。 设置阈值t，计算背景区域与对象区域相似度s，若s大于预设阈值t时，第i层包需要继续划 分，小于阈值t时则不需要。
[0057] 训练集每一幅遥感影像用(Xi，U)表示，其中&={。#2，~，以}表示示例空间，!11 是示例个数，Li ={ Ii1，Ii2，…，Iin}表示标签集，η标签个数。旨在从训练集中得到一个函数： 这里输入是一幅遥感影像产生的示例空间X 1，输出是该幅遥感影像对应的标 签集U。
[0058]将每一幅遥感影像提取出的特征数据，组合成一维向量。所有训练集影像特征数 据组合成矩阵，每一行代表一副遥感影像的提取的特征。将矩阵所有值按行归一化至[0，1] 范围，作为DBN模型的第一层，即输入层。
[0059]当给定可见层节点的状态时，各个隐含层节点的激活状态之间是相互独立的，即： 滩* IV) =TTf (A/h，)。当给定隐含层节点的状态时，各个可见层节点的激活状态之间是相互 独立的，即：尸(十> =Τ?'(ν; IΛ),受限玻尔兹曼机的可见层输入为Ve {〇，1}二元变量，假设 每个神经元遵循伯努利分布，定义该模型的能量函数如下:你 其中0 = {a，b，W}是模型的参数。可得到(v，h)的联合概率分布为 为归一化常数。
[0060] 对输入数据进行逐层特征变换，将样本在原空间的特征表示变换到一个新特征空 间；通过受限玻尔兹曼机获得从底层特征到高层语义表达最佳的权值，利用反向传播网络 对深度信念网络进行调优，采用迭代的方式进行训练，目标在于学习出参数9 = {a，b，w}的 值，如图2所示。
[0061] 对任意两个标注词同时出现的概率进行定量计算，用B1表示第i个包，L表示语义 标签集，通过标注F(B i，L) = 1，表示标注词间具有共现关系，即W e A C__,、/) M，表示包Bi 中含有标签1，则该包可以选择该标签所属语义标签集L中的其他标签；
[0062] 对任意两个标注词不会同时出现的概率进行定量计算，用B1表示第i个包，语义标 签集Li，L2属于对立关系，通过标注F(Bi ,Li，L2) = 1，表示标注词间具有对立关系，即 ▽A ei^VVeJ^Count(BiJ1)彡1，Δ (Bi, 12)=〇,包Bi中含有标签I1JlJ该包可以选择该标签 所属语义标签集1^中的其他标签，但不能选择语义标签集L2中的标签。
[0063]本发明提出一种基于深度信念网络多示例（DB匪I)的遥感影像语义自动标注模 型，旨在提高标注的精度。实现过程如图3所示，利用训练集影像对低层视觉特征和高层语 义概念关系进行自动建模，通过学习到的标注模型完成新影像的语义标注。
[0064]采用了该发明中的基于DBNMI模型实现遥感影像自动标注的方法，针对海洋遥感 影像语义标注任务感兴趣的区域仅占影像很小一部分，提出一种基于深度信念网络多示例 的遥感影像语义自动标注模型，对初始输入遥感影像进行自适应分割，粗粒度划分海洋遥 感影像背景区域和对象区域，针对影像对象区域的低层视觉特征和高层语义概念间关系， 基于受限玻尔兹曼机的深度信念网络模型进行自动建模，定量计算标注词间共现和对立的 语义关系，有效提高影像自动标注的精度，具有更广泛的应用范围。
[0065]在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出 各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的 而非限制性的。
【主权项】
1. 一种基于DBNMI模型实现遥感影像自动标注的方法，其特征在于，所述的方法包括以 下步骤： (1) 对初始输入遥感影像进行自适应分割，粗粒度划分遥感影像背景区域和对象区域； (2) 针对划分出的遥感影像的对象区域，利用多示例多标签技术表示； (3) 针对遥感影像的对象区域的低层视觉特征和高层语义概念间关系，基于DBNMI模型 进行自动建模； (4) 定量计算标注词间共现和对立的语义关系。2. 根据权利要求1所述的基于DBNMI模型实现遥感影像自动标注的方法，其特征在于， 所述的遥感影像为海洋遥感影像。3. 根据权利要求1所述的基于DBNMI模型实现遥感影像自动标注的方法，其特征在于， 所述的步骤(1)，包括以下步骤： (1-1)利用小波变换产生多分辨率影像的金字塔形式； (1-2)自适应构建不同尺度的影像信息等级结构； (1-3)根据影像场景复杂性选择合适的分割尺度，对遥感影像进行分割。4. 根据权利要求1所述的基于DBNMI模型实现遥感影像自动标注的方法，其特征在于， 所述的步骤(2)，包括以下步骤： (2-1)采用(Xi，Li)表示一幅遥感影像，其中Xi = {xi^xi2,…，xim}表示示例空间，m是示 例个数，U = {1 i1，1 i2，…，1 in}表示标签集，η标签个数； (2-2)每幅遥感影像在不同空间尺度中作为一个包，相关的分割区域视为示例，其中第 i层用包Bi= {xil，Xi2，···，Xim}表示； (2-3)设置阈值t，计算背景区域与对象区域相似度S，判断S和t的大小关系，如果S大于 预设阈值t时，则第i层包需要继续划分，否则第i层包不需要继续划分。5. 根据权利要求1所述的基于DBNMI模型实现遥感影像自动标注的方法，其特征在于， 所述的步骤(3)，包括以下步骤： (3-1)对遥感影像的对象区域进行特征提取，将提取出的特征作为DBN模型的第一层， 即输入层； (3-2)DBN模型对输入数据进行逐层特征变换，将样本在原空间的特征表示变换到一个 新特征空间； (3-3)通过受限玻尔兹曼机获得从底层特征到高层语义表达最佳的权值，利用反向传 播网络对深度信念网络进行调优。6. 根据权利要求1所述的基于DBNMI模型实现遥感影像自动标注的方法，其特征在于， 所述的步骤(4)，包括以下步骤： (4-1)当F(Bi，L) = 1时，V/ s二(：_吵,、/) N表示标注词间共现关系，其中Bi为第i个包，L 代表语义标签集，表示包仏中含有标签1，则该包可以选择该标签所属语义标签集L中的其 他标签； (4-2)当F(Bi，Li，L2) = l时，v/i eii'v/2 e'2，Count(Bi，li)彡1，Δ (Bi，l2)=〇,表示标注词 间对立关系，其中语义标签集1^丄2属于对立关系，包Bi中含有标签h，则该包可以选择该标 签所属语义标签集Li中的其他标签，但不能选择语义标签集L 2中的标签。7. 根据权利要求1所述的基于DBNMI模型实现遥感影像自动标注的方法，其特征在于， 所述的方法在Matlab实验平台上进行。
【文档编号】G06K9/62GK106056609SQ201610383452
【公开日】2016年10月26日
【申请日】2016年6月2日
【发明人】黄冬梅, 许琼琼, 杜艳玲, 贺琪, 朱建钢, 田为民
【申请人】上海海洋大学