基于对象级关联规则的遥感图像语义检索方法及系统与流程

本发明涉及遥感图像检索
技术领域：
，尤其是涉及一种基于对象级关联规则的遥感图像语义检索方法及系统。
背景技术：
：遥感影像具有影像幅面大，影像内容多且复杂的特点，“同物异谱”和“异物同谱”的现象很普遍，给遥感影像的检索带来较大的难度。影像检索即搜索数据库中含有指定特征或具有相似内容的影像，当前主流的基于内容的影像检索(Content-BasedImageRetrieval，CBIR)方法能综合影像处理、信息检索、机器学习、计算机视觉、人工智能等诸多领域的知识，借助从影像中自动提取的视觉特征作为影像内容的描述；目前，基于内容的影像检索取得了大量的研究成果。视觉特征提取在影像检索中具有重要作用，可以分为两个研究方向，一是研究影像的光谱、纹理、形状等低层视觉特征的提取及相似度度量，包括基于光谱曲线吸收特征提取的高光谱影像检索、利用颜色空间、颜色矩提取颜色特征、利用小波变换、Contourlet变换、Gabor小波、广义高斯模型、纹理谱等方法描述影像的纹理特征、基于像元形状指数、PHOG(PyramidHistogramofOrientedGradients，分层梯度方向直方图)形状与小波金字塔的遥感影像形状特征描述方法等。这类低层视觉特征的应用比较成熟，但是无法描述描述影像的语义信息，其提供的检索结果往往和人脑对遥感影像的认知有相当的差距，并不能完全令人满意。针对这一问题，另一个研究方向即是建立低层视觉特征与语义的映射模型，在语义层次提高影像检索的准确率。主要研究成果包括基于统计学习的语义检索方法，如贝叶斯分类器模型上下文语境的贝叶斯网络、贝叶斯网络与EM(最大期望)参数估计等；基于语义标注的检索方法，如语言索引模型、概念语义分布模型等；基于GIS(地理信息系统，GeographicInformationSystem)辅助的语义检索方法，如利用GIS数据中矢量要素的空间和属性信息引导语义赋予的方法；基于本体论的语义检索方法，如基于视觉对象领域本体的方法、GeoIRIS等。这类方法能够在一定程度上反映人脑对于影像检索的语义理解过程，具有较高的准确率，是未来影像检索的发展趋势。然而目前的语义检索方法往往过于关注低层视觉特征与语义映射模型的构建过程，忽略了所采用的低层视觉特征的种类、语义学习方法等因素，最终影响到语义检索的查准率。近年来，人类视觉感知特性被引入到影像检索领域中，受到广泛的关注，但是这类方法尚处于起步阶段，还有许多问题有待解决：如人眼视觉系统的生理过程、更符合人眼视觉的特征描述方法、自底向上的感知模型、显著特征提取与度量、自顶向下的视觉注意机制等等。另外，针对遥感影像数据检索的典型成果主要包括瑞士RSIAII+III项目，研究基于光谱和纹理特征的多分辨率遥感影像数据的描述和检索；Berkeley数字图书馆项目开发的原型系统Blobworld，它以航空影像、USGS正射影像和地形图，SPOT卫星影像等作为数据源，让用户能够直观地改进检索结果；新加坡南洋理工大学的(RS)2I项目，其研究内容涵盖了遥感影像特征提取与描述、多维索引技术及分布式体系结构设计的众多方面；斯坦福大学的SIMPLIcity，利用一种稳健的综合区域匹配方法(IntegratedRegionMatching，IRM)来定义影像间的相似度，在卫星基于数据挖掘的遥感影像检索中取得不错的结果；微软亚洲研究院的iFind，系统通过影像的标注信息构造语义网络，并在相关反馈中与影像的视觉特征相结合，有效地实现了在两个层次上的相关反馈。这些系统取得了重要成果，但是不论是在特征提取还是在代表性特征选择方面仍需要进一步深入研究。综上所述，不管是基于像素还是面向对象的影像检索方法，大多都关注于影像整体或局部或对象区域的颜色、纹理、形状等低层特征的统计信息。直接基于低层特征的检索方法无法提取感兴趣的目标，缺乏对影像空间信息进行描述的能力，存在特征维数过高、描述不完整、准确性差、缺乏规律性、特征描述与人类认知存在语义差距等缺点。与此同时，基于高层语义信息的遥感影像检索又缺乏成熟的理论和方法。低层特征与高层语义信息之间的“语义鸿沟”，阻碍了遥感影像检索的发展及应用。技术实现要素：有鉴如此，有必要针对现有技术中存在的缺陷，利用关联规则挖掘方法进行影像检索的思路提供一种基于对象级关联规则的遥感图像语义检索方法。为实现上述目的，本发明采用下述技术方案：一种基于对象级关联规则的遥感图像语义检索方法，包括下述步骤：步骤S110：根据所述遥感图像的所属类别选择训练影像，并对所述训练影像进行分割，得到若干对象；步骤S120：根据所述对象的属性，计算每个对象的属性量化值；步骤S130：针对每个对象的属性量化值构建对象事务集，所述对象事务集为对象属性事务集，或者邻接对象事务集；步骤S140：计算所述对象事务集的关联规则；步骤S150：利用机器学习算法将关联规则与所属类别进行训练，得到多种类别的训练模型；步骤S160：对所述遥感图像的所有影像进行上述步骤S110-S140，获取每幅影像的关联规则，并将该关联规则输入步骤S150的训练模型中，输出该影像属于每个类别的隶属度，将所述隶属度值构成的向量作为此影像的语义描述；步骤S170：通过计算两幅影像的语义向量之间的距离，按照距离从小到大的顺序对影像进行排序，输出一定数量的返回影像作为检索结果。在一些实施例中，步骤S110中，采用QuickShift分割算法对所述训练影像进行分割，得到若干对象。在一些实施例中，采用QuickShift分割算法对影像进行分割，得到一系列的对象，分割后影像上的每一个对象可以表达为：O(OID,P,A)(5-1)其中OID是对象的编号，P是属性的集合，P＝{P1,P2,...,Pn}，n为属性的个数，A是邻接对象的集合，A＝{A1,A2,...,Am}，m为邻接对象的个数。在一些实施例中，步骤S120中，所述对象的属性包括：反映对象平均亮度的均值、反映对象纹理特征的标准差及反映了对象的颜色信息的色调。在一些实施例中，步骤S120中，根据所述对象的属性采用均匀分段的方式，将各属性量化到[1,G]的范围，具体为：采用平均压缩的方法，将256个灰度级平均分配到若干个灰度级中，其中G为最大灰度级，G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。在一些实施例中，步骤S120中，根据所述对象的属性采用均匀分段的方式，将各属性量化到[1,G]的范围，具体为，采用线性分段的方法进行压缩，首先计算影像的最大灰度级gMax和最小灰度级gMin，然后利用下式计算压缩后的灰度级：其中G为最大灰度级，G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。在一些实施例中，步骤S140中：利用关联规则挖掘算法计算所述对象事务集的关联规则。在一些实施例中，步骤S150中采用支持向量机算法对所述关联规则及其所属的类别进行训练，得到多种类别的训练模型。在一些实施例中，步骤S170中，通过下述公式计算两幅影像的语义向量之间的距离其中，v1和v2是两个向量，N是向量的长度。另外，本发明还提供了一种基于对象级关联规则的遥感图像语义检索系统，包括：遥感图像分割单元：根据所述遥感图像的所属类别选择训练影像，并对所述训练影像进行分割，得到若干对象；属性量化值计算单元：根据所述对象的属性，计算每个对象的属性量化值；对象事务集构建单元：针对每个对象的属性量化值构建对象事务集，所述对象事务集为对象属性事务集，或者邻接对象事务集；关联规则计算单元：计算所述对象事务集的关联规则；训练模型单元：根据机器学习算法对所述关联规则及其所属的类别进行训练，得到多种类别的训练模型；影像语义描述单元：对所述遥感图像的所有影像重复上述工作，获取每幅影像的关联规则，并将该关联规则输入所述训练模型中，输出该影像属于每个类别的隶属度，将所述隶属度值构成的向量作为此影像的语义描述；语义向量计算单元：通过计算两幅影像的语义向量之间的距离，按照距离从小到大的顺序对影像进行排序，输出一定数量的返回影像作为检索结果。本发明采用上述技术方案的优点是：本发明提供的基于对象级关联规则的遥感图像语义检索方法及系统，根据所述遥感图像的所属类别选择训练影像，并对所述训练影像进行分割，得到若干对象；根据所述对象的属性，计算每个对象的属性量化值；针对每个对象的属性量化值构建对象事务集，计算所述对象事务集的关联规则，根据机器学习算法对所述关联规则及其所属的类别进行训练，得到多种类别的训练模型，对所述遥感图像的所有影像进行上述步骤后获取每幅影像的关联规则，并将该关联规则输入训练模型中，输出该影像属于每个类别的隶属度，将所述隶属度值构成的向量作为此影像的语义描述，通过计算两幅影像的语义向量之间的距离，按照距离从小到大的顺序对影像进行排序，输出的返回影像作为检索结果，与目前检索方法使用低层视觉特征不同，本发明提供的基于对象级关联规则的遥感图像语义检索方法及系统，利用关联规则挖掘方法进行影像检索的思路，从遥感影像中提取隐含的深层次的信息(即关联规则)作为特征，通过概念提升形成语义，为遥感影像的语义检索提供一个新的途径。附图说明图1为本发明实施例提供的基于对象级关联规则的遥感图像语义检索方法的步骤流程图。图2是利用QuickShift算法对遥感影像库中的影像进行分割后的结果。图3为本发明实施例提供的基于对象级关联规则的遥感图像语义检索系统的结构示意图。图4中(a)、(b)、(c)、(d)分别表示为实施例1居民地、高速公路、疏林地及密林地四类地物检索结果的前16幅返回影像。图5为本发明实施例1提供的QuickBird影像检索的查准率。图6中(a)、(b)、(c)、(d)分别表示实施例2居房屋、广场、密林及水体四类地物检索结果的前16幅返回影像。图7为本发明实施例2提供的WorldView-2影像检索查准率。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。在申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。请参考图1为本发明实施例提供的一种基于对象级关联规则的遥感图像语义检索方法，包括下述步骤：步骤S110：根据所述遥感图像的所属类别选择训练影像，并对所述训练影像进行分割，得到若干对象；采用分割算法对影像进行分割，得到一系列的对象，因此分割后影像上的每一个对象可以形式化地表达为：O(OID,P,A)其中OID是对象的编号，P是属性的集合，P＝{P1,P2,...,Pn}，n为属性的个数，A是邻接对象的集合，A＝{A1,A2,...,Am}，m为邻接对象的个数。上式表明，每一个对象都具有一定的属性和一定的邻接对象，而每一个邻接对象同样具有属性和自己的邻接对象，由此整个影像即可看作是由若干个对象以及对象之间的关系网所构成。可以理解，由于不需要进行对象的合并操作，因此对分割算法没有严格的要求，只需要分割算法能够将影像分割成若干个对象，在每个对象内部，像素的性质比较一致，大多数分割算法均能达到这一要求。进一步地，本发明选用QuickShift分割算法实现影像分割。可以理解，QuickShift是一种改进的快速均值漂移算法，综合利用了空间和颜色一致性进行影像分割，在遥感影像处理方面具有广阔应用前景。给定N个点x1,x2,...,xN∈Rd，一个模式搜索算法都需要计算以下的概率密度估计：其中核函数k(x)可以是高斯窗或者其它窗函数，每个点xi由yi(0)＝xi开始，依梯度形成的二次曲面限定的渐进轨迹yi(t)，向模态P(x)移动。所有属于同一模态的点形成一个聚类。在QuickShift算法中，为搜寻密度为P(x)的模式，不需要采用梯度或者二次曲面，仅仅将每个点xi移动到最邻近的模式，表达式为：该算法具有快速简单、时间复杂度小等优势，核函数k(x)参数的选择可平衡“过分割”与“欠分割”现象，使得模式搜索更加高效。请参阅图2是利用QuickShift算法对遥感影像库中的影像进行分割后的结果。可以理解，在进行QuickShift分割时，需要设定一个最大距离，用于控制像素被合并为一个对象的最大L2距离。图2中，左边一列为遥感影像原图，中间一列是最大距离为5的分割结果，而右边一列是最大距离为10的分割结果。从分割后的影像可以看出，地物的颜色信息得到了很好的保留，结构信息也没有受到太大的损坏，但是随着距离的增大，更多的像素被合并为一个对象，每一个对象的面积也会随之增大。步骤S120：根据所述对象的属性，计算每个对象的属性量化值；优选地，步骤S120中，所述对象的属性包括：反映对象平均亮度的均值、反映对象纹理特征的标准差及反映了对象的颜色信息的色调。以下对上述三种属性进行详细描述。均值：反映了对象的平均亮度，计算公式如下：其中f表示原始的三个波段的影像，(x,y)为像素坐标，I为均值影像，μ为均值，N为对象内像素的个数，I(i)为对象内某个像素的灰度值。标准差：反映了对象的纹理特征，标准差越大，说明对象内像素灰度值的差异程度越高，计算公式如下：其中各变量的定义跟均值中的定义是一样的。色调：反映了对象的颜色信息，本发明使用HSI色彩空间的色调分量来描述对象的色调属性，其表达式如下：其中R、G、B分别为对象在三个波段上的均值。进一步地，步骤S120中，根据所述对象的属性采用均匀分段的方式，将各属性量化到[1,G]的范围，具体为：采用平均压缩的方法，将256个灰度级平均分配到若干个灰度级中，其中G为最大灰度级，G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。或者，采用线性分段的方法进行压缩，首先计算影像的最大灰度级gMax和最小灰度级gMin，然后利用下式计算压缩后的灰度级：压缩后的灰度级越多，则进行关联规则挖掘的计算量越大，但反映出的像素之间的关系越接近于真实；反之灰度级越少，压缩后像素之间的差异会越小，越不利于挖掘出有意义的关联规则，因此选择一个合适的灰度级非常重要。本发明中的灰度级选定为8，采用的压缩方式为平均压缩：其中G为最大灰度级，本发明中G＝8，ceil()是向上取整函数，g+1是为了使影像的灰度级被压缩为1～8。步骤S130：针对每个对象的属性量化值构建对象事务集，所述对象事务集为对象属性事务集，或者邻接对象事务集；优选地，当所述对象事务集为对象属性事务集，主要通过下述方案实现：每一个对象在计算了三个属性之后，再进行量化，以此为基础构建事务集，每一个对象均构成一条事务，以该对象的面积作为该事务的支持度，具体事务结构如下表：表5-1事务集中的部分事务序号项面积(支持度)13252452864356其中项的顺序依次表示了均值、色调和标准差量化之后的值，面积的单位为像素个数，用面积除以整个影像的大小，即为该对象在整个影像中的比例。优选地，当所述对象事务集为邻接对象事务集，主要通过下述方案实现：邻接关联模式反映了在某一个特定的属性下，对象与对象之间的关联关系，因此为了获取影像的邻接关联规则，需要选择合适的属性。为简单起见，本发明仍然选用色调、均值和方差这三个属性。邻接关联模式的阶数也很重要，在满足最小支持度和置信度阈值的前提下，阶数越高，表明对象之间的约束力越强，该关联模式所反映出的语义信息越准确。但在实际情况下，阶数越高，其支持度会越低，检索时相似度匹配的计算量也会越大，因此需要选择合适的阶数。考虑到计算量，本发明选择2阶邻接关联模式，具体请参阅下表：表5-2事务集中的部分事务序号项支持度(面积)189156255235其中项表示两个对象的色调，而支持度表示这两个对象的面积的最小值，反映了这个事务在整个影像中所占的面积。由于在影像分割的过程中，没有对对象进行合并，因此难免会出现一些面积非常小的对象，鉴于此，本发明做了一个限定，当两个对象的面积的最小值与最大值的比值小于0.1时，就不加入到事务集中。三阶的事务集与此类似，只是项变为3个。步骤S140：计算所述对象事务集的关联规则；优选地，利用关联规则挖掘算法计算所述对象事务集的关联规则。可以理解，由于每个属性的邻接关系是分别存储的，因此，针对每一个属性的事务集，利用关联规则挖掘算法生成该事务的关联规则。有多少个属性，就会生成多少个事务集，就会挖掘出多少组关联规则。步骤S150：利用机器学习算法将关联规则与所属类别进行训练，得到多种类别的训练模型；优选地，采用支持向量机算法对所述关联规则及其所属的类别进行训练，得到多种类别的训练模型。步骤S160：对所述遥感图像的所有影像进行上述步骤S110-S140，获取每幅影像的关联规则，并将该关联规则输入步骤S150的训练模型中，输出该影像属于每个类别的隶属度，将所述隶属度值构成的向量作为此影像的语义描述；可以理解，对影像库中的所有影像进行上述S110-S140的步骤，挖掘出每幅影像的关联规则。然后将关联规则输入步骤5的训练模型中，输出该影像属于每个类别的隶属度，将隶属度值构成的向量作为此影像内容的语义描述。例如，一幅影像的语义向量为(0.8,0.1,0.05,0.05)，对应于四个类别(草地，林地，湖泊，道路)。步骤S170：通过计算两幅影像的语义向量之间的距离，并按照距离从小到大的顺序对影像进行排序，输出的返回影像作为检索结果。可以理解，在获取了影像的语义向量之后，可以通过计算两幅影像的语义向量之间的距离，来衡量它们之间的相似度。可以使用城市街道距离、欧氏距离等各种距离函数，本发明使用KL散度一阶近似距离，表达式如下：其中v1和v2是两个向量，N是向量的长度。按照距离从小到大的顺序对影像进行排序，输出一定数量的返回影像作为检索结果。请参阅图3，本发明还提供了一种基于对象级关联规则的遥感图像语义检索系统，包括：遥感图像分割单元110根据所述遥感图像的所属类别选择训练影像，并对所述训练影像进行分割，得到若干对象；属性量化值计算单元120根据所述对象的属性，计算每个对象的属性量化值；对象事务集构建单元130针对每个对象的属性量化值构建对象事务集，所述对象事务集为对象属性事务集，或者邻接对象事务集；关联规则计算单元140计算所述对象事务集的关联规则；训练模型单元150根据机器学习算法对所述关联规则及其所属的类别进行训练，得到多种类别的训练模型；影像语义描述单元160对所述遥感图像的所有影像重复上述工作，获取每幅影像的关联规则，并将该关联规则输入所述训练模型中，输出该影像属于每个类别的隶属度，将所述隶属度值构成的向量作为此影像的语义描述及语义向量计算单元170通过计算两幅影像的语义向量之间的距离，按照距离从小到大的顺序对影像进行排序，输出的返回影像作为检索结果。详细方案已在上文描述，这里不再赘述。本发明提供的基于对象级关联规则的遥感图像语义检索方法及系统，根据所述遥感图像的所属类别选择训练影像，并对所述训练影像进行分割，得到若干对象；根据所述对象的属性，计算每个对象的属性量化值；针对每个对象的属性量化值构建对象事务集，计算所述对象事务集的关联规则，根据机器学习算法对所述关联规则及其所属的类别进行训练，得到多种类别的训练模型，对所述遥感图像的所有影像进行上述步骤后获取每幅影像的关联规则，并将该关联规则输入训练模型中，输出该影像属于每个类别的隶属度，将所述隶属度值构成的向量作为此影像的语义描述，通过计算两幅影像的语义向量之间的距离，按照距离从小到大的顺序对影像进行排序，输出的返回影像作为检索结果，与目前检索方法使用低层视觉特征不同，本发明提供的基于对象级关联规则的遥感图像语义检索方法及系统，利用关联规则挖掘方法进行影像检索的思路，从遥感影像中提取隐含的深层次的信息(即关联规则)作为特征，通过概念提升形成语义，为遥感影像的语义检索提供一个新的途径。以下结合具体实施例说明：实施例1利用QuickBird影像库进行实验，用于训练的样本分为4类，依次是房屋、高速公路、疏林地、密林地，分类关联规则的最小支持度设置为0.015，置信度为0.9。进行检索时，每类地物随机选择8幅分块影像，以这8幅影像作为待检索影像，分别统计前8、前16、前24、前32、前48、前64幅返回影像中的正确影像，取8幅影像的平均查准率作为最终的查准率，限于篇幅，本实施例仅给出四类地物检索结果的前16幅返回影像，详见图4中(a)、(b)、(c)、(d)分别表示居民地、高速公路、疏林地及密林地四类地物检索结果的前16幅返回影像。请参阅图5，表示整体检索结果，从图5可以看出，房屋的平均查准率可以达到90％以上，而其它地物的平均查准率较低。这个结果与所选择的对象属性、样本等因素有关。实施例2利用生成的WorldView-2影像库进行实验，用于训练的样本分为4类，依次是房屋、广场、森林、水体，分类关联规则的最小支持度设置为0.015，置信度为0.9。进行检索时，每类地物随机选择8幅分块影像作为待检索影像，分别统计前8、前16、前24、前32、前40、前48、前56、前64幅返回影像中的正确影像，取8幅影像的平均查准率作为最终的查准率，限于篇幅，本实施例仅给出四类地物检索结果的前16幅返回影像，详见图6中(a)、(b)、(c)、(d)分别表示居房屋、广场、密林及水体四类地物检索结果的前16幅返回影像。请参阅图7，表示整体检索结果，从图7可以看出，由于水体影像经过分割后，对象的色调、均值、方差等属性比较一致，因此其平均查准率一直很高。在返回影像数量比较大的时候，其它地物的平均查准率有所下降。当然本发明的基于对象级关联规则的遥感图像语义检索方法还可具有多种变换及改型，并不局限于上述实施方式的具体结构。总之，本发明的保护范围应包括那些对于本领域普通技术人员来说显而易见的变换或替代以及改型。当前第1页1 2 3