一种基于关键词的影像语义信息检索方法
【专利摘要】本发明涉及一种基于关键词的影像语义信息检索方法，主要包括以下步骤：设定描述影像库中影像内容的视觉关键词；从影像库中选取训练影像，通过聚类算法的聚类中心得到关键模式；采用高斯混合模型建立视觉关键词层次模型，提取影像库中所有影像的显著视觉特征；构建描述该影像语义的视觉关键词特征向量；接收待检索影像并计算上述接收的影像的语义信息与影像库中影像的语义距离；依据语义距离以及影像相似度，由近及远排序，并输出检索结果。本发明有效提高影像检索的查全率和查准率，具有良好的扩展性。
【专利说明】
一种基于关键词的影像语义信息检索方法
技术领域
[0001]本发明涉及影像处理与影像识别领域，更具体地说，涉及一种基于关键词的影像语义信息检索方法。
【背景技术】
[0002]影像数据应用正面临着“数据又多又少”的矛盾。一方面，随着航空航天及各类传感器技术、计算机网络技术、数据库技术等的飞速发展，可获取的各种遥感影像数据产品；另一方面，在如此浩瀚的遥感影像数据仓库中，人们却普遍感觉到要想快速查找到感兴趣的目标并非易事。这是由于遥感影像数据本身具有空间性、多样性、复杂性和海量性等特点，使得目前缺乏对海量遥感影像数据的有效检索方法，已经阻碍到遥感影像数据的应用。
[0003]在影像检索研究所涉及的各项关键技术中，目前的研究重点主要集中在影像的可视化特征提取及其相似性匹配算法上，其中对纹理特征的研究和应用最为广泛和深入，目标形状特征的描述和提取相对光谱特征、纹理特征而言是一个非常复杂的问题，至今还没有“形状”的确切数学定义。在基于组合特征的影像检索方面，主要有基于色调和纹理组合特征的检索。数据预处理(自动分块组织或预处理)和可视化特征相结合的算法也是以纹理特征为主。
[0004]由于低层可视化特征不能直观地反映影像的语义信息，在没有专家库或者领域知识库的辅助下，通常都会产生“所求非所得”的检索结果。要解决这一问题，提高检索效率和检索准确率，在检索方法上必须突破对可视化特征的依赖。影像高层语义特征包含了人们对影像内容的理解，基于语义的检索方法不仅顾及颜色、纹理、形状等视觉特征，而且注重对影像内容的语义描述，因此语义检索比基于视觉特征的内容检索更加充分、准确，智能性更高。然而，目前基于语义的遥感影像检索仍停留在探索阶段。
【发明内容】
[0005]本发明的目的在于，提供一种基于关键词的影像语义信息检索方法，通过符合人类视觉感知特性的影像分析方法，将复杂的影像特征抽象为具有语义信息的视觉关键词，通过视觉关键词建立底层特征、中层对象及高层语义信息之间的关联，提供的方法能适用于各种不同类型影像检索领域。
[0006]本发明所采用的技术方案是一种基于关键词的影像语义信息检索方法，包括以下步骤:
[0007]设置能够描述影像库中影像类型的视觉关键词，并从影像库中分别选出能反映各视觉关键词的若干幅影像，作为训练影像；
[0008]提取所有训练影像的各类显著视觉特征；
[0009]对所有训练影像，将得到的显著视觉特征分别采用聚类算法进行聚类，得到与视觉关键词个数相等的聚类中心，将每个聚类中心映射为一个关键模式；
[0010]采用高斯混合模型建立视觉关键词层次模型，构建影像的高斯尺度空间；然后分别建立包括同一尺度下的影像不同空间区域和同一影像空间区域下的不同尺度的二维高斯尺度树形层次结构；基于两个不同类型的高斯尺度树形层次结构分别构建非结构性语义和结构性语义，完成基于高斯尺度空间构建影像语义；
[0011]针对影像库中的每一幅影像，若属于某类视觉关键词的概率最大，则认为显著视觉特征属于该类视觉关键词，从而实现显著视觉特征到视觉关键词的映射；
[0012]针对影像库中的每一幅影像，根据预设的设定权重参数，统计每类视觉关键词在该影像中出现的频率，进而构建描述该影像语义的视觉关键词特征向量；
[0013]接收待检索影像；
[0014]采用预设的相似性度量准则，计算上述接收的影像的语义信息与影像库中影像的语义距离；
[0015]依据语义距离以及影像相似度，由近及远排序，并输出检索结果。
[0016]进一步地，其提取的显著视觉特征包括显著点、对象驱动的主色调和纹理。
[0017]进一步地，对所有训练影像进行基于Quick Shift算法的过分割，对过分割结果进行区域合并，然后对一致性对象区域采用HSV模型，根据其色调通道的量化结果提取出各区域的主色调，从而获取影像的主色调特征，每一个对象区域的主色调特征用一个特征向量来表示。
[0018]进一步地，在设置权重参数时，显著点特征赋以均值权重，主色调特征和纹理特征以自身对象区域的面积为权重。
[0019]进一步地，构建影像的高斯尺度空间的步骤如下，
[0020]分别建立包括同一尺度下的影像不同空间区域和同一影像空间区域下的不同尺度的二维高斯尺度树形层次结构；
[0021]基于两个不同类型的高斯尺度树形层次结构分别构建非结构性语义和结构性语义，完成基于高斯尺度空间构建影像语义，从而建立起视觉关键词层次模型。
[0022]进一步地，划分同一高斯尺度下影像的影像空间区域，提取该高斯尺度下影像的稳定特征点，包括提取该高斯尺度下影像的全局最大值像素坐标点、全局最小值像素坐标点、局部最大值像素坐标点、局部最大值像素坐标点、全局鞍值像素坐标点和局部鞍值像素坐标点，所述全局是指该高斯尺度下影像，所述局部是指按照上述步骤划分得到的任一影像空间区域。
[0023]进一步地，所采用的聚类算法为K均值或ISODATA算法。
[0024]本发明提供的技术方案的有益效果为，通过视觉关键词的层次模型建立低层显著视觉特征与高层语义信息之间的关联，缩小了低层显著视觉特征与高层语义之间的“语义鸿沟”，为从海量影像库中快速定位和查找感兴趣目标提供一个新的解决途径，能有效提高影像检索的查全率和查准率。
【主权项】
1.一种基于关键词的影像语义信息检索方法，其特征在于，包括以下步骤: 设置能够描述影像库中影像类型的视觉关键词，并从影像库中分别选出能反映各视觉关键词的若干幅影像，作为训练影像； 提取所有训练影像的各类显著视觉特征: 对所有训练影像，将得到的显著视觉特征分别采用聚类算法进行聚类，得到与视觉关键词个数相等的聚类中心，将每个聚类中心映射为一个关键模式； 采用高斯混合模型建立视觉关键词层次模型，构建影像的高斯尺度空间；然后分别建立包括同一尺度下的影像不同空间区域和同一影像空间区域下的不同尺度的二维高斯尺度树形层次结构；基于两个不同类型的高斯尺度树形层次结构分别构建非结构性语义和结构性语义，完成基于高斯尺度空间构建影像语义，从而建立起视觉关键词层次模型； 针对影像库中的每一幅影像，若属于某类视觉关键词的概率最大，则认为显著视觉特征属于该类视觉关键词，从而实现显著视觉特征到视觉关键词的映射； 针对影像库中的每一幅影像，根据预设的设定权重参数，统计每类视觉关键词在该影像中出现的频率，进而构建描述该影像语义的视觉关键词特征向量； 接收待检索影像； 采用预设的相似性度量准则，计算上述接收的影像的语义信息与影像库中影像的语义距离； 依据语义距离以及影像相似度，由近及远排序，并输出检索结果。2.根据权利要求1所述的一种基于关键词的影像语义信息检索方法，其特征在于:提取的显著视觉特征包括显著点、对象驱动的主色调和纹理。3.根据权利要求2所述的一种基于关键词的影像语义信息检索方法，其特征在于:对所有训练影像进行基于Quick Shift算法的过分割，对过分割结果进行区域合并，然后对一致性对象区域采用HSV模型，根据其色调通道的量化结果提取出各区域的主色调，从而获取影像的主色调特征，每一个对象区域的主色调特征用一个特征向量来表示。4.根据权利要求2所述的一种基于关键词的影像语义信息检索方法，其特征在于:在设置权重参数时，显著点特征赋以均值权重，主色调特征和纹理特征以自身对象区域的面积为权重。5.根据权利要求1所述的一种基于关键词的影像语义信息检索方法，其特征在于:构建影像的高斯尺度空间的步骤如下， 分别建立包括同一尺度下的影像不同空间区域和同一影像空间区域下的不同尺度的二维高斯尺度树形层次结构； 基于两个不同类型的高斯尺度树形层次结构分别构建非结构性语义和结构性语义，完成基于高斯尺度空间构建影像语义，从而建立起视觉关键词层次模型。6.根据权利要求5所述的一种基于关键词的影像语义信息检索方法，其特征在于:划分同一高斯尺度下影像的影像空间区域，提取该高斯尺度下影像的稳定特征点，包括提取该高斯尺度下影像的全局最大值像素坐标点、全局最小值像素坐标点、局部最大值像素坐标点、局部最大值像素坐标点、全局鞍值像素坐标点和局部鞍值像素坐标点，所述全局是指该高斯尺度下影像，所述局部是指按照上述步骤划分得到的任一影像空间区域。7.根据权利要求所述的一种基于关键词的影像语义信息检索方法，其特征在于:所采 用的聚类算法为K均值或ISODATA算法。
【文档编号】G06F17/30GK106021250SQ201510588931
【公开日】2016年10月12日
【申请日】2015年9月16日
【发明人】张树坤
【申请人】展视网（北京）科技有限公司