一种图像局部不变特征的语义映射方法及语义映射系统的制作方法
【专利摘要】本发明适用于图像处理【技术领域】，提供了一种图像局部不变特征的语义映射方法，所述语义映射方法包括以下步骤：步骤A：对彩色图像局部不变特征提取及描述；步骤B：提取局部不变特征后，基于监督模糊谱聚类算法对彩色图像提取的局部不变特征生成视觉词典，所述视觉词典包含有视觉特征与视觉单词的隶属关系;步骤C：根据步骤B生成的视觉词典对步骤A提取的局部不变特征所隶属图像进行语义映射以及图像描述。采用所述的图像局部不变特征的语义映射方法能消除语义鸿沟问题，提高图像分类、图像检索以及目标识别的准确性，可以促进机器视觉的理论和方法的发展。
【专利说明】一种图像局部不变特征的语义映射方法及语义映射系统
【技术领域】
[0001]本发明属于图像处理【技术领域】，尤其涉及一种图像局部不变特征的语义映射方法及语义映射系统。
【背景技术】
[0002]随着多媒体和互联网技术的迅猛发展，图像资源与日俱增，如何让计算机自动处理和分析这些海量数据已经成为计算机视觉中的一个难题。由于计算机仅能对图像的低层视觉特征，如颜色、纹理、形状等进行处理，而人类对图像的理解总是从图像表达的语义信息进行理解。如果计算机像人类一样能从图像中提取和理解图像的语义信息，那么计算机对图像的自动分析与理解的难题将能得到很好的解决。因此，如何使计算机提取和理解图像语义信息是计算机视觉领域一直关注的热点问题。从图像的低层特征提取语义已成为解决图像低层视觉特征与高级语义之间存在着的差距即“语义鸿沟”的关键技术，它从图像的本质属性中提取特征信息，通过低层特征信息到高层语义的传递、映射和融合过程，形成对图像的语义的描述。图像的语义映射技术已经成为基于内容的图像分类、检索、识别等技术的关键技术之一。
[0003]图像的局部不变特征是指描述了图像局部稳定的特性并且具有良好的可区分性的特征，它的核心是不变性，也就是说在发生光照变化、旋转、裁剪、缩放、视角等变化时，所提取的特征都不会发生变化，它对混叠和遮挡也具有很好的克服作用。目前较常用的有SIFT, SURF, SUSAN等等。正是由于图像局部不变特征的这些优良特性，它已经被广泛的应用于图像语义信息提取的研究中。
[0004]然而，图像局部不变特征存在低层特征与高层语义之间的“语义鸿沟”，局部不变特征和图像语义没有直接的对应关系。国内外学者提出对局部不变特征的集合通过机器学习构成视觉词典，通过视觉词典来实现语义信息的提取，已经取得了较好的效果。但是由于图像的局部特征很不稳定，同样的物体可能产生出不同的局部特征，相同的局部特征也可能是出自不同的物体，导致视觉词典中的多个视觉单词表示相同的概念即“一义多词”和一个视觉单词对应图像中的不同概念即“一词多义”，从而造成视觉词典中的视觉单词不能准确的表达图像或事物，提取的语义不准确，影响图像分类和目标识别的精确度。
[0005]目前，国内外有一大批研究机构在进行图像局部不变特征的语义映射的研究工作，其中包括普林斯顿大学计算机系，美国加州大学伯克利分校的计算机系，斯坦福大学的计算机系，伊利诺斯州立大学的Beckman学会，瑞典的IDIAP研究学会，中国科学院，浙江大学，北京交通大学，上海交通大学，西安电子科技大学等。目前在局部不变特征语义映射方面主要包括采用统计模型和采用概率生成模型两种方法。统计模型主要有词袋模型(Bagof Words, BOW)和潜在语义分析(Latent Semantic Analysis, LSA),概率生成模型主要有概率潜在语义分析(PLSA)、潜在狄里克雷分布(LDA)。下面对现有的比较有代表性的理论和算法进行介绍。
[0006]( I)基于统计模型的算法的研究现状[0007]Josef等人提出BOW模型，先对训练图像集进行视觉特征提取、聚类形成视觉词典(visual dictionary)或码本(Code book),词典中的每个视觉单词(Visual Word),对应于图像中的一个局部块特征，再分别把各图像按视觉词典进行量化来表示。这种方法的缺点是未考虑“一义多词”(多个视觉单词表示相同的概念)和“一词多义”(一个视觉单词对应图像中的不同概念)问题。此外，由于图像的量化表示的维数太高，相当于视觉词典容量，导致分类性能低下。Jingen将图像表示成最大化互信息共聚类方式来学习潜在语义，对视觉单词聚类的同时，完成图像场景分类。FeiFei等提出了一种分层的Bayesian模型从低层图像特征提取图像语义，在场景分类中取得了良好的应用效果。Vailaya等提出了由图像的低层基本特征到高层语义分类特征之间进行映射的一种可行的数据描述方法，并通过基于Bayes概率公式的方法加以实现。
[0008]国内研究者也较早的开始了这方面的研究，近年来更是涌现了一大批优秀的算法。石跃祥、蔡自兴等从高级信息的角度来描述图像语义，建立图像语义的特征矢量空间和语义划分的结构关系，实现了图像与语义值的结构表达，构建了低层特征到高层语义的映射结构与计算表达式，并将特征值应用于图像检索。莫浩澜等通过在低层视觉特征上提取图像的局部颜色和纹理特征，再利用模糊神经网络建立低层视觉特征和高层语义特征之间的映射，实现了图像属性信息的有效传递和可靠检索。段菲和章毓晋提出了一种基于有监督子空间建模和稀疏表示的场景分类算法。该算法将采用非监督方式求取所有场景类别公共字典的稀疏编码模型分解为一系列各目标函数相互独立的多目标优化问题，实现了各类别字典的有监督学习。在所有类别的字典学习完毕后，再以各子空间和的基集来对每幅图像中所有局部特征进行协同编码，并借助空间金字塔表示(SPR)和特征各维最大汇总(max pooling)构成最终图像的全局特征表示。傅光磊、蒋兴浩等人提出了分层语义模型，将复杂语义进行解析从而形成层次化结构，并提出了与分层语义模型相对应的语义绑定的分层视觉词汇库，给出了构建词汇库的方法，并在基于内容和语义的图像检索系统进行了应用。赵春晖和王莹提出了一种基于兴趣区域(Region Of Interest，R0I)提取以及金字塔匹配原理的优化方法，在此基础上构建了词袋模型。王宇新和郭禾等人以传统的词袋模型为基础，根据同类场景图像具有空间相似性的特点，提出了一种用于图像场景分类的空间视觉词袋模型。首先将图像进行不同等级的空间划分，针对对应空间子区域进行特征提取和k均值聚类，形成该区域的视觉关键词，进而构建整个训练图像集的空间视觉词典。贾世杰和孔祥维提出基于数据驱动的核函数构建方法；并结合词包(BOW)模型，设计了一种基于TF-1DF规则的加权二次卡方(Weighted QuadriticChisquared, WQC)距离的直方图核函数。朱旭锋，马彩文和刘波为了解决飞机、直升机、导弹等三类空中目标图像的自动分类问题，提出了一种基于改进词袋模型的空中目标识别方法。庄凌和庄越挺等人提出通过研究文本与图像两种模态之间关系来构建反映两者间潜在语义关联的有效模型的思路，该模型使用稀疏的相关性分析方法提高模型可解释性和保证检索结果稳定性。
[0009](2)基于概率生成模型的算法的研究现状
[0010]概率生成模型主要包括概率潜在语义分析(probabilisticLatentSemanticAnalysis, PLSA)和潜在狄利克雷分布(LatentDirichletAllocation,LoA)等。将图像看作是由多个语义主题所构成的场景，也可把其中发现的语义主题看作是目标类，那么一幅包含多个目标实例的场景可认为是由一组主题混合构建的概率模型而形成，通过场景中语义主题的分布划分语义类别。Pedro和Anna等学者认为PLSA模型在生成鲁棒的低维场景表示的同时，可以捕获有意义的场景主题。他们在使用灰度SIFT特征的基础上建立Bow描述，采用PLSA模型来产生图像场景的潜在语义信息，实现场景类的判别。Florent等人根据所有待考察的场景内容,在利用高斯混合模型(GaussianMixtureModel,GMM)对视觉词汇表进行建模的基础上，定义了一个通用视觉词典，在此基础上调整生成类视觉词典，并采用一组直方图，每个直方图对应某一类别，以判断图像适合采用何种视觉词典进行建模。FeifeiLi和Lijia Li提出了两种LDA的变形模型用于场景分类。在场景主题分布不变的前提下，通过对各场景类图像进行有监督的模型学习，将局部区域聚类为不同的主题(局部语义概念)。局部区域和中层语义的分布通过概率生成模型学习，避免了人为的图像标注过程。Anna Bosch等人首先利用概率潜在语义分析(PLSA)在每个图像数据上发现主题语义，然后利用多类分类器对每副图像的主题分布矢量进行分类。李志欣和施智平等人在概率潜语义分析的基础上，提出了一种融合语义主题的方法以进行图像的标注和检索，设计了一个概率模型分别从视觉模态和文本模态中捕获潜在语义主题，并提出了一种自适应的不对称学习方法融合两种语义主题，于是融合之后的概率模型适当地关联了视觉模态和文本模态的信息。
【发明内容】
[0011]本发明所要解决的技术问题在于提供一种图像局部不变特征的语义映射方法及语义映射系统，旨在解决局部不变特征与图像语义之间的映射的一词多义和一义多词的问题。
[0012]本发明是这样实现的，一种图像局部不变特征的语义映射方法，包括以下步骤:
[0013]步骤A:对彩色图像局部不变特征提取及描述；
[0014]步骤B:提取局部不变特征后，基于监督模糊谱聚类算法对彩色图像提取的局部不变特征生成视觉词典，所述视觉词典包含有视觉特征与视觉单词的隶属关系；
[0015]步骤C:根据步骤B生成的视觉词典对步骤A提取的局部不变特征所隶属图像进行语义映射以及图像描述。
[0016]进一步地，所述步骤A包括以下步骤:
[0017]步骤Al:对彩色图像建立彩色图像矢量场模型；
[0018]步骤A2:建立并分析所述彩色图像矢量场模型中的矢量场尺度空间，在所述矢量场尺度空间中搜索与定位局部不变特征；
[0019]步骤A3:对提取的所述局部不变特征进行描述。
[0020]进一步地，所述步骤Al包括以下步骤:
[0021]步骤All:对彩色图像f建立的所述彩色图像矢量场模型为:
【权利要求】
1.一种图像局部不变特征的语义映射方法，其特征在于，包括以下步骤: 步骤A:对彩色图像局部不变特征提取及描述； 步骤B:提取局部不变特征后，基于监督模糊谱聚类算法对彩色图像提取的局部不变特征生成视觉词典，所述视觉词典包含有视觉特征与视觉单词的隶属关系； 步骤C:根据步骤B生成的视觉词典对步骤A提取的局部不变特征所隶属图像进行语义映射以及图像描述。
2.根据权利要求1所述的语义映射方法，其特征在于，所述步骤A包括以下步骤: 步骤Al:对彩色图像建立彩色图像矢量场模型； 步骤A2:建立并分析所述彩色图像矢量场模型中的矢量场尺度空间，在所述矢量场尺度空间中搜索与定位局部不变特征； 步骤A3:对提取的所述局部不变特征进行描述。
3.根据权利要求2所述的语义映射方法，其特征在于，所述步骤Al包括以下步骤:步骤All:对彩色图像f建立的所述彩色图像矢量场模型为=，其
4.根据权利要求2所述的语义映射方法，其特征在于，所述步骤A2包括以下步骤: 步骤A21:根据如下公式得到所述彩色图像f的矢量场尺度空间L。:
5.根据权利要求4所述的语义映射方法，其特征在于，所述步骤A3包括以下步骤: 步骤A31:对于在Ljx, y, Q)中的一个特征点,其幅值和m(x, y)和方向0 (x, y)表示为:
6.根据权利要求1所述的语义映射方法，其特征在于，所述步骤B包括以下步骤: 步骤B1:根据数据集构造一个无向加权图G= {V，E}，其表示形式为一对称矩阵W=DVij]nXn，称该矩阵为相似矩阵，其中Z是顶点的集合，Wu表示连接顶点i与j的权值，Wu的值由测度函数树决定； 步骤B2:根据每个特征的类别信息建立每个特征对应类别的隶属度函数，根据隶属度函数重新调整相似矩阵W，生成模糊相似矩阵W’ ； 步骤 B3:构造矩阵 V=Iiv1, V2, vq] G Rnxq,其中，Vi 为列向量，V1, V2, --?, Vq 为 H
n的q个最大特征值所对应的特征向量，ff = Lyw,Ly2 L为对角度矩阵，
7.根据权利要求1所述的语义映射方法，其特征在于，所述步骤C包括以下步骤: 步骤Cl:根据步骤A的方法提取测试图像f?的局部不变特征，得到特征集合为:S=Is1, S2,...sn}，其中Si为提取的局部不变特征，n为提取的特征个数； 步骤C2:定义视觉特征Si到视觉单词~的隶属度函数为U (Si，vJt, L)，其中L为视觉特征Si到视觉单词~在空间上的拓扑关系； 设置隶属度函数为:
8.一种图像局部不变特征的语义映射系统，其特征在于，包括: 提取及描述模块，用于对彩色图像局部不变特征提取及描述； 视觉词典生成模块，利用模糊集理论基于有监督模糊谱聚类的方法生成视觉词典； 映射及描述模块，用于对基于局部不变特征隶属度的图像进行语义映射以及图像描述。
9.根据权利要求8所述的语义映射系统，其特征在于，所述提取及描述模块包括: 模型建立模块，用于对彩色图像建立彩色图像矢量场模型； 矢量场尺度空间建立与分析模块，用于建立并分析所述彩色图像矢量场模型的矢量场尺度空间，在所述矢量场尺度空间模块中搜索与定位局部不变特征； 特征提取和描述模块，用于对提取的所述局部不变特征进行矢量描述； 所述模型建立模块包含矢量场模型建立模块和图像变换模块； 所述矢量场模型建立模块生成的彩色图像矢量场模型为
10.根据权利要求8所述的语义映射系统，其特征在于，所述视觉词典生成模块包含: 对称矩阵模块，根据数据集构造一个无向加权图G= {V，E}，其表示形式为一对称矩阵W= [Wu]nXn，其中V是顶点的集合，Wu表示连接顶点i与j的权值，Wu的值由测度函数决定; 模糊相似矩阵模块，根据每个特征的类别信息建立每个特征对应类别的隶属度函数，根据隶属度函数重新调整相似矩阵W，生成模糊相似矩阵r ； 构造矩阵模块，用于构造矩阵V= [Vl，V2,…，Vq] G Rnx%其中，Vi为列向量，V1, V2,…，V5为H的q个最大特征值所对应的特征向量，
【文档编号】G06K9/46GK103530633SQ201310468210
【公开日】2014年1月22日 申请日期:2013年10月9日 优先权日:2013年10月9日
【发明者】李岩山, 谢维信 申请人:深圳大学