专利名称：一种基于目标及其空间关系特性的图像场景分类方法
技术领域：
本发明属于图像场景分类技术，涉及图像理解、计算机视觉、人工智能、模式识别等领域，是一种基于目标及其空间关系特性的图像场景分类方法。
背景技术：
随着多媒体技术与网络技术的发展，产生了大量的图像信息，图像分类和检索越来越受到人们的关注。同时随着计算机技术的快速提高，图像理解获得了快速发展，其理论不断发展，形成了与计算机视觉、人工智能和认知学领域相互关联又相互独立的领域。图像理解就是对图像的语义解释，利用图像低层视觉特征以及高层知识信息实现目标识别、语义分析以及场景分类。图像场景分类作为图像理解的基本任务之一，是指从多幅图像中区分出具有相似或相同特征的图像，并对这些图像进行正确标记的过程。目前场景分类方法主要包括基于图像底层特征的方法，以及通过构建中间语义层的方法。第一种方法利用图像的底层特征，如颜色、纹理、边缘等，将图像作为一个整体并直接与监督方法结合，划分如室内/外、城市/山区等场景图像，该类方法只能分类小部分场景。第二种方法通过构建中间语义层，能够实现更多场景类别的识别，如引入文本分析中的概率隐含语义分析模型(Probabilistic latent semantic analysis, pLSA),建立图像模型(文献 I :Α· Bosch and A. Zisserman, “Scene classification using a hybridgenerative/discriminative approach，，， IEEE Transactions on Pattern Analysis andMachine Intelligence, v. 30no. 4, pp. 712-727, 2008);再如基于图像目标或区域建立贝叶斯模型实现图像场景分类(文献 2 :M. R. Boutell, J. Luo and C. M. Brown, “Scene parsingusing region-based generative models，，，IEEE Transactions on Multimedia, v. 9no. a,pp. 136-146,2007)。另外，Oliva提出使用粗糙度、宽阔度、伸展度等视觉感知属性描述场景的主要内容结构(文献 3:A.01iva and A. Torralba,“Modeling the shape of thescene a holistic representation of the spatial envelope，，，International Journalof Computer Vision, v. 42 n. 3, pp. 145-175, 2001),基于以上特征实现图像场景分类。场景图像具有很强的认知结构，蕴含场景与目标的包含关系，以及目标之间的空间关系特性。文献I证明了加入空间位置信息可以提高分类正确率，但是该空间信息是绝对的位置特征，至今没有通过建模目标之间的空间关系(拓扑关系、方向关系以及度量关系)实现图像场景分类。
发明内容
本发明的目的是公开一种基于目标及其空间关系特性的图像场景分类方法，通过计算图像中目标之间的空间关系直方图，分类其空间关系，建立融合主题之间空间关系特性的概率隐含语义分析模型(Probabilistic latent semantic analysis fusing spatialrelationships between topics, SR-pLSA),最后米用支持向量机(Support vectorsupport, SVM)分类图像场景。弥补了现有图像场景分类方法忽略图像中目标间空间关系特性的缺陷，提高了分类正确率。为了实现所述的目的，本发明的技术解决方案是—种基于目标及其空间关系特性的图像场景分类方法，其包括步骤SI,目标空间关系直方图计算用空间关系直方图表征目标间空间关系特性，包括左和右、上和下、远和近以及包含和不包含，并给出计算方法；步骤S2，空间关系分类针对样本图像，标注其目标并赋值目标之间空间关系的隶属度，针对测试样本，用模糊K近邻分类器分类目标之间空间关系直方图，计算其空间关系的隶属度值；步骤S3，SR-pLSA建模提出融合主题之间空间关系特性的概率隐含语义分析模型SR-pLSA，建立图像语义模型；
步骤S4，SVM分类以步骤S3建立样本图像的语义模型，作为支持向量机(SVM)的输入，用训练好的SVM完成图像场景的分类。所述的图像场景分类方法，其所述步骤SI中，目标空间关系直方图计算包括步骤步骤Sll :分别求取参考对象以及目标对象区域的点集；步骤S12 :针对不同倾角Θ e [-π，π]建立水平线集，并获取两个目标落在线上的点集；步骤S13 :采用快速傅里叶变换算法(FFT)计算空间关系直方图。所述的图像场景分类方法，其所述步骤S2中，空间关系分类包括步骤步骤S21 :标注样本图像中的目标并赋值目标之间每种空间关系的隶属度，包括左和右、上和下、远和近以及包含和不包含，建立隶属度矩阵P(NXS)，并计算目标之间的空间关系直方图；步骤S22 :计算每类场景中每两类目标的每种空间关系隶属度值的均值、方差及其权重；步骤S23 :针对测试样本图像，利用模糊K近邻分类器分类其目标之间的空间关系直方图，计算空间关系的隶属度值。所述的图像场景分类方法，其所述步骤S3中，图像SR-pLSA建模包括步骤步骤S31 :针对训练样本图像，提取其SIFT特征，通过聚类生成视觉词汇；步骤S32 :提出融合主题之间空间关系特性的概率隐含语义分析模型SR-pLSA ；步骤S33 :采用SR-pLSA建模文档、主题、主题之间空间关系以及字之间的关系，建立图像语义模型。所述的图像场景分类方法，其所述步骤S4中，SVM分类包括步骤步骤S41 :将步骤S33中所得样本图像语义模型，以及图像场景类别标识作为SVM分类器的输入，训练分类器；步骤S42 :在分类阶段，先用SR-pLSA建立图像语义模型，然后采用训练好的SVM分类图像场景。所述的图像场景分类方法，其所述步骤S33中的文档为图像、主题为目标、字为视觉单词。本发明的图像场景分类方法，提出SR-pLSA建立图像语义模型，采用SVM分类图像场景。该方法融合了目标之间的空间关系特性，可提高图像场景分类正确率。
图I本发明一种基于目标及其空间关系特性的图像场景分类方法中的图像场景分类框架；图2本发明方法中的有关参考对象R与目标对象A的空间关系视图；图3为图2中R与A之间的空间关系直方图；图4本发明方法融合空间关系特性的概率隐含语义分析模型SR-pLSA示意图。
具体实施方式
本发明一种基于目标及其空间关系特性的图像场景分类方法，下面结合附图详细说明本发明技术方案所涉及的各个细节问题。图I为本发明图像场景分类方法的系统框架，主要包括4个部分。空间关系直方图计算本发明定义空间关系直方图用来表征目标之间的空间关系，可以反映其拓扑关系、方向关系以及度量关系。记参考对象为R，目标对象为A，本发明采用两个对象的所有点，计算对象间空间关系直方图。如附图2所示，倾角为Θ的平行线10，θ取值范围[_π，π]，所有线集合记为Le，则所有线集合就包含了对象的所有点。采用Bresenham算法计算及⑷)和及04)，分另Ij表示R和A在I e上的点集，Wi (R)xPie⑷点对(P，q)，定义点对之间的标识距离LD (p，q) = (d(p, q), I (p, q)),其中d(p, q)为点对之间的欧氏距离，I (p, q)如表I。I0上的直方图分量如下
权利要求
1.一种基于目标及其空间关系特性的图像场景分类方法，其特征在于包括 步骤SI，目标空间关系直方图计算用空间关系直方图表征目标间空间关系特性，包括左和右、上和下、远和近以及包含和不包含，并给出计算方法； 步骤S2，空间关系分类针对样本图像，标注其目标并赋值目标之间空间关系的隶属度，针对测试样本，用模糊K近邻分类器分类目标之间空间关系直方图，计算其空间关系的隶属度值； 步骤S3，SR-pLSA建模提出融合主题之间空间关系特性的概率隐含语义分析模型SR-pLSA，建立图像语义模型； 步骤S4, SVM分类以步骤S3建立样本图像的语义模型，作为支持向量机SVM的输入，用训练好的SVM完成图像场景的分类。
2.根据权利要求I所述的图像场景分类方法，其特征在于，所述步骤SI中，目标空间关系直方图计算包括步骤 步骤Sll :分别求取参考对象以及目标对象区域的点集； 步骤S12:针对不同倾角Θ e [_π，π]建立水平线集，并获取两个目标落在线上的点集; 步骤S13 :采用快速傅里叶变换算法计算空间关系直方图。
3.根据权利要求I所述的图像场景分类方法，其特征在于，所述步骤S2中，空间关系分类包括步骤 步骤S21 :标注样本图像中的目标并赋值目标之间每种空间关系的隶属度，包括左和右、上和下、远和近以及包含和不包含，建立隶属度矩阵P(NXS)，并计算目标之间的空间关系直方图； 步骤S22 :计算每类场景中每两类目标的每种空间关系隶属度值的均值、方差及其权重； 步骤S23:针对测试样本图像，利用模糊K近邻分类器分类其目标之间的空间关系直方图，计算空间关系的隶属度值。
4.根据权利要求I所述的图像场景分类方法，其特征在于，所述步骤S3中，图像SR-pLSA建模包括步骤 步骤S31 :针对训练样本图像，提取其SIFT特征，通过聚类生成视觉词汇； 步骤S32 :提出融合主题之间空间关系特性的概率隐含语义分析模型SR-pLSA ； 步骤S33 :采用SR-pLSA建模文档、主题、主题之间空间关系以及字之间的关系，建立图像语义模型。
5.根据权利要求I所述的图像场景分类方法，其特征在于，所述步骤S4中，SVM分类包括步骤 步骤S41 :将步骤S33中所得样本图像语义模型，以及图像场景类别标识作为SVM分类器的输入，训练分类器； 步骤S42 :在分类阶段，先用SR-pLSA建立图像语义模型，然后采用训练好的SVM分类图像场景。
6.根据权利要求4所述的图像场景分类方法，其特征在于，所述步骤S33中的文档为图像、主题为目标、字为视觉单词。
全文摘要
本发明公开了一种基于目标及其空间关系特性的图像场景分类方法，涉及图像场景分类技术，其步骤首先定义一种空间关系直方图，表征目标之间的空间关系，包括左、右、上、下、远、近、包含和不包含，给出计算方法；标注样本图像中的目标，赋值任意两个目标之间空间关系的隶属度，统计场景中每两类目标之间空间关系的隶属度值的数学特征，针对测试图像，用模糊K近邻分类器分类目标之间空间关系直方图，计算空间关系隶属度值；采用融合主题之间空间关系特性的概率隐含语义分析模型，建立图像模型；用支持向量机分类场景图像。本发明方法提出融合主题之间空间关系特性的概率隐含语义分析模型来建模图像，作为支持向量机的输入来分类图像场景。
文档编号G06K9/62GK102902976SQ20111021498
公开日2013年1月30日 申请日期2011年7月29日 优先权日2011年7月29日
发明者金标, 胡文龙, 付琨 申请人:中国科学院电子学研究所