专利名称：基于短语包模型的图像类别标注方法
技术领域：
本发明属于模式识别与信息处理技术领域，涉及基于短语包模型的图像类别标注 方法，具体的是一种图像分类方法。
背景技术：
由于数码相机等数码产品的低廉价格，图片、视频数据可以很方便的拍摄并保存 成方便计算机处理的电子形式。同时，互联网资源的迅猛发展，使得广大用户开始面临一个 庞大的数据资源。单纯的利用人力来维护和组织这些数据已经变得不现实。因此，开发一 种技术来完成图像、视频数据的自动标注，成了 一个热点问题。总的来说，如何合理的表示图像比后来用于对这些表示进行分类的分类技术更为 重要。道理可以通过一个例子来说两幅不同类别的图像，由于表示策略不好，被表示成了 相同的向量；此时，即使使用一个万能的分类器对这种情况也是无能为力的。因此，图像内 容表示，是图像类别标注技术中核心的问题之一。最初，人们更喜欢使用从整幅图像抽取的全局特征来表示图像。但是这种全局特 征在表示图像方面遇到很多问题，比如它对目标轻微的遮挡以及复杂背景的混淆缺乏鲁棒 性。另一方面，基于局部图像块的方法，却受到了越来越多的关注。人体生理学家发现，人类 视觉早期分为“留意前”阶段(pre-attentive stage)和“留意”阶段(attentive stage) 0 在“留意前”阶段，一些比较特别的局部特征开始捕获人的注意力；然后，在“留意”阶段，人 类视觉器官开始注意这些局部特征之间的关系。在这种思想的影响下，图像内容分类取得 了重大进展。对应着“留意前”阶段，大量的局部特征检测子和局部特征描述子被提出，用来捕 获图像中比较特别的局部特征。例如，目前的检测子有角点检测子、区域检测子、水滴状形 状检测子，边缘检测子等等。而为了对这些检测到的区域进行向量化描述，研究者又提出了 大量局部特征描述子，包括基于滤波的描述方法、基于统计的描述方法，基于边缘的描述 方法以及基于矩的描述方法等等。这些方法各有优缺点，被广泛的应用于局部特征的提取 过程之中。得到上面提到的局部特征以后，如何组织这些特征以利于分类开始提上日程， 也即，对应着人类视觉中的“留意”阶段。为了有效地组织这些局部特征，大量的组织 模型在过去的几年被先后提出。总的来说，这些模型大致可以分为一下几个大类字包 (bag-of-words)模型、部分-全局(part-structure)模型、轮廓片段相关的模型、语义场景 相关的模型、生物感知相关的模型等等。在这些模型当中，字包模型以其计算简单，性能鲁 棒等优点，在过去的几年取得了很大的成功。字包模型首先被应用于文本分类领域，它的主要思想是建立一个码本，码本中包 含对分类具有判别性的字；然后统计码本中的每个字在当前文本中出现的次数，形成一个 出现次数直方图向量。然后这个向量被用作文本的表示向量，输入分类器进行分类。然后，这种思想被引入计算机视觉。其中的文本与字分别对应着计算机视觉领域
4的图像和局部特征(又称视觉字)，码本在计算机视觉领域也成为码本，只是它是由一系列 具有代表性的局部特征/视觉字构成；相应的，图像被表示成了码本中的局部特征在图像 中出现次数形成的直方图向量。这些向量可以代表图像直接被输入分类器进行分类。但是，正如众多研究者指出的那样，字包模型把图像中重要的位置信息丢掉了。为 了引入部分位置信息，有的研究者提出把原图像分块，然后在每个块内分别建立直方图的 方式。但是，随着分块的增多，分类结果对目标在图像中的位置变得越来越敏感，使得字包 模型对目标在图像中位置鲁棒的优点消失殆尽。
发明内容
为了解决现有字包模型存在的问题，本发明目的是在不影响现有的字包模型鲁棒 性的同时引入局部特征点之间的结构位置信息，提高图像表示的质量，进而提高自动标注 系统的性能，为此本发明提供一种基于短语包模型的图像类别标注方法。为了达到所述目的，本发明提供一种基于短语包模型的图像类别标注方法，该图 像类别标注方法，通过分析字包模型中视觉字之间的位置关系，将视觉字发展为视觉短语， 进而提出基于短语包模型的图像内容表示，然后利用短语包模型的表示结果训练分类器以 及输入分类器进行类别标注。其中，所述基于短语包模型的图像内容表示包括步骤如下步骤S1 对任意图像Ip利用局部特征点检测子，得到图像中所有的局部特征点Pi ={PiJ}，j = 1，2，...，队，其中队为在图像Ii中检测到的所有局部特征点的个数；步骤S2 对步骤S1得到的局部特征点利用局部特征描述子，描述它周围局部 区域的纹理特征，形成局部特征点的向量描述fu，将向量描述作为局部特征点Pij对 应的视觉字；步骤S3 对步骤S1得到的局部特征点Pij描述图像Ii中其它特征点piu G Pi，U兴j 在局部特征点周围的分布情况，形成分布向量Sij ；步骤S4 向量描述与分布向量联接，形成局部特征点对应的视觉短语 Zij，Zij — [f"ij，Sij]；步骤S5 在所有图像得到的视觉短语中，选择K个具有代表性的视觉短语，构建码 本C ；将码本中的每个视觉短语作为码本短语；步骤S6 将每一幅图像Ii中的所有局部特征点Pij对应的视觉短语Zij按照最近 邻原则，映射到码本C中距离它最近的码本短语上面，将该码本短语作为视觉短语Zij的代 表；步骤S7 统计码本C中每个码本短语在图像Ii中出现的次数，形成码本短语出现 次数直方图向量\，作为图像Ii的基于短语包模型的图像内容表示。其中步骤S1中局部特征点检测子是现有众多局部特征点检测子中任意的一种。其中步骤S2中局部特征点描述子是现有众多局部特征点描述子中任意的一种。其中步骤S3中描述图像Ii中其它特征点piu G Py u兴j在局部特征点Pij周围 的分布情况具体方式如下步骤S31 以局部特征点Pij为圆心，分别以巧，r2, . . . , rE为半径画R个同心圆； 将得到的每个圆环，按照方向均勻0等分，得到的多个格子，需要注意的是最小的圆不作划
5分；步骤S32 统计图像Ii中其它特征点piu e Pi，u兴j落入每个格子内的个数，未落 入格子内的特征点忽略不计；步骤S33 属于同一方向的格子内点的个数相加，选择特征点数量最多的方向，作 为局部特征点周围特征点分布的主方向eij;步骤S34 为了使得局部特征点Pij对距离比较近的其它特征点敏感，而随着距离 增加，影响减弱，将分别以巧，巧，…，&为半径的R个同心圆为外界的格子内的个数分别除 以 ，S2，...，，作为每个格子内的新的个数；步骤S35 顺次统计每个格子内的个数，形成特征点？。.周围特征点分布直方图 sij;具体统计方式按照从里向外的方式，对处于同一圆环上的方格，从主方向开始，顺 时针旋转统计。其中步骤S5中码本C的构建采用K-均值聚类的方式；具体描述如下从所有图 像得到的视觉短语中，随机选择M个视觉短语；对这M个视觉短语进行K-均值聚类，形成K 个聚类中心；这K个聚类中心即为我们需要的具有代表性的码本短语，构成码本C。其中，所述分类器是普通的支持向量机分类器。本发明的有益效果与现有的传统基于字包表示模型的图像类别标注方法相比， 本发明方法具有如下特点1.与传统的字包模型表示相比，本发明中的短语包模型引入局部特征/视觉字之 间的结构位置信息，可以大大提高表示向量的判别性。2.与采用图像分块的方法相比，本发明只是捕获局部特征点与局部范围内其他特 征点之间的结构位置信息，对目标在图像中的位移具有很强的鲁棒性。本发明有效的解决了传统字包模型缺乏位置信息导致判别性不足与加入分块的 位置信息后对位移敏感的矛盾，使得图像在引入特征点之间的位置信息而增加了判别性的 同时，消除了对目标在图像中位移的敏感程度，有效地挺高了图像标注系统的性能。
图1是本发明步骤S31中，R = 5，0 = 12的实例。
具体实施例方式下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是， 所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。本发明具体实施方式
描述如下步骤S1 对任意图像I”利用基于小波的局部特征点检测子，得到图像中所有的局 部特征点Pi = {PiJ}, j = 1,2,...,队，其中队为图像Ii中所有局部特征点的个数，在本发 明的实验当中队被设置为1000，也就是在每一幅图像中检测1000个局部特征点；步骤S2 对步骤S1得到的局部特征点pu，利用局部特征描述子尺度不变特征变 换(SIFT)，描述它周围局部区域的纹理特征，形成局部特征点Pij的向量描述fu，我们称
为特征点对应的视觉字，在本发明的试验当中，由SIFT描述子得到的向量为128维 向量；
步骤S3 :对步骤S1得到的局部特征点Pij，描述图像Ii中其它特征点piu G Pp u卓j在局部特征点周围的分布情况，形成分布向量su，具体描述如下步骤S31 如图1示出，以Pij (红点)为圆心，分别以巧，r2, . . . , rE为半径画R个 同心圆；将得到的每个圆环，按照方向均勻0等分，需要注意的是最小的圆不作划分。例如， 在本发明的试验当中，R = 5，(ri,r2,r3,r4,r5) = (4，8，14，22，32)，0 = 12。步骤S32 统计图像L中其它特征点piu G Py u兴j落入步骤S31中得到的每个 格子内的个数，未落入格子内的特征点忽略不计。步骤S33 属于同一方向的格子内点的个数相加，选择特征点数量最多的方向，作 为特征周围特征点分布的主方向步骤S34 为了使得特征点Pij对距离比较近的其它特征点敏感，而随着距离增加， 影响减弱，将分别以巧，r2, . . . , rE为半径的R个同心圆为外界的格子内的个数分别除以
S2，...，，作为每个格子内的新的个数。在我们试验中(、，6 2, 6 3, 6 4, 6 5)= (1，2，3，4，5)。步骤S35 顺次统计每个格子内的个数，形成特征点周围特征点分布直方图向 量Sij。具体统计方式按照从里向外的方式，对处于同一圆环上的方格，从主方向开始， 顺时针旋转统计；在本发明的实验当中，直方图向量Sij的维数为12X4+1 = 49。步骤S4 向量与向量Sij联接，形成局部特征点Pij对应的视觉短语，ZiJ = [&，su]。其中，、的维数为向量&和向量、维数之和；在本发明的实验当中，的维 数为 128+49 = 177步骤S5 在所有图像通过步骤S1、步骤S2、步骤S3、步骤S4得到的视觉短语中， 选择K个具有代表性的视觉短语，构建码本C。码本中的每个视觉短语我们成为码本短语。 码本C的构建具体描述如下从所有图像得到的视觉短语中，随机选择M个视觉短语；对这 M个视觉短语进行K-均值聚类，形成K个聚类中心。这K个聚类中心即为我们需要的具有 代表性的码本短语，构成码本。在本发明的试验当中，M = 300, 000, K = 2000。步骤S6 对每一幅图像Ii中的局部特征点Pij对应的视觉短语Zij按照最近邻原 则，映射到码本C中距离它最近的码本短语上面。即将码本c中距离视觉短语Zij最近的码 本短语作为视觉短语的代表。步骤S7 统计码本C中每个码本短语在图像Ii中出现的次数，形成码本短语出现 次数直方图向量Vi，作为图像Ii的短语包模型图像内容表示。在得到图像的短语包模型表示向量以后，这些向量可以被用于训练支持向量机或 者在支持向量机分类器训练完成之后输入支持向量机进行标注。本发明的基于短语包模型的图像类别标注方法大致描述如下首先对所有图像， 利用局部特征点检测子，得到图像中所有的局部特征点；然后，对得到的局部特征点，利用 局部特征描述子，描述它周围局部区域的纹理特征，形成局部特征点的向量描述，即该特征 点对应的视觉字；对每一个局部特征点，描述图像中其它特征点在该点周围的分布情况，形 成分布向量；然后，把视觉字和描述局部特征点分布的分布向量联接，形成视觉短语；选择 一部分具有代表性的视觉短语，称为码本短语，构成码本；对每一幅图像中的每一个视觉短 语按照最近邻原则，映射到码本中距离它最近的码本短语上面。统计码本中每个码本短语 在某图像中出现的次数，形成码本短语出现次数直方图向量作为该图像的基于短语包模型的图像内容表示；该向量可以被直接送入支持向量机分类器，完成标注。上述基于短语包模型的图像类别标注方法具有高度的实用性和应用价值。以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并不局限于此，任 何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在 本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
权利要求
基于短语包模型的图像类别标注方法，其特征在于，该图像类别标注方法，通过分析字包模型中视觉字之间的位置关系，将视觉字发展为视觉短语，进而提出基于短语包模型的图像内容表示，然后利用短语包模型的表示结果训练分类器以及输入分类器进行类别标注。
2.如权利要求1所述的基于短语包模型的图像类别标注方法，其特征在于，所述基于 短语包模型的图像内容表示包括步骤如下步骤S1 对任意图像I”利用局部特征点检测子，得到图像中所有的局部特征点Pi = {PiJ}, j = 1,2,...,队，其中队为在图像Ii中检测到的所有局部特征点的个数；步骤S2 对步骤S1得到的局部特征点利用局部特征描述子，描述它周围局部区域 的纹理特征，形成局部特征点的向量描述fu，将向量描述作为局部特征点对应的 视觉字；步骤S3 对步骤S1得到的局部特征点Pij描述图像Ii中其它特征点piu e Py兴j在 局部特征点周围的分布情况，形成分布向量Sij ；步骤S4 向量描述与分布向量联接，形成局部特征点对应的视觉短语zu，ZiJ =礼，Sij]；步骤S5 在所有图像得到的视觉短语中，选择K个具有代表性的视觉短语，构建码本C ； 将码本中的每个视觉短语作为码本短语；步骤S6 将每一幅图像Ii中的所有局部特征点Pij对应的视觉短语Zij按照最近邻原 则，映射到码本C中距离它最近的码本短语上面，将该码本短语作为视觉短语Zij的代表；步骤S7 统计码本C中每个码本短语在图像^中出现的次数，形成码本短语出现次数 直方图向量Vi，作为图像Ii的基于短语包模型的图像内容表示。
3.如权利要求2所述的基于短语包模型的图像类别标注方法，其特征在于步骤S1中局 部特征点检测子是现有众多局部特征点检测子中任意的一种。
4.如权利要求2所述的基于短语包模型的图像类别标注方法，其特征在于步骤S2中局 部特征点描述子是现有众多局部特征点描述子中任意的一种。
5.如权利要求2所述的基于短语包模型的图像类别标注方法，其特征在于步骤S3中描 述图像L中其它特征点Piu e Py u兴j在局部特征点周围的分布情况具体方式如下步骤S31 以局部特征点为圆心，分别以r” r2，...，&为半径画R个同心圆；将得 到的每个圆环，按照方向均勻0等分，得到的多个格子，需要注意的是最小的圆不作划分；步骤S32 统计图像L中其它特征点piu e Pi，u兴j落入每个格子内的个数，未落入格 子内的特征点忽略不计；步骤S33 属于同一方向的格子内点的个数相加，选择特征点数量最多的方向，作为局 部特征周围特征点分布的主方向eij;步骤S34:为了使得局部特征点对距离比较近的其它特征点敏感，而随着距离增加， 影响减弱，将分别以巧，r2, . . . , rE为半径的R个同心圆为外界的格子内的个数分别除以 S2，...，SK，作为每个格子内的新的个数；步骤S35 顺次统计每个格子内的个数，形成特征点周围特征点分布直方图；具 体统计方式按照从里向外的方式，对处于同一圆环上的方格，从主方向9 u开始，顺时针旋 转统计。
6.如权利要求2所述的基于短语包模型的图像类别标注方法，其特征在于步骤S5中码 本C的构建采用K-均值聚类的方式；具体描述如下从所有图像得到的视觉短语中，随机 选择M个视觉短语；对这M个视觉短语进行K-均值聚类，形成K个聚类中心；这K个聚类中 心即为我们需要的具有代表性的码本短语，构成码本C。
7.如权利要求1所述的基于短语包模型的图像类别标注方法，其特征在于，所述分类 器是普通的支持向量机分类器。
全文摘要
本发明为一种基于短语包模型的图像类别标注方法，该方法在现有的字包模型表示的基础上，引入视觉字之间的位置信息，提出了短语包模型表示策略。本发明有效的解决了传统字包模型缺乏位置信息导致判别性不足与加入分块的位置信息后对目标位移敏感之间的矛盾；使得图像在引入视觉字之间的位置信息而增加了判别性的同时，消除了对目标在图像中位移的敏感性，有效地提高了图像类别标注系统的性能，具有重要的应用价值。
文档编号G06K9/62GK101894264SQ20101019509
公开日2010年11月24日 申请日期2010年5月31日 优先权日2010年5月31日
发明者张琳波, 惠康华, 王春恒, 肖柏华, 蔡新元, 邵允学 申请人:中国科学院自动化研究所