专利名称：基于标签图模型随机游走的图像自动标注方法及装置的制作方法
技术领域：
本发明涉及多媒体技术领域，特别涉及一种基于标签图模型随机游走的图像自动标注方法及装置。
背景技术：
随着社区网络和数码摄像技术的迅猛发展带来网络图像数据的爆炸式增长，如何对如此海量的图像数据进行有效的存储、管理和检索成为一个严峻的挑战和急迫的需求。 传统的基于图像周边文本的检索(如Google图像搜索)由于周边文本噪声太大而无法达到较好的检索精度，而基于图像内容的检索(CBIR)技术则由于无法跨越图像底层特征与高层语义之间的“语义鸿沟”(Semantic Gap)而得不到广泛的认可和应用。近年来的研究表明，基于图像语义内容的自动标注技术将很可能成为以上问题的有效解决途径。图像自动标注是指对一张没有或只有极少文本描述的图像，根据其底层特征，由计算机自动寻找出能够有效描述其语义内容的文本标签。现有图像自动标注方法总体上可以划分为两大类基于模型的标注方法和数据驱动的标注方法。现有的基于模型的图像自动标注方法主要采用的是分类器方法和统计模型方法。
分类器方法将标注问题转化为分类问题，通常是将每一个候选标签视为一个类别，并通过
训练数据为每一个候选标签训练相应的分类器，再由分类器判断待标注图像所属的类别，
则这些类别所对应的标签将作为标注的结果。统计模型的基本思想是通过应用概率模型
等统计学方法在训练数据集上建立起图像或图像区域与文本标签之间的关系模型，然后根
据待标注图像的底层特征，通过应用该关系模型直接评估各个标签的权重，最终选择权重
最大的若干个标签作为标注的结果。统计模型在图像自动标注方面的应用很多，如将机器
翻译的思想应用到图像标注中，首先将训练数据集中的图像进行区域分割和聚类作为“词
袋”，然后应用期望最大化(Expectation Maximization)算法，为每一个“词袋”分配相
应的文本标签，从而建立起“词袋”与标签之间的关系模型，而对于待标注图像，也可通过
区域分割，并根据各个区域所对应的“词袋”获取相应的文本标签作为标注结果；相应地，
在“词袋”量化的基础上，根据条件概率思想建立起了另一个标注模型一给定待标注图
像的“词袋”表示(假设为Ib1, b2，...bm})，利用训练集上的统计数据评估出为其标注上
某一个标签w的概率P (w Ib1, b2，...bm)，最终取条件概率最大的若干个候选标签作为标注
结果；也可利用贝叶斯法则和独立假设将上述概率公式P (w Ib1, b2，...bm)进一步改写为
权利要求
1.一种基于标签图模型随机游走的图像自动标注方法，其特征在于，包括以下步骤 A 提供具有预设特征向量的已标注图像集合和待标注图像；B:获得所述待标注图像的特征向量和预设标签，并根据所述待标注图像的特征向量从所述已标注图像集合中选择与所述待标注图像相关联的近邻图像集合，并获得所述近邻图像集合的标签集合作为候选标签集合；C 构造所述候选标签集合中标签之间的共生矩阵；D 获得所述候选标签集合中标签之间的词义相似度矩阵，并根据所述词义相似度矩阵以及所述待标注图像的预设标签获得所述候选标签集合中全部标签的典型度向量； E 根据所述典型度向量构造所述候选标签集合的倾向矩阵； F 对所述共生矩阵和所述倾向矩阵进行融合，以得到关系矩阵； G 以所述标签集合中每个标签为节点并根据所述候选标签集合中每个标签的初始权重和所述关系矩阵构造标签图模型；和H 在所述标签图模型上进行随机游走以得到所述节点的权重向量，并根据所述权重向量中每个节点的对应权重值确定所述待标注图像的标签。
2.根据权利要求1所述的图像自动标注方法，其特征在于，所述步骤B进一步包括 Bl 提取所述待标注图像的至少一个特征的单特征向量；B2 基于所有的所述单特征向量，获得所述待标注图像的所述特征向量； B3 根据所述待标注图像中每个单特征向量与所述已标注图像集合中每一图像的预设特征向量，分别确定所述待标注图像的单特征向量与所述已标注图像集合中每一图像对应的单特征向量之间的距离；B4 对各种单特征向量对应的全部所述距离进行归一化，并分别对待标注图像与所述已标注图像集合中每一图像的所述全部归一化的距离进行融合，以确定所述待标注图像的所述特征向量与所述已标注图像集合中每一个图像的所述预设特征向量的距离；和B5 从所述已标注图像集合中选择所述预设特征向量与所述待标注图像的所述特征向量的距离最小的k个图像，以形成所述近邻图像集合，并得到所述候选标签集合。
3.根据权利要求2所述的图像自动标注方法，其特征在于，其中，所述归一化步骤通过以下公式进行
4.根据权利要求1所述的图像自动标注方法，其特征在于，所述共生矩阵中的每一矩阵元素计算公式为
5.根据权利要求1所述的图像自动标注方法，其特征在于，所述步骤D进一步包括 根据词义相似度衡量方法计算所述候选标签集合中标签间的词义相似度矩阵，其中，所述词义相似度矩阵中每个元素^的值在O < A < 1的范围内；根据所述词义相似度矩阵以及所述待标注图像的预设标签，利用典型度向量计算公式计算得到所述典型度向量V，所述典型度向量计算公式为
6.根据权利要求5所述图像自动标注方法，其特征在于，如果所述待标注图像没有预设标签，则P向量为零向量。
7.根据权利要求1所述的图像自动标注方法，其特征在于，所述步骤E进一步包括 通过倾向矩阵计算公式计算得到所述倾向矩阵T，所述倾向矩阵计算公式为
8.根据权利要求1所述的图像自动标注方法，其特征在于，在所述步骤F中，所述融合通过如下公式进行G = β C+d-β )Τ, 其中，β为调整因子，C为所述共生矩阵，T为所述倾向矩阵。
9.根据权利要求1所述的图像自动标注方法，其特征在于，所述步骤G进一步包括 对所述标签集合中每个标签赋予所述初始权重，以得到所述标签集合的初始权重向量其中，所述φ中每个元素的值在W，l]的范围内； 以所述标签集合中每个标签为节点，并以所述关系矩阵中每两个标签间的关系获得对应的每两个节点之间所形成的边的权重来构造所述标签图模型。
10.根据权利要求1所述的图像自动标注方法，其特征在于，所述步骤H进一步包括 如果在所述标签图模型上进行随机游走时，所述标签图模型中的当前节点以概率a将所述当前节点的权重传递给后继节点，并以概率1- α保留所述初始权重，则节点、在第 c次随机游走后的权重ω^的计算公式为其中Gi i为关系矩阵G矩阵中第j行第i列的元素，φ,为第i个标签的初始权重值，c 为随机游走的次数。
11.一种基于标签图模型随机游走的图像自动标注装置，其特征在于，包括提取模块，所述提取模块用于提供具有预设特征向量的已标注图像集合和待标注图像；标签集合获取模块，所述标签集合获取模块用于获得所述待标注图像的特征向量和预设标签，并根据所述待标注图像的特征向量从所述已标注图像集合中选择与所述待标注图像相关联的近邻图像集合，并获得所述近邻图像集合的标签集合作为候选标签集合；共生矩阵构造模块，所述共生矩阵构造模块用于构造所述候选标签集合中标签之间的共生矩阵；典型度向量构造模块，所述典型度向量构造模块用于获得所述候选标签集合中标签之间的词义相似度矩阵，并根据所述词义相似度矩阵以及所述待标注图像的所述预设标签获得所述标签集合中全部标签的典型度向量；倾向矩阵构造模块，所述倾向矩阵构造模块用于根据所述典型度向量构造所述候选标签集合的倾向矩阵；融合模块，所述融合模块用于对所述共生矩阵和所述倾向矩阵进行融合，以得到关系矩阵；标签图构造模块，所述标签图构造模块用于以所述标签集合中每个标签为节点并根据所述候选标签集合中每个标签的初始权重和所述关系矩阵构造标签图模型；和标注模块，所述标注模块用于在所述标签图模型上进行随机游走以得到所述节点的权重向量，并根据所述权重向量中每个节点的对应权重值确定所述待标注图像的标签。
12.根据权利要求11所述的图像自动标注装置，其特征在于，所述标签集合获取模块用于提取所述待标注图像的至少一个特征的单特征向量，并基于所有的所述单特征向量， 获得所述待标注图像的所述特征向量，接着根据所述待标注图像中每个单特征向量与所述已标注图像集合中每一图像的预设特征向量，分别确定所述待标注图像的单特征向量与所述已标注图像集合中每一图像对应的单特征向量之间的距离，然后对各种单特征向量对应的全部所述距离进行归一化，并分别对待标注图像与所述已标注图像集合中每一图像的所述全部归一化的距离进行融合，以确定所述待标注图像的所述特征向量与所述已标注图像集合中每一个图像的所述预设特征向量的距离，和从所述已标注图像集合中选择所述预设特征向量与所述待标注图像的所述特征向量的距离最小的k个图像，以形成所述近邻图像集合，并得到所述候选标签集合。
13.根据权利要求12所述的自动标注装置，其特征在于，其中，所述归一化步骤通过以下公式进行
14.根据权利要求11所述的图像自动标注装置，其特征在于，所述共生矩阵中的每一矩阵元素计算公式为
15.根据权利要求11所述的图像自动标注装置，其特征在于，所述典型度向量构造模块用于根据词义相似度衡量方法计算所述候选标签集合中标签间的词义相似度矩阵，其中，所述词义相似度矩阵中每个元素ex的值在O < A < 1的范围内；根据所述词义相似度矩阵以及所述待标注图像的预设标签，利用典型度向量计算公式计算得到所述典型度向量V，所述典型度向量计算公式为ν = TT · (I+yp),其中，TT为所述词义相似度矩阵，I为全为1的列向量，Y是调整因子，ρ为所述预设标签对应的标签向量，其中所述待标注图像的预设标签所在的位置为1，其他位置为O。
16.根据权利要求11所述的图像自动标注装置，其特征在于，所述倾向矩阵构造模块用于通过倾向矩阵计算公式计算得到所述倾向矩阵T，所述倾向矩阵计算公式为T = I · Vt,其中，I为全为1的列向量，V为所述典型度向量。
17.根据权利要求11所述的图像自动标注装置，其特征在于，所述融合模块用于通过如下公式进行融合G = β C+d-β )Τ,其中，β为调整因子，C为所述共生矩阵，T为所述倾向矩阵。
18.根据权利要求11所述的图像自动标注装置，其特征在于，所述标签图构造模块用于对所述标签集合中每个标签赋予所述初始权重，以得到所述标签集合的初始权重向量9, 其中，所述φ中每个元素的值在w，l]的范围内，并以所述标签集合中每个标签为节点，以所述关系矩阵中每两个标签间的关系获得对应的每两个节点之间所形成的边的权重来构造所述标签图模型。
19.根据权利要求11所述的图像自动标注装置，其特征在于，如果在所述标签图模型上进行随机游走时，所述标签图模型中的当前节点以概率α将所述当前节点的权重传递给后继节点，并以概率1- α保留所述初始权重，则所述标注模块中节点、在第c次随机游走后的权重ω^的计算公式为
全文摘要
本发明提出一种基于标签图模型随机游走的图像自动标注方法和装置，该方法包括以下步骤提供已标注图像集合和待标注图像；获得与所述待标注图像相关联的近邻图像集合，并获得候选标签集合；构造共生矩阵；获得典型度向量；根据典型度向量构造候选标签集合的倾向矩阵；对共生矩阵和倾向矩阵进行融合，以得到关系矩阵；构造标签图模型；和在标签图模型上进行随机游走以得到节点的权重向量，并根据权重向量中每个节点的对应权重值确定待标注图像的标签。该方法通过标签与标签之间的共生和倾向关系，能够有效地标注图像，具有标注准确的优点。根据该图像自动标注装置具有结构简单，易于实现的优点。
文档编号G06F17/30GK102298606SQ201110147140
公开日2011年12月28日 申请日期2011年6月1日 优先权日2011年6月1日
发明者丁贵广, 林梓佳 申请人:清华大学