专利名称：一种基于多视角学习的半监督图像分类方法
技术领域：
本发明涉及多视角学习、潜在因子学习和半监督学习领域，特别是一种基于多视角学习的半监督图像分类方法。
背景技术：
在现实图像分类问题中，图像数据可以从诸如颜色，纹理，形状等不同视觉角度加以描述。这些不同的图像特征从不同视角揭示了所研究图像的不同属性。对此类多视角描述对象的研究在学术界称之为多视角学习。合理地探索蕴含于多视角数据中的互补信息和关系可以极大提升学习效果。一般来说多视角学习的研究有两个主要方向。第一个方向是基于互训练(co-training)的方法，其基本思想是分别在两个视角内训练分类器，把每个分类器最具信心的分类结果送给对方视角分类器作为新的训练样本。这种方式存在两个不合理的地方，一是对不同视角不作区别对待，二是每一轮迭代都必须重新训练，计算负担巨大。第二个方向是基于统一潜在因子学习，最典型的例子就是典型相关分析(CanonicalCorrelation Analysis, CCA)。本发明基于后者的思想。大多数的潜在因子学习是无监督学习，因此学习到的潜在因子的判别力较弱。在实际情况中，充分标注的数据是很昂贵的，并且获取很困难。而部分标注的数据往往可以被很方便地获取到，尤其是在互联网应用日益普遍，用户标签迅速增长的情况下。融入部分标注数据进行潜在因子学习无疑可以极大地加强潜在因子的判别力。
发明内容
本发明提出了一种新的基于多视角学习的半监督图像分类方法，用以解决在部分类标条件下，多视角特征表示的图像分类问题。本发明提出的基于多视角学习的半监督图像分类方法，其包括:步骤1:获取包括已标注类别和未标注类别的图像样本数据的样本数据集，所述样本数据集由多视角特征表示的不同视角样本数据所构成；步骤2:通过多视角统一潜在因子和线性分类器的联合学习获得对应于所述样本数据集的统一潜在因子和在统一潜在因子空间下的线性分类器；步骤3:根据所获得的统一潜在因子和所述线性分类器获得所述样本数据集中未标注类别的图像样本数据的标注类别，进而对所述样本数据集中的图像样本数据进行分类。本发明还提出了一种基于多视角的半监督图像分类装置，其包括:样本获取装置，用于获取包括已标注类别和未标注类别的图像样本数据的样本数据集，所述样本数据集由多视角特征表示的不同视角样本数据所构成；多视角统一潜在因子和线性分类器联合学习模块，其通过多视角统一潜在因子和线性分类器的联合学习获得对应于所述样本数据集的统一潜在因子和在统一潜在因子空间下的线性分类器；
图像分类操作模块，其根据所获得的统一潜在因子和所述线性分类器获得所述样本数据集中未标注类别的图像样本数据的标注类别，进而对所述样本数据集中的图像样本数据进行分类。本发明采用半监督学习的方式。半监督学习是同时使用未标注数据和标注数据进行学习的方法，可以极大提升学习效果。另外，非负矩阵分解是一种有效的潜在因子学习方法。非负矩阵分解的非负性要求导致一种基于局部的表示。这种数据表现方式是吻合人类大脑认识过程的，因此在很多实际应用条件下具有很好的效果。本发明还采用非负矩阵分解技术作为基本的潜在因子学习方法，并将其扩展到了多视角条件下。
图1是本发明所提出的基于多视角学习的半监督图像分类方法的系统框图。图2是本发明所述的多视角统一潜在因子和线性分类器联合学习的结构框图。
具体实施例方式本发明实施例，提供了一种图像分类方法。在现实图像分类任务中，图像可由多视角的特征加以描述，图像的部分类标往往是容易得到的，本发明利用部分类标和图像的多视角特征表示联合学习统一潜在因子和在统一潜在因子空间下的线性分类器，统一潜在因子经线性分类器操作可得样本属于不同类别的信心值，根据信心值大小判定样本类别，从而达到图像分类的目的。为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。如图1所示，在获取部分类标和图像多视角特征表示后，本发明公开的方法包括如下两个步骤:1)多视角统一潜在因子和线性分类器联合学习，2)图像分类操作。用户将包含N个样本的多视角图像数据集{X1，X2，...XpI和类标矩阵Y输入到所述的多视角统一潜在因子和线性分类器联合学习模块。其中，XP e R-Xjv是图像集第P个视角特征呈现的数据矩阵，Mp是第P个视角特征的维度。图像数据集中的样本数据分属于C个类别，且前R个样本的类标已知。标注矩阵Y €以表征该部分监督信息，当第r个样本数据属于第c类，则Y中的元素ycr为1，否则为O。多视角统一潜在因子和线性分类器联合学习模块输出未标注图像样本的统一潜在因子特征表不Vul,和在统一潜在因子空间下的线性分类器W。Vul和W被进一步输入到图像分类操作模块，通过比较未标注图像样本在不同类别的信心值，最后输出未标注图像样本的类标Lul。本发明实施例提供的多视角统一潜在因子和线性分类器联合学习系统利用了多视角协同非负矩阵分解模型、考虑2，I范正则项的回归模型和自适应的多视角权重分配策略。所述的多视角协同非负矩阵分解模型如图2左半部分所示。G Riu 为第P视角样本数据的基矩阵。V G RA'xAf为所有P个视角所共享的潜在因子矩阵，K为统一潜在因子空间的维度，具体的取值可由用户经验指定。Vz G KA^、V.d €分别指示V中被标注的前R个样本和未标注其余样本的潜在因子矩阵。多视角协同非负矩阵分解模型在第P视角同时学习基矩阵Up和潜在统一因子V，希望能够尽量好地重构第P视角样本数据矩阵xp。多视角协同非负矩阵分解模型的目标函数如下:
权利要求
1.种基于多视角学习的半监督图像分类方法，其包括: 步骤1:获取包括已标注类别和未标注类别的图像样本数据的样本数据集，所述样本数据集由多视角特征表示的不同视角样本数据所构成； 步骤2:通过多视角统一潜在因子和线性分类器的联合学习获得对应于所述样本数据集的统一潜在因子和在统一潜在因子空间下的线性分类器； 步骤3:根据所获得的统一潜在因子和所述线性分类器获得所述样本数据集中未标注类别的图像样本数据的标注类别，进而对所述样本数据集中的图像样本数据进行分类。
2.权利要求1所述的方法，其特征在于，步骤2中所述多视角统一潜在因子和线性分类器的联合学习基于多视角协同非负矩阵分解模型、考虑2，I范正则项的回归模型和自适应的多视角权重分配策略完成；其中所述多视角协同非负矩阵分解模型基于不同视角样本数据共享潜在因子的假设，对所述不同视角样本数据进行非负重构，最终获得最小的重构误差；所述考虑2，I范正则项的回归模型用于通过对所述样本数据集中已标注类别的图像样本数据在所述统一潜在因子空间下进行最小化预测误差的限制，构建分类器，并根据所述分类器在统一潜在因子空间下对未标注样本进行分类预测；所述自适应的多视角权重分配策略以不同视角样本数据的重构误差为依据，为多视角样本数据分配不同的权重。
3.权利要求2所述的方法，其特征在于，所述多视角协同非负矩阵分解模型如下表示:
4.权利要求2所述的方法，其特征在于，所述考虑2，I范正则项的回归模型如下表示:
5.权利要求2所述的方法，其特征在于，所述自适应的多视角权重分配策略用如下函数表示:
6.权利要求2所述的方法，其特征在于，所述基于多视角协同非负矩阵分解模型、考虑2，I范正则项的回归模型和自适应的多视角权重分配策略实现的所述多视角统一潜在因子和线性分类器的联合学习用如下函数表示:
7.权利要求6所述的方法，其特征在于，将所述迭代求解联合学习函数分为四个优化子问题:1)固定V,最小化W, 2)固定V,最小化)固定U:和Π,最小化V和4)固定U和V，最小化Π ； 通过依次迭代更新上述四个优化子问题，最终获得所述统一潜在因子V和在统一潜在因子空间下的线性分类器W。
8.权利要求6所述的方法，其特征在于， 第I)个优化子问题如下表示:W = A-1V1Yt 其中，A =+ IE)，E是对角矩阵，且对角元素^，Wk为W的第k行元素，是之前迭代更新过的值； 第2)个优化 .Η^ Μ\ K.及小:
9.权利要求1所述的方法，其特征在于，根据下式获得未标注类别的样本数据的类别标注矩阵: Yui = WtVu1 其中，Yw G Κ(、(Λ -Λ)表示未标注样本数据类别标注矩阵，C为总的类别个数，N是样本数据个数，R表示已标注类别的样本数据个数，Vul为未标注类别样本数据对应的统一潜在因子，W为统一潜在因子空间下的线性分类器。
10.种基于多视角的半监督图像分类装置，其包括: 样本获取装置，用于获取包括已标注类别和未标注类别的图像样本数据的样本数据集，所述样本数据集由多视角特征表示的不同视角样本数据所构成； 多视角统一潜在因子和线性分类器联合学习模块，其通过多视角统一潜在因子和线性分类器的联合学习获得对应于所述样本数据集的统一潜在因子和在统一潜在因子空间下的线性分类器； 图像分类操作模块，其根据所获得的统一潜在因子和所述线性分类器获得所述样本数据集中未标注类别的图像样本数据的标注类别，进而对所述样本数据集中的图像样本数据进行分类。
全文摘要
本发明公开了一种新的基于多视角学习的半监督图像分类方法，用以解决带有部分标注的多视角图像数据的分类问题。本发明提供的图像分类方法包括根据用户输入的图像多视角特征表示和部分图像的类标，联合学习图像多视角特征的统一潜在因子表示和在此统一潜在因子空间下具有判别力的线性分类器，从而对未标注图像进行有效的分类。
文档编号G06K9/66GK103093248SQ201310032048
公开日2013年5月8日 申请日期2013年1月28日 优先权日2013年1月28日
发明者卢汉清, 蒋瑜, 刘静 申请人:中国科学院自动化研究所