一种基于不定核的多视图分类方法
【技术领域】
[0001] 本发明涉及模式识别与机器学习技术领域，特别涉及一种基于不定核的多视图分 类方法。
【背景技术】
[0002] 核方法是机器学习中的核心技术之一，是解决实际问题中存在的非线性学习问题 的一类重要方法，其核心思想是通过一种非线性映射将原始数据嵌入到高维特征空间，然 后利用线性学习器在新空间分析及处理数据。其优点主要体现在，无需提前知道非线性映 射的具体形式与参数，而是引入核函数，通过改变核函数形式和参数，隐式地实现从低维输 入空间到高维特征空间的映射；利用核函数，可将高维特征空间中复杂的内积运算转化为 低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间运算时可能出现的"维数 灾难"等问题，大大降低了计算量；可根据具体问题，灵活地选择核函数，以嵌入更多学习问 题的先验知识。
[0003] 尽管核方法具有上述诸多的关键优点，但受限于传统的统计学习理论，现有的大 部分核方法都要求核正定，满足Mercer条件。然而，在许多实际应用中，正定核有时并不能 取得很好的泛化性能，甚至很难利用。相反地，不定核恰能表现出比正定核更优的经验分 类效果，正逐渐成为机器学习领域中的一个研宄热点，受到越来越多研宄者的关注。例如， 在人脸识别问题中，Liu在核主成分分析（KPCA)中使用了不定的分数阶多项式核，取得了 比使用正定的多项式核KPCA更好的识别效果；在视频跟踪问题中，Liwicki等进一步利用 了不定的鲁棒梯度核，以解决在正定核KPCA中为了保持更新速度而使用简化的样本集表 示所可能带来的不精确解问题。实验表明，采用不定核的KPCA明显优于使用正定的高斯核 KPCA。但是，现有的不定核方法均局限于传统的单视图问题中。随着数据采集技术的不断 发展，研宄者发现在越来越多的真实世界问题中存在着大量多视图样本，譬如，人可以用人 脸图像和声音描述，每个因特网网页可以用文档和网页链接表示等等。因此，将不定核方法 进一步拓展到多视图学习问题中，以更好地适应实际应用的需要，是很有必要的。
[0004] 多视图学习是机器学习的另一热点问题。大量研宄表明，多视图数据中往往蕴藏 着学习问题中更多的先验信息。多视图学习的目的就在于，深入挖掘多个视图间的潜在信 息，通过视图间相互促进，以获得更好的学习性能。但是，在传统的多视图学习中，往往要求 每个视图上数据的类标号完整，但在现实问题中这一要求常常很难满足。例如，在一段视 频录像中，每秒钟都会闪过多帧图片，想要在每帧图片中标记出每个人几乎是不可能的；同 时，如果录像中有多个人进行交谈，想要标记出每个人的音频也很难。因此，在视频和音频 两个视图上的数据只有少量有标号的情况下，要保证每个视图上的数据均标记了所有的人 更是难上加难。因此，多个视图上标号不完整是多视图学习中的难题之一，现有的多视图学 习方法均不能或者很难有效地解决此问题。
[0005] 在现有的多视图学习中，几乎所有的学习算法都是基于两个视图而设计的。当视 图的个数多于两个时，可采用一对一的策略进行学习，即将视图两两组合，应用现有算法进 行分类，然后投票决定最终的分类结果。因此，两个视图的多视图学习问题是解决多视图分 类问题的关键。
【发明内容】
[0006] 发明目的：针对现有技术存在的问题，本发明提出一种基于不定核的多视图分类 方法，该方法通过将多个视图空间映射到一个新的统一的低维空间和引入不定核方法，有 效避免了 "维度灾难"，提高了后续分类的灵活性和有效性。
[0007] 技术方案：在对该方法具体步骤进行描述之前，首先给出相关定义及表示：
[0008] (a)样本：一组亚马逊数据库图片数据集；
[0009] (b)类别标记：即一个样本的所属类别；
[0010] (C)不定核：由再生核Krein空间中数据内积演化而来的不定核函数；
[0011] (d)典型相关分析算法（CCA):CanonicalCorrelationAnalysis;
[0012] (e)主成分分析（PCA):PrincipalComponentAnalysis;
[0013] (f)半监督典型相关分析算法（SemiCCA) :Semi_supervisedCanonical CorrelationAnalysis；
[0014] (g)半配对半监督广义相关性分析（S2GCA) :Semi-pairedandSemi-supervised GeneralizedCorrelationAnalysis；
[0015] (h)基于非对称核转换的域适应方法（ARC_t):AsymmetricRegularized Cross-domainTransformationProblemwithsimilarityanddissimilarity constraints；
[0016] ⑴半监督判别性不定核正则化最小二乘分类器（Semi-IKRLSC): Semi-superviseddiscriminativelyIndefiniteKernelRegularizedLeast-Square Classifier；
[0017] (j)空间同步：将多个视图空间映射到新的单一的视图空间。
[0018] 本发明提供一种基于不定核的多视图分类方法，主要针对两个视图的多视图分类 方法，该方法包括两个阶段：训练和应用，具体包括如下步骤：
[0019] 1)获取用于训练的多视图图像集；
[0020] 2)利用多视图数据生成投影矩阵，将不同视图数据投影到统一的低维空间；
[0021] 3)利用不定核技术对低维投影空间中的样本进行训练，得到分类器；
[0022] 4)规范化新的多视图数据集，将数据集投影到训练得到的低维空间，并把投影后 的数据集输入到训练得到的分类器中，得到分类结果。
[0023] 所述步骤2)采用SemiCCA算法进行降维，具体包括如下步骤：
[0024] 1)根据两个视图的数据，求解投影矩阵：
[0025] 设X= (X(L)，X?)，Y= (Ya)，Y?)分别表示两个视图View-X和View-Y中的 数据，其中
【主权项】
1. 一种基于不定核的多视图分类方法，其特征在于，包括如下步骤： 1) 获取用于训练的多视图图像集； 2) 利用多视图数据生成投影矩阵，将不同视图数据投影到统一的低维空间； 3) 利用不定核技术对低维投影空间中的样本进行训练，得到分类器； 4) 规范化新的多视图数据集，将数据集投影到训练得到的低维空间，并把投影后的数 据集输入到训练得到的分类器中，得到分类结果。
2. 根据权利要求1所述的基于不定核的多视图分类方法，其特征在于，所述步骤2)采 用SemiCCA算法进行降维，具体包括如下步骤： 1) 根据两个视图的数据，求解投影矩阵； 设X= (Xa)，X(u))，Y= (Ya)，Y(u))分别表示两个视图View-X和View-Y中的数据，其中 尤⑴=匕丨^和7? =丨兄,；^分别表示View-X和View-Y中已配对的样本，Z(c/) = 和}^ =丨.V"丨;^+1分别表示View-X和View-Y中未配对的样本，则求解投影矩阵的公式为：
(1) 其中，QY表示对应于View-X的投影矩阵，Qv表示对应于View-Y的投影矩阵，
【表示 View-X中已配对样本的协方差矩阵，凡乂表示View-Y中已配对样本的协 方差矩阵，丨表示View-X和View-Y两个视图间已配对样本的协方差 矩阵，<1 = 兄乂表示View-Y和View-X两个视图间已配对样本的协方差矩阵， 表示View-X中全部数据的协方差矩阵，七表示 View-Y中全部数据的协方差矩阵，y是取值范围为[0, 1]的正则化参数，X是广义特征值，D，Dy分别表示View-X和View-Y的维度，八表示DxXDjII的单位矩阵，&表示DyXDy 维的单位矩阵； 2) 根据求解的投影矩阵，将多视图数据X和Y统一映射到低维空间。
3. 根据权利要求1所述的基于不定核的多视图分类方法，其特征在于，所述步骤3) 采用Semi-IKRLSC算法训练分类器，给定样本集合5 = ^，…，…，其中 是来自。个类的有标号样本，Yi表不类别标号，在7=1(')1+1是未标号样 本，具体训练过程为： 1)获取有标号样本的局部类内紧凑度和类间分离度Tlw和Tlb:
其中，f(X) =QTX是待求的分类器函数，X,(i>表示第k个类别的第i个标记样本，lk为 第k个类别总共标记的样本个数，Q是分类判别向量， [ l/!~U少V,少/
Z -1 '
^用以衡量同类中样本的相对位 置，s为方差； 2) 计算数据的全局结构信息Tp:
(7) 其中，f是分类器函数，Q是分类判别向量，Ff;=l/?，
3)将数据的全局结构信息引入局部类内紧凑度和类间分离度：
其中，G(sa)(f)和J(sa)(f)分别为引入全局结构信息的类内紧凑度和类间分离度，y为正则化参数，Tlw为有标号数据的局部类内紧凑度，Q是分类判别向量，I为单位阵， ?TZ>=(l-r)MM. +r/，Tlb为有标号数据的局部类间分离度，Tp为数据的全局结构信息，
4)利用不定核分类方法，训练所有样本，得到分类器函数f%
其中，1表示再生核KrcTn空间，1为有标号样本的个数，yi为样本xi的类别标号，f是分类器函数，0 <n< 1为正则化参数，G(ssl) (f)为引入全局结构信息的类内紧凑度， j(SSL)(f)为引入全局结构信息的类间分离度，Q是分类判另丨j向量，JTi>=a_r)M,w +rJ，
【专利摘要】本发明公布了一种基于不定核的多视图分类方法，该方法包括如下步骤：1）获取用于训练的多视图图像集；2）利用多视图数据生成投影矩阵，将不同视图数据投影到统一的低维空间；3）利用不定核技术对低维投影空间中的样本进行训练，得到分类器；4）规范化新的多视图数据集，将数据集投影到训练得到的低维空间，并把投影后的数据集输入到训练得到的分类器中，得到分类结果。本发明将需要解决的标号不完整多视图分类问题转化为在统一低维空间中的单视图半监督分类问题，可实现在单视图上的标号完整；充分利用了有标号数据的判别信息以及无标号数据的结构信息，提升了分类器性能；并且可直接对新的多视图数据进行测试和分类。
【IPC分类】G06K9-62
【公开号】CN104809468
【申请号】CN201510188546
【发明人】薛晖
【申请人】东南大学
【公开日】2015年7月29日
【申请日】2015年4月20日