一种基于低秩约束局部回归的域泛化图像分类方法

1.本发明涉及计算机视觉技术领域，特别是涉及一种基于低秩约束局部回归的域泛化图像分类方法。


背景技术：

2.人类善于利用过去的经验在新环境中快速解决问题。同样，我们希望机器也能在不同的条件(领域)下建立鲁棒的模型，以解决许多新任务。例如，我们希望计算机视觉系统能够在摄像机环境发生变化时立即识别物体，而无需再训练。解决这一问题的方法可分为域自适应(da)和域泛化(dg)。域自适应(da)方法通过减少不同但相关域中的分布差距并使用源域和目标域样本来训练特定目标域的模型，已成功应用于广泛的视觉应用。作为一个相关的研究问题，域泛化(dg)旨在新的目标域中建立一个在运行良好的模型。它与da的不同之处在于，即使未标记的目标样本不可用且模型在训练后未更新，它也会训练模型。在不考虑特定目标域的泛化能力的情况下，dg技术能够更好地对来自任何相对于da的不可见目标域的测试数据实现开箱即用的效果。原因是da依赖于目标域(未标记)样本的可用性，导致域自适应算法通常不直接适用于域泛化，尽管域da和dg是密切相关的问题。
3.在视觉识别任务中，da方法通常将整个数据集视为一个域。然而，这种处理忽略了现实世界中视觉数据的多样化。在不同的视角和光照条件下，同一场景拍摄的视频或图片是不同的。这是由于视觉域分布的复杂性造成的，因此有必要减少不同域之间的分布不匹配。j.hoffman等人和b.gong等人证明，将源域划分为多个潜在域可以提供域自适应性能。然而，如何有效地将训练样本划分为多个簇，以发现特征潜在域是一项具有挑战性的任务。


技术实现要素：

4.本发明所要解决的技术问题是提供一种基于低秩约束局部回归的域泛化图像分类方法，能够有效对图像进行分类，并且能够应用于域自适应中。
5.本发明解决其技术问题所采用的技术方案是：提供一种基于低秩约束局部回归的域泛化图像分类方法，包括：
6.步骤(1)：获取源域，并将所述源域分解为若干子域；
7.步骤(2)：根据每个子域训练得到一个分类器；
8.步骤(3)：根据每个子域训练得到的分类器构建低秩约束局部回归框架；
9.步骤(4)：基于所述低秩约束局部回归框架对图像进行分类。
10.所述步骤(1)中通过knn算法将所述源域分解为若干子域。
11.所述步骤(3)具体为：
12.步骤(31)：获取每个子域训练得到的分类器的权重向量；
13.步骤(32)：将每个分类器的权重向量进行组合，得到低秩矩阵；
14.步骤(33)：将所述低秩矩阵转换为低秩约束目标函数；
15.步骤(34)：基于所述低秩约束目标函数对每个分类器进行训练，得到适用于域泛
化的低秩约束局部回归框架。
16.所述步骤(33)具体为：利用迹范数正则化将所述低秩矩阵转换为低秩约束目标函数以防止过拟合。
17.所述步骤(33)还包括：将所述低秩约束目标函数中的标签向量替换为伪标签向量以去除噪声。
18.所述步骤(33)还包括：将所述低秩约束目标函数中的预测结果调整为与实际标签一致。
19.所述低秩约束局部回归框架还应用于域适应。
20.有益效果
21.由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明在最近的跨域图像分类基准测试中取得的最佳分类结果表明，与现有的方法相比，提出的一种基于低秩约束局部回归的域泛化图像分类方法在域泛化和域自适应方面具有很强的性能；本发明不仅适用于目标域不可见的域泛化，还能扩展到域自适应；本发明的方法是学习稳健的分类器，而不是学习特征表示；本发明能够有效对图像进行分类。
附图说明
22.图1是本发明实施方式的方法流程图。
具体实施方式
23.下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
24.本发明的实施方式涉及一种基于低秩约束局部回归的域泛化图像分类方法，如何在训练过程中目标样本不可用的情况下确保视觉分类的鲁棒性是当前视觉学习界面临的一个重要挑战。在这种情况下产生的领域泛化成为继领域自适应之后的一个新的研究热点。本实施方式提出的低秩约束局部回归框架(lrclr)，这是一种新的领域泛化方法。具体地说，通过knn算法将源域分解为多个子域，每个子域包含一个正训练样本及其k1个相邻的正样本和k2个相邻的负样本。此外，通过迹范数正则化利用子域之间的相关知识。通过为每个子域训练一个分类器，得到一组局部分类器。进一步将lrclr扩展到域自适应(da)。
25.为了进一步增强学习到的局部分类器的辨别能力，本实施方式利用了源域中固有的潜在结构，这一点受到了最近潜在域发现工作的启发。对于在类似条件下捕获的每个局部域样本(例如，正面视图姿势)，每个局部分类器的预测预期彼此相似。使用来自所有局部分类器的权重向量组合成一个矩阵，假设该矩阵在理想情况下应该是低秩的。基于这一假设，将一个新的低秩约束目标函数，即预测矩阵上基于核范数的正则化子，转化为低秩约束目标函数，以学习一组用于领域泛化和领域自适应的鲁棒局部分类器。因此新方法称为低秩约束局部回归，简称lrclr。
26.以下进行具体介绍：
27.请参阅图1，本实施方式的方法主要包括：
28.步骤(1)：获取源域，并将所述源域分解为若干子域；
29.步骤(2)：根据每个子域训练得到一个分类器；
30.步骤(3)：根据每个子域训练得到的分类器构建低秩约束局部回归框架；
31.步骤(4)：基于所述低秩约束局部回归框架对图像进行分类。
32.其中，所述步骤(3)具体为步骤(31)：获取每个子域训练得到的分类器的权重向量；
33.步骤(32)：将每个分类器的权重向量进行组合，得到低秩矩阵；
34.步骤(33)：利用迹范数正则化将所述低秩矩阵转换为低秩约束目标函数；
35.所述步骤(33)还包括：将所述低秩约束目标函数中的标签向量替换为伪标签向量以去除噪声。
36.所述步骤(33)还包括：将所述低秩约束目标函数中的预测结果调整为与实际标签一致。
37.步骤(34)：基于所述低秩约束目标函数对每个分类器进行训练，得到适用于域泛化的低秩约束局部回归框架。
38.本实施方式通过knn基于每个正类样本将源域划分为多个潜在域，而不事先确定潜在域的数量(域的数量等于正类的数量)，并使用潜在域的低秩结构。
39.一、符号声明
40.在本实施方式中，分别用小写和大写字母表示列向量和矩阵，例如，a＝[a1,a2,...,ad]
t
∈id和a∈id×n，其中n是行数，d是特征维数。用上标“t”表示矩阵或向量的转置，矩阵a的迹用tr(a)表示。两个矩阵a1和a2内积表示为k个矩阵沿行(水平)的串联操作表示为[a1,a2,...,ak]，沿列(垂直)的串联操作表示为[a1；a2；...；ak]。id是全1的d维向量。用表示向量的l
p
范数，l
p
表示范数类型，表示d维实数集。矩阵a的迹范数定义为||a||
*
＝tr((aa
t
)
1/2
)。
[0041]
二、lrclr框架
[0042]
给定样本集x＝{x1,x2,...,xm,...,x
l
}，其中xv∈id，其对应的标签集为y＝{y1,y2,...,ym,...,y
l
}，yv∈{0,1}，其中yv＝1表示正，yv＝0表示负。样本集有m个正样本和l-m个负样本。通过寻找每个正样本的k1最近邻正样本和k2负样本来重建m个局部样本集为了便于描述，让k＝k1+k2+1。其中是局部样本集的基本正样本。此外，本实施方式使用来表示第v个局部样本集的示例。将标签集的第v个局部集合的标签集设置为对于每个局部样本集，本实施方式训练一个线性分类器fv(xv)。
[0043]
本实施方式使用经典正则化经验误差开发算法，这产生了基于一组训练数据xv的分类器fv：
[0044][0045]
其中，ω(fv)是保证良好泛化性能并避免过拟合的正则化项；loss(,)是一个损失
函数，虽然可以使用其他复杂的非线性模型，但考虑到线性模型具有以下特点：1)速度快，更适合实际应用；2)流形的局部结构近似为线性。因此，本实施方式使用以下线性变换：
[0046][0047]
其中，wv∈id是权重向量的值，bv∈i是偏差项；本实施方式设置权重向量以满足以下条件：每个局部域的权重向量应高度相关，因此，可以得到以下目标函数：
[0048][0049][0050]
其中α,β是正则化参数，系数θv是每个局部性的贡献；等式(3)中的第三项是的迹范数它是的秩的凸包，从而增强了不同局部权重向量之间的相关性。
[0051]
接下来，添加全局权重向量并要求每个局部权重向量与其对齐。本质上，桥是在不同的局部权重向量之间建立的。此外，为了避免一些噪声信息，将公式(3)中的实标签向量替换为伪标签向量。该伪标签向量可通过后续优化获得。因此，目标函数可以用以下方式表示：
[0052][0053]
在本实施方式中，局部预测标签应该是局部一致的，这是由每个局部域中的全局权重向量获得的。换句话说，标签信息应与附近的样品一致。因此，进一步将目标函数改进为以下形式：
[0054][0055]
其中，lv表示表示第个v源领域数据的laplacian矩阵，λv为局部域的贡献。在上面公式(5)中，增加了最大熵正则化λ
v logλv以避免平凡解。lv＝(ev)-1/2
(e
v-sv)(ev)-1/2
是对应于第v个特征表示的规范化拉普拉斯矩阵，ei为的对角线矩阵的对角线元素。xv的图权矩阵sv定义如下：
[0056][0057]
其中，uk(x)表示样本x的k近邻集。
[0058]
三、集成局部分类器
[0059]
在训练lrclr之后，本实施方式得到了m个分类器。本实施方式在以下两种情况下有效使用这些学习分类器的方法。
[0060]
(1)第一种是域泛化场景，其中目标域样本在训练期间不可用
[0061]
在领域泛化场景中，在没有目标领域先验信息的前提下，本实施方式只能通过赋予不同的权重来合并m个示例分类器来实现预测测试样本。
[0062]
(2)第二种是具有特定目标域的域适配场景，其中我们在训练过程中在目标域中有未标记的数据
[0063]
当目标域中存在未标记的数据时，本实施方式可以通过测量目标域和源域中每个局部之间的相似性来为每个局部分类器分配不同的权重，以达到更好的预测效果。换句话说，当局部分类器的训练数据更接近目标域时，我们应该为分类器分配更高的权重，反之亦然。
[0064]
由此可见，本发明在最近的跨域图像分类基准测试中取得的最佳分类结果表明，与现有的方法相比，提出的一种基于低秩约束局部回归的域泛化图像分类方法在域泛化和域自适应方面具有很强的性能；本发明不仅适用于目标域不可见的域泛化，还能扩展到域自适应；本发明的方法是学习稳健的分类器，而不是学习特征表示。