一种基于选择性坐标下降优化的稀疏子空间聚类方法与流程

本发明属于机器学习数据处理技术领域，具体涉及一种基于选择性坐标下降优化的稀疏子空间聚类方法。

背景技术：

聚类问题是无监督机器学习研究的重要问题之一，在图像处理，数据挖掘，社交网络等领域得到广泛研究和应用。然而在许多实际问题中，随着数据维度的不断快速增加，所谓的“维数灾难”问题也日益显著。高维的数据如果用传统方法来求解，时间复杂度往往会难以承受，因此高维数据的高效建模和计算问题成为目前数据挖掘的重要挑战和难点。

Elhamifar&Vidal提出了建立在自表达性质基础上的稀疏子空间聚类模型。该模型利用每个样本的稀疏自表达重建系数构造相似度矩阵，进而将相似度矩阵应用谱聚类。目前在稀疏子空间聚类应用中，需要在求解相似度矩阵的阶段大量求解Lasso(高维稀疏)问题，而在求解每个Lasso问题的时候又需要迭代计算直至目标函数收敛，时间复杂度非常高。然而，实际问题中，解的稀疏性越来越符合对问题的建模。高维数据的稀疏表示是近几年来机器学习和计算机视觉领域的研究热点之一。其基本假设是：自然图像本身为稀疏信号，即当用一组过完备基将输入信号线性表达出来时，展开系数可以在满足一定稀疏度的条件下，获得对原始输入信号的良好近似。

坐标下降算法是经典的优化算法之一，近年来在高维稀疏学习问题(如Lasso)中得到很好的应用。坐标下降法在求解Lasso的时候，先选定一个坐标方向x_i，并固定其他所有的方向x_-i，对当前坐标方向一维搜索，优化，再选定x_i+1，固定其他的坐标再计算，如此遍历完所有特征维度的长度次数。如果解的稀疏程度比较高，总维度相对也很高的情况下，这种遍历所有特征的方式显然浪费了很多时间和计算过程。

技术实现要素：

本发明的目的在于克服现有技术中的不足，提供了一种基于选择性坐标下降优化的稀疏子空间聚类方法，跳过冗余的非零项计算步骤，直接寻找非零项解；避免了大量零项的优化求解，去除了冗余的计算步骤，大大提高求解速度。

为解决上述技术问题，本发明提供了一种基于选择性坐标下降优化的稀疏子空间聚类方法，包括以下步骤：

步骤S1，建立稀疏子空间聚类模型，带入Lasso公式中并转化为二次规划问题，求相似度矩阵；

步骤S2，开始求解相似度矩阵，第一次迭代使用坐标下降法遍历所有特征，计算得到的解作为初始值；

步骤S3，从第二次迭代开始，遍历每个特征，若当前求解项为非零，则用坐标下降更新该坐标位置的特征；否则，跳过该坐标位置特征的更新；重复此过程直到迭代结束，获得相似度矩阵；

步骤S4、基于相似度矩阵，进行谱聚类过程得到分类编号。

前述的一种基于选择性坐标下降优化的稀疏子空间聚类方法，稀疏子空间聚类模型为：在D维欧几里得空间R^D中有n个线性的子空间他们的维度分别是给定一个具有N个无噪声的数据点集合这些数据点取自n个子空间中，则用一个矩阵来包括所有数据点，如：

Y＝[y₁,y₂,...,y_N]＝[Y₁,Y₂,...,Y_n]Γ

其中，Y∈R^D×N，是数据中每个样本的维度为d_l的矩阵，Γ为未知的置换矩阵。

前述的一种基于选择性坐标下降优化的稀疏子空间聚类方法，求解Lasso问题的公式为

前述的一种基于选择性坐标下降优化的稀疏子空间聚类方法，可以用x_i的L1正则化项加在Lasso公式中，如

其中y_i是Y中的第i列，Y_-i是Y中抽出向量y_i剩下的元素组成的矩阵，x_i是解集中去掉全零对角线剩下矩阵元素中的一列，λ是平衡式中两项的参数；

将其展开，转化为二次规划问题：其中其中，A,b为已知矩阵或向量，x为待求解的向量。

前述的一种基于选择性坐标下降优化的稀疏子空间聚类方法，执行第一次迭代时，使用传统坐标下降法求解上述二次规划问题，求解公式为：

前述的一种基于选择性坐标下降优化的稀疏子空间聚类方法，Lasso问题转化为二次规划的形式：

对应地，可以令：

当||Ax_i+b||_∞≤λ时，当||Ax_i+b||_∞＞λ时，对此项特征进行坐标下降法更新。

与现有技术相比，本发明所达到的有益效果是：本发明利用一种无穷范数规则，快速判断当前求解项是零还是非零，如果是零那么就直接跳过此项计算，并将其赋值为零，若为非零则再进行原来的优化求解步骤。避免了零项结果不必要的计算过程，节省了优化求解的时间；在大规模稀疏问题上效果极为明显。

附图说明

图1是本算法的总流程示意图；

图2是选择性坐标下降算法流程示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，本发明的一种基于选择性坐标下降优化的稀疏子空间聚类方法，包括以下步骤：

步骤S1，建立稀疏子空间聚类模型，带入Lasso公式中并转化为二次规划问题，即求解相似度矩阵。

首先建立稀疏子空间聚类模型，假设在D维欧几里得空间R^D中有n个线性的子空间他们的维度分别是给定一个具有N个无噪声的数据点集合这些数据点取自n个子空间中，则用一个矩阵来包括所有数据点，如：

Y＝[y₁,y₂,...,y_N]＝[Y₁,Y₂,...,Y_n]Γ

其中，Y∈R^D×N，是数据中每个样本的维度为d_l的矩阵，Γ为未知的置换矩阵，由于接下来的分析与矩阵样本的维度无关，故以下Y_l都称为Y，每个样本称为数据点，矩阵的元素来自于S_l且满足N_l＞d_l。假设事先不知道子空间的先验基，也不知道数据点属于哪一个子空间，那么子空间聚类的问题就归结于子空间数量的挖掘，每个子空间的维度和基，还有对矩阵Y的数据分割。要解决这个问题，首先对于每个数据点，寻找一些其他属于同一个子空间的数据点，这可以通过一个全局稀疏优化程序来将数据点所属子空间的信息保存在一个矩阵中。然后将这个矩阵应用在谱聚类中来聚类数据。

上述全局稀疏优化程序得出的矩阵称为稀疏表达矩阵，其代表的是重建的系数。已知在子空间集合中的每个数据点能够被数据集中的其他数据点共同重建。有这样一个数据点可以表示为

y_i＝Y_-ix_i,x_ii＝0

为了最小化等号两边的差，可以写成最小化目标函数的形式：

其中，x_i＝[x_i1,...,x_iN]^T，而x_ii＝0表示在数据点组成的矩阵Y中，每个数据点可以被写成其他数据点Y_-i的线性组合，而其中并不包括自己。然而，通常矩阵Y中y_i的表达结构并不是独一无二的，这就形成了这样一个事实：子空间中数据点的数量一般比它的维度大，也就是N_l＞d_l。这样一来，每个y_l就有一个非平凡的零空间，从而带来了每个数据点有无限个表达结构的结果。上述问题就成了稀疏子空间聚类的关键点。假设存在一个稀疏解x_i，它的非零项对应着同一子空间的数据点，将这样的解作为稀疏子空间的表达结构。

具体来说，一个归属于d_l维子空间S_l的数据点y_i可以被写成d_l个S_l内其他点的线性组合。最终，出于理想化的考虑，一个数据点的稀疏表达可以找出同一个子空间的数据点，非零元素的数目就是潜在子空间的维度。

由于上述方程可以有无穷多个解，可以用x_i的L1正则化项(稀疏规则算子)加在这个最小化目标函数(即Lasso公式)中，如

其中y_i是Y中的第i列，Y_-i是Y中抽出向量y_i剩下的元素组成的矩阵，x_i是解集中去掉全零对角线剩下矩阵元素中的一列，λ是平衡式中两项的参数。

将其展开，转化为二次规划问题：再令其中得到

由条件得，A,b为已知矩阵或向量，x为待求解的向量，将x初始化为零向量。

步骤S2，开始求解相似度矩阵，第一次迭代使用坐标下降法遍历所有特征，计算得到的解作为初始值。

执行第一次迭代时，使用传统坐标下降法求解上述二次规划问题，其具体求解过程参见现有技术中《利用坐标下降实现并行稀疏子空间聚类》(计算机应用，2016.2.10)，求解公式为：

将求解得到的x向量作为后面计算的初始值。

步骤S3，从第二次迭代开始，遍历每个特征，若则跳过该坐标位置的更新，否则就用坐标下降更新该位置的重复此过程直到目标函数收敛。

从第二次迭代开始，先遍历每个特征，但是在求解之前先作一个预先判定，具体过程参见图2。对于上述的二次规划问题：

其导数为：

令▽f(x)＝0，若则有：

而且此为本文无穷范数判定方法。

反推上述结论，若有||b||_∞≤λ，则

将数据分块，假设权重向量x中，x₁为其中的非零项，x₂为其中的零项，有：

展开后为

若x₂为全零向量，公式(1)可以变成：

考虑x₂中零向量的准确性，我们需要用上面的结论对x₂进行验证：

等价于

由上述推理，当

利用上述证明，回到解决一个Lasso问题的角度上：

同样将Lasso问题转化为二次规划的形式：

对应地，可以令：再由上述结论可以得到，当||Ax_i+b||_∞≤λ时，当||Ax_i+b||_∞＞λ时，再对此项特征进行传统的坐标下降法更新。其中||Ax_i+b||_∞表达的是所有对不同i的Y的区域的几个项累加，使用无穷范数判定方法。

由于L1正则化项(稀疏规则算子)带来的解的稀疏性，快速判断当前求解项是零还是非零，如果是零那么就直接跳过此项计算，并将其赋值为零，若为非零则再进行原来的优化求解步骤。这样可以避免了大量零项的优化求解，去除了冗余的计算步骤，使得算法在高维稀疏的情况下求解速度大大提高。

步骤S4、得到相似度矩阵后，进行谱聚类过程得到分类编号。

求解得到相似度矩阵后(令相似度矩阵C＝[x₁,x₂,...,x_N])，接下来就是考虑如何用这个矩阵来将数据分割至不同的子空间中。对这个问题，可以建立一个带权无向图g＝(v,ε,W)，其中v定义为此图关于N个数据点的N个节点，定义为每个节点之间的边界的集合，W∈R^N×N是一个对称且非负的对称矩阵，并使用相似度矩阵来表示边界的权重。一个理想的带权无向图，它在同一个子空间的节点是互相链接的，而不同子空间的节点是互相没有联系的。权重W由下式给出：

W＝|C|+|C|^T

这说明节点i与节点j通过一个权重为|c_ij|+|c_ji|的边界相联系，其中c_ji,c_ij是矩阵C中的元素，i,j为下标。最后对相似度矩阵应用谱聚类算法得出聚类结果。

稀疏子空间聚类主要用于非监督的机器学习分类问题，如Yale-B数据集的人脸分类，参考Elhamifar E,Vidal R.Sparse subspace clustering:algorithm,theory,and applications.[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2013,35(11):2765-81。本发明方法与此论文中传统的坐标下降法求解稀疏子空间聚类问题的对比实验中，本算法在数据集包含百分之五十的非零项的情况下提升了1.5倍，而在数据集仅包含百分之十的非零项的情况下提升了二至三倍。也证明了本发明算法可以避免了大量零项的优化求解，去除了冗余的计算步骤，使得算法在高维稀疏的情况下求解速度大大提高。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。