一种新的基于特征选择策略的人脸图像聚类方法及系统

1.本发明涉及计算机人工智能技术领域，特别涉及一种新的基于特征选择策略的人脸图像聚类方法及系统。


背景技术：

2.聚类是数据挖掘和计算机视觉等领域的研究热点。当标签信息不可用时，很难将不同人脸图像按照类别进行分割，使得同一个体的图像都划分到一个簇中。在过去的几十年里，提出了许多人脸图像聚类算法，如k均值聚类、模糊k均值聚类和谱聚类等。其中，k均值和模糊k均值聚类因算法理论简单而备受关注。k均值也称为硬聚类，如果把每张人脸图像视为一个样本，那么每个样本以百分百的概率被分配给最近的簇中心。然而，由于光照、遮挡、噪声等因素的影响，同一个体的不同图像之间存在较大的差异，导致k均值(k-means)的聚类性能会受到影响。为了解决这一问题，提出了模糊k均值(fkm)聚类。对于fkm聚类，样本以一定的隶属度与每个簇关联，用模糊指数控制隶属度的稀疏性。fkm聚类虽然能对提高人脸图像聚类精确度产生一定效果，但这对于人脸图像聚类的高精度要求远远不够。
3.为此，如何提供一种能够减少噪声和冗余特征对人脸图像聚类的精确度的影响，满足人脸图像聚类的高精度要求的新的基于特征选择策略的人脸图像聚类方法是本领域技术人员亟需解决的问题。


技术实现要素：

4.有鉴于此，本发明提出了一种新的基于特征选择策略的人脸图像聚类方法(fkfs)及系统。本方法通过在投影矩阵上施加结构化稀疏诱导范数，构造特征选择矩阵，结合隶属度矩阵和簇中心矩阵构建基于特征选择策略的人脸图像聚类模型，使人脸图像聚类任务和人脸图像特征选择过程相互促进，一方面，基于所选择的判别性人脸特征，可以提高人脸图像聚类的性能，另一方面，聚类结果可以进一步提高特征选择的质量；并通过迭代算法求解该模型的最优解，包括：当当w和s固定时，求导mk等于零，更新m；当m和s固定时，通过迭代重加权优化策略，更新w；当w和m固定时，通过拉格朗日乘子法，更新s，直至模型收敛，得到最优解。最后，通过以acc(accuracy)、nmi(normalized mutual information)和purity(purity)为人脸图像聚类评价标准对基于特征选择策略的人脸图像聚类模型的最优解(fkfs)与fkm、afkm、fnc、rsfkm、sfkm等人脸图像聚类方法分别在数据集ar、yaleb、umist、orlraws10p、warppie10p、orl32和lfw的子集上的人脸图像聚类试验结果进行对比，得到本发明提出的一种新的基于特征选择策略的人脸图像聚类方法(fkfs)及系统在大多数数据集上优于其他方法。
5.为了实现上述目的，本发明采用如下技术方案：
6.一种新的基于特征选择策略的人脸图像聚类方法，包括：
7.步骤(1)：在投影矩阵上施加结构化稀疏诱导范数，构造特征选择矩阵，结合隶属度矩阵和簇中心矩阵构建基于特征选择策略的人脸图像聚类模型。
8.步骤(2)：通过迭代优化算法求解基于特征选择策略的人脸图像聚类模型，直至模型收敛，得到最优解。
9.可选的，步骤(1)中，基于特征选择策略的人脸图像聚类模型如下式：
[0010][0011]
其中，w∈rd×
p
为特征选择矩阵；p为降维后的维度；β是用来调整w的稀疏性的正则化参数，β越大，w的稀疏行越多；m＝[m1，m2，
…
，mc]∈r
p
×c为低维空间中的簇中心矩阵，mk为第k个簇中心；s是隶属度矩阵，其中s
ik
表示第i个样本对第k个类的隶属度，或者属于第k个类的概率；t代表对矩阵或向量的转置；r是模糊指数。
[0012]
可选的，步骤(2)中，迭代优化算法如下：
[0013]
当w和s固定时，通过如下式更新m：
[0014][0015]
其中，为原始空间中的第k个簇中心；
[0016]
可选的，步骤(2)中，迭代优化算法还包括：
[0017]
当m和s固定时，通过如下式更新w：
[0018][0019]
其中，w的列由sw+βd的前p个最小特征值对应的特征向量组成；d是一个对角矩阵，第j个对角元素为1/2||wj||2；tr()表示矩阵的迹。
[0020]
可选的，步骤(2)中，迭代优化算法还包括：
[0021]
当w和m固定时，通过如下式更新s：
[0022][0023]
可选的，在步骤(2)之后，还包括：应用所述基于特征选择策略的人脸图像聚类模型的最优解进行人脸图像聚类试验与对比。
[0024]
本发明还提供一种新的基于特征选择策略的人脸图像聚类系统，包括：
[0025]
第一构建模块：用于在投影矩阵上施加结构化稀疏诱导范数，构造特征选择矩阵。
[0026]
第二构建模块：用于结合特征选择矩阵、隶属度矩阵和簇中心矩阵构建基于特征选择策略的人脸图像聚类模型。
[0027]
迭代优化模块：用于根据迭代优化算法求解基于特征选择策略的人脸图像聚类模型，直至模型收敛，得到最优解。
[0028]
试验对比模块：用于应用基于特征选择策略的人脸图像聚类模型的最优解进行人脸图像聚类试验与对比。
[0029]
经由上述的技术方案可知，与现有技术相比，提出了一种新的基于特征选择策略的人脸图像聚类方法(fkfs)及系统。本方法通过在投影矩阵上施加结构化稀疏诱导范数，构造特征选择矩阵，结合隶属度矩阵和簇中心矩阵构建基于特征选择策略的人脸图像聚类模型，使人脸图像聚类任务和人脸图像特征选择过程相互促进，一方面，基于所选择的判别性人脸特征，可以提高人脸图像聚类的性能，另一方面，聚类结果可以进一步提高特征选择的质量；并通过迭代算法求解该模型的最优解，包括：当当w和s固定时，求导mk等于零，更新m；当m和s固定时，通过迭代重加权优化策略，更新w；当w和m固定时，通过拉格朗日乘子法，更新s，直至模型收敛，得到最优解。最后，通过以acc(accuracy)、nmi(normalized mutual information)和purity(purity)为人脸图像聚类评价标准对基于特征选择策略的人脸图像聚类模型的最优解(fkfs)与fkm、afkm、fnc、rsfkm、sfkm等人脸图像聚类方法分别在数据集ar、yaleb、umist、orlraws10p、warppie10p、orl32和lfw的子集上的人脸图像聚类试验结果进行对比，得到本发明提出的一种新的基于特征选择策略的人脸图像聚类方法(fkfs)及系统在大多数数据集上优于其他方法。
附图说明
[0030]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0031]
图1为本发明的流程示意图。
[0032]
图2为本发明用于验证人脸图像聚类分析优越性的数据集的介绍示意图。
[0033]
图3为本发明在5个数据集上的人脸图像聚类结果与特征个数的关系示意图。
[0034]
图4为本发明与各人脸图像聚类方法在7个数据集上的实验结果示意图。
[0035]
图5为本发明在4个数据集上对参数r和β的人脸图像聚类分析示意图。
[0036]
图6为本发明的迭代优化算法在7个数据集上的收敛曲线示意图。
具体实施方式
[0037]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
本发明实施例1公开了一种新的基于特征选择策略的人脸图像聚类方法，如图1所述，包括：
[0039]
步骤(1)：在投影矩阵上施加结构化稀疏诱导范数，构造特征选择矩阵，结合隶属度矩阵和簇中心矩阵构建基于特征选择策略的人脸图像聚类模型，如下式：
[0040][0041]
其中，w∈rd×
p
为特征选择矩阵；p为降维后的维度；β是用来调整w的稀疏性的正则化参数，β越大，w的稀疏行越多；m＝[m1，m2，
…
，mc]∈r
p
×c为低维空间中的簇中心矩阵，mk为第k个簇中心；s是隶属度矩阵，其中s
ik
表示第i个样本对第k个类的隶属度，或者属于第k个类的概率。t代表对矩阵或向量的转置。r是模糊指数，用于调整隶属度矩阵的稀疏性，以及避免平凡解。
[0042]
步骤(2)：通过迭代优化算法求解基于特征选择策略的人脸图像聚类模型，直至模型收敛，得到最优解，迭代优化算法如下：
[0043]
当w和s固定时，式(1)中的β||w||
2，1
为常数，通过求解式(2)更新m，如下：
[0044][0045]
它分为c个子问题，通过求解得到每个mk的最优解，如下：
[0046][0047]
通过对问题(3)中的mk求导，并设导数为零，最终得到：
[0048][0049]
其中，为原始空间中的第k个簇中心。
[0050]
当m和s固定时，根据式(4)，式(1)转化为：
[0051][0052]
通过迭代重加权优化策略，得出式(5)等价于式(6)，如下：
[0053][0054]
最终得到：其中，w的列由sw+βd的前p个最小特征值对应的特征向量组成；d是一个对角矩阵，第j个对角元素为1/2||wj||2；为了避免分母为零的情况，将第j个对角元素重新表述为1/2||wj+δ||2；tr()表示矩阵的迹。
[0055]
式(6)的求解基于以下两个引理：
[0056]
引理1：对于非负实数集{a1，a2，
…an
}，有n个元素，满足方程:
[0057][0058]
其中，，xi是第i个样本，x是包含所有样本的矩阵；和a∈rn×n是一个对角矩阵；1是一个元素值全为1的列向量；其中ai为第i个对角元素；()
t
表示矩阵或向量
的转置，证明过程如下：
[0059][0060]
引理2：如果问题(9)的目标函数在w
*
时最小，可得问题(6)的目标函数在w
*
时最小。
[0061][0062]
设问题(6)的目标函数用j(w)表示。在引理1中，
[0063][0064][0065]
其中a
(k)
∈rn×n是与第k个聚类相关的对角矩阵；a
(k)
的第i个对角元素是和b∈rn×n是一个对角矩阵，第i个对角元素为c∈rc×c是一个对角矩阵，第k个对角元素为p∈rn×c，且有sw＝x(b-pcp
t
)x
t
。
[0066]
因此，问题(6)可以改写为:
[0067]
w的列由p个特征向量组成对应于sw+βd的前p个最小特征值。
[0068]
当w和m固定时，式(1)中的β||w||
2，1
为常数，根据式(4)，式(1)转化为：
[0069]
[0070]
通过使用拉格朗日乘子法，最终得到：
[0071][0072]
迭代优化算法的实际应用如下：
[0073][0074]
还包括，通过以acc(accuracy)、nmi(normalized mutual information)和purity(purity)为人脸图像聚类评价标准对基于特征选择策略的人脸图像聚类模型的最优解(fkfs)与fkm、afkm、fnc、rsfkm、sfkm等人脸图像聚类方法分别在如图2所示的数据集ar、yaleb、umist、orlraws10p、warppie10p、orl32和lfw的子集上的人脸图像聚类试验结果进行对比，如下：
[0075]
fkm：用模糊隶属度代替硬隶属度，是对k-means的扩展，每个簇中心由所有样本加权平均形成。
[0076]
afkm：与模糊k-means不同，它采用正则化参数来完成模糊隶属度的调整，此外，引入最大熵信息来优化人脸图像聚类划分。
[0077]
rsfkm：采用稀疏结构范数来减少异常值对目标函数的影响，提出了一种加权算法，有效地解决了该问题。
[0078]
fnc：快速归一化切割方法，通过使用锚定策略，可以构造一个具有线性时间的代表性相似矩阵。
[0079]
sfkm：采用收缩模式近似理想流形数据结构，通过对学习到的收缩模式进行人脸图像模糊聚类，使样本在不降维的情况下具有更好的分布。
[0080]
使用人脸图像聚类评价标准acc(accuracy)、nmi(normalized mutual information)和purity(purity)来证明fkfs的优越性。为了加快人脸图像聚类方法的收敛速度，对每个数据集进行主成分分析，以保持95％的能量。采用mapminmax函数嵌入到matlabr2017b软件规范化的价值功能范围(0,1)。对于人脸图像聚类方法依赖模糊指数r来优化隶属度矩阵的稀疏，r的值是调整范围[1.1,2]。对于其他fkm、afkm、fnc、rsfkm、sfkm等方法，正则化参数的取值根据相应文章的设置确定。对于本发明提出的fkfs，所选特征的个数从[4,8,
…
,d']中选取，其中d'为pca后的维数，参数β的数值从[0.05,0.1,0.5,1,5,10,5,10,50,100,500,100]种选取。由于比较方法对隶属度矩阵的初始化很敏感，本发明以随机初始化的方式重复所有人脸图像聚类方法10次，记录上述设置下的平均结果。
[0081]
fkfs在5个公共数据集上的实验结果如图3所示，图3描述了本发明所提出的方法在不同数量的特征下的人脸图像聚类结果，由图3可得到，通常情况下，本发明提出的方法选择的特征越多，人脸图像聚类结果越好。
[0082]
以acc(accuracy)、nmi(normalized mutual information)和purity(purity)为人脸图像聚类评价标准对基于特征选择策略的人脸图像聚类模型的最优解(fkfs)与fkm、afkm、fnc、rsfkm、sfkm等人脸图像聚类方法分别在如图2所示的数据集ar、yaleb、umist、orlraws10p、warppie10p、orl32和lfw的子集上的人脸图像聚类试验结果进行对比的结果如图4所示。
[0083]
由图4可知：在大多数数据集上，afkm、rsfkm和sfkm在acc、nmi和purity方面的人脸图像聚类结果优于fkm，这表明改进策略是有用的。对于ar、orlraws10p和orl32数据集，sfkm的结果优于fkm、afkm和rsfkm，这意味着没有噪声影响的新数据分布有利于人脸图像聚类。然而，sfkm在这些数据集上的性能不如fkfs，这可能是因为sfkm方法中所有的特征都被用来划分簇，而一些特征可能会对人脸图像聚类过程产生负面影响，相反，本发明提出的fkfs只选择有区别的特征来完成这项任务。本发明提出的fkfs方法在大多数人脸图像数据集上优于其他方法，这可能与自适应特征选择策略有关。结果表明，本文提出的方法是最有效的。
[0084]
为了研究本发明提出的方法对r和β的敏感性，改变它们的值，同时保持所选特征的数量在最优值。之后，这两个参数的人脸图像聚类精度如图5所示。可以清楚地看到，当β的值为0.05或0.1时，本发明提出的方法可以获得更好的结果。
[0085]
另一方面，本发明提出的迭代优化算法在7个数据集上的收敛曲线如图6所示，可以发现，在大多数数据集上，客观值在30次迭代内收敛，证明本发明提出的迭代优化算法收敛速度很快。
[0086]
本发明实施例2提供了一种新的基于特征选择策略的人脸图像聚类系统，包括：
[0087]
第一构建模块：用于在投影矩阵上施加结构化稀疏诱导范数，构造特征选择矩阵。
[0088]
第二构建模块：用于结合特征选择矩阵、隶属度矩阵和簇中心矩阵构建基于特征选择策略的人脸图像聚类模型。
[0089]
迭代优化模块：用于根据迭代优化算法求解基于特征选择策略的人脸图像聚类模型，直至模型收敛，得到最优解。
[0090]
试验对比模块：用于应用基于特征选择策略的人脸图像聚类模型的最优解进行人脸图像聚类试验与对比。
[0091]
本发明实施例公开了一种新的基于特征选择策略的人脸图像聚类方法(fkfs)及系统。本方法通过在投影矩阵上施加结构化稀疏诱导范数，构造特征选择矩阵，结合隶属度矩阵和簇中心矩阵构建基于特征选择策略的人脸图像聚类模型，使人脸图像聚类任务和人脸图像特征选择过程相互促进，一方面，基于所选择的判别性人脸特征，可以提高人脸图像聚类的性能，另一方面，聚类结果可以进一步提高特征选择的质量；并通过迭代算法求解该模型的最优解，包括：当当w和s固定时，求导mk等于零，更新m；当m和s固定时，通过迭代重加权优化策略，更新w；当w和m固定时，通过拉格朗日乘子法，更新s，直至模型收敛，得到最优解。最后，通过以acc(accuracy)、nmi(normalized mutual information)和purity(purity)为人脸图像聚类评价标准对基于特征选择策略的人脸图像聚类模型的最优解(fkfs)与fkm、afkm、fnc、rsfkm、sfkm等聚类方法分别在数据集ar、yaleb、umist、orlraws10p、warppie10p、orl32和lfw的子集上的人脸图像聚类试验结果进行对比，得到本发明提出的一种新的基于特征选择策略的人脸图像聚类方法(fkfs)及系统在大多数数据集上优于其他方法。
[0092]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0093]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。