一种基于稀疏判别K均值的快速图像像素筛选方法

一种基于稀疏判别k均值的快速图像像素筛选方法
技术领域
1.本发明涉及一种基于稀疏判别k均值的快速图像像素筛选方法，属于图像识别与分类和模式识别领域。


背景技术：

2.高维数据在众多科学领域中的应用越来越普遍，但这些高维数据中只有少量的内在维度(关键信息特征)包含了聚类与分类任务的重要信息，因此降维成为了探索高维数据内部信息的关键技术。特征选择方法通过筛选出最重要、最具代表性和信息量最大的特征子集以去除冗余维度。相比于特征提取方法，特征选择方法保留了数据特征的原始结构，这使得经过筛选后的数据更具可解释性，且更有利于后续数据处理。由此可见，特征选择方法在图像分类以及文本识别任务的预处理步骤中占据着关键位置。
3.近来，无监督嵌入式特征选择方法受到了学者的广泛关注，其通过获得伪标签指示矩阵指导后续的稀疏投影矩阵优化。获取伪标签矩阵的主流方法为引入谱嵌入约束，然而，现有的无监督嵌入式特征选择方法通常将图学习过程和稀疏矩阵优化过程分离为两个孤立的子过程，这会导致所选特征子集的信息表征性能将直接受到图学习质量的影响。例如，包含噪声的固定图通常会严重影响特征选择方法的性能。
4.周婉莹等人(《稀疏回归和流形学习的无监督特征选择算法》，计算机应用研究,2020,(09):80-85.)提出了一种结合自表示相似矩阵和流形学习的无监督特征选择方法，其在联合组合优化框架中同时执行图学习和稀疏矩阵优化以提高特征选择性能。虽然提出的模型考虑到稀疏性、交替优化等综合性因素，但模型中参数过多，模型冗余，无法权衡参数和性能之间的关系，导致模型在实际应用中较为困难，且实际效果相较于本发明中的模型较差。例如，在利用k均值方法处理只选择50个特征的coil20物体图像数据集时，周婉莹等人提出方法的聚类准确度和归一化互信息仅为41.74％和52.34％，而本发明中所提出方法的对应指标则分别为61.74％和73.39％，相较之下分别拥有20个百分点和21.05个百分点的显著提升。其中，聚类准确度和归一化互信息是用来评估所选特征子集性能的常用指标，聚类准确度和归一化互信息的值越大，代表选择特征的信息表征能力越强。
5.目前，在图像识别领域中，海量的图像像素点对图像分类以及检索过程造成了较大困难，进而导致处理效率的急剧下降。特征选择方法能够挖掘数据中包含重要分类信息的内在维度，剔除无用甚至包含冗余信息的噪声维度，以提升图像处理速度。针对文本识别与图像分类系统，图学习与稀疏投影矩阵联合优化框架是主流的特征选择方法之一，其通过嵌入式的低维稀疏投影筛选最重要的特征并完整保留。受图学习优化的影响，图像分类和识别任务的精度得到了有效提升。然而，这些方法的可调参数过多，约束过多从而导致组合优化模型过于复杂，并且其过高的计算复杂度也会导致整体效率低下。因此，如何同时提升特征选择效率以及子集筛选性能对于嵌入式特征选择方法来说仍是一个挑战。


技术实现要素：

6.要解决的技术问题
7.现有的嵌入式特征选择方法通过获取伪标签矩阵来指导低维稀疏投影矩阵的学习，然而，基于谱嵌入的松弛问题所得到的连续伪标签矩阵在一定程度上偏离了实际情况。针对该问题，受最小二乘回归和判别k均值的启发，本发明提出了一种高效的特征选择方法以用于图像像素筛选，称为基于稀疏判别k均值的快速图像像素筛选方法，以期直接针对二值化标签进行优化并达到其与低维投影矩阵相互促进的目的，进而有效提升所筛选像素子集的信息表征能力。
8.技术方案
9.一种基于稀疏判别k均值的快速图像像素筛选方法，其特征在于步骤如下：
10.步骤1：将包含n个a
×
b像素规模图像的数据集拉长为一个图像数据矩阵其中n为图像个数，d＝a
×
b为单个图像的像素总数；
11.步骤2：采用每个元素减去对应行均值的方式对矩阵执行关于像素维度的中心化处理，使得处理后数据矩阵的行和为0，即x1n＝0，其中，1n为n维全1向量；记中心化处理后的图像数据矩阵为
12.步骤3：在经过中心化处理后的x基础上，采用基于回归模型的判别k均值模型构建特征选择方法的目标函数以直接针对二值化标签进行优化；首先，基于回归模型的判别k均值模型目标函数的公式化表述如下：
[0013][0014]
其中，表示低维投影矩阵，c为真实类别数，为每一类别的线性投影偏差，表示每个样本的二值化标签，即ind(index)，γ＞0为从左向右第二项的正则化参数；根据式(1)可知，矩阵g满足关系g
t
g＝ic，其中ic为c维单位阵，由于矩阵内的列向量两两正交因而被称为加权簇指示矩阵，该矩阵旨在避免y与w同时优化时产生的无意义解，即w＝o；
[0015]
为了执行特征选择任务，将式(1)中的f范数替换为稀疏正则化项l
2,p
范数以满足低维投影矩阵w的行稀疏性，所要解决的目标函数表示如下：
[0016][0017]
步骤4：交替迭代优化步骤3构建得到的目标函数(2)；
[0018]
步骤5：通过步骤4中y和w，b的交替优化可以得到目标函数(2)收敛后的低维投影矩阵w，计算其各行向量2范数值||wj||2并按降序排序；通过步骤3中提到的稀疏正则化项可知，某行的稀疏程度越高，即该行的2范数值越小，表明该行所表示像素的重要程度就越低；因此，按照降序排序值选取图像前h大的2范数值以筛选最重要的h个像素；通过筛选操作，最终得到更精炼的图像数据矩阵可以看做该图像数据集其余d-h个像素被全部剔除。
[0019]
步骤4具体如下：
[0020]
①
固定二值化标签y，更新线性低维投影矩阵w以及偏差b：
[0021]
当y固定时，问题(2)等价于：
[0022][0023]
转化为迹表示形式如下：
[0024][0025]
其中，为d维对角矩阵；u的第j(1≤j≤d)个元素u
jj
表示如下
[0026][0027]
其中，u根据d维单位阵id进行初始设置，且ε旨在防止优化过程中当||wj||2为零时出现奇异运算；
[0028]
因此，问题(4)对应的拉格朗日函数构造如下：
[0029][0030]
为了求得最优w和b，函数l(w,b)对w和b两个变量的偏导需均为零，那么：
[0031][0032][0033]
注意到步骤2中对原始图像数据矩阵进行了中心化处理，即x1n＝0，因此，可以简化式(7)和式(8)的运算并得到如下最优w
*
和b
*
：
[0034]w*
＝(xx
t
+γu)-1
xg
ꢀꢀꢀꢀꢀꢀ
(9)
[0035][0036]
由于矩阵u与w密切相关，因此在得到w
*
后，u也需要通过式(5)随之更新；
[0037]
②
固定线性低维投影矩阵w以及偏差b，更新二值化标签y：
[0038]
当w和b固定时，问题(2)等价于：
[0039][0040]
通过进一步化简，式(11)等价于如下问题：
[0041][0042]
其中，定常矩阵由于式(12)为离散问题，因此将其转化为如下向量表示形式：
[0043][0044]
其中，yi和mi分别为矩阵y和m的第i个列向量；针对问题(13)，采用基于增量计算的
坐标下降法进行解决；更具体地，对于二值化标签y，采用更新一行固定其他行的策略执行优化，假设固定第j行，即针对第j个图像，那么该行所有元素对应的增量t
ji
表示如下：
[0045][0046]
基于增量表达式(14)，针对每一个图像，二值化标签y根据行最大增量更新标签，即：
[0047][0048]
其中，为更新后的二值化标签，《
·
》为逻辑指示符，逻辑为真则值为1，否则为0。
[0049]
所述的ε设置为2
×
10-16
。
[0050]
有益效果
[0051]
本发明提出了一种基于稀疏判别k均值的快速图像像素筛选方法，其有益效果包括：
[0052]
(1)本发明的计算复杂度与图像数量n呈线性相关，图像数据预处理效率显著提升。因此，本发明在实际工程应用中的实用性更强。
[0053]
(2)根据发明步骤4
②
可知，本发明在交替迭代算法中是直接针对二值化标签y进行优化的，因此，y更接近真实标签，其可以在交替迭代过程中更有效地指导低维投影矩阵w的学习。
[0054]
(3)本发明提出方法的模型参数较少，即稀疏正则化参数γ和范数参数p，使得模型更加简单，参数更易调整。且在发明步骤3中针对w引入了l
2,p
范数正则化项，推广了传统的l
2,1
范数，使得模型在稀疏筛选时的泛化能力更强。
附图说明
[0055]
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0056]
图1图像像素筛选方法流程图；
[0057]
图2在coil20物体数据集上的具体实施流程图。
具体实施方式
[0058]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0059]
本发明提出的一种基于稀疏判别k均值的快速图像像素筛选方法，其具体步骤如下：
[0060]
步骤1：将包含n个a
×
b像素规模图像的数据集拉长为一个图像数据矩阵其中n为图像个数，d＝a
×
b为单个图像的像素总数。显然，该方法旨在选择h个包含重要分类信息的关键像素的同时剔除无用像素，其中h为像素筛选数量。
[0061]
步骤2：针对上一步得到的图像数据矩阵采用每个元素减去对应行均值的方式对矩阵执行关于像素维度的中心化处理，使得处理后数据矩阵的行和为0，即x1n＝0，其中，1n为n维全1向量。记中心化处理后的图像数据矩阵为该中心化处理方式有助于简化后续计算。
[0062]
步骤3：在经过中心化处理后的x基础上，采用基于回归模型的判别k均值模型构建特征选择方法的目标函数以直接针对二值化标签进行优化。首先，基于回归模型的判别k均值模型目标函数的公式化表述如下：
[0063][0064]
其中，表示低维投影矩阵，c为真实类别数，为每一类别的线性投影偏差，表示每个样本的二值化标签，即ind(index)，γ＞0为从左向右第二项的正则化参数。根据式(1)可知，矩阵g满足关系g
t
g＝ic，其中ic为c维单位阵，由于矩阵内的列向量两两正交因而被称为加权簇指示矩阵，该矩阵旨在避免y与w同时优化时产生的无意义解，即w＝o。
[0065]
为了执行特征选择任务，将式(1)中的f范数替换为稀疏正则化项l
2,p
范数以满足低维投影矩阵w的行稀疏性，因此，本发明所要解决的目标函数表示如下：
[0066][0067]
步骤4：交替迭代优化步骤3构建得到的目标函数(2)。
[0068]
①
固定二值化标签y，更新线性低维投影矩阵w以及偏差b：
[0069]
当y固定时，问题(2)等价于：
[0070][0071]
转化为迹表示形式如下：
[0072][0073]
其中，为d维对角矩阵。u的第j(1≤j≤d)个元素u
jj
表示如下
[0074][0075]
其中，u根据d维单位阵id进行初始设置，且ε旨在防止优化过程中当||wj||2为零时出现奇异运算。
[0076]
因此，问题(4)对应的拉格朗日函数构造如下：
[0077][0078]
为了求得最优w和b，函数l(w,b)对w和b两个变量的偏导需均为零，那么：
[0079]
[0080][0081]
注意到步骤2中对原始图像数据矩阵进行了中心化处理，即x1n＝0，因此，可以简化式(7)和式(8)的运算并得到如下最优w
*
和b
*
：
[0082]w*
＝(xx
t
+γu)-1
xg
ꢀꢀꢀꢀ
(24)
[0083][0084]
由于矩阵u与w密切相关，因此在得到w
*
后，u也需要通过式(5)随之更新。
[0085]
②
固定线性低维投影矩阵w以及偏差b，更新二值化标签y：
[0086]
当w和b固定时，问题(2)等价于：
[0087][0088]
通过进一步化简，式(11)等价于如下问题：
[0089][0090]
其中，定常矩阵由于式(12)为离散问题，因此将其转化为如下向量表示形式：
[0091][0092]
其中，yi和mi分别为矩阵y和m的第i个列向量。针对问题(13)，采用基于增量计算的坐标下降法进行解决。更具体地，对于二值化标签y，采用更新一行固定其他行的策略执行优化，假设固定第j行(针对第j个图像)，那么该行所有元素对应的增量t
ji
表示如下：
[0093][0094]
基于增量表达式(14)，针对每一个图像，二值化标签y根据行最大增量更新标签，即：
[0095][0096]
其中，为更新后的二值化标签，《
·
》为逻辑指示符，逻辑为真则值为1，否则为0。
[0097]
步骤5：通过步骤4中y和w,b的交替优化可以得到目标函数(2)收敛后的低维投影矩阵w，计算其各行向量2范数值||wj||2并按降序排序。通过步骤3中提到的稀疏正则化项可知，某行的稀疏程度越高，即该行的2范数值越小，表明该行所表示像素的重要程度就越低。因此，按照降序排序值选取图像前h大的2范数值以筛选最重要的h个像素。通过筛选操作，最终得到更精炼的图像数据矩阵可以看做该图像数据集其余d-h个像素被全部剔除。
[0098]
实施例，如图2所示，以物体图像数据集coil20为例阐述提出方法筛选关键像素的具体实施步骤，物体图像数据集coil20包含了1440张像素规模为32
×
32的物体图像，其共
有20个物体。该数据集通过对每个物体每5度水平拍摄一张图片直至水平环绕一周的方式获得，即每个物体72张图像，共1440张。
[0099]
实施步骤1：将这1440张图像拉长并整合为一个图像数据矩阵其中1024＝32
×
32为coil20单个图像的像素总数；
[0100]
实施步骤2：针对上一步得到的图像数据矩阵采用每个元素减去对应行均值的方式对执行关于像素维度的中心化处理，使得数据矩阵的行和为0，即x1
1440
＝0。记中心化处理后的图像数据矩阵为
[0101]
实施步骤3：在图像数据矩阵x的基础上，随机初始化二值化标签初始化u＝i
1024
并给定正则化参数γ以及范数参数p；
[0102]
实施步骤4：通过g＝y(y
t
y)-1/2
计算加权簇指示矩阵g；
[0103]
实施步骤5：固定g，通过如下表达式更新低维投影矩阵w和投影偏差b：
[0104]w*
＝(xx
t
+γu)-1
xg
ꢀꢀꢀꢀꢀ
(31)
[0105][0106]
实施步骤6：根据上一步得到的w
*
更新对角矩阵u：
[0107][0108]
其中，ε通常为2
×
10-16
；
[0109]
实施步骤7：计算矩阵
[0110]
实施步骤8：固定w和b，按原始图像顺序计算对应图像所在行的增量：
[0111][0112]
其中，yi和mi分别为矩阵y和m的第i个列向量。因此，最优解可以通过下式得到：
[0113][0114]
其中，《
·
》为逻辑指示符，逻辑为真则值为1，否则为0。
[0115]
实施步骤9：循环实施步骤4～实施步骤8直到目标函数(2)的值收敛，输出低维投影矩阵其行向量能够表征原始物体图像对应像素的重要程度。因此，计算行向量的2范数值并按降序排序，选取前h个值对应的像素作为原始1024个像素中的关键像素，并最终得到精炼图像数据
[0116]
使用k均值聚类方法验证本发明当h＝50时的筛选图像像素有效性和重要性。再通过本发明从coil20数据集中的1024个像素中选取50个最重要的像素得到精炼图像数据针对x
′
采用k均值聚类方法进行10次重复试验并记录聚类准确度的均值与标准差，其分别为61.47％和3.17％；若在保留所有像素的原始图像数据集上同样采用k均值聚类方法执行10次重复试验，可以得到聚类准确度的均值和标准差分别为
57.62％和5.51％。由此可见，本发明提出的图像筛选方法尽管剔除了原始图像数据中的大量像素特征，不仅提升了图像数据聚类精度，还大幅度压缩了数据规模，其验证了本发明的有效性。
[0117]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。