专利名称：基于局部线性回归的半监督图像聚类子空间学习算法的制作方法
技术领域：
本发明属于半监督图像聚类子空间学习算法技术领域。特别是涉及一种基于局部线性回归的半监督图像聚类子空间学习算法。
背景技术：
随着数字相机的普及和信息技术的发展，出现了越来越多的大规模的图像数据库，其中相当比例的图像是未标注、未分类的。一图胜千言，图像数据所表达的语义信息较为丰富，因此，人工标注和分类工作不仅费时费力、成本较高，而且难以做到标准统一和结果客观。这就使得对图像数据库的高效管理和有效利用十分重要且困难重重。 图像聚类算法可从底层特征中挖掘出潜在的高层语义关系，从而自动、高效地对图像数据集进行聚类是实现图像数据库有效管理的重要途径。同时，图像数据具有颜色、纹理、形状等多种底层视觉特征，而底层特征和高层语义之间的语义鸿沟问题，又使得对图像数据聚类的研究极具挑战性。近年来，大量研究探讨了如何在图像聚类过程中缩小语义鸿沟，提出了子空间学习、谱分析方法、流形学习、张量模型等诸多较为有效的方法。这些方法通过机器学习、统计分析等相关理论和原理，对训练样本进行学习，从高维特征中挖掘出图像语义的有效表达，以提高图像聚类的效率。根据训练过程中对标记样本和未标记样本的使用，上述方法可归纳为监督式、无监督式和半监督式学习三种类型。监督式学习要求所有的训练数据都是已标记样本，如=Fisher人脸方法在线性鉴别分析(Linear Discriminant Analysis, LDA)的基础上,对标记样本进行学习得到Fisher人脸子空间，并用于人脸图像的聚类，其结果超越了传统的“特征人脸”方法。监督式学习方法完全依赖于标记样本，且需要有充足的标记样本才能取得较好的学习效果。而目前庞大的图像数据库中大多是未标记的数据，获得大量标记样本较为困难。因此，无监督学习被广泛使用，如主成分分析(Principal Component Analysis)方法、局部保持映射(Locality Preserving Projection)和局部线性嵌入(Locally LinearEmbedding)等方法。然而，无监督学习完全以未标记样本为学习对象，在准确率方面难以与监督式学习媲美，但监督式学习要取得理想的效果，又需要有充足的标记样本。因此，半监督学习迅速成为机器学习领域的研究热点，例如半监督鉴别分析算法(Semi-supervisedDiscriminant Analysis, SDA)利用标记样本和未标记样本,计算最优离散度的聚类子空间，取得了较好的学习性能。现有研究大都或多或少地存在一些缺陷和不足，尤其体现在如何挖掘训练数据集的几何近邻关系，分析类内和类间离散度，求解聚类子空间的最优解，从而取得较好的聚类性能
发明内容
本发明旨在克服现有技术缺陷，目的在于提供一种基于局部线性回归的半监督图像聚类子空间学习算法，该方法在满足聚类约束条件的情况下，挖掘图像训练数据集的局部近邻关系，得到最优坐标矩阵，取得较好的聚类性能。为实现上述目的，本发明采用的技术方案是第一步、特征向量X的预测误差(I)构建训练数据集,包括标记样本和未标记样本；(2)对训练数据集中的每幅图像，提取底层的颜色、纹理和形状特征，构成特征向
量X ； (3)采用局部线性回归方法，预测特征向量X在聚类子空间中的坐标，得到预测值z = V1X+ I (I)式⑴中￥表示回归矩阵；I表不偏向；T表示转置运算。(4)设特征向量X在聚类子空间中的坐标最佳取值为y，则预测值z与最佳取值y之间的差为特征向量X的预测误差q= I I z-y |2= | | ijrTx+ ^ -y | |2 (2)式⑵中I I I I2表示二范式。第二步、基于近邻关系的局部预测误差之和(I)根据欧氏距离，从训练数据集中找到与特征向量X相邻的图像51幅；(2)采用第一步中第(3)和第(4)分步所述方法，得到特征向量X相邻的图像中每幅图像的预测误差q，然后对特征向量X相邻的图像中每幅图像的预测误差q进行累加，得到基于近邻关系的局部预测误差之和O。第三步、基于总预测误差的优化函数(I)在整个训练数据集的范围内，对基于近邻关系的局部预测误差之和O进行累力口，得到全局范围内的总预测误差，将总预测误差最小化，得到总预测误差的优化函数min Yj (||t//! X - j J"H )
I I式(3)中min表示最小化函数；t表示从数据集中第I幅图像到第n幅图像进行累加；
1=1n表示训练数据集中图像的总个数；I表不偏向；a为权重参数(0〈 a〈I);￥表示回归矩阵；T表示转置运算；X表示特征向量；y表示特征向量X在聚类子空间中的坐标的最佳取值；a I I F I I2是加入的正则项，以避免出现过学习现象。(2)对式(3)中的参数V和参数I求导，根据矩阵运算规则，式(3)的总预测误差的优化函数变形为
mintr(YLYt) (4)式(4)中tr表示矩阵的迹运算；min表示最小化函数；Y表示由所有图像样本在聚类子空间中坐标的最佳取值构成的最优坐标矩阵，即为待求解的聚类子空间；T表示转置运算；L为相关性矩阵，记录了图像样本之间的相邻关系。第四步、聚类约束条件(I)在聚类过程中，除了需要满足式(4)之外，还增加两个聚类约束条件，分别是训练数据集的类内离散度最小和训练数据集的类间离散度最大。(2)训练数据集中标记样本的类间离散度 (5)
权利要求
1. 一种基于局部线性回归的半监督图像聚类子空间学习算法，其特征在于包括如下步骤 第一步、特征向量X的预测误差 (1)构建训练数据集，包括标记样本和未标记样本； (2)对训练数据集中的每幅图像，提取底层的颜色、纹理和形状特征，构成特征向量X; (3)采用局部线性回归方法，预测特征向量X在聚类子空间中的坐标，得到预测值 Z= ￥Tx+ ^ (I) 式(I)中￥表示回归矩阵， I表不偏向， T表示转置运算； (4)设特征向量X在聚类子空间中的坐标最佳取值为y，则预测值z与最佳取值y之间的差为特征向量X的预测误差Q= z-y I2=I I VtX+ I -y I2 (2) 式⑵中||||2表示二范式； 第二步、基于近邻关系的局部预测误差之和 (1)根据欧氏距离，从训练数据集中找到与特征向量X相邻的图像51幅； (2)采用第一步中第(3)和第(4)分步所述方法，得到特征向量X相邻的图像中每幅图像的预测误差q，然后对特征向量X相邻的图像中每幅图像的预测误差q进行累加，得到基于近邻关系的局部预测误差之和O ; 第三步、基于总预测误差的优化函数 (1)在整个训练数据集的范围内，对基于近邻关系的局部预测误差之和0进行累加，得到全局范围内的总预测误差，将总预测误差最小化，得到总预测误差的优化函数 式(3)中min表示最小化函数， I；表示从数据集中第I幅图像到第n幅图像进行累加， n表示训练数据集中图像的总个数； I表不偏向， a为权重参数(0〈 a〈1)， V表示回归矩阵， T表示转置运算， X表示特征向量， y表示特征向量X在聚类子空间中的坐标的最佳取值， a I I ￥ I I2是加入的正则项，以避免出现过学习现象； (2)对式(3)中的参数￥和参数I求导，根据矩阵运算规则，式(3)的总预测误差的优化函数变形为mintr(YLYt) (4) 式(4)中tr表示矩阵的迹运算，min表示最小化函数， Y表示由所有图像样本在聚类子空间中坐标的最佳取值构成的最优坐标矩阵，即为待求解的聚类子空间， T表示转置运算， L为相关性矩阵，记录了图像样本之间的相邻关系； 第四步、聚类约束条件 (1)在聚类过程中，除了需要满足式(4)之外，还增加两个聚类约束条件，分别是训练数据集的类内离散度最小和训练数据集的类间离散度最大； (2)训练数据集中标记样本的类间离散度
全文摘要
本发明公开了一种基于局部线性回归的半监督图像聚类子空间学习算法。首先采用局部线性回归模型预测训练样本在聚类子空间中的坐标，得到预测值与真实值之间的局部预测误差，进而得到总预测误差最小化的目标函数；然后根据类间离散度最大化和类内离散度最小化两个约束条件，利用标记样本和未标记样本计算类间离散度矩阵和总离散度矩阵；最后，将类间离散度矩阵和总离散度矩阵融入到总预测误差最小化的目标函数中，得到求解聚类子空间的目标函数，通过广义特征根进行函数求解，得到最优的聚类子空间。本发明充分利用了标记样本、未标记样本，以及训练数据集中的局部近邻关系，得到了较好的聚类结果。
文档编号G06K9/62GK102968639SQ201210370179
公开日2013年3月13日 申请日期2012年9月28日 优先权日2012年9月28日
发明者张鸿, 汪萌 申请人:武汉科技大学