>[0066]
[0067] 因此样本Xn服从第k个高斯分布的条件概率为
[0068]
[0069] 则样本Xn的条件概率可以写成：
[0070]
[0071] 假设隐变量矩阵Bp啲先验概率服从均值为0,行、列协方差为单位矩阵的高斯分 布：
[0072]
[0073] 3MixB2DPPCA的变分最大期望求解
[0074] 通过极大似然函数对公式(2)中的参数进行估计。通过利用混合高斯模型的思想， 公式（2)可以达到对样本集中的数据进行分类，并且找到不同类别的降维矩阵L k和Rk(k = 1，...，K)。这个模型的似然函数为：
[0075] ⑷
[0076] 在求解此模型时，可以利用变分最大期望（ΕΜ)算法优化模型中参数 Lfe. (r| {k L ii )〇
[0077] (1)引入变量γ n,k，它表示第n个样本属于第k个高斯分布的后验概率即，
[0078]
(5)
[0079] 其中p(Xn | k)是样本Xn的边缘概率。由于在给定隐变量滅^j^Xn的条件概率是：
i:，其中
[0082]从而，可以得到每个高斯分布的权重系数：
[0083:
[0084：
[0085:
[0086] ( 2)首先初始化混合模型（1)的参数1咖:扣,:;％在EM算法的E步中，对隐变量 I#.求解其后验分布：其中if > ^ 0，Sp X):分别是行和列方向的协 方差矩阵。经计算可以得出：
[0087]
[0088]
[0089]
[0090]
[0091] (3)E步得到隐变量的后验分布后，Μ步更新模型中的参数，即降维矩阵。通过极大 化似然函数，可以得到：
[0092]
[0094]迭代进行Ε步和Μ步，使似然函数值增大并趋于稳定。
[0095]本发明在四个数据库上做了相应的实验，手写体数据库、Yale数据库、AR数据库和 FERET数据库。这些实验是为了证明本文提出的方法可以损失更小地对样本降维，并且降维 后的系数矩阵作为原始图像的特征，可以有效对图像分类。涉及到的算法有：GLRAM (Generalized Low Rank Approximations of Matrices),mixPPCA(Mixture Probabilistic PCA),mixB2DPPCA(Mixture of Bilateral-Projection Two-dimensional Probabilistic PCA)〇
[0096] 1数据的准备以及实验参数设定
[0097 ]实验中应用了以下四个数据库：
[0098] .MINIST数据库的一个子集(http://yann. lecun.com/exdb/mnist)
[0099] .Yale 数据库
[0100] (http://vision.ucsd.edu/content/yale-face-database)
[0101] .AR数据库
[0102] (http://rvll.ecn.purdue.edu/~aleix/aleix_face_DB.html)
[0103] ?FERET 数据库
[0104] (http://www.itl.nist.gov/iad/humanid/feret/feret_master.html)
[0105] 从MNIST数据库中选出1000张图片，即每个数字随机选出100张。所有图像是灰度 图像且大小为28X28。
[0106] Yale数据库包含15个人，每个人11幅图像。这些图像是在不同光照条件和表情得 到的。训练阶段我们选择每个人6幅图像(90)作为训练，剩下的作为测试，所有图像大小为 64 X 64。
[0107] AR数据库包含126个人的4000幅图像，每个人26幅人脸正面图像，这26幅图像包含 表情变化、光照变化和遮挡。每个人的26幅图像分为两部分(拍摄时间相隔两周），两部分均 为13张。在本实验中，选择30个人的图像做实验（男15人，女15人），并且只选择每人无遮挡 的14幅图像。其中每人的前7幅用来训练，后7幅做测试，每张图片下采样为64X64。
[0108] FERET数据库包含200个人的1400幅图像，每个人有7幅图像，这7幅图像中包含角 度、表情、明暗变化，每张图片的大小为80 X 80。随机选出50个人的图像做实验，每人随机挑 选5张做训练，另外的2张做测试。
[0109] 本实验中耶初始值为l/K，Tk和Sk初始值为单位矩阵，始值为1，Lk和Rk初始值随 机给定。
[0110] 2重构误差
[0111] 主要是在MNIST和Yale数据库上比较不同降维方法的重构误差。涉及到的方法有 GLRAM，mixPPCA和本发明提出的mixB2DPPCA.GLRAM和mixB2DPPCA都是二维的特征提取方 法，在行、列两个方向降维;mixPPCA和mixB2DPPCA都利用高斯混合模型对数据降维。
[0112] 图1是MNIST数据库上不同算法的重构误差。从图中可以看出，当K相同时，使用本 文提出的方法的重构误差优于mixPPCA;当K改变时，GLRAM的重构误差不变，这是因为GLRAM 方法使用的是非混合模型，与K的大小无关；当K增大时，mixPPCA和mixB2DPPCA的重构误差 都有所降低，并且mixB2DPPCA总是优于mixPPCA和GLRAM。
[0113] 图2是在Yale数据库和AR数据库上的重构误差曲线图，其中K = 5。从图中可以看出 使用本发明提出的算法可以得到重构误差更小的重构图像，即在降维时损失最小。
[0m] 3识别率
[0115] 第三个实验主要在Yale、AR和FERET数据库从识别率方面验证mixB2DPPCA算法的 鲁棒性。实验中利用最近邻（1-NN)算法作为分类器。表1是GLRAM、mixPPCA和mixB2DPCA三种 方法在Yale库上的识别率。其中降维的维数(r，c)分别为(2,2)，（4,4)，（6,6)和(8,8)。高斯 混合模型的K分别取值为4，6，8。
[0116]
[011/」 表1
[0118]表2是在AR数据库上的识别率。降维维度(r，c)分别为(4，4)，（6，6)和(8，8)。高斯 混合模型的K分别取值为6，8，10。
[0119]
[0120] 表2
[0121] 表3是在FERET数据库上的识别率。降维维度(r，c)分别为（4，4)，（6，6)，（ 8，8)和 (10，10)。高斯混合模型的K分别取值为6，8，10。
[0122]
[0123] 表3
[0124] 从以上表格可以看出，使用本发明mi XB2DPPCA提取的特征在识别上具有明显优 势。
[0125]以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依 据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明 技术方案的保护范围。
【主权项】
1. 一种混合二维概率主成分分析方法，其特征在于，样本服从矩阵变量的混合高斯分 布，该方法包括以下步骤： (1) 根据公式(1)构建概率的二阶主成分分析模型2DPCA Xn = LBnRT+M+En； (1) 其中L(pXr)和R(qXc)分别是行和列方向的降维矩阵；Bn(rXc)是样本χη的隐变 量核，称为系数矩阵；r < p，c < q是降维后的行和列数；Μ (ρ X q )是均值矩阵，Ε η是 满足矩阵高斯分布的噪声，??.~，它的每个分量满足 f:ij ~ ? 1< 2,- ^ 1；2,....n)； (2) 根据公式(2)构建混合的2DPCA κ ρ(：Χ?!Β,| ^ Κ| + Mkf ^?) ⑵ A"：- i 其中分离的均值项Mk是第k类样本集的均值，Lk和Rk是样本集得到的第k类降维，耶是混 合比例，:nk>o, = ?, 是第k个高斯分布的方差； (3) 通过公式(4)的极大似然函数对公式(2)中的参数进行估计 ￡ .%isssl (4) Znk取值为1或0，代表第n个样本是否属于第k个高斯分布。 (4) 在求解公式⑷时，利用变分最大期望EM算法来优化参在EM算法的E 步中，对隐变量Bp求解其后验分布：MC#5; if;; SP)，其中Qf是均值，if > 0，SP >. 0分 别是行和列方向的协方差矩阵，经计算得到公式(9)-(11): Tf - ^ (9) -f σ|?Γ(Τ^}Ι<:1 (10) veclQ^) [R|'Efe Φ :1? 4- Θ ^!}" V (Π ) 其中y。嫩(??.、、、' Μ步更新公式(4)中的参数，得到公式(12)-(14): .、:ν· 父 U - E%fc{X? --- MyR^Qf ^fE.iQ 4. t：r(R|；EASf )Tf l'-'1 U2) 如·':) 5:?. ·'·'： I Bfc - E 't' te(Ll'^Tf }Sf r' C13) i ?$:：wA ? (Xr< - M^) - 2 Σ?：：：：? (X, - Mfe}) + Eli (14) 其中γ n,k表示第η个样本属于第k个高斯分布的后验概率； 迭代进行E步和Μ步，使似然函数值增大并趋于稳定。
【专利摘要】本发明公开了一种二维概率主成分分析方法，其能够对二维数据在行和列两个方向上进行降维，重构效果更好。该方法包括步骤：(1)根据公式(1)构建概率的二阶主成分分析模型2DPCA；(2)根据公式(2)构建混合的2DPC；(3)通过公式(4)的极大似然函数对公式(2)中的参数进行估计；(4)在求解公式(4)时，利用变分最大期望EM算法来优化参数在EM算法的E步中，对隐变量求解其后验分布，M步更新公式(4)中的参数，迭代进行E步和M步，使似然函数值增大并趋于稳定。
【IPC分类】G06K9/46, G06K9/62
【公开号】CN105469101
【申请号】CN201511022718
【发明人】孙艳丰, 刘思萌, 句福娇, 胡永利, 尹宝才
【申请人】北京工业大学
【公开日】2016年4月6日
【申请日】2015年12月31日