一种基于稀疏高斯条件随机场的情感分类方法及装置与流程

[0001]
本发明涉及一种基于稀疏高斯条件随机场的情感分类方法及装置。


背景技术：

[0002]
自20世纪以来，情感计算作为人工智能、计算机视觉等学科的重要分支，逐渐受到研究人员的重视。由于情感标签具有模糊性和主观性，具有标签模糊性的标签分布式学习算法成为了热门话题。对于没有足够和完整的训练数据的分类任务而言，标签分布式学习可以引入额外信息从而加强学习过程。除此之外，标签分布式学习相比于单标签和多标签学习而言为标签表示提供更多的灵活性，是模糊理论在标签分类领域的创新应用。
[0003]
在解决情感计算任务过程中，当前大部分算法多是自行构造相关矩阵或是针对预测标签进行直接全局或局部低秩处理，而未考虑其数据的分布情况。故如何有效的发掘情感标签之间相关性信息成为有价值的研究方向，因此提出一种结合数据分布特性的有效的情感分布式学习算法是非常有意义的。


技术实现要素：

[0004]
本发明的目的是针对现有技术的不足，提出一种基于稀疏高斯条件随机场的情感分类方法及装置，将低秩学习、高斯条件随机场和相关性学习融合在一起，实现了更好的分类效果。
[0005]
本发明通过以下技术方案实现：
[0006]
一种基于稀疏高斯条件随机场的情感分类方法，其特征在于：包括如下步骤：
[0007]
a、将原始数据集中各图片的原始特征表示集分为训练集和测试集，对训练集中的原始特征表示进行低秩特征分解后得到潜在特征表示集，其训练得到的低秩映射矩阵后期用于测试集潜在特征表示的构建，从而使潜在特征表示具有低秩性，构建潜在特征表示映射到自身的第一损失函数；
[0008]
b、通过稀疏回归模型获取预测标签分布，并借助逆协方差矩阵获取潜在特征表示自身、潜在特征表示与预测标签分布之间、以及预测标签分布自身之间的相关关系，并根据上述相关关系，由训练集的潜在特征表示和预测标签分布构建高斯条件随机场模型，以得到由潜在特征表示映射到预测标签分布的第二损失函数；
[0009]
c、利用低秩对训练集上的预测标签分布进行全局约束，从而使得预测标签分布的全局相关性得到加强，，并使用kl散度来约束训练集的预测标签分布与真实标签分布之间的差异，并构建预测标签分布到自身之间的第三损失函数；
[0010]
d、将第一、第二、第三损失函数加权获取总损失函数，引入拉格朗日乘子，对各个变量进行交替优化，直至总损失函数收敛，再利用测试集得到预测标签分布。
[0011]
进一步的，所述步骤a中的第一损失函数为：
[0012]
[0013][0014]
其中，x为从图片提取的原始特征表示，为经过低秩特征分解后的潜在特征表示，e为误差矩阵，保留原始特征表示的稀疏性，d为低秩映射矩阵，保留原始特征表示的低秩性，为潜在特征表示的逆协方差矩阵，tr(
·
)代表矩阵的迹，||
·
||1代表矩阵的1范数，||
·
||
*
代表矩阵的核范数，λ1,λ2,λ3为平衡参数。
[0015]
进一步的，所述步骤b中的第二损失函数为：
[0016][0017]
其中，n为训练集对应的图片示例个数，为具有低秩特性的潜在特征表示，为预测标签分布，为潜在特征表示与预测标签分布之间的逆协方差子矩阵，为预测标签分布之间的逆协方差子矩阵，|
·
|代表矩阵的行列式，tr()代表矩阵的迹，||
·
||1代表矩阵的1范数，λ4,λ5为平衡参数。
[0018]
进一步的，所述步骤c中的第三损失函数为：
[0019][0020]
其中，γ，λ6是平衡参数，kl(
·
)表示kl散度损失。
[0021]
进一步的，所述步骤d中的总损失函数为：
[0022][0023][0024]
进一步的，所述步骤a中对各图片进行特征分解包括：从图片中提取维数为243维的语义特征，并将各语义特征归一化以得到原始特征表示x。
[0025]
进一步的，所述步骤d中，总损失函数收敛后，得到最终的低秩映射矩阵d和逆协方差矩阵θ，再将测试集的原始特征表示与该低秩映射矩阵d相乘得到潜在特征表示，随后将其通过逆协方差矩阵θ构建稀疏回归模型，，即可得到最终的预测标签分布，即得到最终的分类结果。
[0026]
进一步的，还包括步骤e：利用kl距离和cosine相似度对最终结果进行评价。
[0027]
进一步的，所述步骤b中的稀疏回归模型为：
[0028][0029]
其中，为第i个图片的预测标签分布，为第i个图片通过低秩分解获得的潜在特征表示，b∈r
m
×
n
为稀疏回归参数，ε
i
∈r
m
为对应的误差项，m，n分别对应潜在特征表示和预测标签分布对应的维度。
[0030]
本发明还通过以下技术方案实现：
[0031]
一种基于稀疏高斯条件随机场的情感分类装置，包括：
[0032]
第一损失函数构建模块：用于将原始数据集中各图片的原始特征表示集分为训练集和测试集，对测试集中的原始特征训练集中的原始特征表示进行低秩特征分解后得到潜在特征表示集，其训练得到的低秩映射矩阵后期用于测试集潜在特征表示的构建，从而使潜在特征表示具有低秩性，构建潜在特征表示映射到自身的第一损失函数；
[0033]
第二损失函数构建模块：用于通过稀疏回归模型获取预测标签分布，并借助逆协方差矩阵获取潜在特征表示自身、潜在特征表示与预测标签分布之间、以及预测标签分布自身之间的相关关系，并根据上述相关关系，由训练集的潜在特征表示和预测标签分布构建高斯条件随机场模型，以得到由潜在特征表示映射到预测标签分布的第二损失函数；
[0034]
第三损失函数构建模块：用于利用低秩表示对训练集上的预测标签分布进行全局约束，从而使得预测标签分布的全局相关性得到加强，并使用kl散度来约束预测标签分布与真实标签分布之间的差异，并构建预测标签分布到自身之间的第三损失函数；
[0035]
结果确定模块：用于将第一、第二、第三损失函数加权获取总损失函数，引入拉格朗日乘子，对各个变量进行交替优化，直至总损失函数收敛，再利用测试集得出最终的分类结果。
[0036]
本发明具有如下有益效果：
[0037]
1、本发明利用低秩表示得到潜在特征表示，并得到潜在特征表示映射到自身的第一损失函数，借助逆协方差矩阵获取潜在特征表示自身、潜在特征表示与预测标签分布之间、以及预测标签分布自身之间的相关关系，并根据上述相关关系构建高斯条件随机场模型，得到由潜在特征表示映射到预测标签分布的第二损失函数，再构建预测标签分布到自身之间的第三损失函数，将第一、第二、第三损失函数加权获得总损失函数，可见，本发明将低秩学习、高斯条件随机场和相关性学习融合在一起，实现了更好的分类效果，尤其适合情感图片的标签分布式学习。当前大多算法主要通过挖掘标签的依赖特性来优化情感标签预测问题，但本发明将多元稀疏回归问题拓展到条件随机场中，从而不仅挖掘了情感标签分布的相关关系，同时也对特征与特征之间、特征与标签之间的依赖结构进行建模；当前大多算法在构建相关性方面通常使用额外矩阵或直接低秩处理，而本发明引入高斯联合概率分布，使用自身逆协防差矩阵有效的构建特征与标签、标签与标签之间的相关情况；为了更好的松弛联合概率分布假设，引入特征低秩分解和标签的低秩重构环节，从而更好的描述特征和拟合模型。
附图说明
[0038]
下面结合附图对本发明做进一步详细说明。
[0039]
图1为本发明的流程图。
具体实施方式
[0040]
如图1所示，基于稀疏高斯条件随机场的情感分类方法包括如下步骤：
[0041]
a、将原始数据集中各图片的原始特征表示集分为训练集和测试集，对训练集中的原始特征表示进行进行低秩特征分解后得到潜在特征表示集，其训练得到的低秩映射矩阵后期用于测试集潜在特征表示的构建，从而使潜在特征表示具有低秩性，构建潜在特征表示映射到自身的第一损失函数；包括：
[0042]
a1、从原始数据集的各图片中提取维数为243维的语义特征，并将各语义特征归一化处理以得到原始特征表示x，并将原始特征表示集分为训练集和测试集；其中，语义特征提取过程为现有技术；
[0043]
a2、根据公式确定具有低秩特性的潜在特征表示e为误差矩阵，d为低秩映射矩阵，通过约束误差矩阵e的稀疏特性和低秩映射矩阵d的低秩特性来不断优化潜在特征表示
[0044]
a3、利用训练集构建第一损失函数：
[0045][0046][0047]
其中，x为从图片提取的原始特征表示，为经过低秩特征分解后的潜在特征表示，e为误差矩阵，保留原始特征表示的稀疏性，d为低秩映射矩阵，保留原始特征表示的低秩性，为潜在特征表示的逆协方差矩阵，tr(
·
)代表矩阵的迹，||
·
||1代表矩阵的1范数，||
·
||
*
代表矩阵的核范数，λ1,λ2,λ3为平衡参数；由此整体构成潜在特征表示映射到潜在特征表示之间的损失项；
[0048]
b、通过稀疏回归模型获取预测标签分布，并借助逆协方差矩阵获取潜在特征表示自身、潜在特征表示与预测标签分布之间、以及预测标签分布自身之间的相关关系，并根据上述相关关系，由训练集的潜在特征表示和预测标签分布构建高斯条件随机场模型，以得到由潜在特征表示映射到预测标签分布的第二损失函数；
[0049]
为了引入高斯条件随机场模型，我们将情感标签预测问题首先考虑为学习稀疏回归模型的过程，其对应的稀疏回归模型的表达式具体为：
[0050][0051]
其中，为第i个图片的预测标签分布，为第i个图片通过低秩分解获得的潜在特征表示，b∈r
m
×
n
为稀疏回归参数，ε
i
∈r
m
为对应的误差项，m，n分别对应潜在特征表示和预测标签分布对应的维度；
[0052]
考虑到原始特征与原始标签难以服从高斯条件概率分布的紧约束，本文引入潜在特征和预测标签分布来进行建模，假设潜在特征表示输入和预测标签分布输出服从联合条件概率分布具体为：
[0053][0054]
其中，0
m
′
和0
n
′
代表维度为m
′
和n
′
的零向量，n
′
和m
′
分别对应潜在特征表示输入和潜在标签空间的维度，为协方差矩阵,协方差矩阵可以有效的反映变量对之间的边际相关性；对应的，逆协方差矩阵表示为可以有效的反映变量
对之间的条件相关信息；其中，构建的潜在特征表示与潜在特征表示节点之间的相关性，构建的是潜在特征表示与预测标签分布之间的映射关系，而构建的是预测标签分布之间的依赖关系；若逆协方差矩阵中的θ
ij
为0，代表第i个变量和第j个变量之间并不存在关联性；
[0055]
借助上述高斯联合分布假设，可以将稀疏回归问题转化为高斯条件随机场模型，其对应的预测标签分布函数具体为：
[0056][0057]
where
[0058][0059][0060]
其中，为第i个图片的潜在特征表示，为第i个图片的预测标签分布，为潜在特征表示与预测标签分布之间的逆协方差子矩阵；为预测标签分布之间的逆协方差子矩阵；
[0061]
第二损失函数为使用了l-1正则化对数线性损失：
[0062][0063]
其中，n为训练集对应的图片示例个数，为具有低秩特性的潜在特征表示，为预测标签分布，为潜在特征表示与预测标签分布之间的逆协方差子矩阵，为预测标签分布之间的逆协方差子矩阵，|
·
|代表矩阵的行列式，tr()代表矩阵的迹，||
·
||1代表矩阵的1范数，λ4,λ5为平衡参数；l-1正则项系数不同对于模型结构有着直接的影响，若λ4＜＜λ5代表忽略潜在输入的影响仅仅考虑当前标签对于其他标签的影响，而若λ4＞＞λ5则相反，其认为标签之间彼此独立，标签分布仅仅受潜在输入的直接影响；由此整体构成潜在特征表示映射到预测标签分布的损失项；
[0064]
c、利用低秩表示对训练集上的预测标签分布进行全局约束，从而使得预测标签分布的全局相关性得到加强，，并使用kl散度来约束预测标签分布与真实标签分布之间的差异，并构建预测标签分布到自身之间的第三损失函数：
[0065][0066]
其中，γ，λ6是平衡参数，kl(
·
)表示kl散度损失，用于衡量真实标签分布与预测标签分布之间的差异性；这里用于进一步加强预测标签分布之间的依赖关系，除此之外，为了保证预测标签分布的低秩特性，这里使用核范数对预测标签分布进行低秩约束；由此构成预测标签分布到自身之间的损失项；
[0067]
d、将第一、第二、第三损失函数加权获取总损失函数：
[0068][0069][0070]
并引入拉格朗日乘子，对各个变量进行交替优化，利用每次输出的结果作为输入，对模型整体进行迭代，直至总损失函数收敛，得到最终的低秩映射矩阵d和逆协方差矩阵θ，再将测试集的原始特征表示与低秩映射矩阵d相乘得到潜在特征表示，随后将其通过逆协方差矩阵θ构建稀疏回归模型，即可得到最终的预测标签分布，即得到最终的分类结果；
[0071]
e、对于分类结果，使用多个分布式学习指标进行评价，如利用kl距离和cosine相似度对最终结果进行评价。
[0072]
在本实施例中，通过如下所示的多个分布式学习指标对最终结果进行评价：
[0073][0074][0075][0076][0077][0078][0079][0080][0081]
其中p和q分别代表预测标签分布和真实标签分布，m为标签总个数，其中d
kl
、d
sqc
、d
clk
分别代表kl散度、squared-chord距离和clark距离，用于衡量预测标签分布和真实标签分布之间的差异，其测量指标越小越好；而s
cos
、s
hm
、s
is
、s
fid
、s
dice
分别代表cosine、harmonic-mean、intersection、fidelity和dice相似度,用于衡量预测标签分布和真实标
签分布之间的相似度，其值越大越好。
[0082]
为了评估本发明的算法性能，本实施例使用来自情感数据sbu_3dfe的2500张人脸照片作为数据集，其标签包含6类基本情感标签，整体数据集按照4:1的比例分为训练集和测试集，本发明的输出结果为由6类标签构成的概率分布，最终评价标准为模型在测试集上的多个距离测度指标和相似度测度指标。
[0083]
为了验证本发明的算法性能，本实施例同其他先进算法在相同实验设置下进行性能比对，包括aabp、iis-lld、aaknn、pt-bayes、pt-svm、cpnn。其中训练集和测试集的比例为4:1，重复10次实验并将测度指标取平均作为最终的评价指标，对比结果如表1所示。
[0084]
表1
[0085] aa-bpsa-iisaa-knnpt-bayescpnnpt-svmourssqc
↓
0.04560.03900.03980.03980.03740.04240.0363kldiv
↓
0.09680.08210.08270.08510.07900.09080.0766clark
↓
0.46060.41420.40580.41280.40660.42380.3965intersec
↑
0.82890.83920.84690.83870.84220.83520.8468cosine
↑
0.91310.92000.91920.91770.92280.91280.9253dice
↑
0.90920.91500.91600.91260.91790.90800.9206hm
↑
0.95600.96190.96150.96120.96340.95890.9645fidelity
↑
0.97720.98050.98010.98010.98130.97880.9818
[0086]
从表1可以看出，本实施例的性能无论在距离测度指标还是相似度测度指标上均优于其他先进算法，具有较好的情感标签预测效果。
[0087]
基于稀疏高斯条件随机场的情感分类装置包括：
[0088]
第一损失函数构建模块：用于将原始数据集中各图片的原始特征表示集分为训练集和测试集，对训练集中的原始特征表示进行低秩特征分解后得到潜在特征表示集，其训练得到的低秩映射矩阵后期用于测试集潜在特征表示的构建，从而使潜在特征表示具有低秩性，构建潜在特征表示映射到自身的第一损失函数；
[0089]
第二损失函数构建模块：用于通过稀疏回归模型获取预测标签分布，并借助逆协方差矩阵获取潜在特征表示自身、潜在特征表示与预测标签分布之间、以及预测标签分布自身之间的相关关系，并根据上述相关关系，由训练集的潜在特征表示和预测标签分布构建高斯条件随机场模型，以得到由潜在特征表示映射到预测标签分布的第二损失函数；
[0090]
第三损失函数构建模块：用于利用低秩表示对训练集上的预测标签分布进行全局约束，从而使得预测标签分布的全局相关性得到加强，签，并使用kl散度来约束预测标签分布与真实标签分布之间的差异，并构建预测标签分布到自身之间的第三损失函数；
[0091]
结果确定模块：用于将第一、第二、第三损失函数加权获取总损失函数，引入拉格朗日乘子，对各个变量进行交替优化，直至总损失函数收敛，再利用测试集得出最终的分类结果。
[0092]
以上所述，仅为本发明的较佳实施例而已，故不能以此限定本发明实施的范围，即依本发明申请专利范围及说明书内容所作的等效变化与修饰，皆应仍属本发明专利涵盖的范围内。