一种面向语音情感识别的语谱特征提取方法
【技术领域】
[0001] 本发明涉及一种面向语音情感识别的语谱特征提取方法，属于语音情感识别技术 领域。
【背景技术】
[0002] 随着人机交互技术的发展需求，语音情感识别已成为关键技术之一。为了使人机 交互系统和机器人的对话系统更加智能和完善，语音的情感分析变得越来越重要。此外，在 一些长时间的、单调的、高强度的任务（如航天、航海等）中，相关人员常产生某些负面的情 绪。有效的识别这些负面情绪，有助于提高个体认知和工作效率，防患于未然。面向儿童的 早期情感分析，也逐渐成为语音情感识别的一个重要研宄方向。因此，语音情感识别算法仍 然具有重要的应用研宄价值。
[0003] 在语音情感识别的实用性研宄方面，很多学者做了很多有益的尝试，获得不少有 价值的成果。在提高算法鲁棒性研宄方面，有学者提出了一些抗噪性能较好的情感识别算 法。在语音情感识别模型研宄方面，许多基于不同方法的识别模型被提出，比如加权稀疏识 别模型、说话人无关的识别模型、基于词法语义的识别模型等等。鉴于特征参数的选取与构 造对情感识别性能的影响较大，许多学者都对情感特征进行了细致的分析和研宄，并提出 多种语音情感特征的构造方式。上述研宄虽然获得了一定的研宄成果，但是语音情感特征 的选择与构建仍然没有定论，需要进一步的研宄。
[0004] 语音情感识别的常用特征大致可归纳为韵律学特征、谱特征和音质特征这三种 类型。目前这三类语音特征不是时域特征，就是频域特征，缺少针对时频特征对于语音情感 识别影响的研宄。语谱图作为一种语音能量的时频分布的可视化表达方式，本身就包含了 一些语音特征，如能量，共振峰，基频，音调等。因此国内外学者针对语谱图进行了相关研 宄，突破目前语音信号处理的时频特征的单一性。基于语谱的研宄主要包括声分类、声音识 另Ij、声音增强等，但是尚没有基于语谱特征的语音情感识别的算法研宄。
【发明内容】
[0005] 为了解决上述技术问题，本发明提供了一种面向语音情感识别的语谱特征提取方 法。
[0006] 为了达到上述目的，本发明所采用的技术方案是：
[0007] -种面向语音情感识别的语谱特征提取方法，包括以下步骤，
[0008] 步骤一，对语音信号分帧，并进行快速傅里叶变换得到对应的语谱图；
[0009] 步骤二，对语谱图进行分解
[0010] 将图像与线性分解高斯核进行卷积运算，在不同的尺度上进行不同通道的分解， 得到多通道多尺度的分解图像；所述通道包括颜色通道、亮度通道和方向通道；
[0011] 步骤三，对分解图像进行中央周边差运算并归一化，得到每幅分解图的特征图；
[0012] 步骤四，提取每幅特征图的特征矩阵
[0013] 将特征图分成m行η列，共mXη个子区域，用每个子区域的均值替代该子区域，将 特征图归一化为mXn的特征矩阵；
[0014] 步骤五，特征矩阵降维并重构
[0015] 将每幅特征图对应的特征矩阵重塑为IXmn的特征向量，并由这些特征向量构成 特征向量矩阵，通过对特征向量做主成分分析并保留其99 %的主元，得到主特征向量矩阵。
[0016] 同一通道不同尺度上的分解图像之间的关系为P(〇) =P(〇-l)/2,其中，P(〇) 表示尺度σ上的分解图像，P(I)表示原图像。
[0017] 颜色通道分解，图像被分解成两组分解图像，分别为PK_e( σ )和ΡΒ_Υ( σ )，
[0018] Pr-G ( σ ) = (r-g) /max (r, g, b)
[0019] PB-Y(°) = (b-min(r, g))/max(r, g, b)
[0020] 其中，PK_e( σ )和PB_Y( 〇 )分别表示R-G和B-Y颜色对在尺度σ上的分解图像，r、 g、b分别表不一幅彩色图像中红、绿、蓝分量值，min( ·)表不取最小值，max( ·)表不取最 大值；
[0021] 亮度通道分解，分解图像为？1(〇)，？1(〇) = 0'+8+13)/3，表示在尺度〇上的亮度 通道分解图像用r、g和b分量的平均值表示，I代表亮度通道；
[0022] 方向通道分解，分解图像通过二维Gabor方向滤波器来提取，将滤波器与相应尺 度的图像进行卷积得到方向通道上的分解图像P e ( σ )，
[0023] P0(O) = IP1(O)XG0(Q)卜Ipi(O) xg"2(0)
[0024] 其中，GQ( Θ )和〇π/2( Θ )为Gabor方向滤波器，其中0和π/2代表相位，Θ代表 角度。
[0025] 得到每幅分解图的特征图的过程为，将中央尺度与周边尺度的分解图进行跨尺度 点对点相减，然后归一化得到特征图FP i,
[0026] FPi=NdP e( 〇-Pe(〇s) |)，i e [1，1]
[0027] 其中，e e {R-G，B_Y，I，Θ }，σ c表示中央尺度，σ s表示周边尺度，σ s= σ c+d， Pe( σ。）表示在尺度σ。上的e所代表通道的分解图像，P e(。s)表示在尺度σ s上的e所代 表通道的分解图像，d代表中央尺度和周边尺度的差值，N代表归一化操作，1为特征图的个 数，1等于e的长度乘以σ。的长度，再乘以σ 3的长度。
[0028] 所述 Θ = {〇。，45。，90。，135。}，Oc= {2,3}，d=⑵。
[0029] 特征矩阵的数学表示为，
[0030]
【主权项】
1. 一种面向语音情感识别的语谱特征提取方法，其特征在于：包括以下步骤， 步骤一，对语音信号分帧，并进行快速傅里叶变换得到对应的语谱图； 步骤二，对语谱图进行分解 将图像与线性分解高斯核进行卷积运算，在不同的尺度上进行不同通道的分解，得到 多通道多尺度的分解图像；所述通道包括颜色通道、亮度通道和方向通道； 步骤三，对分解图像进行中央周边差运算并归一化，得到每幅分解图的特征图； 步骤四，提取每幅特征图的特征矩阵 将特征图分成m行η列，共mXη个子区域，用每个子区域的均值替代该子区域，将特征 图归一化为mXn的特征矩阵； 步骤五，特征矩阵降维并重构 将每幅特征图对应的特征矩阵重塑为IXmn的特征向量，并由这些特征向量构成特征 向量矩阵，通过对特征向量做主成分分析并保留其99 %的主元，得到主特征向量矩阵。
2. 根据权利要求1所述的一种面向语音情感识别的语谱特征提取方法，其特征在于： 同一通道不同尺度上的分解图像之间的关系为Ρ(σ) =Ρ(σ-1)/2,其中，P(〇)表示尺度 σ上的分解图像，P⑴表示原图像。
3. 根据权利要求1所述的一种面向语音情感识别的语谱特征提取方法，其特征在于： 颜色通道分解，图像被分解成两组分解图像，分别为Ρ κ<( σ )和ΡΒ_Υ( 〇 )， Pr-g ( σ ) = (r-g) /max (r, g, b) ΡΒ-γ(°) = (b-min(r, g))/max(r, g, b) 其中，P1^ 〇 )和PB-Y( 〇 )分别表示R-G和B-Y颜色对在尺度σ上的分解图像，r、g、 b分别表不一幅彩色图像中红、绿、蓝分量值，min(·)表不取最小值，max(·)表不取最大 值； 亮度通道分解，分解图像为P1(O), P1(O) = (r+g+b)/3,表示在尺度〇上的亮度通道 分解图像用r、g和b分量的平均值表示，I代表亮度通道； 方向通道分解，分解图像通过二维Gabor方向滤波器来提取，将滤波器与相应尺度的 图像进行卷积得到方向通道上的分解图像Pe ( σ )， Ρθ(σ) = |ΡΙ(σ)Χ6〇(θ) | + |ΡΙ(σ)Χ6π/2(θ) 其中，6。（0)和6"/2(0)为6&13〇1'方向滤波器，其中〇和31/2代表相位，0代表角度。
4. 根据权利要求3所述的一种面向语音情感识别的语谱特征提取方法，其特征在于： 得到每幅分解图的特征图的过程为，将中央尺度与周边尺度的分解图进行跨尺度点对点相 减，然后归一化得到特征图FP i, FPi=NdPe(Oc)-Pe(Os) l),i e [I, U 其中，e e {R-G, B-Y, I，θ }，σ。表不中央尺度，σ s表不周边尺度，〇 S= 〇 c+d，Pe ( σ c) 表示在尺度σ。上的e所代表通道的分解图像，P e(。s)表示在尺度〇 s上的e所代表通道 的分解图像，d代表中央尺度和周边尺度的差值，N代表归一化操作，1为特征图的个数，1 等于e的长度乘以〇。的长度，再乘以σ 3的长度。
5. 根据权利要求4所述的一种面向语音情感识别的语谱特征提取方法，其特征在于： 所述 θ={〇°，45°，90°，135。Koc=UJhd=Uh
6. 根据权利要求4所述的一种面向语音情感识别的语谱特征提取方法，其特征在于： 特征矩阵的数学表示为，
其中，Pe [〇，n-l]，qe [〇，111-1]，？01表示特征图对应的特征矩阵，ie [1，1]，1为特 征图的个数，V代表特征图的宽度，h代表特征图的高度。
7.根据权利要求6所述的一种面向语音情感识别的语谱特征提取方法，其特征在于： 所述m取值为4, η取值为5。
【专利摘要】本发明公开了一种面向语音情感识别的语谱特征提取方法，步骤一，对语音信号分帧，并进行快速傅里叶变换得到对应的语谱图；步骤二，对语谱图进行分解；步骤三，对分解图像进行中央周边差运算并归一化，得到每幅分解图的特征图；步骤四，提取每幅特征图的特征矩阵；步骤五，特征矩阵降维并重构。本发明从分析语音语谱特征的角度，综合运用图像处理的一些方法，从创新的角度挖掘情感识别的特征，采用多尺度多通道的滤波器对语谱图进行分解，在不同的特征域进行处理，并结合PCA分析，更好的挖掘对语音情感有益的信息。
【IPC分类】G10L25-03, G10L25-63
【公开号】CN104637497
【申请号】CN201510020519
【发明人】梁瑞宇, 冯月芹, 唐闺臣, 王青云, 花涛, 包永强, 陈姝, 顾保府
【申请人】南京工程学院
【公开日】2015年5月20日
【申请日】2015年1月16日