一种基于参数融合优化决策的音频索引方法
【专利摘要】本发明为一种针对真实场景下的语音数据进行音频索引的方法，将输入的语音信号进行预处理和初始化后进行声学特征提取，然后分别进行基于高斯混合模型的优化学习及量子学习，将高斯混合模型参数与量子学习参数进行融合，最后基于分类决策给出分类结果，本发明中的量子学习方法是将常规类别进行线性叠加来构建量子态，并将量子态作为计算模型的状态。将这种方法扩展为通用分类学习方法，可有效地解决会议场景下多个说话人混合的通用说话人分类问题。
【专利说明】一种基于参数融合优化决策的音频索引方法
【技术领域】
[0001]本发明属于音频【技术领域】，涉及对会议场景下的语音数据进行音频索引，具体涉及一种基于参数融合优化决策的音频索引方法。
【背景技术】
[0002]音频索引是一种从音频中自动提取信息并进行目标内容搜索的技术，其目的是按一定的方式对海量语音信号进行分析和检索，提取特定目标信息。在音频索引中需要获取信息包括说话内容和说话人身份。音频索引一般在时域上对音频信号按来源和分类进行标记索引，其索引内容包括但不限于:说话人身份、说话内容、音乐、背景噪声及其他内容。音频索引需要确定出某一说话人与另一说话人之间的切换时刻，并标记出每个语音段对应的说话人身份。音频索引可应用于电话语音、广播新闻和语音会议等场景，能够实现音频数据的结构化分析、理解和管理。
[0003]会议场景下的音频索引可视为基于说话人的语音信号自动优化和分离方法，上述音频索引通常包括三个部分:说话人特征提取、说话人分段、说话人聚类。
[0004]传统的说话人特征包括:MFCC(MelFrequency Cepstral Coefficients)、LFCC (Linear Frequency Cepstral Coefficients)> PLP (Perceptual LinearPredictive)、LPC (Linear Predictive Coding)等感知特征；最近提出的新的说话人特征包括:鲁棒性较优的同步掩蔽和前向掩蔽感知特征；基于听神经放电时间信息的子带自相关特征；调频谱特征和频域线性预测特征；还可以利用汉明窗提取语音信号中若干情感特征参数。此外还包括如下提取说话人特征的方法:特征弯曲(warping)技术将特征的F1DF包络改为高斯包络，可以避免背景噪声和其他干扰的影响；通过在聚类之前先将特征矢量投影到说话人子空间则可以提高说话人特征的鉴别性；将传统短时特征与节律(Prosodic)和其他长时特征(如基频、能量、共振峰、长时平均谱等)结合；根据给定的训练样本集选择最优小波包基.从被识别或分类的信号中提取具有最大可分性的特征。
[0005]基于测度的算法是最常用的说话人分段算法，通过计算两个声学段(通常是连续的)之间的距离来决策他们属于同一说话人或不同说话人，如果属于不同说话人，则需要判定是否存在说话人变更点。用于进行变更点判定的距离算法也可应用在说话人聚类方面来比较两个声学段是否属于同一说话人。通常用两类距离来定义一对声学段的距离，一类是不考虑数据的模型，仅利用足够多的统计数据进行计算，称为基于统计的距离，这种方法在声学段足够长的时候快速高效，将数据用一个唯一的均值和方差代表；第二类则评估数据与其模型的相似度，该方法计算较慢，但对复杂数据处理效果较好，称为基于相似度的距离。距离定义包括:贝叶斯信息准则、通用相似度评估、Gish距离。所有基于量度的技术都需要计算一个函数，其极值需要与阈值相比来决定每个变更点的合适度。
[0006]说话人聚类则采用混合高斯模型(Gaussian Mixture Model, GMM)或支持向量机(Support Vector Machine, SVM)来计算,前者需要对说话人模型进行生成训练,如最大似然或最大后验估计，后者需要对说话人模型进行差别训练，目前主流的技术为GMM-SVM，通过GMM建立概率密度分布模型并通过Kul Iback-Leibler散度上界来测量概率密度分布。虽然GMM-SVM系统性能较好，但仍存在GMM参数过多及通用性较差的问题。对于第一个问题，NAP等技术相继被提出，使得GMM-SVM系统的识别正确率进一步提高，不过在训练NAP模型时仅考虑了同类集合间的度量，未考虑异类集合间的度量；对于第二个问题，可引入量子学习理论进行处理。.
【发明内容】
[0007]为了克服上述现有技术的不足，本发明的目的在于提供了一种基于参数融合优化决策的音频索引方法，由高斯混合模型和量子学习模型参数构成。量子学习模型是一种在数据分布中增加量子控制参数的分类算法，主要方法是将常规类别进行线性叠加来构建量子态，并将量子态作为计算模型的状态。通过从训练集中学习并找到一种低误差分类器，对测试集进行分类决策并进行标记，可以解决多类混合状态问题。这种方法可用于处理多人多方会议中的音频索引问题。
[0008]为了实现上述目的，本发明采用的技术方案是:
[0009]一种基于参数融合优化决策的音频索引方法，包括以下步骤:
[0010]第一步，采用声传感器进行系统输入信号采集；
[0011]第二步，对所采集信 号进行预处理；
[0012]第三步，提取声学特征；
[0013]第四步，采用高斯混合模型对声学特征建立分类模型；
[0014]第五步，采用量子学习模型对声学特征建立分类模型；
[0015]第六步，对上述传统优化学习和量子学习获得的模型的参数进行参数融合，得到融合模型分类器；
[0016]第七步，分类决策给出分类结果；
[0017]第八步，系统输出分类结果，包括全部的语音频段及其相应的分类信息。
[0018]所述第一步中的声传感器包括独立声传感器和便携设备上的声传感器。
[0019]所述第二步中的预处理包括预加重、分帧、加窗以及端点检测。
[0020]所述第三步中的声学特征为Mel频率倒谱系数或/和线性预测倒谱系数。
[0021]所述第四步中，对声学特征建立高斯混合分类模型，对不同说话人的声学特征所具有的概率密度函数进行建模，对这些特征进行聚类，用高斯分布函数来分别描述每个类，将这些类作为训练模板，随后将观测序列代入模板，找到最大后验概率。
[0022]所述第五步中，对声学特征建立量子学习分类模型，将常规类别进行线性叠加来构建量子态，并将量子态作为计算模型的状态。
[0023]所述第六步中，需要融合的参数由传统优化学习模型参数和量子学习模型参数构成，通过加权完成参数融合。
[0024]所述参数融合的方法是:在得到高斯混合模型参数后，按照获得的权重大小将模型分量进行排序W1Sw2...>wn,其中n..., Wfloor(n/2)对应的模型分量构成高权重分量集合H，
W(f100r(n/2)+l)，^(floor (n/2)+2) J...J
Wn对应的模型分量构成低权重分量集合L, floor为下取整函数；在得到量子学习模型参数后，按照同样方法获得权重，将模型分量按照大小进行排序，构成高权重分量集合H’和低权重分量集合L’，量子学习模型的置信度与训练数据个数无关；融合模型分类器最终输出来自高斯混合模型的高权重分量集合H和来自量子学习模型的低权重分量集合L’。
[0025]所述第七步中，分类决策由多个不同的分类器给出各自得分，通过决策级融合完成具有鲁棒性优化和最佳分类效果的决策输出，决策级融合后的分类决策即为分类结果。
[0026] 本发明与现有技术相比，优点在于:
[0027]本发明建立了一种基于高斯混合模型参数及量子学习参数融合优化决策的音频索引方法，其中量子学习模型是一种在数据分布中增加量子控制参数的分类算法，主要方法是将常规类别进行线性叠加来构建量子态，并将量子态作为计算模型的状态。通过从训练集中学习并找到一种低误差分类器，对测试集进行分类决策并进行标记，可以解决多类混合状态问题。通过上述融合分类学习方法的扩展，可有效地解决会议场景下多个说话人混合的通用说话人分类问题。
【专利附图】
【附图说明】
[0028]图1是本发明基于参数融合优化决策的说话人分类流程图。
【具体实施方式】
[0029]下面结合附图和实施例对本发明做进一步详细说明。
[0030]如图1所示，本发明为一种基于参数融合优化决策的音频索引方法，包括:
[0031]语音信号输入步骤101，采用声传感器进行系统输入信号采集，按说话人身份对数据进行分类；包括在多媒体会议中通过声传感器采集的全部语音频信号，有可能除了语音信号之外还包括音乐、环境噪声等其他信号。其目标在于，在多媒体会议中按说话人身份对数据进行分类，这类多媒体会议包括电话或视频会议。这些方法和装置不局限于任何已知的独立声传感器如麦克风等，也可以是任何便携设备如笔记本电脑或PDA设备上的声传感器。
[0032]预处理102，对所采集信号进行预处理，包括预加重、分帧、加窗以及端点检测等手段。
[0033]信号初始化103，进行噪声消除和有声段/无声段检测等。
[0034]声学特征提取104，提取声学特征作为说话人鉴别信息，这些声学特征可以为梅尔频率倒谱系数(Mel Frequency Cepstral Coefficients, MFCC)或线性预测倒谱系数(Linear Frequency Cepstral Coefficients, LPCC)等，此外还存在将多种声学特征融合的特征，这种融合特征提供了更多鉴别信息，可以进一步提高分类正确率。
[0035]上述的步骤102、103、104共同完成整个特征提取部分。
[0036]特征提取步骤完成之后，对不同说话人的声学特征所具有的概率密度函数进行建模，构建高斯混合模型105，将每个说话人视作一个类别，用高斯分布函数来分别描述每个类，将这些类作为训练模板，随后将观测序列代入模板，找到最大后验概率。
[0037]其具体方式如下:
[0038]假设训练数据用N维列向量y = (y0, Yl,…，t表示，其中Ji e y代表第i个训练数据的特征矢量，y属于K个不同的类。定义y对应的标签为N维矢量X= (x0, X1,-,XnJ' Xi e {O, I...，K-l}，Xi e X代表第i个训练数据对应的标签，Xi用来表示Xci, X1,…，χΝ_1;定义X由如下公式产生:
【权利要求】
1.一种基于参数融合优化决策的音频索引方法，其特征在于:包括以下步骤: 第一步，采用声传感器进行系统输入信号采集； 第二步，对所采集信号进行预处理； 第三步，提取声学特征； 第四步，采用高斯混合模型对声学特征建立分类模型； 第五步，采用量子学习模型对声学特征建立分类模型； 第六步，对上述传统优化学习和量子学习获得的模型的参数进行参数融合，得到融合模型分类器； 第七步，分类决策给出分类结果； 第八步，系统输出分类结果，包括全部的语音频段及其相应的分类信息。
2.根据权利要求1所述的基于参数融合优化决策的音频索引方法，其特征在于:所述第一步中的声传感器包括独立声传感器和便携设备上的声传感器。
3.根据权利要求1所述 的基于参数融合优化决策的音频索引方法，其特征在于:所述第二步中的预处理包括预加重、分帧、加窗以及端点检测。
4.根据权利要求1所述的基于参数融合优化决策的音频索引方法，其特征在于:所述第三步中的声学特征为梅尔频率倒谱系数或线性预测倒谱系数。
5.根据权利要求1所述的基于参数融合优化决策的音频索引方法，其特征在于:所述第四步中，对不同说话人的声学特征所具有的概率密度函数进行建模，对这些特征进行聚类，用高斯分布函数来分别描述每个类，将这些类作为训练模板，随后将观测序列代入模板，找到最大后验概率。
6.根据权利要求1所述的基于参数融合优化决策的音频索引方法，其特征在于:所述第五步中，对声学特征建立量子学习分类模型，将常规类别进行线性叠加来构建量子态，并将量子态作为计算模型的状态。
7.根据权利要求1所述的基于参数融合优化决策的音频索引方法，其特征在于:所述第六步中，需要融合的参数由高斯混合模型模型参数和量子学习模型参数构成，通过加权完成参数融合。
8.根据权利要求7所述的基于参数融合优化决策的音频索引方法，其特征在于:所述参数融合的方法是:在得到高斯混合模型参数后，按照获得的权重大小将模型分量进行排序W^W2...〉Wn，其中W1, W2,...，Wj^oor (n/2)对应的1?型分里构成权重分里集Π H，W(floor(n/2)+l)，^ (floor (n/2) +2) J...J
Wn对应的模型分量构成低权重分量集合L，floor为下取整函数；在得到量子学习模型参数后，按照同样方法获得权重，将模型分量按照大小进行排序，构成高权重分量集合H’和低权重分量集合L’，量子学习模型的置信度与训练数据个数无关；融合模型分类器最终输出来自高斯混合模型的高权重分量集合H和来自量子学习模型的低权重分量集合L’。
9.根据权利要求1所述的基于参数融合优化决策的音频索引方法，其特征在于:所述第七步中，分类决策由多个不同的分类器给出各自得分，通过决策级融合完成具有鲁棒性优化和最佳分类效果的决策输出，决策级融合的具体做法是进行线性加权，量子学习模型和高斯混合模型的分类结果对应的权重均为1，融合模型的分类结果对应的权重0〈ω〈1，并输出线性加权后的分类结果。
【文档编号】G10L15/08GK103985381SQ201410209057
【公开日】2014年8月13日 申请日期:2014年5月16日 优先权日:2014年5月16日
【发明者】杨毅, 刘加, 孙甲松 申请人:清华大学