一种针对呼叫中心通话的语音情绪识别及应用系统的制作方法

本发明涉及音频数据处理技术领域，尤其是一种针对呼叫中心通话的语音情绪识别及应用系统。

背景技术：

在现代企业中，呼叫中心承担着维护企业客户关系和业务营销的重要责任，对呼叫中心话音服务质量进行监测具有重要意义。对通话语音进行情感分析，能够识别客服通话中客服和客户的情绪状态，从而有效跟踪和监测服务质量的好坏。现有的呼叫中心通话情绪识别方案中，多是通过语音识别技术将语音转换为文本内容，再根据文本进行情绪分析。这种方法一方面依赖语音识别模型的准确率和鲁棒性，在转换为文字的过程中存在一定的转换错误率；另一方面语音转文本之后丢失了语音本身蕴含的情感信息，在语音中的强度、语调、快慢等方面的变化可以有效反应人的情绪。这两方面因素都会影响对语音情绪识别的准确性。

目前在呼叫中心通话情绪识别中也有基于语音本身进行分类的方案，这些方案在使用情绪分类模型时基本只采用单一模型，由于通话人、场景及通话内容的多样性，单一模型的情绪识别效果往往难以达到很好的稳定性，而且只能进行情绪识别，不能及时发现存在问题的通话中客户所反映的关键信息。呼叫中心通话的客服人员的服务质量往往是通过客户手动评分，通过上述评分的方式往往是不准确的，完全依赖客户的主观性或是客服人员对客户评分进行要求，而使客户按照客服人员进行评分，有时候客户为了节约时间而不进行通话评分，这不利于企业的发展，无法真正了解客户。由于客服人员往往不是专业的技术人员，对于客户提出的产品缺陷，客服人员有时候不能较好地作出处理；而且在面对情绪多样化的客户，客服人员难以采用有效的处理方式应对，尤其对于新手客服人员。

技术实现要素：

为了解决上述问题，本发明提供一种针对呼叫中心通话的语音情绪识别及应用系统，能够使客服人员准确了解的客户的情绪，同时提供有效的应答方案，而且能够对客服人员进行准确地考核。

为了实现上述目的，本发明采用的技术方案是：

一种针对呼叫中心通话的语音情绪识别及应用系统，包括语音处理模块、语音关键词检测子模块、情感模型集模块、情绪分类模块、业务应用模块及数据库模块；

所述语音处理模块包括语音提取子模块及语音特征分析子模块，所述语音提取子模块用于在待检测的通话中语音的获取；所述语音特征分析子模块用于将接收所述语音提取子模块的语音数据，并通过预加重、加窗分帧及端点检测方式对所述语音提取子模块的语音进行处理，以获取所述语音提取子模块的音律、音质及频谱特征；

所述语音关键词检测模块用于接收所述语音特征分析子模块的语音数据，并通过建立关键词库识别情感类关键词和主题类关键词，以获得所述语音提取子模块中客户的情绪数据信息及所反应问题数据信息；

所述情感模型集模块用于储存多个不同的情感分类模型集，并接收所述语音特征分析子模块的数据信息，以对通话者的情感状态进行动态的捕获及跟踪；

所述情绪分类模块用于获取所述语音关键词检测模块及所述情感模型集模块的数据信息，并采用分类模型判断待检测的通话中语音的情绪类别；

所述业务应用模块包括客户信息显示子模块、情绪显示子模块、应答提示子模块、考核数据子模块及企业问题分析子模块，所述客户信息显示子模块与产品销售记录平台通讯连接，所述客户信息显示子模块用于根据客户的电话号码在产品销售记录平台显示客户的购买信息；所述情绪显示子模块用于接收所述语音关键词检测子模块及所述情绪分类模块的数据信息，并实时显示当前通话中客户的情绪倾向信息；所述应答提示子模块包括应答方案数据库及应答提示框，所述应答方案数据库用于存储产品相关信息、应对不同情绪类型处理方案、应答术语及问题处理流程的数据信息；所述应答提示框用于通过机器学习算法结合所述语音关键词检测子模块、所述情绪分类模块及所述应答方案数据库数据，自动生成应答提示方案并显示；所述考核数据子模块用于根据所述情绪分类模块的数据对客服服务质量的考核；所述企业问题分析子模块用于根据所述语音关键词检测模块的数据对产品情况的分析；

所述数据库模块用于所述语音关键词检测模块、所述情感模型集模块、所述情绪分类模块及所述业务应用模块数据的存储及发送。

进一步地，所述语音特征分析子模块通过在音律、音质及频谱特征中获取在时域或频域的短时能量、平均幅度、短时平均过零率、基音频率、共振峰、梅尔频谱特征、线性预测倒谱系数及梅尔倒谱系数、语谱图的不同特征，并分析计算不同特征的最大值、最小值、范围、最大值所在帧、最小值所在帧、均值、线性近似斜率、线性近似偏移、线性近似二次偏差、标准偏差、偏斜度、峰度、一阶差分及二阶差分的统计量。

进一步地，所述语音关键词检测模块包括情感权重数据库及关键词提取子模块，所述情感权重数据库用于建立及储存关键词的情感权重数据库；所述关键词提取子模块用于将所述语音特征分析子模块的数据通过声学模型、语言模型、发音词典及解码器与所述情感权重数据库的数据进行配对识别情感类关键词和主题类关键词，并且能够统计情感类关键词和主题类关键词在语音中出现的频次，所述关键词提取子模块还能够根据所述情感权重数据库的数据为情感类关键词的感情倾向赋予权值，通过将所述权值与情感类关键词所述频次结合分析并对语音的每种情绪进行评分；所述情感模型集模块通过训练隐马尔可夫模型、混合高斯模型、支持向量机模型、人工神经网络、卷积神经网络模型及长短期记忆网络模型，并将各个模型进行结合，以对每一模型中所述语音处理模块情感特征的语音情感倾向进行评分。

进一步地，所述情绪分类模块根据所述语音关键词检测模块及所述情感模型集模块提供的不同模型数据采用投票法、评分法及组合法判断所述语音特征分析子模块获得语音的情绪类别；

所述投票法通过获取所述关键词提取子模块及所述情感模型集模块中每一模型的情绪分类结果，并统计当前语音被判定为某类情绪的模型个数，得票最多的情绪类别作为识别结果；

所述评分法通过获取所述关键词提取子模块及所述情感模型集模块中的评分数值，并将评分数值组成新的特征输入到经训练后的决策树、svm及神经网络分类模型中计算，输出情绪识别结果。

所述组合法将获取所述关键词提取子模块及所述情感模型集模块中评分数值与所述语音特征分析子模块的语音特征数据进行组合成新的语音特征，并将新的语音特征通过决策树、svm及神经网络分类模型训练及分类计算，以获得情绪识别结果。

进一步地，所述数据库模块用websocket建立数据存储端与web端之间的连接通道，为所述语音关键词检测模块、所述情绪分类模块及所述业务应用模块之间的数据传输提供即时数据服务。

进一步地，所述考核数据子模块用于通过获取所述情绪分类模块的数据，并分析计算每名客服人员在一定时期内所有通话情绪的情况，所述业考核数据子模块还能够根据通话情绪的情况自动生成统计表格及统计图形。

进一步地，所述企业问题分析子模块用于获取所述语音关键词检测模块中的主题类关键词，并通过分析计算所述语音关键词检测模块中的主题类关键词，以收集及统计客户所反映的关键问题。

进一步地，所述业务模块通过搜索计算引擎获得对应的数据信息，所述搜索计算引擎由多源异构数据访问组件、元数据管理及访问模块提供数据访问支撑。

本发明的有益效果是：

1.语音关键词检测模块在将语音处理模块的数据中提取关键词，相比于连续语音识别技术，语音关键词检出不需要把整个语音流识别出来，只需构建自己感兴趣的关键词表而具有更好的灵活性，同时对语法、环境噪声等的要求更低从而更适应复杂的通话场景，语音关键词检测子模块还能够识别出情感类关键词和主题类关键词，以便于后序进程分析客户的情感倾向及所需要解决的问题；情感模型集模块通过多种训练模型对客户的情感状态进行动态的捕获和跟踪；情绪分类模块通过整合语音关键词检测模块及情感模型集模块，并训练多个机器学习模型和深度学习模型，发挥多模型各自的优势，提高模型识别的精度和稳健性，保证在语音中识别情绪的准确性；业务模块获取语音关键词检测子模块、情感模型集模块及情绪分类模块的数据，能够接入产品销售记录平台，通过客户电话与所销售的产品进行关联，使得客服人员能够了解到客户所购买的产品，从而掌握客户的信息，有利于通话的进行；同时具有实时应答方案、客服绩效考核和企业问题分析的功能，为客服人员实时提供客户的情绪，并且实时、准确、规范的应答提示，使得客服人员能够准确地处理客户的问题。

2.语音特征分析子模块通过对音律、音质及频谱特征中获取在时域或频域的短时能量、平均幅度、短时平均过零率、基音频率、共振峰、梅尔频谱特征、线性预测倒谱系数及梅尔倒谱系数、语谱图的不同特征，并计算相关统计量，从而提取到丰富全面的语音特征，避免了单一种类或维度特征对情感信息表现的局限性，为情绪的识别提供必要的手段。

3.关键词提取子模块22具备不断训练学习的功能，能够对新的关键词进行补充训练学习，以使本系统具有良好的拓展性，由于网络的发展迅速，大量的网络词汇往往会从客户的口中出现，本发明中能够通过用样本数据预先训练，不断训练迭代更新关键词，使本系统能够识别各种非常规的关键词。

4.考核数据子模块通过分析计算每名客服人员在一定时期内所有通话情绪的情况，按照每种情绪类型的占比对客服人员进行考核，避免了传统考核的误差性，能够有效地提高客服人员的素质。企业问题分析子模块能够根据语音关键词检测模块，统计出每种产品所出现问题的频次，从而能够使管理人员获知企业产品的经营状况，便于及时发现问题并有针对性地优化产品。

附图说明

图1是本发明一较佳实施方式的针对呼叫中心通话的语音情绪识别及应用系统的结构框图。

图中，1-语音处理模块，11-语音提取子模块，12-语音特征分析子模块，2-语音关键词检测模块，21-情感权重数据库，22-关键词提取子模块，3-情感模型集模块，4-情绪分类模块，5-业务应用模块，51-客户信息显示子模块，52-情绪显示子模块，53-应答提示子模块，54-考核数据子模块，55-企业问题分析子模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参见图1，本发明一较佳实施方式的针对呼叫中心通话的语音情绪识别及应用系统，包括语音处理模块1、语音关键词检测子模块2、情感模型集模块3、情绪分类模块4、业务应用模块5及数据库模块6。

语音处理模块1包括语音提取子模块11及语音特征分析子模块12，语音提取子模块11用于在待检测的通话中语音的获取。语音特征分析子模块12用于接收语音提取子模块11的语音数据，并通过预加重、加窗分帧及端点检测方式对语音提取子模块11的语音进行处理，以获取语音提取子模块11的音律、音质及频谱特征。

在本实施例中，语音特征分析子模块12通过在音律、音质及频谱特征中获取在时域或频域的短时能量、平均幅度、短时平均过零率、基音频率、共振峰、梅尔频谱特征、线性预测倒谱系数及梅尔倒谱系数、语谱图的不同特征，并分析计算不同特征的最大值、最小值、范围、最大值所在帧、最小值所在帧、均值、线性近似斜率、线性近似偏移、线性近似二次偏差、标准偏差、偏斜度、峰度、一阶差分及二阶差分的统计量。通过在语音特征分析子模块12中提取通话语音特征的相关统计量，提取丰富全面的语音特征，避免了单一种类或维度特征对情感信息表现的局限性，并便于后序语音识别工作的进行。

语音关键词检测模块2用于接收语音特征分析子模块12的语音数据，并通过建立关键词库识别情感类关键词和主题类关键词，以获得语音提取子模块11中的情绪数据信息及所反应问题数据信息。

在本实施例中，语音关键词检测模块2包括情感权重数据库21及关键词提取子模块22。

情感权重数据库21用于建立及储存关键词的情感权重数据库。

关键词提取子模块22用于将语音特征分析子模块12的数据通过声学模型、语言模型、发音词典及解码器与情感权重数据库21的数据进行配对识别情感类关键词和主题类关键词，并且能够统计情感类关键词和主题类关键词在语音中出现的频次，关键词提取子模块22还能够根据情感权重数据库21的数据为情感类关键词的感情倾向赋予权值，通过将权值与情感类关键词频次结合分析并对语音的每种情绪进行评分。

关键词提取子模块22能够从语音中检测指定关键词是否出现，相比于连续语音识别技术，语音关键词检出不需要把整个语音流识别出来，只需构建自己感兴趣的关键词表而具有更好的灵活性，同时对语法、环境噪声等的要求更低从而更适应复杂的通话场景。

对于其声学模型可使用隐马尔可夫模型(hmm)来对每一个声学单元建模，每个模型都由连续的多个状态以及状态间的转移构成，声学模型训练时，根据语料中给定的观测语句进行正确标注并不断迭代优化参数，使得正确标注和其对应的发音产生最大的后验概率。

对语言模型用于将声学模型输出结果识别为文本，为了应对词表较大的关键词检出，使用统计语言模型，即基于对语料库的统计从概率的角度描述词与词之间的关系。

语言模型用于将声学模型输出结果识别为文本，为了应对词表较大的关键词检出，使用统计语言模型，即基于对语料库的统计从概率的角度描述词与词之间的关系，在模型训练时使用大量的文字语料作为训练集来提高模型准确性。

发音字典用来连接声学模型和语言模型，包含了从词到音素之间的映射，构建时发音字典时尽可能多的覆盖所关注的识别情感类关键词和主题类关键词，同时抛弃不需要的字词，以提高检索效率和识别性能。

在关键词提取子模块22中获取关键词的结果还需要解码器，解码器通过维特比算法进行解码，先是hmm状态解码得到最佳状态序列，然后对于关键词检出解码，获得最终识别结果。

在本实施例中，关键词提取子模块22具备不断训练学习的功能，能够对新的关键词进行补充训练学习，以使本系统具有良好的拓展性，由于网络的发展迅速，大量的网络词汇往往会从客户的口中出现，本发明中能够通过用样本数据预先训练，不断训练迭代更新关键词，使本系统能够识别各种非常规的关键词。

情感模型集模块3用于储存多个不同的情感分类模型集，并接收语音处理模块1的数据信息，以对通话者的情感状态进行动态的捕获及跟踪。在本实施例中，情感模型集模块3通过训练隐马尔可夫模型、混合高斯模型、支持向量机模型、人工神经网络、卷积神经网络模型及长短期记忆网络模型，并将各个模型进行结合，以对每一模型中语音处理模块1情感特征的语音情感倾向进行评分。

由于每种模型都有自己的优势和局限性，通过训练多个不同的模型发挥其各自优势，提高系统整体的准确性和鲁棒性。而且语音情感统计类特征对于说话人不相关具有更好的适应性，从而通过训练混合高斯模型或支持向量机模型并利用这些特征来分类，可提高系统的鲁棒性。

语音特征分析子模块12提取了通话语音的多种特征，从而能够根据情感模型集模块3的模型需求进行计算和选择，在训练卷积神经网络模型对包含丰富情感信息的语谱图进行特征抽取，结果输入到长短期记忆网络模型，能够对通话者的情感状态进行动态的捕获和跟踪。

情绪分类模块4用于根据语音关键词检测模块2及情感模型集模块3的数据信息，并采用分类模型，判断待检测的通话中语音的情绪类别，在本实施例中，分类模型可以是决策树、svm或神经网络等的任一种。

在本实施例中，情绪分类模块4根据语音关键词检测模块2及情感模型集模块3提供的不同模型数据采用投票法、评分法及组合法判断语音处理模块1获得语音的情绪类别；

投票法通过获取关键词提取子模块22及情感模型集模块3中每一模型的情绪分类结果，并统计当前语音被判定为某类情绪的模型个数，得票最多的情绪类别作为识别结果；

评分法通过获取关键词提取子模块22及情感模型集模块3中的评分数值，并将评分数值组成新的特征输入到经训练后的决策树、svm及神经网络分类模型中计算，输出情绪识别结果。

组合法将获取关键词提取子模块22及情感模型集模块3中评分数值与语音特征分析子模块12的语音特征数据进行组合成新的语音特征，并将新的语音特征通过决策树、svm及神经网络分类模型训练及分类计算，以获得情绪识别结果。

情绪分类模块4综合利用了各模型的优势，避免了单一模型的局限性，输出结果是某条语音属于具体的哪一种情绪类别，一般分为愤怒、正常、满意三类或更多类别等。

业务应用模块5包括客户信息显示子模块51、情绪显示子模块52、应答提示子模块53、考核数据子模块54及企业问题分析子模块55。

客户信息显示子模块51与产品销售记录平台通讯连接，客户信息显示子模块51用于根据客户的电话号码在产品销售记录平台显示客户的购买信息。通过客户信息显示子模块51中使客户电话与所销售的产品进行关联，使得客服人员能够了解到客户所购买的产品，从而掌握客户的信息，有利于通话的进行。

情绪显示子模块52用于接收关键词提取子模块22及情绪分类模块3的数据信息，并实时显示当前通话中客户的情绪倾向及情绪关键词。在情绪显示子模块52中，客服人员能够通过直接观察客户情绪信息，及时掌握客户的实时情绪，从而有利于客服人员与客户的沟通，增加沟通的有效性。

应答提示子模块53包括应答方案数据库531及应答提示框532，应答方案数据库531用于存储产品相关信息、应对不同情绪类型处理方案、应答术语及问题处理流程的数据信息。应答提示框532用于通过机器学习算法结合关键词提取子模块22、情绪分类模块3及应答方案数据库531数据，自动生成应答方案并显示。应答方案数据库531的应答方案能够通过机器学习模型及深度学习模型进行建立，从而能够根据产品的更新换代，采用样本数据进行训练，从而进行数据库的更新。

考核数据子模块54用于根据情绪分类模块4的数据对客服服务质量的考核。在本实施例中，考核数据子模块54用于通过获取情绪分类模块4的数据，并分析计算每名客服人员在一定时期内所有通话情绪的情况，考核数据子模块54还能够根据通话情绪的情况自动生成统计表格及统计图形。考核数据子模块54能够按照每种情绪类型的占比对客服人员进行考核，避免了传统考核的误差性，能够有效地提高客服人员的素质。统计表格及统计图形的作用下，能够便于管理人员直观地了解到客服人员的服务质量，从而制定合适的管理制度。

企业问题分析子模块55用于根据语音关键词检测模块2的数据对产品情况的分析。在本实施例中，企业问题分析子模块55用于获取语音关键词提取子模块22中的主题类关键词，并通过分析计算关键词提取子模块22中的主题类关键词，以收集及统计客户所反映的关键问题。企业问题分析子模块55能够根据关键词提取子模块22，统计出每种产品所出现问题的频次，从而能够使管理人员获知企业产品的经营状况，便于及时发现问题并有针对性地优化产品。

数据库模块6用于语音关键词检测模块2、情感模型集模块3、情绪分类模块4及业务应用模块5数据的存储及发送。

在本实施例中，数据库模块6用websocket建立数据存储端与web端之间的连接通道，为语音关键词检测模块2、情绪分类模块4及业务应用模块5之间的数据传输提供即时数据服务。应答方案数据库531可以寄存在数据库模块6中，通过分布式存储方式能够存储各类数据，提供快速查询响应，存储的数据主题可包括通话情绪识别、客户通话记录、关键词主题、标准应答方案等。

在本实施例中，业务模块5通过搜索计算引擎获得对应的数据信息，搜索计算引擎由多源异构数据访问组件、元数据管理及访问模块提供数据访问支撑。搜索计算引擎能够对数据进行查询、分类、聚集、描述和可视化操作，支持业务决策，使得客户信息显示子模块51、情绪显示子模块52及应答提示子模块53所需要的数据能够更有效率地从数据库模块6调取。

业务模块可以在web端建立，通过在web端接入搜索计算引擎的结果，提供不同数据的展示要求，使考核数据子模块54及企业问题分析子模块55调用数据库模块6的数据内容实现数据的表格、曲线图、分布图、饼图等图形化的数据展示方式，让数据更直观，更有利于决策。

当语音处理模块1接收到客户的语音时，语音特征分析子模块12将语音提取子模块11获得的语音内容进行处理，并获取该端语音的的音律、音质及频谱特征。

关键词提取子模块22检测该段语音中是否含有情感权重数据库21中指定的关键词，关键词提取子模块22将获取关键词信息识别为识别情感类关键词和主题类关键词，同时根据感情倾向分别为情感类关键词，将权值与情感类关键词频次结合分析并对语音的每种情绪进行评分。

情感模型集模块3用于储存多个不同的情感分类模型集，并接收语音处理模块1的数据信息，以对通话者的情感状态进行动态的捕获及跟踪，并将各个模型进行结合，以对每一模型中语音处理模块1情感特征的语音情感倾向进行评分。

情绪分类模块4根据关键词提取子模块22及情感模型集模块3提供的不同模型数据采用投票法、评分法及组合法判断语音处理模块1获得语音的情绪类别。

语音处理模块1、语音关键词检测子模块2、情感模型集模块3及情绪分类模块4数据内容储存到数据库模块6中，而业务模块5能够在通话过程中，系统将客户号码、实时识别的客户情绪、通话关键字等信息输入到搜索计算引擎，搜索计算引擎从数据存储系统中自动匹配出最优应答方案，将相关信息推送到web端上展示给客服人员，使得客服人员能够从客户信息显示子模块51、情绪显示子模块52及应答提示子模块53获取相关的业务信息，使得客服人员能够与客户进行有效的沟通。

管理人员通过在考核数据子模块54及企业问题分析子模块55中绩效考核、问题分析等应用时，搜索计算引擎根据查询需求，从数据存储系统中查询出相关数据，经过统计分析计算后将结果推送到web端上展示，从而对客服人员及产品质量进行管理。