一种基于语音分析的智能电话客服系统的制作方法

一种基于语音分析的智能电话客服系统的制作方法
【专利摘要】本发明提供一种基于语音分析的智能电话客服系统，首先对客户拨打人工客服的对话语音进行实时记录和有效性检测；然后对客户相关的个人信息进行提取，与所述的对话语音中的客户语音进行声纹识别，进行验证并作为该次咨询投诉的客户身份并记录；同时对所述的对话语音进行语音内容识别，保存为文字记录，对所述文字记录进行文本舆情分析；并对所述的对话语音进行语音的情感分析，记录语音情感数据；结合所述的文本舆情分析结果和情感数据分析该次咨询投诉的效果；并结合所述的分析结果和传统打分评价得出客服的最终评分，进行反馈考核。相较于传统的客服系统，本发明的智能客服系统能达到有效提高客户的服务质量，实现客服评价的客观化管理的目的。
【专利说明】—种基于语音分析的智能电话客服系统
【技术领域】
[0001]本发明涉及售前及售后的客服服务领域，尤其涉及一种基于语音分析的智能电话客服系统。
【背景技术】
[0002]随着网络、通讯、计算机技术的发展，企业呈现出电子化、远程化、虚拟化、网络化的特点，更多的线上企业大量涌现。而客户与企业之间的通信与对话，也由面对面的咨询、交涉发展到基于网络、电话等远程手段的交流和沟通。在此背景下，基于电话的客服中心(呼叫中心)成为企业与用户交互的一个重要途径。客服中心每天都面对着大量的电话语音服务，处理客户多样化的服务需求，包括售前咨询、购买、售后、投诉等。在电话服务的过程中，客服需要应对不同情绪的服务对象，并作出合适的反应。可以说，客服中心是企业的形象代言，客服中心的服务质量直接影响用户对企业的忠臣度。因此通过提高客服的服务质量来提升客户满意度，忠臣度已成为企业的重要公关方向。此外，通过精准性客户需求解决方案，来提升客户服务效率；以及通过合理地管理客户服务团队，准确评估雇员的服务质量等，都已成为客服中心需要不断探讨、摸索和研究的方向。
[0003]声音是携带信息的极其重要的媒体，更是人与人交流的一种重要途径。人的声音中不仅包含了语言内容信息，说话人个体的信息，也传递了感情和情绪等信息。
[0004]语音识别就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别的目的是识别出说话人所说的内容，即语音信号中的语言信息、字词意思，而不考虑说话人是谁。因此，语音识别强调的是所说的内容，说话人所发语言的共性特征，而淡化说话人的音色音质等特色因素。利用语音识别可以有效地记录通话中的谈话内容，通过将语音转化为文本，可以采用数据挖掘等有效的文本分析技术，获取产品、用户和客服等多方面的信息。
[0005]声纹识别是利用包含在说话人语音波形中特有的个体信息，根据说话人所发的语音，自动识别说话人身份的过程。声纹人识别所依赖的个体信息，既包含了人的生理特征，即先天的解剖学上的差异；又包含了人的行为特征，即后天的发音习惯的不同。利用声纹识别准确判别用户身份为精准化营销，针对有效客户沟通提供了依据。
[0006]基于语音的情感识别针对语音信号中的情感信息处理、分析、识别。研究表明人类情感所引起的生理上的变化会对发声机理带来直接的影响，因此人类的情感变化能够通过语音中提取的情感特征参数来反映。同样一句话往往会由于说话人的情感不同，其意思和给听者的印象就会不同，所谓"听话听音"就是这个道理。电话语音信号中的情感信息是语音服务质量的一个重要标志，直接决定了客户满意度。挖掘、识别和管理语音中的情感信息，可以为用户提供更好的服务质量，从而提高客户满意度。
[0007]因此利用现代语音处理技术，来构建智能的客服系统是业内相关技术人员亟待解决的一项课题。
【发明内容】

[0008]针对现有技术无法客观评价客服质量，达到高标准的客户满意度，本发明所要解决的技术问题是提供了一种基于语音的智能电话客服系统，通过现有的语音分析技术，包括声纹识别、语音识别和基于语音的情感识别，有效分析通话服务质量，提高客户的服务质量，提升客户满意度，提升客户服务效率。
[0009]本发明解决其技术问题所采用的技术方案:首先对客户拨打人工客服的对话语音进行实时记录和有效性检测；然后对客户相关的个人信息进行提取，与所述的对话语音中的客户语音进行声纹识别，进行验证并作为该次咨询投诉的客户身份并记录；同时对所述的对话语音进行语音内容识别，保存为文字记录，对所述文字记录进行文本舆情分析；并对所述的对话语音进行语音的情感分析，记录语音情感数据；结合所述的文本舆情分析结果和情感数据分析该次咨询投诉的效果；并结合所述的分析结果和客户对客服进行传统打分评价得出客服的最终评分，进行反馈考核。
[0010]本发明解决其技术问题所采用的技术方案还可以进一步完善。所述的语音有效性检测为通过端点检测技术，标注出语音的起止时间。所述的声纹识别为检测用户是否是首次来电，是的话，则为用户建立声纹模板；否的话，则用用户个人信息对应的声纹模板与该电话音进行比对，判别用户身份。所述的语音内容识别为通过连续语音识别技术，通过声学模型、语言模型和词典，将语音转化为文字。所述的文本舆情分析为通过数据挖据技术，分析用户对产品的喜好和满意度、产品问题、客服服务有效性、用户及客户情绪、用户满意度
坐寸O
[0011]本发明有益的效果是:根据客服服务中的语音中的个人信息，语言内容信息和情感信息，通过现代的语音分析技术，获取客户身份，摘录通话内容，记录用户及客户情感波动规律。通过鉴别用户身份，以精准化营销，获取针对个体有效沟通手段；通过语音到文本的转换，为有效挖掘产品信息、客户服务有效性和客服满意度提供了依据；通过分析语音情感信息，可以进一步分析客户情绪变化的原因，统计影响客户情绪的常见问题并进行归类，可以找到最佳客户解决方法，同时培训员工更好处理这类问题，考核员工处理客户情绪变化的能力等，实现客服评价的客观化管理，有效激励了客服服务。
【专利附图】

【附图说明】
[0012]图1是本发明的基于语音分析的智能电话客服系统的系统框架图。
【具体实施方式】
[0013]下面结合附图和实施例对本发明作进一步介绍:本发明的方法共分七个模块。
[0014]第一部分:语音端点检测
基于客户和客服的双通道语音可以方便地将客户语音和客服语音区分开，但因此也需要获取每一段语音的的起止时间，用于之后的语音分析。利用语音端点检测技术可以分辨出语音信号和非语音信号，去除无效的语音片段和噪音，确定每个语音片的开始及结束。对于后续语音分析来讲，端点检测为提高语音分析的准确度，降低了计算复杂性提供了帮助。端点检测包括以下几个步骤:
A)音频预处理:分为采样量化，去零漂，预加重和加窗四个步骤； B)特征提取:指选取可以反映语音和噪声差别的特征参数，如短时能量和短时过零率
等;
C)端点检出:基于一种判决准则，来区分语音帧与非语音帧。一般采用门限判决或模式分类的方法；
D)后处理:对上述判决结果进行平滑滤波等处理，得到最终的语音端点判决结果，并根据起止帧号反推出语音片段的起止时间。
[0015]第二部分:声纹识别
声纹识别主要由两个阶段组成，一个是用户向系统注册身份的训练阶段，一个是系统对用户进行识别的验证阶段。训练时，系统需要用户提供一定时长的训练语音，系统对这些语音提取相应的特征，并为每一位用户建立语音模板或模型参数。识别时，系统将待验证的说话人的语音进行特征提取，然后与系统训练时产生的模板或模型参数进行比较。在说话人确认的应用场景中，将测试语音与所声称的说话人的模型进行比较，若匹配距离小于一个设定的阈值，则该说话人得到确认，否则，系统认为该说话人并非他所对应的那个身份。当用户首次来电时，系统为用户建立语音模板；当用户再次来电时，根据来电的号码，用户所述的订单号，会员号，收货信息等找到该用户多对应的语音模板，与用户本次来电语音进行匹配，判断用户身份。
[0016]声纹识别系统包括特征提取、模型训练、模式匹配、以及逻辑判决四个步骤:
A)特征提取:是指从获取的数字信号中提取和选择表征语音信号的特征。它从大量的，原始的数字信号中提取简化的，具有代表性的信息来表征该语音。测试音和训练音只有进行语音特征提取后才能进行后续处理。相对原始数字信号层上的处理，在语音特征上的处理更为快速、有效；
B)模型训练:采用机器学习或者模式识别的方法建立说话人模型的过程。说话人模型可以是基于生成型(Generative)的模型,如矢量量化模型(VQ-Vector Quantization)和高斯混合模型(GMM-Gaussian Mixture Model)等，或者是区分型(Discriminative)模型，如支持向量机(Support Vector Machine)。目前主流的模型一般指:GMM_UBM模型,GMM-SVM模型，及1-vector-plad同时说话人模型既可以是单一的模型也可以是多种模型的混合体。不论采用什么样的模型来刻画说话人，模型训练步骤旨在根据从语音中提取的特征来完成模型的参数估计和优化；
C)模式匹配:在识别过程中，需要将测试音的特征与说话人模型进行匹配，计算匹配距离。在说话人确认的应用场景中，测试音的特征只需与所声称的说话人的模型进行匹配，计算匹配距离；
D)逻辑判决:根据匹配距离的计算结果，判决说话人是否是所对应的说话人。
[0017]除此之外，为提高系统适应说话人特征的长时间变动情况，有些系统设有模型参数自适应这一步骤。系统将用户验证时的语音不断的加入该用户的模型中，根据说话人识别的结果对得到正确识别的说话人的模型参数进行实时修正。
[0018]第三部分:语音识别
语音识别系统的目标是通过给定的语音波形产生相应的词序列(在汉语普通话识别系统输出的是字序列)，系统主要模块包括:
A)说话人特征提取:将语音信号转化为声学特征矢量的特征流，作为语音信号的简洁表示。这种表示通常被称作观察值。观察值的提取方法一方面要保证包含足够的信息用来识别，另一方面足够简介保证识别的效率；
B)构建词典:词典通常称为字典(dictionary)，在大词汇连续语音识别中将词转化为可以用的声学模型子词单元；
C)语言模型搭建:人们听语音时，并不把语音和语言的语法结构。语义结构分开来，因为当语音发音模糊时人们可以用这些知识来指导对语言的理解过程。语言模型表示了局部的语法/语言信息，包括了词序列的可能性信息。本系统拟采用N-Gram来构建语言模型；
D)声学模型搭建:将声学观察值映射为字词单元。拟采用音子(phone)作为建模的基本单元，为了捕捉语音中的协同发音的影响，利用隐马尔可夫模型(HMM)构建声学模型；
E)语音识别:搜索识别的主要任务是如何把音长不定的语音观察序列按某种“最好的”原则与模型对齐并计算匹配得分，本项目采用帧同步Viterbi解码搜索过程。在进行关键词识别时利用帧同步算法，使得匹配在输入语音的每一帧处进行，从而产生以每一帧为起始帧、最佳匹配序列的终结帧为结束帧的最大似然候选词；
F)识别结果后处理:识别结果中会包含许多虚报的关键词，即识别错误，如何消除这些识别错误，显然需要一个后处理方法，传统的后处理方法是在这个模块引入语言模型和知识，进行句法语法分析，来达到提高识别结果的目的。
[0019]第四部分:文本挖据及舆情分析
将第三部分语音识别的结果保存成文字，在文本中挖据产品信息、客户偏好、客户情绪、人工客服对所述问题的回答情况与有效性、客户满意度等。文本挖掘首先需要对中文进行分词，然后对需要挖掘的内容建立标签以及语音网络，抽取评价词，完成挖掘任务。
[0020]第五部分:情感识别管理
情感是人对客观存在关系的事物能否产生符合自身需求的一种态度体验，是态度的一种表现。本模块对语音中的情感特征进行分析，分析客户及客服的情绪，获取客户及客服的情绪变化曲线。系统主要步骤包括:
A)特征参数的提取和选择分析:提取语音中能够表达情感的特征参数，如基音频率、共振峰、振幅能量和Mel尺度倒谱参数(MFCC)等信号分析的技术参数；
B)情感建模:采用机器学习或者模式识别的方法建立情感模型的过程。说话人模型可以是基于生成型(Generative)的模型,如矢量量化模型(VQ-Vector Quantization)和高斯混合模型(GMM-Gaussian Mixture Model)等，或者是区分型(Discriminative)模型，如支持向量机(Support Vector Machine)；
O情感检测:在检测过程中，需要将测试音的特征与各个情感模型进行匹配，计算匹配距离。选择匹配度最高的模型，即为测试语音的情感；
D)情感曲线绘制:跟踪描述用户及客服情感的变化规律。
[0021]第六部分:服务满意度管理
分别建立基于文本分析的客户满意度和基于语音的客户满意度模型，分别将文本内容和语音对照各自的模型进行评分，在决策层上进行融合，得到服务满意度。
[0022]第七部分:客服评价管理
在传统的电话客服系统中在服务结束时要求客户对本次服务进行评价，然而很多客户不愿意进行评价，导致评价信息缺失。根据第六部分，通过对通话内容，用户情绪分析，可以自动地得到服务满意度。综合服务满意度，第四部分中客服回答问题的有效性，以及传统的用户评价得分，得到准确的客服评价指标。把客服的评价得分再反馈给客服，以提升客服服务质量，起到再监督的作用。
[0023] 上文中，参照附图描述了本发明的【具体实施方式】。但是本领域的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的【具体实施方式】作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。
【权利要求】
1.一种基于语音分析的智能电话客服系统，其特征在于:包含如下步骤: 1)对客户拨打人工客服的对话语音进行实时记录； 2)对客户相关的个人信息进行提取，与所述的对话语音中的客户语音进行声纹识别，进行验证并作为该次咨询投诉的客户身份并记录； 3)对所述的对话语音进行语音内容识别，保存为文字记录，对所述文字记录进行文本舆情分析，用于产品管理和客服管理； 4)对所述的对话语音进行语音的情感分析，记录语音情感数据； 5)结合所述的文本舆情分析结果和情感数据分析该次咨询投诉的效果； 6)客户对客服进行传统打分评价，并结合所述的分析结果对客服进行评分，进行反馈考核。
2.根据权利要求1所述的基于语音分析的智能电话客服系统，其特征在于:所述的对话语音为所述客户语音和所述人工客服语音组成的双通道对话语音文件，一个通道为所述客户语音所在通道，另一个通道为所述人工客服语音所在通道。
3.根据权利要求1所述的基于语音分析的智能电话客服系统，其特征在于:所述的语音分析包括声音识别、语音识别和基于语音的情感识别。
4.根据权利要求1所 述的基于语音分析的智能电话客服系统，其特征在于:所述的系统智能性在于: 1)根据用户声纹信息判别用户身份，保障用户账户安全； 2)利用语音识别记录通话内容，该记录可用于数据挖掘，进行产品分析，用户分析以及客服分析； 3)基于语音分析用户来电过程中的情绪变化； 4)根据用户情绪，语音识别后的文本舆情分析真实的客服满意度来评定客服工作。
5.根据权利要求1所述的基于语音分析的智能电话客服系统，其特征在于:所述的声纹识别是将电话音中客户的声音与客户个人信息所对应的客户声纹模型进行比对，判别客户身份，即进行的是声纹的确认；客户个人信息包括来电的号码，用户所述的订单号，会员号，收货信息等；如果客户首次来电，所述的客户个人信息所对应的声纹模型不存在，则建立相应的声纹模型。
6.根据权利要求1所述的基于语音分析的智能电话客服系统，其特征在于，所述的语音识别对双通道各自进行端点检测，确定客服和用户各自的说话内容，并以文字信息进行记录；其文字记录标注每一个记录的说话人是客户或是客服，并标注每一个记录的说话时间；一次通话由多个记录组成，并保存在一个文件内。
7.根据权利要求1所述的基于语音分析的智能电话客服系统，其特征在于，所述的文本舆情分析包括: O分析所述客户所反应问题的类型，包括:购买、投诉、咨询、退换货、建议、表扬等； 2)分析所述客户所反应产品的问题； 3)分析所述人工客服对所述问题的回答情况与有效性； 4)用户陈述问题的情绪变化； 5)客服回答问题的情绪变化； 6)分析对所述问题的解决结果，以及客户的满意情况。
8.根据权利要求1所述的基于语音分析的智能电话客服系统，其特征在于:所述的语音的情感分析包括:客户在对话过程中的情感变化，客服在对话过程的情感变化。
9.根据权利要求1所述的基于语音分析的智能电话客服系统，其特征在于:所述的通话满意度管理，结合权利要求7所述方法的结果和权利要求8所述情感语音分析的结果，分析客户的问题是否得到满意的解决。
10.根据权利要求1所述的基于语音分析的智能电话客服系统，其特征在于:所述的客服考核管理，是指结合客户对客服的评分和通过权利要求9所述的方法得出的结果，对所述人工客服进行评分 考核。
【文档编号】G10L17/04GK103811009SQ201410093068
【公开日】2014年5月21日 申请日期:2014年3月13日 优先权日:2014年3月13日
【发明者】李冬冬, 王喆, 潘秀清, 过弋 申请人:华东理工大学