语音客服质检系统及客服质检设备的制作方法

本发明实施例涉及语音处理技术领域，尤其涉及语音客服质检系统及客服质检设备。

背景技术：

为提升客户服务满意度，通常会有专门的客服人员与客户交互，进行售前、售中或售后服务，如提供咨询服务、产品的质量保修服务、产品的使用反馈等。目前，根据与客户沟通媒介的不同，客服可以分为两类：一种是文字客服，一种是语音客服。文字客服是指主要以打字聊天的形式进行的客户服务。语音客服主要包括以电话或在线语音的形式进行的客户服务。

为了保证客服的服务质量，传统上通常通过人工抽检的方式进行质检，但这会消耗巨大的人力物力及时间。

随着技术的发展，目前，对于语音客服，采用语音情绪识别的方式来检查语音客服的服务态度是否友好。

然而，可能有些服务质量实际不能令客户满意，但采用上述语音情绪识别的质检方式却难以检出。

技术实现要素：

本发明实施例要解决的技术问题是如何提高语音客服质检的质量。

本发明实施例提供了一种语音客服质检系统，包括：获取单元，适于获取待质检的音频交互文件；语音情绪识别单元，适于对所述音频交互文件进行情绪识别，识别出客服的语音特征中传达出的语音情绪类型；语音转写单元，适于将所述音频交互文件转写为文本文件；语义情绪识别单元，适于对转写后的文本文件进行语义识别，识别出文本文件内容中传达的所述客服的语义情绪类型；第一判断单元，适于结合识别出的所述客服的语音情绪类型和语义情绪类型，确定所述客服的服务质量，得到对所述客服的第一质检结果；输出单元，适于输出对所述客服的质检结果。

可选地，所述的语音客服质检系统还包括：情绪变化趋势识别单元，适于识别客户在会话过程中情绪变化趋势；第二判断单元，适于根据识别出的客户在会话过程中的情绪变化趋势，确定对应客服的服务质量，得到第二质检结果。

可选地，所述的语音客服质检系统还包括：加权运算单元，适于在所述输出单元输出质检结果前将所述第一质检结果和第二质检结果按照预设的权重进行加权运算，得到对所述客服的质检结果。

可选地，所述情绪变化趋势识别单元，包括：第一情绪识别子单元，适于识别客户在会话过程中的每一次对话中语音特征中传达出的语音情绪类型；第一趋势识别子单元，适于根据识别出的客户在会话过程中的每一次对话中的语音特征中传达出的语音情绪类型，确定所述客户在所述会话中的语音情绪变化趋势。

可选地，所述情绪变化趋势识别单元，包括：第二情绪识别子单元，适于识别在会话过程中的每一次对话的文本文件内容传达出的客户的语音情绪类型；第二趋势识别子单元，适于根据识别出的在会话过程中每一次对话的文本文件内容传达出的客户的情绪类型，确定所述客户在所述会话过程中的语音情绪变化趋势。

可选地，所述情绪变化趋势识别单元，包括：第三情绪识别子单元，适于识别会话过程中每一次对话中客户的语音特征中传达出的语音情绪类型；第四情绪识别子单元，适于识别所述会话过程中每次对话对应的文本文件内容中传达的客户的语义情绪类型；第三趋势识别子单元，适于结合在会话过程中客户的语音情绪类型的变化和语义情绪类型的变化，识别出所述客户在会话过程中的情绪变化趋势。

可选地，所述第一判断单元适于在识别出的所述客服的语音情绪类型和语义情绪类型中任意一项为负面情绪时，确定所述客服为负面情绪。

可选地，所述第一判断单元适于结合识别出的所述客服的语音情绪类型对应的负面情绪等级和语义情绪类型对应的负面情绪等级，确定所述客服的负面情绪等级。

可选地，所述的语音客服质检系统还包括：预警单元，适于当实时监测到的所述客服的语音情绪类型对应的负面情绪等级和语义情绪类型对应的负面情绪等级均达至预设强度时，向所述客服的上级管理者对应的设备发出预警信息。

可选地，所述的语音客服质检系统还包括：服务建议生成单元，适于根据质检结果生成所述客服对应的服务改进建议。

本发明实施例还提供了一种客服质检设备，所述客服质检设备包括上述任一种语音客服质检系统。

采用本发明实施例的语音客服质检系统，一方面，通过语音情绪识别，识别出客服的语音特征中传达出的语音情绪类型，另一方面，通过对转写后的文本进行语义识别，识别出文本文件内容中传达的客服的语义情绪类型，并结合识别所述客服的语音情绪类型和语义情绪类型，确定所述客服的服务质量。由于在上述质检过程中兼顾了语音和语义两个方面所传达出的客服的情绪特征，因而可以更加全面地检查出客服的服务质量，避免漏检和误检，从而可以提高语音客服质检的质量。

进一步地，通过识别客户在会话过程中的情绪变化趋势，并根据识别出的客户在会话过程中的情绪变化趋势，确定对应客服的服务质量，得到第二质检结果。由于客户在会话过程中的情绪变化趋势可以更加准确地反映出客服对客户情绪的影响，故可以反映出客服的服务质量，因而将所述第二质检结果作为质检结果的一部分可以使得质检结果更加准确全面，故可以进一步提高语音客服质检的质量。

进一步地，将所述第一质检结果和所述第二质检结果按照预设的权重进行加权运算，得到对所述客服的质检结果，通过分配合理的权重，可以使质检结果更加准确地反映所述客服的服务质量，从而可以使质检结果更加准确。

进一步地，通过识别客户在会话过程中的语音情绪变化趋势，可以比较真实地反映出客户的情绪变化，进而可以比较准确地认定客服在整个会话过程中对客户情绪的影响，因而可以使质检结果更加客观、全面。

进一步地，通过识别客户在会话过程中的语义情绪变化趋势，可以比较真实地反映出客户的情绪变化，进而可以比较准确地认定客服在整个会话过程中对客户情绪的影响，因而可以使质检结果更加客观、全面。

进一步地，通过识别客户在会话过程中语音情绪变化趋势和语义情绪变化趋势，可以真实而全面地反映客户在整个会话过程中的情绪变化，故而可以更加准确地认定客服在整个会话过程中对客户情绪的影响，故而可以使质检结果更加客观、全面而准确。

进一步地，当识别出所述客服的语音情绪类型和语义情绪类型中任意一项为负面情绪时，就确定所述客服为负面情绪，可以避免漏检，从而可以提高质检质量。

进一步地，当实时监测到所述客服的语音情绪类型对应的负面情绪等级和语义情绪类型对应的负面情绪等级均达至预设强度时，向所述客服的上级管理者对应的设备发出预警信息，方便上级管理者尽早发现服务异常并及时干预，避免事态进一步严重扩展。

进一步地，根据质检结果生成所述客服对应的服务改进建议，由于质检结果更加准确全面而客观，客服可以根据服务改进建议对服务质量进行有针对性的优化，可以切实地改善服务质量，故提高客服服务改进的效率和效果。

附图说明

图1示出了本发明实施例中一种语音客服质检系统的结构示意图；

图2示出了本发明实施例中另一种语音客服质检系统的结构示意图。

具体实施方式

如前所述，目前对于语音客服，采用语音情绪识别的方式进行质检。然而，有些服务质量可能实际上并不能令客户满意，但采用语音情绪识别的方式却难以检出。

为解决上述问题，本发明实施例所采用的语音客服质检系统一方面通过语音情绪识别，识别出客服的语音特征中传达出的语音情绪类型，另一方面，通过对转写后的文本进行语义识别，识别出文本文件内容中传达的客服的语义情绪类型，并结合识别所述客服的语音情绪类型和语义情绪类型，确定所述客服的服务质量。在这一质检过程中兼顾语音和语义两个方面所传达出的客服的情绪特征，避免漏检和误检，从而可以提高语音客服质检的质量。

为使本领域技术人员更好地理解和实现本发明实施例，以下参照附图、通过具体实施例进行详细说明。

如图1所示，本发明实施例提供了一种语音客服质检系统10，包括：获取单元11、语音情绪识别单元12、语音转写单元13、语义情绪识别单元14、第一判断单元15、输出单元16，其中：

获取单元11，适于获取待质检的音频交互文件；

语音情绪识别单元12，适于对所述音频交互文件进行情绪识别，识别出客服的语音特征中传达出的语音情绪类型；

语音转写单元13，适于将所述音频交互文件转写为文本文件；

语义情绪识别单元14，适于对转写后的文本文件进行语义识别，识别出文本文件内容中传达的所述客服的语义情绪类型；

第一判断单元15，适于结合识别出的所述客服的语音情绪类型和语义情绪类型，确定所述客服的服务质量，得到对所述客服的第一质检结果；

输出单元16，适于输出对所述客服的质检结果。

采用上述语音客服质检系统，由于在上述质检过程中兼顾了语音和语义两个方面所传达出的客服的情绪特征，因而可以更加全面地检查出客服的服务质量，避免漏检和误检，从而可以提高语音客服质检的质量。

在具体实施中，获取单元11可以在线实时获取待质检的音频交互文件，也可以离线获取待质检的音频交互文件。并且，可以采用随机抽检的方式获取待质检的音频交互文件，也可以对所有客服或者某一客服的所有服务记录进行质检。

研究表明，某种特定的情感状态所引起的语音参数变化在不同的人之间是大致相同的，仅有微小差别。因而，情绪的变化能够通过语音特征参数来反映。

在具体实施中，所述语音情绪识别单元12可以从所述音频交互文件中提取出所述客服的语音特征参数，并基于提取出的所述客服的语音特征参数确定所述客服的语音特征中传达的语音情绪类型。

在具体实施中，可以根据需要选择相应的语音特征参数，或者为了更加准确全面地选择多个维度的语音特征参数。

在本发明实施例中，所述语音特征参数包括以下至少一种：基频、能量、语速、共振峰频率、单个音节的持续时间、音节之间的停顿时间、线性预测系数、mel倒谱系数。

在具体实施中，语音情绪类型根据不同的情绪模型可以分为不同的类型。例如，可分为四种基本情绪类型：愤怒、高兴、悲伤、惊奇。也可分为八种基本情绪类型：恐惧、惊奇、悲伤、厌恶、愤怒、期望、高兴、接受。也可以简单地分为正面情绪和负面情绪两种情绪类型。

在具体实施中，语音转写单元13可以基于预设的语言模型将所述音频交互文件转写为文本文件。在本发明一实施例中，基于深度全序列卷积神经网络，将所述音频交互文件转换为文本文件。在本发明另一实施例中，基于隐尔马可夫模型，将所述音频交互文件转换为文本文件。

为提高转写效果，在采用预设的语言模型进行转写前，可以先对所采用的语言模型进行训练。具体而言，可以先采用预设的语言模型对一小部分音频交互文件进行转写，并对转写结果进行人工修正，修正正确后，对语言模型进行训练。之后，再采用训练后的语言模型对另一部分音频交互文件进行转写，并进行人工修正，人工修改后再对所述语言模型进行训练，直至所述语言模型的准确率达至预设的转写效果。例如，准确率达至90％以上。

在具体实施中，语义情绪识别单元14可以将所述转写后的文本文件与预设的负面情绪文本数据库进行匹配，根据匹配结果确定所述客服的语义情绪类型。

在具体实施中，所述负面情绪文本数据库包括以下至少一种类型的条目：负面情绪关键词、负面情绪语句。

在具体实施中，所述负面情绪文本库中的条目可以通过训练得到，也可以考虑不同行业不同领域的具体特点设置。负面情绪关键词举例如下：“破”、“骗子”、“无耻”、“投诉”、“怎么搞的”、“没用”、“不方便”、“乱答”、“糟糕”、“失望”、“垃圾”、“差”、“不爽”、“废物”、“烂”、“不好”、“乱七八糟”、“这么久”、“搞什么鬼”、“无语”、“醉了”、“气死”、“有毛病”、“不对”、“没人”等等。或者为一些脏话。为了更准确反映上述负面情绪关键词的含义，所述负面情绪文本库中的条目中可以设置对应的例句。例如，对于关键词“骗子”，设置对应的例句“骗子公司”。

在具体实施中，为进行更精细地确定情绪状态，进行量化评价，可以为各种情绪类型设置相应的情绪等级。例如，可以为所述语音情绪类型和语义情绪类型设置相应的情绪等级。所述负面情绪文本库中的条目也设置有对应的负面情绪等级，例如通过敏感度高、中、低，或者通过量化的数字进行区分。例如上述负面情绪关键词的敏感度优先级中的“不对”和“没人”可以设置为低敏感度，其他负面情绪关键词及脏话可以设置为高敏感度。

在具体实施中，在语义情绪识别过程中可以设置多个维度评价客服的负面情绪等级。例如从攻击性、侮辱性、敏感度等；或者从语义情绪的强烈程度上进行设置：如消极情绪的强烈程度小于愤怒情绪。或者结合情绪的强烈性及语义的伤害程度进行判断。语义的伤害程度可以从如攻击性、侮辱性、敏感性等其中一个或多个的严重程度进行判断。

在具体实施中，所述第一判断单元15适于在识别出的所述客服的语音情绪类型和语义情绪类型中任意一项为负面情绪时，确定所述客服为负面情绪。

在具体实施中，所述第一判断单元15适于结合识别出的所述客服的语音情绪类型对应的负面情绪等级和语义情绪类型对应的负面情绪等级，确定所述客服的负面情绪等级。

在具体实施中，可以将情绪类型简单分为正面情绪、负面情绪，中性情绪。当识别出的所述客服的语音情绪类型和语义情绪类型中任意一项为负面情绪时，则确定所述客服为负面情绪，可以避免漏检。

例如，可能客服用非常甜美的声音对客户说：“你怎么这么傻啊”，若仅通过语音情绪识别，则查不出所述客服客户的负面情绪，而通过语义识别，将其与预设的负面情绪文本库中的条目进行匹配，则可以识别出文本内容中表达的负面情绪，因而可以避免漏检。

在具体应用中，也可能出现客服用很不友好的语气说出中性或具有友好含义的话语，若仅通过语义识别，也可能漏检。故结合语音情绪识别和语义情绪识别，可以比较全面地识别出客服的真实情绪。

在具体实施中，还可以结合识别出的所述客服的语音情绪类型对应的负面情绪等级和语义情绪类型对应的负面情绪等级，确定所述客服的负面情绪等级。

在具体实施中，输出单元16所输出的质检结果可以为合格或不合格等相对粗略的判断，也可以给出所述客服整体占主要的情绪类型，或者输出所述客服的情绪画像，以更加客观地反映所述客服的整体服务态度。其中，所述用户画像，根据各种情绪类型所占比重输出相应的图示。

在具体实施中，参照图1，语音客服质检系统10还可包括：预警单元17，适于当实时监测到的所述客服的语音情绪类型对应的负面情绪等级和语义情绪类型对应的负面情绪等级均达至预设强度时，向所述客服的上级管理者对应的设备发出预警信息。

在具体实施中，可以实时检测所述客服的语音情绪类型对应的负面情绪等级和语义情绪类型对应的负面情绪等级，当所述客服的语音情绪类型对应的负面情绪等级和语义情绪类型对应的负面情绪等级均达至预设强度时，向所述客服的上级管理者对应的设备发出预警信息。例如可以从语义的攻击性、侮辱性、敏感性等维度判断客服的情绪强烈程度，可以从语音的情绪类型如消极、愤怒等情绪类型判断情绪强烈程度。

通过发出预警至上级管理者，方便管理者尽快发现和及时干预，以免事态进一步严重扩展。

以下通过一个具体的应用场景进行说明。

客户：我最近都没打电话，也用的是家里和公司的网络，你们怎么乱扣费？

客服：根据系统显示，先生您主要的消费是在国外，所以费用比较贵，目前看下来有400元左右是国际流量漫游费。

客户：可是我并没有去国外啊！你们到底怎么回事？把你们领导找过来，我跟你说不清楚。

客服：非常抱歉，我们主管不负责处理这个事情。

客户：那莫名其妙扣我这么多钱，我要投诉你们，你这个傻瓜。

客服：(用非常气愤的语气)那你投诉好了，你才是个傻瓜，你全家都是。

在上述场景中，若通过实时检测，在检测到用非常气愤的语气客服说“那你投诉好了，你才是个傻瓜，你全家都是”时，从语音及语义上皆判定其情绪非常强烈，故立即向其主管发出预警，可以使主管及时干预，以尽早解决问题。

在本发明一实施例中，针对上述场景，可以设置的预警阈值相对较低，例如当实时检测到所述客服对客户说“非常抱歉，我们主管不负责处理这个事情”时即向其主管发出预警，使得主管可以有更早干预的可能性，避免事态继续恶化。

在本发明另一实施例中，通过实时检测客户的情绪变化趋势，当检测到客户的情绪变差到预设程度时，即向对应客服的上级主管发出预警，可以方便主管尽早发现及干预。例如，在上述场景中检测到客户说“可是我并没有去国外啊！你们到底怎么回事？把你们领导找过来，我跟你说不清楚”时，即向对应客服的主管发出预警，可能可以避免后续对话的发生。

可以理解的是，也可以同时实时检测客服和客户的情绪变化，当其中任一方的情绪强烈至预设强度时，即可发出预警。

在具体实施中，参照图1，语音客服质检系统还可包括：服务建议生成单元18，适于根据质检结果生成所述客服对应的服务改进建议。

例如，若质检结果为：整体判断很好，但其语速太快，可以给客服有针对性地提醒其放慢语速。

由于采用本发明实施例所得到的结果更加准确、全面和客观，因而客服可以根据服务改进型建议对服务质量进行有针对性的优化，从而可以切实地改善服务质量，提高客服服务改进的效率和效果。

在具体实施中，还可以对上述语音客服质检系统作进一步的扩展或优化，参照图2所示的语音客服质检系统20，与上述实施例的不同之处在于，语音客服质检系统20还可包括：情绪变化趋势识别单元21和第二判断单元22，其中：

情绪变化趋势识别单元21，适于识别客户在会话过程中情绪变化趋势；

第二判断单元22，适于根据识别出的客户在会话过程中的情绪变化趋势，确定对应客服的服务质量，得到第二质检结果。

在具体实施中，如图2所示，语音客服质检系统20还可包括：加权运算单元23，适于在所述输出单元输出质检结果前将所述第一质检结果和第二质检结果按照预设的权重进行加权运算，得到对所述客服的质检结果。

在本发明实施例中，所述预警单元17可以基于所述第一判断单元15的判断结果发出预警，也可以基于所述第二判断单元22的判断结果发出预警，或者基于所述加权运算单元23的处理结果发出预警，可以根据需要进行选择。

采用本发明实施例所述的系统，可以通过客户在会话过程中情绪类型对应的情绪等级的变化确定所述客户在会话过程中情绪变化趋势。通过识别客户在会话过程中的情绪变化趋势，可以比较真实地反映出客户的情绪变化，进而可以比较准确地认定客服在整个会话过程中对客户情绪的影响，因而可以使质检结果更加客观、全面。

例如，若客户在会话过程中的情绪变化趋势为从生气到平复，则确定对应客服的服务质量合格；若客户在会话过程中的情绪变化趋势为从生气到愉悦，则确定对应客服的服务质量为优秀；若客户在会话过程中情绪变化趋势为从生气到愤怒，则确定对应客服的服务质量为不合格；若客户在会话过程中的情绪变化趋势没有明显变化，则确定对应客服的服务质量合格。

可以理解的是，上述仅为示例说明，并不用于限定确定得到的对应客服的服务质量或第二质检结果的具体形式。在具体实施中，还可以通过量化数字的变化或曲线变化或其他形式进行呈现。

在具体实施中，可以通过多种方式识别客户在会话过程中的情绪变化趋势，以下通过几个具体实施例示例如下：

在本发明一实施例中，所述情绪变化趋势识别单元21，可以包括：第一情绪识别子单元(未示出)，适于识别客户在会话过程中的每一次对话中语音特征中传达出的语音情绪类型；以及第一趋势识别子单元(未示出)，适于根据识别出的客户在会话过程中的每一次对话中的语音特征中传达出的语音情绪类型，确定所述客户在所述会话中的语音情绪变化趋势。

在本发明另一实施例中，所述情绪变化趋势识别单元21，包括：第二情绪识别子单元(未示出)，适于识别在会话过程中的每一次对话的文本文件内容传达出的客户的语音情绪类型；第二趋势识别子单元(未示出)，适于根据识别出的在会话过程中每一次对话的文本文件内容传达出的客户的情绪类型，确定所述客户在所述会话过程中的语音情绪变化趋势。

在本发明又一实施例中，所述情绪变化趋势识别单元21，包括：第三情绪识别子单元(未示出)，适于识别会话过程中每一次对话中客户的语音特征中传达出的语音情绪类型；第四情绪识别子单元(未示出)，适于识别所述会话过程中每次对话对应的文本文件内容中传达的客户的语义情绪类型；第三趋势识别子单元(未示出)，适于结合在会话过程中客户的语音情绪类型的变化和语义情绪类型的变化，识别出所述客户在会话过程中的情绪变化趋势。

由上述各实施例可知，通过识别客户在会话过程中语音情绪变化趋势和/或语义情绪变化趋势，可以真实而全面地反映客户在整个会话过程中的情绪变化，故而可以更加准确地认定客服在整个会话过程中对客户情绪的影响，故而可以使质检结果更加客观、全面而准确。

在具体实施中，加权运算单元23可以将所述第一质检结果和所述第二质检结果按照预设的权重进行加权运算，得到对所述客服的质检结果，作为一个整体进行输出。在本发明一实施例中，所采用的权重因子分别为0.5、0.5。可以理解的是，权重因子可以根据场景的不同基于经验进行设置。

本发明实施例还提供了相应的客服质检设备，所述客服质检设备可以包括上述任一实施例所述的语音客服质检系统，不再赘述。

可以理解的是，本发明以上各实施例均可以任意组合，不再赘述。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。