基于智能外呼机器人的语音数据处理方法及装置与流程

1.本发明涉及语音处理技术领域，特别是涉及一种基于智能外呼机器人的语音数据处理方法及装置。


背景技术：

2.智能外呼是综合利用自动语音识别(automatic speech recognition，asr)、文字转语音(text to speech，tts)以及自然语言理解(natural language understanding，简称nlu)技术并面向用户提供的一款智能机器人产品。智能外呼机器人可根据业务场景，自动发起机器人电话外呼任务，通过人与机器人的语音对话交互收集业务结果，并对数据加以统计处理。
3.因此，智能外呼机器人被广泛应用至各个领域。尤其是在医疗领域中，利用智能外呼机器人应对基层医疗和公共卫生防护等大信息量的场景，可以有效地提升语音数据处理效率。然而，在智能外呼机器人应用至医疗领域中时，面向的对象存在多样化特点，导致智能外呼机器人所需处理的语音复杂且不规则，影响语音数据处理的效率和准确率。


技术实现要素：

4.基于此，有必要针对在智能外呼机器人应用至医疗领域中时，面向的对象存在多样化特点，导致智能外呼机器人所需处理的语音复杂且不规则，影响语音数据处理的效率和准确率这一不足，提供一种基于智能外呼机器人的语音数据处理方法及装置。
5.一种基于智能外呼机器人的语音数据处理方法，包括步骤：
6.获取待处理语音并处理成转写内容；
7.提升所述转写内容的可读性，并对所述转写内容进行划分处理，以及执行关键信息、摘要提取，获得语义内容；
8.根据语义内容建立多轮对话管理，基于医疗知识库信息引导用户执行持续对话；
9.根据所述持续对话采集医疗数据并执行标准化处理，获得所述语音处理。
10.上述的基于智能外呼机器人的语音数据处理方法，在获取待处理语音并处理成转写内容后，提升转写内容的可读性，并对转写内容进行划分处理，以及执行关键信息、摘要提取，获得语义内容；根据语义内容建立多轮对话管理，基于医疗知识库信息引导用户执行持续对话，根据持续对话采集医疗数据并执行标准化处理，获得语音数据。基于此，针对智能外呼机器人应用至医疗领域中时，面向的对象存在多样化特点，提高语音数据的识别效率和准确性。
11.在其中一个实施例中，提升所述转写内容的可读性的过程，包括步骤：
12.基于多信息融合及基于声学属性识别的声学置信度，结合语义信息，以提升异常语音的检测能力。
13.在其中一个实施例中，提升所述转写内容的可读性的过程，包括步骤：
14.组合crf模型的标点技术、基于crf模型的句子顺滑及基于最大熵模型的关键信息
抽取，提升所述转写内容的可读性。
15.在其中一个实施例中，对所述转写内容进行划分处理的过程，包括步骤：
16.基于句子级别语义聚类和关联逻辑关系的分析，以及特殊的提示型词汇、停顿长度，将所述转写内容切分为语义相对独立的若干个段落，以执行划分处理。
17.在其中一个实施例中，执行关键信息、摘要提取，获得语义内容的过程，包括步骤：
18.基于文本自动摘要，根据所述待处理语音中说话人信息、语气强调重复信息，执行关键信息、摘要提取。
19.在其中一个实施例中，根据语义内容建立多轮对话管理，基于医疗知识库信息引导用户执行持续对话，包括步骤：
20.建立对所述用户的对话状态跟踪；
21.基于最大熵的对话控制策略，在所述对话状态跟踪的基础上，最大化所述医疗知识库信息，基于目标驱动的策略生成系统响应，引导用户进行持续对话。
22.在其中一个实施例中，根据所述持续对话采集医疗数据并执行标准化处理，获得语音数据的过程，包括步骤：
23.根据医学本体知识库执行标准化处理，获得语音数据。
24.一种基于智能外呼机器人的语音数据处理装置，包括：
25.语音转写模块，用于获取待处理语音并处理成转写内容；
26.语义提取模块，用于提升所述转写内容的可读性，并对所述转写内容进行划分处理，以及执行关键信息、摘要提取，获得语义内容；
27.对话建立模块，用于根据语义内容建立多轮对话管理，基于医疗知识库信息引导用户执行持续对话；
28.语音处理模块，用于根据所述持续对话采集医疗数据并执行标准化处理，获得语音数据。
29.上述的基于智能外呼机器人的语音数据处理方法，在获取待处理语音并处理成转写内容后，提升转写内容的可读性，并对转写内容进行划分处理，以及执行关键信息、摘要提取，获得语义内容；根据语义内容建立多轮对话管理，基于医疗知识库信息引导用户执行持续对话，根据持续对话采集医疗数据并执行标准化处理，获得语音数据。基于此，针对智能外呼机器人应用至医疗领域中时，面向的对象存在多样化特点，提高语音数据的识别效率和准确性。
30.一种计算机存储介质，其上存储有计算机指令，计算机指令被处理器执行时实现上述任一实施例的基于智能外呼机器人的语音数据处理方法。
31.上述的计算机存储介质，在获取待处理语音并处理成转写内容后，提升转写内容的可读性，并对转写内容进行划分处理，以及执行关键信息、摘要提取，获得语义内容；根据语义内容建立多轮对话管理，基于医疗知识库信息引导用户执行持续对话，根据持续对话采集医疗数据并执行标准化处理，获得语音数据。基于此，针对智能外呼机器人应用至医疗领域中时，面向的对象存在多样化特点，提高语音数据的识别效率和准确性。
32.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例的基于智能外呼机器人的语音数据处理方法。
33.上述的计算机设备，在获取待处理语音并处理成转写内容后，提升转写内容的可读性，并对转写内容进行划分处理，以及执行关键信息、摘要提取，获得语义内容；根据语义内容建立多轮对话管理，基于医疗知识库信息引导用户执行持续对话，根据持续对话采集医疗数据并执行标准化处理，获得语音数据。基于此，针对智能外呼机器人应用至医疗领域中时，面向的对象存在多样化特点，提高语音数据的识别效率和准确性。
附图说明
34.图1为一实施方式的基于智能外呼机器人的语音数据处理方法流程图；
35.图2为另一实施方式的基于智能外呼机器人的语音数据处理方法流程图；
36.图3为一实施方式的基于智能外呼机器人的语音数据处理装置模块结构图；
37.图4为一实施方式的计算机内部构造示意图。
具体实施方式
38.为了更好地理解本发明的目的、技术方案以及技术效果，以下结合附图和实施例对本发明进行进一步的讲解说明。同时声明，以下所描述的实施例仅用于解释本发明，并不用于限定本发明。
39.本发明实施例提供了一种基于智能外呼机器人的语音数据处理方法。
40.图1为一实施方式的基于智能外呼机器人的语音数据处理方法流程图，如图1所示，一实施方式的基于智能外呼机器人的语音数据处理方法包括步骤s100至步骤s103：
41.s100，获取待处理语音并处理成转写内容；
42.s101，提升所述转写内容的可读性，并对所述转写内容进行划分处理，以及执行关键信息、摘要提取，获得语义内容；
43.s102，根据语义内容建立多轮对话管理，基于医疗知识库信息引导用户执行持续对话；
44.s103，根据所述持续对话采集医疗数据并执行标准化处理，获得语音数据。
45.智能外呼机器人与说话人执行的语音交互，获取说话人的语音作为待处理语音。将待处理语音处理成转写内容，其中，转写内容为待处理语音的对应文字文本。
46.在其中一个实施例中，图2为另一实施方式的基于智能外呼机器人的语音数据处理方法流程图，如图2所示，步骤s101中提升所述转写内容的可读性的过程，包括步骤s200和步骤s201：
47.s200，基于多信息融合及基于声学属性识别的声学置信度，结合语义信息，以提升异常语音的检测能力。
48.s201，组合crf模型的标点技术、基于crf模型的句子顺滑及基于最大熵模型的关键信息抽取，提升所述转写内容的可读性。
49.其中，使用基于多信息融合及基于声学属性识别的声学置信度技术，并结合语义信息，进一步提升异常语音的检测能力；计基于crf(conditional random field)模型的标点技术、基于crf模型的句子顺滑及基于最大熵模型的关键信息抽取等技术，通过组合，进一步改善转写内容的可阅读性。
50.在其中一个实施例中，如图2所示，步骤s101中对所述转写内容进行划分处理的过
程，包括步骤s202：
51.s202，基于句子级别语义聚类和关联逻辑关系的分析，以及特殊的提示型词汇、停顿长度，将所述转写内容切分为语义相对独立的若干个段落，以执行划分处理。
52.其中，基于句子级别语义聚类和关联逻辑关系的分析，以及一些特殊的提示型词汇、停顿长度等额外信息，将较长的内容转写结果切分为语义相对独立的若干个段落，为关键信息和摘要做准备。
53.在其中一个实施例中，如图2所示，步骤s101中对执行关键信息、摘要提取，获得语义内容的过程，包括步骤s203：
54.s203，基于文本自动摘要，根据所述待处理语音中说话人信息、语气强调重复信息，执行关键信息、摘要提取。
55.在其中一个实施例中，可借鉴传统的文本自动摘要，并根据语音中说话人、语气强调重复等信息，对每一段语音进行关键信息的抽取和自动摘要。
56.在其中一个实施例中，如图2所示，步骤s102中根据语义内容建立多轮对话管理，基于医疗知识库信息引导用户执行持续对话，包括步骤s300和步骤s301：
57.s300，建立对所述用户的对话状态跟踪；
58.s301，基于最大熵的对话控制策略，在所述对话状态跟踪的基础上，最大化所述医疗知识库信息，基于目标驱动的策略生成系统响应，引导用户进行持续对话。
59.在其中一个实施例中，通过持续对话系统的形式化描述，建立一个可被计算机理解和计算的对话模型，便于机器理解和进行后续的对话管理技术实现。
60.在其中一个实施例中，通过多轮对话的语言理解，对自然语言形式的用户输入进行理解口语理解，或使用自然语言处理的方法从文本形式的用户响应中提取语义信息。
61.在其中一个实施例中，通过对话状态跟踪，根据用户的当前输入以及历史交互信息，基于对话概率框架的形式和描述方案对交互信息进行总结和简化，形成基于目标分布的可跟踪的对话状态。
62.在其中一个实施例中，通过基于最大熵的对话控制策略，在对话跟踪的基础上，根据当前系统状态，最大化利用健康医疗知识库信息，基于目标驱动的策略生成系统响应，引导用户进行持续对话。
63.在其中一个实施例中，如图2所示，步骤s103中根据所述持续对话采集医疗数据并执行标准化处理，获得语音数据的过程，包括步骤s400：
64.s400，根据医学本体知识库执行标准化处理，获得语音数据。
65.其中，通过引入医学本体知识库作为医疗数据的被采集对象。
66.其中，对采集到的医疗数据进行分析需要进行相应调整。首先，医疗信息系统不是为了科研和数据分析设计的。从数据分析的角度看，医疗数据通常比较复杂，数据的异构度较大，存在很多缺失信息和不一致信息。其次，理解医疗数据通常需要不同领域的知识，包括医学，生物统计学，流行病学和信息学等。医学术语和本体知识库医学术语提供了标准化描述并减少歧义的医学术语，而医学本体知识库进一步提供了标准化且一致的医学本体词汇来描述医学概念和概念之间的关系。通过使用医学术语和本体知识库，复杂、异构的医疗数据之间可以相互交流，使后续的语音处理得以进行，确定相应的语音数据。。
67.上述任一实施例的基于智能外呼机器人的语音数据处理方法，在获取待处理语音
并处理成转写内容后，提升转写内容的可读性，并对转写内容进行划分处理，以及执行关键信息、摘要提取，获得语义内容；根据语义内容建立多轮对话管理，基于医疗知识库信息引导用户执行持续对话，根据持续对话采集医疗数据并执行标准化处理，获得语音数据。基于此，针对智能外呼机器人应用至医疗领域中时，面向的对象存在多样化特点，提高语音数据的识别效率和准确性。
68.本发明实施例还提供了一种基于智能外呼机器人的语音数据处理装置。
69.图3为一实施方式的基于智能外呼机器人的语音数据处理装置模块结构图，如图3所示，一实施方式的基于智能外呼机器人的语音数据处理装置包括：
70.语音转写模块100，用于获取待处理语音并处理成转写内容；
71.语义提取模块101，用于提升所述转写内容的可读性，并对所述转写内容进行划分处理，以及执行关键信息、摘要提取，获得语义内容；
72.对话建立模块102，用于根据语义内容建立多轮对话管理，基于医疗知识库信息引导用户执行持续对话；
73.语音处理模块103，用于根据所述持续对话采集医疗数据并执行标准化处理，获得语音数据。
74.上述的基于智能外呼机器人的语音数据处理装置，在获取待处理语音并处理成转写内容后，提升转写内容的可读性，并对转写内容进行划分处理，以及执行关键信息、摘要提取，获得语义内容；根据语义内容建立多轮对话管理，基于医疗知识库信息引导用户执行持续对话，根据持续对话采集医疗数据并执行标准化处理，获得语音数据。基于此，针对智能外呼机器人应用至医疗领域中时，面向的对象存在多样化特点，提高语音数据的识别效率和准确性。
75.本发明实施例还提供了一种计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例的应用于机器人的语音处理方法。
76.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存划痕属性信息储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
77.或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、终端、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、ram、rom、磁碟或者光盘等各种可以存储程序代码的介质。
78.与上述的计算机存储介质对应的是，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时实现如上述各实施例中的任意一种应用于机器人的语音处理方法。
79.该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种应用于机器人的语音处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
80.上述的计算机设备，在获取待处理语音并处理成转写内容后，提升转写内容的可读性，并对转写内容进行划分处理，以及执行关键信息、摘要提取，获得语义内容；根据语义内容建立多轮对话管理，基于医疗知识库信息引导用户执行持续对话，根据持续对话采集医疗数据并执行标准化处理，获得语音数据。基于此，针对智能外呼机器人应用至医疗领域中时，面向的对象存在多样化特点，提高语音数据的识别效率和准确性。
81.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
82.以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。