一种集合智能与人工问答的语音问答方法及其装置与流程

本发明涉及计算机技术领域，具体地，涉及一种集合智能与人工问答的语音问答方法及其装置。

背景技术：

人机交互是一门研究系统与用户之间交互关系的科学，其中的系统可以是各种各样的机器，也可以是计算机化的系统或软件。例如，通过人机交互可以实现诸如智能客户系统、语音控制系统等各种人工智能系统。智能问答系统是人机交互的一种典型应用：当用户提出问题后，由智能问答系统给出该问题的答案，由此需在系统中配置一套qa问答库，并在该qa问答库中存储有大量的标准问题和对应的答案。

目前，国内外很多研究机构都对智能问答系统展开了深入的研究，并在教育、政府、医院和银行等领域得到了广泛的应用。但是大多数的智能问答系统仍然存在一些不容忽视的弊端：(1)采用关键词检索，搜索效果不理想且要求用户具有关键词分解的能力；(2)反馈答案的针对性和有效性较差；(3)现有的问答系统大多是文字问答方式，对于计算机操作不熟练的用户而言，效率较低，用户体验有限；(4)qa问答库中的标准问题及对应答案有限，若在库中找不到合适答案，无法自动切换人工问答。

技术实现要素：

针对前述现有大多数智能问答系统仍然存在的一些弊端问题，本发明提供了一种集合智能与人工问答的语音问答方法及其装置。

本发明采用的技术方案，一方面提供了一种集合智能与人工问答的语音问答方法，包括步骤如下：s101.接收来自用户终端的问题语音信息；s102.应用语音识别算法对所述问题语音信息进行语音转文字处理，生成问题文本信息；s103.对所述问题文本信息进行分句处理，获取用户问句；s104.分别计算所述用户问句与在qa问答库中各项标准问句的问句相似度，然后分别判断各项标准问句与所述用户问句的问句相似度是否超过相似度阈值，若都不超过所述相似度阈值，则将所述问题语音信息和/或所述问题文本信息传送至人工服务台，否则将问句相似度最高的标准问句作为与所述用户问句对应的最相似标准问句；s105.接收由所述人工服务台反馈的第一答复信息,或者从所述qa问答库中读取与所述最相似标准问句对应的第二答复信息；s106.向所述用户终端反馈所述第一答复信息或所述第二答复信息。

优化的，当所述问题语音信息包含语音回复指示而所述第一答复信息或所述第二答复信息为文本信息时，则在所述步骤s106中，包括步骤如下：应用语音合成算法对所述第一答复信息或所述第二答复信息进行文字转语音处理，然后将生成的语音信息反馈给所述用户终端。

优化的，当所述问题语音信息包含文本回复指示而所述第一答复信息或所述第二答复信息为语音信息时，则在所述步骤s106中，包括步骤如下：应用语音识别算法对所述第一答复信息或所述第二答复信息进行语音转文字处理，然后将生成的文本信息反馈给所述用户终端。

优化的，在计算所述用户问句与在qa问答库中各项标准问句的问句相似度的步骤中，包括步骤如下：s201.分别对所述用户问句和所述标准问句进行分词预处理，获取对应的关键词集；s202.根据所述用户问句和所述标准问句的关键词集，计算所述用户问句与所述标准问句的问句相似度。

进一步优化的，在所述步骤s201中，包括步骤如下：s301.将问句与在句模库中的各项句模进行模式匹配，将匹配率最高的句模作为与所述问句对应的最匹配句模，所述问句为用户问句或标准问句；s302.根据所述最匹配句模去掉所述问句中的疑问词和问句特征词，实现对所述问句的切分，得到语句片断；s303.对所述语句片断进行分词处理，然后去除分词结果中的所有辅助词，得到核心语义词；s304.将所有的核心语义词作为关键词加载到所述问句的关键词集中。

详细优化的，在所述步骤s304之后，还包括如下步骤：s305.根据所述核心语义词收集对应的同义词，然后将所有的同义词也作为关键词加载到所述问句的关键词集中。

详细优化的，在所述步骤s304之后，还包括如下步骤：s306.读取与所述最匹配句模对应的特定辅助词表，然后将在所述特定辅助词表中的所有特定辅助词也作为关键词加载到所述问句的关键词集中。

本发明采用的技术方案，另一方面提供了一种实现前述的集合智能与人工问答的语音问答方法的装置，包括收发单元、第一语音识别单元、问句获取单元、问句相似度对比单元、答案获取单元、qa问答库和人工服务台；所述收发单元通信连接所述第一语音识别单元，用于接收来自用户终端的问题语音信息和向所述用户终端反馈答复信息；所述第一语音识别单元通信连接所述问句获取单元，用于应用语音识别算法对所述问题语音信息进行语音转文字处理，生成问题文本信息；所述问句获取单元通信连接所述问句相似度对比单元，用于对所述问题文本信息进行分句处理，获取用户问句；所述问句相似度对比单元分别通信连接所述答案获取单元、所述qa问答库和所述人工服务台，用于分别计算所述用户问句与在qa问答库中各项标准问句的问句相似度，然后分别判断各项标准问句与所述用户问句的问句相似度是否超过相似度阈值，若都不超过所述相似度阈值，则将所述问题语音信息和/或所述问题文本信息传送至人工服务台，否则将问句相似度最高的标准问句作为与所述用户问句对应的最相似标准问句；所述答案获取单元分别通信连接所述qa问答库、所述人工服务台和所述收发单元，用于接收由所述人工服务台反馈的第一答复信息,或者从所述qa问答库中读取与所述最相似标准问句对应的第二答复信息；所述qa问答库用于存储各项标准问句和对应的第二答复信息；所述人工服务台用于展示所述问题语音信息和/或所述问题文本信息，然后导入由人工输入的所述第一答复信息。

优化的，还包括通信连接所述收发单元和所述答案获取单元的第二语音识别单元；所述第二语音识别单元用于应用语音合成算法对所述第一答复信息或所述第二答复信息进行文字转语音处理，生成对应的语音信息。

优化的，还包括通信连接所述收发单元和所述答案获取单元的语音合成单元；所述语音合成单元用于应用语音识别算法对所述第一答复信息或所述第二答复信息进行语音转文字处理，生成对应的语音信息。

综上，采用本发明所提供的一种集合智能与人工问答的语音问答方法及其装置，具有如下有益效果：(1)本发明所提供的语音问答方法，其核心思路是先利用语音识别算法将问题语音信息转化成问题文本信息，然后对问题文本信息进行分句处理，获取用户问句，最后基于问句相似度，确定是在qa问答库中找到与用户问句最相似的标准问句及对应的答复信息，还是通过接入人工服务台获取答复信息，由此不但可以实现语音问答，方便用户输入问题信息，提高问答效率和用户体验，同时在qa问答库中找不到合适答案时，还可以自动切换成人工问答，及时解决用户的疑问；(2)相比较于现有基于关键词检索的问答方法，无需要求用户具有关键词分解的能力，全程自动化，大幅度提升用户体验，并提高搜索效果、反馈答案的针对性和有效性；(3)在问句相似度的计算过程中，实现了句模分析、词法分析和词义扩展等自然语言理解技术的融合，并通过进行多维度相似性的综合计算，极大地提高了最终问句相似度在汉语自动问答过程中的准确性，从而可解决因中文固有的复杂性特点而难以实现汉语智能问答的问题，使汉语系的智能问答系统成为可能；(4)本发明提供的集合智能与人工问答的语音问答方法及其装置，可拓展适用于诸如教育领域、行政领域和供电服务领域等行业领域中，便于实际推广和应用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的集合智能与人工问答的语音问答方法的流程示意图。

图2是本发明提供的集合智能与人工问答的语音问答方法的装置结构示意图。

具体实施方式

以下将参照附图，通过实施例方式详细地描述本发明提供的集合智能与人工问答的语音问答方法及其装置。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，单独存在b，同时存在a和b三种情况，本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，a/和b，可以表示：单独存在a，单独存在a和b两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。

实施例一

图1示出了本发明提供的集合智能与人工问答的语音问答方法的流程示意图。本实施例提供的所述集合智能与人工问答的语音问答方法，包括步骤如下。

s101.接收来自用户终端的问题语音信息。

在所述步骤s101中，所述问题语音信息可以但不限于为由用户在诸如微信等聊天平台向智能问答系统发送的语音短消息，其包含有具体的语音内容。

s102.应用语音识别算法对所述问题语音信息进行语音转文字处理，生成问题文本信息。

在所述步骤s102中，所述语音识别算法为一种可将人类语音中的词汇内容转换为计算机可读的、诸如二进制编码或者字符序列的算法，应用此算法可将语音内容转化为文字内容，以便进行后续的信息处理。所述语音识别算法可以但不限于采用现有的动态时间归整算法(即dtw算法)。

s103.对所述问题文本信息进行分句处理，获取用户问句。

在所述步骤s103中，所述进行分句处理的方法，可以但不限于基于逗号、分号或句号等标点符号将所述问题文本信息中的具体文字内容分解为多个单独的子句，所述子句无论是否具有提问意思，都视作用户问句。

s104.分别计算所述用户问句与在qa问答库中各项标准问句的问句相似度，然后分别判断各项标准问句与所述用户问句的问句相似度是否超过相似度阈值，若都不超过所述相似度阈值，则将所述问题语音信息和/或所述问题文本信息传送至人工服务台，否则将问句相似度最高的标准问句作为与所述用户问句对应的最相似标准问句。

在所述步骤s104中，所述qa问答库是指预存储有大量标准问句及与标准问句对应的第二答复信息的数据库，其中，所述第二答复信息可以但不限于为语音信息、文本信息或图片信息等。所述人工服务台为进行人工问答的人机交互装置，一方面用于展示所述问题语音信息和/或所述问题文本信息，另一方面用于导入由人工输入的、针对所述问题语音信息和/或所述问题文本信息的第一答复信息，所述第一答复信息可以但不限于为语音信息或文本信息等。所述相似度阈值为一个门限值，其可以为默认值或预先设定值，例如设定为61.8％。

在所述步骤104中，在计算所述用户问句与在qa问答库中各项标准问句的问句相似度的步骤中，可以但不限于包括步骤如下：s201.分别对所述用户问句和所述标准问句进行分词预处理，获取对应的关键词集；s202.根据所述用户问句和所述标准问句的关键词集,计算所述用户问句与所述标准问句的问句相似度。

在所述步骤s201中，对所述标准问句进行分词预处理的时间节点优选在该标准问句录入所述qa问答库时，并将获取的对应关键词集预存储在该qa问答库中。在所述步骤s201中，可以但不限于包括步骤如下：s301.将问句与在句模库中的各项句模进行模式匹配，将匹配率最高的句模作为与所述问句对应的最匹配句模，所述问句为用户问句或标准问句；s302.根据所述最匹配句模去掉所述问句中的疑问词和问句特征词，实现对所述问句的切分，得到语句片断；s303.对所述语句片断进行分词处理，然后去除分词结果中的所有辅助词，得到核心语义词；s304.将所有的核心语义词作为关键词加载到所述问句的关键词集中。

在所述步骤s301中，所述句模库是指预存储有各种句模(即问句模型)的数据库，其中，所述句模为模型化的、具有一定规律的提问句型，其可以但不限于采用巴科斯范式(backusnormalform)来定义句模的文法，然后以如下表1所示的句模数据结构存储在句模库中。例如，对于问句“小明什么时候上大学？”，可以定义其文法为<询问时间语义块>::＝(<事件>)<提问时间特征词>(<事件>)<提问时间特征词>::＝何时|什么时候|哪天|几月几日|。

表1句模数据结构

对问句与句模进行模式匹配的思路是：首先根据提问特征词，使用正则表达式对句模库中的句模进行匹配,然后根据匹配结果确定该问句属于何种句模。由此可实现句模分析的融合，帮助问答系统理解用户的提问意图，以便后续进行有针对性地答复，同时通过句模分析，可以去掉句子中的提问特征词(如“什么”“哪里”等)，将大大减小下一阶段词法分析中出现歧义的概率。

在所述步骤s302中，所述语句片断为一个或多个词的连续组合，可根据最匹配句模的定义，舍弃问句中的提问特征词，实现句子的进一步切开，得到多个语句片断。例如对于问句:“工作人员什么时候来安装电表”，可先根据句模的定义进行匹配，根据“什么时候”关键词分析出问题属于“提问时间”句模，然后将问题句中“什么时候”关键词舍弃掉，把句子切分开，如此得到语句片断：“工作人员”和“来安装电表”。

在所述步骤s303中，所述核心语义项代表了用户所提问题的实质，具有主题突出和概念明确的特点，因此有必要将其作为关键词加载到所述问句的关键词集中。由于句模分析后得到的语句片断是切分后得到的结果，所以它的灵活性和多样性比真实的自然语言文本要差一些，这样分词时出现歧义的情况较少，可以避免出现理解差异。作为优化的，为了在分词时最大限度地避免出现歧义情况，在对所述语句片断进行分词处理的步骤中，可以但不限于包括步骤如下：s401.分别应用正向最大匹配算法和逆向最大匹配算法对所述语句片断进行分词处理，若两种分词处理的分词结果一致，则将任意一种分词结果作为最终的分词结果，否则比较两种分词结果的切分出现概率，将切分出现概率最高的分词结果作为最终的分词结果。

在所述步骤s401中，所述正向最大匹配算法和所述逆向最大匹配算法分别为现有的传统机械式分词算法，例如在对语句片断“研究生物科学的学生”进行分词处理时，采用正向最大匹配算法进行分词的结果为：“研究生/物/科学/的/学生”，而采用逆向最大匹配算法进行分词的结果却为：“研究/生物/科学/的/学生”,此时即认为分词出现歧义情况。具体的，按照如下公式计算分词结果的切分出现概率q：

q＝q(w1)·q(w2)·q(w3)·…·q(wn)

式中，w1,w2,w3,…wn为所述分词结果中的各个词，n为所述分词结果中的词数，q(w)为词w的词频。

由于计算机或程序并不能真正理解各个关键词的含义，因此还需要对问句的关键词集进行同义和概念扩展。即在所述步骤s304之后，还包括如下步骤：s305.根据所述核心语义词收集对应的同义词，然后将所有的同义词也作为关键词加载到所述问句的关键词集中。和/或在所述步骤s304之后，还包括如下步骤：s306.读取与所述最匹配句模对应的特定辅助词表，然后将在所述特定辅助词表中的所有特定辅助词也作为关键词加载到所述问句的关键词集中。对于所述步骤s305，可以但不限于从同义词典和概念库中找出与核心语义项对应的各种同义词，例如对于问句“我国有多少辆自行车”，其中的核心语义项“自行车”可以扩展为“自行车”/“bicycle”/“脚踏车”/“单车”等。对于所述步骤s306，所述特定辅助词表为预先存储在句模库中的数据，对于不同的句模，对应有不同的特定辅助词，例如对于门句“中国科技大学在哪里？”,可以扩展为“中国科技大学”+“位于”/“地处”等。

在所述步骤s202中，为了从多个维度来综合计算门句相似度，可以但不限于包括步骤如下。

s501.按照如下公式分别计算用户问句qu与标准问句qa的词形相似度wordsim(qu,qa)、句长相似度lensim(qu,qa)、词序相似度ordersim(qu,qa)和距离相似度dissim(qu,qa)：

式中，len(qu)为在用户问句qu的关键词集中关键词个数，len(qa)为在标准问句qa的关键词集中关键词个数，samewc(qu,qa)为在用户问句qu和标准问句qa的关键词集中相同关键词的个数，oncews(qu,qa)表示在用户问句qu和标准问句qa中都出现且只出现一次的关键词的集合，|oncews(qu,qa)|为在oncews(qu,qa)集合中关键词的个数，pfirst(qu,qa)表示oncews(qu,qa)集合中的关键词在用户问句qu中的位置序号构成的向量，psecond(qu,qa)表示pfirst(qu,qa)中的分量按对应关键词在标准问句qa中的次序排序生成的向量，revord(qu,qa)为在psecond(qu,qa)中各相邻分量的逆序数，dis(qu,qa)为应用标准语句qa中的关键词集将用户问句qu变成标准问句qa所需的最小编辑操作次数，k为利用领域内的相似问句进行训练得到的且在距离相似度dissim(qu,qa)为0.5时的词语距离值，max()为取最大值函数，abs()为取绝对值函数。

s502.按照如下公式计算用户问句qu与标准问句qa的问句相似度sim(qu,qa)：

sim(qu,qa)＝α1·wordsim(qu,qa)+α2·lensim(qu,qa)+α3·ordersim(qu,qa)

+α4·dissim(qu,qa)

式中，α1为词形相似度wordsim(qu,qa)的权重系数，α2为句长相似度lensim(qu,qa)的权重系数，α3为词序相似度ordersim(qu,qa)的权重系数，α4为距离相似度dissim(qu,qa)的权重系数，所有的权重系数满足：α1+α2+α3+α4＝1。

在所述步骤s502中，各项权重系数可以根据应用领域的具体情况调节，例如在供电服务领域，可以设定权重系数α1介于0.3～0.4之间，设定权重系数α2介于0.15～0.35之间，设定权重系数α3介于0.1～0.3之间，设定权重系数α4介于0.05～0.1之间。由此在计算问句相似度的过程中，可以通过针对词形、句长、次序和距离四个维度进行相似性评估，并得到最终的、具有综合性的问句相似度，保证问句相似度的准确性。

s105.接收由所述人工服务台反馈的第一答复信息,或者从所述qa问答库中读取与所述最相似标准问句对应的第二答复信息。

s106.向所述用户终端反馈所述第一答复信息或所述第二答复信息。

在所述步骤s106中，为了满足不同用户的答复需求，例如部分用户希望能够进行语音答复，而部分用户希望构成进行文字答复，因此在反馈时需要进行针对性处理。即当所述问题语音信息包含语音回复指示而所述第一答复信息或所述第二答复信息为文本信息时，则在所述步骤s106中，可以但不限于包括步骤如下：应用语音合成算法对所述第一答复信息或所述第二答复信息进行文字转语音处理，然后将生成的语音信息反馈给所述用户终端。或者当所述问题语音信息包含文本回复指示而所述第一答复信息或所述第二答复信息为语音信息时，则在所述步骤s106中，可以但不限于有包括步骤如下：应用语音识别算法对所述第一答复信息或所述第二答复信息进行语音转文字处理，然后将生成的文本信息反馈给所述用户终端。其中，所述语音回复指示用于指示需要进行语音答复，所述文本回复指示用于指示需要进行文字答复，所述语音合成算法为一种可将计算机可读的、诸如二进制编码或者字符序列转换为人类语音的算法，应用此算法可将文字内容转化为语音内容，以便进行语音回复。所述语音合成算法可以但不限于采用现有的psola算法。

综上，本实施例所提供的集合智能与人工问答的语音问答方法，具有如下技术效果：(1)本发明所提供的语音问答方法，其核心思路是先利用语音识别算法将问题语音信息转化成问题文本信息，然后对问题文本信息进行分句处理，获取用户问句，最后基于问句相似度，确定是在qa问答库中找到与用户问句最相似的标准问句及对应的答复信息，还是通过接入人工服务台获取答复信息，由此不但可以实现语音问答，方便用户输入问题信息，提高问答效率和用户体验，同时在qa问答库中找不到合适答案时，还可以自动切换成人工问答，及时解决用户的疑问；(2)相比较于现有基于关键词检索的问答方法，无需要求用户具有关键词分解的能力，全程自动化，大幅度提升用户体验，并提高搜索效果、反馈答案的针对性和有效性；(3)在问句相似度的计算过程中，实现了句模分析、词法分析和词义扩展等自然语言理解技术的融合，并通过进行多维度相似性的综合计算，极大地提高了最终问句相似度在汉语自动问答过程中的准确性，从而可解决因中文固有的复杂性特点而难以实现汉语智能问答的问题，使汉语系的智能问答系统成为可能；(4)本发明提供的集合智能与人工问答的语音问答方法，可拓展适用于诸如教育领域、行政领域和供电服务领域等行业领域中，便于实际推广和应用。

实施例二

图2示出了本发明提供的集合智能与人工问答的语音问答方法的装置结构示意图。本实施例提供的所述装置为实现实施例一所述的集合智能与人工问答的语音问答方法的装置，包括收发单元、第一语音识别单元、问句获取单元、问句相似度对比单元、答案获取单元、qa问答库和人工服务台；所述收发单元通信连接所述第一语音识别单元，用于接收来自用户终端的问题语音信息和向所述用户终端反馈答复信息；所述第一语音识别单元通信连接所述问句获取单元，用于应用语音识别算法对所述问题语音信息进行语音转文字处理，生成问题文本信息；所述问句获取单元通信连接所述问句相似度对比单元，用于对所述问题文本信息进行分句处理，获取用户问句；所述问句相似度对比单元分别通信连接所述答案获取单元、所述qa问答库和所述人工服务台，用于分别计算所述用户问句与在qa问答库中各项标准问句的问句相似度，然后分别判断各项标准问句与所述用户问句的问句相似度是否超过相似度阈值，若都不超过所述相似度阈值，则将所述问题语音信息和/或所述问题文本信息传送至人工服务台，否则将问句相似度最高的标准问句作为与所述用户问句对应的最相似标准问句；所述答案获取单元分别通信连接所述qa问答库、所述人工服务台和所述收发单元，用于接收由所述人工服务台反馈的第一答复信息,或者从所述qa问答库中读取与所述最相似标准问句对应的第二答复信息；所述qa问答库用于存储各项标准问句和对应的第二答复信息；所述人工服务台用于展示所述问题语音信息和/或所述问题文本信息，然后导入由人工输入的所述第一答复信息。

优化的，还包括通信连接所述收发单元和所述答案获取单元的第二语音识别单元；所述第二语音识别单元用于应用语音合成算法对所述第一答复信息或所述第二答复信息进行文字转语音处理，生成对应的语音信息。

优化的，还包括通信连接所述收发单元和所述答案获取单元的语音合成单元；所述语音合成单元用于应用语音识别算法对所述第一答复信息或所述第二答复信息进行语音转文字处理，生成对应的语音信息。

本实施例提供的所述装置的工作方式和技术效果，可以基于实施例一中所描述的内容得到，于此不再赘述。

如上所述，可较好地实现本发明。对于本领域的技术人员而言，根据本发明的教导，设计出不同形式的集合智能与人工问答的语音问答方法及其装置并不需要创造性的劳动。在不脱离本发明的原理和精神的情况下对这些实施例进行变化、修改、替换、整合和变型仍落入本发明的保护范围内。