实现多语种混合使用的语音识别方法
【技术领域】
[0001] 本发明涉及语音识别方法技术领域，尤其涉及一种实现多语种混合使用的语音识 别方法。
【背景技术】
[0002] 现有的语音识别系统都是针对单个语种进行优化设计的，在同一时间内只能实现 单种语言（比如，中文普通话或英语）的语音识别，无法满足混合语音用户的使用需求，比 如喜欢中英文混读的人群。
[0003] 造成这种现象的原因有很多，例如基本识别单元的选择差异。
[0004] 在语音识别过程中，选择识别单元是语音识别第一步基础。语音识别单元有单词 (句）、音节和音素三种，一般都会根据具体的需求选择不同的识别单元。一般的选择策略 如下：
[0005] 1)单词（句）单元广泛应用于中小词汇语音识别系统，但不适合大词汇系统，原因 在于模型库太庞大，训练模型任务繁重，模型匹配算法复杂，难以满足实时性要求。
[0006] 2)音节单元多见于汉语语音识别，主要因为汉语是单音节结构的语言，而英语是 多音节，并且汉语虽然有大约1300个音节，但若不考虑声调，约有408个无调音节，数量相 对较少。因此，对于中、大词汇量汉语语音识别系统来说，以音节为识别单元是比较常见的。
[0007] 3)音素单元以前多见于英语和其他字母型语言的语音识别的研究中。
[0008] 基于以上原因，基于单个语音识别引擎很难做到对不同语种的高精度识别，因此 无法实现混合语音的识别。
【发明内容】
[0009] 本发明所要解决的技术问题是提供一种实现多语种混合使用的语音识别方法，所 述方法能够实现对多种混合使用的语音信息进行有效识别，扩大了应用范围。
[0010] 为解决上述技术问题，本发明所采取的技术方案是：一种实现多语种混合使用的 语音识别方法，其特征在于所述方法包括如下步骤：
[0011] 1)在云端提供多种语音识别服务器和一个识别文本后处理服务器；
[0012] 2)用户通过终端把实时语音通过网络同时传送给多个语音识别服务器；
[0013] 3)多个语音识别服务器同时进行语音识别，然后把各自的识别结果文本发送给识 别文本后处理服务器，进行处理；
[0014] 4)识别文本后处理服务器基于N元文法规则建立N-gram模型库，针对整体语义进 行解析，去掉不符合N元文法规则的部分，保留第一种语言结果中的有效部分M，以及第二 种语言结果中的有效部分N，以此类推，然后将M和N拼接成最终的识别结果，通过网络发送 给用户终端；
[0015] 5)用户终端获取到多种语音混用的正确识别结果。
[0016] 进一步的技术方案在于：步骤1)中多种语音识别服务器分别为中文语音识别服 务器A和英文语音识别服务器B。
[0017] 进一步的技术方案在于：步骤2)具体为，用户通过终端把实时语音通过网络同时 传送给中文语音识别服务器A和英文语音识别服务器B。
[0018] 进一步的技术方案在于：步骤3)具体为，中文语音识别服务器A和英文语音识别 服务器B同时进行语音识别，然后把各自的识别结果文本发送给识别文本后处理服务器， 进行处理。
[0019] 进一步的技术方案在于：步骤4具体为，识别文本后处理服务器根据中文的语义 解析，提供中文结果中的有效部分M，以及英文结果中的有效部分N，然后将M和N拼接成最 终的识别结果，通过网络发送给用户终端。
[0020] 进一步的技术方案在于：步骤5)具体为，用户终端获取到中英文混用的正确识别 结果。
[0021] 进一步的技术方案在于：识别文本后处理服务器具体的处理过程如下：
[0022] 1)选择中文服务器的文本结果res-Ι的第1个字为起点，进行N-gram的判断，如 果后续的第N个字和第一个字的组合概率低于常规门限p，则认为第1个字无效需要丢弃， 否则保留第一个字，同时标记段落标志为0,然后继续向后执行，如果中间出现丢弃部分后， 再次遇到有效组合部分，则标记段落标志为1，最终得到保留部分M，M可能包括多个段落 Mi，其中i = 0,1，2, 3...，只有第一个字为起点的段落有效时才标志为0 ;
[0023] 2)选择英文服务器的文本结果res-Ι的第一个单词为起点，进行N-gram的判断， 如果后续的第N个单词和第一个单词的组合概率低于常规门限p，则认为第1个单词无效需 要丢弃，否则保留第一个单词，同时标记段落标志为〇,然后继续向后执行，如果中间出现丢 弃部分后，再次遇到有效组合部分，则标记段落标志为2,然后继续向后执行，最终得到保留 部分N，N可能包括多个段落Ni，其中i = 0，1，2, 3...，只有第一个单词为起点的段落有效 时才标志为0 ;
[0024] 3)把步骤1)和步骤2)得到的Mi和Ni交替拼接，形成最终的结果：M0\N1\M1\ Ν2· · ·或者 N0\M1\N1\M2\N2.....；
[0025] 4)识别文本后处理服务器把最终结果返回给用户终端。
[0026] 8、根据权利要求7所述的实现多语种混合使用的语音识别方法，其特征在于常规 门限 P = 〇· 0003。
[0027] 采用上述技术方案所产生的有益效果在于：所述方法能够实现对多种混合使用的 语音信息进行有效识别，扩大了应用范围。
【附图说明】
[0028] 下面结合附图和【具体实施方式】对本发明作进一步详细的说明。
[0029] 图1是本发明中语音识别引擎的原理框图；
[0030] 图2是本发明的整体流程框架图。
【具体实施方式】
[0031] 下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0032] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以 采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的 情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0033] 总体的，本发明公开了一种实现多语种混合使用的语音识别方法，所述方法包括 如下步骤：
[0034] 1)在云端提供多种语音识别服务器和一个识别文本后处理服务器；
[0035] 2)用户通过终端把实时语音通过网络同时传送给多个语音识别服务器，每个语音 识别服务器配置针对单个语种优化过的高精度语音识别引擎，基本框架如下图1所示：
[0036] 3)多个语音识别服务器同时进行语音识别，然后把各自的识别结果文本发送给识 别文本后处理服务器，进行处理；
[0037] 4)识别文本后处理服务器基于N元文法规则建立N-gram模型库，针对整体语义进 行解析，去掉不符合N元文法规则的部分，保留第一种语言结果中的有效部分M，以及第二 种语言结果中的有效部分N，以此类推，然后将M和N拼接成最终的识别结果，通过网络发送 给用户终端；
[0038] N-gram-种依赖于上下文环境的词的概率分布的统计计算语言模型。
[0039] 以N = 2为例（称为Bigram语言模型）。当我们看到一个句子片段"他正在认真" 时，下一个词可以是"学习、工作、思考"等等，而不能是"美丽、我、中国"等等。即，自然语 言中，存在着后一个词的出现条件地依赖于前一个词的出现的现象。Bigram就是把一个词 的上下文定义为该词的前一个词，尽管这个定义仅仅包含了上下文的极少一部分，却对下 一个词的出现具有较强的约束力。语料库学者发现，许多词的前面词的出现对于该词的出 现具有很强的预测能力，英语这类有严格语序的语言更是如此。汉语的语序较英语灵活，但 此约束关系依然存在。
[0040] 假定，在一个语句中第i个词出现的概率，条件依赖于它前面的N-I个词，即将一 个词的上下文定义为该词前面出现的N-I个词，这样的语言模型叫做N-gram模型（N元文 法统计模型）。公式如下：
[0041 ]
[0042] N-gram模型中，需要计算系统词表中词的每一个N-I元组的概率，共有I V|~ (N-I) (这里是指数）个元组，有ΙνΓ(Ν-Ι)个不同的概率分布。对于每一个分布，又必须估算N 个参数，共需估算出|V|~N个参数。由于参数空间随着N的增大呈指数上升，因此，N-般 取2或3。考虑目前的混合语言使用，一般都是常用语句的组合使用，因此V的数量不会太 大，一般在3000以内的基本，以目前的服务器计算能力，是足以支撑的。
[0043] 识别文本后处理服务器具体的处理过程如下：
[