一种实现多语种信息交流的系统

本发明涉及多语种之间信息处理技术领域，尤其涉及一种实现多语种信息交流的系统。

背景技术：

随着经济全球化程度的进一步加深，我国和世界各国之间的交流、合作越来越频繁，各国的沟通合作进一步加强。与此同时，各国人民之间交流互通也越发频繁。面对全球互联网和信息技术的飞速发展，通过互联网的全球无障碍信息沟通成为可能。但由于人工成本和多语种翻译、转换技术的局限，对于跨语种的即时交流、技术和平台仍相对匮乏。

因此，提供一种新的技术方案改善上述问题，是本领域技术人员急需解决的问题。

技术实现要素：

有鉴于此，本发明提供一种实现多语种信息交流的系统，以解决上述技术问题。

为实现上述目的，本发明提供如下技术方案：

一种实现多语种信息交流的系统，包括信息采集模块、微处理模块、算法处理模块和输出模块。

在上述的方案中，所述信息采集模块用于获取用户输入的数据。

在上述的方案中，所述微处理模块与所述信息采集模块相连接，用于对所述信息采集模块发送的信息进行处理、存储和翻译。

在上述的方案中，所述算法处理模块与所述微处理模块相连接，用于对所述微处理模块发送的翻译结果进行优化。

在上述的方案中，所述输出模块与所述算法处理模块相连接，用于根据需求对所述算法处理模块发送的信息进行输出。

在上述的方案中，所述信息采集模块包括信息录入单元和信息输入单元，所述信息录入单元包括语音录入模块和字符录入模块，所述语音录入模块用于录入新的语音信息，所述字符录入模块用于录入新的字符信息，所述信息输入单元包括语音输入模块和字符输入模块，所述语音输入模块用于所要翻译语音信息的输入，所述字符输入模块用于所要翻译字符信息的输入，所述字符输入模块的输入方式包括文本输入和图片输入。

在上述的方案中，所述微处理模块包括预处理单元、存储单元、信息识别单元和翻译单元，所述信息识别单元与所述预处理单元和所述存储单元相连接，所述翻译单元与所述信息识别单元和所述存储单元相连接，所述预处理单元用于对所述信息输入单元输入的信息进行优化处理，所述存储单元用于对所述信息录入单元录入的信息进行存储，所述存储单元包括多种语言的语言信息数据库，所述信息识别单元用于对所述语音输入模块输入的语音信息和所述字符输入模块输入的字符信息进行语种识别，所述翻译单元用于将所述信息识别单元发送的信息进行初步翻译。

在上述的方案中，所述预处理单元包括语音预处理模块和字符预处理模块，所述语音预处理模块用于对所述语音输入模块输入的语音采用数字dsp算法进行优化处理，所述字符预处理模块用于对所述字符输入模块输入的字符信息采用模糊字符处理方法进行优化处理，对于采用图片输入的字符信息先采用图像自动识别技术识别出字符区域再采用模糊字符处理方法进行优化处理。

在上述的方案中，所述信息识别单元包括语音信息识别模块和字符信息识别模块，所述语音信息识别模块用于采用端到端语音识别技术对经过所述语音预处理模块的语音信息进行语种识别，所述字符信息识别模块用于采用融合语言模型的光学字符识别方法对经过所述字符预处理模块的字符信息进行语种识别。

在上述的方案中，所述翻译单元采用基于特征性句干提取的机器翻译方法根据所述存储单元中的多种语言的语言信息数据库对所述信息识别单元发送的信息进行初步翻译。

在上述的方案中，所述算法处理模块将所述翻译单元的初步翻译结果结合babelnet增加语义关联进一步优化，得到最终翻译结果。

在上述的方案中，所述输出模块包括输出方式选择单元、文字转语音单元、语音转文字单元、目标语音输出单元和目标字符输出单元，所述输出方式选择单元用于根据需求选择所述最终翻译结果的输出方式，所述文字转语音单元用于将文字形式的所述最终翻译结果转换为语音形式，所述语音转文字单元用于将语音形式的所述最终翻译结果转换为文字形式，所述目标语音输出单元用于对所述最终翻译结果采用语音播放的方式输出，所述目标字符输出单元用于对所述最终翻译结果采用文本信息的方式输出。

在上述的方案中，所述输出方式选择单元可选择的输出方式包括语音输出、文本信息输出和语音与文本信息同时输出。

在上述的方案中，所述文字转语音单元与所述语音转文字单元均采用深度学习的算法实现文字与语音的转换。

综上所述，本发明的有益效果是：采用数字dsp算法和模糊字符处理方法对原始语音和字符进行处理，提高了文本识别和语音识别的准确率，同时，采用基于特征性句干提取的机器翻译方法翻译精准、翻译准确率稳定，并且，采用结合babelnet增加语义关联的方法减少语义关联度损失和语义偏离的问题，从而使得翻译结果更符合语言习惯。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实现多语种信息交流的系统的组成示意图。

图2为信息采集模块的组成示意图。

图3为微处理模块的组成示意图。

图4为输出模块的组成示意图。

图5为不同语种转换的步骤图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

如图1所示，本发明的一种实现多语种信息交流的系统，包括信息采集模块、微处理模块、算法处理模块和输出模块。

下面结合附图对本发明上述各模块间的连接关系做进一步详细说明。

在本发明上述的方案中，所述信息采集模块用于获取用户输入的数据。

在本发明上述的方案中，所述微处理模块与所述信息采集模块相连接，用于对所述信息采集模块发送的信息进行处理、存储和翻译。

在本发明上述的方案中，所述算法处理模块与所述微处理模块相连接，用于对所述微处理模块发送的翻译结果进行优化。

在本发明上述的方案中，所述输出模块与所述算法处理模块相连接，用于根据需求对所述算法处理模块发送的信息进行输出。

如图2所示，在本发明上述的方案中，所述信息采集模块包括信息录入单元和信息输入单元，所述信息录入单元包括语音录入模块和字符录入模块，所述语音录入模块用于录入新的语音信息，所述字符录入模块用于录入新的字符信息，所述信息输入单元包括语音输入模块和字符输入模块，所述语音输入模块用于所要翻译语音信息的输入，所述字符输入模块用于所要翻译字符信息的输入，所述字符输入模块的输入方式包括文本输入和图片输入。

如图3所示，在本发明上述的方案中，所述微处理模块包括预处理单元、存储单元、信息识别单元和翻译单元，所述信息识别单元与所述预处理单元和所述存储单元相连接，所述翻译单元与所述信息识别单元和所述存储单元相连接，所述预处理单元用于对所述信息输入单元输入的信息进行优化处理，所述存储单元用于对所述信息录入单元录入的信息进行存储，所述存储单元包括多种语言的语言信息数据库，所述信息识别单元用于对所述语音输入模块输入的语音信息和所述字符输入模块输入的字符信息进行语种识别，所述翻译单元用于将所述信息识别单元发送的信息进行初步翻译。

在本发明上述的方案中，所述预处理单元包括语音预处理模块和字符预处理模块，所述语音预处理模块用于对所述语音输入模块输入的语音采用数字dsp算法进行优化处理，通过模拟的音频信号进行采样，实现模数转换，将模拟音频信号转换为数字音频信号，将转换后的数字信号送入dsp数字处理器，dsp数字处理器将可用的数字音频信号转存至数据存储单元做回授声对比使用，另一方面dsp数字处理器将数字音频信号送至下一级数模转换单元进行处理，数模转换单元将数字音频信号转换成模拟音频信号后，再交由后级信号放大单元对模拟音频信号进行放大输出，声音信号输出后会重新被声频采集设备进行采集，当采集到的信号再次到达dsp数字处理器时，dsp数字处理器自动调取数据存储单元中的原音数字信号进行对比，对比相同的频率不再输出，这样切断整个因声音回授而产生的回授啸叫现象；所述字符预处理模块用于对所述字符输入模块输入的字符信息采用模糊字符处理方法进行优化处理，分析所述字符块中字符的笔画线条，并根据所述笔画线条从预先存储的字符集中识别出与所述字符相似度最高的字符作为清晰字符及将所述模糊字符替换为所述清晰字符，对于采用图片输入的字符信息先采用图像自动识别技术识别出字符区域再采用模糊字符处理方法进行优化处理。

在本发明上述的方案中，所述信息识别单元包括语音信息识别模块和字符信息识别模块，所述语音信息识别模块用于采用端到端语音识别技术对经过所述语音预处理模块的语音信息进行语种识别，采用基于byte建模的方式，实现多语种建模单元的共享，即将不同语种的每个字或者单词均使用多个byte单元组合，实现不同语种中的声学数据的共性特征的学习，这种方式能够有效的实现不同语种之间的数据共享，提高识别的准确率；所述字符信息识别模块用于采用融合语言模型的光学字符识别方法对经过所述字符预处理模块的字符信息进行语种识别，通过提取待识别文字图片的视觉特征向量对所述视觉特征向量进行预分类得到预分类文本序列，根据所述预分类文本序列提取语义特征向量，根据所述视觉特征向量和语义特征向量对所述待识别的文字图片进行最终分类，得到待识别图片中的字符。

在本发明上述的方案中，所述翻译单元采用基于特征性句干提取的机器翻译方法根据所述存储单元中的多种语言的语言信息数据库对所述信息识别单元发送的信息进行初步翻译，首先，对语言信息数据库的文本进行词性赋码；然后对赋码后的文本进

行线性切分，得到若干序列，生成多词序列集合，接着对切分好的线性序列进行预加工处理得到多词序列；预加工处理包括删除乱码、删除序列内部标点及统计每个序列的数；在多词序列中搜寻具有主谓结构的句干序列；针对上述主谓搭配类别中不包括的谓语省略的情况进行单独处理，在提取主谓结构的过程中，结合各句式中词类的分布特点，对动词和名词在句中的位置进行限定，经过此步骤，提取出结构上符合句干要求的多词序列，具有主谓结构的句干序列包括有主语类型和无主语类型；在多词序列中识别结构满足句干要求的序列，基于内部粘着力、外部边界独立性及篇章分布域在结构满足句干要求的序列中确定特征性句干；基于min-max归一化算法和局部最大值消重法对特征性句干进行筛选；将筛选所得的特征性句干译为目标语言，记录各特征性句干与其译文即得特征性句干数据库；将句干与特征性句干数据库中的特征性句干比较，如句干与特征性句干数据库中的特征性句干一样，则该特征性句干的译文即为句干译文；如句干与特征性句干数据库中的特征性句干不一致，则分别翻译组成该句干的各短语，后按照目标语言语序组合各短语得到该句干的译文；翻译句干外的词语，再将句干外的词语的译文按照目标语言的语序组合到句干译文中得到译文。

在本发明上述的方案中，所述算法处理模块将所述翻译单元的初步翻译结果babelnet增加语义关联进一步优化，得到最终翻译结果，首先通过将初步翻译结果翻译结果与词汇本体结合进行扩展并赋予权值，以保证保证语言映射的过程中减少语义损失，所述本体为概念及概念之间关系的规范化、形式化、可共享和明确化的描述，由于本体具有丰富的语义概念关系，可以保证概念之间通过概念链、关系链互相连接，因此可以用来查询扩展，例如wordnet、hownet、同义词词林、汉语言框架此类语义型词典称为词汇本体，它们和传统的按字母顺序组织词汇信息的词典不同，其更多地从词汇的概念角度出发，将具有相同、相近含义或具有一定关联度的词汇聚集在一起，从单词、句法的层面提取语义信息，并将这些信息以网状形式呈现，使计算机能像人一样的理解和利用其中的信息；其次，将扩展结果结合babelnet增加语义关联进一步改变权值，词汇带有的权值即可表示为与用户原始输入的相关程度，再将带有权值的词进行整理，babelnet提供了多种语言的概念和命名实体，并包含了它们之间的丰富的语义关系，在处理语义相关性、多语词义消歧、丰富了信息检索中的语义关联性方面提供了很大帮助。

如图4所示，在本发明上述的方案中，所述输出模块包括输出方式选择单元、文字转语音单元、语音转文字单元、目标语音输出单元和目标字符输出单元，所述输出方式选择单元用于根据需求选择所述最终翻译结果的输出方式，所述文字转语音单元用于将文字形式的所述最终翻译结果转换为语音形式，所述语音转文字单元用于将语音形式的所述最终翻译结果转换为文字形式，所述目标语音输出单元用于对所述最终翻译结果采用语音播放的方式输出，所述目标字符输出单元用于对所述最终翻译结果采用文本信息的方式输出。

在本发明上述的方案中，所述输出方式选择单元可选择的输出方式包括语音输出、文本信息输出和语音与文本信息同时输出。

在本发明上述的方案中，所述文字转语音单元与所述语音转文字单元均采用深度学习的算法实现文字与语音的转换，当需要文字输出时，在所述最终翻译结果为语音信息时，对语音信息进行识别转换为文字信息并利用模糊匹配方法和内部推理机制进行输出，在所述最终翻译结果为文字信息时直接输出；当需要语音输出时，在所述最终翻译结果为文字信息时，文字信息进行识别转换为语音信息并利用模糊匹配方法和内部推理机制进行输出，在所述最终翻译结果为语音信息时直接输出。

在本发明上述的方案中，利用模糊匹配方法和内部推理机制进行输出的过程为：利用预置的声学模型及语言模型对获取的文字信息和语音信息进行识别，得到识别结果；根据识别结果在语言信息数据库中进行检索得到初选条目，对初选条目和识别结果进行字符串模糊匹配，并通过自学习算法对匹配结果进行推理得到最终结果。

如图5所示，本发明所提供的实现多语种信息交流的系统的不同语种转换过程，包括以下步骤：

步骤s1：信息输入，用户通过信息输入单元输入所需要转换的信息；

步骤s2：信息预处理，所述预处理单元通过所述语音预处理模块对信息输入单元输入的语音信息采用数字dsp算法进行优化处理，通过所述字符预处理模块对信息输入单元输入的字符信息采用模糊字符处理方法进行优化处理，对于采用图片输入的字符信息先采用图像自动识别技术识别出字符区域再采用模糊字符处理方法进行优化处理。

步骤s3：信息识别，所述信息识别单元通过所述语音信息识别模块采用端到端语音识别技术对经过所述语音预处理模块的语音信息进行语种识别，通过字符信息识别模块采用融合语言模型的光学字符识别方法对经过所述字符预处理模块的字符信息进行语种识别。

步骤s4：信息翻译，所述翻译单元采用基于特征性句干提取的机器翻译方法根据所述存储单元中的多种语言的语言信息数据库对所述信息识别单元发送的信息进行初步翻译。

步骤s5：算法处理，所述算法处理模块将所述翻译单元的初步翻译结果结合babelnet增加语义关联进一步优化，得到最终翻译结果。

步骤s6：结果输出，所述输出模块通过所述目标语音输出单元对所述最终翻译结果采用语音播放的方式输出，通过所述目标字符输出单元对所述最终翻译结果采用文本信息的方式输出。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。