专利名称：基于网络的多语种语音、文字信息即时互译通信系统及方法
技术领域：
本发明涉及一种通信系统及方法，尤指一种基于网络的通信系统及方法。
背景技术：
目前，Internet和信息技术的应用已经深入到企业行为和个人生活的方方面面，许多企业已经基于Internet建立自己的企业应用系统和互联网即时通信系统，用于改善内部管理、降低通信成本、提高效率，从而提升企业的竞争力，个人也可能充分享受Internet和信息技术带来的诸如开阔视野、缩短时空距离等种种好处。尤其近年来即时通信技术的发展及普及应用，互联网的无国界属性及国际间通信交流的巨大需求，使得基于Internet的的即时通信(IM)，PSTN公共电话网，其它无线移动电话网(GSM，CDMA，3G，SMS等通信方式)的多语种语音，文字的即时互译，语音识别(ASR)技术，语音合成(TTS)技术的应用成为可能。
就当前而言，互联网的即时通信(IM)，PSTN公共电话网，其它无线移动电话网(GSM，CDMA，3G，SMS等通信方式)的多语种语音，文字的即时互译、对企业产品的售前支持、售中沟通和售后服务，国际业务交流都是极其重要的.
另外，到目前为止，仍然缺乏一种有效的用户语音或文字信息在进行通信时完成语音及文字的多语种互译机制，让用户通信中说出的语音或发出的文字信息让对方听到或收到的是自己选定的语种或文字，基于INTERNET的即时通信(IM)，PSTN公共电话网，其它无线移动电话网(GSM，CDMA，3G，SMS等通信方式)的多语种语音，文字的即时互译系统，语音识别引擎，语音合成引擎，语音通道，翻译引擎，结合了Internet、语音CODEC、视频CODEC、TCP/IP、数据库技术和软件技术的Internet即时互译系统。许多企业和个人越来越多地认识到国际交流及个性化服务的重要性，语音识别(ASR)技术，语音合成(TTS)技术也越来越成熟；即时互译，语音CODEC、以及TCP/IP通信技术也发展到实用阶段；，基于INTERNET的即时通信(IM)，PSTN公共电话网，其它无线移动电话网(GSM，CDMA，3G，SMS等通信方式)的多语种语音，文字的即时互译系统正是适应这种应用需求和技术进步而提出的一种应用系统。
发明内容
本发明的目的在于提供一种基于网络的多语种语音和/或文字信息的即时互译通信系统，包括用户终端设备和服务器端设备，所述用户终端设备和服务器端设备分别与网络联通，通过该网络进行通信，所述服务器端设备包括用于通信信令控制和管理、用户管理、权限控制、数据存储和中转、客户端管理、计费管理、数据安全管理的控制服务器；用于语音及文字信息的即时翻译的多语种语音文字翻译服务器，所述用户终端设备包括至少一个第一发送/接收端设备；至少一个第二发送/接收端设备，当使用所述第一发送/接收端设备通过所述网络与所述第二发送/接收端设备通信时，所述控制服务器控制所述翻译服务器将所述第一发送/接收端设备发送的语音或文字信息翻译成对应语种的语音或文字信息并发送到所述第二发送/接收端设备上，该系统既能实现一个语种对应另一语种的即时语音和/或文字的即时通信翻译，也能实现一个语种对多个语种的语音和/或文字即时通信翻译。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，所述翻译服务器部署有用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，所述网络为互联网(internet)；所述第一发送/接收端设备和第二发送/接收端设备为客户机，该客户机包括客户机主机，该客户机主机部署有具有通信信令控制和管理、数据传输控制、数据安全管理、语音数据处理、视频数据处理、语音及文字信息即时翻译、文字数据处理、文件传输、留言(语音、文字和/或视频)管理、自动更新支持、IVR支持和硬件设备支持等功能，可独立运行的独立客户端软件和/或与所述独立客户端软件功能一致，但需要与浏览器结合运行的组件客户端软件和用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件；该客户机还包括用于语音和视频信号的捕获和转换的语音视频设备和与所述互联网相联接的internet接入设备；所述服务器端设备还包括用于数据操作和存储的数据库服务器。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，所述数据库服务器还部署有语音标记语言与关系型数据库相互转换的XML-DB转换模块，所述服务器端设备还包括VoiceXML语音网关；和用于信息发布和采集及所述组件客户端软件部署的WWW服务器。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，所述网络为PSTN公共电话网或无线移动电话网，所述第一发送/接收端设备和第二发送/接收端设备为固定电话或移动电话，所述翻译服务器还部署有语音标记语言与关系型数据库相互转换的XML-DB转换模块。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，所述无线移动电话网的通信方式为GSM，CDMA，3G，SMS等通信方式。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，所述浏览器为IE浏览器，该IE浏览器与所述组件客户端软件结合的形式是组件客户端软件设计为浏览器组件或插件元素。
本发明的另一个目的在于提供一种基于如权利要求1所述的基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法，一次单向通信包括如下步骤(5)系统初始化；(6)所述第一发送/接收端设备发送语音和/或文字信息通过所述网络到达所述服务器端设备；(7)所述控制服务器控制所述翻译服务器将所述语音和/或文字信息翻译成对应语种的语音和/或文字信息并通过网络发送到第二发送/接收端设备；(8)一次单向通信结束。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法，所述网络为互联网(internet)；所述第一发送/接收端设备和第二发送/接收端设备为客户机，该客户机部署有可独立运行的独立客户端软件和/或与所述独立客户端软件功能一致，但需要与浏览器结合运行的组件客户端软件和用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件；该客户机还包括用于语音和视频信号的捕获和转换的语音视频设备和与所述互联网相联接的internet接入设备；所述服务器端设备还包括用于数据操作和存储的数据库服务器。
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法，所述网络为PSTN公共电话网或无线移动电话网，所述第一发送/接收端设备和第二发送/接收端设备为固定电话或移动电话。
本发明提供的这种系统及方法为internet网络即时通信用户，固定电话用户和移动通信用户提供多语种语音及文字的互译服务，突破了人与人之间交流的语言障碍，从而使上述用户交流更加方便，交流范围更加广泛。
图1为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于internet的即时通信系统整体结构方框图；图2为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于internet的即时通信系统的软件系统结构方框图；图3为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于internet的即时通信系统的控制服务器软件结构方框图；图4为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于int erne t的即时通信系统的客户端结构方框图；图5为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于internet的即时通信系统的组件客户端软件与IE浏览器结合及与独立客户端软件的通信翻译方框图；图6为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于internet的即时通信系统的组件客户端软件表现在浏览器形式示意图；图7为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的基于PSTN公共电话网或无线移动电话网的系统的电话终端与翻译服务器的结合示意图；图8为本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法的流程图。
具体实施例方式
本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的一个具体实施例是一种基于internet的即时互译通信系统，其实现需要结合Internet技术、语音识别(ASR)技术，语音合成(TTS)技术，翻译引擎技术，语音CODEC、视频CODEC、TCP/IP、数据库技术和软件技术等多种技术，为用户提供实时通信中的语音文字翻译系统平台，从而使用户从发起语音访问或文本信息开始，启动语音识别引擎，将人说话的语音信号转换为可被计算机程序所识别的文字信息，从而识别说话人的语音指令以及文字内容。由翻译引擎服务器发起关联，实现多语录种语音文字在通信中即时翻译。
下面结合附图详细描述本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的具体实施例实施例一基于internet的即时互译通信系统。
1.系统整体结构基于internet的即时互译通信系统由控制服务器、数据库服务器、多语种语音文字翻译服务器构成的服务器端设备和由客户机构成的用户终端设备通过internet联接构成。其中客户机包括客户机主机、internet接入设备和语音视频设备。
参考图1，客户机主机1由Internet接入设备10接入internet。多语种语音文字翻译服务器4提供internet即时通信中的即时互翻译服务；控制服务器7完成通信过程的信令控制及状态管理；数据库服务器8提供数据库服务。
语音视频设备3为客户机主机1的输入设备，负责为该客户机主机1输入语音视频信息。
在本发明提供的一个实施例中，还提供了用于HTML与VOICEXML转换的VoiceXML语音网关6，其与提供互联网服务的www服务器5共同提供用户访问www网的服务。
在多语种语音文字翻译服务器4中部署有用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件；客户机主机1中则部署有通信信令控制和管理、数据传输控制、数据安全管理、语音数据处理、视频数据处理、语音及文字信息即时翻译、文字数据处理、文件传输、留言(语音、文字和/或视频)管理、自动更新支持、IVR支持和硬件设备支持等功能，可独立运行的独立客户端软件和/或与所述独立客户端软件功能一致，但需要与浏览器结合运行的组件客户端软件和用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件；数据库服务器8中还可部署用于语音标记语言与关系型数据库的相互转换的XML-DB转换模块。
系统通信的过程即客户机主机中的独立客户端软件或组件客户端软件之间的交互通信过程。这一过程即internet即时通信(IM)过程，该技术为公知技术，这里不在赘述。当其中任意两台客户机主机通过独立客户端软件或组件客户端软件交互通信时，发信息的一方我们称之为发送端，接收信息的一方我们称之为接收端，当然，任一客户机主机既可以做发送端也可以做接收端，因此，我们把通信双方称为第一发送/接收端和第二发送/接收端。一次单向通信的过程即是第一发送/接收端发出信息，在控制服务器7的控制下，通过多语种语音文字翻译服务器4的翻译，发送到第二发送/接收端时即是经过翻译的语音文字信息了。
需要说明的是该系统的整体组成具有可伸缩性，客户机主机中可以部署翻译引擎，语音识别引擎ASR，语音合成引擎TTS，语音通道等软件，也可以不部署。数据库服务器8、控制服务器7、www服务器5、客户机主机1、VoiceXML语音网关6在数量上是不限的。
2.控制服务器的功能及实现所述控制服务器的主要功能包括通信信令控制和管理、用户管理、权限控制、数据存储和中转、客户端管理、计费管理、数据安全管理等。通信信令由自主设计，用于支持客户端呼叫、寻找、建立连接、状态控制、数据交换和中转、防火墙侦测和穿透等，翻译引擎，语音识别引擎ASR，语音合成引擎TTS，语音识别与转换控制等，采用TCP/IP协议栈提供的SOCKET接口函数实现。用户管理主要对用户的相关资料和数据进行管理，应用本系统的每个用户(包括企业用户和个人用户)都有至少一个独立的标识号码，权限控制用于实现权限管理和控制，数据存储和中转用于管理临时数据，客户端管理实现客户端版本控制和自动版本更新功能，用户管理、权限控制、数据存储和中转和客户端结合数据库存技术进行实现。计费管理用于系统访问量化或可能用于计费的未来部署。数据安全管理用于支持数据的安全传输，数据的安全传输采用通用的对称密钥算法和非对称密钥算法机制，具体算法涉及RSA、MD5和DES/3DES。
参考图3，控制服务器软件结构方框图中，控制功能服务器采用分层结构设计，数据传输控制层C02，通过网络传输层(TCP/IP协议栈)C01提供的TCP/IP开发接口完成数据传输；数据安全管理层C03采用数据传输控制层C02提供的接口完成数据的安全传输；通信信令的控制和管理C04采用数据安全管理层C03提供的接口完成通信信令和数据的传输；应用功能层部分(包括客户端管理C07、数据存储和中转C06、用户管理C10、权限控制C08、计费管理C09)采用通信信令的控制和管理C04、数据安全管理层C03、数据传输控制层C02实现具体的功能，同时应用功能层部分还需要结合数据库系统；系统的独立客户端C13、组件客户端C14、翻译引擎，语音识别引擎ASR，语音合成引擎TTS，语音通道C 15主要通过应用功能层和控制服务器进行通信。
3.系统的软件系统结构系统的软件系统整体上采用C/S结构，即客户端/服务器结构。其中服务器端软件作为独立的应用(或服务)来运行，结合软件分布式技术，根据客户端数量，服务器端软件可以部署在一台或多台计算机上，从而平衡服务器端流量，服务器主要完成一些控制功能，我们把服务器叫做控制服务器。客户端软件采用两种方式来实现即可以独立运行的客户端(我们称之为独立客户端)和作为软件组件形式的客户端(我们称之为组件客户端)。独立客户端是一个独立的应用程序，可以单独运行；组件客户端为一个ActiveX控件，需要在其他应用程序容器中运行，如浏览器。在本发明的一个具体实施例中，根据具体的应用形式，该ActiveX控件可以部署在IE浏览器并与其结合。
IM即时通信可以通过启动IE运行组件客户端，也可直接运行独立客户端，发起通信时与翻译引擎发生关联完成翻译。客户端和服务器端通过TCP/IP协议进行通信。
参考图2，软件系统结构方框图中，软件系统整体上包括控制服务器和客户端两部分，控制服务器采用分层的设计结构，即控制服务器由数据传输控制B02、数据安全管理B03、通信信令控制与管理B04、应用处理层(包括语音文字翻译引擎，语音识别引擎ASR，语音合成引擎TTS，语音通道(上述这4个部分本图未示，详见图3)，语音部分B06、视频部分B07、数据存储和中转B08、权限控制B09、客户端管理B10等子系统)等部分组成。客户机也采用分层设计结构，并且和服务器端具有对应的分层处理。客户机和服务器通过网络传输层(TCP/IP协议栈进行直接的数据通信)，另外，系统还包括数据库服务器B11。
4.客户端功能及实现客户机的软件功能实现包括独立客户端软件和组件客户端软件两种方式，两种方式在功能实现上基本一致，独立客户端是全功能客户机，除担负基本通信功能外，还具备翻译引擎功能，企业端还作为语音、视频、文字、文件等多语种语音文字信息编译端、组件客户端不能独立运行，但可以集成在其它容器当中，作为其他客户机的一部分。客户端的功能包括通信信令控制和管理、数据传输控制、数据安全管理、语音数据处理、视频数据处理、文字消息处理、文件传输、留言(语音、文字和视频)管理、自动更新支持、IVR支持和硬件设备支持等。客户端通信信令控制和管理和服务器端通信信令控制和管理功能配合，完成语音识别ASR，语音转换TTS，翻译引擎完成多语种互翻译，完成VOIP呼叫、寻的，建立连接、状态控制、数据交换和中转、防火墙侦测和穿透等功能，数据传输控制用于完成数据的实时传输控制、自适应带宽控制、非实时数据的传输，客户端通信信令控制和数据传输控制采用TCP/IP协议栈实现；客户端数据安全管理和服务器端数据安全管理互相配合，完成数据安全传输，采用通用的对称密钥算法和非对称密钥算法机制，非对称密钥算法采用RSA，对称密钥算法采用DES/3DES，哈希算法采用MD5；语音数据处理包括语音的实时捕获、编码解码(CODEC)、传输、回放，视频数据处理包括视频的实时捕获、编码解码(CODEC)、传输、播放，语音和视频的编码遵循国际的语音和视频编码解码算法；文字消息处理完成即时的文字信息传输，文件传输用于传输文件数据，文字消息处理和文件传输都采用密文的方式进行传输；自动更新支持完成客户端软件的自动升级；IVR支持完成交互式的语音、视频、图文响应，通信连接的一端根据另一端的操作，自动响应，向另一端播放或者显示语音、视频、图文内容。
参考图4，客户端结构方框图中，客户端采用分层结构设计，数据传输层D02、数据安全管理D03、通信信令控制和管理D04和控制服务器基本对应，但在客户端数据传输层D02中，实现实时传输控制、自适应传输控制及非实时传输控制；在功能层D05中，包括版本更新、文字消息、文件传输、留言管理、IVR管理；翻译引擎，语音识别ASR，语音转换TTS以及音频和视频的处理功能。
5.组件客户端软件与IE浏览器结合及与独立客户端软件的通信翻译基于IM的组件客户端软件与独立客户端软件是系统客户端软件的两种方式，两种方式在功能实现上基本一致，在进行通信时，无论是组件客户端软件还是独立客户端软件，都具备一个独立的标识码，组件客户端软件可以直接呼叫组件客户端软件，也可呼叫独立客户端软件，反之也然，INTERNET端对端通信，二种客户端软件都需要数据库服务器及数据控制服务器常连接，由次完成系统通信信令控制和管理、用户管理、权限控制、数据存储和中转、客户端管理、计费管理、数据安全管理等；当客户端对另一端发起呼叫、寻找、建立连接时，除独立客户端之间的通信外，其它的呼叫请求首先被发往翻译服务器，由翻译引擎执行翻译，如A端的用户使用的语种是中文，对端B用户是用的语种是英文，无论发出的是语音或文本信息，都有ASR，TTS及翻译引擎关联完成通信中的翻译，独立客户端软件之间的通信其翻译将根据发起端与受话端的语音或文字的语种选择由本地客户端完成。
在图5中企业可通过部署WWW服务器为用户提供语音信息服务，企业被访问时需要首先播放的语音文件通过VoiceXML语音网关，XML与DB模块，语音通道，翻译引擎等关联即可实现。
6.组件客户端软件与IE浏览器结合组件客户端软件可以在IE浏览容器环境运行，可以通过客户端浏览器脚本语言，实现作为软件组件形式的客户端与IE浏览容器结合。直接生成于IE框上，当IE启动时组件客户端被激活。
在图5中，组件客户端与IE浏览容器结合中，Internet用户利用浏览器E01在语音通道呼叫目标用户或发送文本信息，经ASR，TTS，翻译引擎实现多语种语音及文本信息在通信中完成即时翻译，组件客户端软件还可关联控制服务器及数据库服务器，控制服务器把数据库服务器关于站点的信息由VoiceXML语音网关把HTML转换成VXML，客户端获取语音信息。组件客户端完成通信中的即时翻译。
组件客户端软件嵌入到IE浏览器，其表现形式是控件元素，控件元素可以是一个按钮、图标、图片、文字、链接，也可是其他别的可视的内容。参考图6，组件客户端软件以控件的形式表现在IE浏览器中。用户通过直接操作或呼叫或用鼠标、键盘、或者其他输入设备来点击控件元素发起关联通信。
实施例二基于PSTN公共电话网或无线移动电话网的即时互译通信系统。
本发明的另一个实施例中提供了一种基于传统的PSTN公共电话网或无线移动电话网(GSM，CDMA，3G，SMS等通信方式)的多语种语音，文字的即时通信翻译系统，仍按客户端/服务器结构形式构建，如图7，图中PSTN公共电话网及移动电话网中的电话终端用户作为客户端，在PSTN及移动电话网的交换中心部署一台或多台翻译服务器，由控制服务器实施管理，服务器端具有文字消息翻译传输、留言管理、IVR管理；翻译引擎，翻译模块，语音识别ASR，语音转换TTS以及音频的处理功能。
当终端用户发起语音通话时，经电话终端语音通道被送往翻译服务器，服务器根据主叫用户或被叫用户的语种选择执行翻译，通信中即时翻译完成。
当终端用户发起移动网或固网的SMS短信通信时，短信中心将文本信息送翻译服务器，返回结果由短信中心送达被叫，用户回复短信流程相同。
图8是本发明提供的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法的流程图。系统初始化步骤具体实现为用户启动组件客户端软件或独立客户端软件或在公共电信网或移动通信网中用电话终端执行拨号；第一发送/接收端发送信息通过网络到服务器步骤具体实现为IM用户使用组件客户端软件或独立客户端软件通过语音视频设备发起语音呼叫，或用键盘发送文本信息，公共电信网中或移动通信网电话终端用户开始通话或发送SMS短信；服务器响应并将信息翻译成指定语种信息步骤具体实现为系统发起关联通信并激活翻译引擎，翻译成对应语种的语音及文字信息；服务器将翻译完的信息通过网络发送到第二发送/接收端步骤具体实现为IM用户的信息接收端是独立客户端软件或组件客户端软件，公共电信网或移动通信网的用户的信心接收端是电话终端，各网络的服务器将把翻译好的信息传送给各自的接收端；然后一次单向通信结束。此过程可根据用户需要不断进行，所述第一发送/接收端设备和第二发送接收端设备将交互的发送和接收信息，各自使用各自的语言，能够无障碍的交流。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。
权利要求
1.一种基于网络的多语种语音和/或文字信息的即时互译通信系统，包括用户终端设备和服务器端设备，所述用户终端设备和服务器端设备分别与网络联通，通过该网络进行通信，其特征是所述服务器端设备包括用于通信信令控制和管理、用户管理、权限控制、数据存储和中转、客户端管理、计费管理、数据安全管理的控制服务器；用于语音及文字信息的即时翻译的多语种语音文字翻译服务器，所述用户终端设备包括至少一个第一发送/接收端设备；至少一个第二发送/接收端设备，当使用所述第一发送/接收端设备通过所述网络与所述第二发送/接收端设备通信时，所述控制服务器控制所述翻译服务器将所述第一发送/接收端设备发送的语音或文字信息翻译成对应语种的语音或文字信息并发送到所述第二发送/接收端设备上，该系统既能实现一个语种对应另一语种的即时语音和/或文字的即时通信翻译，也能实现一个语种对多个语种的语音和/或文字即时通信翻译。
2.如权利要求1所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，其特征在于所述翻译服务器部署有用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件。
3.如权利要求2所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，其特征在于所述网络为互联网(internet)；所述第一发送/接收端设备和第二发送/接收端设备为客户机，该客户机包括客户机主机，该客户机主机部署有具有通信信令控制和管理、数据传输控制、数据安全管理、语音数据处理、视频数据处理、语音及文字信息即时翻译、文字数据处理、文件传输、留言(语音、文字和/或视频)管理、自动更新支持、IVR支持和硬件设备支持等功能，可独立运行的独立客户端软件和/或与所述独立客户端软件功能一致，但需要与浏览器结合运行的组件客户端软件和用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件；所述客户机还包括用于语音和视频信号的捕获和转换的语音视频设备和与所述互联网相联接的internet接入设备；所述服务器端设备还包括用于数据操作和存储的数据库服务器。
4.如权利要求3所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，其特征在于所述数据库服务器还部署有语音标记语言与关系型数据库相互转换的XML-DB转换模块，所述服务器端设备还包括VoiceXML语音网关；和用于信息发布和采集及所述组件客户端软件部署的WWW服务器。
5.如权利要求2所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，其特征在于所述网络为PSTN公共电话网或无线移动电话网，所述第一发送/接收端设备和第二发送/接收端设备为固定电话或移动电话，所述翻译服务器还部署有语音标记语言与关系型数据库相互转换的XML-DB转换模块。
6.如权利要求5所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，其特征在于所述无线移动电话网的通信方式为GSM，CDMA，3G，SMS通信方式。
7.如权利要求3所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统，其特征在于所述浏览器为IE浏览器，该IE浏览器与所述组件客户端软件结合的形式是组件客户端软件设计为浏览器组件或插件元素。
8.一种基于如权利要求1所述的基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法，其特征在于一次单向通信包括如下步骤(1)系统初始化；(2)所述第一发送/接收端设备发送语音和/或文字信息通过所述网络到达所述服务器端设备；(3)所述控制服务器控制所述翻译服务器将所述语音和/或文字信息翻译成对应语种的语音和/或文字信息并通过网络发送到第二发送/接收端设备；(4)一次单向通信结束。
9.如权利要求8所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法，其特征在于所述网络为互联网(internet)；所述第一发送/接收端设备和第二发送/接收端设备为客户机，该客户机部署有可独立运行的独立客户端软件和/或与所述独立客户端软件功能一致，但需要与浏览器结合运行的组件客户端软件和用于语音及文字信息即时翻译的多语种语音文字翻译引擎软件、语音识别(ASR)引擎软件，语音合成(TTS)引擎软件，语音通道软件；该客户机还包括用于语音和视频信号的捕获和转换的语音视频设备和与所述互联网相联接的internet接入设备；所述服务器端设备还包括用于数据操作和存储的数据库服务器。
10.如权利要求8所述的一种基于网络的多语种语音和/或文字信息的即时互译通信系统的通信方法，其特征在于所述网络为PSTN公共电话网或无线移动电话网，所述第一发送/接收端设备和第二发送/接收端设备为固定电话或移动电话。
全文摘要
本发明提供了一种基于网络的多语种语音、文字的即时互译通信系统，尤指基于INTERNET的即时通信(IM)，PSTN公共电话网，其它无线移动电话网(GSM，CDMA，3G，SMS等通信方式)的多语种语音、文字的即时互译通信系统。该系统由用户终端设备和服务器端设备组成，两设备分别与网络联通，通过网络进行通信，服务器端设备包括控制服务器和多语种语音文字翻译服务器，用户终端设备包括至少一个第一发送/接收端设备和至少一个第二发送/接收端设备。系统能实现一个语种对应另一语种的语音或文字的实时通信翻译，也能实现一个语种对多个语种受众的语音或文字实时通信翻译。此外本发明还公开了基于该系统的一种通信方法。
文档编号G10L13/00GK1770747SQ200510100298
公开日2006年5月10日 申请日期2005年10月17日 优先权日2005年10月17日
发明者陈汉奕 申请人:陈汉奕