专利名称：便携式即时方言互译装置及其方法
技术领域：
本发明涉及一种电子技术，特别是一种可以将使用者所说的某种方言转换成另一种方言、或将其他人所说的方言转换成使用者使用的方言的便携式方言互译机，以及相应的方言互译方法。
背景技术：
说话是人类进行交流最直接、最自然的方式，我们日常生活中很大一部分的信息都是通过说话来进行传递和获取的。如果由于某些原因而无法用说话来进行交流的话，人与人之间信息传递的效率将会大大降低，从而给生活带来巨大的不便。
我国幅员辽阔，具有众多的民族，长期以来在各民族聚居的地方形成了多种独特的文化，也形成了各种各样的方言，例如仅在广东省内就存在粤语、潮汕话、客家话、雷州话等多种地区方言。这些方言虽然大多数都以中文为基础，但它们通常在发音、用词、句式等方面与常用的普通话有着较大的差别，方言与方言之间也存在着许多差异，这使得一个地区的人如不经过学习很难听懂或说另一地区的本地话。为了消除各地区语言上的差别，建国以来国家大力推广普通话教育，取得了很大的成绩。但尽管如此，在许多普通话教育还不够普及的地区，人们日常的交流仍以本地方言为主，不少人甚至还不懂得普通话的听和说。方言与普通话、方言与方言之间的差异使得来自不同地区的人常常难以正常地通过说话进行交流，种类繁多的方言也使得一般人无法一一学习。随着各地间交往的增多，语言不通日益成为人们出行中的最常遇到的不便之一。
解决出行中语言不通的问题目前主要采取两种方法，其一是大家都说普通话，但这个要求对不少人来说难度较大；或者是找一位懂得两位说话人使用语言的人作为翻译，将两人的话互译为对方的方言，但许多情况下这种翻译并是随时都能找到的，如在外出旅游时就会经常碰到语言不通但又找不到可翻译的人的情况。当然还可以通过写字、打手势等非说话的方式进行交流，但这些方法与说话相比显然要麻烦得多，使用起来极为不便。
发明内容
本发明的目的在于针对我国方言种类多、差别大，普通话尚未全面普及，尚无有效的方法解决语言不通的问题的现状，提供了一种便携式即时方言互译机。
本发明的另一目的在于提供一种即时方言互译的方法。
为了达到发明目的一，本发明采用的技术方案为一种便携式即时方言互译装置，由中心处理器、存储器、语音接收电路、语音播放电路、计算机接口电路、显示电路、功能选择开关或按键电路、译码电路组成，所述的存储器、语音接收电路、语音播放电路、计算机接口电路、显示电路、功能选择开关或按键电路、译码电路通过地址线、或数据线、或控制线与中心处理器连接。
上述技术方案中，中心处理器为本发明的方言互译装置的核心部件，用以处理输入语音信号、产生输出语音信号、控制系统与计算机之间的通信、以及提供对显示屏、功能选择开关或按键等设备的控制功能。
本发明的方言互译装置的存储器采用大容量的闪存芯片，且通过地址线、控制线、数据线与中心处理器连接。存储器为方言互译装置提供存储空间。
本发明的方言互译装置的语音接收电路由麦克风、前置放大电路和A/D转换器组成，其主要功能是接收外界的声音信号，并转换为中心处理器可以处理的数据格式，传送至中心处理器进行处理；而语音播放电路由D/A转换器、功率放大电路和扬声器组成，其主要功能是将中心处理器需要播放的语音信号转换为人类可听的语音；所述的语音接收电路和语音播放电路均通过数据线和控制线与中心处理器连接。
本发明的方言互译装置的计算机接口电路由计算机接口控制器和计算机接口共同构成，且通过控制线和数据线与中心处理器连接。为中心处理器和计算机之间提供接口。
本发明的方言互译装置的显示电路由LCD显示屏和LCD控制器组成，且通过数据线和控制线与中心处理器连接。用以显示方言互译装置的工作状态或其他信息。
本发明的方言互译装置的功能选择开关或按键电路由键盘阵列和键盘控制器组成，且通过数据线和控制线与中心处理器连接。使用者可以通过开关或按键来对方言互译装置的状态进行控制和设置。
本发明的方言互译装置的译码电路通过地址线与中心处理器连接，为各部分电路提供片选信号。
为了达到发明目的二，本发明采用的技术方案如下一种即时方言互译方法，包括如下几个步骤(1)、建立语音系统包括建立语音识别模型库、语音合成模型库和方言文法转换表；
(2)、记录原始语音信息(A)通过语音接收电路记录现场的原始语音信息；(3)、识别原始语音信息(A)中心处理器根据步骤(1)所建立的语音识别模型库识别原始语音信息的内容；(4)、将原始语音信息(A)转换成目标语音信息(B)中心处理器根据步骤(1)所建立的方言文法转换表将原始语音信息(A)转换成目标语音信息(B)；(5)、播放目标语音信息(B)中心处理器根据步骤(1)所建立的语音合成模型库合成目标语音信息(B)，并通过语音播放电路将目标语音信息播出。
本发明的方言互译方法，所述步骤(1)建立语音系统包括如下步骤(1)、确定需互译的方言种类，并根据实际的需要确定每种方言的词汇表和句子列表；(2)、根据每种方言的句子列表，建立方言文法转换表，对于两种方言之间的互译，方言文法转换表具体又可分为两部分，一部分为方言(C)的句子到方言(D)的句子的映射，另一部分为方言(D)的句子到方言(C)的句子的映射，两部分均为一张多对一的列表；(3)、根据所确定的系统词汇表，对每种方言的每个词汇采集训练数据，采用统计的方法建立语音识别模型库；(4)、根据系统的词汇表以及所采用的合成方法不同，以语句、短语、词或音节为单位，或音节、半音节、音素为单位建立语音合成模型库，通过对样本数据的编码分析，得到语音合成所需的模型参数。
本发明的方言互译方法，所述步骤(3)识别原始语音信息(A)包括如下步骤(1)采用端点检测技术，检测出所录制声音中所有语音段的起点和终点；(2)采用关键词确认技术，对所有方言，分别利用其对应的语音识别模型库识别出语音段中包含的系统可识别词汇，无法识别的词汇采用特殊的符号来代替，并将每句话的识别结果按先后顺序进行排列；(3)将不同方言识别得到的每句话的内容与该方言预定的句子内容进行比较，首先找出所有方言中与所记录语音最匹配的句子，然后将该句子和所记录语音的匹配程度与一预先设定的阈值进行比较，如果超过该阈值，则该句子为识别结果，该句子所属的方言为当前记录语音的方言，如果少于该阈值，则提示使用者无法识别该段声音。
本发明提供的方言互译装置可以实现普通话与方言之间、或方言与方言之间一些常用语的互译，即可以将接收到的一段常用的普通话或某种方言的语音转换为另一种方言或普通话再进行播放，使得使用者无需通过第三者翻译即可直接与使用其他方言的人进行简单的交谈，可有效地解决出行时语言不通的问题。
本发明的有益之处包括1、利用本发明，两个语言不通的人无需通过第三者或写字、打手势等方式即可方便地进行一些交流，如购物、餐饮等等，有效地改善了人们出行中遇到的语言不通的问题。
2、本发明的电路体积小，重量轻，可以随身携带，方便人们使用。
3、通过合理地设计系统的词汇和句子，可以方便地设计出适用于不同场合的方言互译机，并能实现多种方言之间的互译。
4、可以通过用计算机下载更新语音识别模型库、语音合成模型库和方言文法转换表的方法，来改变系统适用的方言以及词汇。
图1为本发明提供的方言互译装置的结构原理图；图2为本发明实施例的电路原理图；图3为本发明实施例的程序流程图。
具体实施例方式
下面结合附图对本发明做进一步的说明。
本发明提供的方言互译机的结构原理图如附图1所示，由中心处理器、存储器、语音接收电路、语音播放电路、计算机接口电路、显示电路、功能选择开关或按键电路、译码电路组成，所述的存储器、语音接收电路、语音播放电路、计算机接口电路、显示电路、功能选择开关或按键电路、译码电路通过地址线、或数据线、或控制线与中心处理器连接。
本实施例的硬件电路原理图如图2所示，中心处理器由DSP或MCU芯片构成；语音输入电路由麦克风、前置放大电路和A/D转换器共同构成；语音输出电路由D/A转换器、功率放大电路和扬声器共同构成；存储器采用大容量的闪存芯片；计算机接口电路由计算机接口控制器和计算机接口共同构成，使用者可以通过该接口从计算机中下载新的语音识别模型库、语音合成模型库和方言文法转换表；显示电路由LCD显示屏和LCD控制器共同构成，用以显示系统当前的一些状态信息，如时间、互译方言种类、是否正在翻译、翻译时已录入语音的长短、系统设置时的菜单等；功能选择开关或按键电路由键盘阵列和键盘控制器共同构成，其中键盘阵列中包含一“翻译”功能按键，当需要进行方言翻译时，使用者按住“翻译”功能键并对麦克风说话，说完话后，松开“翻译”功能键，互译机即自动将使用者所说的话转换为所需的方言，通过互译机上的扬声器播放出来；键盘阵列上还设有另一些可对系统状态进行设置的按键，可通过这些按键对系统的一些参数进行设置，如在系统可以处理多种方言时，设定当前互译的方言类型。
实施例的软件流程如图3所示，当开机上电后，系统首先进行初始化。初始化结束后，进入主程序循环，系统不断检测计算机接口是否与计算机连接，以及按键状态。当检测到计算机接口与计算机连接后，则停止其他操作，进入联机状态。此时使用者可通过计算机下载新的语音识别模型库、语音合成模型库以及方言文法转换规则表，以更新系统适用的方言或词汇。当使用者完成下载，并将计算机与系统断开连接后，系统退出联机状态，恢复正常的操作。如果系统没有与计算机连接并有按键操作时，判断使用者是否按下“翻译”功能键，当使用者按下“翻译”键时，进行以下操作1、使用者按下“翻译”功能键的同时，开始在内存缓冲区中对输入的声音信号进行记录，当使用者放开“翻译”功能键时，停止声音信号的记录，启动语音识别进程。由于直接记录原始声音信号需要较大的存储空间，因此先将原始语音信号转换为识别时所需要的语音特征，再对这些语音特征进行记录，这样可以节约大量的存储空间。
2、语音识别进程中，对记录下的声音段进行检测和识别，具体又可以分为以下步骤(1)采用端点检测技术，检测出所录制声音中所有语音段的起点和终点。
(2)采用关键词确认技术，对系统的所有方言，分别利用其对应的语音识别模型库识别出语音段中包含的系统可识别词汇，无法识别的词汇采用特殊的符号来代替，并将每句话的识别结果按先后顺序进行排列。
(3)将不同方言识别得到的每句话的内容与该方言预定的句子内容进行比较，首先找出所有方言中与所记录语音最匹配的句子，然后将该句子和所记录语音的匹配程度与一预先设定的阈值进行比较，如果超过该阈值，则该句子为识别结果，该句子所属的方言为当前记录语音的方言，如果少于该阈值，则提示使用者无法识别该段声音。
3、根据语音识别得到的方言种类和句子内容，以及系统当前设置的互译方言种类，利用方言文法转换表，对识别结果的每个句子转换为另一种方言的句子。
4、利用语音合成模型库，将已经转换好的句子用语音合成技术进行合成，并控制语音播放电路进行播放，具体又可以分为以下几个步骤(1)根据所需的方言类型和转换好的句子内容，在语音合成模型库中找出所需用到的语音合成模型，并加载这些模型。
(2)利用已加载的语音合成模型，用语音合成技术产生所需要的数字语音信号。
(3)向D/A转换器输出该语音信号。
当使用者按下其他功能键时，执行相应的功能操作，例如在系统可以处理多种方言时，对当前互译方言种类的指定等。
语音识别模型库、语音合成模型库和方言文法转换表由生产厂家以软件的形式提供给使用者，使用者可以通过互译机的计算机接口从计算机上下载不同的语音识别模型库、语音合成模型库和方言文法转换表。语音识别模型库、语音合成模型库和方言文法转换表可以通过以下方法建立1、确定需互译的方言种类，并根据实际的需要确定每种方言的词汇表和句子列表。
2、根据每种方言的句子列表，建立方言文法转换表。对于两种方言之间的互译，方言文法转换表具体又可分为两部分，一部分为方言A的句子到方言B的句子的映射，另一部分为方言B的句子到方言A的句子的映射，两部分均为一张多对一的列表。这是因为不少句子虽然用词不同，但其意思是一样的，例如普通话的“请问到北京路怎么走？”和“北京路怎么去？”意思都是问去北京路的方法，因此转换时可以当作一个句子来翻译。
3、根据所确定的系统词汇表，对每种方言的每个词汇采集训练数据，采用统计的方法建立语音识别模型库。目前语音识别中最常用的统计模型为HMM，可以采用EM训练方法由训练数据得到每个词汇的HMM模型，语音特征可采用MFCC、LPCC、PLP以及音调变化轨迹等。在建立系统词汇表内词汇的语音识别模型的同时，还需建立词汇表外词汇的填料模型。
4、根据系统的词汇表以及所采用的合成方法不同，以语句、短语、词或音节为单位(适用于语音的波形编码合成法)，或音节、半音节、音素为单位(适用于语音的参数分析合成法和规则合成法)建立语音合成模型库，通过对样本数据的编码分析，得到语音合成所需的模型参数。
权利要求
1.一种便携式即时方言互译装置，其特征在于由中心处理器、存储器、语音接收电路、语音播放电路、计算机接口电路、显示电路、功能选择开关或按键电路、译码电路组成，所述的存储器、语音接收电路、语音播放电路、计算机接口电路、显示电路、功能选择开关或按键电路、译码电路通过地址线、或数据线、或控制线与中心处理器连接。
2.根据权利要求1所述的方言互译装置，其特征在于所述的存储器采用大容量的闪存芯片，且通过地址线、控制线、数据线与中心处理器连接。
3.根据权利要求1或2所述的方言互译装置，其特征在于所述的语音接收电路由麦克风、前置放大电路和A/D转换器组成，所述的语音播放电路由D/A转换器、功率放大电路和扬声器组成，所述的语音接收电路和语音播放电路均通过数据线和控制线与中心处理器连接。
4.根据权利要求3所述的方言互译装置，其特征在于所述的计算机接口电路由计算机接口控制器和计算机接口共同构成，且通过控制线和数据线与中心处理器连接。
5.根据权利要求4所述的方言互译装置，其特征在于所述的显示电路由LCD显示屏和LCD控制器组成，且通过数据线和控制线与中心处理器连接。
6.根据权利要求5所述的方言互译装置，其特征在于所述的功能选择开关或按键电路由键盘阵列和键盘控制器组成，且通过数据线和控制线与中心处理器连接。
7.根据权利要求6所述的方言互译装置，其特征在于所述的译码电路通过地址线与中心处理器连接。
8.一种使用权利要求1的方言互译装置的即时方言互译方法，其特征在于包括如下几个步骤(1)、建立语音系统包括建立语音识别模型库、语音合成模型库和方言文法转换表；(2)、记录原始语音信息(A)通过语音接收电路记录现场的原始语音信息；(3)、识别原始语音信息(A)中心处理器根据步骤(1)所建立的语音识别模型库识别原始语音信息的内容；(4)、将原始语音信息(A)转换成目标语音信息(B)中心处理器根据步骤(1)所建立的方言文法转换表将原始语音信息(A)转换成目标语音信息(B)；(5)、播放目标语音信息(B)中心处理器根据步骤(1)所建立的语音合成模型库合成目标语音信息(B)，并通过语音播放电路将目标语音信息播出。
9.根据权利要求8所述的方言互译方法，其特征在于所述步骤(1)建立语音系统包括如下步骤(1)、确定需互译的方言种类，并根据实际的需要确定每种方言的词汇表和句子列表；(2)、根据每种方言的句子列表，建立方言文法转换表，对于两种方言之间的互译，方言文法转换表具体又可分为两部分，一部分为方言(C)的句子到方言(D)的句子的映射，另一部分为方言(D)的句子到方言(C)的句子的映射，两部分均为一张多对一的列表；(3)、根据所确定的系统词汇表，对每种方言的每个词汇采集训练数据，采用统计的方法建立语音识别模型库；(4)、根据系统的词汇表以及所采用的合成方法不同，以语句、短语、词或音节为单位，或音节、半音节、音素为单位建立语音合成模型库，通过对样本数据的编码分析，得到语音合成所需的模型参数。
10.根据权利要求8或9所述的方言互译方法，其特征在于所述步骤(3)识别原始语音信息(A)包括如下步骤(1)采用端点检测技术，检测出所录制声音中所有语音段的起点和终点；(2)采用关键词确认技术，对所有方言，分别利用其对应的语音识别模型库识别出语音段中包含的系统可识别词汇，无法识别的词汇采用特殊的符号来代替，并将每句话的识别结果按先后顺序进行排列；(3)将不同方言识别得到的每句话的内容与该方言预定的句子内容进行比较，首先找出所有方言中与所记录语音最匹配的句子，然后将该句子和所记录语音的匹配程度与一预先设定的阈值进行比较，如果超过该阈值，则该句子为识别结果，该句子所属的方言为当前记录语音的方言，如果少于该阈值，则提示使用者无法识别该段声音。
全文摘要
本发明提供一种便携式即时方言互译装置及其方法，由中心处理器、存储器、语音接收电路、语音播放电路、计算机接口电路、显示电路、功能选择开关或按键电路、译码电路组成；通过(1)、建立语音系统；(2)、记录原始语音信息(A)；(3)、识别原始语音信息(A)；(4)、将原始语音信息(A)转换成目标语音信息(B)；(5)、播放目标语音信息(B)实现方言的互译；本发明可以实现普通话与方言之间、或方言与方言之间一些常用语的互译，使得使用者无需通过第三者翻译即可直接与使用其他方言的人进行简单的交谈，可有效地解决出行时语言不通的问题。
文档编号G10L15/00GK1645363SQ20051003265
公开日2005年7月27日 申请日期2005年1月4日 优先权日2005年1月4日
发明者韦岗, 张军, 聂文斐 申请人:华南理工大学