外语自动实时标注中外文字幕音像录播方法
【专利摘要】本技术方案是一种外语自动实时标注汉语字幕录音录像方法，属于声音和图像数据处理【技术领域】。在现场实时音像录播时，通过拾音器或话筒，将外语语音传输给录音录像设备，经过外语语音识别模块、汉字汉语语音码转换模块、视频画面或影像画面字幕叠加机模块、网络传输模块，服务器音视频解码解压缩软件模块、客户端音视频音像播放软件模块的处理，所有登陆到这个服务器的终端都可以实时看到上述现场实时带字幕和外语原声语音的影像画面，提高了影像字幕标注的实时性和效率，并实现了处理的自动化。
【专利说明】外语自动实时标注中外文字幕音像录播方法
【技术领域】
[0001]本技术方案属于声音和图像数据处理【技术领域】。
【背景技术】
[0002]目前市面上的外语有声影像资料的汉字或外文或其对照字幕叠加，一般通过人工方式将外语有声影像资料中的外语转换成汉字或外文，再交给视频画面或影像画面字幕叠加机将表达汉语意思的汉字字幕叠加在视频画面或影像画面上，由于存在大量实时或非实时的世界各地的外语有声影像资料，包括电视录像和电影等有声影像资料，因此，如果单靠采用人工转换的方式会很费工费时而且很难做到实时传输，随着数字有声影像技术的出现，特别是计算机系统用于处理视频影像资料的技术出现，越来越需要有一种能自动实时将外语语音的音像转自动加注中外文字幕的技术出现，而且这种能自动根据汉语或外语语音实时转换成汉语或外语字幕的技术不但能在带汉字系统的计算机系统中运行，还能再不带汉字系统只带128个字符的ASCII码系统的以美国为代表的西方国家的计算机系统中运行，以满足世界互联网的日益广泛的运用和云计算、物联网以及世界各地汉语热的出现，中西文化交流越来越频繁的新形势的需要。
【发明内容】
[0003]本技术方案的提出就是为了解决上述出现这些问题。具体来说本技术方案通过采用以下的外语自动实时标注中外文字幕音像录播方法的技术来解决上述出现的问题:
本技术方案采用的是一种外语自动实时标注中外文字幕音像录播方法，在进行现场实时音像录播时，通过拾音器或话筒，将外语语音传输给录音录像设备，录音录像设备通过嵌入录音录像设备中的现有计算机软件做好通过摄像机摄制的视频画面或影像画面与对应的有声语言的音频信号同步信号标记并储存在录音录播设备的储存系统中，然后将带同步信号标记的有声语言的音频信号提取出来传给嵌入录音录像设备计算机中的外语语音识别模块，外语语音识别模块将外语语音识别成带与所识别的外语语音相同同步信号标记的用26个拉丁字母表示的外文，再通过机器翻译模块将上述外文翻译成用26个拉丁字母表示的与对应外文句子具有相同同步信号标记的指定的汉语语音码句子，再将上述带同步信号标记的汉语语音码字幕或外文字幕或它们对照文本字幕传输给现有的视频画面或影像画面字幕叠加机模块，根据汉语语音码字幕或外文字幕或它们对照文本字幕与视频画面或影像画面同步信号标记的对应关系将字幕信息叠加在视频画面或影像画面上，并通过音视频编码压缩模块进行编码和压缩，经编码和压缩后再传输给网络传输模块，再由网络传输模块将编码和压缩后的上述具有相同同步信号标记的带字幕和外语语音的视频画面或影像画面传输到宽带网络，宽带网络将其连接到指定的服务器上进行储存，在服务器音视频解码解压缩软件模块、客户端音视频音像播放软件模块的支持下，所有登陆到这个服务器的终端都可以实时看到上述现场实时带字幕和语音的音像画面。
[0004]上述网络传输模块，可以是有线网络传输模块也可以是3G、4G、wif1、wimax、蓝牙无线网络传输模块，在采用有线网络传输模块时，上述宽带网络是有线宽带网络，在采用无线网络传输模块时，上述宽带网络是无线宽带网络。
[0005]上述的汉语语音码是以单词为单位，这里将单个汉字看作单音节词，根据组成该单词的每个音节的《汉语拼音方案》中的拼音，用且仅用26个拉丁字母对汉语拼音的声母、介母、韵母、声调采取先编码再依次按“声码+介码+韵码+调码兼隔音节符号”的顺序编码拼写，并通过得到的语音码的编码直接表达汉语信息，当直接用语音码编码来表示汉语信息时，其标点符号的用法同英文的标点符号的用法相同，编码时同一个单词的多个音节不用空格连续编码，单词与单词之间要有空格隔开。
[0006]由于本技术方案采用26个拉丁字母表示的汉语语音码来表达汉语信息，且当直接用语音码编码来表示汉语信息时，其标点符号的用法同英文的标点符号的用法相同，这样就保证了汉语信息的表达连标点符号在内都与ASCII码完全一致，也即与ASCII码100%兼容，这样上述外语语音识别模块、机器翻译模块，由于处理的汉语或外文信息是用与ASCII码完全一致的汉语语音码或外文来表示的，这样就使得这些模块可以在ASCII码系统的计算机中运行，由于组成整个系统的模块可以在ASCII码系统的计算机中运行，因此，整个系统可以在ASCII码系统的计算机中运行。
[0007]除了汉语以汉语语音码的形式输出外，本技术方案所述的汉语语音码需要时，在汉字系统的计算机中可以通过汉字转换模块转换成汉字，并且汉语语音码或汉字能够单独或者汉语语音码与汉字、汉语拼音，意义一致的外文对照显示、储存、输出。
[0008]有了本技术方案以后，汉语信息可以在汉字内码系统和非汉字内码系统的ASCII内码系统的计算机信息系统中畅通无阻地进行传输和处理，而且随着世界互联网的日益广泛的运用和云计算、物联网以及世界各地汉语热的出现，使得以英语为代表的世界各国的实时非实时的影像资料的相互观摩交流带来了极大的方便，特别是方便中国观众通过外国的实时影视资料边看新闻边学外语，促进中国文化和世界文化的相互交流，同时提高了添加中外文添加字幕的效率，变原来人工非实时添加有声影像字幕为自动实时添加有声影像字幕。
【具体实施方式】
[0009]下面结合实施例对本发明的【具体实施方式】作进一步的说明。
(一)本技术方案所采用的汉语语音码的每一音节声、韵、调的编码方法采用以下的方
法:
注:破折号“一”后的符号均为汉语拼音符号，破折号“一”前的字母为所采用的汉语每一音节声、韵、调的编码，以下均同，以下将下列对照表简称为码表:
1、声码的编码符号采用与汉语拼音方案基本一致的声母的字母符号，比如采用下面这种声码的编码形式:
b—b ;P—P ;m—m ; f—f ; d—d ; t—t ;
η—η ;I—I ; g—g ; k—k ; h—h ;
j—zh, j ; q—ch, q ; x—sh, x ; r—r ; z——z ; c——c ; s——s ; y——y ; w——w 。
[0010] 2、汉语拼音介母(U)采用26个拉丁字母中的一个字母表示，比如采用下面这种介码的编码形式:
i——i ; u——u ; y——U ο
[0011]3、韵码的编码，对单韵母除(U)采用26个拉丁字母中的一个字母表示外，其它采用与汉语拼音相同的字母符号，汉语拼音的复合韵母只要是采用辅音字母来编码都是可以的，比如采用下面的这种字母符号来对汉语拼音的韵母进行编码:
a——a ; ο——ο ; e——e ; i——i ; u——u ; y——ii ; k——ao ; c——ai ; s——an ; x——ou ;w——ei ; n——en ;
z—ua ; I—uo ; b—ang ; d—ong ; p—eng ； q——ing ; g——ng ; er——er ;
r-1 ; “i只与汉语拼音声母zh、ch、sh相拼时，汉语拼音的i用语音码的编码r代表”。即:《汉语拼音方案》中的zh1、ch1、shi分别用语音码的jr、qr、xr表示，jr或qr或xr及er键盘输入时分别按J和R或Q和R或X和R及E和R两个键位输入。
[0012]4、调码的编码除采用一个汉语不用的辅音字母V表示汉语拼音的上声(V)外，其它采用元音字母来表示汉语的声调，比如采用下面的字母来对汉语拼音的声调进行编码:
a——,阴平;e— / ,阳平; V— V，上声； u—\ ,去声; ο一拼音不标轻声调号，轻声。
[0013](二)利用上述编码的汉语语音码汉语信息表示采用如下的方法:
以单词为单位，这里将单个汉字看作单音节词，根据组成该单词的每个音节的《汉语拼音方案》中的拼音，依次按“声码+介码+韵码+调码兼隔音节符号”的顺序编码，同一个单词的多个音节不用空格隔开连写，单词与单词之间的编码用空格隔开，当汉语信息表示处于汉语语音码状态时，其六种点号，七种标号和一个移行号采用与英文相同的形式；
这里由于将独立运用的汉字看作单音节词，因此，本发明所采用的汉字编码的方法和汉语单词音节编码的方法相同，在本发明中采用单词音节编码按词连写后得到单词编码，我们将由若干个单词组成的一组词称为词组，本发明所采用词组的编码同汉语句子的编码相同，由于单词可以表示词组和汉语句子，因此在本发明中所采用的词组的编码和汉语句子的编码都可以通过单词的编码实现，而不需要对词组和汉语句子另外制定一套专门的编码，一般在整句整篇以词为单位表示汉语信息时，在理解时一般不需要进行同音字词的选择，原则上听起来不会产生歧义的句子，用编码表达时也不会产生歧义。
[0014]下面以一句通过拾音器或话筒输入的英语句子的语音为例来说明本技术方案的具体实现步骤
一.在采用上述方法进行现场实时音像录播时，通过拾音器或话筒，将外语语音传输给录音录像设备，录音录像设备通过嵌入录音录像设备中的现有计算机软件做好通过摄像机摄制的视频画面或影像画面与对应的有声语言的音频信号同步信号标记并储存在录音录播设备的储存系统中，然后将带同步信号标记的有声语言的音频信号提取出来传给嵌入录音录像设备计算机中的外语语音识别模块，外语语音识别模块将外语语音识别成带与所识别的外语语音相同同步信号标记的用26个拉丁字母表示的外文。
[0015]下面将外语语音通过外语语音识别模块转化成外文，再将得到的外文转化为汉语语音码，这里的外文以英文为例，处理过程实际对其它外文也是同样的，同步信号标记可以采用现有的制作视频和音频同步时间戳来标记。[0016]比如，我们从本技术方案的拾音器或话筒中提取下列一句英语句子的语音:
We use latin every day.首先调用英语语音识别模块，我们得到上述英文句子:
We use latin every day.然后调用汉语英语双向翻译模块我们得到以下翻译步骤和结果:
1.“we use latin every day.”(这是通过英语语音识别得到的英语句子)
c)查预先储存在计算机系统中的标注单词或词组词性的英语词典建立单词或词组的词性串:
we (人称代词I) + use (动词I) + Iatin (名词I) + every day (时间名词2).d)根据上面得到的句子词性串查表得到预先储存在表中的英语句型:
we (人称代词I作主语)+ use (动词I作谓语)+ Iatin (名词I作宾语)+ every day(时间名词2作时间状语)
e)根据上面得到英语句型查表得到预先储存在表中的对应的汉语句型:
we (人称代词I作主语)+ every day (时间名词2作时间状语)+ use (动词I作谓语)+ Iatin (名词I作宾语)
此时查预先储存在计算机系统中的汉英一英汉双向词库进行单词或词组意思的转换，并按此句型顺序输出便完成英语翻译成汉语的转换，为了表明此机器翻译过程的可双向性，我们再作下面进一步的变换:
f)根据上面得到汉语句型查表得到预先储存在表中的与对应的汉语单词或词组词性相一致的词性串:
we (人称代词I) + every day (时间名词2) + use (动词I) + Iatin (名词I)
g)查预先储存在计算机系统中的汉英一英汉双向词典进行单词或词组意思的转换并按上面所得到的汉语句型的顺序输出:
wovmno (人称代词 I) + mwvtisa (时间名词 2) + xrvydu (动词 I)+ Iaadqawnv (名词
0.最后我们得到:
wovmno mwvtisa xrvydu laadqawnv.(汉语语音码表示的汉语信息)
同理，也可以用上面的方法对复句进行双向翻译，这里就不再累述。
[0017]这样便完成了英语翻译成汉语的转换。再将上述得到的带同步信号标记的汉语语音码字幕或外文字幕或它们对照文本字幕传输给传统的视频画面或影像画面字幕叠加机，根据汉语语音码字幕或外文字幕或它们对照文本字幕与视频画面或影像画面同步信号标记的对应关系将字幕信息叠加在视频画面或影像画面上。
[0018]二.更进一步在得到汉语语音码后，汉语语音码需要时可以通过汉语语音码汉字转换模块转换成汉字，此时整个系统必须运行在汉字系统的计算机中，汉语语音码或汉字能够单独或者汉语语音码与汉字、汉语拼音，意义一致的外文对照显示、储存、输出，此时整个系统必须运行在汉字系统的计算机中。
[0019]通过调用汉语语音码汉字双向转换模块计算机通过以下步骤将汉语语音码转换成汉字:
通过分别查找汉语语音码与以词为单位的汉字和汉语拼音对照表可以方便地将汉语语音码转换成汉字和汉语拼音，比如:
wovmno通过查声码、介码、韵码、调码和汉语拼音对照表或根据该对照表生成的汉语语音码音节或单词和拼音音节或单词对照表得到w0men,再通过w0men查找到以词为单位的汉字，当以单词为单位的语音码通过以单词为单位的汉语拼音与以单词为单位的汉字建立对应关系后，一旦需要以单词为单位的语音码可以不再需要通过以单词为单位的汉语拼音，直接与以单词为单位的汉字建立对应关系并实行相应的转换。比如:wovmno可以转换为wdmen,再通过wdmen可以转换成“我们”，这样wovmno和“我们”便直接建立了对应关系，需要时可以不通过汉语拼音wdmen进行转换,而直接在wovmno和“我们”之间实现双向可逆转换。
[0020]遇同音词时，可以依据汉语词法句法上下文联系及统计规律等手段进行判别后进行以词为单位的汉字选定。比如:ysvlune上装满了邮包。ysvlune上装满了原油。结合上下文的联系可以知道:前面一句中的“ysvlune”代表邮轮，后面一句中的“ysvlune”代表油轮，这两句话分别会转换成“邮轮上装满了邮包”和“油轮上装满了原油”。对其它单词情况也依次类推。
[0021]上述双向可逆转换的结果既可以单独显示也可以对照显示，比如:
原句:“我们每天使用汉语拉丁文。”用本发明方法计算机可以可逆地转换为以下几种形式:
【权利要求】
1.一种外语自动实时标注中外文字幕音像录播方法，在现场实时音像录播时，通过拾音器或话筒，将外语语音传输给录音录像设备，录音录像设备通过嵌入录音录像设备中的现有计算机软件做好通过摄像机摄制的视频画面或影像画面与对应的有声语言的音频信号同步信号标记并储存在录音录像设备的储存系统中，然后将带同步信号标记的有声语言的音频信号提取出来传给嵌入录音录像设备计算机中的外语语音识别模块，外语语音识别模块将外语语音识别成带与所识别的外语语音相同同步信号标记的用26个拉丁字母表示的外文，再通过机器翻译模块将上述外文翻译成用26个拉丁字母表示的与对应外文句子具有相同同步信号标记的指定的汉语语音码句子，再将上述带同步信号标记的汉语语音码字幕或外文字幕或它们对照文本字幕传输给现有的视频画面或影像画面字幕叠加机模块，根据汉语语音码字幕或外文字幕或它们对照文本字幕与视频画面或影像画面同步信号标记的对应关系将字幕信息叠加在视频画面或影像画面上，并通过音视频编码压缩模块进行编码和压缩，经编码和压缩后再传输给网络传输模块，再由网络传输模块将编码和压缩后的上述具有相同同步信号标记的带字幕和外语语音的视频画面或影像画面传输到宽带网络，宽带网络将其连接到指定的服务器上进行储存，在服务器音视频解码解压缩软件模块、客户端音视频音像播放软件模块的支持下，所有登陆到这个服务器的终端都可以实时看到上述现场实时带字幕和语音的音像画面。
2.如权利要求1所述的外语自动实时标注中外文字幕音像录播方法，其特征是:所述的汉语语音码是以单词为单位，这里将单个汉字看作单音节词，根据组成该单词的每个音节的《汉语拼音方案》中的拼音，用且仅用26个拉丁字母对汉语拼音的声母、介母、韵母、声调采取先编码再依次按“声码+介码+韵码+调码兼隔音节符号”的顺序编码拼写，并通过得到的语音码的编码直接表达汉语信息，当直接用语音码编码来表示汉语信息时，其标点符号的用法同英文的标点符号的用法相同，编码时同一个单词的多个音节不用空格连续编码，单词与单词之间要有空格隔开。
3.如权利要求1或2所述的外语自动实时标注中外文字幕音像录播方法，其特征是:所述的汉语语音码是声母全部用辅音拉丁字母表示，用于表示汉语信息的语音码的声母除了《汉语拼音方案》中的声母zh、ch、sh分别用j、q、x三个辅音拉丁字母表示外,其余的声母用与《汉语拼音方案》中的相同符号的辅音拉丁字母表示，《汉语拼音方案》中的zh1、ch1、shi分别用语音码的jr、qr、xr表示，《汉语拼音方案》中的er用语音码的er来表示。
4.如权利要求1或2所述的外语自动实时标注中外文字幕音像录播方法，其特征是:所述的汉语语音码用26个字母中的一个字母表示原来《汉语拼音方案》中的单韵母和介母中的U，其余单韵母和介母的编码采用与《汉语拼音方案》中的单韵母和介母相同的符号。
5.如权利要求1或2所述的外语自动实时标注中外文字幕音像录播方法，其特征是:所述的汉语语音码用I来表示原来《汉语拼音方案》中的单韵母和介母中的U。
6.如权利要求1或2所述的外语自动实时标注中外文字幕音像录播方法，其特征是:所述的汉语语音码复合韵母除了用与《汉语拼音方案》中的相同的符号表示外，用一个辅音字母表示。
7.如权利要求1或2所述的外语自动实时标注中外文字幕音像录播方法，其特征是:所述的汉语语音码其调码用四个元音字母和一个汉语不用的字母V表示，用拉丁字母a、e、v、u、o分别表示《汉语拼音方案》中的阴平一、阳平e:/、上声V: V、去声u:\、轻声ο不标。
8.如权利要求1或2所述的外语自动实时标注中外文字幕音像录播方法，其特征是:所述的汉语语音码需要时，在汉字系统的计算机中可以通过汉字转换模块转换成汉字，汉语语音码或汉字能够单独或者汉语语音码与汉字、汉语拼音，意义一致的外文对照显示、储存、输出。
9.如权利要求1所述的外语自动实时标注中外文字幕音像录播方法，其特征是:上述网络传输模块，可以是有线网络传输模块也可以是3G、4G、wif1、wimax、蓝牙无线网络传输模块，在采用有线网络传输模块时，上述宽带网络是有线宽带网络，在采用无线网络传输模块时，上述宽带网络是无线宽带网络。
10.如权利要求1所述的外语自动实时标注中外文字幕音像录播方法，其特征是:所述的同步信 号标记可以采用现有的制作视频画面或影像画面与音频同步时间戳标记。
【文档编号】G11B27/10GK103902529SQ201210585016
【公开日】2014年7月2日 申请日期:2012年12月30日 优先权日:2012年12月30日
【发明者】苗玉水 申请人:上海能感物联网有限公司