媒体播放中实时自动翻译字幕的方法和系统的制作方法
【技术领域】
[0001]本发明涉及多媒体播放技术领域，特别涉及一种媒体播放中实时自动翻译字幕的方法和系统。
【背景技术】
[0002]近年来，越来越多的媒体播放需求从传统屏幕向pc及智能设备转移，媒体的来源也更多更快，而对应的多语种字幕往往存在滞后。在媒体播放中，用户通常期望能同时看到指定语种的伴随字幕。现有的字幕翻译技术一般通过提供字幕编辑的方法实现翻译，这种方式需要事先获得字幕信息进行翻译，然后改变源媒体文件或提供独立的外部字幕文件。但在一般的播放行为中，特别是在线播放行为中，往往不具备事先获得原始字幕及改动源媒体文件的机会。
[0003]因此，在无指定语种的外部字幕时，于播放媒体的同时，显示用户期望语种字幕的要求就难以得到满足。
【发明内容】
[0004]针对现有技术的上述缺陷，本发明所要解决的技术问题是如何实现在播放缺少指定语种字幕的媒体时，实时的将原始字幕翻译成指定语种，并与媒体中原音视频保持一致的同步关系。
[0005]为实现上述目的，一方面，本发明提供一种媒体播放中实时自动翻译字幕的方法，该方法包括如下步骤:
[0006]S1、从媒体源中读取媒体文件；
[0007]S2、从媒体文件分离出音频流、视频流和字幕流，缓冲音频流和视频流，并在原始字幕翻译完成后获得目标语种字幕后与所述目标语种字幕进行同步；
[0008]S4、解析字幕流中的原始字幕内容及显示时间并建立时间轴；
[0009]S5、将原始字幕翻译到目标语种字幕；
[0010]S6、将目标语种字幕与缓冲的音频流和视频流进行同步；
[0011 ] S7、将目标语种字幕叠加显示与媒体视频内容上。
[0012]优选地,所述步骤S2具体包括:
[0013]根据文件封装格式解析媒体文件获得音频流、视频流和字幕流；
[0014]调整音频和视频的播放时间，在播放之前读取原始字幕并进行翻译，调整的播放时间不小于翻译时间。
[0015]优选地,所述步骤S3具体包括:
[0016]根据字幕流的编码格式选择对应地解码方法获取原始字幕内容及显示时间。
[0017]优选地,所述步骤S4具体包括:
[0018]将原始字幕翻译请求发送至翻译库；
[0019]接受翻译库返回结果后将目标语种字幕内容统一转为UTF-8编码，以显示与语种无关的字幕。
[0020]优选地,所述步骤S6具体包括:
[0021]在音视和视频缓冲区头部判断当前数据显示时间戳是否到达，到达则播放音频和视频的内容；
[0022]在目标语种字幕缓冲区判断当前数据显示时间戳是否到达，到达则将目标语种字幕内容进行显示；
[0023]保持目标语种字幕与音频和视频原来的同步关系。
[0024]另一方面，本发明还同时提供一种媒体播放中实时自动翻译字幕的系统，该系统包括:
[0025]解封装模块、字幕解码模块、数据缓冲模块、翻译模块、字幕显示模块及播放控制模块；
[0026]所述解封装模块用于分离媒体文件中的音频流、视频流和字幕流，将音频流和视频流发送至数据缓冲模块，并将字幕流发送至字幕解码模块；
[0027]所述字幕解码模块用于在字幕流中解析出原始字幕内容及显示时间并建立时间轴；
[0028]所述数据缓冲模块用于调整媒体的播放时间，在播放之前取出原始字幕并进行翻译；
[0029]所述翻译模块用于将源语种字幕翻译成目标语种字幕；
[0030]所述字幕显示模块用于将目标语种字幕叠加显示与媒体视频内容之前；
[0031 ] 所述播放控制模块用于同步播放音频、视频和字幕内容。
[0032]优选地，所述解封装模块具体包括:
[0033]媒体流获取模块，用于根据文件封装格式解析媒体文件获得音频流、视频流和字眷流；
[0034]延时调整模块，用于调整音频和视频的播放时间，在播放之前读取原始字幕并进行翻译，调整的播放时间不小于翻译时间。
[0035]优选地，所述字幕解码模块具体包括:
[0036]翻译请求发送模块，用于将原始字幕翻译请求发送至翻译库；
[0037]字幕语种转换模块，用于在接受翻译库返回结果后将目标语种字幕内容统一转为UTF-8编码，以显示与语种无关的字幕。
[0038]优选地，所述字幕解码模块还用于:
[0039]根据字幕流的编码格式选择对应地解码方法获取原始字幕内容及显示时间。
[0040]优选地，所述播放控制模块具体包括:
[0041]第一判断单元，用于在音频和视频缓冲区头部判断当前数据显示时间戳是否到达，到达则播放音频和视频的内容；
[0042]第二判断单元，用于在目标语种字幕缓冲区判断当前数据显示时间戳是否到达，到达则将目标语种字幕内容进行显示；字幕同步单元，用于保持目标语种字幕与音频和视频原来的同步关系。
[0043]本发明的提供的媒体播放中实时自动翻译字幕的方法和系统中，通过将从播放文件或网络源读取的原始文件流，由解封装模块从原始文件流中分离出音视频流和字幕流，对于音视频流，送入缓冲模块等待；对于字幕流，则交由字幕解码模块提取出字幕内容及显示时间，再由翻译模块将原始字幕翻译到目标语种字幕，最后通过播放控制模块与原音视频流同步时间后进行播放，字幕显示模块负责将翻译后的字幕叠加显示与媒体视频内容上，从而可以实现在播放缺少指定语种字幕的媒体时，实时的将原始字幕翻译成指定语种，并与媒体中原音视频保持一致的同步关系。
【附图说明】
[0044]图1是本发明的一个实施例中的媒体播放中实时自动翻译字幕的方法的流程示意图；
[0045]图2是本发明的另一个实施例中的媒体播放中实时自动翻译字幕的系统的结构不意图；
[0046]图3是本发明的媒体文件中的音频流、视频流和字幕流的示意图；
[0047]图4a是本发明的解析后的音频流、视频流和字幕流的时间轴示意图；
[0048]图4b是本发明的音频流、视频流和字幕流初始状态的时间轴示意图；
[0049]图4c是本发明的音频流、视频流和字幕流在第2秒的时间轴示意图；
[0050]图4d是本发明的音频流、视频流和字幕流在第3秒的时间轴示意图；
[0051]图4e是本发明的音频流、视频流和字幕流在第5秒的时间轴示意图；
[0052]图4f是本发明的音频流、视频流和字幕流在第6秒的时间轴示意图；
[0053]图4g是本发明的音频流、视频流和字幕流在第7秒的时间轴示意图。
【具体实施方式】
[0054]为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和【具体实施方式】对本发明作进一步详细描述。
[0055]图1是本发明的实施例一中的媒体播放中实时自动翻译字幕的方法的流程示意图，如图1所示，该方法包括步骤:
[0056]S1、从媒体源中读取媒体文件。
[0057]具体地，可以从播放文件或者网络源读取的原始媒体文件。
[0058]S2、从媒体文件分离出音频流、视频流和字幕流，缓冲音频流和视频流，并在原始字幕翻译完成后获得目标语种字幕后与所述目标语种字幕进行同步。
[0059]优选地，优选地，步骤S2具体包括:根据文件封装格式解析媒体文件获得音频流、视频流和字幕流；调整音频和视频的播放时间，在播放之前读取原始字幕并进行翻译，调整的播放时间不小于翻译时间。具体地，取得文件头，分析封装格式特征字段，确定文件封装格式；按照封装格式解析文件，对每一包数据区分索引及媒体类型；将同一索引的包组合在一起还原成独立的媒体流。
[0060]S3、解析字幕流中的原始字幕内容及显示时间并建立时间轴。
[0061]优选地，步骤S3具体包括:根据字幕流的编码格式选择对应地解码方法获取原始字幕内容及显示时间并建立时间轴。具体地，从解封装结果确定字幕编码格式；选用对应的解码方法从字幕流中提取原始字幕内容及显示时间；调整延后显示时间戳参数，调整参数大小与音频和视频参数一样。
[0062]S4、将原始字幕翻译到目标语种字幕。
[0063]优选地，将原始字幕翻译请求发送至翻译库；接受翻译库返回结果后将目标语种字幕内容统一转为UTF-8编码，以显示与语种无关的字幕。
[0064]S5、将目标语种字幕与缓冲的音频流和视频流进行同步。
[0065]优选地，步骤S5具体包括:在音视和视频缓冲区头部判断当前数据显示时间戳是否到达，到达则播放音频和视频的内容；在目标语种字幕缓冲区判断当前数据显示时间戳是否到达，到达则将目标语种字幕内容进行显示；保持目标语种字幕与音频和视频原来的同步关系。
[0066]S6、将目标语种字幕叠加显示与媒体视频内容上。
[0067]本领域相关技术人员应能理解，与本发明的方法相对应的，本发明还同时包括一种媒体播放中实时自动翻译字幕系统，与上述方法步骤一一对应地，如图2所示，该系统包括:解封装模块201、字幕解码模块202、数据缓冲模块203、翻译模块204、字幕显示模块205及播放控制模块206。
[0068]具体地，解封装模块201用于分离媒体文件中的音频流、视频流和字幕流，将音频流和视频流发送至数据缓冲模块203，并将字幕流发送至字幕解码模块202。优选地，解封装模块201具体包括:媒体流获取模块2011和延时调整模块2012 ;媒体流获取模块2011用于根据文件封装格式解析媒体文件获得音频流、视频流和字幕流；延时调整模块2012用于调整音频和视频的播放时间，在播放之前读取原始字幕并进行翻译，调整的播放时间不小于翻译时间。完整的媒体文件大多由多条媒体流构成，本实施例中的媒体流包括但不限于视频、音频、字幕等。将所有的媒体流交错的联合起来形成完整文件或其他载体，这个过程即为“封装”;在播放媒体文件时，需要做封装的逆过程，由完整文件重新还原出各条媒体流，这个过程既为“