专利名称：使异步的传递文本和音视频数据在移动终端同步显示的方法
技术领域：
本发明涉及数据业务技术领域，具体地，涉及一种使异步的传递 文本和音视频数据在移动终端同步显示的方法。
背景技术：
随着移动通信技术的发展，手机也被赋予越来越多的功能，除了 打电话、发短信的之外，还可例如在手机上听歌、看MTV、看电影。 但是，现有的手机音视频播放技术中，在传输音视频数据时一般采用 传统字幕方式(即是把原有包含字幕的音视频直接进行转换)，当这些 包含字幕的音视频经过转换在手机上播放时，由于屏幕较小，这些字 幕基本上模糊不清，达不到实际应用标准。
在现有和将来的移动通信网络环境下，利用手机等手持移动终端 设备实现类似卡拉OK、视频字幕、音乐歌词同步等业务时，存在以 下主要问题
1.如果采用传统字幕方式，当这些包含字幕的音视频经过转换 在手机上播放时，由于屏幕较小，这些字幕基本上模糊不清，达不到 实际应用标准；
2.如果采用类似RealText的技术，由于这些技术主要应用于传统 互联网和PC，并没有很好解决移动通信环境下文字和音视频同步播放 的问题；
3.由于手机等移动终端设备计算能力和展示效果有限，传统 DVD等字幕解决方案不能直接应用于手机；
4.由于移动通信数据网络带宽受限，并且不稳定，采用文本信息 与音视频数据同步传递的方式，会造成播放不流畅，或者播放时文字 与音视频不同步。
因此，希望得到一种方法，使得用户可以在移动终端设备上实现文字与流式音视频的同步播放。
发明内容
本发明提供了一种使异步传递的文本和音视频数据在移动终端
同步显示的方法，包括所述移动终端发起移动媒体同步文本文件播_放请求；将所述移动媒体同步文本文件加载并解码到内存空间中；确定所述移动媒体同步文本文件的文本同步通用描迷信息中的音视频源URL;根据所述音视频源的类型进行播放，并同时根据所述内存中的所述移动媒体同步文本控制信息同步呈现文本内容。
本发明利用STMM编码技术、ASTP传输协议实现"异步传递文
本和音视频数据、在移动终端同步显示，，，使得用户可以在手机上享受
更完美的音视频服务。根据本发明的方法，在用户利用手机观看MTV、
电影的时候，加入异步传递的文本，实现与音视频数据在移动终端(如
手机、PDA等)的同步，使清晰的字幕与音视频完美的结合，让用户
在手机上就享受到高品质的流媒体服务。
图1示出了根据本发明示例性实施方式的工作方式；图2示出了生成STMM文本同步编码格式的示例性过程；图3示出了根据本发明的示例性实施方式、采用ASTP协议的播》t流程。
具体实施例方式
根据本发明的示例性实施方式，首先提出了一种专用于移动通信环境下支持现有音视频流式播放的、紧凑的文本及其控制信息的数据格式STMM( Synchronized Text for Mobile Media,移动々某体同步文本)。对于每个音视频文件，均创建一个stmm文件。当用户发起流式播》文音视频的请求时，客户端会首先自动发起一个获取stmm文件的请求，stmm文件会以异步的方式传输到客户端，并驻留在内存。客户端播i文器在流式播放音视频的同时，会驱动stmm文件在合适的时间点展示文本信息，并且根据stmm里的控制信息达到灵活控制展示文本信息的效果，比如展示的屏幕位置、颜色、时延、渐进效果等。
根据本发明的示例性实施方式，还提出了一种基于TCP/IP协议的异步传递stmm文件的传输协议astp (Asynchronous SynchronizedText transfer Protocol,异步的同步文本传输协议)，这种协议能够与3GPP RTSP流4某体协i义协同工作。通过STMM文件编码格式和ASTP传输协议，能实现异步传递文本同步信息，并根据STMM文件的控制信息实现文本与音视频的流式同步播放。
下面，介绍STMM编码与ASTP传输协议的工作方式。
用户通过手机等移动终端上的播放软件发起音^f见频播放请求时，播放软件会首先检查手机存储中是否存在STMM文件，如果不存在，会通过ASTP协议从服务器上下载STMM文件。然后，播放器读取STMM文件。STMM编码格式分为两部分，第一部分是通用描迷信息，第二部分是文本时间同步信息。通用描述信息会加栽进播放器所控制
的内存(堆栈)中，作为全局变量，主要用来控制文本在音视频播放时的呈现效果。播放器根据通用描述信息中指定的音视频源，加栽音视频数据流按常规方式进行播;^丈，音视频数据可以位于远端服务器进行在线流式4番放，也可以位于手才几存储空间中进4亍本地回放。文本时间同步信息是STMM的主体部分，这部分内容在播放器回放音视频数据流的同时，随着播放时间的前移或后退(用户手动进行后退操作)，顺次读入STMM緩沖区。即，播放第l秒的时候，1-5秒的STMM文本同步数据已经读入緩冲区，播放到15秒的时候，第10-20秒的内容也都进入緩冲区。这样可以确保音视频回放过程中，文本同步数据能够提前就位，使得文本同步信息呈现得更加流畅。
图l示出了根据本发明示例性实施方式的工作方式。如图l所示，STMM第一部分数据是首先读取并驻留于内存(堆栈)中的，STMM第二部分数据是根据音视频回放流顺次读取的，二者不存在交叉。
下面介绍STMM ( Synchronized Text for Mobile Media)编码格式，即，移动媒体同步文本格式，其用以实现移动音视频与文本的同步播放。
STMM包括两个部分第一部分是"文本同步通用描述信息"，用来指示文本在手机终端
音视频播放界面上的呈现方式，比如文本在屏幕中的坐标位置；文本是否自动分行(即单行还是多行)；文本是否自动滚动显示；文本的字体；文本的字体大小；
文本的字体颜色及透明效果；文本的背景色及透明效果；文本的切换效果(比如淡入淡出、渐变等)；对应音一见频源URL。第二部分是"文本时间同步信息"，是文本的具体内容以及相应的时间同步控制信息，主要包括起始时间；终止时间；文本内容。
以上信息采用紧凑的编码方式，源文件使用便于阅读的XML格式，放置于服务器上时，自动转换为紧凑的stmm数字化编码格式，这种格式用于移动终端快速的解析，并方便的存储于内存中，减少对移动终端的处理资源耗用。
图2示出了生成STMM文本同步编码格式的示例性过程。首先，以XML文件格式，按照STMM规范编写文本同步源文件；然后，按照STMM规范，把XML格式源文件编码为紧凑的二进制格式；最后，把编码后STMM文件放置于常见HTTP服务器下，接受请求。
下面介绍ASTP协议。ASTP协议是基于TCP/IP协议基础之上的应用层协议，协议中的异步是表示STMM数据和音视频数据是分别读取的(异步)，而当前的相关文本媒体同步协议则是同步读取的，这是二者的最大区别。
传统方式下，文本同步信息与音视频数据流同步传送到播放器进行回放；而ASTP协议，则是在播放器发起回放音视频数据流请求的时候，在加载音一见频数据流之前就快速下载并解码到手机，然后再加
载音视频数据流。如果播放器第二次请求回放，由于STMM编码信息已经下载到手机，此时就不需再次下栽。
因为传统的文本多媒体同步协议是基于有线互联网开发的，而无线互联网与有线互联网相比，带宽有限、通信不稳定、手机存储空间有限、手机处理能力有限，而采用STMM+ASTP的方式，则最大程度的减少这些不利因素的影响。
图3示出了根据本发明的示例性实施方式、采用ASTP协议的播放流程。
首先，客户端发起STMM文件播放请求。然后，客户端检查本地存储中是否有STMM文件緩存。如果是，则加载并解码STMM文件到内存空间中。否则，先通过无线网络连接下载STMM文件到移动终端本地存储空间，再加载并解码STMM文件到内存空间中。在加栽并解码STMM文件到内存空间中之后，确定"文本同步通用描述信息"中的音视频源URL。接着，检查音视频源URL是否存在。如果存在，则根振音视频源的类型进行流式播放、渐进式下栽播放或下载播放，并在播放的同时，根据内存中STMM控制信息，同步呈现文本内容。最后结束播放。如果不存在，则直接结束播放。
上述实施方式仅为示例性而非限制性的，通过阅读本说明书，本领域技术人员可对上述实施方式做出各种修改和变化，而并不脱离本发明的精神和范围。本发明的保护范围仅由权利要求书限定。
权利要求
1.一种使异步传递的文本和音视频数据在移动终端同步显示的方法，包括所述移动终端发起移动媒体同步文本文件播放请求；将所述移动媒体同步文本文件加载并解码到内存空间中；确定所述移动媒体同步文本文件的文本同步通用描述信息中的音视频源URL；根据所述音视频源的类型进行播放，并同时根据所述内存中的所述移动媒体同步文本控制信息同步呈现文本内容。
2. 如权利要求l所述的方法，其中，将所述移动媒体同步文本文 件加栽并解码到内存空间中的步骤包括由所述客户端检查本地存储中是否有所述移动媒体同步文本文 件的所述緩存；如果有，则将所述移动媒体同步文本文件直接加载并解码到所述 内存空间中，否则，先通过无线网络连接将所述移动媒体同步文本文 件下载到所述移动终端的本地存储空间，再将所述移动媒体同步文本 文件加载并解码到所述内存空间中。
3. 如权利要求l所述的方法，其中，根据所述音视频源的类型进 行播放的步骤包括根据所述音视频源的类型进行流式播放、渐进式下 载播放或下载播放。
4. 一种用于实现如权利要求1所述方法的移动媒体同步文本文 件编码格式，包括文本同步通用描述信息，其用来指示文本在手机终端音视频播放 界面上的呈现方式；以及文本时间同步信息，其为所述文本的具体内容以及相应的时间同 步控制信息。
5.如权利要求4所述的文件编码格式，其中，所述文本同步通用描述信息包括文本在屏幕中的坐标位置、文本是否自动分行、文本是 否自动滚动显示、文本的字体、文本的字体大小、文本的字体颜色及 透明效果、文本的背景色及透明效果、文本的切换效果、对应音视频源URL。
6.如权利要求4所述的文件编码格式，其中，所述文本时间同步 信息包括起始时间、终止时间、文本内容。
7. —种于实现如权利要求1所述方法的传输协议，包括认证、 检索、应答、错误处理，其中，对移动媒体同步文本文件数据和音视 频数据是异步地读取的。
全文摘要
本发明提供了一种使异步传递的文本和音视频数据在移动终端同步显示的方法，包括所述移动终端发起移动媒体同步文本文件播放请求；将所述移动媒体同步文本文件加载并解码到内存空间中；确定所述移动媒体同步文本文件的文本同步通用描述信息中的音视频源URL；根据所述音视频源的类型进行播放，并同时根据所述内存中的所述移动媒体同步文本控制信息同步呈现文本内容。根据本发明的方法，在用户利用手机观看MTV、电影的时候，加入异步传递的文本，实现与音视频数据在移动终端(如手机、PDA等)的同步，使清晰的字幕与音视频完美的结合，让用户在手机上就享受到高品质的流媒体服务。
文档编号G11B27/34GK101527153SQ20081021974
公开日2009年9月9日 申请日期2008年12月8日 优先权日2008年12月8日
发明者贲 仇, 鹏 张, 张惠平, 睿 徐, 键 蔡, 杨 许, 冲 黄 申请人:中国移动通信集团广东有限公司