专利名称：播放流媒体字幕的方法及其流媒体播放器的制作方法
技术领域：
本发明涉及流媒体技术，尤其涉及播放流媒体字幕的方法及流媒体播放器。
背景技术：
流媒体(Streaming Media)技术是一种新兴的网络传输技术，用于在互联网上实时顺序地传输和播放视/音频等多媒体内容的连续时基数据流，流媒体技术包括流媒体数据采集、视/音频编解码、存储、传输、播放等领域。在网络上传播多媒体信息主要有两种方式下载和流式传输。下载方式是传统的传输方式，指在播放之前由用户下载多媒体文件至本地。流式传输则把多媒体信息通过服务器向用户实时地提供，采用这种方式时，用户不必等到整个文件全部下载完毕，而只需经过几秒或几十秒的启动时延即可播放，之后，客户端边接收数据边播放。
目前，流媒体技术广泛应用在多媒体新闻发布、网上演示、在线直播、网络广告、电子商务、视频点播、远程教育、实时视频会议和即时通讯等互联网的信息服务上。为了向用户提供更丰富的流媒体服务，一般在向用户提供流媒体服务地同时还提供字幕服务，现有技术提供字幕服务有以下两种方案
1、流媒体服务器端解决方案，该方案在制作媒体流的时候同时制作好字幕流，再存储为媒体流和字幕流按时间顺序交错的媒体流文件；播放时，由客户端播放器直接解码媒体流和字幕流。
这种方案的缺点是字幕流和媒体流交错存储在文件里，对所有的用户都是提供相同的字幕流，不能针对不同的用户发送不同的字幕流，其灵活性较差，而且修改字幕流也不方便。
2、流媒体播放器客户端解决方案，该方案预先制作和对应媒体流匹配的字幕流文件，将该文件保存在客户端本地，客户端播放媒体流文件的同时显示相应字幕。
这种方案的缺点是字幕流内容不受服务器端控制，而且字幕流也不受流媒体供应商控制，对于一些现场直播类媒体流的字幕服务不能及时更新，因此，其灵活性和动态可控性差。
发明内容
本发明提供一种播放流媒体字幕的方法及流媒体播放器，以解决现有技术在同时提供流媒体和字幕服务时存在灵活性和动态可控性差的问题。
一种传送流媒体字幕的方法，该方法包括下述步骤
向流媒体服务器和字幕服务器分别请求流媒体服务和该流媒体对应的字幕服务；
所述流媒体服务器和字幕服务器分别向流媒体播放器发送媒体流和字幕流；
流媒体播放器判断字幕流时间戳与媒体流时间戳是否匹配，并至少将时间戳匹配的字幕流转换为视频流与所述媒体流同步播放。
其中
先向流媒体服务器请求流媒体服务，并在得到流媒体服务器的应答后再向字幕服务器请求字幕流服务。
所述流媒体服务器和/或字幕服务器在收到请求后还要求验证签名，并在对请求方提供的签名验证成功后向流媒体播放器发送流媒体和/或字幕流。
在判断时间戳匹配时，以第一个媒体流样本的时间戳与第一个字幕流样本的时间戳的差值为参考值，若当前媒体样本的时间戳与当前字幕流样本的时间戳的差值与所述参考值之差不大于设定的阈值，则确定所述当前媒体流时间戳与当前字幕流时间戳匹配，否则确定时间戳不匹配。
若所述流媒体中包含有视频流，则从流媒体中分离出视频流并与所字幕流合成新的视频流后进行播放。
一种流媒体播放器，包括将流媒体分离并解码出音频流和视频流的媒体流处理单元，用于播放音频流和视频流的播放单元；其中，所述播放器还包括合成单元，该合成单元用于接收和解码字幕流，以及将解码后的字幕流转换为新的视频流或者将解码后的字幕流与所述媒体流处理单元输出的视频流合成新的视频流后输出到所述播放单元。
一种流媒体字幕合成装置，包括
字幕接收/缓冲组件，用于接收并缓存字幕流；
字幕解码组件，用于解码缓存的字幕流；
视频/字幕合成组件，用于将字幕解码组件输出的字幕流和接收到的视频流合成新的视频流。
本发明在播放媒体流的过程中，将媒体流中的视频流与字幕流动态的合成新的视频流播放，因而在对IM用户提供流媒体服务的时候，可以灵活的提供对应的字幕服务，这种字幕可以是对应的视频对白、音频字幕、广告字幕、消息字幕等；在本发明中字幕服务由服务器端提供，其动态可控性好，能够根据需要及时更新。采用本发明不仅能够满足不同的业务需求，而且也可作为一种增值服务为流媒体服务商增加收入来源、为用户提供更丰富的流媒体服务。
图1为实现本发明网络系统结构示意图2为媒体流和字幕流服务的流程示意图3A为媒体流的存储格式示意图3B为字幕流存储格式示意图4为流媒体播放器结构示意图5为字幕组件处理字幕流的流程图。
具体实施例方式
为了满足多媒体新闻发布、网上演示、在线直播、网络广告、电子商务、视频点播、远程教育、实时视频会议和即时通讯等信息服务对流媒体字幕技术的不同需求，提高其灵活性，本发明由字幕服务器控制字幕流，在流媒体播放器请求流媒体服务器提供流媒体服务时，向字幕服务器请求该流媒体对应的字幕服务；流媒体播放器接收到流媒体服务器和字幕服务器发送来的媒体流和字幕流后匹配时间戳，在字幕流时间戳与媒体流时间戳匹配时，将该字幕流转换为视频流与所述媒体流同步播放。
以下主要以即时通讯服务为例，结合附图对实现本发明进行详细说明
如图1所示，实现本发明的即时网络系统包括即时通讯用户客户端(IMClient)400(用户客户端为多个)、即时通讯服务器(IM Server)100、流媒体服务器200和字幕服务器300。其中即时通讯服务器200负责管理用户和对即时通讯用户(IM User)登录进行认证，并对用户发放签名。流媒体服务器200向用户提供流媒体服务，并对访问流媒体服务器的用户进行认证。字幕服务器300向用户提供字幕服务，并对访问字幕服务器的用户进行认证。
参阅图2所示，在即时通讯客户端具有流媒体播放器500，该流媒体播放器500包括媒体流处理单元510、合成单元520和播放单元530。媒体流处理单元510接收和解码流媒体服务器通过网络传送来的媒体流，合成单元520将媒体流处理单元510输出的媒体流和字幕服务器300通过网络传送来的字幕流合成新的媒体流，播放单元530播放合成单元520输出的媒体流。
流媒体播放器500中，除合成单元520外，媒体流处理单元510和播放单元530可以是Windows操作系统上安装的Windows Media Player中的单元。
参阅图3A所示，媒体流在流媒体服务器200上的存储格式和普通的流媒体服务器媒体流储存格式一致。
参阅图3B所示，在字幕服务器300上，期望和媒体流里某时间点同时出现的字幕则打上和该媒体流里相同的时间戳，以保证流媒体播放和字幕流同步显示。字幕服务器300上的字幕流采用无损压缩编码算法进行编码，如LZ77算法。
参阅图4所示，媒体流处理单元510包括接收/缓冲组件511、音/视频媒体流分离组件512、音频解码组件513和视频解码组件514。接收/缓冲组件511接收并缓存从流媒体服务器200传送来的流媒体；音/视频媒体流分离组件512将接收/缓冲组件511输出的媒体流分离为音频流和视频流，并分别输出到音频解码组件513和视频解码组件514；音频解码组件513对音频流进行解码，视频解码组件514对视频流进行解码。
合成单元520包括字幕接收/缓冲组件521、字幕解码组件522和视频/字幕合成组件523。字幕接收/缓冲组件521接收由字幕服务器300发送来的字幕流，并把接收到字幕流按字幕流时间样本先后顺序保存在本地的一个缓冲队列里；字幕解码组件522对字幕接收/缓冲组件521输出的已编码字幕流数据，采用相应的解码算法进行解码，并将解码后的数据流写入字幕缓冲文件，如，字幕服务器300上的字幕流采用LZ77算法编码，字幕解码组件522则采用LZ77解码算法进行解码。既使用和字幕流编码对应的解码算法解码。视频/字幕合成组件523将视频解码组件514输出的视频流和字幕解码组件522输出的字幕流合成新的视频流并输出。
播放单元530包括音频播放组件531和视频播放组件532，音频播放组件531用于播放音频解码组件513输出的音频流，视频播放组件532用于播放视频/字幕合成组件523输出的视频流。
为了使字幕流和对应的媒体流同步播放，字幕流的时间戳必须与对应的媒体流的时间戳匹配(或者说明媒体流和字幕流的时间戳必须一致)。流媒体播放器500在确定字幕流和媒体流的时间戳是否匹配时，以第一个媒体流样本的时间戳与第一个字幕流样本的时间戳的差值为参考值，如果当前字幕流样本的时间戳与当前媒体流样本时间戳的差值与所述参考值之差不大于设定的阈值，则确定所述当前媒体流时间戳与当前字幕流时间戳匹配。如阈值设定为2，媒体流的第一个媒体样本的时间戳是10，字幕流第一个样本的时间戳是110，则参考值为110-10＝100。若经过5秒以后，当前媒体流的时间戳为10+5＝15，此时收到的字幕流样本的时间戳为116，则当前字幕流样本的时间戳与当前媒体流样本时间戳的差值101(116-15＝101)与参考值100的差为1，此时该差值1小于阈值2，流媒体播放器500则确定字幕流时间戳与流媒体时间戳匹配。
参阅图5所示，播放流媒体字幕的过程如下
步骤10即时通讯用户A首先向流媒体服务器200申请流媒体服务(标识该流媒体为C)，在收到流媒体服务器200的应答后，通讯用户A再向字幕服务器300申请媒体流C对应的字幕服务。流媒体服务器对即时通讯用户A的应答中包括了是否需要认证、是否提供字幕流服务等信息。
步骤20流媒体服务器200和字幕服务器300分别检查后确认可为该新用户提供流媒体服务和字幕服务，并要求用户A提供签名。
步骤30用户A向即时通讯服务器100获取用于访问流媒体服务器200和字幕服务器300的签名，即时通讯服务器100返回一个可访问流媒体服务器的签名S1和一个可访问字幕服务器的签名S2，由用户发送签名给流媒体服务器200和字幕服务器300。
步骤40流媒体服务器200和字幕服务器300分别认证签名S1和签名S2，若两个签名均通过认证，则流媒体服务器200和字幕服务器300分别向用户A发送媒体流C和对应的字幕流。若签名未通过认证，则服务器不会向用户A提供服务。
步骤50即时通讯用户A客户端(IM Client)上启动的流媒体播放器500接收媒体流C和对应的字幕流，由媒体流处理单元510解码媒体流C并分离出音频流和视频流，合成单元520接收到视频流和解码后的字幕服务流后，判断视频流的时间戳与字幕流的时间戳是否匹配，如果匹配，则将该视频流和字幕流合成新的视频流，播放单元530播放媒体流处理单元510输出的音频流和合成单元520输出的视频流，从而达到媒体流和对应的字幕流同频播放。若不匹配，则缓存该字幕流，如果该字幕流时间戳的绝对差值和当前媒体流时间戳的绝对差值大于限定值，则认为该字幕样本已经无效，丢弃该样本。
在媒体流处理单元510中，视频解码组件514将媒体流中的视频流解码后，以位图(Bitmap)的格式传输给合成单元520中的视频/字幕合成组件523，视频/字幕合成组件523合成新的视频帧时将要显示字幕点阵在位图上对应的位置的位图点阵替换成字幕颜色，处理完当前帧要显示的所有字符的点阵即完成一帧的字幕、视频合成。
若上述的媒体流中不包含视频流即仅有音频流，视频/字幕合成组件523将字幕流单独转化成视频流的格式发送给视频显示组件532进行显示。
当然，流媒体服务器200和字幕服务器300也可能不需要用户提供签名而直接提供服务，即在上述步骤20、步骤30和步骤40中没有要求签名、获取签名和签名认证过程。
本发明在多媒体新闻发布、网上演示、在线直播、网络广告、电子商务、视频点播、远程教育和实时视频会议服务上的实现与上述即时通讯服务上的实现同理，在此不再赘述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1、一种播放流媒体字幕的方法，其特征在于包括下述步骤
向流媒体服务器和字幕服务器分别请求流媒体服务和该流媒体对应的字幕服务；
所述流媒体服务器和字幕服务器分别向流媒体播放器发送媒体流和字幕流；
流媒体播放器判断字幕流时间戳与媒体流时间戳是否匹配，并至少将时间戳匹配的字幕流转换为视频流与所述媒体流同步播放。
2、如权利要求1所述的方法，其特征在于，先向流媒体服务器请求流媒体服务，并在得到流媒体服务器的应答后再向字幕服务器请求字幕流服务。
3、如权利要求1所述的方法，其特征在于，所述流媒体服务器和/或字幕服务器在收到请求后还要求验证签名，并在对请求方提供的签名验证成功后向流媒体播放器发送流媒体和/或字幕流。
4、如权利要求1所述的方法，其特征在于，在判断时间戳是否匹配时，以第一个媒体流样本的时间戳与第一个字幕流样本的时间戳的差值为参考值，若当前字幕流样本的时间戳与当前媒体流样本时间戳的差值与所述参考值之差不大于设定的阈值，则确定所述当前媒体流时间戳与当前字幕流时间戳匹配，否则确定时间戳不匹配。
5、如权利要求1至4任一项所述的方法，其特征在于，若所述流媒体中包含有视频流，则从流媒体中分离出视频流并与所字幕流合成新的视频流后进行播放。
6、如权利要求5所述的方法，其特征在于，在合成视频流前还分别对视频流和字幕流进行解码。
7、如权利要求6所述的方法，其特征在于，将视频流解码为位图格式，在合成视频流时，将位图上待显示字幕点阵所占用位置的位图点阵替换成字幕颜色。
8、一种流媒体播放器，包括将流媒体分离并解码出音频流和视频流的媒体流处理单元，用于播放音频流和视频流的播放单元；其特征在于，所述播放器还包括合成单元，该合成单元用于接收和解码字幕流，以及将解码后的字幕流转换为新的视频流或者将解码后的字幕流与所述媒体流处理单元输出的视频流合成新的视频流后输出到所述播放单元。
9、如权利要求8所述的流媒体播放器，其特征在于，所述合成单元包括
字幕接收/缓冲组件，用于接收并缓存字幕流；
字幕解码组件，用于解码缓存的字幕流；
视频/字幕合成组件，用于将解码后的字幕流转换为新的视频流，或者将解码后的字幕流与所述视频流合成新的视频流。
10、一种流媒体字幕合成装置，其特征在于该组件包括
字幕接收/缓冲组件，用于接收并缓存字幕流；
字幕解码组件，用于解码缓存的字幕流；
视频/字幕合成组件，用于将字幕解码组件输出的字幕流和接收到的视频流合成新的视频流。
全文摘要
本发明公开了一种播放流媒体字幕的方法，以解决现有技术在同时提供流媒体和字幕服务时存在灵活性和动态可控性差的问题；该方法通过向流媒体服务器和字幕服务器分别请求流媒体服务和该流媒体对应的字幕服务，由所述流媒体服务器和字幕服务器分别向流媒体播放器发送媒体流和字幕流，所述流媒体播放器判断字幕流时间戳与媒体流时间戳是否匹配，并至少将时间戳匹配的字幕流转换为视频流与所述媒体流同步播放。
文档编号H04N7/173GK1859565SQ200510034548
公开日2006年11月8日 申请日期2005年5月1日 优先权日2005年5月1日
发明者伍海君, 王宇 申请人:腾讯科技(深圳)有限公司