专利名称：一种流媒体播放器的制作方法
技术领域：
本发明涉及流媒体技术，尤其涉及一种流媒体播放器。
技术背景流媒体(Streaming Media)技术是一种新兴的网络传输技术，用于在互联网 上实时顺序地传输和播放视/音频等多媒体内容的连续时基数据流，流媒体技术 包括流媒体数据采集、视/音频编解码、存储、传输、播放等领域。在网络上传 播多媒体信息主要有两种方式:下载和流式传输。下载方式是传统的传输方式， 指在播放之前由用户下载多媒体文件至本地。流式传输则把多媒体信息通过服 务器向用户实时地提供，采用这种方式时，用户不必等到整个文件全部下载完 毕，而只需经过几秒或几十秒的启动时延即可播放，之后，客户端边接收数据 边播放。目前，流媒体技术广泛应用在多媒体新闻发布、网上演示、在线直播、网 络广告、电子商务、视频点播、远程教育、实时视频会议和即时通讯等互联网 的信息服务上。为了向用户提供更丰富的流媒体服务， 一般在向用户提供流媒 体服务的同时还提供字幕服务，现有技术提供字幕服务有以下两种方案1、流媒体服务器端解决方案，该方案在制作i某体流的时候同时制作好字幕 流，再存储为媒体流和字幕流按时间顺序交错的媒体流文件；播放时，由客户 端播放器直接解码媒体流和字幕流。这种方案的缺点是字幕流和媒体流交错存储在文件里，对所有的用户都是 提供相同的字幕流，不能针对不同的用户发送不同的字幕流，其灵活性较差，而且修改字幕流也不方便。2、流媒体播放器客户端解决方案，该方案预先制作和对应士某体流匹配的字 幕流文件，将该文件保存在客户端本地，客户端播放^ 某体流文件的同时显示相 应字幕。这种方案的缺点是字幕流内容不受服务器端控制，而且字幕流也不受流媒 体供应商控制，对于一些现场直播类媒体流的字幕服务不能及时更新，因此， 其灵活性和动态可控性差。发明内容本发明提供一种流媒体播放器，以解决现有技术在同时提供流媒体和字幕 服务时存在灵活性和动态可控性差的问题。一种流媒体播放器，包括将流媒体分离并解码出音频流和视频流的媒体流处理单元，用于播放音频流和视频流的播放单元；其中，所述播放器还包括合 成单元，该合成单元用于接收和解码字幕流，以及将解码后的字幕流转换为新 的视频流或者将解码后的字幕流与所述媒体流处理单元输出的视频流合成新的 4见频流后输出到所述播放单元。一种流媒体字幕合成装置，包括字幕接收/缓冲组件，用于接收并緩存字幕流；字幕解码组件，用于解码緩存的字幕流；视频/字幕合成组件，用于将字幕解码组件输出的字幕流和接收到的视频流 合成新的纟见频流。本发明在播放媒体流的过程中，将媒体流中的视频流与字幕流动态的合成 新的视频流播放，因而在对IM用户提供流媒体服务的时候，可以灵活的提供对 应的字幕服务，这种字幕可以是对应的视频对白、音频字幕、广告字幕、消息 字幕等；在本发明中字幕服务由服务器端提供，其动态可控性好，能够根据需 要及时更新。采用本发明不仅能够满足不同的业务需求，而且也可作为一种增 值服务为流媒体服务商增加收入来源、为用户提供更丰富的流媒体服务。
图1为实现本发明网络系统结构示意图；图2为媒体流和字幕流服务的流程示意图；图3A为媒体流的存储格式示意图；图3B为字幕流存储格式示意图；图4为流媒体播放器结构示意图；图5为字幕组件处理字幕流的流程图。
具体实施方式
为了满足多媒体新闻发布、网上演示、在线直播、网络广告、电子商务、 视频点播、远程教育、实时视频会议和即时通讯等信息服务对流媒体字幕技术 的不同需求，提高其灵活性，本发明由字幕服务器控制字幕流，在流媒体播放 器请求流媒体服务器提供流媒体服务时，向字幕服务器请求该流媒体对应的字 幕服务；流媒体播放器接收到流媒体服务器和字幕服务器发送来的媒体流和字 幕流后匹配时间戳，在字幕流时间戳与媒体流时间戳匹配时，将该字幕流转换 为视频流与所述媒体流同步播放。以下主要以即时通讯服务为例，结合附图对实现本发明进行详细说明如图1所示，实现本发明的即时网络系统包括即时通讯用户客户端(IM Client) 400 (用户客户端为多个)、即时通讯服务器(IM Server) 100、流媒体 服务器200和字幕服务器300。其中即时通讯服务器200负责管理用户和对即 时通讯用户(IM User)登录进行认证，并对用户发放签名。流i某体服务器200 向用户提供流媒体服务，并对访问流媒体服务器的用户进行认证。字幕服务器 300向用户提供字幕服务，并对访问字幕服务器的用户进行认证。参阅图2所示，在即时通讯客户端具有流媒体播放器500,该流媒体播放器 500包括媒体流处理单元510、合成单元520和播放单元530。媒体流处理单元 510接收和解码流媒体服务器通过网络传送来的媒体流，合成单元520将媒体流处理单元510输出的媒体流和字幕服务器300通过网络传送来的字幕流合成新 的媒体流，播放单元530播放合成单元520输出的媒体流。流媒体播放器500中，除合成单元520外，媒体流处理单元510和播放单 元530可以是Windows操作系统上安装的Windows Media Player中的单元。参阅图3A所示，媒体流在流媒体服务器200上的存储格式和普通的流媒体 服务器媒体流储存格式一致。参阅图3B所示，在字幕服务器300上，期望和媒体流里某时间点同时出现 的字幕则打上和该媒体流里相同的时间戳，以保证流媒体播放和字幕流同步显 示。字幕服务器300上的字幕流采用无损压缩编码算法进行编码，如LZ77算法。参阅图4所示，媒体流处理单元510包括接收/缓沖组件511、音/视频媒 体流分离组件512、音频解码组件513和视频解码组件514。接收/緩冲组件511 接收并緩存从流媒体服务器200传送来的流4某体；音/视频媒体流分离组件512 将接收/緩冲组件511输出的々某体流分离为音频流和视频流，并分别输出到音频 解码组件513和视频解码组件514;音频解码组件513对音频流进行解码， 一见频 解码组件514对^f见频流进行解码。合成单元520包括字幕接收/緩冲组件521、字幕解码组件522和视频/字 幕合成组件523。字幕接收/缓冲组件521接收由字幕服务器300发送来的字幕 流，并把接收到字幕流按字幕流时间样本先后顺序保存在本地的一个緩冲队列 里；字幕解码组件522对字幕接收/缓冲组件521输出的已编码字幕流数据，采 用相应的解码算法进行解码，并将解码后的数据流写入字幕緩冲文件，如，字 幕服务器300上的字幕流采用LZ77算法编码，字幕解码组件522则采用LZ77 解码算法进行解码。既使用和字幕流编码对应的解码算法解码。视频/字幕合成 组件523将视频解码组件514输出的视频流和字幕解码组件522输出的字幕流 合成新的#见频流并输出。播放单元530包括音频播放组件531和视频播放组件532，音频播放组件 531用于播放音频解码组件513输出的音频流，视频播放组件532用于播放视频 /字幕合成组件523输出的视频流。为了使字幕流和对应的媒体流同步播放，字幕流的时间戳必须与对应的媒 体流的时间戳匹配(或者说明媒体流和字幕流的时间戳必须一致)。流媒体播放器500在确定字幕流和媒体流的时间戳是否匹配时，以第一个媒体流样本的时 间戳与第一个字幕流样本的时间戳的差值为参考值，如果当前字幕流样本的时 间戳与当前媒体流样本时间戳的差值与所述参考值之差不大于设定的阈值，则 确定所述当前媒体流时间戳与当前字幕流时间戳匹配。如阈值设定为2，媒体 流的第一个媒体样本的时间戳是10，字幕流第一个样本的时间戳是110，则参 考值为110-10=100。若经过5秒以后，当前媒体流的时间戳为10+5=15,此时 收到的字幕流样本的时间戳为116,则当前字幕流样本的时间戳与当前媒体流样 本时间戳的差值101 (116-15=101)与参考值100的差为1，此时该差值1小于 阈值2，流媒体播放器500则确定字幕流时间戳与流媒体时间戳匹配。 参阅图5所示，播放流媒体字幕的过程如下步骤10:即时通讯用户A首先向流媒体服务器200申请流媒体服务(标识 该流媒体为C)，在收到流媒体服务器200的应答后，通讯用户A再向字幕服务 器300申请媒体流C对应的字幕服务。流媒体服务器对即时通讯用户A的应答 中包括了是否需要认证、是否提供字幕流服务等信息。步骤20:流媒体服务器200和字幕服务器300分别检查后确认可为该新用 户提供流媒体服务和字幕服务，并要求用户A提供签名。步骤30:用户A向即时通讯服务器100获取用于访问流媒体服务器200和 字幕服务器300的签名，即时通讯服务器100返回一个可访问流々某体服务器的 签名Sl和一个可访问字幕服务器的签名S2，由用户发送签名给流々某体服务器 200和字幕服务器300。步骤40:流媒体服务器200和字幕服务器300分别认证签名Sl和签名S2, 若两个签名均通过认证，则流々某体服务器200和字幕服务器300分别向用户A 发送媒体流C和对应的字幕流。若签名未通过认证，则服务器不会向用户A提 供服务。步骤50:即时通讯用户A客户端(IM Client)上启动的流媒体播放器500接收媒体流C和对应的字幕流，由媒体流处理单元510解码媒体流C并分离出 音频流和视频流，合成单元520接收到视频流和解码后的字幕服务流后，判断 视频流的时间戳与字幕流的时间戳是否匹配，如果匹配，则将该视频流和字幕 流合成新的视频流，播放单元530播放媒体流处理单元510输出的音频流和合 成单元520输出的视频流，从而达到媒体流和对应的字幕流同频播放。若不匹 配，则緩存该字幕流，如果该字幕流时间戳的绝对差值和当前媒体流时间戳的 绝对差值大于限定值，则认为该字幕样本已经无效，丟弃该样本。在媒体流处理单元510中，视频解码组件514将媒体流中的视频流解码后， 以位图(Bitmap)的格式传输给合成单元520中的视频/字幕合成组件5M,视 频/字幕合成组件523合成新的视频帧时将要显示字幕点阵在位图上对应的位置 的位图点阵替换成字幕颜色，处理完当前帧要显示的所有字符的点阵即完成一 帧的字幕、视频合成。若上述的媒体流中不包含视频流即仅有音频流，视频/字幕合成组件523将 字幕流单独转化成视频流的格式发送给视频显示组件532进行显示。当然，流媒体服务器200和字幕服务器300也可能不需要用户提供签名而 直接提供服务，即在上述步骤20、步骤30和步骤40中没有要求签名、获取签 名和签名认证过程。本发明在多媒体新闻发布、网上演示、在线直播、网络广告、电子商务、现同理，在此不再赘述。明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1、一种流媒体播放器，包括将流媒体分离并解码出音频流和视频流的媒体流处理单元，用于播放音频流和视频流的播放单元；其特征在于，所述播放器还包括合成单元，该合成单元用于接收和解码字幕流，以及将解码后的字幕流转换为新的视频流或者将解码后的字幕流与所述媒体流处理单元输出的视频流合成新的视频流后输出到所述播放单元。
2、 如权利要求l所述的流媒体播放器，其特征在于，所述合成单元包括 字幕接收/緩冲组件，用于接收并缓存字幕流；字幕解码组件，用于解码緩存的字幕流；视频/字幕合成组件，用于将解码后的字幕流转换为新的视频流，或者将解 码后的字幕流与所述视频流合成新的视频流。
3、 一种流纟某体字幕合成装置，其特征在于该组件包括 字幕接收/緩沖组件，用于接收并緩存字幕流； 字幕解码组件，用于解码緩存的字幕流；视频/字幕合成组件，用于将字幕解码组件输出的字幕流和接收到的视频流 合成新的^L频流。
全文摘要
本发明公开了一种流媒体播放器，以解决现有技术在同时提供流媒体和字幕服务时存在灵活性和动态可控性差的问题；该流媒体播放器，包括将流媒体分离并解码出音频流和视频流的媒体流处理单元，用于播放音频流和视频流的播放单元；所述播放器还包括合成单元，该合成单元用于接收和解码字幕流，以及将解码后的字幕流转换为新的视频流或者将解码后的字幕流与所述媒体流处理单元输出的视频流合成新的视频流后输出到所述播放单元。
文档编号H04N7/52GK101262611SQ200810088098
公开日2008年9月10日 申请日期2005年5月1日 优先权日2005年5月1日
发明者伍海君, 宇 王 申请人:腾讯科技(深圳)有限公司