专利名称：流媒体传输以及播放方法、系统和用户端设备的制作方法
技术领域：
本发明涉及互联网技术领域，尤其涉及一种流媒体传输技术以及对应的流 媒体播放技术。
背景技术：
流媒体是指采用流式传输的方式在互联网上播放的媒体格式。流式传输是 一种连续、实时的网络传输技术，用户在下载文件的同时即可在线观看，只需 等待很短(一般为几秒或十几秒)的启动延时，避免了必须等待文件从互联网 上全部下载完毕才能观看的弊端。
现有技术中，在互联网上传输流媒体的系统，其网络结构基于CDN (Content Delivery Network,内容分发网络)技术或者P2P (Peer to Peer,对 等网络)技术。
基于CDN技术的流媒体传输系统，其网络结构如图l所示，在互联网中 部署若千个流々某体服务器，各流媒体服务器通过互联网相互连接，形成CDN 网络。在传输流媒体时，距离流媒体源最近或者连接情况最好的一个或者多个 流媒体服务器，从流媒体源上获得流媒体信息，并通过CDN网络推送至最接 近用户端设备的边缘流媒体服务器上，互联网用户从该边缘流媒体服务器上获 取所需的流々某体信息。基于CDN技术的流媒体传输系统，其网络结构采用传 统的C/S (Client/Server,客户端/服务器)模式，可扩展性较差，并且会遇到 网络带宽受限的问题。
基于P2P技术的流媒体传输系统，其网络结构如图2所示，在现有的互联 网基础上，流々某体源通过流媒体服务器将流媒体信息高效、低成本地分发给各 互联网用户，并充分利用互联网用户的网络资源，在互联网用户之间形成P2P
网络，每一个用户端设备既可作为服务器，也可作为客户端，在各用户端设备
之间相互传输流媒体信息。基于P2P技术的流媒体传输系统，由于用户端设备 既可以作为服务器又可以作为客户端，所以不能进行访问控制和版权管理，导 致该系统不能进行有效的安全管理，同时互联网上各用户端设备存在较大差 异，系统的异构性也成为亟待解决的技术问题。
发明内容
本发明提供一种流媒体传输方法及系统，实现了安全、高效地在互联网上 传输流媒体，同时满足了系统的可扩展性要求，解决了系统的异构性问题。 相应的，本发明还提供一种流媒体播放方法及用户端设备。 本发明提供的流々某体传输方法，包括
分层视频编码器对流媒体源输出的流媒体信息的视频信号按照比特率进 行分层编码，将得到的基本层视频数据信息发送给安全管理服务器，增强层视 频数据信息发送给对等网络分发服务器；
音频编码器对所述流媒体信息的音频信号进行编码，将得到的音频数据信 息发送给所述安全管理服务器；
所述安全管理服务器对基本层视频数据信息和音频数据信息进行加密后 发送给标准直播服务器；
所述标准直播服务器向请求下载所述流媒体信息的用户端设备发送加密 后的基本层视频数据信息和音频数据信息，所述对等网络分发服务器向登陆本 服务器的用户端设备传输所述增强层视频数据信息。
本发明提供的流媒体传输系统，包括流媒体源，还包括分层视频编码器、 音频编码器、安全管理服务器、标准直播服务器、对等网络分发服务器，其中
所述分层视频编码器，用于对所述流媒体源输出的流媒体信息的视频信号 按照比特率进行分层编码，将得到的基本层视频数据信息发送给所述安全管理 服务器，增强层^L频数据信息发送给所述对等网络分发服务器； 所述音频编码器，用于对所述流士某体源信息的音频信号进行编码，将得到
的音频数据信息发送给所述安全管理服务器；
所述安全管理服务器，用于对基本层视频数据信息和音频数据信息进行加 密后发送给所述标准直播服务器；
所述标准直4番服务器，用于向请求下载所述流々某体信息的用户端设备发送 加密后的基本层i见频数椐信息和音频数据信息；
所述对等网络分发服务器，用于向登陆本服务器的用户端设备传输所述增 强层视频数据信息。
本发明提供的流媒体播放方法，包括
用户端设备从标准直播服务器中获取加密后的基本层视频数据信息和音 频数据信息，登陆对等网络分发服务器以获取增强层视频数据信息，所述基本 层视频数据信息和增强层视频数据信息通过对流媒体信息的视频信号按照比 特率进行分层编码得到；并
播放获取到的数据信息。
本发明提供的用户端设备，包括
获取单元用于从标准直播服务器中获取力口密后的基本层视频数据信息和 音频数据信息，登陆对等网络分发服务器以获取增强层视频数据信息，所述基 本层视频数据信息和增强层视频数据信息通过对流媒体信息的视频信号按照 比特率进行分层编码得到；
播放单元用于播放获取到的数据信息。
本发明提供的流媒体传输方法及系统，对视频信号按照比特率进行分层编 码得到基本层视频数据信息和增强层视频数据信息，采用传统的客户端/服务器 模式传输基本层视频数据信息，使得服务质量得到保证；安全管理服务器对基 本层视频数据信息和音频数据信息采用加密机制，保证了流媒体的安全传输； 使用对等网络机制传输增强层视频数据信息，满足了系统的可扩展性要求；基 本层视频数据信息和增强层视频数据信息使用两种传输机制，用户端设备播放
获取到的数据信息，解决了系统的异构性问题。本发明提供的流媒体播放方法 及用户端设备，适用于该流媒体传输系统，方便了用户的使用。
图1为现有技术中基于CDN技术的流媒体传输系统网络结构图2为现有技术中基于P2P技术的流媒体传输系统网络结构图3为本发明实施例中流媒体传输系统结构示意图4为本发明实施例中用户端设备的一种可能结构框图5为本发明实施例中流々某体传输方法流程图6为本发明实施例中流媒体播放方法流程图7为本发明实施例中流々某体传输和播放的处理流程图。
具体实施例方式
在互联网上传输流媒体的系统，需要同时解决以下几方面问题安全管理、 服务质量(Quality of Service, QoS )、可扩展性和异构性。安全管理包括版权 管理和访问控制，有效的安全管理机制可以激励流媒体的大量提供并保障流媒 体提供者的合法权益。QoS管理能保证流媒体的数据传输速率，并能控制延时 和丢包率。流媒体传输系统的可扩展性对于日益增长的用户数量至关重要；同 时，大量的用户端设备在终端能力、网络拓朴结构、可利用带宽、流媒体的数 据传输速率需求等方面均不相同，解决流媒体传输系统的异构性问题，有利于 提高带宽利用率月良务灵活性。
本发明实施例提供了一种流媒体传输系统，实现了安全、高效地在互联网 上传输流媒体，同时满足了系统的可扩展性要求，解决了系统的异构性问题。 如图3所示，本发明实施例提供的流媒体传输系统，包括流媒体源300、分层 视频编码器301、音频编码器302、安全管理服务器303,标准直播服务器304， P2P分发服务器305，其中
流媒体源300,用于将流媒体信息分离成视频信号和音频信号后输出，如 果流媒体信息中还包括字幕信息，则字幕信息是混合在音频信号中的，视频信 号和音频信号具有相同的流媒体信息标识以表明属于同 一流々某体信息；
流媒体源300可以是通用的摄像机，例如普通DV,也可以是网络摄像机， 流媒体源的提供者一般为ICP (互联网内容提供商)网站。
分层视频编码器301 ，用于对流々某体源300输出的流々某体信息的视频信号 按照比特率进行分层编码，得到两层视频数据信息，该两层视频数据信息具有 相同的时间戳可以在播放时进行数据同步，将得到的基本层视频数据信息发送 给安全管理服务器303，增强层视频数据信息发送给P2P分发服务器305;
分层视频编码器301采用高质量增强层参考技术，将^f见频信号分解成两层 视频数据信息，比特率较低的视频信号编码得到的视频数据信息称为基本层视 频数据信息，是基本的也是最重要的视频数据信息；比特率较高的视频信号编 码得到的视频数据信息称为增强层视频数据信息，用于提高播》 量。
音频编码器302，用于对流媒体源300输出的流4某体信息的音频信号进行 编码，将得到的音频数据信息发送给安全管理服务器303;
音频编码器302对音频信号进行编码，根据实际情况，可以是实时的，也 可以是非实时的；当然，如果字幕信息混合在音频信号中，则音频编码器302 对音频信号进行编码得到的音频数据信息中也包括字幕信息，后续不再赘述。
安全管理^^务器303，用于对基本层视频数据信息和音频数据信息进行加 密后发送给标准直播服务器304;
较优的，安全管理服务器303在对基本层视频数据信息和音频数据信息进 行加密之前，还可以对基本层视频数据信息和音频数据信息进行数字签名，进 一步增强流媒体传输的安全性；并且安全管理服务器303可以采取选择性加密 方式对基本层视频数据信息和音频数据信息进行加密。
标准直播服务器304，用于向请求下载该流媒体信息的用户端设备发送加 密后的基本层^f见频数据信息和音频数据信息；标准直播服务器304支持标准流媒体传输协议，采用传统的客户端/服务器 模式，向登陆到本服务器的用户端设备发送其请求下载的流媒体信息对应的数 据信息，保证加密后的基本层视频数据信息和音频数据信息可以及时有效地发 送给用户端设备。
P2P分发服务器305,用于向登陆到本服务器的用户端设备传输增强层i见 频数据信息；
P2P分发服务器305支持通用的P2P流媒体传输协议，例如gossip通信协 议，登陆到本服务器的各用户端设备之间可以形成P2P网络，使得各用户端设 备之间也可以进行P2P传输；向登陆到本服务器的用户端设备传输增强层视频 数据信息，通过形成的P2P网络，P2P分发服务器305最终可以直接或间接将 增强层视频数据信息发送给请求下载该流媒体信息的用户端设备。
本发明实施例中，采用对称加密方式，即安全管理服务器303和用户端设 备采用相同的密钥，安全管理服务器303根据密钥对基本层视频数据信息和音 频数据信息进行加密，用户端设备根据密钥对加密后的基本层视频数据信息和 音频数据信息进4亍解密。当然，也可以采用非对称加密方式。
安全管理服务器303进行加密操作、用户端设备进行解密操作采用的密钥 可以预先配置，较优的，该系统还包括
密钥消息服务器306，用于周期性生成密钥并发送给安全管理服务器303 和用户端i殳备；以及
安全管理服务器303根据接收到的密钥对基本层视频数据信息和音频数据 信息进行加密。
通过密钥消息服务器306周期性生成密钥可以周期性更新安全管理服务器 303和用户端设备中的密钥，进一步提升流媒体传输系统的安全性。
至此已经完成了网络侧的流媒体传输，为了最终实现用户侧的流媒体播 放，对用户端设备进行介绍
用户端设备，用于从标准直播服务器304中获取加密后的基本层视频数据
信息和音频数据信息，登陆P2P分发服务器305以获取增强层视频数据信息， 并播放获取到的数据信息，播放获取到的数据信息主要是指进行解密、解码、 调用本地播放器进行播放等；
用户端设备需要支持标准流媒体传输协议，同时还支持P2P流媒体传输协 议。可以直接从所登陆的标准直播服务器中获取加密后的基本层视频数据信息 和音频数据信息，同时可以与登陆同 一个P2P分发服务器的其它用户端设备之 间进行P2P传输。需要指出的是，用户端设备登陆P2P分发服务器305以获取 增强层视频数据信息，但是由于终端能力或者数据传输速率的问题，会发生不 能获取到增强层视频数据信息的情况。
如图4所示，用户端设备的一种可能结构，包括
获取单元401:用于从标准直播服务器中获取加密后的基本层视频数据信 息和音频数据信息，登陆对等网络分发服务器以获取增强层视频数据信息，基 本层^f见频数据信息和增强层视频数据信息通过对流i某体信息的视频信号按照 比特率进行分层编码得到；
播放单元402:用于播放获取到的数据信息。
播放单元402还可包括第一播放子单元4021和第二播放子单元4022，其
中
第一播放子单元4021，用于在获取到的数据信息包括加密后的基本层视频 数据信息和音频数据信息、以及增强层视频数据信息时，对加密后的基本层视 频数据信息和音频数据信息进行解密；对解密后的基本层视频数据信息和音频 数据信息，以及获取到的增强层视频数据信息进行解码；调用本地播放器组件 播放解码后的数据信息；
第二播放子单元4022,用于在获取到的数据信息包括加密后的基本层视频 数据信息和音频数据信息时，对加密后的基本层视频数据信息和音频数据信息 进行解密和解码；调用本地播放器组件播放解码后的数据信息。
基于同一发明构思，本发明实施例提供一种网络侧的流^某体传输方法，如图5所示，包括
S501 、分层视频编码器对流媒体源输出的流媒体信息的视频信号按照比特 率进行分层编码，将得到的基本层视频数据信息发送给安全管理服务器，增强 层视频数据信息发送给P2P分发服务器；
S502、音频编码器对流々某体源输出的流々某体信息的音频信号进行编码，将 得到的音频数据信息发送给安全管理服务器；
S503 、安全管理服务器对基本层视频数据信息和音频数据信息进行加密后 发送给标准直播月良务器；
S504、标准直播服务器向请求下载该流媒体信息的用户端设备发送加密后 的基本层视频数据信息和音频数据信息，P2P分发服务器向登陆本服务器的用 户端设备传输增强层一见频数据信息。
本发明实施例还提供一种用户侧的流媒体播放方法，如图6所示，包括
S601 、用户端设备从标准直播服务器中获取加密后的基本层视频数据信息 和音频数据信息，登陆对等网络分发服务器以获取增强层视频数据信息，其中 基本层视频数据信息和增强层视频数据信息通过对流媒体信息的视频信号按 照比特率进行分层编码得到；
S602、播放获取到的数据信息。
其中，获取到的数据信息可能包括加密后的基本层视频数据信息和音频数 据信息、以及增强层视频数据信息，则S602中播放获取到的数据信息，具体 包括
Al、对加密后的基本层视频数据信息和音频数据信息进行解密；
A2、对解密后的基本层视频数据信息和音频数据信息，以及获取到的增强 层视频数据信息进行解码；
A3、调用本地播放器组件播放解码后的数据信息。
获取到的增强层视频数据信息由P2P分发服务器发送或者由其它登陆到 该P2P分发服务器的用户端设备发送。
由于终端能力或者数据传输速率等问题，可能会发生不能获取到增强层视 频数据信息的情况，获取到的数据信息只包括加密后的基本层视频数据信息和
音频数据信息，则S602中播放获取到的数据信息，具体包括
Bl、对加密后的基本层视频数据信息和音频数据信息进行解密和解码； B2、调用本地播放器组件播放解码后的数据信息。
下面将基于流々某体传输系统和支持该流々某体传输系统的用户端设备，以具 体实施例详细说明流媒体传输和播放的处理流程，如图7所示，包括步骤
5701、 流士某体源将流媒体信息分离成视频信号和音频信号后输出，如果流 媒体信息中包括字幕信息，则字幕信息混合在音频信号中；
5702、 分层视频编码器对流媒体源输出的流媒体信息的视频信号按照比特 率进行分层编码，生成基本层视频数据信息和增强层视频数据信息，其中，基 本层视频数据信息发送给安全管理服务器，增强层视频数据信息发送给P2P分 发服务器；
5703、 音频编码器对流媒体源输出的流^ 某体信息的音频信号进行编码，生 成音频数据信息，发送给安全管理服务器；
5704、 安全管理服务器对基本层视频数据信息、音频数据信息进行数字签 名、以及利用密钥消息服务器发送的密钥进行加密之后，发送给标准直播服务 器；
5705、 用户端设备登陆标准直播服务器，从标准直播服务器中获取加密后 的基本层视频数据信息和音频数据信息，用户端设备登陆P2P分发服务器以获 取增强层视频数据信息，用户端设备登陆P2P分发服务器登陆之后即成为P2P 网络的一个节点；
5706、 用户端设备判断是否获取到增强层视频数据信息，如果获取到增强 层视频数据信息，则转入S707,如果没有获取到增强层视频数据信息，则转入 S710;
其中，用户端设备获取到的增强层视频数据信息可能是由P2P分发服务器
发送的，也可能是由其它登陆到该P2P分发服务器的用户端设备发送的；
5707、 用户端设备利用密钥消息服务器所分发的密钥对加密后的基本层视 频数据信息和音频数据信息进行解密；
5708、 用户端设备对解密后的基本层视频数据信息和音频数据信息，以及 获取到的增强层视频数据信息进行解码；
5709、 用户端设备调用本地播放器组件播放解码后的数据信息，本地播放 器组件可以同步解码后得到的音频信号和视频信号，还可能包括字幕信息，从 而使用户观看到清晰、流畅的流媒体信息，流媒体传输和播放过程完成；
5710、 用户端设备利用密钥消息服务器所分发的密钥对加密后的基本层视 频数据信息和音频数据信息进行解密和解码；
5711、 用户端设备调用本地播放器组件播放解码后的数据信息，本地播放 器组件可以同步解码后得到的音频信号和视频信号，还可能包括字幕，从而使 用户观看到清晰、流畅的流媒体信息，流媒体传输和播放过程完成。
需要指出的是，S702和S703只是为了描述方便而给出了步骤编号，实际 上两个步骤之间没有严格的时序关系。
本发明实施例提供的流媒体传输和播放处理流程，对视频信号按照比特率 进行分层编码得到基本层视频数据信息和增强层视频数据信息，对基本层视频 数据信息和对音频信号编码后得到的音频数据信息利用可靠的加密机制，即采 用数字签名和密钥加密技术，保障了传输的安全性；使用客户端服务器模式传 输加密后的基本层视频数据信息和音频数据信息，使QoS得到保证；使用P2P 机制传输增强层视频数据信息，满足了系统的可扩展性要求；用户端设备在终 端能力、或者数据传输速率等条件的限制下，可能无法接收到增强层视频数据 信息，但是不会影响流媒体信息的播放，解决了系统的异构性的问题。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发 明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1.一种流媒体传输方法，其特征在于，包括分层视频编码器对流媒体源输出的流媒体信息的视频信号按照比特率进行分层编码，将得到的基本层视频数据信息发送给安全管理服务器，增强层视频数据信息发送给对等网络分发服务器；音频编码器对所述流媒体信息的音频信号进行编码，将得到的音频数据信息发送给所述安全管理服务器；所述安全管理服务器对基本层视频数据信息和音频数据信息进行加密后发送给标准直播服务器；所述标准直播服务器向请求下载所述流媒体信息的用户端设备发送加密后的基本层视频数据信息和音频数据信息，所述对等网络分发服务器向登陆本服务器的用户端设备传输所述增强层视频数据信息。
2、 如权利要求1所述的方法，其特征在于，所述安全管理服务器对基本 层视频数据信息和音频数据信息进行加密所采用的密钥由密钥消息服务器周 期性生成并发送；以及所述密钥消息服务器将所述密钥同时下发给用户端设备。
3、 如权利要求1或2所述的方法，其特征在于，所述安全管理服务器对 基本层视频数据信息和音频数据信息进行加密之前，还包括所述安全管理服务器对基本层视频数据信息和音频数据信息进行数字签名。
4、 一种流媒体传输系统，包括流媒体源，其特征在于，还包括分层视频 编码器、音频编码器、安全管理服务器、标准直播服务器、对等网络分发服务 器，其中所述分层视频编码器，用于对所述流媒体源输出的流媒体信息的视频信号 按照比特率进行分层编码，将得到的基本层视频数据信息发送给所述安全管理 服务器，增强层视频数据信息发送给所述对等网络分发服务器； 所述音频编码器，用于对所述流媒体信息的音频信号进行编码，将得到的音频数据信息发送给所述安全管理服务器；所述安全管理服务器，用于对基本层视频数据信息和音频数据信息进行加 密后发送给所述标准直播服务器；所述标准直^"服务器，用于向请求下载所述流士某体信息的用户端设备发送 加密后的基本层视频数据信息和音频数据信息；所述对等网络分发服务器，用于向登陆本服务器的用户端设备传输所述增 强层视频数据信息。
5、 如权利要求4所述的系统，其特征在于，还包括 密钥消息服务器，用于周期性生成密钥并发送给所述安全管理服务器和用户端设备；以及所述安全管理服务器，还用于根据接收到的密钥对基本层视频数据信息和 音频数据信息进行加密。
6、 如权利要求4或5所述的系统，其特征在于，所述安全管理服务器， 还用于在对基本层视频数据信息和音频数据信息进行加密之前，对其进行数字 签名。
7、 一种流媒体播放方法，其特征在于，包括用户端设备从标准直播服务器中获取加密后的基本层视频数据信息和音 频数据信息，登陆对等网络分发服务器以获取增强层视频数据信息，所述基本 层视频数据信息和增强层视频数据信息通过对流媒体信息的视频信号按照比 特率进行分层编码得到；并播放获取到的数据信息。
8、 如权利要求7所述的方法，其特征在于，所述获取到的数据信息包括 加密后的基本层视频数据信息和音频数据信息、以及增强层视频数据信息；所述播放获取到的数据信息，包括 对加密后的基本层视频数据信息和音频数据信息进行解密； 对解密后的基本层视频数据信息和音频数据信息，以及获取到的增强层视频数据信息进行解码；调用本地播放器组件播放解码后的数据信息。
9、 如权利要求8所述的方法，其特征在于，获取到的增强层视频数据信 息由所述对等网络分发服务器发送或者由其它登陆到所述对等网络分发服务 器的用户端i殳备发送。
10、 如权利要求7所述的方法，其特征在于，所述获取到的数据信息包括 加密后的基本层视频数据信息和音频数据信息；所述播放获取到的数据信息，包括对加密后的基本层视频数据信息和音频数据信息进行解密和解码； 调用本地播放器组件播放解码后的数据信息。
11、 一种用户端设备，其特征在于，包括获取单元用于从标准直播服务器中获取加密后的基本层视频数据信息和 音频数据信息，登陆对等网络分发服务器以获取增强层视频数据信息，所述基 本层视频数据信息和增强层视频数据信息通过对流^^某体信息的视频信号按照 比特率进行分层编码得到；播放单元用于播放获取到的数据信息。
12、 如权利要求11所述的设备，其特征在于，所述播放单元包括第一播 放子单元和第二播放子单元，其中所述第一播放子单元，用于在获取到的数据信息包括加密后的基本层视频 数据信息和音频数据信息、以及增强层视频数据信息时，对加密后的基本层视 频数据信息和音频数据信息进行解密；对解密后的基本层视频数据信息和音频 数据信息，以及获取到的增强层视频数据信息进行解码；调用本地播放器组件 播放解码后的数据信息；所述第二插-放子单元，用于在获取到的数据信息包括加密后的基本层视频 数据信息和音频数据信息时，对加密后的基本层视频数据信息和音频数据信息进行解密和解码；调用本地播放器组件播放解码后的数据信息。
全文摘要
本发明涉及互联网技术领域，尤其涉及一种流媒体传输以及播放技术。本发明公开了一种流媒体传输方法及系统，实现了安全、高效地在互联网上传输流媒体，同时满足了系统的可扩展性要求，解决了系统的异构性问题。所述方法包括对流媒体信息的视频信号按照比特率进行分层编码，得到基本层视频数据信息和增强层视频数据信息；对流媒体信息的音频信号进行编码，得到音频数据信息；对基本层视频数据信息和音频数据信息进行加密；标准直播服务器向请求下载流媒体信息的用户端设备发送加密后的基本层视频数据信息和音频数据信息，对等网络分发服务器向登陆本服务器的用户端设备传输增强层视频数据信息。本发明还提供一种流媒体播放方法及用户端设备。
文档编号H04N7/52GK101370137SQ20081022248
公开日2009年2月18日 申请日期2008年9月17日 优先权日2008年9月17日
发明者然 刘, 刘雪宁, 浩 尹, 锋 邱, 邹焕英 申请人:清华大学;北京蓝汛通信技术有限责任公司