专利名称：一种利用smil技术与移动流媒体技术的移动多点监视技术的制作方法
技术领域：
本发明采用移动流媒体技术实现移动多点监视，具体涉及视/音频编解码技术、移动流媒体技术及SMIL技术。
背景技术：
移动流媒体技术移动流媒体技术就是把连续的影像和声音信息经过压缩处理后放到网络服务器上，让移动终端用户能够一边下载一边观看、收听，而不需要等到整个多媒体文件下载完成就可以即时观看的技术。实际上移动流媒体技术是网络音视频技术和移动通讯技术发展到一定阶段的产物，它是融合很多网络技术之后所产生的技术，它会涉及到流媒体数据的采集、压缩、存储、传输以及网络通信等多项技术。
支持的网络传输协议为实时流化协议(RTSP)、实时传输协议(RTP)和实时传输控制协议(RTCP)。支持的视频编码算法H.263、MPEG4和H.264；支持的音频编码算法AMR、AAC等。
1、视/音频编解码技术目前国际上常用的视频编码算法有H.263、MPEG4和H.264。其中H.264与其它现有的视频编码标准相比，具有如下优势低码流(Low Bit Rate)和MPEG2和MPEG4 ASP等压缩技术相比，在同等图像质量下，采用H.264技术压缩后的数据量只有MPEG2的1/8，MPEG4的1/3。
高质量的图象H.264能提供连续、流畅的高质量图象(DVD质量)。
容错能力强H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。
网络适应性强H.264提供了网络适应层(Network Adaptation Layer)，使得H.264的文件能容易地在不同网络上传输(例如互联网，CDMA，GPRS，WCDMA，CDMA2000等)。
2、SMIL技术SMIL是同步多媒体集成语言，它是一套已经规定好的而且非常简单的标记。它用来规定多媒体片断(这里多媒体包括的范围有声音文件、视频文件、动画、图片、文字等)在什么时候、在什么地方、以什么样的方式播放。采用SMIL可以方便地描述各种媒体之间的时间同步关系和空间编排关系，是Internet上用于集成多媒体节目，尤其是流媒体的主要语言工具，它可以实现视频/音频、导航区的标题与电子讲稿三者的同步。
具有如下优点避免使用统一的包容文件格式、同时播放在不同地方(服务器上)的多媒体片断、对整个演示进行布局、多语言选择支持、多带宽选择支持。
3、视频监视视频监视系统是运用先进的数字视频、计算机网络通讯技术、多媒体技术、压缩技术，实现图像、声音的远程监视。按照采集的信号的不同可以分为模拟信号监视和数字信号监视。
随着移动技术的发展及3G时代的到来，通过无线环境进行移动监视已经成为一种趋势。由于移动环境自身的特殊性，对编码效率、网络自适应等提出新的要求，同时还需要实现分屏显示技术。目前H.264压缩效率更高，在低码率环境以及网络容错等方面有许多优势，因此移动监视采用H.264视频编码算法；为了实现移动终端的遥用性，考虑利用SMIL的分屏控制技术，任何支持SMIL的播放器都能实现远端多点显示。
目前现有的方法是各采集终端采集信号并对信号进行视/音频编码压缩，然后将压缩码流传输到监视中心，在监视中心上通过分屏技术显示在终端上。
现有方法的缺点是1、操作人员只能在监视中心进行监视，无法做到任何时间、任何地点的访问，不能对一些突发事件做出快速反应。
2、在监控中心需要配置专用的媒体接收、处理服务器，接收采集终端的数据并将数据进行显示。
3、需要实现分屏显示技术，显示软件是专用的，缺乏通用性和灵活性。
4、一般采用的编解码技术不适应移动终端和无线环境的传输。
发明内容
本发明的目的在于提供一种利用SMIL技术与移动流媒体技术的移动多点监视技术，可以解决监视地点的束缚，任何人在任何时间、任何地点都能通过移动终端进行多点监视。
本发明的技术方案是一种利用SMIL技术与移动流媒体技术的移动多点监视技术，其特征在于在SMIL脚本中发起到流媒体服务器的多个直播连接，实现在单一屏幕上的多画面显示；根据移动终端的监视需求，管理平台动态生成SMIL脚本，终端下载此脚本，并根据SMIL脚本中的描述，发起多个到流媒体服务器的直播请求，从而实现移动多点监视。
如上所述的移动多点监视技术，其特征在于①各采集端采集信号，并进行编码，视频采用H.264编码算法；然后将编码后的码流打包成RTP包发送到流媒体服务器；②各采集终端将采集、直播信息发布到综合管理平台；③移动终端访问综合管理平台，选择需要监视的地点，并对显示画面提出需求；④综合管理平台根据移动终端的需求动态生成SMIL脚本，该脚本包含了到流媒体服务器的直播请求，并将SMIL脚本传给移动终端；⑤移动终端播放SMIL脚本，在移动终端上发起到流媒体服务器的直播请求，实现移动多点监视。
如上所述的移动多点监视技术，其特征在于采集步骤如下
①、采集设备向流媒体服务器发起注册(包含用户名和密码)；②、流媒体服务器对采集设备进行接入管理，并将结果返回给采集终端；③、采集设备分析注册的响应；若成功，则向流媒体服务器发送会话描述文件(SDP信息)，其中描述了编码算法、流媒体服务器接收RTP包端口等信息；④、流媒体服务器根据SDP信息中的端口信息打开接收端口，并向综合管理平台通报在线采集设备信息；⑤、流媒体服务器向采集设备发送操作结果；⑥、采集设备分析结果，若成功，则启动采集、编码、打包过程，向流媒体服务发送RTP包；移动终端发起播放步骤如下①、移动终端登陆综合管理平台；②、从综合管理平台上选择在线采集设备，可以同时选择多个(这样就实现了多点)，并对每个在线采集设备指定显示区域；③、综合管理平台根据移动终端选定的信息动态生成SMIL脚本；④、移动终端从综合管理平台上下载SMIL脚本；⑤、移动终端启动支持SMIL脚本的播放器进行播放，播放器根据SMIL脚本中的Src信息向流媒体服务器发起直播请求，接收RTP包，解码并在指定的区域进行显示。
本发明的原理是SMIL技术能够实现多画面显示技术，在SMIL脚本中发起到流媒体服务器的多个直播连接，实现在单一屏幕上的多画面显示。在SMIL脚本中可以指定显示画面数以及各画面的相对位置。当播放SMIL脚本时，播放器首先按照脚本中的画面数以及位置参数分割画面，然后根据显示内容属性采用不同方法依次显示。显示的内容可以是视频、音频，也可以是FLASH和文本；显示的内容可以来源于本地文件，也可以来源于流媒体服务器。
SMIL脚本中的内容可以来源于流媒体服务器，通过在SMIL脚本中发起到流媒体服务器的直播请求，从而利用SMIL技术和移动流媒体技术实现了移动多点监视。
本发明根据无线网络自身特性，采用了最先进的H.264视频编码算法，利用SMIL可以方便描述各钟媒体之间时间同步关系和空间编排关系的特点，借助于移动流媒体服务器技术，实现了移动多点监视。
本发明的优点是1、解决了监视地点的束缚，任何人在任何时间、任何地点都能通过移动终端进行多点监视。
2、不需要专用媒体接收、处理服务器，可以共用和借用已有的通用流媒体服务器，从而降低成本。
3、在移动终端上不需要设计专用分屏显示软件，任何支持SMIL脚本的显示软件都可以。
4、视频编码采用H.264编码算法，在无线以及低码率环境下能获得满意的视频质量。
图1，是本发明实施例的系统框架图。
图2，是本发明实施例的采集终端与流媒体服务器、综合管理平台交互图。
图3，是本发明实施例的移动终端与流媒体服务器、综合管理平台交互图。
具体实施例方式
下面结合附图详细描述本发明的实施例。
系统框架如图1所示整个系统有四部分组成采集设备(101，102等)采集信号，对信号进行编码。将编码后的码流打成RTP包发送到流媒体服务器。
流媒体服务器(110)实现RTSP、RTP、RTCP协议；接收采集设备(101，102等)送的RTP包；接收移动终端(130，131等)的直播请求。
综合管理平台(120)采集终端的接入管理；采集终端信息统计；SMIL文件的生成；移动终端(130，131等)支持SMIL文件播放；支持RTSP、RTP、RTCP协议；支持常见视/音频解码算法。
采集过程如图2所示1、采集设备(201)向流媒体服务器(210)发起注册(包含用户名和密码)。
2、流媒体服务器(210)对采集设备(201)进行接入管理，并将结果返回给采集终端。
3、采集设备(201)分析注册的响应；若成功，则向流媒体服务器(210)发送会话描述文件(SDP信息)，其中描述了编码算法、流媒体服务器接收RTP包端口等信息。
4、流媒体服务器(210)根据SDP信息中的端口信息打开接收端口，并向综合管理平台(220)通报在线采集设备(201)信息。
5、流媒体服务器(210)向采集设备(201)发送操作结果。
6、采集设备(201)分析结果，若成功，则启动采集、编码、打包过程，向流媒体服务(210)发送RTP包。
移动终端(301)发起播放过程如图3所示1、移动终端(301)登陆综合管理平台(320)。
2、从综合管理平台(320)上选择在线采集设备，可以同时选择多个(这样就实现了多点)，并对每个在线采集设备指定显示区域。
3、综合管理平台(320)根据移动终端(301)选定的信息动态生成SMIL脚本。
4、移动终端(301)从综合管理平台(320)上下载SMIL脚本。
5、移动终端(301)启动支持SMIL脚本的播放器进行播放，播放器根据SMIL脚本中的src信息向流媒体服务器发起直播请求，接收RTP包，解码并在指定的区域进行显示，达到多点监视的目的。
会话描述文件内容如表1所示表1v＝0o＝-143397144 2257390873 IN IP4 192.168.3.185s＝EESc＝IN IP4 192.168.3.2t＝00m＝vi deo 5566 RTP/AVP 96b＝AS500a＝rtpmap96 H264/90000a＝fmtp96 profile-level-id＝674200；sprop-parameter-sets＝ZOIAFZZmFiZCAAADAAIAAAMAMwg＝，aM48gA＝＝；packetization-mode＝1a＝x-envivio-verid0001516B其中重点信息如下1、o＝-143397144 2257390873 IN IP4 192.168.3.185标明采集终端的IP地址为192.168.3.185。
2、c＝IN IP4 192.168.3.2指定了流媒体服务器的IP地址为192.168.3.2。
3、m＝video 5566 RTP/AVP 96标明流媒体服务器接收采集终端发送的RTP包的端口5566。
4、a＝rtpmap96 H264/90000标明了RTP包的格式。
5、sprop-parameter-sets＝ZOIAFZZmFiZCAAADAAIAAAMAMwg＝，aM48gA＝＝；标明了H.264编码参数信息。
SMIL脚本示例如表2所示表2<smil>
<head>
<layout>
<root-layout height＝″480″width＝″640″background-color＝″black″/>
<region id＝″region_01″left＝″0″top＝″0″height＝″144″width＝″176″/>
<region id＝″region_02″left＝″353″top＝″289″height＝″144″width＝″176″/>
</layout>
</head>
<body>
<par>
<video src＝″rtsp//192.168.3.2/capl.sdp″region＝″region_01″/>
<video src＝″rtsp//192.168.3.2/cap2.sdp″region＝″region_02″/>
</par>
</body>
</smil>
其中重点信息解释如下1、<root-layout height＝″480″width＝″640″background-color＝″black″/>，<root-layout>定义了播放器主窗口的大小。
2、<region id＝″region_01″left＝″0″top＝″0″height＝″144″width＝″176″/>指定的第一个显示区域的id、位置及尺寸。
3、<region id＝″region_02″left＝″353″top＝″289″height＝″144″width＝″176″/>指定的第二个显示区域的id、位置及尺寸。
4、<video src＝″rtsp//192.168.3.2/cap1.sdp″region＝″region_01″/>指定发起直播连接的URL地址信息，并将直播结果在第一个区域进行显示。
5、<video src＝″rtsp//192.168.3.2/cap2.sdp″region＝″region_02″/>指定发起直播连接的URL地址信息，并将直播结果在第二个区域进行显示。
在以上描述中，采集设备可以将打成的RTP包发送到不同的流媒体服务器，同时，移动终端也可以在同一SMIL脚本中发起对不同流媒体服务器的直播请求，这样可以大大增加移动终端与流媒体服务器的灵活性。
权利要求
1.一种利用SMIL技术与移动流媒体技术的移动多点监视技术，其特征在于在SMIL脚本中发起到流媒体服务器的多个直播连接，实现在单一屏幕上的多画面显示；根据移动终端的监视需求，综合管理平台动态生成SMIL脚本，终端下载此脚本，并根据SMIL脚本中的描述，发起多个到流媒体服务器的直播请求，从而实现移动多点监视。
2.如权利要求1所述的移动多点监视技术，其特征在于①各采集端采集信号，并进行编码，视频采用H.264编码算法；然后将编码后的码流打包成RTP包发送到流媒体服务器；②各采集终端将采集、直播信息发布到综合管理平台；③移动终端访问综合管理平台，选择需要监视的地点，并对显示画面提出需求；④综合管理平台根据移动终端的需求动态生成SMIL脚本，该脚本包含了到流媒体服务器的直播请求，并将SMIL脚本传给移动终端；⑤移动终端播放SMIL脚本，在移动终端上发起到流媒体服务器的直播请求，实现移动多点监视。
3.如权利要求2所述的移动多点监视技术，其特征在于采集步骤如下①、采集设备向流媒体服务器发起注册，包含用户名和密码；②、流媒体服务器对采集设备进行接入管理，并将结果返回给采集终端；③、采集设备分析注册的响应；若成功，则向流媒体服务器发送会话描述文件-SDP信息，其中描述了编码算法、流媒体服务器接收RTP包端口信息；④、流媒体服务器根据SDP信息中的端口信息打开接收端口，并向综合管理平台通报在线采集设备信息；⑤、流媒体服务器向采集设备发送操作结果；⑥、采集设备分析结果，若成功，则启动采集、编码、打包过程，向流媒体服务发送RTP包；移动终端发起播放步骤如下①、移动终端登陆综合管理平台；②、从综合管理平台上选择在线采集设备，可以同时选择多个，并对每个在线采集设备指定显示区域；③、综合管理平台根据移动终端选定的信息动态生成SMIL脚本；④、移动终端从综合管理平台上下载SMIL脚本；⑤、移动终端启动支持SMIL脚本的播放器进行播放，播放器根据SMIL脚本中的Src信息向流媒体服务器发起直播请求，接收RTP包，解码并在指定的区域进行显示。
全文摘要
一种利用SMIL技术与移动流媒体技术的移动多点监视技术，在SMIL脚本中发起到流媒体服务器的多个直播连接，实现在单一屏幕上的多画面显示；根据移动终端的监视需求，管理平台动态生成SMIL脚本，移动终端下载此脚本，并根据SMIL脚本中的描述，发起多个到流媒体服务器的直播请求，从而实现移动多点监视。本发明根据无线网络自身特性，采用了最先进的H.264视频编码算法，利用SMIL可以方便描述各钟媒体之间时间同步关系和空间编排关系的特点，借助于移动流媒体服务器技术，实现了移动多点监视。
文档编号H04L29/00GK1812571SQ20061001816
公开日2006年8月2日 申请日期2006年1月16日 优先权日2006年1月16日
发明者黄治华 申请人:北京北方烽火科技有限公司