专利名称：实时视频流转码服务器及包括转码服务器的视频监控系统的制作方法
技术领域：
本实用新型涉及网络视频监控技术，具体来说是一种实时视频流转码服务器及包 括转码服务器的视频监控系统。
背景技术：
视频监控传统上属于安防(保卫)系统的一部分，其作为安防系统的一项专门业 务，一直以来和IT行业的其他应用保持着一定的距离。传统视频监控以独立的小规模应用 为主，其视频通信采用以同轴电缆为主的模拟通信方式。目前，随着计算机技术的发展和网络的普及，视频监控已经发展到了网络视频监 控系统，不再局限于简单地完成对视频信号的处理、传输、控制，其核心乃是对基于IP网络 的多媒体信息(视频/音频/数据)提供一个综合、完备的管理控制平台。其中，根据应用 网络环境的不同，可分为专网视频监控系统和Internet视频监控系统，包括宽带互联网、 宽带移动无线网(如CDMA、3G)、卫星通信网等视频监控系统。Interne视频监控的特点是网络环境复杂、带宽资源有限，从前端不同种类的摄像 头(如DVS/DVR、IP camera等)到后端各种不同的监控设备(如PC、手机、PDA及其它类型 的媒体播放终端等)，中间可能穿过不同种类、介质的网络，包括有线网、无线网等等。因此， 如何有效地执行信令控制、视频流传输，保证后端监控设备能及时、准确地进行视频监控， 是一个必须面对的问题。这要求在实现Internet视频监控过程中，需要针对网络环境合理 规划整个业务流程并定义相关接口及协议，只有这样才能形成一个可用的Internet视频 监控系统。目前，Internet方面各种应用协议五花八门，其中有不少是与视频相关的，但这 不足以构建一个有效、可用的Internet视频监控系统。一个有效、可用的Internet视频 监控的概念可以归结为“5W”，即任何一个授权者(whoever)在任何时候(whenever)、任何 地点(wherever)，能通过任何一种手段方式(however)，获取任何一个被控对象(人或物) (whichever)的任何信息(whatever)。因此，实现一个有效、可用的Internet视频监控，需 要全面解决包括监控系统服务端和前端监控设备及后端设备之间的交互、其间控制信令及 视频流的传输、所需的标准及协议等问题。现有技术中，网络视频监控系统多采用TCP/IP协议为基本通信协议，即针对具体 应用特点，定义相关的应用协议，如常见的HTTP、FTP、SMTP/P0P3等，同时对于所需协议选 择合适的控制信令和视频流的方式，最终实现网络视频监控系统。问题在于，现有技术不能 很好地解决不同网络环境与设备的互操作性问题，因而不能满足融合视频监控系统的建设需要。例如，以手机终端作为客户端接入访问固网视频监控平台，共享固网监控资源的 应用模式中，前端监控设备输出的码流主要服务于固网宽带网络和PC端客户，因只支持单 码流，所支持的设备非常有限。也就是说，视频流的码流格式、帧速等不能直接在移动网络 传输，也不能在手机终端解码播放。[0008]又如，前端监控设备作为流媒体服务器使用，如常见HTTP流媒体服务器、RTSP流 媒体服务器等，监控系统需要作为一个客户端去前端监控设备视频流。这可能存在以下问 题(1)网络不可达，如有防火墙阻塞时，就无法使用；(2)网络不稳定时难以使用，例如AD 或移动网络，一旦断开重连后其IP会发生变化，需要通过一个交互过程来获得新的IP，如 DynDNS就需要一个较长的时间才能恢复到可用状态。再如，前端监控设备自动注册的方法，通常采用DynDNS来实现。如果前端监控设 备掉线或因其它故障失效时，监控系统无法及时获知；只有等到前端监控设备再次注册或 长时间的连接失败后，才能确认前端监控设备的有效性。此外，DynDNS的另一缺点是没有 可供管理的接口。
实用新型内容有鉴于此，本实用新型旨在提供一种实时视频流转码服务器及包括转码服务器的 视频监控系统，以解决网络环境及不同设备之间的互操作性问题，实现有效、可用的融合视 频监控系统。为解决以上技术问题，本实用新型提供的实时视频流转码服务器，包括依次连接 的输入单元、解码单元、编码单元和输出单元以及分别与输入单元、解码单元、编码单元和 输出单元连接的服务控制单元；所述转码服务器启动后，在服务控制单元的调度下，输入单 元获取视频流，经解码单元解码、编码单元重新编码后，由输出单元进行发布。还包括码转码库，存储转码方式供服务控制单元调用。本实用新型提供的视频监控系统，包括通过通信链路连接的若干前端监控设备、 系统服务器、流媒体服务器和若干客户端，还包括上述转码服务器；工作时，客户端选择前 端监控设备，并向系统服务器发出视频流请求；系统服务器判断是否需要对视频流转码，若 是，通知转码服务器启动转码任务，同时提交相应的前端监控设备参数；转码服务器向前端 监控设备发出视频流请求，对获取的视频流转码后，发送至流媒体服务器；由流媒体服务器 将视频流转发至客户端。客户端包括用于从监控资源列表中选择前端监控设备的监控资源选择模块。客户端包括用于预先向系统服务器发出监控资源下载请求以获取监控资源列表 的下载请求模块。系统服务器包括登录认证模块，其对客户端进行登录认证；若通过，允许客户端下 载监控资源列表；否则，拒绝客户端下载监控资源列表。前端监控设备包括视频流生成模块，其以Motion Jpeg和H264/AVC两种编码形式 编码，发布两路视频流。前端监控设备包括视频流封装模块，将视频流封装成HTTP数据包。前端监控设备包括注册请求模块，其在上电后向系统服务器发起注册请求。注册请求模块采用HTTP/XML方式自动注册。与现有技术相比，本实用新型充分考虑网络环境及不同设备之间的互操作性问 题，可实现一个有效、可用的 5W(whoever、whenever、wherever、however、whatever)的 Internet视频监控系统，其有益效果包括但不限于以下方面1、实时转码，兼容传统监控设备，保护用户投资。
4[0023]2、支持双码流，可满足不同网络、不同后端设备的需要，以及不同的个性化监控需 求。3、基于HTTP/XML的自动注册的方法，解决了设备有效性的问题，全部自动完成， 有利于监控系统对设备的管理。4、前端监控设备按需发布视频流，必要时进行HTTP封装，有效地解决Internet网 络环境下容易遇到的防火墙、NAT代理等问题，保证在目前的AD宽带、3G无线网等类似网络 中可用。
图1是本实用新型实时流转码服务器的方框图；图2是本实用新型视频监控系统的网络拓扑图；图3是本实用新型视频监控系统的方框图；图4是图3中客户端、系统服务器及前端监控设备的组成图；图5是图3所示视频监控系统的在转码模式下的工作流程图；图6是图3所示视频监控系统的在转码模式下的信令图。
具体实施方式
本实用新型的基本构思是，设置转码服务器，通过实时转码实现不同网络环境间 设备的交互，以兼容传统监控设备，最终实现融合视频监控。
以下结合附图和实施例对本实用新型进一步描述。参见图1，本实用新型实时视频流转码服务器100，包括输入单元101、解码单元 102、编码单元103、输出单元104、服务控制单元105及转码库106，其中输入单元101、解 码单元102、编码单元103和输出单元104依次连接；服务控制单元105则分别与输入单元 101、解码单元102、编码单元103和输出单元104连接，在其调度下，输入单元101获取视频 流，其经解码单元102解码、编码单元103重新编码后，由输出单元104进行发布。此外，该 转码服务器100中设置转码库106，其存储多种转码方式，以供服务控制单元105调用。在该转码服务器100的基础上，前端监控设备、转码服务器、系统服务器、流媒体 服务器及若干客户端通过通信链路构成完整的网络视频监控系统，进一步描述如下。同时参见图2、图3，融合视频监控系统由通过通信链路连接的若干前端监控设备 500、转码服务器100、系统服务器200、流媒体服务器400及若干客户端300构成，其中客户端300包括PC、手机、PDA等各类终端，可向系统服务器200发出实时视频流 监控请求，获取视频流后可进行实时播放。前端监控设备500包括IP Cameral (网络摄像机)、球机、DVR (数字视频录像机)、 DVS (网络视频服务器)，i show (视频互动娱乐平台)等，在通电后即可向系统服务器200登
记注册。系统服务器200，主要作为Web服务器或DynDNS，在收到客户端300视频流监控请 求后，根据前端监控设备500的在线情况，指令在线前端监控设备500发布视频流。流媒体服务器400，将前端监控设备500的视频流转发至客户端300。具体是，视 频流由前端监控设备500到流媒体服务器，再由流媒体服务器400转发到客户端播放。其中，流媒体服务器400可以单独设置，也可视情况由系统服务器200本身担当。转码服务器100，在客户端300与网络环境、前端监控设备500不相适用时，将视频 流转码，再由流媒体服务器400转发至客户端300。本实用新型可进一步改进，简要说明如下。参见图4，客户端300包括监控资源选择模块301，用于从监控资源列表中选择前 端监控设备的；下载请求模块302，用于预先向系统服务器200发出监控资源下载请求，以 获取监控资源列表。系统服务器200包括登录认证模块201，其对客户端300进行登录认证；若通过， 允许客户端300下载监控资源列表；否则，拒绝客户端300下载监控资源列表。前端监控设备500包括视频流生成模块501，其以Motion Jpeg和H264/AVC两 种编码形式编码，发布两路视频流；视频流封装模块502，将视频流封装成HTTP数据包；注 册请求模块503，其在上电后向系统服务器200发起注册请求，具体可用HTTP/XML方式自动 注册。
以下为注册请求的XML实例 (1)注册请求< ？ xml version = “ 1.0〃 encoding = “ UTF-8" ？ >
<ha:registerReq deviceldName =“ eshore“ password =“ 123456“ paras =“ Something" xmlns:ha = “ http://www.eshore.cn/" /> (2)注册响应
注册响应使用基本格式，param的值为"Register"，表示这是针对注册请求的 响应，value指示请求结果，“1”表示成功，“0”表示失败，description指示错误原因。例 如< ？ xml version = " 1.0〃 encoding = " UTF-8" ？ >〈responses pram = " Register" omens=" http://www.eshore.cn" ><value>0</value><description>Unknown error ！ </description)</responseMsg>上述融合视频监控系统可适用于Internet网络环境(包括宽带互联网、CDMA、3G 宽带移动无线网、卫星通信网等)，均采用TCP/IP协议为基本通信协议。在实际项目中，还 应根据具体应用特点定义相关的应用协议(如常见的HTTP、FTP、SMTP/P0P3等)，其中，所 需协议至少包括控制信令和视频流发布两个方面。本实用新型具体采取以下办法1、控制信令采用HTTP/HTTPS协议，所有数据都封装成XML格式，作为参数commandlist的值 附在URL后发送出去；其中登录认证、配置管理采用HTTPS协议以保证数据通讯安全。2、视频流发布视频编码可采用Motion Jpeg和H264/AVC两种编码形式，并封装成视频流。根据 需要可封装成HTTP数据包，以穿过防火墙。实际运行中，具体采用何种编码，系统服务器 200根据客户端300类型决定编码格式，并通知前端监控设备500，由前端监控设备500向 监控系统服务端发布相应编码方式的视频流。[0063]本实用新型设置了转码服务器100，因此视频监控系包括两种工作模式，即图3中 实线所示的转码模式和虚线所示的常规模式，其中在转码模式下的工作过程为，客户端300选择前端监控设备500，并向系统服务器 200发出视频流请求；系统服务器200判断是否需要对视频流转码，若是，通知转码服务器 100启动转码任务，同时提交相应的前端监控设备500参数；转码服务器100向前端监控设 备500发出视频流请求，对获取的视频流转码后，发送至流媒体服务器400 ；由流媒体服务 器400将视频流转发至客户端300。在常规模式下的工作过程为，系统服务器200在收到客户端300视频流监控请求 后，根据前端监控设备500的在线情况，指令在线前端监控设备500发布视频流。该视频流 由前端监控设备500到流媒体服务器400，再由流媒体服务器400转发到客户端300播放。以下为视频流发布实例< ？ xml version = “ 1.0" ？ ><ipcam><operation><method>PlayStart</method><codec>H264</codec><params><ffidth>320</ffidth><Height>240</Height><fps>15</fps><bitrate>300000</bitrate></params></operation></ipcam>客户端退出后，系统服务器再通知前端监控设备停止发布。本实用新型的完整的使用过程包括设备注册，用户登录，监控资源下载，监控请 求，停止退出等步骤。为便于深入理解，以下对转码模式下的工作过程详细进行说明。参见图5，转码模式下的工作过程包括以下步骤S501、客户端选择前端监控设备，并向系统服务器发出视频流请求。客户端从获取的监控系统资源列表中选择前端监控设备，具体通过客户端向系统 服务器发出监控资源下载请求以获取监控资源列表。其中，需要系统服务器对客户端进行 登录认证；若通过，允许客户下载监控资源列表；否则，拒绝客户下载监控资源列表。S502、系统服务器判断是否需要对视频流转码，若是，进入步骤S503;若否，进入步骤S508。在客户端与网络环境、前端监控设备不相适用时，将视频流转码，再由流媒体服务 器转发至客户端；否则，视频流无需转码，按常规方法处理即可。S503、系统服务器通知转码服务器启动转码任务，同时提交相应的前端监控设备 参数。
7[0090]在系统服务器发现需要转码时，就通知转码服务器启动转码任务，并将相关信息， 包括前端监控设备IP等提交给服务器。S504、转码服务器向前端监控设备发出视频流请求。S505、转码服务器对获取的视频流转码。转码方式具体是，对视频流解码；分析视频流的参数是否符合客户端的要求，若 是，根据设置的帧率、带宽要求重新编码；若否，调用存储的转码方式，对视频流转码。S506、转码服务器向流媒体服务器发布视频流。S507、流媒体服务器将视频流转发至客户端。根据步骤S504-S507，转码服务器依照前述信息到前端监控设备请求视频流；在 成功获取后则可按要求重新编码，并将编码后的视频流发送给流媒体服务器，再由流媒体 服务器发送给客户端。S508、按现有办法处理视频流。在常规模式下无需转码，按照现有办法处理视频流即可。具体而言，系统服务器在 收到客户端视频流监控请求后，根据前端监控设备的在线情况，指令在线前端监控设备发 布视频流。该视频流由前端监控设备到流媒体服务器，再由流媒体服务器转发到客户端播 放。参见图6，转码模式下包括以下信令(1)系统服务器配置任务；(2)系统服务器 发出登录消(包括用户名、密码、登录用户时间有效期等)；(3)转码服务器返回登录响应 消息，获得LoginSession ;(4)系统服务器发出下载任务消息(包括发布点的ID、发布名， CameralURL、视频参数等)；(5)转码服务器删除之前的任务，启用新任务；(6)转码服务器 返回下载任务响应消息；(7)客户端(如PC/手机终端)发出获取视频监控资源列表消息， 即获取图像节点列表；(8)客户端选择相应前端监控设备后，请求视频流；(9)系统器请求 视频流发布；(10)转码服务器返回视频流发布响应消息；(11)若返回状态为无此任务(或 认证失败)，则系统服务器重新(登录)下载任务；(12)转码服务器判断视频流是否已发 布；(13)获取视频流(http或rtsp) ； (14)转码服务器转码，具体包括解码、裁减及编码过 程；(15)转码服务器发布视频流；(16)流媒体服务器将视频流转发至客户端；(17)客户端 播放视频流；(18)客户端发出停止视频流请求；(19)系统服务器发出停止视频流发布消 息；(20)转码服务器判断是否可以停止发布视频流；(21)转码服务器发出停止获取视频流 消息；(22)转码服务器发出停止发布视频流；(23)系统服务器发出登出消息；(24)转码服 务器返回登出响应消息。上述过程中，用户通过登录认证后，将自动获取监控资源列表，选择其中一个监控 资源后，系统服务器(Web服务器)发现需要转码，就通知转码服务器启动转码任务，并将相 关信息，包括前端监控设备IP等提交给转码服务器；转码服务器根据这些信息到前端监控 设备请求视频流，成功获取后解码，并按要求重新编码，将重新编码后的视频流发送给流媒 体服务器；再由流媒体服务器发送给用户；用户不再监控时就发送停止视频流请求至系统 服务器，由系统服务器发送停止发布视频流请求到转码服务器上，并最终完成停止动作。以上仅是本实用新型的优选实施方式，应当指出的是，上述优选实施方式不应视 为对本实用新型的限制，本实用新型的保护范围应当以权利要求所限定的范围为准。对于 本技术领域的普通技术人员来说，在不脱离本实用新型的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本实用新型的保护范围。
权利要求1.一种实时视频流转码服务器，其特征在于，包括依次连接的输入单元、解码单元、编 码单元和输出单元以及分别与输入单元、解码单元、编码单元和输出单元连接的服务控制 单元；所述转码服务器启动后，在服务控制单元的调度下，输入单元获取视频流，经解码单 元解码、编码单元重新编码后，由输出单元进行发布。
2.如权利要求1的实时视频流转码服务器，其特征在于，还包括码转码库，存储转码方 式供服务控制单元调用。
3.一种视频监控系统，包括通过通信链路连接的若干前端监控设备、系统服务器、流媒 体服务器和若干客户端，其特征在于，还包括如权利要求1或2所述的转码服务器。
4.如权利要求3的视频监控系统，其特征在于，客户端包括用于从监控资源列表中选 择前端监控设备的监控资源选择模块。
5.如权利要求3的视频监控系统，其特征在于，客户端包括用于预先向系统服务器发 出监控资源下载请求以获取监控资源列表的下载请求模块。
6.如权利要求3的视频监控系统，其特征在于，前端监控设备包括视频流生成模块，其 以Motion Jpeg和H264/AVC两种编码形式编码，发布两路视频流。
7.如权利要求3的视频监控系统，其特征在于，前端监控设备包括视频流封装模块，将 视频流封装成HTTP数据包。
8.如权利要求3的视频监控系统，其特征在于，前端监控设备包括注册请求模块，其在 上电后向系统服务器发起注册请求。
专利摘要本实用新型公开一种实时视频流转码服务器，包括依次连接的输入单元、解码单元、编码单元和输出单元及分别与其连接的服务控制单元；在服务控制单元调度下，输入单元获取视频流，经解码单元解码、编码单元重新编码后，由输出单元进行发布。同时还公开一种视频监控系统，包括若干前端监控设备、系统服务器、流媒体服务器、若干客户端及转码服务器；工作时，客户端选择前端监控设备，向系统服务器发出视频流请求；需转码时，系统服务器通知转码服务器启动转码任务，并提交相应前端监控设备参数；转码服务器向前端监控设备发出视频流请求，获取视频流并转码后，发送至流媒体服务器；由流媒体服务器将视频流转发至客户端。由此，实现融合视频监控系统。
文档编号H04N7/26GK201781576SQ20092026366
公开日2011年3月30日 申请日期2009年11月27日 优先权日2009年11月27日
发明者施祖阳, 曾思伟, 李华卿, 梁智健, 王玲丽, 郑雪青, 金涛, 陈垂华 申请人:广东亿迅科技有限公司