基于流媒体技术的车载移动视频监控系统的制作方法
【专利摘要】本发明公开一种基于流媒体技术的车载移动视频监控系统，包括移动车载终端、服务器端和客户端，服务器端包括流媒体服务器、数据库、视频存储模块、视频转发模块和信令服务器，客户端包括视频播放模块、功能模块和信令处理模块，移动车载终端与所述服务器端的信令服务器信号连接，流媒体服务器与视频转发模块和视频播放模块信号连接，视频存储模块与信令服务器、数据库及视频转发模块信号连接，数据库还与信令服务器信号连接，视频转发模块还与信令服务器信号相连，信令服务器还与所述客户端的信令处理模块信号连接，信令处理模块还同时与视频播放模块和功能模块信号相连，功能模块还与视频播放模块信号相连。本系统视频抖动、延时小，流畅、清晰。
【专利说明】基于流媒体技术的车载移动视频监控系统
【技术领域】
[0001] 本发明属于视频监控【技术领域】，特别是一种基于流媒体技术的车载移动视频监控 系统。
【背景技术】
[0002] 现有的车载移动视频监控系统多为远程网络视频监控，利用高速网络为传输平 台，基于数字视频的压缩、传输、存储、播放核心技术，具有智能实用的图像分析特色，并与 报警系统、集中存储系统完美整合到一个平台上。此类车载移动视频监控系统是将传统的 模拟视频监控信号转化为数字信号，通过计算机网络来传输，并通过智能化的计算机软件 来处理。系统将传统的视频、音频及控制信号数字化，以IP包的形式在网络上传输，实现了 音频/视频的数字化、系统的网络化、应用的多媒体化和管理的智能化。
[0003] 但是其存在如下问题：1、车载终端与流媒体服务器的视频传输经常出现明显的抖 动和延时；2、由于采用单一码率编码视频技术，现有视频流的存储管理方法很难解决视频 流畅性和清晰度之间的矛盾。
【发明内容】
[0004] 本发明的目的在于提供一种基于流媒体技术的车载移动视频监控系统，大幅减少 车载终端与流媒体服务器之间视频传输的抖动和延时，同时使视频的流畅性和清晰度均取 得较好的效果。
[0005] 实现本发明目的的技术解决方案为：一种基于流媒体技术的车载移动视频监控系 统，其包括：移动车载终端、服务器端和客户端，所述服务器端包括流媒体服务器、数据库、 视频存储模块、视频转发模块和信令服务器，所述客户端包括视频播放模块、功能模块和信 令处理|旲块；
[0006] 所述移动车载终端与所述服务器端的信令服务器信号连接，接收信令服务器的控 制信息，向信令服务器发送车辆配置信息，并通过3G网络向视频转发模块传输视频流；
[0007] 所述流媒体服务器与视频转发模块和视频播放模块信号连接，接收视频转发模块 传来的直播流，向视频播放模块传输视频流；
[0008] 所述视频存储模块与信令服务器、数据库及视频转发模块信号连接，接收信令服 务器的存储调度指令，将来自视频转发模块的视频存储流封装为流媒体服务器支持的视频 格式，并存入数据库，供信令服务器检索；
[0009]所述数据库还与信令服务器信号连接，接收信令服务器的视频检索指令，向信令 服务器发送视频信息；
[0010] 所述视频转发模块还与信令服务器信号相连，接收信令服务器的直播调度指令， 向其返回直播地址，将通过3G网络从移动车载终端得到的视频流，一方面转变成直播流， 发送给流媒体服务器，另一方面以视频存储流发送给视频存储模块；
[0011] 所述信令服务器还与所述客户端的信令处理模块信号连接，接收信令处理模块的 发送请求、向其发出应答信息；
[0012] 所述信令处理模块还同时与视频播放模块和功能模块信号相连，功能模块还与视 频播放模块信号相连，信令处理模块向信令服务器转发由功能模块传来的发送请求，向功 能模块转发由信令服务器传来的应答信息，向视频播放模块发出播放地址，视频播放模块 根据信令处理模块传来的播放地址和功能模块传来的视频控制指令，播放流媒体服务器传 输的视频流。
[0013] 移动车载终端与视频转发模块之间通过TCP协议传输视频流。
[0014] 视频转发模块与流媒体服务器之间通过RTP或RTCP协议传输直播流。
[0015] 流媒体服务器与视频播放模块之间通过RTSP协议传输视频流。
[0016] 视频存储模块封装的视频格式为MP4格式。
[0017] 本发明与现有技术相比，其显著优点：
[0018] 1、与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传输具有启动 延时大幅度缩短，对系统缓存容量的需求大大降低；
[0019] 2、在视频传输和监控环境中不会出现明显的抖动和延时，不会出现明显的断播；
[0020] 3、系统的可靠性好，可以在网上方便地增加 Client或Server，增加一个Client不 会对Server造成更多开销。
[0021] 下面结合附图对本发明作进一步详细描述。
【专利附图】
【附图说明】
[0022] 图1是本发明基于流媒体技术的车载移动视频监控系统的结构框图。
[0023] 图2是本发明基于流媒体技术的车载移动视频监控系统的工作原理示意图。
[0024] 图3是客户端视频播放模块结构框图。
[0025] 图4是实时视频直播时序图。
[0026] 图中：1移动车载终端，2服务器端，21流媒体服务器，22数据库，23视频存储模 块，24视频转发模块，25信令服务器，3客户端，31视频播放模块，32功能模块，33信令处理 模块。
【具体实施方式】
[0027] 如图1所示，本发明基于流媒体技术的车载移动视频监控系统，包括：移动车载终 端1、服务器端2和客户端3,服务器端2包括流媒体服务器21、数据库22、视频存储模块 23、视频转发模块24和信令服务器25,客户端3包括视频播放模块31、功能模块32和信令 处理模块33 ;
[0028] 移动车载终端1与所述服务器端2的信令服务器25信号连接，移动车载终端1接 收信令服务器25的控制信息，向信令服务器25发送车辆配置信息，并通过3G网络向视频 转发模块24传输视频流；
[0029] 流媒体服务器21与视频转发模块24和客户端3的视频播放模块31信号连接，流 媒体服务器21接收视频转发模块24传来的直播流，向视频播放模块31传输视频流；
[0030] 视频存储模块23与信令服务器25、数据库22及视频转发模块24信号连接，视频 存储模块23接收信令服务器25的存储调度指令，将来自视频转发模块24的视频存储流封 装为流媒体服务器支持的视频格式，并存入数据库22,供信令服务器25检索；
[0031] 数据库22还与信令服务器25信号连接，数据库22接收信令服务器25的视频检 索指令，向信令服务器25发送视频信息；
[0032] 数据库记录存储视频的配置信息，主要维护一张视频信息表，包括以下几个字段： 车辆号即多少路公交车；车辆ID，用于区分同属一个路线的公交车，作为自有身份标识；日 期，记录存储的年月日；起始时间，记录存储的时间，精确到分钟；封装时间，记录视频封装 时间，同样精确到分钟。
[0033] 视频转发模块24还与信令服务器25信号相连，视频转发模块24接收信令服务器 25的直播调度指令，向其返回直播地址，将通过3G网络从移动车载终端1得到的视频流，一 方面转变成直播流，发送给流媒体服务器21，另一方面以视频存储流发送给视频存储模块 23 ；
[0034] 信令服务器25还与所述客户端3的信令处理模块33信号连接，信令服务器25接 收信令处理模块33的发送请求、向其发出应答信息；
[0035] 信令服务器作为服务端的主进程，控制服务端各模块的工作运转，并在整个车载 移动视频监控服务系统中传递消息。其工作原理是通过分析接收的消息报文头部标志位， 判断消息类型，调用相关模块处理消息内容。同时，信令服务器也负责将收到的请求和应答 组装成消息发送给客户端或车载终端。
[0036] 信令处理模块33还同时与视频播放模块31和功能模块32信号相连，功能模块32 还与视频播放模块31信号相连，信令处理模块33向信令服务器25转发由功能模块32传 来的发送请求，向功能模块32转发由信令服务器25传来的应答信息，向视频播放模块31 发出播放地址，视频播放模块31根据信令处理模块33传来的播放地址和功能模块32传来 的视频控制指令，播放流媒体服务器21传输的视频流。
[0037] 视频转发模块24与流媒体服务器21之间通过RTP或RTCP协议传输直播流。
[0038] 流媒体服务器21 (Darwin Streaming Server, DSS)与客户端播放器之间的连接 使用的是RTSP协议，并且车载移动视频监控系统中的车载终端采用的是TI公司的DM355 为主的视频方案，其压缩的视频流为标准的MPEG-4格式，因此，视频监控客户端的播放模 块不仅要支持RTSP协议，还要支持MPEG-4格式解码，客户端播放模块结构如图3。基于此 目标，同时基于模块化的设计方式，视频播放模块采用基于ActiveX技术的VLC播放组件。
[0039] 客户端作为用户与车载视频监控系统的直接交互工具，要为用户提供直观的显 示，包括车辆信息的显示，显示车辆的在线、离线、可直播三种状态；视频检索条件选择，包 括车辆线路号、车辆ID、存储日期、起始时间和终止时间，并显示视频检索信息的反馈。功 能模块32响应用户在客户端界面的操作，有播放控制操作，调用播放模块31处理；视频查 询操作，组装视频检索信息，与信令处理模块33交互；同时接收信令处理模块33送来的消 息，更新客户端界面上的显示信息。
[0040] 信令处理模块33作为客户端的外部接口，与服务器进行信息交互。同服务端的信 令服务器23 -样，通过分析接收的报文头，判断消息类型，调用相关模块处理消息内容，同 时，将收到的请求和应答组装成消息发送给服务端。
[0041] 移动车载终端1与视频转发模块24之间通过TCP协议传输视频流。
[0042] 流媒体服务器Darwin Streaming Server (DSS)与视频转发模块24的连接方式 为：视频转发模块24通过应用层协议RTSP/SDP与DSS建立连接以及会话描述SDP文件，然 后通过传输层协议RTP/RTCP传输压缩视频流。为保证系统的通用性和视频数据的完整可 靠，与移动车载终端1的视频传输采用TCP协议，通过视频转发模块完成传输协议转换。而 为避免复杂的视频传输协议开发，使用Live555静态库完成模块开发，来分析车载终端传 输的帧数据包（即每一个数据包为一帧)，并与DSS通过标准视频传输协议建立连接，传输视 频流。
[0043] 流媒体服务器21与视频播放模块31之间通过RTSP协议传输视频流。
[0044] 视频存储模块23封装的视频格式为MP4格式。
[0045] DSS支持的视频存储格式有MP4、M0V、3GP等，其中MP4格式被国际标准化组织参 考，并针对MPEG-4标准进行修改和扩充，定义成用于存放符合MPEG-4规范的媒体内容的标 准格式。不仅如此DSS的很多特性都成为了流媒体界的工业事实标准，如Hint Track格式 己经被ISO等标准组织采纳并成为正式标准。Hint Track是Darwin Streaming Server 的扩展，通过在媒体文件中增加 Hint Track轨道，存放了一些预先生成好的媒体描述信 息（SDP格式）和媒体数据打包的索引信息。通过标准多媒体传输协议进行传输时，可以 直接根据数据打包索引信息来打包发送，不需要对信息进行重复的分析格式组装数据包的 处理过程。车载移动视频监控系统的车载终端采用的DM355处理器采用的视频压缩标准 为MPEG-4,因此采用MP4格式作为视频监控服务系统的视频存储格式，并利用开源媒体库 FFmpeg开发封装模块。
[0046] 本发明基于流媒体技术的车载移动视频监控系统的工作原理如图2所示，其实时 视频直播流程如图4所示：
[0047] 信令服务器23配置UDP端口和DSS网络地址启动后，进入侦听状态等待接收消 息：
[0048] (1)客户端3启动后，通过配置服务端的UDP端口和IP地址，通知信令服务器23 其上线；
[0049] (2)信令服务器23接收客户端上线消息后记录客户端配置信息；
[0050] (3)移动车载终端1启动后通知信令服务器23车辆上线；
[0051] (4)信令服务器23接收移动车载终端1上线消息，记录其配置信息，并向已上线的 客户端3发送移动车载终端1上线消息；
[0052] (5)客户端3接到移动车载终端1上线消息后，更新车辆状态显示，用户通过界面 显示对在线车辆发送实时视频直播请求；
[0053] (6)服务端2接收请求后启动视频转发模块24创建TCP Socket进行监听，并将 TCP端口号发送给移动车载终端1，通知其传输视频流；
[0054] (7)移动车载终端1收到请求后开始向要求的TCP端口传输视频数据；
[0055] (8)服务端视频转发模块24接收视频数据后与流媒体服务器21建立连接，将直播 地址通过信令服务器23返回给客户端3 ;
[0056] (9)客户端3收到直播地址后，传递给视频播放模块3,并更新车辆状态显示。用 户选择可直播状态的车辆进行播放，视频播放模块31通过RTSP协议直接与流媒体服务器 DSS连接播放实时视频流。
[0057] 本发明针对车载移动视频监控系统，提出了一种基于现有流媒体服务器软件的移 动视频监控服务系统解决方案，重点解决车载终端与流媒体服务器的视频传输问题以及视 频流的存储管理问题。与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传 输具有启动延时大幅度缩短，对系统缓存容量的需求大大降低；在视频传输和监控环境中 不会出现明显的抖动和延时，不会出现明显的断播；系统的可靠性好，可以在网上方便地增 加 Client或Server,增加一个Client不会对Server造成更多开销。
【权利要求】
1. 一种基于流媒体技术的车载移动视频监控系统，其特征在于包括：移动车载终端 (1)、服务器端（2)和客户端（3)，所述服务器端（2)包括流媒体服务器（21)、数据库（22)、视 频存储模块（23)、视频转发模块（24)和信令服务器（25)，所述客户端（3)包括视频播放模 块（31)、功能模块（32 )和信令处理模块（33 ); 所述移动车载终端（1)与所述服务器端（2 )的信令服务器（25 )信号连接，移动车载终 端（1)接收信令服务器（25 )的控制信息，向信令服务器（25 )发送车辆配置信息，并通过3G 网络向视频转发模块（24)传输视频流； 所述流媒体服务器（21)与视频转发模块（24 )和视频播放模块（31)信号连接，流媒体 服务器（21)接收视频转发模块（24)传来的直播流，向视频播放模块（31)传输视频流； 所述视频存储模块（23 )与信令服务器（25 )、数据库（22 )及视频转发模块（24 )信号连 接，视频存储模块（23 )接收信令服务器（25 )的存储调度指令，将来自视频转发模块（24 )的 视频存储流封装为流媒体服务器支持的视频格式，并存入数据库（22 ); 所述数据库（22 )还与信令服务器（25 )信号连接，数据库（22 )接收信令服务器（25 )的 视频检索指令，向信令服务器（25)发送视频信息； 所述视频转发模块（24)还与信令服务器（25)信号相连，视频转发模块（24)接收信令 服务器（25)的直播调度指令，向其返回直播地址，将通过3G网络从移动车载终端（1)得到 的视频流，一方面转变成直播流，发送给流媒体服务器（21 )，另一方面以视频存储流发送给 视频存储模块（23); 所述信令服务器（25 )还与所述客户端（3 )的信令处理模块（33 )信号连接，信令服务器 (25)接收信令处理模块（33)的发送请求、向其发出应答信息； 所述信令处理模块（33)还同时与视频播放模块（31)和功能模块（32)信号相连，功能 模块（32 )还与视频播放模块（31)信号相连，信令处理模块（33 )向信令服务器（25 )转发由 功能模块（32 )传来的发送请求，向功能模块（32 )转发由信令服务器（25 )传来的应答信息， 向视频播放模块（31)发出播放地址，视频播放模块（31)根据信令处理模块（33)传来的播 放地址和功能模块（32)传来的视频控制指令，播放流媒体服务器（21)传输的视频流。
2. 根据权利要求1所述的车载移动视频监控系统，其特征在于：所述移动车载终端（1) 与视频转发模块（24)之间通过TCP协议传输视频流。
3. 根据权利要求1所述的车载移动视频监控系统，其特征在于：所述视频转发模块 (24)与流媒体服务器（21)之间通过RTP或RTCP协议传输直播流。
4. 根据权利要求1所述的车载移动视频监控系统，其特征在于：所述流媒体服务器 (21)与视频播放模块（31)之间通过RTSP协议传输视频流。
5. 根据权利要求1所述的车载移动视频监控系统，其特征在于：所述视频存储模块 (23)封装的视频格式为MP4格式。
【文档编号】H04N7/18GK104144316SQ201310162927
【公开日】2014年11月12日 申请日期:2013年5月6日 优先权日:2013年5月6日
【发明者】李千目, 周建群, 侯君 申请人:南京理工大学连云港研究院