一种基于分流式传输的音视频单向传输调度方法及系统与流程

1.本发明涉及视频点播技术领域。具体地说是一种基于分流式传输的音视频单向传输调度方法及系统。


背景技术：

2.视频安防监控系统已大量应用在交通、社区、景区、学校、企事业单位、商场等地，为保障社会安定团结和个人安全，发挥了绝大的安全保卫作用。因而各处建立大量视频安防监控网络，通过部署监控摄像头等设备实现对社会治安音视频信息的采集，然后存储到集中的视频存储系统，并进行综合分析和处理，由于摄像头多部署在室外或公共场所，通过有线或无线的网络传输数据，无法对每个摄像头做到实时的安全物理防护，并且监控摄像头大多采用嵌入式系统，存在大量已知和未知系统漏洞，因此对视频安防监控网络及摄像头的维护难度是巨大的，并且无法做到及时的系统升级和补丁分发。
3.目前的视频应用场景中多采用防火墙、视频网关、网闸等网关型部署与网络安全域之间，此类产品支持sip协议alg功能，可以在起到访问控制的同时允许视频数据交换，其可动态解析sip信令，获取sip信令关键字段，然后根据信令中的内容动态开放视频数据通信所需的应用端口，sip协议最初是为internet而设计的协议，其通信基于文本信息交互与http协议类似，并且采用了问询/响应机制，通用性很高，被广泛应用与互联网中，早年间的平安城市以及近年来的雪亮工程中都有大量的应用。
4.sip协议采用问询/相应机制，该类通信机制客户端与服务器必须双向交互信息，因此该协议不可通过纯单向设备进行传输，而使用单向设备单通道传输音视频会受到传输通道带宽影响，这就影响到视频的流畅性以及监控视频的实时性，即当所传输的音视频所需带宽大于传输通道带宽时，音视频就会出现较大程度的延迟，甚至出现较多的丢帧。


技术实现要素：

5.为此，本发明所要解决的技术问题在于提供一种基于分流式传输的音视频单向传输调度方法及系统，通过将音频和视频分开传输，可以有效利用传输通道带宽传输视频，减少丢帧，提高音视频传输的实时性和完整性。
6.为解决上述技术问题，本发明提供如下技术方案：一种基于分流式传输的音视频单向传输调度方法，包括如下步骤：1）客户端向网关设备发送音视频请求；2）网关设备解析接收到的音视频请求中的信令，并根据音视频请求以及解析得到的信令与服务器进行信息交互；3）网关设备接收到服务器的反馈信息并提取反馈信息中通信所需的音视频流通道，然后网关设备维护网关设备与服务器的会话同时将音视频流所需的通道信息同步至单向设备的通道管理模块；4）单向设备通道管理模块接收到网关设备的指令后开放音频流传输通道和视频
流传输通道；5）服务器向通过步骤4）中开放的音频流传输通道和视频流通道向单向设备发送音频流和视频流；6）单向设备将接收到的来自服务器的音频流和视频流转发至服务器。
7.上述基于分流式传输的音视频单向传输调度方法，在步骤6）中，单向设备接收到来自服务器的音频流和视频流后，单向设备中的音视频解析模块比对音频流和视频流中的时间戳，若音频流的时间戳与视频流的时间戳保持一致，则保持音频流传输通道和视频流传输通道有效带宽，反之，则由通道管理模块利用流量控制模块调整音频流传输通道或/和视频流传输通道的有效带宽。
8.上述基于分流式传输的音视频单向传输调度方法，当音频流传输速度超过音频流传输通道预设带宽的90%且视频流传输速度小于视频流传输通道预设带宽的60%时，并且音频流时间戳与视频流的时间戳不一致时，则调整视频流传输通道的有效带宽；当音频流传输速度小于音频流传输通道预设带宽的60%且视频流传输速度超过视频流传输通道预设带宽的90%时，并且音频流时间戳与视频流的时间戳不一致时，则调整音频流传输通道的有效带宽；当音频流传输速度为音频流传输通道预设带宽的60～90%且视频流传输速度为视频流传输通道预设带宽的60～90%时，并且音频流时间戳与视频流的时间戳不一致时，则同时调整音频流传输通道和视频流传输通道的有效带宽。
9.上述基于分流式传输的音视频单向传输调度方法，在步骤6）中，当通道管理模块利用流量控制模块缩小单向设备与客户端之间的音频流传输通道或/视频流传输通道的有效带宽时，单向设备将服务器传输过来的音频流或视频流存放于单向设备的缓存模块内。
10.上述基于分流式传输的音视频单向传输调度方法，在步骤6）中，单向设备中的时钟同步模块与服务器通信校准设备时间。
11.上述基于分流式传输的音视频单向传输调度方法，还包括如下步骤：7）客户端发出断开音视频流指令，网关设备接收到该指令后将该指令同步给服务器，同时发送指令给单向设备通道管理模块销毁步骤4）中开放的音频流传输通道和视频流传输通道。
12.利用上述基于分流式传输的音视频单向传输调度方法进行音视频调度的系统，包括网关设备和单向设备，所述单向设备内设有通道管理模块和缓存模块，客户端通过所述网关设备与服务器双向通信连接，所述服务器与所述单向设备单向通信连接，所述单向设备与所述客户端单向通信连接；所述通道管理模块用于对所述单向设备与所述客户端之间的音频流传输通道和视频流传输通道的开放与音频流传输通道和视频流传输通道有效带宽的调控；所述缓存模块用于临时存放来自所述服务器是音频流和视频流。
13.上述系统，所述单向设备内还设有音视频解析模块，所述音视频解析模块用于对来自服务器的音频流的时间戳和与来自服务器的视频流的时间戳进行比对，并将比对结果发送至所述通道管理模块。
14.上述系统，所述单向设备中还设有时钟同步模块，所述时钟同步模块用于与所述服务器进行通信并校准设备时间，且将校准结果发送至音视频解析模块。
15.本发明的技术方案取得了如下有益的技术效果：本发明通过将音视频中的音频流和视频流分开传输，避免了音视频流传输速度受
单个数据传输通道带宽的影响，有利于保证服务器与单向设备、单向设备与客户端之间的音视频流传输速度，降低了视频流传输过程中的丢帧率。
附图说明
16.图1为本发明中利用基于分流式传输的音视频单向传输调度方法进行音视频调度的系统的工作原理框图；图2为本发明中基于分流式传输的音视频单向传输调度方法流程示意图。
具体实施方式
17.如图1所示，利用基于分流式传输的音视频单向传输调度方法进行音视频调度的系统，包括网关设备和单向设备，所述单向设备内设有通道管理模块和缓存模块，客户端通过所述网关设备与服务器双向通信连接，所述服务器与所述单向设备单向通信连接，所述单向设备与所述客户端单向通信连接；所述通道管理模块用于对所述单向设备与所述客户端之间的音频流传输通道和视频流传输通道的开放与音频流传输通道和视频流传输通道有效带宽的调控；所述缓存模块用于临时存放来自所述服务器是音频流和视频流。其中，所述单向设备为物理网闸。
18.所述单向设备内还设有音视频解析模块，所述音视频解析模块用于对来自服务器的音频流的时间戳和与来自服务器的视频流的时间戳进行比对，并将比对结果发送至所述通道管理模块。
19.所述单向设备中还设有时钟同步模块，所述时钟同步模块用于与所述服务器进行通信并校准设备时间，且将校准结果发送至音视频解析模块。
20.利用本系统对单向传输的音视频进行调度的步骤为：1）客户端向网关设备发送音视频请求；2）网关设备解析接收到的音视频请求中的信令，并根据音视频请求以及解析得到的信令与服务器进行信息交互；3）网关设备接收到服务器的反馈信息并提取反馈信息中通信所需的音视频流通道，然后网关设备维护网关设备与服务器的会话同时将音视频流所需的通道信息同步至单向设备的通道管理模块；4）单向设备通道管理模块接收到网关设备的指令后开放音频流传输通道和视频流传输通道；5）服务器向通过步骤4）中开放的音频流传输通道和视频流通道向单向设备发送音频流和视频流；6）单向设备将接收到的来自服务器的音频流和视频流转发至服务器；7）客户端发出断开音视频流指令，网关设备接收到该指令后将该指令同步给服务器，同时发送指令给单向设备通道管理模块销毁步骤4）中开放的音频流传输通道和视频流传输通道。
21.在步骤6）中，单向设备接收到来自服务器的音频流和视频流后，单向设备中的音视频解析模块比对音频流和视频流中的时间戳，若音频流的时间戳与视频流的时间戳保持一致，则保持音频流传输通道和视频流传输通道有效带宽，反之，则由通道管理模块利用流
量控制模块调整音频流传输通道或/和视频流传输通道的有效带宽。当音频流传输速度超过音频流传输通道预设带宽的90%且视频流传输速度小于视频流传输通道预设带宽的60%时，并且音频流时间戳与视频流的时间戳不一致时，则调整视频流传输通道的有效带宽；当音频流传输速度小于音频流传输通道预设带宽的60%且视频流传输速度超过视频流传输通道预设带宽的90%时，并且音频流时间戳与视频流的时间戳不一致时，则调整音频流传输通道的有效带宽；当音频流传输速度为音频流传输通道预设带宽的60～90%且视频流传输速度为视频流传输通道预设带宽的60～90%时，并且音频流时间戳与视频流的时间戳不一致时，则同时调整音频流传输通道和视频流传输通道的有效带宽。为了便于音视频解析模块对音频流的时间戳与视频流的时间戳进行比对且对比结果与实际情况相符，将单向设备中的时钟同步模块与服务器通信连接并由所述时钟同步模块校准设备时间。
22.而当通道管理模块利用流量控制模块缩小单向设备与客户端之间的音频流传输通道或/视频流传输通道的有效带宽时，单向设备将服务器传输过来的音频流或视频流存放于单向设备的缓存模块内。这样，当单向设备与客户端之间数据传输总带宽受限时，服务器传输至单向设备内的音频流或/和视频流可以暂存在缓存模块内，以避免服务器与单向设备之间的音频流传输通道或/和视频流传输通道出现拥堵。
23.本发明中将音频流和视频流分开传输，有利于单个数据传输通道带宽较小时快速传输音视频流，同时避免了单个数据传输通道带宽较窄时数据传输通道发生拥堵，也降低了数据传输通道发生拥堵时的数据丢包率。
24.在现有技术中，会存在一个服务器通过一个单向设备向多个客户端提供音视频数据的情况，也会存在服务器通过老旧的单向设备向客户端提供音视频数据的情况。前一种情况下，为了保证能够同时向多个客户端提供音视频数据，单向设备开放的音视频流传输通道带宽通常会受到一定的限制，即不会将单向设备与服务器之间的传输通道带宽完全提供给一个客户端使用，此时就会存在音视频流传输通道带宽对音视频流传输速度形成限制的情况。本发明将音视频流分流成音频流和视频流分开进行传输，由于音频流数据量较为稳定，可以为音频流传输分配预设带宽较窄的传输通道，而视频流数据量不稳定，需要分配带宽较大的传输通道来提供稳定的数据传输，将二者分开传输可以避免视频流传输出现波动时音频流出现数据丢包，同时还可以避免视频流传输过程中出现丢帧。
25.相较于现有技术而言，通过将音频流和视频流进行分流式传输，音频流未出现数据丢包，视频流的传输过程中丢帧率下降了60%。
26.显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本专利申请权利要求的保护范围之中。