一种多流媒体网关服务系统及方法与流程

本发明涉及流媒体技术领域，特别是一种多流媒体网关服务系统及方法。

背景技术：

随着流媒体技术的快节奏发展，复杂网络的流媒体从规则网络、随机图的方式朝着拓扑结构、无结构拓扑演化模型的方向发展。流媒体受其缓存性能和纠错性能的影响，对丢包十分敏感，特别是有大量接收端的条件下，不但要保证流媒体数据传输的完整性，还要确保时延符合要求。在这种情况下，流媒体的使用机制受到较大制约。

专利申请号：cn201811440535.5公开的基于分布式存储系统的流媒体点播方法及系统，其包括：运行于客户端中的推流点播工具、流媒体网关、流媒体服务器、数据库、分布式存储系统以及对象存储网关。通过本发明的技术方案，用户在推流时通过设定分片播放长度，将用户推送的rtmp协议媒体流转码切分为hls协议的ts文件，从而无需在流媒体播放过程中对点播素材重新转码封装，确保用户能够复用推流所产生的ts文件并快速生成m3u8文件或者直接复用在先生成的m3u8文件，以最终从指定存储桶下载与点播素材所对应的ts文件，并直接向用户进行展示。

该专利仅提供分布式存储方式，以切片的方式将媒体流转码切分为多个ts文件，这种方式无法解决本技术方案关于如何保证流媒体数据传输的完整性，以及如何在有大量接收端的条件下，保证传输的质量和时延效果。

技术实现要素：

基于上述的不足，本申请提供了一种多流媒体网关服务系统及方法，以改善现有多流媒体传输以及多接收终端的条件下流媒体数据传输的完整性。

本发明的目的是通过以下技术方案来实现的：

在一方面，本申请的示例提供一种多流媒体网关服务系统，包括：

多个上传终端设备，所述多个上传终端设备根据标记特征或地址特征划分为若干区域组合，每个区域组合包括唯一的识别码，每个上传终端设备配置有数据流传输指令，这些传输指令使得上传终端设备将采集的数据流以切片或分组的形式传输给融合网关；

融合网关，所述融合网关配置有数据存储指令和数据传输指令，数据存储指令配置为执行至少一个资源预审核指令，所述资源预审核指令基于已执行的一个或多个数据流的传输质量，以预设传输质量将进入预审核的多个数据流分组存储在流媒体存储服务器；数据传输指令对每个待传输数据流配置差错描述符，差错描述符用于定义数据流的数据大小和索引位置，在数据流丢包、延时阶段执行差错恢复操作；

流媒体转换模块，所述流媒体转换模块包括至少一个协议转换指令和一个传输管理指令，所述协议转换指令被配置为执行指令，将一组或多组数据流以指定协议类型传输到目的地址；所述传输管理指令被配置为调取流媒体存储服务器中的数据流，将数据流从源地址传输到目的地址；

播放终端，所述播放终端被配置有至少一个播放管理指令，所述播放管理指令包括执行差错描述符的校验和差错恢复操作，所述播放管理指令还将数据流加载到数据流读取位置进行数据读取播放。

多个上传终端设备包括数据流编码模块，数据流编码模块以h.264highprofile编码方式输出预设码率和分辨率的视频流媒体。

所述融合网关配置为筛选执行指令，筛选执行指令将不同区域组合的流媒体数据以识别码分布式储存，或一个区域组合或多个区域组合的多个数据流叠加存储在指定位置。

所述融合网关配置有数据标记指令，数据标记指令将不同区域组合的流媒体数据以预设加载顺序分配标记符，数据标记指令在无预设加载顺序时，还对多个区域组合的流媒体分配优先级顺序。

所述流媒体转换模块被配置有norm协议、rtmp协议、rtp协议、rtcp协议、mms协议和rtsp协议；流媒体转换模块在数据流传输到预设地址之前，将数据转换为预设协议类型。

所述播放终端包括数据流校验指令，数据流校验指令对数据流的差错描述符、识别码以及标记符执行校验操作，数据流校验指令还对数据流的加载顺序以及输出方式执行管理操作，所述数据流的加载顺序包括以一个区域组合的流媒体数据按照预设顺序加载，或多个区域组合的流媒体数据按照融合网关配置的标记符预设顺序加载；所述输出方式的管理包括将一组流媒体数据加载到一个播放终端，或将一组流媒体数据加载到多个播放终端。

在一方面，本申请的示例提供一种多流媒体网关服务的方法，包括：

获取多个数据流从源位置到目的位置的传输请求；

基于传输请求中定义的传输质量、传输目的位置以及占用资源，对将执行传输的多个数据流资源预审核，在不降低已执行数据流传输质量的条件下，以预设传输质量将多个数据流分组存储在流媒体存储服务器；

将不同区域组合的流媒体数据以预设加载顺序分配标记符，并将多组数据流以指定协议类型传输到目的位置；

按照预设加载顺序执行数据流加载操作。

进一步的，在以预设传输质量将多个数据流分组存储在流媒体存储服务器时，还包括将不同区域组合的流媒体数据以识别码分布式储存，或一个区域组合或多个区域组合的多个数据流叠加存储在指定位置。

进一步的，将不同区域组合的流媒体数据以预设加载顺序分配标记符时，还包括在无预设加载顺序时，对多个区域组合的流媒体分配优先级顺序。

进一步的，按照预设加载顺序执行数据流加载操作时，还包括将一组流媒体数据加载到一个播放终端，或将一组流媒体数据加载到多个播放终端。

本发明的有益效果是：本申请由多个流媒体上传、数据流传输以及数据流存储，对多个流媒体按标记特征或地址特征划分为若干区域组合，以实现区域内的多设备视频直播、录播以及多个视频连续输出等功能；通过差错描述符在数据流丢包、延时阶段执行差错恢复操作，在多个数据流同时执行的情况下，减小nack风暴的风险。

附图说明

图1为本发明的多流媒体融合网关系统示意图；

图2为本发明具有多个上传终端设备和播放终端的示例图；

图3为本发明采集编码器的工作流程示意图；

图4为本发明直播系统的一个示例图；

图5为本发明流媒体数据包分解示意图；

图中，1-上传终端设备，2-融合网关，3-流媒体存储服务器，4-流媒体转换模块，5-播放终端。

具体实施方式

为使本发明具体实施方式的目的、技术方案和优点更加清楚明白，下面结合附图对本发明具体实施方式做进一步详细说明。在此，本发明的示意性具体实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

随着流媒体技术的快速发展，在多个流媒体同时操作的情况下，流媒体传输过程中丢包率和误码率极高。另外，多终端的流媒体系统还需要考虑到同时访问的用户数量较大的情况。

本申请的示例提供一种多流媒体网关服务系统，如图1所示，包括：

多个上传终端设备1，所述多个上传终端设备1根据标记特征或地址特征划分为若干区域组合，每个区域组合包括唯一的识别码，每个上传终端设备1配置有数据流传输指令，这些传输指令使得上传终端设备1将采集的数据流以切片或分组的形式传输给融合网关2。

目前视频服务、直播服务等功能的兴起，流媒体技术得到广泛的应用。但现有的流媒体系统提供的视频质量不佳，且流媒体技术通常拥有多个上传终端设备1和播放终端5，这样就造成播放质量较差，滞后时间较长，在应用上有较大的压力。

通常来讲，若涉及直播服务，上传终端设备1一般包括音视频采集设备和采集编码器等，音视频采集设备配置有流媒体采集模块，流媒体采集模块支持多个并发的实时直播流应用端，也就是说，流媒体采集模块支持http、rtmp、tsoverudp等视频协议传输，也支持hls、http和rtmp等协议发布。流媒体采集模块能实时采集音视频数据，实现音视频完全同步，采集的音视频数据由采集编码器对音视频信号进行编码、转码，能输出多种分辨率和码率的音视频数据流，供不同的播放终端5使用，如图3所示。音视频采集设备配置有音视频录制模块，音视频录制模块采用h.264编码技术，将实时视频数据录制、编码、上传。

一般来讲，采集编码器在流媒体系统中主要承担物理信号一分多，产生不同分辨率、不同码率的多组音视频数据流。在功能特性延展的条件下，采集编码器还配置有音视频编辑模块，音视频编辑模块能对音视频图像进行缩放、裁剪或码率调整，最终形成不同的编码方案。这里所说的编码方案主要是音视频的编码类型、帧率、码率等进行调整，以适应多个不同的播放终端5。

另一方面，融合网关2，所述融合网关2配置有数据存储指令和数据传输指令，数据存储指令配置为执行至少一个资源预审核指令，所述资源预审核指令基于已执行的一个或多个数据流的传输质量，以预设传输质量将进入预审核的多个数据流分组存储在流媒体存储服务器3；数据传输指令对每个待传输数据流配置差错描述符，差错描述符用于定义数据流的数据大小和索引位置，在数据流丢包、延时阶段执行差错恢复操作。

流媒体在多传播协议机制的条件下，需要同时堆拥塞的控制、流量的控制以及端对端的时延性给出处理方式。本示例中的融合网关2基于nack和fec确保流媒体数据的传输质量，并改善流媒体数据的存储方式，由于多个流媒体数据，需要存储的数据信息量源源不断，因此，需要对数据存储进行合理的优化和改良，使得具有满足多个上传终端设备1同时发出流媒体数据传输请求的能力。

对于流媒体数据的存储要求，在融合网关2配置的筛选执行指令下，将不同区域组合的流媒体数据以识别码分布式储存，或一个区域组合或多个区域组合的多个数据流叠加存储在指定位置。

作为一个新的示例，本申请的融合网关2主要采用nack的协议，该协议将流媒体数据切片成若干个数据包，再把数据包当作基本传输单元，在建立会话时，给每个数据包分配一个标记符，这里的标记符实际上就是若干的数字编号，如图5所示。在数据包内以组作为最小运算单位。设定每个组包含的数量为n，随着n的减小，将缩短修复的时延，如此即可解决流媒体的时延过长的问题。

实际上，数据传输指令对每个待传输数据流配置差错描述符，差错描述符用于定义数据流的数据大小和索引位置，在数据流丢包、延时阶段执行差错恢复操作。在这里，差错描述符是由接收端发出。在传统的流媒体反馈机制中，数据反馈是由发送端实现，本示例以接收端发出反馈信号，降低了传统发送端的压力，也预防了网络风暴的出现。本示例的发送端在反馈运算后，由接收端和发送端同步可靠信号，并由接收端收到发送端的请求包后立即进行响应。并在响应时，填写roundid、当前缺失率和查询时间等。

在一方面，流媒体转换模块4，所述流媒体转换模块4包括至少一个协议转换指令和一个传输管理指令，所述协议转换指令被配置为执行指令，将一组或多组数据流以指定协议类型传输到目的地址；所述传输管理指令被配置为调取流媒体存储服务器3中的数据流，将数据流从源地址传输到目的地址。

在流媒体播放系统中，如图4所示，多终端的流媒体系统接收到采集编码器传输的数据流后，需要对数据流进行协议转换后，再传输给多个不同的播放终端5。有时候为了适应播放终端5的加载要求，可由多组不同的视频数据流同时加载到一个播放终端5，以实现分屏显示效果。有时候为了满足多个不同类型的播放终端5要求，会将多个视频数据流转换成多个不同协议进行传输，例如播放终端5为平板电脑，平板电脑采用rtmp协议播放720p的视频，电视终端采用tsoverhttp协议播放1080p的视频，手机采用hls协议播放480p的视频，在同时传输相同的数据流给上述设备时，需要流媒体转换模块4进行协议转换，以适应不同终端的播放效果。

在一方面，所述播放终端5被配置有至少一个播放管理指令，所述播放管理指令包括执行差错描述符的校验和差错恢复操作，所述播放管理指令还将数据流加载到数据流读取位置进行数据读取播放。

播放终端5包括电脑、电视、移动终端等多种类型的数据流加载设备，数据流通过网络传输到播放终端5。播放终端5在加载和播放过程中，还包括对视频数据流进行混合拼接处理，从而使得视频数据流能在多个分屏显示器上播放一个视频片段。

作为一个新的示例，本申请提供一种多流媒体网关服务的方法，包括：

获取多个数据流从源位置到目的位置的传输请求；

基于传输请求中定义的传输质量、传输目的位置以及占用资源，对将执行传输的多个数据流资源预审核，在不降低已执行数据流传输质量的条件下，以预设传输质量将多个数据流分组存储在流媒体存储服务器3；

将不同区域组合的流媒体数据以预设加载顺序分配标记符，并将多组数据流以指定协议类型传输到目的位置；

按照预设加载顺序执行数据流加载操作。

在上述过程中，将连续的音视频信息经过压缩处理传输到融合网关2，融合网关2经过资源审核，将音视频信息送到流媒体存储服务器3中。用户需要加载或调取音视频数据时，只需要通过流媒体转换模块4将音视频转换成预定协议，送到播放终端5加载播放。

需要说明的是，在以预设传输质量将多个数据流分组存储在流媒体存储服务器3时，还包括将不同区域组合的流媒体数据以识别码分布式储存，或一个区域组合或多个区域组合的多个数据流叠加存储在指定位置。

进一步的，将不同区域组合的流媒体数据以预设加载顺序分配标记符时，还包括在无预设加载顺序时，对多个区域组合的流媒体分配优先级顺序。具体地，按照预设加载顺序执行数据流加载操作时，还包括将一组流媒体数据加载到一个播放终端5，或将一组流媒体数据加载到多个播放终端5。

作为一个新的示例，本申请提供一种多流媒体网关服务的方法，具体为一种直播时的流媒体传输方法。这种方法由融合网关2接收到采集编码器传输的直播数据后，一边送给流媒体转换模块4转换成与多个终端相匹配的多种协议，另一方面传输到流媒体数据服务器作存储调取使用。

在多个终端同时加载直播流媒体数据时，为了适应不同终端的播放要求，将流媒体数据加载到一个直播频道，同时接收多组音视频数据流，由流媒体转换模块4根据不同类型的终端，将直播频道中的数据转换成多种协议，再通过网络传输给多个终端使用。

以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。