一种音视频合流压制和推送系统及方法与流程

本发明涉及音视频处理技术领域，更具体地，涉及一种音视频合流压制和推送系统及方法。

背景技术：

在视频解说直播中，需要将视频同步的音频采录之后和所接收的视频流进行压制后再次推送给服务器。

为了实现此功能，目前的做法通常是有两种，一种是在视频录制现场进行音频采集，然后将同时录制的视频和音频进行不同合流压制；第二种是在解说端对视频进行同步配音，对视频和音频进行合流压制，进行合流压制成的新视频流再向服务器进行推送。

以上的第一种实现方式会要求进行合流压制的设备必须在视频录制现场；第二种实现方式由于解说端在音频录制的同时还要对音频和视频进行合流压制，因此对解说端的性能要求比较高。

技术实现要素：

本发明提供一种克服上述问题或者至少部分地解决上述问题的音视频合流压制和推送系统及方法。

根据本发明的一个方面，提供了一种音视频合流压制和推送的系统，包括cdn服务器、具有推流功能的录音设备和合流服务器；

所述cdn服务器，用于同时向所述录音设备和所述合流服务器推送元视频流，以及用于接收合流服务器推送的合流压制后的视频流，并将合流压制后的视频流分发给用户终端；

所述录音设备，用于根据所述cdn服务器推送的元视频流进行音频录制，将音频录制后产生的音频流推送给合流服务器；

所述合流服务器，用于将所述cdn服务器推送的元视频流和所述录音设备推送的音频流进行合流压制，且将合流压制后的视频流推送至cdn服务器。

本发明的有益效果为：通过cdn服务器提供元视频流，通过具有推流功能的录音设备提供音频流，而在合流服务器上进行音视频合流压制，相比现有的在同一个设备上提供元视频流和音频流并且合流压制，实现了合流压制分离的效果，减轻了合流服务器的压力。

在上述技术方案的基础上，本发明还可以作如下改进。

进一步的，所述cdn服务器还用于在向所述录音设备和所述合流服务器推送元视频流时，将元视频流的时间戳推送给录音设备和合流服务器。

进一步的，所述录音设备还用于：

根据cdn服务器推送的元视频流的时间戳，以及录音设备进行音频录制时的时间戳，将两者的差值作为第一时间差值，并同时将音频流和所述第一时间差值推送给合流服务器。

进一步的，所述合流服务器还用于：

根据cdn服务器推送的元视频的时间戳以及接收到所述元视频流时的时间戳，将两者的差值作为第二时间差值。

进一步的，所述合流服务器还用于：

计算所述第一时间差值和所述第二时间差值的差值，且将所述差值作为合流压制参数对cdn服务器推送的元视频流和录音设备推送的音频流进行合流压制；以及还用于将合流压制后的视频流推送给用户终端。

根据本发明的另一个方面，还提供了一种音视频合流压制和推送方法，包括：

s1，合流服务器接收cdn服务器推送的元视频流以及具有推流功能的录音设备推送的音频流，其中，所述音频流是录音设备根据cdn服务器推送的元视频流进行音频录制而生成的；

s2，将cdn服务器推送的元视频流和录音设备推送的音频流进行合流压制；

s3，将合流压制后的视频流推送至cdn服务器，以使cdn服务器将合流压制后的视频流分发给用户终端。

进一步的，所述cdn服务器同时向所述合流服务器和所述录音设备推送元视频流和元视频流的时间戳。

进一步的，所述步骤s1还包括：

合流服务器在接收录音设备推送的音频流时，同时接收录音设备推送的第一时间差值，其中，所述第一时间差值是cdn服务器推送的元视频流的时间戳以及录音设备录制音频时的时间戳之间的差值。

进一步的，所述步骤s1还包括：

合流服务器根据cdn服务器推送的元视频流的时间戳和接收到cdn服务器推送的元视频流时的时间戳，将两者的差值作为第二时间差值。

进一步的，合流服务器计算所述第一时间差值和所述第二时间差值的差值，且将所述差值作为合流压制参数，以对cdn服务器推送的元视频流和录音设备推送的音频流进行合流压制。

附图说明

图1为本发明一个实施例的音视频合流压制和推送系统的架构图；

图2为本发明另一个实施例的音视频合流压制和推送方法的流程图；

图3为本发明另一个实施例的音视频合流压制和推送方法的整个流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

参见图1，图1提供了本发明一个实施例的音视频合流压制和推送系统，该系统包括cdn服务器、具有推流功能的录音设备和合流服务器。cdn服务器，用于同时向录音设备和所述合流服务器推送元视频流，以及接收合流服务器推送的合流压制后的视频流，并将合流压制后的视频流分发给用户终端。录音设备，用于根据所述cdn服务器推送的元视频流进行音频录制，将音频录制后产生的音频流推送给合流服务器。合流服务器，用于将cdn服务器推送的元视频流和录音设备推送的音频流进行合流压制，且将合流压制后的视频流推送至cdn服务器。

cdn(contentdeliverynetwork,内容分发网络)服务器实时从外部获取到元视频流，且实时将获取的元视频流同时向具有推流功能的录音设备和合流服务器推送。录音设备接收到cdn服务器推送的元视频流，对元视频流进行播放，并进行音频录制，且将录制后的音频流推送至合流服务器。合流服务器根据从cdn服务器接收的元视频流和从录音设备推送的音频流，对元视频流和音频流进行合流压制，且将合流压制后的视频流推送给cdn服务器，以便cdn服务器将压制后的视频流分发给用户终端。当然，在本实施例中，合流服务器也可以直接将合流压制后的视频流直接推送给用户终端，实现了通过多种方式将合流压制后的视频流推送给用户终端。

本实施例通过cdn服务器提供元视频流，通过具有推流功能的录音设备提供音频流，而在合流服务器上进行音频流和视频流的合流压制，相比现有的在同一个设备上提供元视频流和音频流并且合流压制，实现了合流压制分离的效果，减轻了合流服务器的压力。

在本发明的另一个实施例中，所述cdn服务器在向所述录音设备和所述合流服务器推送元视频流时，也将元视频流的时间戳推送给录音设备和合流服务器。

cdn服务器在向录音设备和合流服务器推送元视频流的过程中，由于cdn服务器和录音设备之间的网络状态以及cdn服务器和合流服务器之间的网络状态可能不同。因此，即使cdn服务器同时向录音设备和合流服务器推送元视频流，录音设备接收到元视频流的时间和合流服务器接收到元视频流的时间很可能不同，在这种情况下，合流服务器合流压制后的视频流中存在音画不同步的现象。为了解决音画不同步的问题，cdn在向录音设备和合流服务器推送元视频流的同时，也将元视频流的时间戳推送给录音设备和合流服务器。

在本发明的一个实施例中，录音设备还用于根据cdn服务器推送的元视频流的时间戳，以及录音设备进行音频录制时的时间戳，将两者的差值作为第一时间差值，并同时将音频流和所述第一时间差值推送给合流服务器。当录音设备接收到cdn服务器推送的元视频流和元视频流的时间戳时，对元视频流进行音频录制，且记录音频录制时的时间戳，将元视频流的时间戳和录音设备录制音频时的时间戳之间的时间差值作为第一时间差值。从第一时间差值能够看出cdn服务器推送给录音设备的元视频流的时间延迟。录音设备将录制的音频流和第一时间差值推送给合流服务器。

合流服务器，具体用于根据cdn服务器推送的元视频的时间戳以及接收到所述元视频流时的时间戳，将两者的差值作为第二时间差值。当合流服务器接收到cdn服务器推送的元视频流和元视频流的时间戳时，将元视频流的时间戳和合流服务器接收到元视频时的时间戳之间的时间差值作为第二时间差值，从第二时间差值可以看出cdn服务器推送给合流服务器的元视频流的时间延迟。

在本发明的一个实施例中，合流服务器还用于计算所述第一时间差值和所述第二时间差值的差值，且将所述差值作为合流压制参数对cdn服务器推送的元视频流和录音设备推送的音频流进行合流压制。

合流服务器接收到录音设备推送的录制的音频流和第一时间差值，以及计算出的第二时间差值，通常由于一定的因素，比如网络状态不同的因素，第一时间差值和第二时间差值是不同的。因此，本实施例中的合流服务器计算第一时间差值与第二时间差值之间的差值，并将该差值作为合流压制参数对音频流和元视频流进行合流压制。合流压制后的视频流中的音画是同步的，克服了以往的音画不提供不的问题。然后将合流压制后的视频流推送给cdn服务器，以便cdn服务器将合流压制后的视频流分发给用户终端。

参见图2，为本发明另一个实施例的音视频合流压制和推送方法，包括：s1，合流服务器接收cdn服务器推送的元视频流以及具有推流功能的录音设备推送的音频流，其中，所述音频流是录音设备根据cdn服务器推送的元视频流进行音频录制而生成的；s2，将cdn服务器推送的元视频流和录音设备推送的音频流进行合流压制；s3，将合流压制后的视频流推送至cdn服务器，以使cdn服务器将合流压制后的视频流分发给用户终端。

本实施例通过cdn服务器提供元视频流，通过具有推流功能的录音设备提供音频流，而在合流服务器上进行音视频合流压制，相比现有的在同一个设备上提供元视频流和音频流并且合流压制，实现了合流压制分离的效果，减轻了合流服务器的压力。

在本发明的一个实施例中，cdn服务器同时向所述合流服务器和所述录音设备推送元视频流和元视频流的时间戳。

合流服务器在接收录音设备推送的音频流时，同时接收录音设备推送的第一时间差值，其中，所述第一时间差值是cdn服务器推送的元视频流的时间戳以及录音设备录制音频时的时间戳之间的差值。合流服务器根据cdn服务器推送的元视频流的时间戳和接收到cdn服务器推送的元视频流时的时间戳，将两者的差值作为第二时间差值。

然后，合流服务器计算所述第一时间差值和所述第二时间差值的差值，且将所述差值作为合流压制参数对cdn服务器推送的元视频流和录音设备推送的音频流进行合流压制。这样进行合流压制后的视频流中的音画是同步的，解决了目前的视频流中音画不同步的问题。

参见图3，为音视频合流压制和推送方法的整个流程图。首先,cdn服务器从外部获取到元视频流后，实时同时向具有推流功能的录音设备和合流服务器推送元视频流和元视频流的时间戳。录音设备接收到元视频流后，对元视频流进行音频录制，生成音频流，并记录录制音频时的时间戳，且将录音音频是的时间戳和元视频流的时间戳之间的差值，记为第一时间差值gt1，并将录制的音频流和第一时间差值gt1推送给合流服务器。同时，合流服务器在接收到cdn服务器推送的元视频流和元视频流的时间戳时，计算合流服务器接收到元视频流时的时间戳与元视频流的时间戳之间的差值，记为第二时间差值gt2。然后再计算第一时间差值和第二时间差值之间的差值st＝gt1-gt2。其中，st值的范围可为正数、负数以及零。当st值为正数时，表示音频流要延迟相应的时间与视频流进行压制；当st值为负数时，表示音频流要提前相应的时间与视频流进行压制；st值为零时，表示音频流与视频流无延迟同步压制。合流压制后的视频流中的音画是不同的，随后，合流服务器将合流压制后的视频流推送给cdn服务器，cdn服务器将合流压制后的视频流分发给用户终端。

本发明提供的音视频合流压制和推送系统及方法，通过cdn服务器提供元视频流，通过具有推流功能的录音设备提供音频流，而在合流服务器上进行音视频合流压制，相比现有的在同一个设备上提供元视频流和音频流并且合流压制，实现了合流压制分离的效果，减轻了合流服务器的压力。通过分别计算录音设备录制音频和cdn服务器发送元视频流的时间差值，以及计算合流服务器接收到元视频流和cdn服务器发送元视频流的时间差值，且将这两个时间差值的差值作为合流压制参数对音频流和视频流进行合流压制，来保证合流压制后的视频流中的音画相同，消除由于网络延迟等因素造成的音画不同步的问题。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。