一种音视频压制系统及方法与流程

本发明涉及音视频处理技术领域，更具体地，涉及一种音视频压制系统及方法。

背景技术：

在视频解说直播中，需要将视频同步的音频采录之后和所接收的视频流进行压制。

为了实现此功能，目前的做法通常是有两种，一种是在视频录制现场进行音频采集，然后将同时录制的视频和音频进行不同合流压制；第二种是在解说端对视频进行同步配音，对视频和音频进行合流压制。

以上的第一种实现方式会要求进行合流压制的设备必须在视频录制现场；第二种实现方式由于解说端在音频录制的同时还要对音频和视频进行合流压制，对解说端的性能要求比较高，解说端宽带压力较大。

技术实现要素：

本发明提供一种克服上述问题或者至少部分地解决上述问题的音视频压制系统及方法，能够克服音视频合流压制时解说端宽带压力大的问题。

一方面，本发明提供一种音视频压制系统，包括内容分发网络cdn服务器、录音设备和合流服务器；

所述cdn服务器，用于同时向所述录音设备和所述合流服务器推送元视频流；

所述录音设备，用于根据所述cdn服务器推送的元视频流进行音频录制，将音频录制后产生的音频流推送至合流服务器；

所述合流服务器，用于将所述cdn服务器推送的元视频流和所述录音设备推送的音频流进行合流压制。

其中，所述cdn服务器还用于在向所述录音设备和所述合流服务器推送元视频流时，将cdn服务器的当前时间戳推送给录音设备和合流服务器。

其中，所述录音设备还用于：

根据cdn服务器推送元视频流时的时间戳，以及录音设备进行音频录制时的时间戳，获得两者的差值，将两者的差值作为第一时间差值，并同时将音频流和所述第一时间差值推送给合流服务器。

其中，所述合流服务器还用于：

根据所述cdn服务器推送元视频时的时间戳以及接收到所述元视频流时的时间戳，获得两者的差值，将两者的差值作为第二时间差值。

其中，所述合流服务器还用于：

计算所述第一时间差值和所述第二时间差值的差值，且将所述差值作为合流压制参数对cdn服务器推送的元视频流和录音设备推送的音频流进行合流压制。

另一方面，本发明还提供一种音视频压制方法，包括：

步骤s1，合流服务器接收cdn服务器推送的元视频流以及录音设备推送的音频流，其中，所述音频流是录音设备根据cdn服务器推送的元视频流进行音频录制而生成的；

步骤s2，将cdn服务器推送的元视频流和录音设备推送的音频流进行合流压制。

其中，所述cdn服务器同时向所述合流服务器和所述录音设备推送元视频流及cdn服务器推送元视频流时的时间戳。

其中，所述步骤s1包括：

合流服务器在接收录音设备推送的音频流时，同时接收录音设备推送的第一时间差值，其中，所述第一时间差值是cdn服务器推送元视频流时的时间戳以及录音设备录制音频时的时间戳之间的差值。

其中，所述步骤s1还包括：

根据cdn服务器推送元视频流时的时间戳以及合流服务器接收到cdn服务器推送的元视频流时的时间戳，获得两者的差值，将两者的差值作为第二时间差值。

其中，所述步骤s2具体包括：

合流服务器计算所述第一时间差值和所述第二时间差值的差值，且将所述差值作为合流压制参数对cdn服务器推送的元视频流和录音设备推送的音频流进行合流压制。

本发明提供的音视频压制系统及方法，通过cdn服务器推送元视频流至录音设备及合流服务器，通过录音设备录制并推送音频流至合流服务器，在合流服务器上进行音频和视频合流压制，相比现有技术在解说端将采集的音频流与接收的视频流进行合流压制，实现了合流压制分离的效果，减轻了解说端的宽带压力，且合流服务器根据合流压制参数对音频流和视频流进行合流压制，能够保持压制后的视频流中的音画同步。

附图说明

图1为根据本发明实施例提供的音视频压制系统的架构图；

图2为根据本发明实施例提供的音视频压制方法流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为根据本发明实施例提供的音视频压制系统的架构图，如图1所示，该系统包括cdn服务器、录音设备和合流服务器。所述cdn服务器，用于同时向所述录音设备和所述合流服务器推送元视频流；所述录音设备，用于根据所述cdn服务器推送的元视频流进行音频录制，将音频录制后产生的音频流推送给合流服务器；所述合流服务器，用于将所述cdn服务器推送的元视频流和所述录音设备推送的音频流进行合流压制。

cdn(contentdeliverynetwork)即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，cdn系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。其目的是使用户可就近取得所需内容，解决internet网络拥挤的状况，提高用户访问网站的响应速度。

cdn服务器获取元视频流，且实时将获取的元视频流向录音设备和合流服务器同时推送。录音设备接收到cdn服务器推送的元视频流，对元视频流进行播放，并进行音频录制，且将录制后生成的音频流推送至合流服务器。合流服务器根据从cdn服务器接收的元视频流和从录音设备推送的音频流，对元视频流和音频流按照合流压制参数进行合流压制。

本发明提供的音视频压制系统，通过cdn服务器推送元视频流至录音设备及合流服务器，通过录音设备录制并推送音频流至合流服务器，而在合流服务器上进行音频和视频合流压制，相比现有技术在解说端将采集的音频流与接收的视频流进行合流压制，实现了合流压制分离的效果，减轻了解说端的宽带压力。

在上述实施例的基础上，所述cdn服务器在向所述录音设备和所述合流服务器推送元视频流时，也将cdn服务器推送元视频流时的时间戳推送给录音设备和合流服务器。

具体地，cdn服务器在向录音设备和合流服务器推送元视频流时，产生cdn服务器推送元视频流时的时间戳，cdn服务器在向录音设备和合流服务器推送元视频流的过程中，由于cdn服务器和录音设备之间的网络状态以及cdn服务器和合流服务器之间的网络状态可能不同。因此，即使cdn服务器同时向录音设备和合流服务器推送元视频流，录音设备接收到元视频流的时间和合流服务器接收到元视频流的时间很可能不同，在这种情况下，合流服务器合流压制后的视频流中存在音画不同步的现象。为了解决音画不同步的问题，cdn服务器在向录音设备和合流服务器推送元视频流的同时，也将cdn服务器推送元视频流时的时间戳推送给录音设备和合流服务器。

在上述各实施例的基础上，录音设备还用于根据cdn服务器推送元视频流时的时间戳，以及录音设备进行音频录制时的时间戳，将两者的差值作为第一时间差值，并同时将音频流和所述第一时间差值推送给合流服务器。

具体地，当录音设备接收到cdn服务器推送的元视频流和cdn服务器推送元视频流时的时间戳时，对元视频流进行音频录制，且记录音频录制时的时间戳，将cdn服务器推送元视频流时的时间戳和录音设备录制音频时的时间戳之间的时间差值作为第一时间差值。从第一时间差值能够看出cdn服务器推送给录音设备的元视频流的时间延迟。录音设备将录制的音频流和第一时间差值推送给合流服务器。

例如，cdn服务器将元视频流和cdn服务器推送元视频流时的时间戳t推送至录音设备，录音设备接收到元视频流并开始录制音频时，录音设备的时间戳为t1，则计算第一时间差值gt1＝t1－t，第一时间差值gt1即为cdn服务器推送给录音设备的元视频流的时间延迟。录音设备将录制的音频流和第一时间差值gt1推送给合流服务器。

在上述各实施例的基础上，合流服务器具体用于根据cdn服务器推送元视频时记录的时间戳以及合流服务器接收到所述元视频流时的时间戳，将两者的差值作为第二时间差值。当合流服务器接收到cdn服务器推送的元视频流和cdn服务器推送元视频流时的时间戳时，将cdn服务器推送元视频流时的时间戳和合流服务器接收到元视频时的时间戳之间的时间差值作为第二时间差值，从第二时间差值可以看出cdn服务器推送给合流服务器的元视频流的时间延迟。

例如，cdn服务器将元视频流和cdn服务器推送元视频流时的时间戳t推送至合流服务器，合流服务器接收到元视频流时记录时间戳为t2，计算第二时间差值gt2＝t2－t，第二时间差值gt2即为cdn服务器推送给合流服务器的元视频流的时间延迟。

在上述各实施例的基础上，合流服务器还用于计算所述第一时间差值和所述第二时间差值的差值，且将所述差值作为合流压制参数对cdn服务器推送的元视频流和录音设备推送的音频流进行合流压制。

合流服务器接收到录音设备推送的音频流和第一时间差值，以及计算出的第二时间差值，通常由于一定的因素，比如网络状态不同的因素，第一时间差值和第二时间差值是不同的。因此，本实施例中的合流服务器计算第一时间差值与第二时间差值之间的差值，并将该差值作为合流压制参数对音频流和元视频流进行合流压制。合流压制后的视频流中的音画是同步的，克服了以往的音画不同步的问题。

具体地，根据上述各实施例，合流服务器接收到录音设备推送的音频流和第一时间差值gt1，并计算出第二时间差值gt2。由于cdn服务器和录音设备之间的网络延迟gt1以及cdn服务器和合流服务器之间的网络延迟gt2可能不同，计算它们的差值作为合流压制参数st，st＝|gt2-gt1|，合流服务器将音频流和元视频流基于合流压制参数st进行合并压制。其中st的取值范围可为正数，负数，以及零，当st为负数时表示音频流要提前相应绝对值时间与视频流进行压制，当st为正数时表示音频流延迟相应绝对值时间与视频流进行压制，st为零时表示音频流与视频流无延迟同步压制。

本发明提供的音视频压制系统，通过cdn服务器推送元视频流至录音设备及合流服务器，通过录音设备录制并推送音频流至合流服务器，而在合流服务器上进行音频和视频合流压制，相比现有技术在解说端将采集的音频流与接收的视频流进行合流压制，实现了合流压制分离的效果，减轻了解说端的宽带压力，且合流服务器根据合流压制参数对音频流和视频流进行合流压制，能够实时保持压制后的视频流中的音画同步。

图2为根据本发明实施例提供的音视频压制方法流程示意图，如图2所示，该方法包括：s1，合流服务器接收cdn服务器推送的元视频流以及录音设备推送的音频流，其中，所述音频流是录音设备根据cdn服务器推送的元视频流进行音频录制而生成的；s2，将cdn服务器推送的元视频流和录音设备推送的音频流进行合流压制。

cdn服务器获取元视频流，且实时将获取的元视频流向录音设备和合流服务器同时推送。录音设备接收到cdn服务器推送的元视频流，对元视频流进行播放，并进行音频录制，且将录制后生成的音频流推送至合流服务器。合流服务器根据从cdn服务器接收的元视频流和从录音设备推送的音频流，对元视频流和音频流按照合流压制参数进行合流压制。

本发明提供的音视频压制方法，通过cdn服务器推送元视频流至录音设备及合流服务器，通过录音设备录制并推送音频流至合流服务器，而在合流服务器上进行音频和视频合流压制，相比现有技术在解说端将采集的音频流与接收的视频流进行合流压制，实现了合流压制分离的效果，减轻了解说端的宽带压力。

在上述实施例的基础上，cdn服务器同时向所述合流服务器和所述录音设备推送元视频流和cdn服务器推送元视频流时的时间戳。

具体地，cdn服务器在向录音设备和合流服务器推送元视频流时，产生cdn服务器推送元视频流时的时间戳，cdn服务器在向录音设备和合流服务器推送元视频流的过程中，由于cdn服务器和录音设备之间的网络状态以及cdn服务器和合流服务器之间的网络状态可能不同。因此，即使cdn服务器同时向录音设备和合流服务器推送元视频流，录音设备接收到元视频流的时间和合流服务器接收到元视频流的时间很可能不同，在这种情况下，合流服务器合流压制后的视频流中存在音画不同步的现象。为了解决音画不同步的问题，cdn服务器在向录音设备和合流服务器推送元视频流的同时，也将cdn服务器推送元视频流时的时间戳推送给录音设备和合流服务器。

在上述各实施例的基础上，步骤s1包括：

合流服务器在接收录音设备推送的音频流时，同时接收录音设备推送的第一时间差值，其中，所述第一时间差值是所述cdn服务器推送元视频流时的时间戳和录音设备录制音频时的时间戳之间的差值。

具体地，当录音设备接收到cdn服务器推送的元视频流和cdn服务器推送元视频流时的时间戳时，对元视频流进行音频录制，且记录音频录制时的时间戳，将cdn服务器推送元视频流时的时间戳和录音设备录制音频时的时间戳之间的时间差值作为第一时间差值。从第一时间差值能够看出cdn服务器推送给录音设备的元视频流的时间延迟。录音设备将录制的音频流和第一时间差值推送给合流服务器。

例如，cdn服务器将元视频流和cdn服务器推送元视频流时的时间戳t推送至录音设备，录音设备接收到元视频流并开始录制音频时，录音设备的时间戳为t1，则计算第一时间差值gt1＝t1－t，第一时间差值gt1即为cdn服务器推送给录音设备的元视频流的时间延迟。录音设备将录制的音频流和第一时间差值gt1推送给合流服务器。

在上述各实施例的基础上，步骤s1还包括：

根据cdn服务器推送元视频流时的时间戳以及合流服务器接收到cdn服务器推送的元视频流时的时间戳，获得两者的差值，将两者的差值作为第二时间差值。

具体地，当合流服务器接收到cdn服务器推送的元视频流和cdn服务器推送元视频流时的时间戳时，将cdn服务器推送元视频流时的时间戳和合流服务器接收到元视频时的时间戳之间的时间差值作为第二时间差值，从第二时间差值可以看出cdn服务器推送给合流服务器的元视频流的时间延迟。

例如，cdn服务器将元视频流和cdn服务器推送元视频流时的时间戳t推送至合流服务器，合流服务器接收到元视频流时记录时间戳为t2，计算第二时间差值gt2＝t2－t，第二时间差值gt2即为cdn服务器推送给合流服务器的元视频流的时间延迟。

在上述各实施例的基础上，步骤s2具体包括，合流服务器计算所述第一时间差值和所述第二时间差值的差值，且将所述差值作为合流压制参数对cdn服务器推送的元视频流和录音设备推送的音频流进行合流压制。

合流服务器接收到录音设备推送的音频流和第一时间差值，以及计算出的第二时间差值，通常由于一定的因素，比如网络状态不同的因素，第一时间差值和第二时间差值是不同的。因此，本实施例中的合流服务器计算第一时间差值与第二时间差值之间的差值，并将该差值作为合流压制参数对音频流和元视频流进行合流压制。合流压制后的视频流中的音画是同步的，克服了以往的音画不同步的问题。

具体地，根据上述各实施例，合流服务器接收到录音设备推送的音频流和第一时间差值gt1，并计算出第二时间差值gt2。由于cdn服务器和录音设备之间的网络延迟gt1以及cdn服务器和合流服务器之间的网络延迟gt2可能不同，计算它们的差值作为合流压制参数st，st＝|gt2-gt1|，合流服务器将音频流和元视频流基于合流压制参数st进行合并压制。其中st的取值范围可为正数，负数，以及零，当st为负数时表示音频流要提前相应绝对值时间与视频流进行压制，当st为正数时表示音频流延迟相应绝对值时间与视频流进行压制，st为零时表示音频流与视频流无延迟同步压制。

本发明提供的音视频压制系统，通过cdn服务器推送元视频流至录音设备及合流服务器，通过录音设备录制并推送音频流至合流服务器，而在合流服务器上进行音频和视频合流压制，相比现有技术在解说端将采集的音频流与接收的视频流进行合流压制，实现了合流压制分离的效果，减轻了解说端的宽带压力，且合流服务器根据合流压制参数对音频流和视频流进行合流压制，能够保持压制后的视频流中的音画同步。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。