一种音频发送方法及装置与流程

本发明涉及视频会议技术领域，特别是涉及一种音频发送方法及装置。

背景技术：

会议电视是利用视讯技术和设备通过现代通讯网络，在远程异地以电视方式召开实时、双向、交互式的可视会议，是一种多媒体通信方式。

会议电视往往存在多路音视频输入输出和多路音视频编解码，多路音频往往是通过混音以后和视频一起发送和播放，有时会议中视频通道不需要所有的声音播放，只需要其中一路声音或者希望选择某几路声音，才能达到更好的会议效果。现有技术存在如下场景：

例1：某终端有两路音频输入，两路视频输出。呼叫上会后，两路声音混音后都会到达远端，一路视频到达远端，若两路音频输入都有发声，那么远端会听见两种声音；而此时远端只希望听见其中一路的声音，在发送第二路视频后再听见第二路的声音。

例2：扩展音频为N路，视频为两路的情景。呼叫上会后，多路声音混音后都会到达远端，一路视频到达远端，若N路音频输入都有发声那么远端会听见N种声音；而此时远端只希望听见其中n路(n<N)的声音，发送第二路视频后再听见其余N-n路的声音。

例3：扩展音频为N路，视频为M路的情景。呼叫上会后，N路声音混音后都会到达远端，一路视频到达远端，若N路音频输入都有发声那么远端会听见N种声音；而此时远端只希望听见其中n路(n<N)的声音，发送第m路视频后再听见其中m路的声音。

技术实现要素：

本发明要解决的技术问题是提供一种音频发送方法及装置，用以解决现有技术音频发送不能按照远端需求进行发送的问题。

为解决上述技术问题，一方面，本发明提供一种音频发送方法，包括：

获取每路音频的发送状态信号和每路视频的发送状态信号；

建立每路视频和与其同时发送的音频之间的映射关系；

视频发送时，根据所述映射关系，控制音频的发送状态，发送与该路视频对应的一路或多路音频。

进一步，所述音频发送状态信号包括：音频处于发送状态或未发送状态；所述视频发送状态信号包括：视频处于发送状态或未发送状态。

进一步，根据所述映射关系，控制音频的发送状态，具体包括：

当与该路视频对应的音频是发送状态时，则保持该路音频数据继续发送；

当与该路视频对应的音频是未发送状态时，则开始发送该路音频数据；

当该路视频停止发送时，则停止发送与该路视频对应的音频数据。

进一步，建立每路视频和与其同时发送的音频之间的映射关系，具体如下：

N路视频发送对应M路音频发送，其中，N＝1、2、3、……，M＝1、2、3、……。

进一步，发送与该路视频对应一路或多路的音频，具体包括：

对与该路视频对应一路或多路的音频直接进行发送；或者，

对与该路视频对应一路或多路的音频加入混音和/或编码后，进行发送。

另一方面，本发明还提供一种音频发送装置，包括：

视频单元，用于获取每路视频的发送状态信号；

映射单元，用于建立每路视频和与其同时发送的音频之间的映射关系；

音频单元，用于获取每路音频的发送状态信号，以及在视频发送时，根据所述映射关系，控制音频的发送状态，发送与该路视频对应的一路或多路音频。

进一步，所述音频发送状态信号包括：音频处于发送状态或未发送状态； 所述视频发送状态信号包括：视频处于发送状态或未发送状态。

进一步，所述音频单元还用于：

当与该路视频对应的音频是发送状态时，保持该路音频数据继续发送；

当与该路视频对应的音频是未发送状态时，开始发送该路音频数据；

当该路视频停止发送时，则停止发送与该路视频对应的音频数据。

进一步，所述映射单元还用于：

建立每路视频和与其同时发送的音频之间的映射关系，具体如下：

N路视频发送对应M路音频发送，其中，N＝1、2、3、……，M＝1、2、3、……。

进一步，所述音频单元还用于：

对与该路视频对应一路或多路的音频直接进行发送；或者，

对与该路视频对应一路或多路的音频加入混音和/或编码后，进行发送

本发明有益效果如下：

本发明通过建立视频发送与音频发送之间的映射关系；视频发送时，根据该映射关系，至发送与该路视频对应的一路或多路音频，这样，就能实现按照远端需求进行音频数据发送，提高了会议效果，进而大大提高了用户体验。

附图说明

图1是本发明实施例中一种音频发送方法的流程图；

图2a是本发明实施例中视频发送与音频发送一对一配置映射关系的示意图；

图2b是本发明实施例中视频发送与音频发送混合置映射关系的示意图；

图3是本发明实施例中一种音频发送装置的结构示意图；

图4是本发明实施例中音频发送装置应用与视频会议的结构示意图。

具体实施方式

以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此 处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

如图1所示，本发明实施例涉及一种音频发送方法，包括：

步骤S101，获取每路音频的发送状态信号和每路视频的发送状态信号；

本步骤中，音频发送状态信号包括：音频处于发送状态或未发送状态。

音频发送状态信号可以直接获取，或者通过音频检测器获取音频发送状态信号；如果有多路音频，需要分别获取每一路音频的发送状态信号。

视频发送状态信号包括：视频处于发送状态或未发送状态。

视频发送状态信号可以直接获取，或者通过视频检测器获取视频发送状态信号；如果包括多路视频，应分别获取每一路视频的发送状态信号。

步骤S102，建立每路视频和与其同时发送的音频之间的映射关系；

本步骤中，可以通过可视界面配置音频发送和视频发送的映射关系；或，通过不可见配置音频发送和视频发送的固定映射关系和可变映射关系。当一路视频与一路或多路音频之间建立有映射关系，即视频与音频之间建立了一种对应关系，当该路视频发送时，与该路视频对应的音频也需要一同发送。

其中，视频发送与音频发送之间的映射关系可以按照如下方式配置，即N路视频发送对应M路音频发送，其中，N＝1、2、3、……，M＝1、2、3、……。

当N＝1，M＝1，即视频发送与音频发送之间是一对一关系，图2a所示的，第1路视频映射第1路音频，第2路视频映射第2路音频，第X路视频映射第X路音频。

当然，也可以根据实际情况的需要，进行灵活设置。例如，N＝1，M>1，即视频发送与音频发送之间是一对多关系；N>1，M＝1，即视频发送与音频发送之间是多对一关系；也可以是以上几种情况的组合。如图2b所示第1路视频映射第1路音频，第2路视频映射第2路、第3路、第4路音频，第3路至第Y路视频映射第Y路音频。需要说明的是，建立音频发送和视频发送的映射关系并不仅仅限于上述映射关系。

步骤S103，视频发送时，根据所述映射关系，控制音频的发送状态，发送 与该路视频对应的一路或多路音频。

本步骤中，根据获取的音频发送状态信号和视频发送状态信号，以及建立的映射关系，得到音频发送控制命令。

首先，根据视频发送状态信号，确定哪路视频需要发送，即视频发送状态信号为发送状态的视频是需要进行发送的。

其次，根据之前建立的映射关系，确定该路视频对应的音频为哪一路，或哪几路。然后，查看这几路音频的音频发送状态信号，如果是发送状态，则音频发送控制命令中指示保持该路音频数据继续发送；如果是未发送状态，则音频发送控制命令中指示开始发送该路音频数据；另外，该路视频停止放松时，则停止发送与该路视频对应的一路或多路的音频数据。当一路音频在映射关系中，与一路正在发送的视频对应，同时与一路停止发送的视频对应，则该路音频应该为发送状态，即保持发送该路音频数据。以图2b为例，第1、2路视频发送时，根据映射关系，音频发送控制命令为：第1路至第4路音频发送，其余Y-4路空闲(禁止发送)。

具体发送音频数据时，可以采用以下方式中的一种，或其合理的组合：

1、对音频发送控制命令中指示发送的每一路音频数据进行发送，不需要发送(没指示发送或指示禁止发送)的音频不发送出去。

2、对音频发送控制命令中指示发送的每一路音频数据加入混音，将混音后的音频发送出去。

3、对音频发送控制命令中指示发送的每一路音频数据加入编码，将编码后的音频发送出去。

如图3所示，本发明实施例还涉及一种实现上述方法的音频发送装置，包括：

视频单元，用于获取每路视频的发送状态信号；

映射单元，用于建立每路视频和与其同时发送的音频之间的映射关系；

音频单元，用于获取每路音频的发送状态信号，以及在视频发送时，根据 所述映射关系，控制音频的发送状态，发送与该路视频对应的一路或多路音频。

其中，音频发送状态信号包括：音频处于发送状态或未发送状态；所述视频发送状态信号包括：视频处于发送状态或未发送状态。

音频单元还用于：

当与该路视频对应的音频是发送状态时，保持该路音频数据继续发送；

当与该路视频对应的音频是未发送状态时，开始发送该路音频数据；

当该路视频停止发送时，则停止发送与该路视频对应的音频数据。

映射单元还用于：

建立每路视频和与其同时发送的音频之间的映射关系，具体如下：

N路视频发送对应M路音频发送，其中，N＝1、2、3、……，M＝1、2、3、……。

音频单元还用于：

对与该路视频对应一路或多路的音频直接进行发送；或者，

对与该路视频对应一路或多路的音频加入混音和/或编码后，进行发送。

图4为所述装置应用与视频会议的结构示意图，可以利用本装置在视频会议中进行音频发送控制，进而提高会议质量。

由上述实施例可以看出，本发明实施例通过建立视频发送与音频发送之间的映射关系；视频发送时，根据该映射关系，至发送与该路视频对应的一路或多路音频，这样，就能实现按照远端需求进行音频数据发送，提高了会议效果，进而大大提高了用户体验。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。