混合会议中广播音视频码流的控制方法、装置及系统的制作方法
【技术领域】
[0001]本发明涉及多媒体通信技术领域，具体地说涉及一种混合会议中广播音视频码流的控制方法、装置及系统。
【背景技术】
[0002]目前的视频会议终端分为单流终端和多流终端，单流终端是只具有接收和发送单路音视频码流能力的终端，多流终端是具有接收和发送多路音视频码流能力的终端。
[0003]在多流终端和单流终端的混合会议中，特别是目前的网真视频会议中，需要多流终端发送或接收多路音视频码流以实现重现会议室一比一大小的全景画面，如图1所示，多流终端发送和接收多路音视频码流给会议控制服务器，单流终端发送单路音视频码流给会议控制服务器，为了保证单流终端也能接收到多流终端的全部图像，目前大多数方法是通过扩充单流终端的接收能力，例如单流终端接收多路音视频码流，让单流终端定制播放的画面，该方法会使单流终端产生额外的带宽要求，对网络带宽的要求过高，对单流终端的解码能力也有非常高的要求。
【发明内容】
[0004]为此，本发明所要解决的技术问题在于克服现有技术中通过扩充单流终端的接收能力来实现单流终端能够接收多流终端的全部图像会带来对带宽要求过高的问题，从而提出一种不会额外增加单流终端占用带宽的混合会议中广播音视频码流的控制方法、装置及系统。
[0005]本发明的一种混合会议中广播音视频码流的控制方法，包括以下步骤:
[0006]根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端;
[0007]当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；
[0008]对所述多路音视频码流进行解码；
[0009]将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；
[0010]将所述单路音视频码流发送给所述观众终端。
[0011]优选地，还包括以下步骤:
[0012]当所述广播终端为单流终端时，接收所述广播终端发送的单路音视频码流；
[0013]将该单路音视频码流发送给所述观众终端。
[0014]优选地，根据广播终端或观众终端所支持的媒体流数分别判断是多流终端还是单流终端的步骤包括:
[0015]接收所述广播终端或观众终端发送的媒体能力消息；
[0016]判断所述媒体能力消息中包含的音频标签或视频标签是多路还是单路；
[0017]当包含的音频标签或视频标签是多路时，判断所述广播终端或观众终端为多流终端;
[0018]当包含的音频标签或视频标签是单路时，判断所述广播终端或观众终端为单流终端。
[0019]优选地，所述将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的步骤包括:
[0020]对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据；
[0021]对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流；
[0022]将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。
[0023]本发明的一种混合会议中广播音视频码流的控制装置，包括:
[0024]第一判断单元，用于根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；
[0025]第一接收单元，用于当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；
[0026]解码单元，用于对所述多路音视频码流进行解码；
[0027]编码单元，用于将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；
[0028]第一发送单元，用于将所述单路音视频码流发送给所述观众终端。
[0029]优选地，还包括:
[0030]第二接收单元，用于当所述广播终端为单流终端时，接收所述广播终端发送的单路音视频码流；
[0031]第二发送单元，用于将该单路音视频码流发送给所述观众终端。
[0032]优选地，所述第一判断单元包括:
[0033]第三接收单元，用于接收所述广播终端或观众终端发送的媒体能力消息；
[0034]第二判断单元，用于判断所述媒体能力消息中包含的音频标签或视频标签是多路还是单路；
[0035]第一终端类型获得单元，用于当包含的音频标签或视频标签是多路时，判断所述广播终端或观众终端为多流终端；
[0036]第二终端类型获得单元，用于当包含的音频标签或视频标签是单路时，判断所述广播终端或观众终端为单流终端。
[0037]优选地，所述编码单元包括:
[0038]发言坐席确定单元，用于对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据；
[0039]单路音频码流获得单元，用于对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流；
[0040]单路视频码流获得单元，用于将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。
[0041]本发明的一种混合会议中广播音视频码流的控制系统，包括会议控制服务器、广播终端和观众终端；
[0042]所述会议控制服务器，用于根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；对所述多路音视频码流进行解码；将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；将所述单路音视频码流发送给所述观众终端。
[0043]所述广播终端，用于向所述会议控制服务器发送音视频码流；
[0044]所述观众终端，用于接收所述会议控制服务器发送的音视频码流。
[0045]优选地，所述将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的步骤包括:
[0046]对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据；
[0047]对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流；
[0048]将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。
[0049]本发明的上述技术方案相比现有技术具有以下优点:
[0050]本发明中，首先根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端，会议控制服务器据此进行音视频码流的调度控制，从而在会议过程中，会议控制服务器可以让与会的各种终端都能自动接收最优的效果，使与会者无需进行任何操作进而只专注于会议内容；特别是对于广播终端为多流终端且观众终端为单流终端的情况，会议控制服务器将接收到的多流广播终端发送的多路音视频码流进行解码、编码操作后进行合成，形成单路音视频码流后发送给单流观众终端，从而单流终端可以接收到包含所有多路音视频码流信息的会议画面图像和内容等，并且不会额外增加单流终端的占用带宽，降低了对单流终端带宽的要求，节约了带宽资源，也降低了混合会议系统的成本。
[0051]本发明中，通过在构建混合会议时，各个终端会向会议控制服务器上报媒体能力，根据终端向会议控制服务器发送的媒体能力消息中包含的音频标签或视频标签是多路还是单路，来判断终端是多流终端还是单流终端，从而实现了对多流终端和单流终端的快速、有效地区分，提高了判断的效率和节约了整个方法的处理时间。
[0052]本发明中，通过对解码后的语音数据进行语音激励，可以有效地分辨出作为发言坐席一路的语音数据，使得会议控制服务器可以时刻监视到发言坐席。在语音合成时，合成为一路的合成语音数据，并将其编码成为单路音频码流。通过根据一