大多小的画面风格，将发言座席一路的视频数据缩放后填充到大画面中，以大图像的形式展现，将解码后的视频数据中的其他视频数据填充到小画面中，以小图像的形式展现，并以填充后的画面风格编码成为单路视频码流，从而可以将发言坐席可以大图像突出显示，即合成的大图像可以随着发言坐席的改变而改变，起到了突出发言人的作用，并保证了在多路音视频码流编码合成时可以包含所有多路音视频码流的信息，在单流终端上可以展现出会场的全景图像。
【附图说明】
[0053]为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
[0054]图1是现有技术中单流终端与多流终端之间音视频码流的收发过程图；
[0055]图2是本发明实施例1中单流终端与多流终端之间音视频码流的收发过程图；
[0056]图3是本发明实施例1中混合会议中广播音视频码流的控制方法的一个具体示例的流程图；
[0057]图4是本发明实施例1中混合会议中广播音视频码流的控制方法的一个具体示例的流程图；
[0058]图5是本发明实施例2中混合会议中广播音视频码流的控制装置的一个具体示例的结构框图；
[0059]图6是本发明实施例3中混合会议中广播音视频码流的控制系统的一个具体示例的结构框图。
【具体实施方式】
[0060]下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0061]在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0062]此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0063]实施例1
[0064]如图2所示，与会议控制服务器建立会议的包括多个多流终端和多个单流终端，构成一种混合会议的形式。其中音视频码流的收发过程可以分为如下两类:
[0065]I) 一个多流终端作为广播终端、其他多流终端和单流终端均作为观众终端进行的音视频码流的收发过程，如图2中实线箭头所示，一个多流终端将多路音视频码流发送给会议控制服务器，会议控制服务器将多路音视频码流发送给其他多流终端，同时还将该多路音视频码流转化成单路音视频码流，并将其发送给单流终端；
[0066]2) 一个单流终端作为广播终端、其他单流终端和多流终端均作为观众终端进行的音视频码流的收发过程，如图2中虚线箭头所示，一个单流终端将单路音视频码流发送给会议控制服务器，会议控制服务器将该单路音视频码流发送给其他单流终端和多流终端。
[0067]为了能在单流终端与多流终端之间对音视频码流的收发进行控制，本实施例提供一种混合会议中广播音视频码流的控制方法，如图3所示，该方法例如应用于图2中的会议控制服务器，包括以下步骤:
[0068]步骤S1、根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端。当广播终端为多流终端且观众终端为单流终端时，进入步骤S2至S5 ;当广播终端为多流终端且观众终端为多流终端时，进入步骤S6 ;当广播终端为单流终端且观众终端为单流终端或多流终端时，进入步骤S7。
[0069]步骤S2、接收广播终端发送的多路音视频码流。
[0070]步骤S3、对多路音视频码流进行解码。可以采用任意现有的音视频码流解码方法来对多路音视频码流进行解码。
[0071]步骤S4、将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流。
[0072]步骤S5、将单路音视频码流发送给观众终端。
[0073]步骤S6、接收广播终端发送的多路音视频码流，并直接将接收到的多路音视频码流转发给观众终端。
[0074]步骤S7、接收广播终端发送的单路音视频码流，并直接将接收到的单路音视频码流转发给观众终端。
[0075]本实施例，首先根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端，会议控制服务器据此进行音视频码流的调度控制，从而在会议过程中，会议控制服务器可以让与会的各种终端都能自动接收最优的效果，使与会者无需进行任何操作进而只专注于会议内容；特别是对于广播终端为多流终端且观众终端为单流终端的情况，会议控制服务器将接收到的多流广播终端发送的多路音视频码流进行解码、编码操作后进行合成，形成单路音视频码流后发送给单流观众终端，从而单流终端可以接收到包含所有多路音视频码流信息的会议画面图像和内容等，并且不会额外增加单流终端的占用带宽，降低了对单流终端带宽的要求，节约了带宽资源，也降低了混合会议系统的成本。
[0076]作为一种优选实施方式，如图4所示，上述步骤SI中判断广播终端是多流终端还是单流终端的步骤包括:
[0077]步骤S11、接收广播终端发送的媒体能力消息。
[0078]步骤S12、判断媒体能力消息中包含的音频(aud1)标签或视频(video)标签是多路还是单路。
[0079]步骤S13、当包含的音频(aud1)标签或视频(video)标签是多路时，判断广播终端为多流终端。
[0080]步骤S14、当包含的是音频(aud1)标签或视频(video)标签是单路时，判断广播终端为单流终端。
[0081]上述步骤SI中判断观众终端是多流终端还是单流终端的步骤与上述判断广播终端的步骤相同。本领域的技术人员应当理解，判断广播终端或观众终端是多流终端还是单流终端的方式并不限于上述步骤S11-S14来实现，也可以采用能够区分是多流终端还是单流终端的其他方法来实现。
[0082]本实施例，通过在构建混合会议时，各个终端会向会议控制服务器上报媒体能力，根据终端向会议控制服务器发送的媒体能力消息中包含的音频标签或视频标签是多路还是单路，来判断终端是多流终端还是单流终端，从而实现了对多流终端和单流终端的快速、有效地区分，提高了判断的效率和节约了整个方法的处理时间。
[0083]作为一种优选实施方式，上述步骤S4中将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的步骤包括:
[0084]步骤S41、对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据。
[0085]步骤S42、对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流。即实现了将多路音频码流进行语音合成为一路语音，形成单路音频码流。
[0086]步骤S43、将发言座席一路的视频数据缩放后填充到大画面中，将解码后视频数据中的其他视频数据填充到小画面中，以形成一大多小的画面风格，并以填充后的画面风格编码成为单路视频码流。通过，将发言座席一路的视频数据缩放后填充到大画面中，同时将解码后视频数据中的的其他视频数据填充到小画面中，从而可以突出发言坐席一路的视频数据。在本实施例中，该缩放的过程例如是当发言坐席一路的视频码流所对应的图像与大画面相比较小时，需要对图像进行放大处理，即发言坐席一路的视频码流解码后的视频数据扩充(放大)后填充到大画面中；当发言坐席一路的视频码流所对应的图像与大画面相比较大时，需要对图像进行缩小处理，即发言坐席一路的视频码流解码后的视频数据缩减后填充到大画面中，该数据扩充或缩减的方式可以采用一些常规的处理方式。即实现了将多路视频码流进行画面合成为一路画面，形成单路视频码流。
[0087]本领域的技术人员应当理解，将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的方式并不限于上述步骤S41-S43来实现，也可以采用能够实现多路音视频码流转换成单路音视频码流的其他方法来实现。
[0088]本实施例，通过对解码后的语音数据进行语音激励，可以有效地分辨出作为发言坐席一路的语音数据，使得会议控制服务器可以时刻监视到发言坐席。在语音合成时，合成为一路的语音数据，并将其编码成为单路音频码流。通过根据一大多小的画面风格，将发言座席一路的视频数据缩放后填充到大画面中，以大图