终端的其他方法来实现。
[0126]本实施例，通过在构建混合会议时，各个终端会向会议控制服务器上报媒体能力，根据终端向会议控制服务器发送的媒体能力消息中包含的音频标签或视频标签是多路还是单路，来判断终端是多流终端还是单流终端，从而实现了对多流终端和单流终端的快速、有效地区分，提高了判断的效率和节约了整个方法的处理时间。
[0127]作为一种优选实施方式，上述将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的步骤包括:
[0128]对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据。
[0129]对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流。即实现了将多路音频码流进行语音合成为一路语音，形成单路音频码流。
[0130]为突出发言坐席一路的视频数据，将发言座席一路的视频数据缩放后填充到大画面中，将解码后视频数据中的的其他视频数据填充到小画面中，以形成一大多小的画面风格，并以填充后的画面风格编码成为单路视频码流。
[0131]本领域的技术人员应当理解，将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的方式并不限于上述步骤来实现，也可以采用能够实现多路音视频码流转换成单路音视频码流的其他方法来实现。
[0132]本实施例，通过对解码后的语音数据进行语音激励，可以有效地分辨出作为发言坐席一路的语音数据，使得会议控制服务器可以时刻监视到发言坐席。在语音合成时，合成为一路语音数据，并将其编码成为单路音频码流。通过根据一大多小的画面风格，将发言座席一路的视频数据缩放后填充到大画面中，以大图像的形式展现，将解码后的视频数据中的其他视频数据填充到小画面中，以小图像的形式展现，并以填充后的画面风格编码成为单路视频码流，从而可以将发言坐席可以大图像突出显示，即合成的大图像可以随着发言坐席的改变而改变，起到了突出发言人的作用，并保证了在多路音视频码流编码合成时可以包含所有多路音视频码流的信息，在单流终端上可以展现出会场的全景图像。
[0133]显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
【主权项】
1.一种混合会议中广播音视频码流的控制方法，其特征在于，包括以下步骤: 根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端； 当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流； 对所述多路音视频码流进行解码； 将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流； 将所述单路音视频码流发送给所述观众终端。2.根据权利要求1所述的控制方法，其特征在于，还包括以下步骤: 当所述广播终端为单流终端时，接收所述广播终端发送的单路音视频码流； 将该单路音视频码流发送给所述观众终端。3.根据权利要求1或2所述的控制方法，其特征在于，根据广播终端或观众终端所支持的媒体流数分别判断是多流终端还是单流终端的步骤包括: 接收所述广播终端或观众终端发送的媒体能力消息； 判断所述媒体能力消息中包含的音频标签或视频标签是多路还是单路； 当包含的音频标签或视频标签是多路时，判断所述广播终端或观众终端为多流终端； 当包含的音频标签或视频标签是单路时，判断所述广播终端或观众终端为单流终端。4.根据权利要求1-3任一项所述的控制方法，其特征在于，所述将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的步骤包括: 对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据； 对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流； 将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。5.一种混合会议中广播音视频码流的控制装置，其特征在于，包括: 第一判断单元，用于根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端； 第一接收单元，用于当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流； 解码单元，用于对所述多路音视频码流进行解码； 编码单元，用于将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流； 第一发送单元，用于将所述单路音视频码流发送给所述观众终端。6.根据权利要求5所述的控制装置，其特征在于，还包括: 第二接收单元，用于当所述广播终端为单流终端时，接收所述广播终端发送的单路音视频码流； 第二发送单元，用于将该单路音视频码流发送给所述观众终端。7.根据权利要求5或6所述的控制装置，其特征在于，所述第一判断单元包括: 第三接收单元，用于接收所述广播终端或观众终端发送的媒体能力消息； 第二判断单元，用于判断所述媒体能力消息中包含的音频标签或视频标签是多路还是单路； 第一终端类型获得单元，用于当包含的音频标签或视频标签是多路时，判断所述广播终端或观众终端为多流终端； 第二终端类型获得单元，用于当包含的音频标签或视频标签是单路时，判断所述广播终端或观众终端为单流终端。8.根据权利要求5-7任一项所述的控制装置，其特征在于，所述编码单元包括: 发言坐席确定单元，用于对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据； 单路音频码流获得单元，用于对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流； 单路视频码流获得单元，用于将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。9.一种混合会议中广播音视频码流的控制系统，其特征在于，包括会议控制服务器、广播终端和观众终端； 所述会议控制服务器，用于根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；对所述多路音视频码流进行解码；将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；将所述单路音视频码流发送给所述观众终立而； 所述广播终端，用于向所述会议控制服务器发送音视频码流； 所述观众终端，用于接收所述会议控制服务器发送的音视频码流。10.根据权利要求9所述的控制系统，其特征在于，所述将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流的步骤包括: 对解码后的语音数据进行语音激励，确定出数据中发言座席一路的语音数据，并获得相对应的解码后的视频数据中发言坐席一路的视频数据； 对解码后的语音数据进行语音合成，并将合成后的语音数据进行编码后获得单路音频码流； 将发言座席一路的视频数据缩放后填充到大画面中，将解码后的视频数据中的其他视频数据填充到小画面中，并以填充后的画面风格编码成为单路视频码流。
【专利摘要】本发明公开了一种混合会议中广播音视频码流的控制方法、装置及系统，其中该方法包括以下步骤：根据广播终端和观众终端所支持的媒体流数分别判断是多流终端还是单流终端；当所述广播终端为多流终端且所述观众终端为单流终端时，接收所述广播终端发送的多路音视频码流；对所述多路音视频码流进行解码；将解码后的数据进行合成，并将合成后的数据编码成为单路音视频码流；将所述单路音视频码流发送给所述观众终端。本发明能够实现在不会额外增加单流终端占用带宽的情况下在混合会议中广播音视频码流。
【IPC分类】H04N21/434, H04N7/15
【公开号】CN105141884
【申请号】CN201510530888
【发明人】石文娟, 罗东礼, 房滔, 万春雷, 范军爽, 翟小刚
【申请人】苏州科达科技股份有限公司
【公开日】2015年12月9日
【申请日】2015年8月26日