专利名称：一种视频会议信号处理的方法、视频会议服务器及系统的制作方法
技术领域：
本发明涉及通信技术领域，具体涉及ー种视频会议信号处理的方法、视频会议服务器及系统。
背景技术：
目前，视频会议系统一般包括会议服务器和会场终端。參见图1，图I中以多点控制单元(MCU,Multipoint Control Unit)作为会议服务器为例。视频会议系统中的姆个会场均具有至少I个会场終端，各会场终端采集各自会场的声音、图像并编码发送给MCU ；MCU按照一定的处理方式对声音、图像进行处理，如声音混音、图像转发或组成多画面等处理，并将处理后的声音和图像发送给视讯会议中的其它会场終端，其它各会场终端解码输出远端会场的声音和图像，实现远程视频通信。
目前视频会议中MCU对音频混音处理的原则是将入会终端中音量最大的N个会场的音频进行混音，所有与会的终端听到的声音都是ー样的。但是，现在的视频会议系统有时存在下面ー些情況，某会场终端当前在观看会场A对应的视频，但是由于会场A的声音不在最大N方内，这样就听不到会场A的声音，即所看非所听，音频和视频之间的不匹配性将影响视频会议的体验。
发明内容
本发明实施例提供ー种视频会议信号处理的方法、视频会议服务器及系统，以改善视频会议中音频和视频的匹配性问题，使得会场听到的声音跟随会场看到的视频，提高视频会议体验。为了解决上述技术问题，本发明实施例提供以下技术方案实现。本发明实施例提供ー种视频会议信号处理的方法，包括会议服务器接收第一会场终端的会场选看指令；会议服务器根据会场选看指令向第一会场终端发送视频流；其中，视频流包括第一会场终端选看会场对应的视频流；若第一会场终端当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则会议服务器生成第二混合音频流，井向第一会场终端发送所述第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。本发明实施例还提供一种视频会议服务器，包括接收模块，用于接收第一会场终端发送的会场选看指令，并将该指令分别传送给视频流发送模块和音频流发送模块；视频流发送模块，用于向第一会终端发送视频流，其中，视频流包括第一会场终端选看会场对应的视频流；音频流发送模块，用于若当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则生成第二混合音频流，并将该第二混合音频流发送给第一会场终端，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。本发明实施例还提供一种视频会议系统，包括会议服务器，用于接收第一会场终端发送的会场选看指令；向第一会场终发送第一会场终端选看会场对应的视频流；若第一会场终端当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则生成第二混合音频流，井向第一会场终端发送所述第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流；第一会场终端，用于向会议服务器发送会场选看指令；接收来自会议服务器的第一会场终端选看会场对应的视频流和第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流；播放视频流和第二混合音频流。由上可知，由于在向第一会场终端发送的第二混合音频流中加入了第一会场终端 选看的部分或者全部会场的音频流，这在一定程度上改善了音频和视频不同步的问题，增强了用户体验。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图I是现有技术的一种视频会议系统不意图；图2是本发明实施例提供的ー种视频会议信号处理方法的流程示意图；图3是本发明实施例提供的ー种视频会议信号处理方法的第一类应用场景示意图；图4是本发明实施例提供的ー种视频会议信号处理方法的第二类应用场景示意图；图5是本发明实施例提供的一种会议服务器的结构示意图；图6是本发明实施例提供的另ー种会议服务器的结构示意图；图7是本发明实施例提供的一种视频会议系统的结构示意图。
具体实施例方式本发明实施例提供ー种视频会议信号处理的方法、视频会议服务器及系统，以期增强视频会议中音视频的匹配性，提高视频会议体验。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明实施例提供ー种视频会议信号处理的方法，包括会议服务器接收第一会场终端发送的会场选看指令；
会议服务器根据会场选看指令向第一会场终端发送视频流；其中，视频流包括第一会场终端选看会场对应的视频流；若第一会场终端当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则会议服务器生成第二混合音频流，并向第一会场终端发送所述第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。由上可见，本实施例由于在第一会场终端当前播放的音频流中加入了选择观看会场对应的部分或者全部音频流，使得第一会场终端播放的音频流跟随视频流，这在一定程度上改善了音频和视频不同步的问题，增强了用户体验。本发明实施例还提供一种频会议信号处理的方法，参见图2，该方法包括以下内容S101、会议服务器接收第一会场终端发送的选看NI个会场的指令；
其中，第一会场发送的会场选看指令包括选看一个会场的指令和选看多个会场的指令，第一会场终端可以是PC机、手机等通讯终端；N1为大于或者等于I的任意整数。S102、会议服务器根据选看NI个会场的指令向第一会场终端发送视频流；其中，视频流包括第一会场终端选看的NI个会场对应的视频流；会议服务器向第一会场终端发送视频流之前可以通过内置的视频处理策略对视频流进行拼接处理，然后再将拼接视频流发送给第一会场终端。S103、若第一会场终端当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则会议服务器生成第二混合音频流，并向第一会场终端发送该第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。需要说明的是，在第一会场终端发出选看指令之前，第一会场终端播放的为第一混合音频流，在第一会场终端发出选看指令后，会议服务器判断当前播放的第一混合音频流中是否包含被选看会场对应的音频流，若没有，则会议服务器向第一会场终端发送包含部分或者全部被选看会场对应的音频流的第二混合音频流，若第一会场终端包含被选看会场对应的音频流，则不需要重新发送第二混合音频流。若第一会场终端向会议服务器发送选看一个会场的指令，会议服务器将第二混合音频流中包含的音频流放在同一声道中传输给第一会场终端，或者，会议服务器将第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它音频流分别放在不同的声道中传输给第一会场终端；若第一会场终端向会议服务器发送选看多个会场的指令，会议服务器将包含被选看的多个会场中音量最大的N4个会场的音频流的第二混合音频流发送给第一会场终端，会议服务器也可以将被选看会场中音量最大的N4个会场的音频流和第二混合音频流中的其它音频流分别放在不同的声道中传输给第一会场终端，其中，N4小于或者等于被选看会场的个数。其中，第一混合音频流为第一会场终端发送当前选看会场指令前正在播放的音频流，第一混合音频流由N3个音频流进行混音处理得到。会议服务器向第一会场终端发送第二混合音频流后，第一会场终端播放的音频流变为第二混合音频流，即第二混合音频流取代了第一混合音频流成为第会场终端当前播放的音频流。由上可知，由于在向第一会场终端发送的第二混合音频流中加入了第一会场终端选看的部分或者全部会场的音频流，这在一定程度上改善了音频和视频不同步的问题，增强了用户体验。其中，所述的会议服务器生成第二混合音频流可采用多种策略，下面以策略一、策略二、策略三和策略四为例进行阐述。策略一会议服务器向第一会场终端发送的第二混合音频流仅仅包括被选看会场的部分或者全部音频流，具体如下所述。会议服务器将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4 个音频流进行混音处理，得到第二混合音频流，其中，NI和N4都为大于或者等于I的整数，且N4小于或者等于NI ；策略二 会议服务器向第一会场终端发送的第二混合音频流不仅仅包含被选看会场的部分或者全部音频流，还包括已入会会场中音量最大的N2个会场所对应的音频流，并且第二混合音频流所包含的音频流个数等于第一混合音频流包含的音频流个数，具体如下所述。会议服务器将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N2个会场对应的N2个音频流进行混音处理，得到第二混合音频流；其中，第一会场终端发送选看会场指令前播放的第一混合音频流由N3个音频流进行混音处理得到，且N3=N4+N2 ；策略三会议服务器向第一会场终端发送的第二混合音频流不仅仅包含被选看会场的部分或者全部音频流，还包括第一混合音频流中所含有的音频流，此情况下，第二混合音频流的音频流个数大于第一混合音频流的个数，具体如下所述。会议服务器将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和混音处理得到的第一混合音频流的N3个音频流进行混音处理，得到第二混合音频流；策略四会议服务器向第一会场终端发送的第二混合音频不仅仅包含被选看会场的部分或者全部音频流，还包括已入会会场中音量最大的N3个会场所对应的音频流，N3等于第一混合音频流包含的音频流的个数，此情况下，第二混合音频流包含的音频流个数大于第一混合音频流的个数，具体如下所述。会议服务器将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N3个会场对应的N3个音频流进行混音处理，得到第二混合音频流。在实际应用中，N2、N3和N4可以由后台进行配置。会场终端向会议服务器发送的信息中包含但不仅限于会场个数、每个会场的音频数据、混音方式，其中混音方式可以是将会场声音直接混音输出或者将会议声音和被选看会场的声音分别放到不同声道中进行输出。每个会场的音频数据包括会场号、音频流标识、音频增益等音频流参数。为了更好的理解以上方案，本发明实施例提供视频会议信号处理方法的两类应用场景，第一类应用场景为会议服务器接收会议终端发送的选看单个会场的指令，参见图3，包括应用场景一、应用场景二、应用场景三和应用场景四，第二类应用场景为会议服务器接收会议终端发送的选看多个会场的指令，参见图4，包括应用场景五、应用场景六、应用场景七、应用场景八和应用场景九。应用场景一会议服务器仅将第一会场终端选看的单会场对应的音频流发送给第一会场终端的情形。假设当前视频会议系统中入会会场为会场A、会场B、会场C、会场D和会场E，会场声音大小次序为会场B、会场C、会场D、会场A和会场E,当前播放的第一混合音频流由会场B和会场D对应的音频流混音而成；当会议服务器的MCU接收到会场A发送的选看会场E的指令后，MCU将会场E对应的视频流发送给会场A，此情形下第一混合音频流不包含会场E对应的音频流，因此会议服务器将会场E对应的音频流发送给会场A。 此情形下，会场A听到会场E的声音，同时看到会场E的视频，达到了声音跟随图像的效果。应用场景二 会议服务器将第一会场终端选看的单个会场对应的音频流，和入会会场中音量最大的N2个会场对应的N2个音频流发送给第一会场终端的情形，并且N2+1为第一混合音频流对应的音频个数。假设当前视频会议系统中入会会场为会场A、会场B、会场C、会场D和会场E,会场声音大小次序为会场B、会场C、会场D、会场A和会场E,当前播放的第一混合音频流由会场B、会场C和会场D3方对应的音频流混音而成；当会议服务器的MCU接收到会场A的会议终端发送的选看会场E的指令后，MCU将会场E对应的视频流发送给会场A，第一混合音频流不包含被选会场E对应的音频流，MCU将会场音量最大2方会场，即会场B和会场C对应的音频流加上被选会场E对应的音频流进行混音处理，得到第二混合音频流，并将第二混合音频流发送给会场A，其中，第二混合音频流混音的音频个数与第一混合音频流的音频个数相等，都为3个。此情形下,会场A看到会场B、会场C和会场E的图像，同时听到会场B、会场C和会场E的声音，达到声音跟随图像的效果。应用场景三会议服务器将第一会场终端选看的单个会场对应的音频流，加上第一混合音频流对应的音频流发送给第一会场终端的情形。假设当前视频会议系统中入会会场为会场A、会场B、会场C、会场D和会场E，会场声音大小次序为会场B、会场C、会场D、会场A和会场E,当前播放的第一混合音频流由会场B和会场C两方对应的首频流混首而成；当会议服务器的MCU接收到会场A的会议终端发送的选看会场E的指令后，MCU将会场E对应的视频流发送给会场A，第一混合音频流不包含被选会场E对应的音频流，MCU将被选会场E对应的音频流和第一混合音频流对应的音频流进行混音处理，即将会场E、会场B和会场C对应的音频流进行混音处理，得到第二混合音频流，并将其发送给会场A。此情形下,会场A看到会场B、会场C和会场E的图像，同时听到会场B、会场C和会场E的声音，达到声音跟随图像的效果。应用场景四会议服务器将第一会场终端选看的单会场对应的音频流，加上入会会场中音量最大的N3个会场对应的N3个音频流发送给第一会场终端的情形，其中N3等于第一混合音频流包含的音频流的个数。假设当前视频会议系统中入会会场为会场A、会场B、会场C、会场D和会场E，会场声音大小次序为会场B、会场C、会场D、会场A和会场E,当前播放的第一混合音频流由会场B和会场D两方对应的首频流混首而成；当会议服务器的MCU接收到会场A的会议终端发送的选看会场E的指令后，MCU将 会场E对应的视频流发送给会场A，第一混合音频流不包含被选会场E，因此MCU将入会会场中音量最大的2 (等于第一混合音频流包含的音频个数)方会场，即会场B和会场C对应的音频流加上被选会场E对应的音频流进行混音处理，得到第二混合音频流，并将第二混合音频流发送给会场A。此情形下,会场A看到会场B、会场C和会场E的图像，同时听到会场B、会场C和会场E的声音，达到声音跟随图像的效果。应用场景五会议服务器将第一会场终端选看的多个会场对应的音频流发送给第一会场终端的情形。假设当前视频会议系统中入会会场为会场A、会场B、会场C、会场D、会场E和会场F,会场声音大小次序为会场B、会场C、会场D、会场A、会场E和会场F,当前播放的第一混合音频流由会场B和会场D两方对应的音频流混音而成；当会议服务器的MCU接收到会场A发送的选看会场C和会场E的多会场指令后，MCU将会场C和会场E对应的视频进行视频拼接处理，并将拼接后的视频流发送给会场A，由于第一混合音频流不包含被选看会场C和会场E对应的音频流，因此MCU将会场C和会场E对应的音频流进行混音处理，得到第二混合音频流，并将第二混合音频流发送给会场A。此情形下,会场A看到会场C和会场E的图像，同时听到会场C和会场E的声音，达到声音跟随图像的效果。应用场景六会议服务器将第一会场终端选看的NI个会场对应的NI个音频流，加上入会会场中音量最大的N2个会场对应的N2个音频流发送给第一会场终端的情形，其中N1+N2等于第一混合音频流对应的音频个数。假设当前视频会议系统中入会会场为会场A、会场B、会场C、会场D和会场E、会场F,会场声音大小次序为会场B、会场C、会场D、会场A、会场E、会场F,当前播放的第一混合音频流由会场B、会场D和会场F3方对应的音频流混音而成；当会议服务器的MCU接收到会场A发送的选看会场C和会场E的指令后，MCU将会场C和会场E对应的视频流进行视频拼接处理，并将拼接后的视频流发送给会场A，由于第一混合音频流不包含被选看会场C和会场E对应的音频流，因此MCU将入会会场中最大的I个会场，即会场B的音频流加上被选看会场C和会场E对应的音频流进行混音处理，得到第二混合音频流，并将第二混合音频流发送给会场A，其中，第二混合音频流的音频个数与第一混合音频流的音频个数相等，都为3个。此情形下,会场A看到会场B、会场C和会场E的图像，同时听到会场B、会场C和会场E的声音，达到声音跟随图像的效果。应用场景七会议服务器将第一会场终端选看的多会场对应的音频流，加上第一混合音频流对应的音频流发送给第一会场终端的情形。假设当前视频会议系统中入会会场为会场A、会场B、会场C、会场D和会场E、会场F,会场声音大小次序为会场B、会场C、会场D、会场A、会场E、会场F,当前播放的第一混合音频流由会场B、会场D和会场F三方对应的音频流混音而成；
当会议服务器的MCU接收到会场A发送的选看会场C和会场E的指令后，MCU将会场C和会场E对应的视频流进行视频拼接处理，并将拼接后的视频流发送给会场A，由于第一混合音频流不包含被选看会场C和会场E对应的音频流，因此MCU将第一混合音频流对应的音频流和被选看会场对应的音频流进行混音处理，即将会场B、会场D、会场F和会场C和会场E进行混音处理，得到第二混合音频流，并将第二混合音频流发送给会场A。此情形下,会场A看到会场B、会场D、会场F、会场C和会场E的图像，同时听到会场B、会场D、会场F、会场C和会场E的声音,达到声音跟随图像的效果。应用场景八会议服务器将第一会场终端选看的多会场对应的音频流，加上入会会场中音量最大的N3个会场对应的N3个音频流发送给第一会场终端的情形，其中N3等于第一混合音频流包含的音频流的个数。假设当前视频会议系统中入会会场为会场A、会场B、会场C、会场D和会场E、会场F,会场声音大小次序为会场B、会场C、会场D、会场A、会场E、会场F,当前播放的第一混合音频流由会场B、会场D和会场F3方对应的音频流混音而成；当会议服务器的MCU接收到会场A发送的选看会场C和会场E的指令后，MCU将会场C和会场E对应的视频流进行视频拼接处理，并将拼接后的视频流发送给会场A，由于第一混合音频流不包含被选看会场C和会场E对应的音频流，因此MCU将入会会场中音量最大的3个会场，即会场B、会场C和会场D对应的音频流和被选看会场，即会场C和会场E对应的音频流进行混音处理，由于会场C有重合，因此去重后，将会场B、会场C、会场D和会场E对应的音频流进行混音处理，得到第二混合音频流，并将第二混合音频流发送给会场A。此情形下,会场A看到会场B、会场C、会场D和会场E的图像，同时听到会场B、会场C、会场D和会场E的声音，达到声音跟随图像的效果。应用场景九会议服务器将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，加上入会会场中音量最大的N2个会场对应的音频流进行混音处理后发送给第一会场终端的情形。假设当前视频会议系统中入会会场为会场A、会场B、会场C、会场D和会场E、会场F,会场声音大小次序为会场B、会场C、会场D、会场A、会场E、会场F,当前播放的第一混合音频流由会场B和会场C对应的音频流混音而成；当会议服务器的MCU接收到会场A的会议终端发送的选看会场D、会场E和会场F的指令后，MCU将会场D、会场E和会场F对应的视频流进行视频拼接处理，并将拼接后的视频流发送给会场A,由于第一混合音频流不包含被选看会场D、会场E和会场F对应的音频流，因此MCU将被选看会场音量排名前两名的会场的音频流，即会场D和会场E对应的音频流，加上入会会场中音量排名前两名的会场对应的音频流，即会场B和会场C的音频流，进行混音处理，也即将会场B、会场C、会场D和会场E进行混音处理得到第二混合音频流，然后将第二混合音频流发送给会场A。此情形下,会场A看到会场B、会场C、会场D和会场E对应的图像，同时能听到会场B、会场C、会场D和会场E对应的声音，达到声音跟随图像的效果。另外,在当前多点视频会议中，有时当前会议声音和被观看会场声音混合在一起可能会互相干扰，导致听不清，因此，可增加音频处理策略，采用不同策略进行特定会场的音频增益处理，以达到各个会场声音干扰变少，可以听到用户关心的会场声音。音频增益处理采用可配置策略，可以根据会场的分辨率、带宽、帧率、重要程度、音 量大小等对音频增益进行处理。具体的，可以采用以下方案对音频增益进行调整。方案一会议服务器获取第一会场终端选看的NI个会场中音量最大N4个会场对应的N4个音频流和入会会场中音量最大的N2个会场对应的N2个音频流，增大获取的被选看会场中音量最大的N4个会场中的一个或者多个会场对应的音频流的增益或者减小获取的入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频流的增益，或者同时增大获取的N4个会场中的一个或者多个会场对应的音频流的增益和减小获取的入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频流的增益，使得第一会场终端选择观看会场的声音大于入会会场中音量最大的N2个会场对应的声音；方案二 会议服务器获取第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流和第一混合音频流对应的N3个会场对应的音频流，增大获取的被选看会场中音量最大的N4个会场中的一个或者多个会场对应的音频流的增益或者减小获取的第一混合音频流对应的N3个会场中的一个或者多个会场对应的音频流的增益，或者同时增大获取的N4个会场中的一个或者多个会场对应的音频流的增益和减小获取的N3个会场中的一个或者多个会场对应的音频流的增益，使得第一会场终端选择观看会场的声音大于第一混合音频流对应的N3个音频流的声音，其中N4小于或者等于NI ；方案三会议服务器获取第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流和入会会场中音量最大的N3个会场对应的N3个音频流，增大获取的被选看会场中音量最大的N4个会场中的一个或者多个会场对应的音频流的增益或者减小获取的入会会场中音量最大的N3个会场中的一个或者多个会场对应的音频流的增益，或者同时增大获取的N4个会场中的一个或者多个会场对应的音频流的增益和减小获取的N3个会场中的一个或者多个会场对应的音频流的增益，使得第一会场终端选择观看会场的声音大于入会会场中音量最大的N3个会场对应的声音,其中N4小于或者等于NI。进一步的，可以通过音频增益处理使播放的第二混合音频流中第一会场终端选择观看会场的声音为第二混合音频流中其它声音的I. 2—1. 5倍。为便于更好的实施本发明实施例的技术方案，本发明实施例还提供用于实施上述方案的视频会议服务器和视频会议系统。本发明实施例提供一种视频会议服务器，包括
接收模块，用于接收第一会场终端发送的会场选看指令，并将该指令分别传送给视频流发送模块和音频流发送模块；视频流发送模块，用于向第一会终端发送视频流，其中，视频流包括第一会场终端选看会场对应的视频流；音频流发送模块，用于若当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则生成第二混合音频流，并将该第二混合音频流发送给第一会场终端，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。其中，音频流发送模块可以将生成的第二混合音频流中包含的音频流放在同一声道中传输给第一会场终端；或者将生成的第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它的音频流分别放在不同声道中传输给第一会场终端。由上可见，由于视频会议服务器中的音频流发送模块将向第一会场终端发送的第二混合音频流中加入了第一会场终端选看的部分或者全部会场的音频流，使得第一会场终 端播放的音频流跟随视频流，这在一定程度上改善了会场音频和视频不同步的问题，增强了用户体验。同时，将第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它的音频流分别放在不同声道中传输可以减少会场之间声音的互相干扰，提高第一会场终端播放音频的质量。本发明实施例还提供一种视频会议服务器，参见图5，包括接收模块501，用于接收第一会场终端发送的会场选看指令，并将该指令分别传送给视频流发送模块502和音频流发送模块503 ；视频流发送模块502，用于向第一会终端发送视频流，其中，视频流包括第一会场终端选看会场对应的视频流；音频流发送模块503，用于若第一会场终端当前播放的第一音频流不包含第一会场终端选看会场对应的音频流，则生成第二混合音频流，并将该第二混合音频流发送给第一会场终端，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。需要说明的是，音频流发送模块503以将生成的第二混合音频流中包含的音频流放在同一声道中传输给第一会场终端；或者将生成的第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它的音频流分别放在不同声道中传输给第一会场终端。由上可见，由于视频会议服务器中的音频流发送模块503将向第一会场终端发送的第二混合音频流中加入了第一会场终端选看的部分或者全部会场的音频流，使得一会场终端播放的音频流跟随视频流，这在一定程度上改善了会场音频和视频不同步的问题，增强了用户体验。同时，将第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它的音频流分别放在不同声道中传输可以减少会场之间声音的互相干扰，提高第一会场终端播放音频的质量。本发明实施例还提供一种视频会议服务器，参见图6，包括接收模块601，用于接收第一会场终端发送的会场选看指令，并将该指令分别传送 给视频流发送模块602和音频流发送模块603 ；视频流发送模块602，用于向第一会终端发送视频流，其中，视频流包括第一会场终端选看会场对应的视频流；
音频流发送模块603包括获取模块603a和音频增益增益处理模块603b ；其中，获取模块603a,用于获取第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流和入会会场中音量最大的N2个会场对应的N2个音频流，或者用于获取第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流和第一混合音频流对应的N3个音频流，或者用于获取第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流和入会会场中音量最大的N3个会场对应的N3个音频流，其中，N4小于或者等于NI ；音频增益处理模块603b，用于将获得的第一会场终端选择观看的NI个会场中音量最大的N4个会场中的一个或者多个会场对应的音频流的增益增大或者将获得的入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频流增益减小，或者同时增加获取的N4个会场中的一个或者多个会场对应的音频流增益和减小入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频流增益，使得第一会场终端选择观看会场的声 音大于入会会场中音量最大的N2个会场对应的声音；或者，用于将获得的第一混合音频流的N3个会场中的一个或者多个会场对应的音频流增益减小，或者同时增加第一会场终端选择观看的NI个会场中音量最大的N4个会场中的一个或者多个会场对应的音频流的增益和减小混音处理得到的第一混合音频流对应的N3个会场中的一个或者多个会场对应的音频流增益，使得第一会场终端选择观看会场的声音大于第一混合音频流的N3个会场对应的声音；或者，用于将获得的入会会场中音量最大的N3个会场中的一个或者多个会场对应的音频流增益减小，或者同时增加第一会场终端选择的NI个会场中音量最大的N4个会场中的一个或者多个会场对应的音频流的增益和减小入会会场中音量最大的N3个会场的音频流增益，使得第一会场终端选择观看会场的声音大于入会会场中音量最大的N3个会场对应
的声音。音频增益处理模块603b可以将第一终端选择观看的NI个会场中音量最大的N4个会场对应的声音调为入会会场中音量最大的N2个会场对应的声音的I. 2—1. 5倍；或者，所述音频增益处理模块603b将第一终端选择观看的NI个会场中音量最大的N4个会场对应的声音调为第一混合音频流的N3个会场对应的声音的I. 2—1. 5倍；或者，所述音频增益处理模块603b将第一终端选择观看的NI个会场中音量最大的N4个会场对应的声音调为入会会场中音量最大的N3个会场对应的声音的I. 2—1. 5倍。本发明实施例提供一种视频会议系统，包括会议服务器，用于接收第一会场终端发送的会场选看指令；向第一会场终发送第一会场终端选看会场对应的视频流；若第一会场终端当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则生成第二混合音频流，并向第一会场终端发送所述第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流；第一会场终端，用于向会议服务器发送会场选看指令；接收来自会议服务器的第一会场终端选看会场对应的视频流和第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流；播放视频流和第二混合音频流。其中，会议服务器可以将生成的第二混合音频流中包含的音频流放在同一声道中传输给第一会场终端；或者，将生成的第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它的音频流分别放在不同声道中传输给第一会场终端。由上可见，由于本发明实施例提供的视频会议系统中的会议服务器将向第一会场终端发送的第二混合音频流中加入了第一会场终端选看的部分或者全部会场的音频流，使得一会场终端播放的音频流跟随视频流，这在一定程度上改善了会场音频和视频不同步的问题，增强了用户体验。同时，将第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它的音频流分别放在不同声道中传输可以减少会场之间声音的互相干扰，提高第一会场终端播放音频的质量。本发明实施例还提供另一种视频会议系统，参见图7所示，包括会议服务器701，用于接收第一会场终端702发送的会场选看指令；向第一会场终 702发送第一会场终端702选看会场对应的视频流；若第一会场终端702当前播放的第一混合音频流不包含第一会场终端702选看会场对应的音频流，则向第一会场终端702发送第二混合音频流，其中，所述第二混合音频流包含第一会场终端702选择观看会场对应的部分或者全部音频流；第一会场终端702，用于向会议服务器701发送会场选看指令；接收来自会议服务器701的第一会场终端702选看会场对应的视频流和第二混合音频流，其中，所述第二混合音频流包含第一会场终端702选择观看会场对应的部分或者全部音频流；播放视频流和第
二混合音频流。其中，会议服务器701生成第二混合音频流包括会议服务器701将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流进行混音处理，得到第二混合音频流，其中N4小于或者等于NI ；或者，会议服务器701将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N2个会场对应的N2个音频流进行混音处理，得到第二混合音频流；其中，N4小于或者等于NI，第一混合音频流由N3个音频流进行混音处理得到，N4加N2等于N3 ；或者，会议服务器701将第一音频流集合中的音频流进行混音处理，得到第二混合音频流，其中，第一音频流集合包括第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和混音处理得到的第一混合音频流的N3个音频流，其中N4小于或者等于NI ;或者,第一音频流集合包括第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N3个会场对应的N3个音频流，其中N4小于或者等于NI。由上可见，由上可见，由于本发明实施例提供的视频会议系统中的会议服务器701将向第一会场终端发送的第二混合音频流中加入了第一会场终端选看的部分或者全部会场的音频流，使得一会场终端播放的音频流跟随视频流，这在一定程度上改善了会场音频和视频不同步的问题，增强了用户体验。同时，将第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它的音频流分别放在不同声道中传输可以减少会场之间声音的互相干扰，提高第一会场终端播放音频的质量。进一步的，本发明实施例还提供一种视频会议系统，该系统也包括会议服务器和第一会场终端，与上个实施例所不同的是，该系统中的会议服务器除具有上述功能外，还能够用于增加第一会场终端选择观看的NI个会场中音量最大的N4个会场中的一个或者多个会场对应的音频流增益或者减小入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频增益，或者同时增加第一会场终端选择观看的NI个会场中音量最大的N4个会场中的一个或者多个会场对应的音频流增益和减小入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频流增益，使得第一会场终端选择观看会场的声音大于入会会场中音量最大的N2个会场对应的声音,其中，N4小于或者等于NI ；或者，用于减小混音处理得到的第一混合音频流的N3个会场中的一个或者多个会场的 音频流增益，或者同时增加第一会场终端选择观看的NI个会场中音量最大的N4个会场中的一个或者多个会场对应的音频流增益和减小混音处理得到的第一混合音频流的N3个会场中的一个或者多个会场的音频流增益，使得第一会场终端选择观看会场的声音大于第一混合音频流的N3个会场对应的声音，其中，N4小于或者等于NI ；或者，用于减小入会会场中音量最大的N3个会场中的一个或者多个会场的音频流增益，或者同时增加第一会场终端选择观看的NI个会场中音量最大的N4个会场中的一个或者多个会场对应的音频流增益和减小入会会场中音量最大的N3个会场中的一个或者多个会场的音频流增益，使得第一会场终端选择观看会场的声音大于入会会场中音量最大的N3个会场对应的声音，其中，N4小于或者等于NI。可以理解的是，实施例中的会议服务器701可如上述方法实施例中的会议服务器，其各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。以上对本发明实施例所提供的一种视频会议信号处理的方法、会议服务器以及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
权利要求
1.ー种视频会议信号处理的方法，其特征在于，包括会议服务器接收第一会场终端的会场选看指令；会议服务器根据会场选看指令向第一会场终端发送视频流；其中，视频流包括第一会场终端选看会场对应的视频流；若第一会场终端当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则会议服务器生成第二混合音频流，井向第一会场终端发送所述第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。
2.根据权利要求I所述的方法，其特征在干，所述会议服务器生成第二混合音频流，包括会议服务器将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流进行混音处理，得到第二混合音频流，其中N4小于或者等于NI ；或者，会议服务器将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N2个会场对应的N2个音频流进行混音处理，得到第二混合音频流；其中，N4小于或者等于NI，第一混合音频流由N3个音频流进行混音处理得到，N4加N2等于N3 ；或者，会议服务器将第一音频流集合中的音频流进行混音处理，得到第二混合音频流，其中，第一音频流集合包括第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和混音处理得到的第一混合音频流的N3个音频流，其中N4小于或者等于NI ;或者，第一音频流集合包括第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N3个会场对应的N3个音频流，其中N4小于或者等于NI。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括所述会议服务器将第二混合音频流中包含的音频流放在同一声道中传输给第一会场终端；或者，所述会议服务器将第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它的音频流分别放在不同声道中传输给第一会场终端。
4.根据权利要求2所述的方法，其特征在干，所述会议服务器生成第二混合音频流具体为会议服务器获取第一会场终端选看的NI个会场中音量最大N4个会场对应的N4个音频流和入会会场中音量最大的N2个会场对应的N2个音频流，增大获取的音量最大的N4个会场中的一个或者多个会场对应的音频流的増益或者减小获取的入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频流的増益，或者同时增大获取的N4个会场中的一个或者多个会场对应的音频流的増益和减小获取的入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频流的増益，使得第一会场终端选择观看会场的声音大于入会会场中音量最大的N2个会场对应的声音，其中N4小于或者等于NI，将获取的N4个会场对应的N4个音频流，和获取的N2个会场对应的N2个音频流进行混音处理，得到第二混合音频流；或者，会议服务器获取第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流和第一混合音频流对应的N3个音频流，增大获取的音量最大的N4个会场中的ー个或者多个会场对应的音频流的増益或者减小获取的第一混合音频流对应的N3个会场中的一个或者多个会场对应的音频流的増益，或者同时增大获取的音量最大的N4个会场中的一个或者多个会场对应的音频流的増益和减小获取的第一混合音频流对应的N3个会场中的一个或者多个会场对应的音频流的増益，使得第一会场终端选择观看会场的声音大于第一混合音频流对应的N3个音频流的声音，其中N4小于或者等于NI，将获取的N4个会场对应的N4个音频流，和获取的第一混合音频流对应的N3个音频流进行混音处理，得到第二混合音频流；或者，会议服务器获取第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流和入会会场中音量最大的N3个会场对应的N3个音频流，增大获取的音量最大的N4个会场中的一个或者多个会场对应的音频流的増益或者减小获取的入会会场中音量最大的N3个会场中的一个或者多个会场对应的音频流的増益，或者同时增大获取的N4个会场中的一个或者多个会场对应的音频流的増益和减小获取的N3个会场中的一个或者多个会场对应的音频流的増益，使得第一会场终端选择观看会场的声音大于入会会场中音量最大的N3个会场对应的声音，其中N4小于或者等于NI，将获取的N4个会场对应的N4个音频流，和入会会场中音量最大的N3个会场对应的N3个音频流进行混音处理，得到第二混合音频流。
5.根据权利要求4所述的方法，其特征在干，播放的第二混合音频流中第一会场终端选择观看的NI个会场中音量最大的N4个会场对应的声音为第二混合音频流中其它声音的I. 2—1. 5 倍。
6.一种视频会议服务器，其特征在于，包括接收模块，用于接收第一会场终端发送的会场选看指令，并将该指令分别传送给视频流发送模块和音频流发送模块；视频流发送模块，用于向第一会终端发送视频流，其中，视频流包括第一会场终端选看会场对应的视频流；音频流发送模块，用于若当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则生成第二混合音频流，并将该第二混合音频流发送给第一会场终端，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流。
7.根据权利要求6所述的视频会议服务器，其特征在于，所述音频流发送模块生成第二混合首频流具体为音频流发送模块将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流进行混音处理，得到第二混合音频流，其中N4小于或者等于NI ；或者，音频流发送模块将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N2个会场对应的N2个音频流进行混音处理，得到第二混合音频流；其中，N4小于或者等于NI，第一混合音频流由N3个音频流进行混音处理得到，N4加N2等于N3 ；或者，音频流发送模块将第一音频流集合中的音频流进行混音处理，得到第二混合音频流，其中，第一音频流集合包括第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和混音处理得到的第一混合音频流的N3个音频流，其中N4小于或者等于NI ；或者，第一音频流集合包括第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N3个会场对应的N3个音频流，其中N4小于或者等于NI。
8.根据权利要求7所述的视频会议服务器，其特征在干，所述音频流发送模块将生成的第二混合音频流中包含的音频流放在同一声道中传输给第一会场终端；或者， 所述音频流发送模块将生成的第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它的音频流分别放在不同声道中传输给第一会场终端。
9.根据权利要求7所述的视频会议服务器，其特征在干，所述音频流发送模块进一歩包括获取模块、音频增益处理模块；所述获取模块，用于获取第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流和入会会场中音量最大的N2个会场对应的N2个音频流，或者用于获取第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流和第一混合音频流对应的N3个音频流，或者用于获取第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流和入会会场中音量最大的N3个会场对应的N3个音频流，其中，N4小于或者等于NI ；所述音频增益处理模块，用于将获得的第一会场终端选择观看的NI个会场中音量最大的N4个会场中的一个或者多个会场对应的音频流增益増大或者将获得的入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频流增益减小，或者同时增加获取的N4个会场中的一个或者多个会场对应的音频流增益和减小入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频流增益，使得第一会场终端选择观看会场的声音大于入会会场中音量最大的N2个会场对应的声音；或者，用于将获得的第一混合音频流的N3个会场中的一个或者多个会场对应的音频流增益减小，或者同时增加第一会场终端选择观看的NI个会场中音量最大的N4个会场中的ー个或者多个会场对应的音频流的増益和减小混音处理得到的第一混合音频流的N3个会场中的一个或者多个会场的音频流增益，使得第一会场终端选择观看会场的声音大于第一混合音频流的N3个会场对应的声音；或者，用于将获得的入会会场中音量最大的N3个会场中的一个或者多个会场的音频增益减小，或者同时增加第一会场终端选择的NI个会场中音量最大的N4个会场中的一个或者多个会场对应的音频流增益和减小入会会场中音量最大的N3个会场中的一个或者多个会场的音频流增益，使得第一会场终端选择观看会场的声音大于入会会场中音量最大的N3个 会场对应的声音。
10.根据权利要求9所述的视频会议服务器，其特征在于，所述音频増益处理模块将第一终端选择观看的NI个会场中音量最大的N4个会场对应的声音调为入会会场中音量最大的N2个会场对应的声音的I. 2— I. 5倍；或者，所述音频増益处理模块将第一終端选择观看的NI个会场中音量最大的N4个会场对应的声音调为第一混合音频流的N3个会场对应的声音的I. 2—1. 5倍；或者，所述音频増益处理模块将第一終端选择观看的NI个会场中音量最大的N4个会场对应的声音调为入会会场中音量最大的N3个会场对应的声音的I. 2一I. 5倍。
11.一种视频会议系统，其特征在于，包括会议服务器，用于接收第一会场终端发送的会场选看指令；向第一会场终发送第一会场终端选看会场对应的视频流；若第一会场终端当前播放的第一混合音频流不包含第一会场终端选看会场对应的音频流，则生成第二混合音频流，井向第一会场终端发送所述第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流；第一会场终端，用于向会议服务器发送会场选看指令；接收来自会议服务器的第一会场终端选看会场对应的视频流和第二混合音频流，其中，所述第二混合音频流包含第一会场终端选择观看会场对应的部分或者全部音频流；播放视频流和第二混合音频流。
12.根据权利要求11所述的视频会议系统，其特征在于，所述会议服务器生成第二混合音频流，包括会议服务器将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流进行混音处理，得到第二混合音频流，其中N4小于或者等于NI ；或者，会议服务器将第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N2个会场对应的N2个音频流进行混音处理，得到第二混合音频流；其中，N4小于或者等于NI，第一混合音频流由N3个音频流进行混音处理得到，N4加N2等于N3 ；或者，会议服务器将第一音频流集合中的音频流进行混音处理，得到第二混合音频流，其中，第一音频流集合包括第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和混音处理得到的第一混合音频流的N3个音频流，其中N4小于或者等于NI ;或者，第一音频流集合包括第一会场终端选看的NI个会场中音量最大的N4个会场对应的N4个音频流，和入会会场中音量最大的N3个会场对应的N3个音频流，其中N4小于或者等于NI。
13.根据权利要求12所述的视频会议系统，其特征在于，所述会议服务器将生成的第ニ混合音频流中包含的音频流放在同一声道中传输给第一会场终端；或者，所述会议服务器将生成的第二混合音频流中被选看会场对应的音频流和第二混合音频流中其它的音频流分别放在不同声道中传输给第一会场终端。
14.根据权利要求12所述的视频会议系统，其特征在于，所述会议服务器还用于增加第一会场终端选择观看的NI个会场中音量最大的N4个会场中的一个或者多个会场对应的音频流增益或者减小入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频流増益，或者同时增加第一会场终端选择观看的NI个会场中音量最大的N4个会场中的一个或者多个会场对应的音频流增益和减小入会会场中音量最大的N2个会场中的一个或者多个会场对应的音频流增益，使得第一会场终端选择观看会场的声音大于入会会场中音量最大的N2个会场对应的声音，其中，N4小于或者等于NI ；或者， 用于减小混音处理得到的第一混合音频流的N3个会场中的一个或者多个会场的音频流増益，或者同时增加第一会场终端选择观看的NI个会场中音量最大的N4个会场中的一个或者多个会场对应的音频流增益和减小混音处理得到的第一混合音频流的N3个会场中的一个或者多个会场的音频流增益，使得第一会场终端选择观看会场的声音大于第一混合音频流的N3个会场对应的声音，其中，N4小于或者等于NI ；或者，用于减小入会会场中音量最大的N3个会场中的一个或者多个会场的音频流增益，或者同时增加第一会场终端选择观看的NI个会场中音量最大的N4个会场中的一个或者多个会场对应的音频流增益和减小入会会场中音量最大的N3个会场中的一个或者多个会场对应的音频流增益，使得第一会场终端选择观看会场的声音大于入会会场中音量最大的N3个会场对应的声音，其中，N4小于或者等于NI。
15.根据权利要求14所述的视频会议系统，其特征在于，所述的会议服务器用于将第一会场终端选择观看的NI个会场中音量最大的N4个会场对应的声音调为入会会场中音量最大的N2个会场对应的声音的I. 2—1. 5倍；或者，所述的会议服务器用于将第一会场终端选择观看的NI个会场中音量最大的N4个会场对应的声音调为第一混合音频流的N3个会场对应的声音的I. 2—1. 5倍；或者，所述的会议服务器用于将第一会场终端选择观看的NI个会场中音量最大的N4个会场对应的声音调为入会会场中音量最大的N3个会场对应的声音的I. 2—1. 5倍。
全文摘要
本发明公开了一种视频会议信号处理的方法、视频会议服务器及系统。所述方法根据第一会场终端发送的选看指令将被选看会场的视频流发送给第一会场终端，并且判断第一会场终端当前播放的第一混合音频流是否包含被选看会场的音频流，若否，则生成第二混合音频流并发送给第一会场终端，其中第二混合音频流包含被选看会场对应的部分或者全部音频流，使得第一会场终端播放的音频流跟随视频流，这在一定程度上改善了音频和视频不同步的问题，增强了用户体验。
文档编号H04N7/56GK102833520SQ20121029217
公开日2012年12月19日 申请日期2012年8月16日 优先权日2012年8月16日
发明者郑瑞琴 申请人:华为技术有限公司