画面控制方法、计算机设备及可读存储介质与流程

1.本发明涉及通信技术领域，特别涉及一种画面控制方法、计算机设备及可读存储介质。


背景技术：

2.大型视频会议通常指在单个会议中与会人数量达到千人的级别的视频会议，由于参会人数较大，与会终端较多，如果所有与会终端均向服务器上传视频数据流，会导致服务器的巨大负载。为了节约服务器资源，可以将与会终端设置为按需上传视频流，例如仅使视频中当前需要显示的画面对应的终端上传视频数据流。
3.然而，此时如果需要将新的画面加入视频，并为新的画面在视频中分配显示区域，由于新的画面对应的终端在此之前并未上传视频数据流，则分配的显示区域只能显示过渡画面，且显示过渡画面的时间较长，导致视频的画面切换不够平滑。


技术实现要素：

4.本发明实施例提供一种画面控制方法、计算机设备及可读存储介质，可以改善视频会议中视频的画面切换不够平滑的问题。
5.因此，本发明实施例提供了一种多画面视频会议的画面控制方法，所述画面控制方法包括：获取各与会终端的音频数据流，并根据所述各与会终端的音频数据流，确定当前活跃终端；根据预设填充规则，生成目标多画面布局；其中，所述目标多画面布局包括用于显示所述当前活跃终端对应的画面的区域；若所述当前多画面布局中没有用于显示所述当前活跃终端的画面的区域，则控制所述当前活跃终端上传视频数据流；至少经过阈值时间后，控制所有与会终端采用所述目标多画面布局替换所述当前多画面布局。
6.本发明实施例提供的画面控制方法，在根据各与会终端的音频数据流确定当前活跃终端之后，如果当前多画面布局中没有用于显示当前活跃终端的画面的区域，即确定当前活跃终端之前并未上传视频数据流，此时并不控制与会终端采用目标多画面布局，与会终端仍然采用当前多画面布局；直到至少经过阈值时间，使当前活跃终端有充足时间上传视频数据流，再控制所有与会终端采用目标多画面布局替换当前多画面布局，可以实现多画面布局的平滑切换。
7.一种可能的实施方式中，所述至少经过阈值时间后，控制所有与会终端采用所述目标多画面布局替换所述当前多画面布局，具体包括：每间隔预设时间，检测触发时刻与当前时刻之间的时长是否大于或等于所述阈值时间，其中触发时刻为控制所述当前活跃终端上传视频数据流的时刻；
若是，则控制所有与会终端采用所述目标多画面布局替换所述当前多画面布局。
8.一种可能的实施方式中，所述生成目标画面布局之后，还包括：若所述当前多画面布局中的一个区域用于显示所述当前活跃终端对应的画面，控制所有与会终端采用所述目标多画面布局替换所述当前多画面布局。
9.一种可能的实施方式中，所述根据预设填充规则，生成目标多画面布局，具体包括：确定原始布局；其中，所述原始布局包括主要区域和次要区域；将所述原始布局的主要区域分配给所述当前活跃终端对应的画面；根据所述当前多画面布局，将所述原始布局的次要区域分配给其他与会终端对应的画面；将分配后的所述原始布局作为所述目标多画面布局。
10.一种可能的实施方式中，所述根据所述各与会终端的音频数据流，确定当前活跃终端，具体包括：在当前检测周期内，从各与会终端中确定音频数据流的音量值最大的与会终端；若该与会终端的音频数据流的音量值不小于音量阈值，则对该与会终端的最大音量值次数计数；记录在所述当前检测周期内的各与会终端的最大音量值次数；将最大音量值次数最多的与会终端确定为当前活跃终端；其中，最大音量值次数最多的与会终端不为上一次确定的当前活跃终端。
11.基于同一发明构思，本发明实施例还提供了一种多画面视频会议的画面控制装置，包括：音频检测单元，用于获取各与会终端的音频数据流；画面生成单元，用于根据所述各与会终端的音频数据流，确定至少一个当前活跃终端，并根据预设填充规则，生成目标多画面布局；其中，所述目标多画面布局包括多个区域，其中至少一个区域被对应分配给为所述至少一个当前活跃终端对应的画面；画面控制单元，用于在当前多画面布局中的任一个区域均未被分配给所述当前活跃终端对应的画面时，控制所述当前活跃终端上传视频数据流，并且，至少经过阈值时间后，控制所有与会终端采用所述目标多画面布局替换所述当前多画面布局。
12.一种可能的实施方式中，所述画面控制单元还用于在所述当前多画面布局中的一个区域被分配给所述当前活跃终端对应的画面时，控制所有与会终端采用所述目标多画面布局替换所述当前多画面布局。
13.基于同一发明构思，本发明实施例还提供了一种视频会议设备，包括存储器和处理器，所述处理器被配置为实现上述任一种画面控制方法。
14.基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一种画面控制方法的步骤。
15.基于同一发明构思，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一种画面控制方法的步骤。
附图说明
16.图1为一种视频会议系统的结构示意图；图2为本发明实施例提供的画面控制方法的一种流程图；图3为本发明实施例提供的画面控制方法的部分具体流程图；图4为本发明实施例提供的画面控制方法的一种具体流程图；图5为本发明实施例提供的一种原始布局的示意图；图6为本发明实施例提供的一种当前多画面布局的示意图；图7为本发明实施例提供的一种目标多画面布局的示意图；图8为本发明实施例提供的又一种目标多画面布局的示意图；图9为本发明实施例提供的一种画面控制装置的示意图；图10为本发明实施例提供的一种计算机设备的示意图。
具体实施方式
17.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.本发明实施例描述的应用场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。其中，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
19.下面对本发明实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
20.（1）本发明实施例中，视频会议系统中，包括多点控制单元（multi control unit，mcu），也即视频会议服务器，以及电话接入网关和各种终端，终端采集图像、声音并编码发送给mcu中的媒体服务节点。如图1所示，mcu包括信令服务节点、媒体处理节点和媒体代理节点。其中，信令服务节点处理终端的信令，以及负责为媒体处理节点负载分配；媒体代理节点具有终端接入，以及音视频数据流的网络收发功能。媒体处理节点根据实际会议应用场景的要求，将多个终端发送的图像进行融合处理、声音混音处理、不进行图像融合处理、或者不进行声音混音处理。然后由媒体代理节点将媒体处理节点处理后的音视频数据流发送给各终端，从而实现多人与会的音视频通话。
21.（2）本发明实施例中，语音激励是指mcu对所有与会终端上传的音频数据流进行能量估计，判断某一段时间内音量最大的终端，然后将此终端的画面填充到视频中，以广播给所有与会终端。
22.（3）本发明实施例中，多画面布局是指视频画面中包括多个显示区域，且每个显示区域用来显示一个与会终端的画面，也就是说，多画面布局包括视频画面中划分的多个显示区域的大小和位置，以及每个显示区域对应的与会终端画面。当前多画面布局为与会终端当前正显示的视频画面的多画面布局，目标多画面布局为根据当前活跃终端对应的画面对视频画面进行调整之后的多画面布局。
23.本发明实施例提供的一种多画面视频会议的画面控制方法，如图2所示，画面控制方法包括：s201、获取各与会终端的音频数据流，并根据各与会终端的音频数据流，确定当前活跃终端；s202、根据预设填充规则，生成目标多画面布局；其中，目标多画面布局包括用于显示当前活跃终端对应的画面的区域；s203、若当前多画面布局中没有用于显示当前活跃终端的画面的区域，则控制当前活跃终端上传视频数据流；一种可能的实施方式中，在生成目标画面布局之后，还可以包括：若当前多画面布局中的一个区域用于显示当前活跃终端对应的画面，控制所有与会终端采用目标多画面布局替换当前多画面布局。
24.在具体实施时，若当前多画面布局中的一个区域用于显示当前活跃终端对应的画面，则可以说明当前活跃终端在之前的某个检测周期中被确定为当前活跃终端，当前活跃终端之前已经上传视频数据流。视频会议服务器可以直接将目标多画面布局提供给媒体服务节点和各与会终端，以控制所有与会终端采用目标多画面布局替换当前多画面布局，此时并不存在视频的画面切换不够平滑的问题。
25.如果当前多画面布局中没有用于显示当前活跃终端的画面的区域，则说明当前活跃终端之前并未上传视频数据流，视频会议服务器将目标多画面布局发送给当前活跃终端，通知当前活跃终端其画面已被加入目标多画面布局，以控制当前活跃终端上传视频数据流。并且，视频会议服务器将目标多画面布局缓存，暂时不发送给媒体服务节点和其他与会终端，以使各与会终端仍采用当前多画面布局。需要说明的是，虽然视频会议服务器将目标多画面布局发送给当前活跃终端，但此时视频会议服务器并未将目标多画面布局发送给媒体服务节点，也并未获取当前活跃终端的视频数据流，所以此时当前活跃终端同样仍采用当前多画面布局。
26.s204、至少经过阈值时间后，控制所有与会终端采用目标多画面布局替换当前多画面布局。
27.本发明实施例提供的画面控制方法，在根据各与会终端的音频数据流确定当前活跃终端之后，如果当前多画面布局中没有用于显示当前活跃终端的画面的区域，即确定当前活跃终端之前并未上传视频数据流，此时并不控制与会终端采用目标多画面布局，与会终端仍然采用当前多画面布局；直到至少经过阈值时间，使当前活跃终端有充足时间上传视频数据流，再控制所有与会终端采用目标多画面布局替换当前多画面布局，可以实现多画面布局的平滑切换。
28.在视频会议中，为了使视频画面中呈现正在发言的会场（一个会场至少对应一个与会终端），相关技术中采用了语音激励的方法，语音激励的过程中需要根据与会终端上传的音频数据流判断某一段时间内音量最大的终端，也即根据与会终端上传的音频数据流确定当前活跃终端，从而确定将哪一个（或哪些）终端对应的画面加入视频画面。在本发明实施例中，确定当前活跃终端的方法可以有多种，下面以举例的方式说明，但本发明实施例对此不作限制，在具体实施时，确定当前活跃终端的方法也可以是本领域技术人员可知的其他方法。
29.一种可能的实时方式中，根据各与会终端的音频数据流，确定当前活跃终端，具体可以包括：在当前检测周期内，从各与会终端中确定音频数据流的音量值最大的与会终端；若该与会终端的音频数据流的音量值不小于音量阈值，则对该与会终端的最大音量值次数计数；记录在所述当前检测周期内的各与会终端的最大音量值次数；将最大音量值次数最多的与会终端确定为当前活跃终端；其中，最大音量值次数最多的与会终端不为上一次确定的当前活跃终端。
30.在具体实施时，各与会终端的音频数据流会被提供给媒体处理节点，媒体处理节点根据各与会终端的音频数据流确定当前活跃终端。
31.具体地，在一个检测周期中，混音模块每次混音输出时，对所有参与混音的终端上行音频数据中的音量值进行排序，在其中获取音量最大值及对应终端id（身份信息）x，并与音量阈值进行比较，若是大于等于，则针对这个终端x的最大音量计数次数加一。
32.到达检测周期结束时，针对所有与会终端对这个最大音量计数次数进行排序，获取最大次数及对应终端y，若上一次活跃终端不是y，则终端y则会被判定为活跃终端，并将确定出的当前活跃终端通知信令服务节点，以进行后续步骤。当前检测周期结束时，媒体处理节点将各音频数据流的次数清除，以开始新的检测周期。
33.在具体实施时，在当前检测周期内，若各与会终端的音频数据流中最大音量值大于或等于音量阈值的次数均不大于次数阈值，则说明各会场中暂时均无人发言或发言较少，在当前检测周期内不会确定当前活跃终端，因此不需要改变多画面布局。并且，在具体实施时，通过调优音量阈值和次数阈值，可以避免由于“咳嗽”，“敲桌子”等瞬时声音确定出当前活跃终端进而调整多画面布局，从而减少不必要的多画面布局切换，提升用户体验，当然，音量阈值和次数阈值可以根据实际情况具体设计确定，在此不作限定。
34.在具体实施时，对于当前检测周期内满足音量阈值和次数阈值的与会终端，若上一个检测周期内未确定当前活跃终端，则说明上一个检测周期内无人发言，而当前检测周期内有人发言，因此可以将这些与会终端确定为当前活跃终端以显示这些与会终端对应的画面；若上一个检测周期内确定了当前活跃终端，则说明上一个检测周期内有人发言，若上一个检测周期内确定的当前活跃终端包括音频数据流对应的与会终端，则说明该与会终端的画面在上一个检测周期已经加入到多画面布局中，可以不对该与会终端的画面进行调整，因此可以不将该与会终端确定为当前活跃终端；若最后一次确定的当前活跃终端不包括音频数据流对应的与会终端，此时如果当前多画面布局中包括该与会终端对应的画面，则可能需要对该与会终端对应的画面在多画面布局中的设置进行调整，可以将该与会终端确定为当前活跃终端；如果当前多画面布局中不包括该与会终端对应的画面，则需要将该与会终端对应的画面加入多画面布局，需要将该与会终端确定为当前活跃终端。
35.在具体实施时，一个检测周期内可以确定多个当前活跃终端，即将当前检测周期内音频数据流满足音量阈值、次数阈值和第一条件的所有与会终端均确定为当前活跃终端。或者，可选地，为了简化流程，一个检测周期可以确定至多一个当前活跃终端，例如，对
于当前检测周期内音频数据流满足音量阈值、次数阈值和第一条件的与会终端，可以仅将音频数据流中最大音量值大于或等于音量阈值的次数最多的与会终端确定为当前活跃终端。
36.媒体处理节点将确定出的当前活跃终端通知信令服务节点之后，信令服务节点会根据预设填充规则，生成目标多画面布局，该目标多画面布局中包括当前活跃终端的画面。一种可能的实施方式中，根据预设填充规则，生成目标多画面布局，如图3所示，具体可以包括：s301、确定原始布局；其中，原始布局包括主要区域和次要区域；s302、将原始布局的主要区域分配给当前活跃终端对应的画面；s303、根据当前多画面布局，将原始布局的次要区域分配给其他与会终端对应的画面；s304、将分配后的原始布局作为目标多画面布局。
37.在具体实施时，原始布局可以是由用户预先确定的固定布局，例如，如图所示，原始布局中可以包括六个区域，其中面积较大的区域为主要区域，五个面积较小的区域为次要区域。或者，原始布局可以是视频会议服务器根据所有需要显示的画面生成的布局，例如，一个检测周期仅确定一个当前活跃终端，则原始布局中可以仅包括一个主要区域，并且，根据当前多画面布局中当前仍然需要显示的画面的数量来确定次要区域的数量。
38.在具体实施时，视频画面空间有限，当需要加入新的画面时，也需要将部分旧的画面从视频画面中去除。当需要去除旧的画面时，可以根据当前多画面布局中所有画面对应的终端最后一次被确定为当前活跃终端的时刻至当前时刻的时长（下文中称为不活跃时长）来选取。示例性地，当前检测周期结束时，媒体处理节点确定出了新的当前活跃终端，则信令服务节点将原始布局的主要区域分配给当前活跃终端对应的画面，假设原始布局为固定布局，则对于不活跃时长最长的终端画面，在原始布局中不再为其分配次要区域。当然，需要去除旧的画面时，选取的方法也可以是本领域技术人员可知的其它方法。
39.在具体实施时，根据当前多画面布局将原始布局的次要区域分配给其他与会终端对应的画面时，为了提高用户体验，可选地，对于当前多画面布局中的次要区域填充的画面，可以将原始布局中与该次要区域位置与大小相同或相近的次要区域分配给该画面。
40.一种可能的实施方式中，至少经过阈值时间后，信令服务节点会控制所有与会终端采用目标多画面布局替换当前多画面布局，具体可以包括：每间隔预设时间，信令服务节点检测触发时刻与当前时刻之间的时长是否大于或等于阈值时间，其中触发时刻为控制当前活跃终端上传视频数据流的时刻；若是，则控制所有与会终端采用目标多画面布局替换当前多画面布局。
41.在具体实施时，经过阈值时间后，当前活跃终端已经有充足时间上传视频数据流，视频会议服务器将缓存的目标多画面布局发送给媒体服务节点和各与会终端，以控制所有与会终端采用目标多画面布局替换当前多画面布局，此时可以实现多画面布局的平滑切换。
42.下面结合具体实施例和图4所示的流程图对本发明进行详细说明。需要说明的是，本实施例中是为了更好的解释本发明，但不限制本发明。
43.为了便于描述，本发明实施例中以一个检测周期可以确定至多一个当前活跃终端
为例进行说明，但可以理解本发明实施例不限于此。
44.实施例一、设原始布局为由用户预先确定的固定布局，如图5所示，包括一个面积较大的主要区域和五个面积较小的次要区域，并且，如图6所示，当前多画面布局中主要区域被分配给终端001，五个次要区域被分配给终端002~终端006。
45.由于当前多画面布局中主要区域被分配给终端001，则可以说明终端001为最后一个被确定为当前活跃终端的终端，在上一个检测周期中终端001可能被确定为当前活跃终端，或者，终端001在之前的一个检测周期中被确定为当前活跃终端，在上一个检测周期中未确定当前活跃终端。
46.步骤s410、媒体处理节点获取各与会终端的音频数据流，在当前检测周期内，将音频数据流满足音量阈值、次数阈值和第一条件，且最大音量值大于或等于音量阈值的次数最多的与会终端确定为当前活跃终端。
47.假设终端007为满足音量阈值、次数阈值，且最大音量值大于或等于音量阈值的次数最多的与会终端，终端007显然满足第一条件，则将终端007确定为当前活跃终端。
48.步骤s420、媒体处理节点将确定出的当前活跃终端通知信令服务节点。
49.步骤s430、信令服务节点将原始布局的主要区域分配给当前活跃终端对应的画面，并根据当前多画面布局，将原始布局的次要区域分配给其他与会终端对应的画面；将分配后的原始布局作为目标多画面布局。
50.信令服务节点将原始布局的主要区域分配给终端007对应的画面。当前多画面布局中包括终端001~终端006的画面，而原始布局中仅有五个次要区域，因此需要将终端001~终端006的画面其中之一从视频画面中去除，其中终端002的不活跃时长最长，则将五个次要区域分配给终端001、终端003~终端006的画面。如图7所示，为分配完成后的原始布局，也即目标多画面布局。
51.步骤s440、信令服务节点检测触发时刻与当前时刻之间的时长是否大于或等于阈值时间，其中触发时刻为控制当前活跃终端上传视频数据流的时刻；若是，执行步骤s450，并且间隔预设时间后再次执行步骤s440；若否，间隔预设时间后再次执行步骤s440。
52.步骤s450、视频会议服务器将缓存的目标多画面布局发送给媒体服务节点和各与会终端，以控制所有与会终端采用目标多画面布局替换当前多画面布局。
53.实施例二、本实施例针对实施例一中的部分实施方式进行了变形。下面仅说明本实施例与实施例一的区别之处，其相同之处在此不作赘述。
54.在步骤s410中，确定出的当前活跃终端为终端002。
55.在步骤s430中，信令服务节点将原始布局的主要区域分配给终端002对应的画面。如图6所示，当前多画面布局中包括终端001~终端006的画面，即在当前多画面布局中的一个次要区域被分配给终端002对应的画面，则将五个次要区域分配给终端001、终端003~终端006的画面。如图8所示，为分配完成后的原始布局，也即目标多画面布局。
56.基于同一发明构思，如图9所示，本发明实施例还提供了一种多画面视频会议的画面控制装置500，包括：音频检测单元501，用于获取各与会终端的音频数据流；
画面生成单元502，用于根据各与会终端的音频数据流，确定至少一个当前活跃终端，并根据预设填充规则，生成目标多画面布局；其中，目标多画面布局包括多个区域，其中至少一个区域被对应分配给为至少一个当前活跃终端对应的画面；画面控制单元503，用于在当前多画面布局中的任一个区域均未被分配给当前活跃终端对应的画面时，控制当前活跃终端上传视频数据流，并且，至少经过阈值时间后，控制所有与会终端采用目标多画面布局替换当前多画面布局。
57.一种可能的实施方式中，画面控制单元503还用于在当前多画面布局中的一个区域被分配给当前活跃终端对应的画面时，控制所有与会终端采用目标多画面布局替换当前多画面布局。
58.基于同一发明构思，本发明实施例还提供了一种视频会议设备，包括存储器和处理器，处理器被配置为实现上述任一种画面控制方法。
59.基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一种画面控制方法的步骤。
60.基于同一发明构思，如图10所示，本发明实施例还提供了一种计算机设备600，包括存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序，处理器602执行程序时实现上述任一种画面控制方法的步骤。
61.具体地，处理器602可以包括中央处理器（cpu），或者特定集成电路（application specific integrated circuit，asic），或者可以被配置成实施本发明实施例的一个或多个集成电路。
62.存储器601可以包括用于存储数据或指令的大容量存储器。举例来说而非限制，存储器601可以包括硬盘驱动器（hard disk drive，hdd）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（universal serial bus，usb）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器601可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器601可在数据处理装置的内部或外部。在特定实施例中，存储器601是非易失性固态存储器。在特定实施例中，存储器601包括只读存储器（rom）。在合适的情况下，该rom可以是掩模编程的rom、可编程rom（prom）、可擦除prom（eprom）、电可擦除prom（eeprom）、电可改写rom（earom）或闪存或者两个或更多个以上这些的组合。
63.处理器602通过读取并执行存储器601中存储的计算机程序指令，以实现上述实施例中的画面控制方法。
64.本发明实施例提供的一种多画面视频会议的画面控制方法、计算机设备及可读存储介质，在根据各与会终端的音频数据流确定当前活跃终端之后，如果当前多画面布局中没有用于显示当前活跃终端的画面的区域，即确定当前活跃终端之前并未上传视频数据流，此时并不控制与会终端采用目标多画面布局，与会终端仍然采用当前多画面布局；直到至少经过阈值时间，使当前活跃终端有充足时间上传视频数据流，再控制所有与会终端采用目标多画面布局替换当前多画面布局，可以实现多画面布局的平滑切换。
65.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。