持续共存群组视频会议系统的制作方法

背景技术：

1、本公开总体上涉及在线视频会议，并且更具体地涉及对连接到在线会议室的用户的虚拟在场(presence)进行模拟。

2、在线视频会议系统允许多个用户与其他人远程连接，并且允许该多个用户使用音频和视觉方式彼此通信。然而，视频会议系统不能有效地模拟真实世界环境。例如，在视频会议中，每个用户向中央服务器发送采集到的音频馈送。中央服务器随后将所有音频馈送组合成单个音频流，并将该音频流发送给连接到视频会议的每个用户。这样，每个用户能够听到多个用户中所有正在讲话的用户。但是由于每个用户接收单个音频流，因此如果多人同时讲话，则发送给连接到视频会议的多个用户的音频流包括正在讲话的所有用户的音频馈送的叠加。

3、此外，由于发送给每个用户的音频流包括连接到视频会议的各个其他用户的音频馈送的叠加，因此每次只能进行单个对话。如果连接到视频会议的两个用户想要在其之间进行单独对话，则这两个用户将必须断开视频会议，开始新的会话。因此，使得该过程效率低下。

4、最后，在可通过视频会议系统使两个或更多个用户之间的对话开始之前，这两个或更多个用户必须各自连接到视频会议系统。例如，这些用户中的每个用户可以在约定时间连接到视频会议系统的特定地址。这需要预先计划，因为会议的日期和时间、以及用于连接视频会议系统的地址必须在可以建立连接之前提供给每个用户。在另一示例中，第一用户可以呼叫第二用户。第二用户的通信系统可以显示第一用户已经发起通话的指示，并可以询问第二用户是否接受该通话。这要求第一用户猜测第二用户是否有空应答该通话。此外，这需要第二用户看到第一用户正在呼叫的指示并且明确地接受该通话。

5、这些缺点增加了人们在其物理上位于不同地点时、彼此协作的分歧程度。因此，具有虚拟地模拟远程用户在场、以使物理上位于不同地点的多个用户能够更容易彼此协作的系统将是有益的。

技术实现思路

1、多个实施例包括用于连接到多人在线会议室的系统。与第一用户相关联的第一客户端设备发起到在线会议室的连接。在该连接发起之后，第一客户端设备开始接收来自同样连接到在线会议室的一个或多个其他用户的一个或多个客户端设备的视频数据和音频数据。该一个或多个其他用户的一个或多个客户端设备包括与第二用户相关联的第二客户端设备。第一客户端设备在连接到在线会议室时，基于接收到的来自连接到在线会议的该一个或多个其他用户中的一个或多个客户端设备的视频数据，来显示视频流。该第一客户端设备在接收到来自连接到在线会议室的该一个或多个其他用户的一个或多个客户端设备的视频数据和音频数据时，一经接收到来自第二客户端设备的开始与第一用户对话的请求，便基于从第二客户端设备接收到的音频数据，来播放音频流。

2、在一些实施例中，第一客户端设备在显示与连接到在线会议室的特定用户相对应的视频之前，检测在从该用户的相应客户端设备接收到的视频数据中的人的存在。如果检测到人，则第一客户端设备将从该用户的相应客户端设备接收到的视频数据包括在所显示的视频流中。相反地，如果没有检测到人，则第一客户端设备显示用户处于离开状态的指示。

3、在一些实施例中，针对连接到在线会议室的每个用户，第一客户端设备至少部分地基于用户的对话状态，来确定是否播放与该用户相对应的音频馈送。例如，如果对话状态指示第一用户处于与第二用户的活动对话(active conversation)中，则第一客户端设备播放与第二用户相对应的音频馈送，并且第二客户端设备播放第一用户的音频馈送。相反地，如果对话状态指示第一用户没有处于与第二用户的活动对话，则第一客户端设备不播放与第二用户相对应的音频馈送，并且第二客户端设备不播放第一用户的音频馈送。

4、在一些实施例中，针对连接到在线会议室的每个用户，第一客户端设备分配衰减因子(attenuation factor)。第一客户端设备基于对应用户的对话状态来确定衰减因子。例如，如果对话状态指示第一用户处于与第二用户的活动对话，则第一客户端设备将值1(或100％)分配给第二用户的衰减因子。相反地，如果对话状态指示第一用户没有处于与第二用户的活动对话，则第一客户端设备将值0(或0％)分配给第二用户的衰减因子。第一客户端设备随后将针对每个用户的音频数据与对应的衰减因子相乘，并组合经衰减的音频数据，以生成输出音频流。

5、根据本公开的第一方面，提供了一种方法，该方法包括：在与第一用户相关联的第一客户端设备处：发起到在线会议室的连接；接收来自同样连接到在线会议室的一个或多个其他用户的一个或多个客户端设备的视频数据和音频数据，该一个或多个其他用户的一个或多个客户端设备包括与第二用户相关联的第二客户端设备；响应于连接到在线会议室，基于接收到的来自连接到在线会议的该一个或多个其他用户的一个或多个客户端设备的视频数据来显示视频流；在接收到来自连接到在线会议室的该一个或多个其他用户的一个或多个客户端设备的视频数据和音频数据时，接收来自该一个或多个客户端设备中的第二客户端设备的开始与第一用户对话的请求；以及，响应于接收到该请求，基于从第二客户端设备接收到的音频数据来播放音频流。

6、在一些实施例中，基于接收到的来自连接到在线会议的该一个或多个其他用户的一个或多个客户端设备的视频数据来显示视频流，包括：针对连接到在线会议室的该一个或多个其他用户中的每个其他用户：检测从该其他用户的相应客户端设备接收到的视频数据中的人的存在，并且响应于检测到有人存在于从其他用户的相应客户端设备接收到的视频数据中，基于从该其他用户的相应客户端设备接收到的视频数据，来显示与该其他用户相对应的视频馈送。

7、在一些实施例中，基于接收到的来自连接到在线会议的该一个或多个其他用户的一个或多个客户端设备的视频数据来显示视频流，还包括：针对连接到在线会议室的该一个或多个其他用户中的每个其他用户：响应于没有检测到有人存在于从该其他用户的相应客户端设备接收到的视频数据中，显示该其他用户离开的指示。

8、在一些实施例中，该方法还包括：针对连接到在线会议室的该一个或多个其他用户中的每个其他用户：基于该其他用户与第一用户之间的对话状态，来确定是否播放与该其他用户相对应的音频馈送。

9、在一些实施例中，该方法还包括：针对连接到在线会议室的该一个或多个其他用户中的每个其他用户：基于该其他用户与第一用户之间的对话状态，来分配与该其他用户相对应的衰减因子，并且基于所分配的衰减因子，衰减与该其他用户相对应的音频馈送；组合与连接到在线会议室的该一个或多个其他用户的各个其他用户的经衰减的音频馈送；以及播放组合后的经衰减的音频馈送。

10、在一些实施例中，基于该其他用户与第一用户之间的对话状态来确定与该其他用户相对应的衰减因子，包括：当该其他用户没有处于与第一用户的活动对话时，将值0分配给衰减因子；以及，当该其他用户处于与第一用户的活动对话时，将值1分配给衰减因子。

11、在一些实施例中，发起到在线会议室的连接包括：在预设时间自动连接到在线会议室。

12、在一些实施例中，连接到在线会议室的该一个或多个其他用户是否包括第三用户和第四用户，其中，该方法还包括：响应于接收到第三用户处于与第四用户的活动对话的指示：显示第三用户处于与第四用户的活动对话的指示，并且显示第四用户处于与第三用户的活动对话的指示。

13、在一些实施例中，该方法还包括：响应于确定第一用户没有处于与第三用户和第四用户的活动对话，将与第三用户和第四用户相对应的音频馈送静音。

14、在一些实施例中，该方法还包括：接收加入第三用户与第四用户之间的对话的指示；响应于接收到加入第三用户与第四用户之间的对话的指示：向第三用户的客户端设备和第四用户的客户端设备发送加入对话的请求，以及基于从第三用户的客户端设备和第四用户的客户端设备接收到的音频数据来播放音频流。

15、根据本公开的第二方面，提供了一种方法，该方法包括：接收来自连接到在线会议室的多个客户端设备的数据流，其中(i)该多个客户端设备与多个用户相关联，(ii)数据流包括音频数据和状态数据，以及(iii)状态数据指示对应用户是否处于与连接到所述在线会议室的其他用户的活动对话；针对所述多个客户端设备中的每个客户端设备，基于包括在对应用户的数据流中的状态数据，来确定该用户是否处于与连接到在线会议室的另一用户的活动对话；响应于确定该多个用户中的第一用户处于与该多个用户中的第二用户的活动对话：显示第一用户处于与第二用户的活动对话的指示，并且显示第二用户处于与第一用户的活动对话的指示；接收加入第一用户与第二用户之间的对话的指示；响应于接收到加入第一用户与第二用户之间的对话的指示：向第一用户的客户端设备和第二用户的客户端设备发送加入对话的请求，并且播放与第一用户和第二用户相对应的音频流。

16、在一些实施例中，播放与第一用户和第二用户相对应的音频流包括：向连接到在线会议室的该多个用户中的每个用户分配衰减因子，其中分配给第一用户和第二用户的衰减因子具有非零值、且分配给连接到在线会议室的该多个用户中的每个其他用户的衰减因子具有零值；基于所分配的衰减因子，衰减与连接到在线会议室的该多个用户中的每个用户相对应的音频馈送；通过组合与连接到在线会议室的该多个用户中的每个用户相对应的经衰减的音频馈送来生成音频流；以及播放所生成的音频流。

17、在一些实施例中，该方法还包括：接收来自连接到在线会议室的该多个用户中的每个用户的客户端设备的视频数据；响应于连接到在线会议室，基于接收到的来自连接到在线会议的该多个用户中的每个用户的客户端设备的视频数据来显示视频流。

18、在一些实施例中，基于接收到的来自连接到在线会议的该多个用户中的每个用户的客户端设备的视频数据来显示视频流，包括：针对连接到在线会议室的该多个用户中的每个用户：检测从该用户的客户端设备接收到的视频数据中的人的存在，并且响应于检测到有人存在于从该用户的客户端设备接收到的视频数据中，基于从该用户的客户端设备接收到的视频数据来显示与该用户相对应的视频馈送。

19、在一些实施例中，基于接收到的来自连接到在线会议的该多个用户中的每个用户的客户端设备的视频数据来显示视频流，还包括：针对连接到在线会议室的该多个用户中的每个用户：响应于没有检测到有人存在于从该用户的客户端设备接收到的视频数据中，显示该用户离开的指示。

20、根据本公开的第三方面，提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储有一个或多个程序，该一个或多个程序被配置为由与第一用户相关联的第一客户端设备的一个或多个处理器执行，该一个或多个程序在被该一个或多个处理器执行时，使得第一客户端设备：发起到在线会议室的连接；接收来自同样连接到在线会议室的一个或多个其他用户的一个或多个客户端设备的视频数据和音频数据，该一个或多个其他用户的一个或多个客户端设备包括与第二用户相关联的第二客户端设备；响应于连接到在线会议室，基于接收到的来自连接到在线会议的该一个或多个其他用户的一个或多个客户端设备的视频数据来显示视频流；在接收到来自连接到在线会议室的该一个或多个其他用户的一个或多个客户端设备的视频数据和音频数据时，接收来自该一个或多个客户端设备的第二客户端设备的开始与第一用户对话的请求；以及响应于接收到该请求，基于从第二客户端设备接收到的音频数据来播放音频流。

21、在一些实施例中，基于接收到的来自连接到在线会议的该一个或多个其他用户的一个或多个客户端设备的视频数据来显示视频流的指令，使得第一客户端设备：针对连接到在线会议室的该一个或多个其他用户中的每个其他用户：检测从该其他用户的相应客户端设备接收到的视频数据中的人的存在，并且响应于检测到有人存在于从该其他用户的相应客户端设备接收到的视频数据中，基于从该其他用户的相应客户端设备接收到的视频数据来显示与该其他用户相对应的视频馈送。

22、在一些实施例中，基于接收到的来自连接到在线会议的该一个或多个其他用户的一个或多个客户端设备的视频数据来显示视频流的指令，还使得第一客户端设备：针对连接到在线会议室的该一个或多个其他用户中的每个其他用户：响应于没有检测到有人存在于从该其他用户的相应客户端设备接收到的视频数据中，显示该其他用户离开的指示。

23、在一些实施例中，该多个指令还使得第一客户端设备：针对连接到在线会议室的该一个或多个其他用户中的每个其他用户：基于该其他用户与第一用户之间的对话状态来确定是否播放与该其他用户相对应的音频馈送。

24、在一些实施例中，该多个指令还使得第一客户端设备：针对连接到在线会议室的该一个或多个其他用户中的每个其他用户：基于该其他用户与第一用户之间的对话状态来分配与该其他用户相对应的衰减因子，并且基于所分配的衰减因子，来衰减与该其他用户相对应的音频馈送；组合与连接到在线会议室的该一个或多个其他用户中的各个其他用户相对应的经衰减的音频馈送；以及播放组合后的经衰减的音频馈送。