向在线会议提供具有虚拟幕布的用户视频的制作方法
【专利说明】
【背景技术】
[0001]—般而言，视频会议(或web会议)涉及多个客户端设备(例如，计算机、平板电脑、智能电话等)与会议服务器之间的通信。通常，每个客户端设备向会议服务器发送(例如，经由麦克风和网络摄像头来捕捉的)音频和视频输入，并从会议服务器接收(例如，经由扬声器和显示器来呈现的)音频和视频输出。
[0002]因此，视频会议的参与者能够共享语音和视频数据以进行有效的通信，就是说即使参与者可能分散在不同的远程位置上，他们也能够以协作交换的形式看到彼此、提出问题、插入评论等。GoToMeeting是web托管服务的示例，其能够以相似的方式工作，并且其由佛罗里达州劳德代尔堡市(Fort Lauderdale，Florida)的思杰系统有限公司(CitrixSystems, Inc.)提供。
【发明内容】
[0003]遗憾的是，对于在参与者之间简单共享视频数据的传统视频会议而言，其存在缺陷。具体地，一些参与者可以选择关闭其视频摄像机，以避免在视频会议期间简单共享他们的视频数据。例如，如果参与者具有凌乱的办公室，该参与者可能会由于其外观而感到尴尬，且因此在视频会议期间断开网络摄像头。作为另一示例，如果参与者从家中进行连接，该参与者可能不想让其他会议参与者观看该参与者家中的物品或其他人，并从而在视频会议期间关闭摄像机。其他的社交和/或隐私考量也可能存在，从而促使参与者在视频会议期间去激活他们的视频摄像机。遗憾的是，在视频摄像机关闭的情况下，视频会议期间的整体体验可能显著下降。
[0004]相对于在参与者之间简单共享视频数据的上述传统视频会议，改进的技术涉及向在线会议提供具有虚拟幕布的用户视频。在使用这种技术的情况下，可以将视野内背景区域的实况初始内容替换为经修改的视频内容(例如，模糊内容)，以隐藏背景区域中的任何东西。例如，深度感测技术能够识别背景区域，然后可以将背景区域加以模糊(或以其他方式替换)并从而将背景区域从视图中移除。因此，参与者能够在任何位置处参加在线会议，而不必顾虑共享了背景中的什么东西。
[0005]—个实施例涉及一种向在线会议提供用户视频的方法。该方法包括:从摄像机设备接收实况用户视频信号。该实况用户视频信号定义了视野。该方法还包括:自动识别视野内的呈现区域(presentat1n)的实况初始内容和视野内的隐私区域的实况初始内容。该方法还包括:基于实况用户视频信号来生成经修改的用户视频信号，作为针对在线会议的用户视频。经修改的视频信号包括:(i)视野内呈现区域的实况初始内容，以及(ii)代替视野内隐私区域的实况初始内容的经修改的视频内容。这种将隐私区域的实况初始内容替换为经修改的视频内容，实际上形成了虚拟幕布，即隐藏了背景中的任何东西的视野。
[0006]在一些布置中，自动识别呈现区域的实况初始内容和隐私区域的实况初始内容包括:基于深度测量数据分离隐私区域的实况初始内容与呈现区域的实况初始内容。例如，实况用户视频信号可以包括一系列视频帧，每个视频帧包括像素阵列，每个像素具有原始像素值和深度值，像素的深度值形成了至少一些深度测量数据。在这些布置中，基于深度测量数据分离隐私区域的实况初始内容与呈现区域的实况初始内容包括:对于每个像素，(i)当该像素的深度值低于预定义的深度阈值时维持原始像素值，以及(ii)当该像素的深度值超过预定义的深度阈值时，将原始像素值替换为不同的像素值。
[0007]在一些布置中，在该像素的深度值超过预定义的深度阈值时将原始像素值替换为不同的像素值包括:基于模糊算法来修改原始像素值，以模糊隐私区域的实况初始内容。与此同时，基于模糊算法来修改原始像素值可以包括:改变模糊算法的模糊效果，以(i)轻微模糊隐私区域中最接近呈现区域处的实况初始内容，以及(ii)充分模糊隐私区域中最远离呈现区域处的实况初始内容。这种显示可以令所有会议参与者视觉上愉快，然而依然有效地提供了用于隐藏背景内容的虚拟幕布。
[0008]在一些布置中，参与者能够提供模糊控制命令，以在在线会议期间选择性地禁用和启用对模糊算法的使用。在一些布置中，参与者能够提供模糊改变命令，该模糊改变命令在在线会议期间递增地改变经由模糊算法执行的模糊量。
[0009]在一些布置中，摄像机设备包括摄像机和深度传感器。在这些布置中，从摄像机设备接收实况用户视频信号包括:获取包括来自摄像机的捕捉到的用户图像和来自深度传感器的深度测量数据在内的一系列视频帧作为实况用户视频信号。
[0010]在一些布置中，深度传感器是红外激光传感器。在这些布置中，深度测量数据包括对红外激光传感器与用户的环境之间的距离的红外激光测量。华盛顿州雷德蒙市的(Redmond,Washington)的微软公司(Microsoft Corporat1n)的 Kinect 是使用红外激光技术执行深度感测的合适摄像机设备的示例。适合使用的类似深度感测摄像机技术可从加利福尼亚州圣克拉拉市(Santa Clara，California)的英特尔公司(Intel Corporat1n)和新加坡裕廊东(Jurong Est，Singapore)的 Creative Technology Ltd.等获得。
[0011 ] 在一些布置中，摄像机是立体摄像机。在这些布置中，深度测量数据包括对立体摄像机和用户的环境之间的距离的深度估计值。
[0012]在一些布置中，摄像机是耦合到用户计算机的网络摄像头。附加地，该方法还包括:由用户计算机的显示器来渲染在线会议的在线会议视频，以使得用户计算机的用户能够观看在线会议。此外，生成经修改的视频信号可以包括:由用户计算机通过计算机网络向外部在线会议服务器输出经修改的视频信号，外部在线会议服务器被构造和布置为管理在线会议。
[0013]其它实施例涉及电子系统和装置、处理电路、计算机程序产品等。一些实施例涉及在向在线会议提供用户视频时涉及的各种方法、电子组件和电路。
【附图说明】
[0014]根据以下对本公开的具体实施例的描述，前述和其他目标、特征和优点将变得明显，如附图所示，在不同视图中，相似的附图标记指代相同的部分。附图不一定按比例绘制，而是强调了示出本公开的各种实施例的原理的重点。
[0015]图1是电子环境的框图，在该电子环境中，在线会议处理具有虚拟幕布的用户视频。
[0016]图2是图1的电子环境的用户计算机的框图。
[0017]图3是示出用户环境的图，在该用户环境中，用户30捕捉用于在线会议的用户视频。
[0018]图4是示出形成图2的用户计算机获得的原始用户视频信号的一系列视频帧的图。
[0019]图5是示出形成图2的用户计算机提供的经修改的用户视频信号的一系列视频帧的图。
[0020]图6是由图1的电子环境执行的过程的流程图。
【具体实施方式】
[0021]改进的技术涉及向在线会议提供具有虚拟幕布的用户视频。在使用这种技术的情况下，可以将视野内隐私区域的实况初始内容替换为经修改的视频内容(例如，模糊内容)，以隐藏隐私区域中的任何东西。例如，深度感测技术能够识别背景区域，然后可以将背景区域加以模糊(或以其他方式替换)并从而将背景区域从视图中移除。因此，参与者能够在任何位置处参加在线会议，而不必顾虑在背景中共享了什么。
[0022]图1示出了电子环境20，在电子环境20中，在线会议处理具有虚拟幕布的用户视频。电子环境20包括用户计算机22 (1)、22 (2)、22 (3)、22 (4)...(统称为用户计算机22)、会议服务器24、和通信介质26。
[0023]每个用户计算机(或通用计算装置)22被构造和布置为代表相应用户30来执行有用的工作。与此同时，每个用户计算机22使得其各自的用户30能够参与在线会议，SP视频或web会议。仅作为示例，用户计算机22(1)是由用户30(1)操作的台式工作站。附加地，用户计算机22 (2)是由用户30(2)操作的膝上型计算机，用户计算机22 (3)是由用户30(3)操作的平板电脑设备，用户计算机22 (4)是由用户30(4)操作的智能电话等。
[0024]会议服务器24被构造和布置为管理用户30之间的在线会议。在这种会议期间，用户30能够共享音频数据(例如，提供陈述、提出问题、插入评论等)和视频数据(例如，呈现幻灯片、彼此观看等)。
[0025]通信介质26被构造和布置为将电子环境20的各种组件连接在一起，以使得这些组件能够交换电信号32 (例如，见双箭头32)。至少一部分通信介质32被示出为云，以表明通信介质32能够具有各种不同的拓扑结构，包括骨干网、星形网络(hub-and-spoke)、环路、不规则网络、及其组合等。与此同时，通信介质32可以包括基于铜的数据通信设备和电缆、光纤光学设备和光缆、无线设备、及其组合等。此外，通信介质32的一些部分可以是公共可访问的(例如，互联网)，而通信介质32的其他部分是受限的(例如，私有LAN等)。
[0026]在操作期间，每个用户计算机22向会议服务器24提供参与者信号40(1) ,40(2)、40(3)、40(4)(统称为参与者信号40)的相应集合。参与者信号40的每个集合可以包括表示实况参与者视频的视频信号(例如，来自网络摄像头的馈送、展示者的桌面或幻灯片演示等)、表示实况参与者音频的音频信号(例如，来自参与者头戴式耳机的音频馈送、来自参与者的电话的音频馈送等)、以及附加信号(例如，连接和设置信息、参与者简