合成视频流的制作方法

专利名称：合成视频流的制作方法
合成视频流对相关申请的交叉引用 对相关申请的交叉引用
本申请要求2008年6月30日提交的美国临时申请No. 61/076941的权益。此外，本申 请涉及2008年3月M日提交的要求2008年3月17日提交的美国临时申请No. 61/037321 的权益的国际申请No. PCT/US2008/058006，它们二者通过弓I用合并于此。
背景技术：
视频会议是远程定位的参与者之间的模拟的面对面协作的已制定方法。远程环境 的视频图像广播到本地显示器上，从而允许本地用户看见一个或多个远程定位的参与者并 且与所述参与者交谈。面对面协作期间的社会互动是人们工作的方式的重要部分。有必要允许人们远距 离地在模拟的面对面会晤中进行有效的社会互动。其关键方面是团体的成员之间的非语言 交流以及共同存在于相同位置的感觉，即使一些参与者在远程位置并且仅仅通过视频而被 看见。已经开发了试图实现这点的许多系统。然而，关键的问题阻止这些系统成功或被广 泛使用。例如，社会非语言交流涉及人们收集信息的多种方式，所述信息关乎他人所思和 所感以及使用身体语言、面部表情、团体中的位置和进行的活动所交流的内容。从认知科学 家到感知科学家的许多研究者研究了人类有能力观察人群和看见他们的活动和表情并且 从这些活动和表情对人群中的人们的所思和所感产生强烈的感觉的方式。环境是使得人们 能够“阅读”其他人的关键部分。许多视频会议系统未能将该环境因素考虑进它们的实现 方式中。因此，有必要在视频会议会话期间保留这些认知和感知线索。出于上述原因并且出于本领域技术人员在阅读和理解本说明书后变得清楚明白 的其他原因，在本领域中存在对于可替换的视频会议方法的需要。


图1A-1C为各个实施例使用的公共会晤拓扑布局图。图2A为各个实施例使用的示例背景图像的表示。图2B为要从一个或多个端点接收的用于合成到图2A的背景图像中的视频流的表
7J\ ο图2C为依照一个实施例的将视频流合成到图2A的背景图像上的表示。图2D为依照另一个实施例的将视频流合成到图2A的背景图像上的表示。图3A为各个实施例使用的另一背景图像的表示。图;3B为依照一个实施例的将视频流合成到图3A的背景图像上的表示。图4A-4C绘出了依照一个实施例的校正视频流以及将校正的视频流合成到背景 上。图5A-5D绘出了依照另一个实施例的校正视频流以及将校正的视频流合成到背景上。图6A-6C绘出了依照各个实施例的合成到背景图像上的附加视频流的示例。图7为依照一个实施例的视频会议方法的流程图。图8为依照一个实施例的视频会议系统的框图。
具体实施例方式在本实施例的以下详细描述中，参照了形成其一部分并且其中通过示例示出可以 实施的本公开内容的特定实施例的附图。这些实施例足够详细地加以描述，以使得本领域 技术人员能够实施本公开内容的主题，并且应当理解的是，在不脱离本公开内容的范围的 情况下可以利用其他实施例并且可以做出过程或机械的变化。因此，以下详细描述不应当 在限制性意义上进行理解，并且本公开内容的范围由所附权利要求及其等效物限定。本文描述的各个实施例有利于用于改进社会协作的联合会晤空间视图。这样的实 施例使得本地端点能够通过将多个远程端点的视频流混合到提供社会交流情境的会晤空 间中而创建该多个远程端点的视图。会晤空间在参与者之间被协调以便鼓励精确的社会交 流。各个术语在本说明书中用来描述本发明的各个实施例。为了帮助澄清这些术语的 含义，给出以下定义并且当用在本说明书中时对所述定义进行详细叙述。“端点”定义为任何视频会议位置。在本说明书中，其可以是事件中的参与者。“事件”意欲被广义地理解为包括任何指定的时间和虚拟会晤场所，其为系统提供 交换信息的框架。事件允许至少一个节点发送和接收媒体信息。依照一个示例性实施例， 事件的存在独立且有别于参与协作的所有节点。此外，事件可以在节点交换信息时存在，并 且也可以在没有节点参与时存在。“会晤拓扑”是通过服务组合成逻辑联合“虚拟”空间的会晤出席者/位置的特定 布置。参与者的相对位置和空间关系(房间/桌子形状以及其内的位置)、公共会晤背景元素 (桌子、墙壁等等)、标称观察距离和观察角度都取决于该布置。例如，第一位置可以“放置” 到第二位置的右边和第三位置的左边，并且在第四位置的正对面以形成圆桌布置的组合虚 拟空间(参见图1Α)。位置可以是会晤端点或者会晤端点的子集。“虚拟会晤布局服务”是在网络上提供的中心软件服务，其在形成和执行会晤以及 会晤的变化的计算机实现的过程中完成上面拓扑的形成。“多点视频会晤”是其中超过两个位置加入到单个会晤中的视频会议会晤。“源侧合成”是指来自相机侧的视频图像组合和操纵，其利用端点的外发视频流从 端点创建和发送以便提供通过会晤拓扑规则确定的该端点位置的适当视图。“接收侧合成”是指在接收端点处创建以便提供通过会晤拓扑规则确定的进入流 的特定视图的视频图像组合和操纵。“会晤背景”是基于对象或空间引用的某个元素或者视觉元素的组合，用来从感知 上将视频参与者锚定到隐含的会晤拓扑中。“虚拟协作”定义为其中会晤的至少一些参与者在远程地点处并且借助于视频和 音频媒体流通过网络互连的会晤。“混合空间”被定义为使得它将一个出席者集合的本地物理环境与从两个或更多远程环境传输的其他出席者集合的相应表观空间组合，以便为协作事件创建几何上一致的 共享空间，其维持诸如眼神接触和方向凝视感知之类的自然协作线索。也就是说，其他出席 者的远程环境以几何上与本地出席者的本地物理环境一致的方式表示在所述本地物理环 境中。通过维持几何一致性，得到的混合空间自然地且与利用其自身的混合空间可能类似 地扩展远程环境的方式一致地扩展了本地物理环境。通过这种方式，每个出席者集合的每 个混合空间经历自然的协作线索，例如充分的眼神接触和有关其他事件出席者正在观看何 处的充分的方向感知(例如凝视感知)。因此，每个混合空间为所有出席者集合提供了维度 一致性，即对于不管在本地位置还是在远程位置的所有出席者集合都充分相似的表观共享 空间。“中心管理系统”定义为包括任意数量的硬件、软件、固件部件或者其任意组合的 主计算机。当在本说明书中使用时，中心管理系统可以是一个或多个计算设备的一部分或 者由其主控(host)，所述计算设备包括但绝不限于服务器、个人计算机、个人数字助理或者 包括举几个例子而言诸如编码器、交换机和路由器之类的装置的任何其他处理器。中心管 理系统的各个子系统和模块可以实现不同的功能或作用并且一起仍然是单个单元、程序、 设备或系统。“本地管理系统”定义为包括任意数量的硬件、软件、固件部件或者其任意组合的 客户端计算机。当在本说明书中使用时，本地管理系统可以是一个或多个计算设备的一部 分或者由其主控，所述计算设备包括但绝不限于服务器、个人计算机、个人数字助理或者包 括举几个例子而言诸如编码器、交换机和路由器之类的装置的任何其他处理器。本地管理 系统的各个子系统和模块可以实现不同的功能或作用并且一起仍然是单个单元、程序、设 备或系统。“公共布局”是由其拓扑定义的会晤参与者的空间布置，其在加入的视频会议端点 之间共享。该公共布局可以被认为是会晤空间“主题”，比如会晤室、会堂、会议空间等等。“本地布局”是任何位置将具有的视频会议会晤的特定视图，该视图从他们的角度 看对于他们在公共布局和会晤拓扑中的位置是适当的。“事件管理客户端”是事件管理请求的发起者。它可以是例如利用用户界面的人类 驱动事件，或者来自另一主机或客户端的机器请求，所述另一主机或客户端例如运行事件 管理应用的接待(concierge)系统。各个端点处的主机或客户端可以改变它们参与事件的 方式。因此，“事件管理客户端”不管是人类驱动的还是机器驱动的都允许请求在虚拟协作 事件中启动和/或更新事件。亲自协作会晤典型地发生在适合于会晤类型的某类环境中。该环境可以由会晤拓 扑描述，该会晤拓扑限定了由各个端点实现的公共布局主题以创建虚拟会晤空间。小的会 晤可能在围绕小的桌子的简单房间中虚拟化。较大的正式会晤可能在会议室中虚拟化。向 观众的演示可能在会堂中虚拟化。环境是重要的，因为它提供了连续的几何上一致的空间， 其中参与者可以看见作为虚拟会晤空间中的参与者的其他人。在这种会晤拓扑中，参与者 可以看见保留会晤拓扑的几何一致性的其他人相对于彼此以及相对于他们自己的位置。此 外，他们也可以看见环境中的对象。这些简单的活动实现了社会非语言交流以及与其他人 的接近感，这些是聚集在一起的主要原因。希望的是，与相应本地事件环境无关地维持这样 的关系，不管这些环境是整个会议室、模块系统，还是个人终端(仅举几个例子)。
6
例如，人们需要知道其他人在何处以及他们在注视谁。人们需要看见正确尺寸和 形状的其他人并且看见他们可能谈及环境中的什么对象。在其中会晤的参与者处于远程地 点的常规虚拟协作中，一些人如何阅读其他人的关键非语言因素通常是不可获得的。利用 常规多点视频会议，一系列视频窗口被放置在类数据(data-like)显示器上。也就是说，看 见参与者占据显示器上的分离的视频窗口，并且参与者没有集成到单个几何上一致的环境 中。该分离的视频窗口显示意味着在其他参与者针对会晤团体中的不同参与者时人们不能 精确地解释所述其他参与者的面部表情。人们可以看见他们，但是不能确定其他参与者在 注视谁。会晤中的其他参与者典型地分别以不同的尺寸和放大率并且以不同的高度和位置 显示，这取决于特定视频窗口放置在类数据显示器上的何处。这些人工分割的视频窗口加 强了会晤参与者之间的分开的感觉，并且因而没有创建其中聚集参与者的几何上一致的共 享或“混合”空间的感觉。对于各个的实施例而言，会晤空间部分地借助于背景图像来限定。该背景可以包 含像会晤环境常见的桌子或平台那样的对象。背景图像还可以显示诸如照明、椅子、墙壁 和用于像名称、协作数据和场所以及时日那样的信息的场所之类的信息和项目。该背景图 像可以由像素(例如固定的图像数据集合)限定，或者它可以在逻辑上限定，例如按尺寸、放 置、颜色、浓淡等等限定元素。来自网络的视频流被带到本地地点并且正确地合成到该会晤 拓扑环境中。可替换地，视频流完全地或者部分地在主机地点处合成并且然后进一步合成 或直接显示以供观看。本文描述的方法包括协调该虚拟会晤空间中的信息和各个视频流中 的信息。例如，如果会晤围绕桌子，那么会晤空间可以在背景图像中示出该桌子，并且视频 流也可能具有正确尺寸的桌子片段以便与背景桌子对准。在一些情况下，远程视频流创建 满足会晤拓扑要求的有效流可能有困难。本文描述的方法可以进一步提供“将信息添加到” 缺乏要求的正确结构的这样的视频流或者“从这样的视频流移除信息”。在各个实施例中，通过“虚拟会晤布局服务”协调视频流中的信息以创建保留社会 非语言交流的引人注目的多点视频会晤环境。协调会晤空间的方法通过用于在源侧端点和 /或接收侧端点处合成正确信息的规则建立。大多数常规多点视频会议应用将参与者显示视频分开为尤其是显示器上的桌面 窗口。这些参与者窗口以某种不协调或者预定的方式布置，但是没有努力将视频混合到几 何上一致的环境桌面图像主题中。例如，一个常规的视频会议应用可以为各种类型的信息创建桌面上的窗口的布 置。例如，单个参与者的视频流可以显示在视频显示器的左上角处的单个窗口中。来自一 个房间的全景图像可以显示在视频显示器的底部的另一窗口中，等等。因此，来自不同地点 的视频流被分开地显示。在其他示例中，其他常规视频会议应用可以创建布置多点视频流的比 例(perspective)方法。桌面被制成黑色的背景，其中视频流放置在合乎比例(in perspective)示出的窗口中以便创建该视频为弯曲空间或多面体空间的一部分的幻觉。然 而，这样的比例方法没有解决若干问题。在视频的大小与桌面的相对尺寸之间不存在关系。 视频窗口以一般的尺寸显示，而不是以适合于流的内容的尺寸显示。这些比例方法具有一 个背景并且不能够根据会晤类型改变背景。背景和布置对于所有会晤是相同的并且不存在 参与者的位置的协调，因而团体中人们的相对位置没有在所有参与者之间得到维持。因此，他们在几何上不一致，他们也不共享公共混合空间。本文描述的方法和装置通过创建与特定会晤类型协调的适当会晤背景以及借助 于以保留相对于来自其他端点和会晤元素(比如桌子)的其他视频流的尺度、形状和位置的 方式将参与者视频流合成到这些背景上创建参与者的几何和相对定位而解决了这些现有 系统的问题。会晤拓扑通过几何上一致的参与者位置来限定，其具有在虚拟会晤内的各个端点 之间一致地共享的环境的公共布局。该公共布局包括布局中的座位位置和端点的相对取 向。该公共布局可以示为图1A-1C中绘出的显式图。可替换地，该公共布局可以由例如2006 年11月13日提交并且题为“Blended Space for Aligning Video Streams”的共同受让 的美国专利申请11/559348中的数学关系限定，该文献通过引用合并于此。图IA示出了端 点的圆形布局，其围绕桌子100分配相对位置。在该公共布局中，端点101在其左边具有端 点102，端点103在正对面，并且端点104在其右边。与该公共布局相一致，端点101于是可 以从左至右显示来自端点102、103和104的图像。应当指出的是，该布局不受各个端点的 实际物理位置的限制，而是与它们在虚拟会晤空间内的相对放置有关。类似地，端点102于 是可以从左至右显示来自端点103、104和101的图像，并且对于其余端点，依次类推。对于 这种会晤类型，如在这里更详细地描述的，每个端点可以显示来自其他端点的合成到描绘 桌子的背景上的图像。图IB示出了端点的会堂公共布局，其将相对位置分配成仿佛就座于会堂中。在 这种公共布局中，“指导者”端点101可以显示来自所有其余端点102-113的合成到描绘会 堂的阶梯型座位的背景上的图像，而每个“学生”端点102-113仅可以显示来自端点101的 合成到描绘平台的背景上的图像。描绘会堂的背景可以被描绘成给出具有几何一致性的 深度外观，使得朝向会堂后面的端点(例如109-113)将比朝向会堂前面的端点(例如端点 102-104)使用更小的尺度。图IC示出了端点的教室公共布局，其将相对位置分配成仿佛就座于包含两个桌 子100的教室设置中。在该示例公共布局中，“指导者”端点101可以显示来自所有其余端 点102-109的合成到描绘两个供参与者就座的桌子的背景上的图像。该背景可以进一步地 合乎比例地描绘成具有几何一致性，使得后面的桌子将显得更小。可以使用模拟参与者位 置的物理取向的其他公共布局并且本公开内容并不受限于任何特定布局。应当指出的是， 公共布局可以是例如由主机服务器上的主控服务维护的单一定义，或者它可以是具有例如 由对等网络中连接的不同端点处的客户端成员维护的相同的总体公共会晤拓扑定义的两 个或更多相关布局。不管端点的数量或者选择的会晤类型如何，各个实施例都利用每个端点共同的会 晤拓扑的公共布局。该公共布局将依照会晤拓扑限定每个端点的合成图像中的参与者的相 对放置和视频流的相应几何形状以及要用于每个端点的相应背景图像以便构造总体虚拟 会晤空间。然而，如上面例如关于会堂会晤类型所指出的，背景图像不必对于每个端点都是 相同的，而是仅仅依照会晤拓扑中的公共布局对于每个端点进行限定。对于一个实施例而言，公共布局在中心管理系统处限定，例如主控服务，在端点之 间协调视频会议。每个端点的本地管理系统与中心管理系统协调以便至少确定a)正在举 行什么类型的会晤，b)从该本地端点希望什么视频流，以及C)从远程端点将接收什么视频
8流，以及d)将使用什么背景。该背景图像可以显示诸如照明、桌子、椅子、墙壁和用于像名 称、协作数据和场所以及时日那样的信息的场所之类的信息和项目。因此，每个背景图像对 于每个端点可以是不同的，但是对于会晤拓扑内的公共布局保持一致。对于另一个实施例 而言，端点之一除了是视频源和端点客户端之外还包括中心管理系统的功能。对于一个实施例而言，本地客户端端点提供与会晤拓扑的公共布局建立的几何和 内容规则一致的视频流(源侧合成)。例如，几何规则包括但不限于捕获场、变焦放大率、相 机角度和纵横比。内容规则可以包括针对公共布局建立的会晤拓扑处理像适当颜色的背 景、桌子和椅子那样的项目的规则。可替换地，在接收侧合成中，视频流可以由中心管理系 统或者由远程接收端点编辑以便满足公共布局的规则。在其中本地客户端端点不能直接从利用其相机捕获的图像创建用于会晤拓扑规 则的有效流的情况下，本地客户端端点也可以有机会编辑该视频流。该视频流编辑可以 包括缩放到希望的图像尺寸、裁剪以移除不希望的元素或者填补以将图像填充到希望的尺 寸，包括添加背景的可能性。在从参与端点创建用于会晤拓扑规则的希望的视频流之后，对于合乎会晤拓扑规 则的希望的视频流，将每个本地端点的视频流合成到相应会晤空间背景上。会晤空间背景 用适当结构填充图像之间的间隙并且创建用于会晤空间的情境。对于一些实施例而言，本地端点的捕获场(即捕获图像的几何形状)由会晤拓扑规 则中的公共布局限定。例如，公共布局可以限定每个本地端点具有要在图像中放置四个座 位位置的捕获场。从标准捕获场创建视频流可以通过对相机的平移-倾斜-缩放-聚焦控 制来物理地完成，或者通过对较大图像的数字裁切或其他操纵来数字地完成。多个场可以 从单个本地空间端点捕获并且用作公共布局中的分离的模块。公共布局可以例如通过将具 有多个场的本地端点作为会晤拓扑中的分离的本地端点看待来计及所述具有多个场的本 地端点。参与虚拟视频会议的每个本地端点将具有其自身的事件视图。对于一些实施例而 言，每个本地端点将具有不同的视图，即本地布局，该本地布局与其在会晤拓扑内的公共布 局中限定的定位相对应。本地布局是建立用于显示符合这些规则的视频流的位置的系统。下面的各个实施 例将通过使用围绕圆桌的会晤空间的示例加以描述。到诸如会堂或教室之类的其他会晤空 间几何形状的扩展根据这样的示例将是清楚明白的。图2A为圆桌会晤拓扑的各个实施例使用的示例背景图像204的表示。背景图像 204包括与背景幕203对照的前景中的桌子图像202。背景图像204可以用来描绘例如与 图IA的公共布局相对应的虚拟会晤空间。如图2A中所示，桌子图像202是合乎比例的桌 面的抽象表示。然而，桌子图像202可以呈现更真实的外观，例如合并了腿、纹理、颜色等 等。类似地，背景幕203也可以通过合并诸如窗户、门、椅子、壁缝等之类的其他建筑元素而 呈现更真实的外观。图2B为要从一个或多个端点接收的用于合成到图2A的背景图像中的视频流 206a-206c的表示。例如，视频流206a_206c可以从诸如图IA的端点102、103和104之类 的三个端点接收。可替换地，视频流206a-206c可以从具有捕获相同端点的三个不同视图 的三个相机的单个端点接收。每个视频流206被捕获或编辑以符合公共布局的几何规则，
9例如在该示例中图IA的公共布局圆桌会晤拓扑。对于使用视频流的捕获后编辑以符合公 共布局的规则的各个实施例而言，视频流206可以在源端点处、由中心管理系统或者由接 收端点编辑。对于该示例实施例，公共布局可以限定几何规则，作为一些示例，例如视频流 206的放大、旋转、比例、它们的纵横比以及每个流内桌子200边缘的放置。公共布局还可以 限定审美内容规则，例如诸如桌子200的颜色匹配桌子图像202的颜色以及背景幕201的 颜色匹配背景图像204的背景幕203的颜色。图2C为将视频流206a-206c合成到背景图像204上的表示。如图2C中所示，其 在每个视频流206中的放置由公共布局限定的桌子200的边缘被定位成与桌子图像202的 边缘对准以便给出视频流206的参与者就座于单个桌子处的印象，即创建其中观看合成背 景图像的本地端点的参与者能够将远程参与者感知为相对于本地参与者就座于桌子对面 的虚拟会晤空间。通过限定背景图像204的几何形状，接收的视频流206的希望的几何形 状将由其在背景图像204中的放置限定。例如，通过知道桌子图像202的几何形状，要被合 成以便显现其参与者就座于桌子图像202之后的任何视频流206的几何形状可以被限定成 使得桌子200的边缘正确地与桌子图像202的边缘对准。尽管图2B的视频流被示为根据其在图2C的合成背景图像中的放置而具有不同 的几何形状，但是为每个接收端点维持端点的相对定位可能涉及从每个端点创建多个视频 流。例如，参照图IA的公共布局，来自端点102的视频流在从端点101观看时将具有视频流 206a的几何形状，在从端点104观看时将具有视频流206b的几何形状，并且在从端点103 观看时将具有视频流206c的几何形状。尽管该合成图像可以通过使用其中每个相机被配 置成捕获适当的视频流几何形状的多个相机实现或者通过单个视频流的非矩形裁切实现， 但是一种可替换方案可以是合乎比例地显示视频流206以使其桌子200的边缘与桌子图像 202的边缘对准。图2D为合成背景图像的表示，其中视频流206a-206c中的每一个符合单 一几何形状，例如视频流206b的几何形状，但是视频流206a和206c合乎比例地显示以使 其桌子200的边缘与桌子图像202的边缘对准。应当指出的是，尽管桌子200的边缘基本上与图2C或图2D的桌子图像202的边 缘对准，但是不存在绝对对准的要求。目的仅仅是有利于单个会晤空间的感知。为了降低 从绝对对准的任何转移(distraction)，通常可以柔化桌子图像202的边缘。图3A为背景 图像204的表示，其示出具有柔化的边缘的桌子图像202。背景图像204还包括分别在背景 图像204的上面部分和下面部分处的元素208和210。被示为通常从较暗逐渐变成较亮的 元素208和210可以用来集中对端点的视频流的注意。图:3B示出了合成到图3A的背景图 像204上的视频流206a-206c。尽管图2C、图2D和图;3B绘出了具有相同图像尺寸的视频流206，但是来自一些端 点的捕获的视频流可能不能够提供正确的尺寸，或者可能存在包含于视频流内容中的不希 望的元素。图4A为依照一个实施例的从一个或多个端点接收的用于在背景图像中合成的 视频流206a-206c的表示。图4A中绘出的视频流206b被示为只有两个参与者，留下空椅 子在图像中作为不希望的内容。视频流206a-206c进一步被绘出在其图像内包括壁缝212。 为了从视频流206b中移除空椅子，可以如虚线214所示裁切图像。视频流206b的裁切可 以产生如图4B中所示的视频流206bl。应当指出的是，视频流206b的裁切不仅移除了空椅 子，而且移除了这个示例中的壁缝212。应当指出的是，视频流206bl也可以代表不能够产生具有希望的尺寸的图像的端点的视频流。例如，对于被配置用于两个参与者而不是四个 参与者的端点而言，其捕获场可能不能扩展得足够远以便在与被配置用于四个参与者的端 点的捕获场相同的尺度下捕获其两个参与者。图4B的视频流206a、206bl和206c可以照现在的样子合成到背景图像204上，如 图4C中所绘。如图4C中所示，背景元素208具有与视频流206a和206c的壁缝212对准 的边缘216。这种对准在合成图像中承载了该建筑人工产物(即壁缝212)的感觉。然而， 视频流206bl缺乏来自其端点的壁缝212的捕获。如果该壁缝是希望的，那么可以采用抠 图(matting)或者其他操纵以便从裁切的视频流添加希望的元素，或者简单地将希望的元 素放回到几何上比希望的小的视频流。图5A为具有如公共布局(例如在该示例中图IA的公共布局)所限定的希望的几何 形状的面层(mat) 218的表示。面层218也合并了壁缝图像220和桌子图像222。可以将面 层218变暗和变模糊(图5A中未绘出，但是参见关于图:3B的讨论)以便使其在视觉上没有 要校正的视频流那么重要并且不使观看者分心。图5B为源侧合成视频流206b2的表示，其 中视频流206bl在创建视频流的端点处合成到面层218上。通过这种方式，图5C的视频流 206a、206 和206c可以提供连续几何空间的感知。图5D为合成图像的表示，其示出合成 到背景图像204上的图5C的视频流206a、206l32和206c。与图4C的合成图像不同的是， 每个视频流206现在维持与视频流206a和206c的壁缝212以及视频流206 的壁缝图像 220 一致的外观，所述壁缝与背景元素208的边缘216对准。除了来自参与端点的视频流之外，合成图像还可以包括添加诸如信息元素或者标 识信息之类的内容。图6A绘出了背景图像204的一个示例，该背景图像包括桌子图像202、 三个视频流206a-206c以及白板224，其全部合成到单个合成图像中。图6B绘出了另一示 例，其中白板2M放置在与示出远程参与者的视频流206相同的空间中。图6C绘出了包含 在合成图像中以便标识分别与视频流206a-206c相对应的起始位置的标识信息226a_2^c 的示例。可替换地，标识信息2^a-226c可以用来标识参与视频会议的部门、团队或公司。 信息元素或标识信息的其他示例对于涉及视频会议的那些技术人员而言将是清楚明白的。图7为依照一个实施例的视频会议方法的流程图。在770处，对于与选择的会晤类型相对应的视频会议的参与者限定用于会晤拓扑 的公共布局。该公共布局对于会晤拓扑内的每个参与端点的位置在每个参与端点之间是一 致的并且限定虚拟会晤空间的几何形状。然而，如上面例如关于图IB和图IC的公共布局 所指出的，不同的端点可以是会晤空间内的不同角色。在772处，限定符合公共布局的一个或多个背景图像。从每个参与端点的视点来 看，用于该参与端点的背景图像绘出了选择的会晤类型的会晤空间的视图。公共布局限定 了用于每个参与端点的背景图像的类型，其通常符合公共布局的几何形状。如上面所指出 的，多个背景图像可能可用于每个公共布局。类似地，背景图像不必对于每个端点是一致 的，而是由用于全局会晤类型的会晤拓扑基于每个端点在全局会晤类型中扮演的角色来确 定。例如，在教室会晤类型中，充当指导者的一个端点可以利用与充当学生的其余端点不同 的背景图像，但是从参与者在该会晤中的角色的角度来看，每一个都符合公共布局的几何 形状。在774处，对于要从参与视频会议的端点接收的视频流限定几何规则。这些规则
11符合公共布局和选择的背景图像以便允许将视频流与背景图像合成以对于公共布局限定 的会晤类型促进虚拟会晤空间的感知。视频流的几何规则的实施可以由源端点实现，例如 在传输该视频流之前捕获具有希望的几何形状的图像或者捕获图像并且编辑该图像以获 得希望的几何形状。如上面所指出的，校正可以包括对图像的裁切、抠图或者其他操纵以获 得希望的几何形状。可替换地，中心管理系统或者甚至接收端点可以校正不符合公共布局 规则的接收的视频流以便获得希望的几何形状。例如，中心管理系统可以获得来自不能够 提供希望的几何形状的端点之一的视频流。接着，中心管理系统可以校正该不符合的视频 流以获得希望的几何形状。然后，将该校正的视频流提供给一个或多个其他端点。在另一 个示例中，接收端点可以在将该不符合的视频流合成到背景图像中之前校正该视频流。在776处，对于每个参与端点限定其背景图像中的位置以便放置来自其他参与端 点的视频流。这些位置由公共布局内端点的相对定位以及视频流和背景图像的几何形状确 定。在778处，将来自一个或多个远程端点的视频流合成到本地端点的背景图像上。 将具有希望的几何形状的视频流合成到背景图像上，使得每个视频流的一个或多个元素的 边缘与背景图像的对应的一个或多个元素的边缘对准，以促进由每个端点的参与者共享的 单个虚拟会晤空间的感知。此外，可以将诸如信息元素或标识信息之类的附加的图像或内 容合成到背景图像上。图8为依照一个实施例的视频会议系统880的框图。视频会议系统880包括用于 参与视频会议的一个或多个端点101-104。端点101-104与网络884通信，该网络例如电话 网络、局域网(LAN)、广域网(WAN)或者因特网。对于端点101-104中的每一个而言，通信可 以是有线的和/或无线的。视频会议系统880被配置成执行本文描述的方法。视频会议系 统880包括通常称为主控服务的中心管理系统882以及本地管理系统883。端点101-104 中的每一个包括其自身的本地管理系统883。中心管理系统882限定哪些端点参与视频会 议。这可以通过中心调度完成，或者通过处理来自本地端点的请求完成，或者由任何事件管 理客户端完成。中心管理系统882限定用于参与事件的每个本地端点101-104的对应背景 图像以及事件会晤拓扑的公共布局。中心管理系统882还可以提供将背景图像中的位置与 参与事件的远程端点的视频流发生器相联系的流连接信息。对于源侧合成，本地管理系统 883将各个接收的视频流合成到背景图像上以产生其合成图像。可替换地，中心管理系统 882可以将接收的视频流合成到背景图像上并且向每个参与端点提供与其在公共布局中的 视图相对应的合成图像。本地管理系统883可以是端点的一部分，例如与每个端点关联的客户端计算机， 或者它可以是分离的部件，例如服务器计算机。中心管理系统882充当主计算机并且可以 是端点的一部分或者与所有端点分离，例如，中心管理系统882可以是网络884上的服务器 计算机的功能。本地管理系统883可以包括具有一个或多个处理器以提供客户端能力和服 务器能力的单个计算机。例如，客户端端点可以具有工作于虚拟会晤内的计算机系统上的本地管理系统 883。可选地，客户端端点可以为虚拟协作事件中的另一客户端端点提供主机服务。计算机 包括计算机可读存储器，其被配置成允许计算机实现用于虚拟协作事件的本地布局的合成 功能。计算机接收来自主机中心管理系统882的信息以便设置用于在计算机处接收的多个
12视频流的公共布局的规则。通过以下方式创建合成图像基于公共布局的规则将所述多个 视频流合成到包含对象的背景上，同时保持所述多个视频流的正确的比例、顺序以及与所 述对象基本对准中的至少一个。背景是用所述对象的适当结构填充所述多个视频流之间的 间隙的会晤空间。背景有助于为虚拟协作事件的参与者创建会晤空间的情境。合成图像在 客户端端点内的显示器上显示或者如果客户端端点充当主机服务的话，则发送到远程客户 端。客户端计算机也可以针对给定会晤类型和给定数量的参与者向主机请求用于公 共布局的规则。如果客户端计算机不执行该请求，则其由事件中的另一客户端计算机或者 其他事件管理客户端完成。客户端计算机也可以对接收的视频流进行抠图以替换或者添加希望的元素，使得 视频流满足公共布局的规则。客户端计算机也可以基于公共布局的规则通过使用相机定 位、缩放、角度、比例、捕获场或者纵横比中的至少一种技术产生至少一个视频流。客户端计 算机也可以利用抠图对接收或产生的视频流进行捕获后编辑以便替换或添加希望的元素 以允许它们符合公共布局。此外，公共布局的背景可以包含视频流要对准的多个对象。这 些对象可以具有至少一个柔化的边缘或者可以存在从较暗淡逐渐变到较亮的对象元素。中心管理系统充当为虚拟协作事件提供虚拟会晤公共布局服务的主机。当这样做 时，接收来自客户端的请求以便基于事件类型、事件端点列表和端点能力中的至少一个组 织联合会晤空间事件，例如在联合会晤空间中发生的事件。主机确定用于包含对准对象的 背景的背景规则，所述一个或多个事件端点中的每一个要将视频流基本上与所述对准对象 对准。确定的背景规则作为联合会晤空间事件的公共布局的规则被发送到每个事件端点。主机也可以基于组织的联合会晤空间确定用于事件端点之间的或者主机和端点 之间的视频流管理的规则。主机可以将所确定的用于视频流对准的规则作为用于公共布局 的规则的一部分而发送。主机也可以接收来自一个或多个事件端点的视频流以便基于用于 公共布局的规则创建至少一个合成流。如果主机也充当客户端端点，那么它可以在其本地 显示器上显示该合成流。如果主机将合成服务提供给另一事件端点，那么它可以将该合成 流发送到该事件端点以便在该位置处显示。主机也可以接收来自至少一个端点的视频流并且对接收的视频流进行抠图以替 换或添加与用于公共布局的规则一致的希望的元素。然后，主机可以将该经过抠图的视频 流发送到另一事件端点以便显示。背景可以包括视频流要与其对准的多个对象。这些对准对象可以具有一个或多个 柔化的边缘和/或从较暗逐渐变到较亮的其他元素。中心管理系统可以被配置成充当具有应用编程接口(API)的主机以便通过经由网 络与客户端端点以及可能地与其他事件管理客户端通信而提供设置和配置用于事件的联 合会晤空间所需的各个功能。API被配置成接收来自客户端的请求并且将对于这些请求的 响应提供回到相应的客户端。来自客户端的请求可以使得主机执行以下一个或多个动作
a.限定用于与网络通信并且参与视频会议的两个或更多端点的公共布局，其中该公 共布局与限定具有一致几何形状的会晤拓扑以及所述两个或更多端点的相对定位的选择 的会晤类型相对应；
b.限定符合公共布局的一个或多个背景图像，其中用于每个参与端点的背景图像描
13绘了从该参与端点的视点来看的选择的会晤类型的会晤空间的视c.限定用于要从所述两个或更多端点接收的视频流的几何规则，其中这些几何规则 符合公共布局；以及
d.对于每个参与端点限定相应背景图像内的相对位置以便放置来自一个或多个其他 参与端点的视频流，其中用于放置视频流的背景图像内的相对位置包括限定位置，使得每 个视频流的至少一个元素的边缘被放置成与该背景图像的至少一个对应元素的边缘对准。此外，主机API可以被配置成编辑参与端点的不符合几何规则的视频流。而且， API可以被配置成将来自一个或多个端点的视频流合成到符合公共布局的背景图像上。API 也可以被配置成将一个或多个背景图像限定成具有一个或多个元素的柔化的边缘或者具 有一个或多个从较暗逐渐变为较亮的元素。所描述的各个实施例相对于其他现有解决方案具有优势。源侧合成可以用来在传 输视频流之前校正图像尺寸和内容。这使得接收端点容易将源侧合成视频流布置到适当背 景图像上的最终合成全景多点图像中。端点处的接收侧合成允许对照背景布置许多尺寸的流，这提高了环境和连通性的 感觉。通过中心管理协调这些合成操作允许会晤中的所有参与者具有更好地模拟公共会晤 环境的一致性视图和布置。因此，可以存在至少两个合成级别
1.创建代表单独端点的视频流。用于视频流的信息仅仅来自该地点。2.将来自多个地点的流组合到事件背景上。在一个实施例中，可以在源侧进行以上所述的(1)，将多个视频流与本地背景图 像组合。这种类型1的合成用来针对与事件所需的尺寸的尺寸失配“校正”图像。在主 机处或者在由主机提供的服务处进行类型1的合成的优点在于，可以调节视频流以适合 本身不能处理视频流以满足公共布局的接收客户端端点。例如，一些常规视频会议终端 或房间当前不能够裁切图像或者改变图像的尺寸。因此，一个端点可能需要给非顺从的 (non-compliant)公共布局端点的显示器创建用于直接显示的有效视频流。在一个实施例中，类型(2)的合成在客户端端点侧完成。来自多个端点的流被每 个客户端端点接收。然后，每个客户端端点将这些流合成到为事件限定的公共布局中。背 景类型和公共布局的布置与会晤中心管理系统协调，无论会晤中心管理系统在网络上什么 地方。存在事件端点实施或请求主机服务提供的不同级别的操作，可以为全部需要有关 公共布局事件的信息(公共布局规则)的视频流限定所述不同级别的操作。对于单独的视频流操作，事件端点或主机可以通过以下方式对视频流进行操作以 便满足公共布局规则
a)相机配置捕获来自本地主机的原始实况视频流。相机的正确的流生成配置(放大 率(缩放)、带宽、视图等等)基于主机提供的规则中的公共布局会晤配置信息来选择。b)非相机配置对实况图像的操作视频流校正以校正放大率和分辨率。a.可以包括对视频图像的任何调节，例如选择子区或缩放。这里的关键是基于主 机/中心配置公共布局规则执行该操作以实现规定的流几何形状。c)非相机配置将流与背景或子背景(背景的部分)合成以创建正确的尺寸、分辨率、放大率和背景类型以便满足公共布局规则。对于多个流操作而言，事件端点或主机可以通过以下方式对视频流操作以便满足 公共布局规则
d)收集来自网络上各个端点的正确原始流。基于公共布局规则从多个可用视频流中选择。e)基于公共布局规则选择正确的会晤布置和背景。f)将视频流布局和对准到公共布局会晤背景上的窗口中并且依照公共布局规则 合成。这些操作可以发生在源(主机)或接收(客户端)端点处或者充当主机服务的计算 机上的某个过程处。通常，存在一定的操作顺序，其中这些操作通常如上面所指出的从a) 到f)进行。在一个实施例中，协调主机和客户端以便分配上面的操作a)_f)。例如，在一个实 施例中，视频会议端点主要在主机处执行a-c并且在客户端处执行d-f。在另一个实施例 中，所有步骤都在一个主机或客户端中执行。在另一个实施例中，操作a)_d)在端点客户端 处进行并且操作e) -f)基于来自中心管理服务器的公共布局规则进行。操作b) -c)可以 在主机服务或者端点客户端处执行。例如，较旧的视频远程出席会议端点可能只能依照公 共布局规则提供非顺从的视频流。主机服务或客户端可以在操作d) -f)之前在操作b)和 c)中修复所述流。
1权利要求
1.一种用于虚拟会晤的计算机，所述计算机具有被配置成允许该计算机执行包括以 下的步骤的计算机可读存储器接收来自主机的信息以便设置用于在该计算机处接收的多个视频流的公共布局的规则；通过以下方式创建合成图像基于所述公共布局的规则将所述多个视频流合成到具有 对象的背景上，同时保持所述多个视频流的正确的比例、顺序以及与所述对象基本对准中 的至少一个，其中所述背景是用所述对象的适当结构填充所述多个视频流之间的间隙的会 晤空间，并且其中所述背景创建所述会晤空间的情境；以及 在显示器上显示所述合成图像。
2.权利要求1的计算机，其中计算机可读存储器进一步被配置成使得该计算机执行 步骤针对给定会晤类型和给定数量的参与者向主机请求用于公共布局的规则。
3.权利要求2的计算机，其中计算机可读存储器进一步被配置成使得该计算机执行 以下步骤中的至少一个抠图以替换希望的元素以及抠图以便将希望的元素添加到不满足 用于公共布局的规则的视频流上。
4.权利要求1的计算机，其中计算机可读存储器进一步被配置成使得该计算机执行 步骤基于用于公共布局的规则通过使用相机定位、缩放、角度、比例、捕获场和/或纵横比 中的至少一个产生至少一个视频流。
5.权利要求1的计算机，其中计算机可读存储器进一步被配置成使得该计算机执行 以下至少一个步骤捕获后编辑、抠图以替换希望的元素以及抠图以便将希望的元素添加 到至少一个产生的视频流以及接收的多个视频流中的至少一个以符合用于公共布局的规 则。
6.权利要求1的计算机，其中所述背景包含所述多个视频流要对准的多个对象。
7.权利要求6的计算机，其中所述对象具有柔化的边缘以及从较暗逐渐变到较亮的 元素中的至少一个。
8.一种用于提供虚拟会晤公共布局服务的方法，包括接收来自客户端的请求以便基于事件类型、事件端点列表和端点能力中的至少一个组 织联合会晤空间事件；为包含对准对象的背景确定背景规则，其中所述一个或多个事件端点中的每一个要将 视频流基本上与所述对准对象对准；以及将确定的背景规则作为用于联合会晤空间事件的公共布局的规则发送到每个事件端点ο
9.权利要求8的方法，还包括基于组织的联合会晤空间确定用于事件端点和/或主机 之间的视频流管理的规则以及将所确定的用于视频流对准的规则作为用于公共布局的规 则的一部分而发送。
10.权利要求8的方法，还包括接收来自一个或多个事件端点的视频流以及基于用于 公共布局的规则创建至少一个合成流。
11.权利要求10的方法，还包括将所述合成流发送到另一事件端点以便显示。
12.权利要求8的方法，还包括接收来自至少一个事件端点的视频流并且对该视频流 进行抠图以便实现以下至少一个替换与用于公共布局的规则一致的希望的元素以及添加所述希望的元素。
13.权利要求12的方法，还包括将所述抠图的视频流发送到另一事件端点以便显示。
14.权利要求8的方法，其中背景包括将视频流与其对准的多个对象。
15.权利要求9的方法，其中所述对准对象具有柔化的边缘以及从较暗逐渐变到较亮 的元素中的至少一个。
16.一种用于视频会议的主控服务器，包括服务器计算机，其用于与网络通信，被配置成接收来自客户端的请求并且提供响应给 客户端，所述请求使得该服务器执行以下步骤中的一个或多个，所述步骤包括限定用于与所述网络通信并且参与视频会议的两个或更多端点的公共布局，其中该公 共布局与限定具有一致几何形状的会晤拓扑以及所述两个或更多端点的相对定位的选择 的会晤类型相对应；限定符合所述公共布局的一个或多个背景图像，其中用于每个参与端点的背景图像描 绘了从该参与端点的视点来看的选择的会晤类型的会晤空间的视图；限定用于要从所述两个或更多端点接收的视频流的几何规则，其中所述几何规则符合 所述公共布局；以及对于每个参与端点限定相应背景图像内的相对位置以便放置来自一个或多个其他参 与端点的视频流，其中用于放置视频流的背景图像内的相对位置包括限定位置，使得每个 视频流的至少一个元素的边缘被放置成与该背景图像的至少一个对应元素的边缘对准；并 且其中该服务器计算机将该请求的限定的结果返回到相应客户端。
17.权利要求16的主控服务器，还包括其中所述服务器被配置成提供编辑参与端点的不符合几何规则的视频流。
18.权利要求16的主控服务器，其中所述请求进一步使得服务器执行步骤将来自一个或多个端点的视频流合成到符合公共布局的背景图像上。
19.权利要求16的主控服务器，其中限定一个或多个背景图像包括将一个或多个背 景图像限定成具有所述背景图像的一个或多个元素的柔化的边缘。
20.权利要求16的主控服务器，其中限定一个或多个背景图像包括将一个或多个背 景图像限定成具有所述背景图像的一个或多个从较暗逐渐变到较亮的元素。
全文摘要
方法和装置用于基于公共布局的规则将多个视频流合成到具有至少一个对象的背景图像上，同时保持所述多个视频流的正确的比例、顺序以及与所述对象基本对准中的至少一个。背景被限定为用所述对象的适当结构填充所述多个视频流之间的间隙的会晤空间。背景创建了会晤空间的情境。
文档编号H04N7/15GK102077587SQ200980125233
公开日2011年5月25日 申请日期2009年6月30日 优先权日2008年6月30日
发明者L. 艾伦 B., D. 德罗彻尔 M., E. 戈日恩斯基 M. 申请人:惠普开发有限公司