专利名称：用于使用多个摄影机和多个监视器的可缩放视频通信的系统和方法
用于使用多个摄影机和多个监视器的可缩放视频通信的系统和方法
相关申请的交叉引用
本申请要求2010年5月25日提交的美国临时申请S/N. 61/347，994的优先权，其通过引用整体结合于此。技术领域
所公开的主题涉及视频通信系统，并且具体地涉及其中一个或多个参与者可访问一个以上摄影机和/或一个以上显示器的点对点或多点视频通信系统。
背景技术：
诸如用于视频会议的视频通信系统通常包括针对每一参与者的单个摄影机和单个显示器。这通常是该系统主存在个人计算机上时的情况。期望在专用会议室中使用的高端系统可表征为多个监视器。第二监视器通常专用于应用共享材料(“内容”)。当不使用此类内容时，一个监视器可表征为最响的扬声器而另一监视器示出部分或全部的其余参与者。
近年来，对所谓的“遥现(tel印resence)”系统有显著的兴趣。这些系统是旨在传达远程参与者“处于同一房间中”的感觉的系统。为了实现该目标，这些系统利用多个摄影机以及多个显示器。显示器和摄影机置于经仔细计算的位置，从而能够给出目光接触的感觉。虽然具有仅仅两个或三个以上显示器的配置也是可用的，但是典型的系统包括三个显示器(左、中和右)。
显示器位于会议室中的经仔细选择的位置。假设从会议桌的任何物理位置查看每一显示器都给出远程参与者物理地位于该房间中的幻觉。这通过使如所显示的人的确切大小与如果对象实际上出现在该房间内察觉到的位置他或她可具有的预期实际大小相匹配来实现。高端系统甚至还匹配家具、房间颜色和照明以进一步增强逼真的体验。
为了有效，遥现系统必须提供非常高的分辨率，并且在非常低的等待时间的情况下操作。例如，这些系统可以高清(HD)1080p/30的分辨率(即，每秒30帧地逐行1080条水平线)操作。为了消除等待时间和分组丢失，这些系统还使用专用的多兆比特网络并且通常在点对点或交换配置中操作(即，它们避免转码)。
传统视频会议系统假设每一端点配备有单个摄影机，尽管它们可配备有若干显示器。例如，Vidyo公司生产的可购得的VidyoRoom HD-220系统配备有一个摄影机和两个监视器。双监视器配置可以若干不同的方式使用。例如，可在主监视器中显示活动发言者，其中在较小窗口的矩阵中的第二监视器中示出其他参与者。矩阵布局被称为“连续的在场”， 因为参与者连续地呈现于屏幕上而不是取决于谁是活动发言者来切换进出。替换方式是使用第二监视器显示内容(例如，来自计算机的幻灯片演示)并使用主监视器示出参与者。然后，如同单监视器系统一样地处理主监视器。
表征为多个摄影机的遥现系统被设计成将每一摄影机分配给它自己的编解码器。然后，具有三个摄影机和三个屏幕的系统可使用三个单独的编解码器在每一端点处执行编码和解码。可使用专用信令(signaling)或者现有协议的专用信令扩展将这些编解码器连接到远程站点上的三个对应编解码器。
三个编解码器通常被标识为“左”、“右”和“中”。在该文档中，从系统用户的观点来看这些位置基准为左，在该上下文中为坐在摄影机前方且正在使用系统的用户的左手侧。 音频通常为立体声，并且可通过中央编解码器来处理。除了三个视频屏幕以外，遥现系统通常包括第四屏幕以显示诸如演示之类的计算机相关内容。这被称为“内容”或“数据”流。
与传统视频会议系统相比，遥现系统遭遇独特的挑战。关键的挑战是这些系统必须能够处理多个视频流的事实。传统视频会议系统只处理单个视频流、以及任选的针对内容的附加“数据”流。即使当多个参与者存在时，多点控制单元(MCU)也负责将多个参与者合成在单个帧中并将经编码的帧发射到接收端点。当今的现有系统解决以两种不同方式进行多流支持的需求。一种方式是建立与视频摄影机一样多的连接。这意味着对于三个摄影机系统，已建立了三个单独的连接。注意，机构必须设置成正确地整体处理这些单独的流 (即如同来自相同的位置)。
第二种方式是使用现有信令协议的专用扩展或者使用诸如遥现互通协议(TIP)之类的新协议。TIP最初由Cisco系统公司设计，而当前由国际多媒体电信联盟(MTC)管理； 规范可从地址为美国加利福尼亚州圣雷蒙市CaminoRamon2400号375套房(邮编94583)的 IMTC或者网站http://www.1mtc. org/tip获取。TIP被设计成允许多个音频和视频流通过单个RTP (实时协议，RFC3550)连接传输。TIP允许使用专用RTCP (在RFC3550中定义的作为RTP的一部分的实时控制协议)消息来在相同RTP会话中复用多达四个的视频或音频流。
设计和实现遥现系统时的显著困难是多点操作以及与非遥现系统的集成。传统多点系统利用切换或转码配置中的MCU。除了质量损失以外，转码配置因级联解码和编码引入显著的延迟，并且由此对于遥现系统预期的高质量体验是成问题的。另一方面，切换可能变得尴尬，尤其是在具有不同数量的屏幕的系统之间使用时。
类似地，与诸如单屏幕房间系统、计算机桌面系统、或者移动系统(在平板机或电话上)之类的非遥现系统的集成是成问题的。实际上，基于传统视频会议装备的现有遥现系统在没有通过MCU转码的情况下不支持低端设备的在场。
可缩放视频编码(‘SVC’ ) (即，已在大多数数字视频应用中使用的公知视频编码标准H. 264的扩展)是已证明在交互视频通信中非常有效的视频编码技术。比特流语法和解码过程在ITU-T推荐H. 264中正式地规定，具体地通过引用整体结合于此的Annex G.1TU-T推荐H. 264可从瑞士日内瓦市PlacedeNationsll20号的国际电信联盟或者网站www.1tu.1nt 获取。用于通过RTP传输的SVC的信息分组在通过引用整体结合于此的RFC6190、“用于可缩放视频编码的 RTP 有效载荷格式(RTP payload format for Scalable Video Coding)” 中定义，该文献可从在网站http://www.1etf. org的因特网工程任务组(IETF)得到。
可缩放视频和音频编码已有利地用于使用所谓的可缩放视频编码服务器(SVCS) 体系结构的视频和音频通信。SVCS是一种类型的视频和音频通信服务器，并且在共同转让的美国专利No. 7，593，032 “用于低延迟和分布式会议应用的会议服务器体系结构的系统和方法(System and Method for a ConferenceServer Architecture for Low Delayand Distributed Conferencing Applications)”、以及共同转让的国际专利申请 No. PCT/ US06/62569 “用于使用可缩放视频编码和合成可缩放视频服务器的视频会议的系统和方法(System and Method forVideoconferencing using Scalable Video Coding and Compositing Scalable VideoServers)”中进行了描述,二者通过引用整体结合于此。SVCS 提供了允许具有高鲁棒性和低延迟的极高质量视频通信的体系结构。
全部通过引用整体结合于此的共同转让的国际专利申请No.PCT/US06/061815“用于视频通信系统中的误码回复和随机访问的系统和方法(Systems and methods for error resilience and random access in videocommunication systems)，，、PCT/US07/63335“用于提供可缩放视频系统中的误码回复、随机访问以及速率控制的系统和方法(System and method forproviding error resilience, random access, and rate control in scalable videocommunications)”、以及PCT/US08/50640 “用于视频通信系统中的误码回复的经改进的系统和方法(Improved systems and methods for error resilience invideo communication systems)”进一步描述了通过使用SVCS体系结构提供诸如误码回复和速率控制之类的多个特征的机制。
在一种形式中，SVCS操作包括接收来自发射端点的可缩放视频；以及将该视频的多个层选择性地转发到接收参与者。在多点配置中且与MCU相反，SVCS不执行解码/合成/重新编码。相反，通过SVCS将来自所有视频流的所有适当的层发送到每一接收端点， 并且每一接收端点本身负责执行合成以供最终显示。注意,这意味着在SVCS系统体系结构中，所有端点必须具有多个流支持，因为来自每一发射端点的视频作为单独的流被发射到接收端点。当然，不同的流可通过相同的RTP会话发射(即，复用)，但是该端点必须被配置成接收多个视频流、对这些视频流进行解码和合成以供显示。就支持遥现类型的操作而言， 这对基于SVC/SVCS的系统是非常重要的优点。实际上，该体系结构本身导致一般得多的处理，其中遥现简单地作为多摄影机/多监视器体系结构的特殊情况。
现在，给出使用表征为多个摄影机和多个监视器的设备来开发用于视频通信的体系结构和系统的考虑，并且该考虑利用可缩放视频编码和SVCS可用的能力。发明内容
在本文中公开了用于使用具有多个监视器和多个摄影机的端点来执行视频会议的系统和方法。
在一些实施例中，多监视器/多摄影机端点由多个节点构成，其中每一节点由控制单元以及一个或多个节点单元构成，每一节点单元连接到至少一个监视器、摄影机、扬声器、或话筒。使用可缩放编码来对视频进行编码，并且端点通过使用SVCS的网络彼此连接。 在一个实施例中，来自节点单元的媒体不流过控制单元。在另一实施例中，来自节点单元的媒体流过控制单元。
在一个实施例中，控制单元将特定监视器布局分配给每一节点，并且选择性地向/ 从每一端点转发多个层。取决于系统事件，控制单元可动态地改变每一监视器的布局。
在所公开主 题的一个实施例中，用诸如音频的响度之类的属性来标记媒体流，从而控制单元可在其分配算法中应用划分优先级的流选择。附加属性可包括链接和地理位置信息。流指派可考虑性能限值，诸如特定节点的最大像素速率或最大位速率。
图1示出示例性遥现系统(现有技术);
图2示出示例性商用遥现系统的体系结构(现有技术)；
图3示出根据所公开主题的一些实施例的多个示例性屏幕放置配置；
图4示出用于SVC编码的示例性空间和时间预测编码结构；
图5示出示例性SVCS体系结构；
图6示出根据所公开主题的一些实施例的多监视器/多摄影机端点体系结构；
图7示出根据所公开主题的一些实施例的示例性多监视器/多摄影机系统；
图8示出根据所公开主题的一些实施例的用于布局组织的监视器模型，该监视器模型包括显示器/窗口/图块的分层结构；
图9列出根据所公开主题的一些实施例的用于节点单元协议的视频解码器服务接口的示例性消息；
图10列出根据所公开主题的一些实施例的用于节点单元协议的视频解码器事件接口的示例性消息；
图11示出根据所公开主题的一些实施例的示例性遥现布局多监视器调适；
图12示出根据所公开主题的一些实施例的示例性多监视器系统单监视器布局；
图13示出根据所公开主题的一些实施例的示例性多监视器系统布局；
图14示出根据所公开主题的一些实施例的示例性多监视器布局转换；以及
图15示出示例性计算机系统。
除非另外指明，否则在附图中相同附图标记和字符用于表示所示实施例的相似特征、元素、部件、或部分。此外，当现在将参考附图详细地描述所公开的主题时，结合说明性实施例来完成该主题。
具体实施方式
图1示出可购得的遥现会议室系统。该房间在此情况下具有四人会议桌。跨该桌子，存在具有各自示出一个或两个参与者的三个大尺寸监视器的配置。对象的大小调整和监视器的定位使得对于坐在该桌子旁的那些人，对象看起来在该桌子的另一侧坐在对面的右边。该“幻觉”通过确保在屏幕上示出的远程位置处的会议桌和其他家具类似或者甚至相同来进一步增强。会议室还配备有隐藏在该桌子中央的“内容”显示器。
图2示出诸如在图1中示出(Polycom TPX306M)的可购得的遥现系统的体系结构。 该系统表征为三个屏幕(等离子体或背面屏幕投影)和三个HD摄影机。每一 HD摄影机与 HDX传统(单流)视频会议系统提供的编解码器成对。编解码器之一被标记为主编解码器。
注意具有编解码器的HD摄影机的对角线成对。这是在远程站点上提供给观察者的正确观点。
主编解码器负责音频处理。在此，该系统被示为具有多个话筒，这些话筒的信号混合成由主编解码器编码的单个信号。还存在显示内容的第四屏幕。整个系统由标记为控制器的特殊设备管理。为了建立与远程站点的连接，该系统执行三次单独的H. 323调用，对于每一编解码器执行一次调用。这是因为现有ITU-T标准不允许建立多摄影机调用。该体系结构通常具有将基于标准的信令用于会话建立和控制的现有遥现产品。使用TIP协议可允许具有单个连接的系统操作，并且可使得多达4个视频流和4个音频流通过两个RTP会话携载(一个RTP会话用于音频且一个RTP会话用于视频)。
在所公开主题的各个实施例中，端点配备有多个监视器。这些监视器可如同遥现系统一样置于一行中，但是更一般地它们可具有任何数量的不同放置配置。图3示出示例性放置配置。图3(a)示出4X1配置(单行中4个监视器)，而(b)和(c)分别示出2X2和 3X2配置。图3(d)示出其中这些监视器位于任意位置的配置。此外，这些监视器甚至不必处于相同平面上；例如，四个监视器可置于房间的四个墙壁中。最后，虽然在图3的所有示例性配置中示出相同的监视器，但是完全可使用任意监视器尺寸。
在所公开主题的一些实施例中，该端点可配备有多个摄影机，这些摄影机可多于或少于监视器的数量。这些摄影机可位于监视器上(在顶部与其附连)，构建在监视器内部 (例如，在荧光屏(bezel)上，诸如可购得的苹果Cinema显示器的内置摄影机的情况)，或者它们可置于完全不同的位置。
在下文中，与端点相关联的监视器的数量将由M表示，而与端点相关联的摄影机的数量由C表示。通常，遥现系统被设计成期望在每一监视器中示出设定数量的用户，通常为一个或两个。该数量在此由U表示。然后，系统配置可通过M/C/U描述；然后，3/3/2系统包括3个监视器、3个摄影机，其中2个用户期望在每一监视器中示出(并且由每一摄影机捕捉)。图1所不的系统为3/3/2系统。
在所公开主题的所有实施例中，假设使用遵循(先前引用的)H. 264SVC规范的可缩放视频(以及任选的音频)编码。对于音频，假设使用MPEG AAC-LD音频编码。
图4示出如在(先前引用的)美国专利No. 7，593，032中描述的通常在SVC编码中且在所公开主题的一些实施例中使用的空间和时间预测编码结构。该图示出三个时间层(O 至2)以及两个空间层(基底层(‘B’)和空间增强层(‘S’))。箭头示出预测路径(预测依赖性)。注意，对特定时间层进行解码只需要来自特定层或较低层的信息。例如，对BI图片进行解码只需要来自BO图片的信息；具体地，它明确地不需要任何B2图片。类似地，对于空间维度，对全分辨率进行解码需要基底层和空间增强层两者，但是对较低分辨率进行解码只需要基底层息。
通过选择这些层的子集，可获取不同空间和时间分辨率的原始信号版本 。
例如，只采用B分量(S卩，所有B0、B1和B2)，获取全时间分辨率但低空间分辨率的信号。类似地，通过采用B0/S0和B1/S1分量，获取全分辨率但一半原始帧速率的信号。
特定图片编码结构只是一个示例，并且如在通过引用整体结合于此的共同转让的国际专利申请No. PCT/US06/028365 “用于使用可缩放视频编码的可缩放和低延迟视频会议的系统和方法(System and method for scalable andlow-delay videoconferencing using scalable video coding)”中描述的还可使用其他结构、或者如本领域技术人员已知的其他结构。
在所公开主题的各个实施例中，可使用一个或多个SVCS服务器。SVCS的基本操作在下文中参考图5进行描述。该图示出将一个发射端点510与三个接收端点(520、530、 540)互连的SVCS590。发射端点510将全分辨率信号(所有2个空间层和3个时间层)发送到SVCS590。接收端点520支持高分辨率/高帧速率的信号，接收端点530支持高分辨率但低帧速率的信号，而接收端点540支持低分辨率和低帧速率的信号。然后，取决于其能力， SVCS590选择性地将层的适当子集转发给每一接收端点。对于接收端点520，SVCS590转发所有层；对于接收端点530，它转发全空间分辨率但一半帧速率；最后，对于接收端点540， 它转发低空间分辨率但全帧速率。
如在(先前引用的)美国专利No. 7，593，032中详细解释的，与用于多点视频和音频通信的传统切换和转码多点控制单元(MCU)相比，SVCS体系结构具有显著的优点存在非常小的延迟(10-20毫秒，对MCU的200毫秒)，不存在转码损耗，并且速率匹配和个性化布局操作变成分组转发判定(即，对哪一个分组应当转发给每一接收端点的判定)。
所公开主题的一个实施例中的端点中的用于多监视器/多摄影机支持的体系结构在图6中示出。该图示出由控制单元670和一组节点650构成的端点600。端点可包括任何数量的节点，在该图中示出N个节点。每一节点650由节点单元655组成,该节点单元 655可连接到 监视器、任选地可连接到摄影机、以及任选地可连接到音频设备(单声道或立体声的话筒、扬声器、或者两者的组合)。这些设备在下文中被称为“外围设备”。
图6示出具有都连接到监视器620、摄影机610、以及音频设备630的节点单元655 的所有节点650，但是每一节点的存在性都是任选的。这些设备中的至少一个必须存在于每一节点中。使用N个节点，可使用最多N个摄影机和最多N个监视器，并且可支持最多N个音频源。每一外围设备使用适当的物理接口连接到其相关联的节点单元。在所公开主题的一个实施例中，HDMI (高清多媒体接口)可用于连接监视器620，HD-SDI (高清串行数字接口，SMTPE292M)可用于连接高清摄影机610，并且USB2. O (通用串行总线)可用于连接音频设备630。
有可能每一节点650可配备有一个以上的监视器610或者支持一个以上的摄影机 630。如对本领域技术人员而言是显而易见的，这些情况以与单摄影机/单监视器节点情况实质相同的方式处理。在下文中，为了简化演示起见，假设每一节点650配备有单个监视器和摄影机。类似地，虽然图6将各个节点单元655示为示出网络上的独立单元，但是它们集成在单个设备(诸如具有多个接口的单个计算机)中当然也是可能的。替换地，端点600 可在刀片服务器中实现，在此情况下，每一节点单元655随后可以是所述服务器中的刀片。
在所公开主题的一个实施例中，内容可通过节点单元650或控制单元670生成和编码。可使用用于常规视频的相同SVC算法对内容进行编码，但是以不同的方式(更高的空间分辨率但更低的帧速率)调谐。这允许通过任何有视频能力的节点单元对内容进行解码。 内容生成可从内部通过捕捉主计算机或其整个桌面上的窗口的内容、或者通过获取外部计算机图形信号(在图6中未示出)来执行。
继续参考图6，在所公开主题的一个实施例中，节点650通过使用IEEE802. 3u (通过CAT5铜制布缆的100BASE-TX)或IEEE802.1ln (无线-WiFi)的基于IP的网络连接到控制单元670。相同的网络还用于将控制面板680连接到控制单元670。在所公开主题的一个实施例中，控制面板680可以是通过无线连接连接到控制单元670的苹果iPad平板机。 一般而言，控制面板680运行允许其远程地控制控制单元670和端点600的功能的应用程序。在所公开主题的替换实施例中，控制面板680可通过连接到门户来执行其控制功能，如在下文中描述的。在一个实施例中，可通过web接口提供接入，以使具有web浏览器的任何设备可用于执行控制面板680的功能。
节点单元655是如果监视器存在则能够执行视频解码、如果摄影机存在则能够执行视频编码、如果一个或多个话筒存在则能够执行音频编码、以及如果一个或多个扬声器存在则能够执行音频解码的设备。在所公开主题的一个实施例中，节点单元655可以是具有用于外围设备的适当硬件接口且运行适当的软件以执行本文中所描述的节点单元655 的功能的通用个人计算机。可从Vidyo公司购得的VidyoRoom HD-50是表征为配备有执行视频编码和解码的适当接口以及Speex Wideband音频的通用个人计算机、并且由此可用于该目的硬件设备。
也有可能创建执行节点单元655的功能的自定义设备。例如，对于没有摄影机的节点单元，有可能生产非常便宜的设备。实际上，节点单元的能力甚至可被添加到配备有硬件SVC解码器的电视机。类似地，当今网络摄像头制造商已经在设计表征为内置SVC编码器的设备；因此添加网络连接以及相关联的软件以使节点单元655提供摄影机(和话筒)的功能是简单的。
类似地，有可能使控制单元670集成至少一个节点单元655，因为它可具有监视器、摄影机、以及扬声器/话筒。可将诸如可从Vidyo公司购得的VidyoRoom HD-220之类的大房间系统配备为具有提供一个摄影机的集成节点单元的控制单元670。实际上，该系统可具有两个此类单元，一个用作控制单元而另一个用作简单的节点单元。以此方式，如果有效控制单元停止工作，另一节点单元则可开始作为控制单元/节点单元组合操作，由此提供容错(faulttolerance)。
控制单元670与SVCS非常类似地操作。对于到达端点600的视频和音频流，控制单元670判定哪一个节点单元655要发送这些视频和音频流(包括要包括哪些层)。类似地， 控制单元670激活如此配置的各个节点650中的每一视频和音频编码器，接收其经编码的 视频或音频流，并且将其发射到相连接的SVCS (或其他端点)。两个设备之间的实时流的通信可使用标准RTP执行。
在所公开主题的一个实施例中，节点单元655、控制面板680以及控制单元670可使用UPnP协议(通用即插即用、UPnP论坛、还有国际标准IS0/IEC29341)来自动地自发现彼此，并且用作群集。UPnP允许设备向网络上的控制设备通告其在场以及其要提供的服务。 控制设备进而可将合适的控制消息发送到用于服务的控制URL (在服务描述中提供)，并且使用SOAP (简单对象访问协议、万维网联盟/W3C)以XML表达这些控制消息。如对本领域技术人员而言是显而易见的，还可使用包括自定义协议(例如使用远程过程调用(RPC))的其他协议。通过使用UPnP实现且在展现整个系统体系结构之后讨论的特殊节点单元协议来执行对节点单元655和控制单元670之间的通信(包括误码回复功能)的控制。注意，即使当通信正在进行(是实时的)时，该体系结构也允许节点单元655从该系统动态地去除或者动态地添加到该系统。这在特定应用中可以是有用的，并且提供非常高的容错。
控制单元670还是端点500到SVCS或者直接到其他端点(在该示图中未示出任一个)的连接点。类似于节点到控制单元的连接，在所公开主题的一个实施例中，控制单元670 与任何SVCS或其他端点之间的连接通过基于IP的网络执行。
最后,在所公开主题的一个实施例中,端点600还连接到门户(在此指示为在该示图外部)。如稍后讨论的，门户是负责用户管理和认证的服务器功能、以及其他系统管理功能。端点600和门户之间的连接优选通过附连有端点600的IP网络。注意，门户还可与SVCS (或者在一些产品配置中甚至与端点)集成；其操作保持相同。
图7示出所公开主题的一个实施例中的具有多种类型的端点的示例性多监视器/ 多摄影机系统。该图示出互连多个不同类型的端点的SVCS710。虽然示出单个SVCS7110， 但是注意，一般而言，一个以上的SVCS可与连接相关联，因为级联可在SVCS中使用(即，一个以上的SVCS可在从一个端点到另一端点的路径中)。SVCS的级联不影响所公开的主题。
继续参考图7，存在作为图6的端点600中所示的设计的实例的两个多监视器/ 多摄影机端点(端点1720和端点2722)。还存在可以是典型的SVC单个编码器视频会议系统的房间系统724的端点(诸如可从Vidyo公司购得的VidyoRoom HD-220)、以及作为以软件实现且在通用计算机上运行的端点的桌面726端点(诸如可从Vidyo公司购得的 VidyoDesktop)。最后，存在用于互连旧式系统780的网关728设备，该旧式系统780可能不支持SVC。示例网关728设备是可从Vidyo公司购得的VidyoGateway。旧式系统780可以是房间系统、桌面软件系统、或者实际上是旧式MCU。网关728表现为其SVC连接上的常规SVC端点、以及其旧式连接上的旧式端点；该网关728根据需要执行音频和视频的转码， 并且还在其每一侧使用适当信令。例如，该网关728可使用H. 323与旧式系统780和另一协议通信、可能专门与SVCS710通信，并且针对视频在H. 264SVC和H. 263之间以及针对音频在Speex和G. 722之间转码。
端点和网关的特定选择只用于说明的目的；如对本领域技术人员而言是显而易见的，可使用任何数量的多监视器/多摄影机端点、以及任何数量的旧式端点或网关。作为最低限度，假设存在至少一个多监视器/多摄影机端点、以及至少一个SVCS或另一端点。
图7还示出所有端点/网关720-728连接到门户740 ;在该图中示出两个此类门户。如先前所提及的，门户提供用于执行用户管理和认证的服务器功能、以及其他系统管理功能。在所公开主题的一个实施例中，可使用可从Vidyo公司购得的VidyoPortal系统。门户的一些功能包括创建和管理用户；向组分配用户并管理其许可；创建和管理个人和公共的无需预约的会议室；禁用个人房间；创建用于(H. 323和基于SIP的)预定义旧式设备的地址簿条目；用于通过认证的LDAP/有效目录支持、任选的安全LDAP访问、以及多租赁支持；跨多个SVCS设备的负载平衡和许可管理。当在系统中使用多个SVCS时，判定如何将它们指派给各个端点的是门户。注意，门户可物理地安装在提供SVCS功能的相同系统上，并且取决于产品配置还可能安装在端点中。这可以是用于其中单个设备可用于提供低成本打包的完整系统功能的供应的情况。
在所公开主题的一个实施例中，端点、SVCS710和门户740之间的所有通信通过公共IP网络执行。多监视器/多摄影机端点720和722被SVCS和门户作为任何其他端点来对待，不同之处在于每一端点可产生一个以上的视频流。在功能上，对于SVCS(和门户)，多个视频流源自相同的端点还是不同的端点没有差别。
在所公开主题的一个实施例中，使用端点管理和控制协议(EMCP)来执行端点和门户740之间的通信。这些连接在图7中用虚线示出。
在所公开主题的一个实施例中，在SVCS和端点之间使用协议以向上游设备(SP， 接收SVCS到发射端点、接收端点到发射SVCS、或者接收 SVCS到发射SVCS)指示在其发射中包括每一可用源的哪些层。在所公开主题的一个实施例中，使用在共同转让的美国临时专利申请61/384. 634 “用于控制和管理多点会议的系统和方法(System and method forthe control and management ofmultipoint conferences)” 中描述的会议管理和控制协议(CMCP)，该专利申请通过引用整体结合于此。
可缩放视频编码在相同的比特流上提供多个分辨率的事实、以及在接收端点上进行合成的事实在实现不同布局中提供完全的灵活性。
继续参考图7，取决于媒体如何从多摄影机/多监视器端点720和722的节点单元流向SVCS710，示出两个单独的实施例。在称为信令平面控制单元实施例(或者“信号集聚” 实施例)的一个实施例中，连接有端点720或722的门户740被配置成该端点被标识为多监视器/多摄影机端点。然后，连接请求被转换成该端点的N个节点单元(例如，三个节点单元720η)和SVCS (710)之间的N个单独的连接。N个连接通过该端点的控制单元(720c) 自动地建立。该配置的可能缺陷是必须针对每一端点进行N个单独的连接。虽然这并不影响SVCS (每一连接开销是最少的-什么物质是分组/第二负载)，但是它的确需要在可使用的任何防火墙上打开N个端口。在接着描述的媒体平面控制单元实施例中消除了该可能的缺点。在此情况下，控制单元有点表现为门户，因为它用于设立连接但是它不在媒体的路径中。
在媒体控制单元实施例(也称为“媒体集聚”实施例)中，始终通过每一相应端点的控制单元执行往返节点单元的所有媒体流。对于端点1720，这意味着通过控制单元720c 执行往返三个节点单元720η的所有媒体流。在此情况下，控制单元更像SVCS或者级联的 SVCS 一样工作，因为所有媒体流过该控制单元并且该控制单元可进行和实现对在任一方向上转发哪一数据的判定。媒体控制单元实施例的主要优点是单个RTP会话可用于相同类型的所有媒体，由此简化防火墙穿越和会话设立过程。同样，控制单元必须针对将特定视频流发送到特定节点单元进行的任何判定由控制单元本身实现，并且不必传送到SVCS，如同只信令集聚一样。同样，控制单元相对更简单，因为它们只需实现非常基本的信令功能。最后， 如果使用媒体加密，则它可能提供更简单和/或更安全的实现。在下文中，假设使用媒体集聚。
总而言之，继续参考图7，多监视器/多摄影机端点实质上是小型SVCS会议系统 控制单元表现为外部世界与包含在端点中的节点单元之间的SVCS。然而，节点单元不是完全合格(full-fledged)的端点，并且因此不直接与SVCS对话(按照媒体集聚实施例)。这还意味着它们不运行在SVCS和端点之间正常操作的CMCP协议。因此，为了便于节点单元和节点控制单元之间的互通，有必要使用新的控制协议。如先前所指示的使用UPnP实现的该节点单元协议(NUP)协议将允许控制单元针对其能力查询其节点单元，询问其状态，并且指令它们执行特定功能，诸如在特定显示位置处显示特定视频流。协议还必须支持事件通知，从而控制单元可由节点单元通知关于其状态的改变(例如，终止、窗口大小的改变、发言者激活、甚至在分组丢失的情况下对分组重发的请求)。
为了完全控制视频在多个监视器上的放置，节点单元使用由显示器(整个监视器显示区)、窗口和图块构成的监视器区域的树形结构概念模型。该结构在图8中示出。图块是对视频流进行解码的最小元素。注意，图块不必是矩形的，如稍后讨论的。
在图9中提供N UP的示例消息定义，并且在图10中提供示例事件定义。除了显示器、窗口和图块的管理操作以外，图10所示的视频解码器事件接口还包括 “NAKpacketRequestEvent”。在所公开主题的一个实施例中，使用在先前引用的国际专利申请No. PCT/US06/62569和PCT/US08/50640中描述的否定确认情况下的“R个分组”技术 (“使用否定确认的LR保护协议”)。参考图7，这些协议例如在端点1720的控制单元720c 和SVCS710之间操作。由于一般而言控制单元720c及其相关联节点单元720η之间的连接通过尽力而为的IP网络，因此该连接中的分组丢失的情况也需要考虑。
“NAKpacketRequestEvent”事件以与LR保护协议相同的方式实现否定确认,但是此次通过NUP协议携载。R图片序列索引可通过标准TRP流使用(先前引用的)RFC6190中 PACSI报头的任选Y比特(具有相关联任选的TL0PICIDX和IDRPICID字段以及S和E标志) 来携载。
当控制单元720c接收“NAKpacketRequestEvent”事件时,如果在其高速缓存中仍然是可用的，则它重发丢失的分组或者在上游将否定确认传递到SVCS710(或者恰好在上游连接的任何设备)。
单摄影机系统和多监视器/多摄影机系统之间的主要差别在于，多摄影机源可作为一单元来对待，并且多监视器系统在传入视频流如何在各个监视器中显示的方面提供相当大的灵活性。
从多摄影机端点提供的视频流的空间定位可具有重要性。例如，每一流的相对定位可能需要指示(例如，左、中和右)。这将使得接收端点能够考虑空间取向并便于准确显示。在较低水平，可能期望只建立“链接”流，换句话说它们作为一单元来对待如果显示一个流，则其他流也应当显示，反之亦然。对于摄影机，该系统甚至可指示距已知系统位置的其相对位置、以及其垂直和水平角(倾斜/平坦)以及缩放因数。该信息允许接收机知晓该摄影机在远程房间中观察什么。
也有可能多个视频流没有空间取向偏好；例如，考虑对两个用户进行非常接近拍摄的两个摄影机。在该场景中，相对空间定位可能不要紧。
这些流可具有其他重要的属性。例如，这些流之一被标记为最响或最为活跃的发言者。如果多个摄影机捕捉多人，则不可能推断出(至少在没有某重要处理的情况下)哪一个视频对应于活动发言者。因此，该信息应当由端点本身提供。此情况下的正确标记可需要每一摄影机具有相关联的话筒。这还可使得该系统能够提供音频的空间定位，因为活动发言者的音频可在示出视频的监视器上回放。这种音频定位在用户进入或离开会议会话时也是有用的；该系统播放的“声音信号”(或者可能更复杂的文本到声音驱动的声明)在示出的特定用户将所处或曾所处的监视器上(或者如果该监视器没有发言者则在该监视器附近)播放。这可确保右边监视器将引起用户的注意。
感兴趣的其他属性可以是地理位置，该地理位置例如可提供关于视频流起源的物理位置的信息(例如，“纽约办公室”或“亚特兰大机场”)。其中最初可使用视频流的IP地址具有相同的效果。视频分辨率还可是具有重要的属性。
为了更好地便于远程尺度上的布局组织并且尝试保持房间的物理特性和参与者的位置，所公开主题的一个实施例还包括在每一视频流中或者在其信令信息中它发射提供一组属性或标记的元数据。
类似地，接收系统可向发送器指示其监视器的数量、位置和尺寸。有可能在调用设立期间系统交换这些参数以使其标识它们之间的最好的可能操作模式。
当两个通信系统的 配置不同时，有可能使发射机或接收机执行调适。例如，如果系统被设计成发射假设要在处于相同平面上的三个显示监视器中示出的视频，而特定接收房间具有弧形配置的显示监视器，则发送器或接收机可对视频信号执行透视校正操作。
假设多个监视器对单个节点单元可用，有可能对视频进行解码和渲染，以使其跨越一个以上监视器。图11示出适于遥现式布局的一些可能的布局调适。图11(a)示出典型的3/2/2遥现系统布局。可通过将3个遥现流收缩到其初始大小的2/3、以及只使用如图11(b)所示的2个监视器显示它们来指派用于内容显示的一个监视器。注意，两个最左边的监视器的底部1/3是空白的；该区域可用于装入“在场”窗口，例如来自使用1/1/1系统的参与者。最右边的监视器被指派给内容(例如，以显示计算机幻灯片)。特定布局需要中间视频流的经解码输出跨两个监视器(左和中)分割；如果两个监视器附连到相同的节点单元，则这可容易地实现。如果为否，则任一视频流必须发射到两个不同的节点单元，并且在每一节点单元中显示之前适当地剪辑，或者原始编码必须在两组矩形切片中完成(每一组矩形切片覆盖图片的一半)，以使控制单元随后可将每一剪辑集转发至相应节点单元。
注意，在SVC的情况下，为了使三个视频信号适合两个监视器，无需对这些视频信号下采样2/3的因数。如果使用比率为1. 5的空间缩放性，则可直接从SVC比特流中获取低分辨率版本。类似地，对于4/4/-系统，房间可适合使用2:1空间缩放性的两个监视器而无需任何处理。其他比率可能更难以调适，因为它们不直接受SVC的可缩放基线轮廓支持。
图11 (C)示出其中在单组3个监视器中显示两个3/3/2遥现系统房间的布局。在该实例中，视频流已在其上部和下部(各占图片高度的四分之一)中进行了剪辑，从而两组可垂直地装入监视器。当然，如果对象的放置在每一帧内是不适当的，则剪辑可产生视觉问题。
根据先前讨论明显的是，传统遥现系统布局在组合来自不同源的视频的灵活性方面具有相当多的限制。一般而言，遥现系统在对称和点对点配置中工作得最好。
通过引用整体结合于此的公共转让的国际专利申请PCT/US09/046758 “用于可缩放视频和音频通信系统中的经改进的布局管理的系统和方法(Systemand method for improved layout management in scalable video and audiocommunication systems)，， 描述了用于对单个监视器(或者更一般地单个矩形显示区)执行布局管理的若干技术，尤其集中在SVC和SVCS体系结构提供的独特布局能力上。
参考图7，在所公开主题的一个实施例中，假设已通过多监视器/多摄影机端点 720的每一节点单元720η的控制单元720c向该节点单元720η分配一特定布局。
图12示出多监视器系统使用的示例性单个监视器布局。参考图8所示的显示器 /窗口 /图块体系结构，假设每一显示器(监视器)具有一组矩形窗口，并且每一窗口包含其整体覆盖窗口的单个图块。换句话说，在下文中，每一矩形窗口与单个视频流相关联。
在图12(a)中，将单个视频流呈现到整个监视器中。在图12(b)中，将内容流呈现到整个监视器中。在图12 (c)中，它是示出具有4个窗口的2 X 2在场布局。假设固有视频分辨率覆盖整个监视器，则在此视频可在每一窗口中示出其原始分辨率的一半。然而，一般而言，经编码视频的分辨率可在可能参与会话中的不同端点之间变化。因此，关于分配给每一窗口的视频的分辨率不应作出假设。判定层是否应当丢弃、或者缩放和/或剪辑是否应当施加取决于控制单元和节点单元。此处的操作类似于在先前引用的国际专利申请No. PCT/ US09/046758中描述的操作，其中节点单元发挥端点的作用而控制单元发挥SVCS的作用。例如，如果节点单元在小窗口中显示视频，则取决于窗口的大小和各个空间层的分辨率，控制单元可只发射较低的空间层。控制单元可使用特定节点单元可维持的最大数量的像素或最大Kbp的上限，来对层选择作出进一步的优化。
继续参考图12，在图12(d)中，示出具有9个窗口的3X3在场布局。最后，在图 12 (e)中，显示器被示为垂直划分，从而示出视频和内容两者。再一次，取决于源分辨率和显示器分辨率，优选根据需要并且如节点单元确定地使用基底空间层、下采样或剪辑。
现在，这些单个监视器布局可以各种方式组合在多监视器系统中。图13示出若干示例。在图13(a)中，示出具有三个视频监视器且一个监视器用于内容的传统遥现系统布局。在图13(b)中，监视器之一已切换成提供四个参与者的连续在场。
图13(c)示出其中将一个监视器指派给活动发言者、将一个监视器指派给内容、 并且将两个监视器指派给18个参与者的连续在场的视频壁。该特定配置还可用于连接使用3/3/-配置的6个遥现房间。较低的监视器通过将每一房间的三个视频放置在每一监视器的窗口行中来显示6个房间。活动发言者监视器显示活动发言者，该活动发言者可以在所提供的18个视频流中的任一个中。端点的控制单元将选择哪一个传入视频流是与活动发言者相对应的传入视频流，并且将视频的(复制)转发给相关联的节点单元。在该示例中， 活动发言者还可在底部视图中示出。
图13(d)示出具有两个单独的内容监视器和连续的在场监视器连同单视图监视器的布局。这允许来自两个不同的应用程序和/或参与者的内容同时在监视器上示出。清楚的是，在所公开主题的情况下，可指派任何数量的监视器来显示内容。虽然在图13的示例中，所有监视器被示为具有相同的大小和分辨率，但是不必如此。实际上，该系统不必作出关于实际监视器大小和分辨率的任何假设。
可通过使用标准化音频强度测量值适当地标记相关联视频和音频流来完成对活动发言者的确定。以此方式，控制单元可容易地作出判定而无需任何音频处理。
注意，该系统可动态地从布局转换以适应系统的改变。例如，当更多的参与者被添加到该系统时，它可从图13(a)的布局转换到图13(b)的布局。另一示例是，当新节点单元在线或者停止工作时，控制单元可检测到该情况并且立即被切换到具有或多或少的监视器的适当布局配置。
与传统遥现系统相反，在一般多监视器/多摄影机系统中，可将视频随意分配给窗口和监视器。通过与节点的控制单元和SVCS的选择性转发能力耦合的SVC在视频表示中的使用，任何期望布局(包括传统遥现系统的布局)可容易地实现，包括布局转换的实现。
通过使用在上文中用于实现活动发言者选择的标记，可实现其他感兴趣的布局管理策略。例如，监视器可被标记为始终示出特定参与者(例如，公司的CEO)。通过使用地理位置标记(或者视频源的IP地址)，可强迫来自相同地理位置的参与者始终在彼此物理地相邻的窗口中示出，以进一步增强对其物理接近度的感知。通过将多个流彼此链接，在特定配置中它们可在其各个窗口中示出(例如，一个在另一个的左边)。
最后，诸如复制(“翻制”)或镜像之类的操作还可容易地实现。在第一种情况下，视频流在一个以上的窗口中示出，而在第二种情况下，存在沿着垂直轴的图片倒影的复制(如同常规镜子一样)。这在大监视器壁中可用作创造性的效果。在所公开主题的一个实施例中，端点的控制面板可允许用户选择期望布局配置，并且实时且匆忙地(on the fly)在不同配置中切换。如对本领域技术人员而言是显而易见的，也有可能通过某其他接口将相同的功能提供给管理布局的控制单元。该系统可提供的附加功能包括在窗口之间交换流、将流“钉扎(spin)”到特定窗口以使任何自动的布局确定算法都不修改其窗口指派、或者将流从一个窗口移动到另一窗口。该系统还可提供将文本覆盖层包括在相关联端点的名称的每一视频窗口中作为选项。
控制单元可提供的附加功能是“标识”操作；控制单元在被触发时指令配备有一个或多个监视器的每一节点在监视器上显示一整数。以此方式，用户可容易地标识将哪一个监视器号分配给该系统中的哪一个物理监视器。替换地，控制面板或控制单元的替换接口可提供在其用户界面上选择的监视器上示出特定的均匀色彩的能力。这还可允许用户标识特定的监视器。
所有这些布局管理策略和操作是在多监视器/多摄影机端点的控制单元处作出的简单的分组转发判定，并且不需要信号处理。在所公开主题的一个实施例中，控制单元建立具有各个节点单元的期望布局。可用监视器内的视频到窗口指派基于划分优先级属性 (例如，活动发言者)以及相应的流放置约束(例如，流链接、遥现归组、地理位置)。
图14示出使用四监视器配置的一组示例性布局转换。控制单元最初将节点单元设置成在所有监视器上显示空白屏幕(或者制造商标志)。当前三个用户加入会话时，通过其相关联的节点单元将其视频指派给视频监视器((#1至#3)中的每一个。监视器窗口内部的数字示出参与者放置的次序。如果有，则内容监视器(#4)被标记为专门用于演示。当第四个用户加入会话时，控制单元指令与监视器#1相关联的节点单元切换到2 X 2布局，由此转换到图14(b)示出的布局。然后，它将现有参与者(3)和新参与者(4)指派给该监视器中的窗口之一；其他两个空闲窗口可示出制造商标志或者为空白。当在监视器I中填充所有4个位置(总计6个参与者)时，控制单元随后还指令与监视器#2相关联的节点单元切换到2X2布局，如图在图14(c)的布局中示出的。当引入第十个参与者时，图14(c)的布局中的所有窗口都被占据，并且该系统切换到其中已将监视器#1切换到3X3布局的图14(d) 所示的布局。该布局可与最多14个参与者的情况下使用。该过程可继续至附加布局变体， 例如将监视器#2切换到3X3布局等。可添加更多的参与者，或者如对本领域技术人员而言是显而易见的，选择不同的布局转换或组合。当参与者离开会话时，可使用相反次序的参与者放置和布局选择。
假设指派监视器#3用于活动发言者，如必要则控制单元将执行流交换以使活动发言者始终在监视器#3上示出。例如，参考图14(d)，如果如与流相关联的标记确定的参与者6变成活动发言者，则控制单元将把与参与者I相关联的视频发射到与监视器#1相关联的节点单元1，并且在监视器#3中用参与者6的视频流来替代该视频。
如图所示，与SVCS相关联的优点可带入多监视器/多摄影机端点的环境。这是因为，视频信号的编码表示的可缩放性质实现了信号处理在大多数有用系统操作中的消除。
在商用系统中，重要的考虑是如何许可该系统以供使用。在视频会议中使用的典型模型是“端口 ”的概念。旧式系统中的端口与MCU上的物理端口相关联，并且暗示使用 DSP资源。在SVCS体系结构中，可用“线”的概念来替代端口的概念，即与SVCS的连接相关联的软许可的一种形式。线许可在门户处执行，从而一组线许可可跨一组SVCS使用。这允许例如实现用于许可管理的“逐日”(follow the sun)策略，并且由此在美国、欧洲和亚洲但在一天中的不同时刻使用相同的许可。在可包括大量监视器或摄影机的多监视器/多摄影机端点设置中，有利的是能够指定取决于以下任一个的许可级别每监视器的流的数量; 每节点的流的数量；每监视器的流的数量；摄影机的数量；分辨率限值；监视器的数量；或者总带宽。当设立连接时，许可管理可在门户处执行。
以上所述的用于使用多个摄影机和多个监视器的可缩放视频通信的方法可被实现为使用计算机可读指令且物理地存储在计算机可读介质中的计算机软件。该计算机软件可使用任何合适的计算机语言进行编码。这些软件指令可在各种类型的计算机上执行。例如，图15示出适于实现本公开的各个实施例的计算机系统1500。
图15所示的计算机系统1500的部件在本质上是示例性的，并且不旨在提示对实现本公开的各个实施例的计算机软件的使用或功能的范围的任何限制。部件的配置也不应被解释成对在计算机系统的示例性实施例中示出的任一部件或部件组合有任何依赖或要求。计算机系统1500可具有许多物理形式，包括集成电路、印刷电路板、小型手持式设备 (诸如移动电话或PAD)、个人计算机、或者超级计算机。
计算机系统1500包括显示器1532、一个或多个输入设备1533 (例如，键区、键盘、 鼠标、指不笔等)、一个或多个输出设备1534 (例如,扬声器)、一个或多个存储设备1535、各种类型的存储介质1536。
系统总线1540链接各种各样的子系统。如本领域技术人员理解的，“总线”是指提供共用功能的多个数字信号线。系统总线1540可以是若干类型的总线结构中的任一种， 包括使用各种总线体系结构中的任一种的存储器总线、外围总线，以及局部总线。作为示例而非限制，这些体系结构包括工业标准体系结构(ISA)总线、增强型ISA (EISA)总线、微通道体系结构(MCA)总线、视频电子技术标准协会局部(VLB )总线、外围部件互连(PCI)总线、 PCI快速总线(PC1-X)、以及加速图形端口(AGP)总线。
处理器1501 (也称为中央处理单元或CPU)任选地包含用于临时局部地存储指令、 数据或计算机地址的高速缓存存储单元1502。处理器1501耦合到包括存储器1503的存储设备。存储器1503包括随机存取存储器(RAM) 1504和只读存储器(ROM) 1505。如在现有技术中公知的，ROMl505用于将数据和指令单向地传输到处理器1505，而RAMl504通常用于以双向的方式传输数据和指令。这两种类型的存储器可包括以 下所述的任何合适的计算机可读介质。
固定存储1508还任选地经由存储控制单元1507双向地耦合到处理器1501。它提供附加数据存储容量，并且还可包括以下所述的任一计算机可读介质。存储1508可用于存储操作系统1509、EXEC1510、应用程序1512、数据1511等，并且通常是比主存储慢的辅助存储介质(诸如硬盘)。应当理解，在适当的情况下，保持在存储1508内的信息可被以标准的方式结合在作为虚拟存储器的存储器1503中。
处理器1501还耦合到诸如诸如图形控制1521、视频接口 1522、输入接口 1523、输出接口 1524、存储接口 1525之类的各种接口，并且这些接口进而耦合到适当的设备。一般而言，输入/输出设备可以是以下任一个视频显示器、跟踪球、鼠标、键盘、话筒、触敏显示器、换能器读卡器、磁性或纸带阅读器、平板机、指示笔、语音或笔迹识别器、生物测定读取器、或者其他计算机。处理器1501可使用网络接口 1520耦合到另一个计算机或电信网络 1530。通过使用这种网络接口 1520，可构想CPU1501可接收来自网络1530的信息，或者在执行上述方法的过程中将信息输出到该网络。此外，本公开的方法实施例可在CPU1501上单独地执行，并且可在诸如与共享一部分处理的远程CPU1501结合的因特网之类的网络1530 上执行。
根据各个实施例，当处于网络环境中时(即，当计算机系统1500连接到网络1530 时)，计算机系统1500可与也连接到网络1530的其他设备通信。经由网络接口 1520，可将通信发送到计算机系统1500，或者从计算机系统1500发送该通信。例如，可从网络接口 1520 处的网络1530接收一个或多个分组形式的传入通信(诸如来自另一个设备上的请求或响应)，并将其存储在存储器1503的所选区段中以供处理。还可将再次以一个或多个分组形式的传出通信(诸如对另一个设备的请求或响应)存储在存储器1503中的所选区段中，并且发送到网络接口 1520处的网络1530。处理器1501可存取存储在存储器1503中的这些通信分组以供处理。
另外，本公开的各个实施例还涉及具有计算机可读介质的计算机存储器产品，该计算机可读介质在其上具有用于执行各种计算机实现的操作的计算机代码。出于本公开的目的，介质和计算机代码可以是特别设计和构建的介质和计算机代码，并且它们可以是对计算机软件领域的技术人员而言公知和可用的类型。计算机可读介质的示例包括，但不限于诸如硬盘、软盘和磁带之类的磁性介质；诸如CD-ROM和全息设备之类的光学介质；诸如光盘之类的磁光介质；以及诸如专用集成电路(ASIC)、可编程逻辑设备(PLD)以及ROM和 RAM设备之类的被特别配置成存储和执行程序代码的硬盘设备。计算机代码的示例包括诸如由编译器产生的机器代码以及包含由使用解释器的计算机执行的更高级代码的文件。
作为示例而非限制，具有体系结构1500的计算机系统可提供作为处理器1501执行体现在一个或多个有形计算接可读介质(诸如存储器1503)中的软件的结果的功能。实现本公开的各个实施例的软件可被存储在存储器1503中，并且可由处理器1501执行。根据特定需要，计算机可读介质可包括一个或多个存储器设备。存储器1503可经由通信接口从一个或多个其他计算机可读介质(诸如大容量存储设备1535)中或者从一个或多个其他源中读取软件。该软件可使得处理器1501执行本文中所描述的特定过程或者特定过程的特定部分，包括定义存储在存储器1503中的数据结构、以及根据软件所定义的处理修改这些数据结构。另外或者作为替换方案，计算机系统可提供作为体现在电路中的逻辑硬接线或其他的结果的功能，它可代替软件或与软件一起操作以执行本文中所描述的特定处理或者特定处理的特定部分。在适当处，对软件的引用可涵盖逻辑，反之亦然。在适当处，对计算机可读介质的引用可涵盖存储用于执行的软件的电路(诸如集成电路(1C))、体现用于执行的逻辑的电路，或者两者。本公开涵盖软件和硬件的任何合适的组合。
尽管本公开已描述了若干示例性实施例，但存在替换、置换和各种替代等效物，其落入所公开的主题的范围内。由此，应当理解，本领域技术人员将能够设计多种系统和方法，虽然这些系统和方法在本文中未明确地示出或描述，但是体现本发明的原理并且由此在本发明的精神和范围内。
权利要求
1.一种视频通信系统，用于取决于设置在通过所述视频通信系统接收到的多个视频信号中的属性或标记而发射从零个或更多个摄影机获取的一个或多个视频信号、并通过通信网络接收多个视频信号以在多个监视器上显示，其中所述视频信号可缩放地编码成包括基底层以及一个或多个增强层的多个层，所述系统包括 包括视频解码器和编码器的一个或多个节点单元，所述节点单元连接到所述多个监视器和摄影机； 附连到所述通信网络且通过第二通信网络连接到所述一个或多个节点单元的控制单元; 其中所述控制单元被配置成通过所述第二通信网络选择性地将通过所述通信网络接收到的视频信号层转发给所述一个或多个节点单元以便解码，并且在所述多个监视器中显示，并且通过所述通信网络选择性地转发通过所述第二通信网络从所述一个或多个节点单元接收和解码的视频信号层。
2.如权利要求1所述的系统，其特征在于，所述一个或多个节点单元以及所述控制单元动态地发现彼此并通过所述第二通信网络建立其连接。
3.如权利要求1所述的系统，其特征在于，所述控制单元指示所述一个或多个节点单元使用特定布局在其连接的监视器上显示所述多个视频信号。
4.如权利要求3所述的系统，其特征在于，作为系统状况改变的结果，所述控制单元动态地指示所述一个或多个节点单元中的一个或多个来修改其布局。
5.如权利要求4所述的系统，其特征在于，所述系统状况包括通过所述一个或多个节点单元传递到所述控制单元的事件通知。
6.如权利要求3所述的系统，其特征在于，通过取决于设置在通过所述通信网络接收到的多个视频信号中的属性或标记的算法来确定控制单元对要由所述一个或多个节点单元使用的特定布局的选择。
7.如权利要求1所述的系统，其特征在于，在通过使用R图片丢失检测的第二通信网络发射以及在否定确认的情况下的重发期间保护所述视频信号的最低时间层。
8.—种通过通信网络发射从连接到一个或多个节点单元的零个或多个摄影机获取的一个或多个视频信号、以及通过所述通信网络接收多个视频信号以在连接到所述一个或多个节点单元的多个监视器上显示的方法，其中所述一个或多个节点单元通过第二通信网络连接到控制单元，所述控制单元附连到所述通信网络，所述方法包括在所述控制单元处 从所述一个或多个节点单元获取可缩放视频信号层以供发射，其中所述视频信号以包括基底层以及一个或多个增强层的分层格式进行编码； 选择经编码的视频信号中的一个或多个层； 将所选的一个或多个层转发给所述通信网络；以及 从所述通信网络获取可缩放视频信号层以供接收，其中所述视频信号以包括基底层以及一个或多个增强层的分层格式进行编码； 选择经编码的视频信号中的一个或多个层； 将所选的一个或多个层转发给所述一个或多个节点单元以供解码并在所述多个监视器上显示。
9.如权利要求8所述的方法，其特征在于，所述一个或多个节点单元以及所述控制单元动态地发现彼此并通过所述第二通信网络建立连接。
10.如权利要求8所述的方法，其特征在于，还包括 指示所述节点单元使用特定布局在其连接的监视器上显示转发给所述节点单元的视频信号。
11.如权利要求10所述的方法，其特征在于，还包括 作为系统状况改变的结果，动态地指示所述一个或多个节点单元中的一个或多个来修改其布局。
12.如权利要求11所述的方法，其特征在于，所述系统状况包括通过所述一个或多个节点单元传递到所述控制单元的事件通知。
13.如权利要求10所述的方法，其特征在于，通过算法通信网络来确定控制单元对要由所述一个或多个节点单元使用的特定布局的选择。
14.如权利要求8所述的方法，其特征在于，在通过所述第二通信网络发射期间，所述R图片丢失检测用于保护所述视频信号的最低时间层，所述方法还包括 在检测到丢失的R图片或者其一部分之后，在否定确认的情况下请求重发。
15.一种包括用于执行如权利要求8-15中的至少一项所述的步骤的一组指令的计算机可读媒体。
全文摘要
本文中公开了用于使用具有多个监视器和多个摄影机的端点来执行视频会议的系统和方法。这些端点由节点组成，其中每一节点由控制单元以及一个或多个节点单元组成，每一单元连接到至少一个监视器、摄影机、扬声器、或话筒。使用可缩放编码来对视频进行编码，并且端点通过使用SVCS的网络彼此连接。描述用于布局管理、标记各个流、以及将标记用于动态和划分有优先级的布局管理的算法。
文档编号H04N7/14GK103039072SQ201180025734
公开日2013年4月10日 申请日期2011年5月25日 优先权日2010年5月25日
发明者R·沙伦, R·萨西恩, J·斯蒂尔, A·埃莱夫塞里埃兹 申请人:维德约股份有限公司