专利名称：新颖的实时音频－视频通信和数据协作的系统和方法
技术领域：
本发明一般涉及信息交换，尤其涉及远程位置间实时多媒体信息交换。
背景技术：
由于计算机变得更快、更小、更便宜以及更能干，因此使用各种技术来增强用户感受的机会也在增长。在会议环境中，用户的计算设备可具有广泛多样的能力，这可能在提供特定类型的信息给多个用户时成为问题。用于会议的常规系统和方法没有深入探究在分布式与会者之间的会议的便利。通常，在会面或会议期间呈现的信息没有被充分地归档或保存以供今后查阅，这可能进一步加剧了与会议效率和信息交换相关联的问题。
本领域中存在对促进会议环境中用户间改进的实时数据协作和通信的系统和方法的未满足的需求。
发明内容
下面展现本发明的简述，以便提供对本发明某些方面的基本理解。本概述不是本发明的广泛综述。它不旨在确定本发明的关键/重要元素或描绘本发明的范围。其唯一目的是以简化形式提出本发明的某些概念，作为对以后给出的更详尽描述的序言。
这里所公开和要求保护的本发明涉及多媒体会议环境中多个用户之间的实时信息交换。系统可为不同位置的用户(例如，一个在会议室中的用户和一个在远程办公室中的用户)，或者位于单个会议室中的诸用户提供会议功能。各种技术都可用来促进实时信息交换，包括，例如，提供高保真音频的话筒阵列和定向信息。系统还可包括一室内摄像机，带有个人发言的数字自动扫视/倾斜/变焦取景和/或自动变形以补偿人脸大小，无论他们在会议室中坐在哪里。此外，物理白板内容的直播和快照捕捉可通过，例如，保存和/或分发显示在上面的会议笔记的web摄像机来促进。可提供“捕捉-发送”功能来允许纸面注释的快速捕捉和传输，而且还可将该功能提供给图形输入板PC集成用于墨水注释的传输。这个方面允许所捕捉文档的传输而不需要打印和传真等。本发明的另一方面包括一个拖放界面，它使用户能在数据服务器数据库和用户自己的硬盘之间传输文件。此外，可提供演示槽(Presentation Chute)用于向出席会议的用户广播如PowerPoint演示等文档，并且接收数据客户端(Data Client)能基于文档类型和与文档相关联的其它元数据等采取关于该文档的适当动作。而且还有，本发明提供了会议的记录和自动索引，因此音频内容可通过诸如Outlook和/或SharePoint等各种界面来查找。
依照本发明的一个方面，提供了一种系统，通过它将一或多个用户界面(UI)展示给用户，以促进至少两个参与者之间的实时会议，他们可能物理上位于同一会议室和/或彼此相隔遥远的地方。该系统提供了实时音频/视频通信和实时数据协作两者。可提供视频组件来促进视频影象和静态图像。另外，视频组件可自动变形图像和/或视频，以向用户展示。以这种方式，系统可向用户实时展示会议室环境，同时允许用户实时捕捉和传输例如文档、粉笔板、白板等的视频和/或静态图像，或者第一用户可能想要与第二用户共享的任何其它相关信息片断。视频组件可包括捕捉例如会议室及其中的人的视频的视频摄像机，和可捕捉例如包含会议笔记的白板、纸质文档等的视频和/或静态图像的独立的web摄像机。系统还包括音频组件，它提供会议环境中的实时音频功能。此外，提供虚拟控制器(Virtual Director)，能够协调音频和视频组件来向用户提供丰富的会议感受。
依照本发明的一个相关方面，数据客户端UI可向每个用户提供展示槽以促进实时文档共享和/或演示观看。例如，展示槽图标可通过UI呈现，并可允许用户将文档(例如，照片、Word文件、PowerPoint演示等)拖到图标上、将文档放在图标上并且随后系统可上传该文档到数据服务器，来分发到参加虚拟会议的所有其它数据客户端。例如，如果演示文档放在展示槽中，诸如PowerPoint演示，发送者可选择让该演示自动地在另一用户的UI上开始，或者选择让数据服务器先来判定这个其它用户的计算机的能力以便于提供演示的最佳模式。例如，如果接收用户通过诸如PDA或蜂窝电话等手持计算机正在参加虚拟会议，则展示给该用户的UI将具有与便携机等相比受限制的性能。在这种情况下，数据服务器可将演示变形为例如PowerPoint Viewer或任意其它合适的包，来允许该演示由接收用户观看，而不管接收用户UI相对受限制的性能。这样，系统可支持两种模式的数据共享。例如，数据可以用本地格式从一个数据客户端发送到另一个，或者，，数据可被适当地格式化以启用观看(例如，不作为原始文件发送)，允许接收者在没有编辑能力的情况下就能观看数据。
依照本发明的另一方面，提供房间服务器PC，它包括集中控制与虚拟会议相关联的组件的房间服务器。房间服务器PC还包括能够由房间服务器协调的独立的数据服务器和AV服务器。所有参加虚拟会议的数据客户端都由数据服务器连接和协调。此外，音频-视频(AV)客户端可运行在房间服务器PC上，并独立于与虚拟会议系统相关联的数据客户端且不同于它。AV客户端包括软件，它便于提供会议环境的视频和/或静态图像，并允许用户有选择地变焦、扫视和/或倾斜位于会议环境中的数字自动扫视/倾斜/变焦(DPTZ)摄像机。AV客户端还允许音频数据的处理，诸如降噪、增益控制，以允许放大位于离例如会议环境中话筒阵列更远的发言者声音，而对于位于离话筒阵列较近的发言者声音则相反。数据客户端可运行在，例如，膝上计算机、PDA、蜂窝电话或者参加虚拟会议的任意其它合适的UI，并能位于会议室中或远程位置，诸如另一大楼、城市、国家等中的办公室。数据客户端软件提供允许用户通过拖放界面共享文件的功能，以通过展示槽等广播文档。这样，尽管数据客户端和AV客户端都是包括UI的软件模块，它们可作为独立的实体存在，其中AV客户端处理AV内容的捕捉、传输和/或呈现(例如，AV通信)，而数据客户端处理数据协作(例如，文件传输、演示广播等)。通过将AV客户端与数据客户端分离，可允许用户在没有AV通信的情况下进行数据协作、只进行AV通信而没有数据协作(例如，通过使用蜂窝电话为音频信道等)和/或并发地进行数据协作和AV通信两者。
依照本发明又一方面，提供了web摄像机，便于会议室中的用户希望与会议环境中至少另一用户共享的例如文档、白板内容等的高分辨率数字捕捉。本发明的这个方面允许将文档的硬拷贝传输到文档的电子拷贝中，用于快速分发和/或用于在虚拟会议期间和/或在以后更方便的时候由至少一个用户查阅。这可能对于诸如算法、草图等白板内容特别有用，它们可以用电子形式永久保存以供查阅，从而减轻白板内容被偶然或不小心地从板上 掉的任何风险。由web摄像机捕捉的图像可自动存储在AV服务器上并准备好演示、打印给虚拟会议的参与者。而且，web摄像机可以是移动的，并可在会议环境周围移动，以便于捕捉水平地静止在桌面上的文档、垂直白板上的句子等。此外，web摄像机可被插入会议环境(例如，会议室、远程办公室等)中的任意计算机中，以供利用。
依照本发明的又一方面，能提供自动发现功能，通过它可向经批准参加虚拟会议的用户通知会议正在进行、将要开始等。例如，用户可从房间服务器接收虚拟会议将要开始的电子邮件通知等。此外，当用户输入与房间服务器相关联的预定周长时，用户可被 请加入虚拟会议。用户请可有选择地基于客户列表，该列表可通过与用户的膝上计算机、PDA、蜂窝电话等相关联的电子邮件地址、互联网协议(IP)地址或者通过识别特定用户计算设备的任何其它适合的方法来验证用户身份。而且，虚拟会议访问可以是受密码保护的，以保证在计算设备上的用户是用户声称的人。
为完成前述及相关目标，本发明的某些说明性方面在此结合以下描述和
。但这些方面仅仅是在其中可实施本发明原理的各种方法中的几种表述，而本发明旨在包括所有这类方面及其等价体。本发明的其它优点和新颖特点可在结合附图考虑时从本发明下列详细描述中变得显而易见。
图1是依照本发明一个方面的系统100的图示，它促进多媒体会议环境中的实时信息交换和数据协作，包括允许AV通信的音频/视频(AV)客户端和提供数据协作功能的独立的数据客户端。
图2是依照本发明一个方面的系统200的图示，它包括处理器和存储器，以促进多媒体会议环境中的实时信息交换和数据协作。
图3是依照本发明一个方面的系统300的图示，它包括进行推理的人工智能组件，以促进多媒体会议环境中的实时信息交换和数据协作。
图4是依照本发明一个方面的系统400的图示，它通过在多媒体会议环境中使用数字自动扫视/倾斜/变焦摄像机和/或web摄像机促进实时信息交换。
图5是依照本发明一个方面的系统500的图示，它通过多媒体会议环境中的话筒阵列促进实时信息交换。
图6是依照本发明一个方面的系统600的图示，包括房间服务器和至少两个数据客户端，以促进多媒体会议环境中的数据协作。
图7是依照本发明一个方面的示例性用户界面700的图示，它促进多媒体会议环境中的实时信息交换和数据协作。
图8是依照本发明一个方面的多媒体会议环境800的图示，它促进实时信息交换和数据协作，包括远程替身设备，它提供至少一个位于远程的会场的界面。
图9是依照本发明一个方面的示例性变形的视频图像的图示，诸如可通过与AC客户端相关联的用户界面展示的视频图像，已促进多媒体会议环境中的实时AV信息交换。
图10是依照本发明一个方面的多媒体会议环境1000的图示，它促进在包括至少一个充分配备的会议室和至少一个位于远程的会场中的实时信息交换和数据协作。
图11是依照本发明一个方面的方法1100的图示，用于提供多媒体会议环境中的实时信息交换并允许用户参加会议。
图12是依照本发明一个方面的方法1200的图示，用于提供多媒体会议环境中的实时信息交换并促进演示共享。
图13是依照本发明一个方面的方法1300的图示，用于提供多媒体会议环境中的实时信息交换并促进实时文档捕捉。
图14和15是依照本发明一个方面的示例性计算环境1400和1500的图示。
具体实施例方式
概念和定义软件模块房间服务器管理日历、验证密码、在数据服务器和AV服务器之间协调。
数据服务器一种模块，促进所有连接到它上面的数据客户端之间数据共享；为特定会议存储服务器文件。
AV服务器一种模块，象多点控制单元(MCU)那样工作并适当混合多个传入AV流。AV服务器可判定和/或提供适当的输出流(例如，单个人的视频、在突出的正方形中框住多个人)。
数据客户端为用户进行数据共享、文件传输等提供用户界面(UI)。所有数据客户端都通过数据服务器连接。
AV客户端进行AV通信。所有AV客户端都通过AV服务器连接。AV客户端和数据客户端不需要彼此通信，而是分离而独立的实体。
数据察看器为数据客户端从另一数据客户端接收(例如通过数据服务器)的文档(例如，照片、PowerPoint 示(PPT)) 活适当的 看器。例如，如果文档是MDI，则 活MDI 看器。如果文档是PPT，则 活PPT 看器。
本地文件区域和服务器文件区域通过从UI的本地文件区域到服务器文件区域的文件“拖放”，促进从本地PC到数据服务器的文件(未改变的原始比特)传送。服务器文件区域中的任何文件都能被拖放至任意用户的本地文件区域。服务器文件空间可看作为所有会议参与者的公共文件夹。任何原始文件都逐位复制以便于传送。(见图7，用户界面700)。
示(见图7)允许想让其它用户 看文档(例如，照片、word文件、PPT文件等)的用户从该用户的本地文件空间拖放该文档至 示。该文档随后被上传到数据服务器、转换为合适的格式并发送到所有数据客户端。根据文档格式，数据客户端将启动合适的数据 看器。与文件传送相反，示 只与其它人共享文档的图像化的、不可编辑的版本。
硬件模块和配置房间服务器PC运行房间服务器、数据服务器和AV服务器。通常，它还运行会议室AV客户端。
替身设备(见图8)包括监视器、扬声器、话筒阵列和广角摄像机。房间服务器通常连接到这个替身设备。大多数会议室的原始视频由广角摄像机捕捉，如图9所示(902)。
web摄像机便于物理白板/文档的图像捕捉。web摄像机可连接到运行数据客户端的任意PC/膝上计算机/等上，而不管计算设备是否在会议室或远程位置中。
示例性配置在会议室中，用户通常带来他们的膝上计算机/图形输入板或其它合适的计算设备。当房间服务器PC运行房间服务器时，会议室中的数据服务器、AV服务器和AV客户端、膝上计算机/图形输入板等运行数据客户端，以使相应的用户参与(数据协作)到会议中。注意，因为房间服务器PC已在其监视器(替身设备的一部分)上显示了AV客户端，因此会议室中的用户不需要在他们各自的膝上计算机上运行AV客户端。还要注意，人们不需要带膝上计算机到会议室。在这样一种情况下，想要进行数据协作的用户可利用另一用户的膝上计算机或在房间服务器PC上运行数据客户端。但是，理想的是，每个用户将有他或她自己的膝上计算机，来更方便和有效地在会议期间进行数据协作。
远程办公室的用户可选择在他们台式PC、膝上计算机和/或其它计算设备上只运行AV客户端、只运行数据客户端或运行AV客户端和数据客户端两者。如果远程用户想要被其它用户看见和/或听见，则要在远程用户的PC上提供web摄像机和/或话筒。远程办公室可在单一办公室中包括一个或多个用户，且远程办公室在数量上可以是一个或多个。在远程办公室包括多个远程用户的情况下，远程办公室可以与会议室相似但次于它。
此外，可以有多个会议室，它们的每一个都有其自己的房间服务器PC和替身设备。在一个示例性配置中，只有一个会议室需要被选择为主会议室，它的房间服务器PC运行房间服务器、数据服务器和AV服务器的每一个。在这种情况下，其它房间服务器PC只需要运行AV客户端。按照另一示例性配置，每个房间服务器PC都运行它自己的房间服务器、数据服务器、AV服务器和AV客户端。
本发明不希望受软件和硬件模块及其配置的以上描述限制，因为与本发明的各方面结合的某些模块对本发明的功能而言是可任选的。例如，最小配置可包括房间服务器PC(运行房间服务器和数据服务器)和两个数据客户端。其它软件和/或硬件组件的添加便于富化用户的开会感受。
现在参考附图描述本发明，其中通篇相同的参考标号用于指相同的部件。在以下描述中，为说明目的，提出了许多特定细节以便提供本发明的完整理解。但是，显然本发明可在没有这些特定细节的情况下实施。在其它实例中，众所周知的结构和设备以框图形式示出，以便于描述本发明。
正如本申请中所使用的，术语“组件”和“系统”意在指计算机相关的实体，或者硬件、硬件和软件的组合、软件，或者执行中的软件。例如，组件可以是，但不限于，运行在处理器上的进程、处理器、对象、可执行代码、执行的线程、程序和/或计算机。作为示例，运行于服务器上的应用程序和该服务器都可以是组件。一个或多个组件可驻留在进程和/或执行的线程内，且组件可以位于在一个计算机上和/或分布在两个或多个计算机之间。
如这里所使用的，术语“推断”通常指从通过事件和/或数据捕捉到的一组观察资料中进行有关系统、环境和/或用户的推理过程或推理状态。例如，推断可用来识别特定的上下文环境或动作，或者可生成状态的概率分布。推断是概率性的——即，基于数据和事件的考虑对感兴趣的状态的概率分布的计算。推断也可指用于从一组事件和/或数据组成较高级事件的技术。这样的推断导致根据一组观察到的事件和/或存储的事件数据构建新事件或动作，不论事件是否在紧密相邻的时间上相关，也不论事件和数据是否来自一个或几个事件和数据源。
图1是依照本发明一个方面的系统100的图示，它便于多媒体会议环境中的实时信息交换。系统100包括房间服务器PC 102，它包括集中式房间服务器(未示出)，以协调虚拟会议环境中的通信和协作。房间服务器PC 102操作上耦合到视频组件104和音频组件106，它们可监视诸如会议室、商务办公室、家庭办公室等的会议环境。被监视的特定环境可包括一个或多个用户，他们每一个可通过数据客户端108参加数据协作。房间服务器PC 102包括便于对视频组件104和音频组件106的实时控制并实现用户请求的虚拟控制器110，和包括向参加虚拟会议的用户提供AV功能的音频/视频(AV)客户端112，它位于会议室中。虚拟控制器操作上耦合到房间服务器PC 102中的AV客户端。
此外，房间服务器PC 102包括协调AV客户端之间的信息交换和/或AV通信的AV服务器116，例如，其中远程用户通过运行它自己的AV客户端参加虚拟会议。类似地，房间服务器PC 102包括协调数据客户端108之间的信息交换和数据协作的数据服务器118，不论它运行在远程PC上还是在会议室中存在的本地PC上。要理解，数据客户端可运行在除AV客户端112以外的房间服务器PC 102上，但不是必须在其上运行。驻留在房间服务器PC 102上的房间服务器可提供，例如，日历管理、密码验证和AV服务器116和数据服务器118之间的协调。通过提供管理AV服务器116和数据服务器118两者的房间服务器，不需要它们之间有直接通信，这进而允许AV服务器116作为单独和不同于数据服务器118的实体存在。
所有数据客户端108连接到数据服务器118，不管给定的数据客户端108是运行在远程PC上还是本地PC上。运行在房间服务器PC 102上的AV客户端连接到房间服务器PC 102中的AV服务器116上。远程用户可从远程PC上启动附加的AV客户端，且这样的远程AV客户端也将连接到房间服务器PC 102中的AV服务器116。以这种方式，AV服务器116类似于多点控制单元，允许来自多个AV客户端的传入AV流适当地混合起来。
视频组件104可捕捉图像为视频和/或静止图像，它允许视频会议进行同时提供捕捉例如文档、白板等的图像的功能。例如，诸如数字自动扫视/倾斜/变焦(DPTZ)摄像机这样的广角web摄像机可捕捉会议室和出现在其中的人的视频，而独立的移动web摄像机可捕捉，例如，当白板在会议期间正在被填充时的实时白板视频、文档和/或已填充的白板的静止图像供以后回顾，等等。视频组件这样的双重功能允许用户继续在单个地方和/或远程位置(例如西雅图的会议室和伦敦的远程办公室)之间进行的会议同时提供文档、白板等的图像，这些可在以后的时间里重看。此外，视频组件操作上提供自动变形功能，由此在例如会议室中的多个参与者的相对邻近性可被补偿，以向远程用户提供会议室中与接近于视频组件的那些参与者相比更远的参与者的更好的视图。
视频组件104和音频组件106都可在通信上耦合到AV客户端112和虚拟控制器110，它们可尽力控制视频组件104和音频组件106。例如，来自音频组件106的信息可用来定位会议环境中当前发言者的位置。这样的位置信息可由虚拟控制器110用来指挥视频组件104捕捉从音频信息导出的位置上的发言人的视频、图像、画面等。例如，视频组件104可包括数字视频摄像机，它可根据指示发言者位置的信息聚焦于发言者。
虚拟控制器110可使用不同的电影摄影规则等，诸如限制允许视频组件104在例如会议室中两个彼此来回讲话的人之间切换场景的频率。在这种情况下，两个发言者能够并排地呈现出来，等等。此外，远程用户在任何时间都能被授予超越虚拟控制器110的权力，从而选择远程用户想要的任意场景。
音频组件106可提供高保真声音捕捉能力以增强开会感受。音频组件106可配置在话筒阵列中，以确保发言者的声音在会议环境中任何一点都将被很好地接收。这样的安排还可促进降噪、声回波消除(AEC)和自动增益控制(AGC)，所有这些可促成几十分贝的整体降噪。音频组件106还包括音频处理能力，可减轻在接收点检测到的由例如网络配置中的不稳定和/或可变延迟引起的音质不足，以提供无假信号脉冲的声音信号并增强用户的开会感受。
房间服务器PC 102还操作上耦合到至少一个数据客户端108，它通过数据服务器118从房间服务器PC 102接收信息。此外，数据客户端108可包括用户界面(UI)114，它便于向用户呈现从数据服务器118接收到的信息。数据客户端可运行在例如膝上计算机、手持式计算设备、PDA、蜂窝电话或可从数据服务器118接收信息并向参加会议的用户以有意义的方式呈现这类信息的任何其它合适设备。系统100的数据客户端108是独立且不同于AV客户端112的，以便于AV服务器116处的集中式AV控制，因而参加虚拟会议的本地用户在没有单个的AV客户端的情况下也能同时接收AV相关的数据。本发明的这个方面通过减少提供丰富的虚拟会议环境所需要的系统组件的数量来简化系统100。但是应该理解，如果用户想要，运行数据客户端108的单个PC可另行包括AV客户端112。
图2是依照本发明的一个方面便于多媒体会议环境中实时信息交换的系统200的图示。系统200包括房间服务器PC 202，它通过房间服务器(未示出)提供集中式服务器功能，并操作上关联于视频组件204、音频组件206以及至少一个数据客户端208的每一个。房间服务器PC 202包括给予房间服务器PC202对虚拟会议环境各方面的控制功能的虚拟控制器210，以及为促进音频和视频信息的传输和虚拟控制器210和/或用户控制而提供软件应用程序的AV客户端212。这种信息可通过关联于AV客户端212的用户界面(未示出)呈现。
虚拟控制器210还关联于对关联于会议环境各方面的信息进行分析的处理器216，以及对该信息进行存储的存储器218。应该理解，处理器216可以是专用于处理相关于会议环境信息的处理器、控制实时多媒体会议系统200的一个或多个组件的处理器、或者既处理相关于会议环境信息又控制实时多媒体会议系统200的一个或多个组件的处理器。另外，尽管处理器216和存储器218被示出为关联于虚拟控制器210，应该理解，多个处理器216和/或存储器218可存在于这里所描述的其它组件中，且处理器216和存储器218不限于只关联于虚拟控制器210。
此外，关于存储器组件218，应该理解，这里所描述的存储器(例如，数据存储)组件可以是易失性存储器或非易失性存储器，或者可包括易失性和非易失性存储器两者。作为示例而非限制，非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可 写ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它可担当外部高速缓存存储器。作为示例而非限制，RAM以许多形式可用，诸如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)和直接存储总线RAM(DRRAM)。本系统和方法的存储器旨在包括，而不限于，这些或任何其它合适的存储器类型。
房间服务器PC 202还包括AV服务器220，它协调房间服务器PC 202中的AV客户端212和例如由远程PC上的远程用户启动的远程AV客户端(未示出)之间的AV通信。此外，房间服务器PC 202包括数据服务器222，它协调数据客户端208之间的数据协作，不管它们是运行在远程PC上还是存在于会议室中的本地PC上。要理解，除AV客户端212之外，数据客户端208还可运行在房间服务器PC 202上，但不是必须在其上运行。
现在转向图3，如这里所使用的，术语“推断”通常指从一组通过事件和/或数据捕捉的观察资料进行的系统、环境和/或用户的推理过程或推理状态。例如，推断可用来确定特定上下文环境或动作，或能生成状态的概率分布。推断可以是概率的——即根据数据和事件的考虑对感兴趣的状态的概率分布的计算。推断还可指用于从一组事件和/或数据构成较高级事件的技术。这样的推断导致从一组观察到的事件和/或存储的事件数据构建新事件或动作，不论事件是否以在紧密邻近的时间上相关，也不论事件和数据是否来自一个或几个事件和数据源。各种分类大纲和/或系统(例如，支持向量机、神经网络、专家系统、贝叶斯信任网、模糊逻辑、数据融合引...)可结合执行自动和/或结合本发明推断的动作一起使用。
还是参考图3，依照本发明的一个方面示出了系统300，它便于会议环境中的实时多媒体信息共享。按照附图，系统300包括房间服务器PC 302，它操作上耦合到视频组件304、音频组件306和至少一个数据客户端308的每一个。房间服务器PC 302包括通过虚拟会议环境的各方面向房间服务器PC 302提供控制功能的虚拟控制器310，以及提供便于音频和/或视频信息的传输的和系统和/或用户控制的软件应用程序的AV客户端312。这种信息可通过关联于AV客户端312的用户界面(未示出)呈现给用户。
虚拟控制器310关联于分别分析和存储关联于会议环境的信息的处理器316和存储器318。另外，虚拟控制器310包括人工智能组件320，它能够进行关于例如信息向用户的呈现等的推断。按照另一示例，用户可通过在远离房间服务器PC 302和房间服务器PC 302位于其中的会议室PC 302的一个地方的计算设备上启动例如数据客户端308、AV客户端312或者两者来参加虚拟会议。进一步看这个示例，在异地要与会议环境AV通信的用户可从例如蜂窝电话上启动远程AV客户端。但是，蜂窝电话不可能具有象例如膝上计算机或PC那样的图形性能，并且很可能被从房间服务器PC 302上的AV服务器322接收到的信息过载。AI组件320可进行关于例如远程用户蜂窝电话的图形性能、下载速率等的推断，并能以合适的方式打包和/或传输会议相关数据到该蜂窝电话，以便于向远程用户呈现信息而不超出该蜂窝电话的用户界面的限制。要理解，上述例子只是为示例目的，而不是要限制可由所述系统进行的推断数量或进行这种推断的方式。
除虚拟控制器310和AV客户端312以外，房间服务器PC 302可包括协调房间服务器PC 302中的本地AV客户端312和例如由远程用户在远程PC上启动的远程AV客户端(未示出)之间的AV通信的AV服务器322。另外，房间服务器PC 302可包括在数据客户端308之间协调数据协作的数据服务器324，无论是运行在远程PC上还是会议室中的本地PC上。要理解，数据客户端除AV客户端312外可运行在房间服务器PC 302上，但不是必须运行在其上。
图4是依照本发明的一个方面的系统400的示例，它便于多媒体会议环境中实时信息交换。房间服务器PC 402操作上耦合到视频组件404，它可从会议环境收集虚拟信息。房间服务器PC 402还操作上关联于音频组件406，它监视会议环境并收集关于其中声音的数据。房间服务器PC还进一步操作上耦合到至少一个数据客户端408，它便于其自己与驻留在会议环境中房间服务器PC402中的数据服务器428之间的数据协作，并通过UI 414向用户呈现信息。如关于前述方面与附图所述，房间服务器PC 402包括虚拟控制器410和带有UI(未示出)的AV客户端412。虚拟控制器410还关联于分析关联于会议环境的数据的处理器416、存储器组件418和进行关于会议环境中信息交换的推断的AI组件420。
依照本发明的这个方面，视频组件404可包括数字自动扫视/倾斜/变焦(DPTZ)摄像机422，它可提供它所位于的会议室的实时视频信息。虚拟控制器410可指挥DPTZ摄像机422框住给定时刻在会议室中发言的人，且这样的影象可由驻留在房间服务器PC 402上的AV服务器428接收，并通过关联于AV客户端412的UI实时分发。例如，以高分辨率传输会议室的视频需要发送大量信息。虚拟控制器可通过以高分辨率呈现发言人，同时以低分辨率呈现会议室图像的其余部分，来减少大量传输。通过以低分辨率传输图像的大部分，传输的大小可被显著降低。另外，DPTZ摄像机422可提供自动变形功能，由此可使每个出现在会议室中的参与者的大小相等，尽管每个参与者相对于DPTZ摄像机422的距离不同。本发明的这一特定方面将在后面进一步详细讨论。
视频组件404可进一步包括文档捕捉组件424，诸如web摄像机，允许文档的硬拷贝被转换成可实时呈现给每个用户的电子拷贝。例如，文档捕捉组件可拍摄纸质文档、包含会议记录的白板等的 止图像，并电子地保存这类文档以备以后的查阅等。而且，一旦被捕捉，文档可被立即以打印就绪格式分发给用户。
图5示出依照本发明的一个方面的系统500，它便于会议环境中实时多媒体信息交换。房间服务器PC 502 作上 合到监视会议室环境来捕捉关联于例如会议的视频数据的视频组件504，以及监视会议室来收集相关于它的音频信息的音频组件506。房间服务器PC 502还 作上关联于数据客户端508，它提供数据协作功能，并可通过用户界面514在房间服务器PC 502上向用户呈现从房间服务器(未示出)接收到的信息。
房间服务器PC 502包括便于AV信息分发和/或收集的自动控制的虚拟控制器510，以及提供便于以音频和/或视频格式接收和/或分发信息的软件应用、程序、进程、线程等的AV客户端512。要注意，AV客户端512独立且不同于数据客户端508，它便于减少对每个本地用户的个人计算设备上独立AV客户端的需求。虚拟控制器510关联于便于系统500的各种组件的控制和/或分析从那里接收到的信息的处理器516。虚拟控制器510还关联于存储器518，它可存储从系统组件接收到和/或由处理器518分析的信息。另外，虚拟控制器510包括可进行关于例如向至少一个用户的信息分发等的推断的AI组件520。
视频组件504包括DPTZ摄像机，它可监视例如会议室环境。单个的远程用户可有选择地缩放、扫视、倾斜等到通过在远程用户的计算设备上启动的各AV客户端512呈现给远程用户实时图像的不同区域。本发明的这个方面对从不同于会议室中房间服务器PC 502的物理位置的地方参加会议的用户特别有用。视频组件504还包括文档捕捉组件524，它可捕捉诸如备忘录的硬拷贝、白板上的会议记录或者用户想以电子形式保存和/或与远程用户共享的任何其它文档等文档的图像。这样的图像可被立即呈现给所有用户，使得在捕捉图像后，图像立即出现在用户面前，并且如果用户需要即可打印。
音频组件506包括话筒阵列526和发言人跟踪组件528。尽管发言人跟踪组件528被示出为包括在音频组件506中，但要理 ，发言人跟踪组件528可包括在AV客户端512和/或虚拟控制器510中，且不限于图5所示的物理方向。话筒阵列526可提供音频信息的高保真、无噪音捕捉。而且，话筒阵列可通过发言人跟踪组件提供可被分析用来例如确定在会议室中正在发言的人的位置的方向性信息。
另外，基于视觉的跟踪可由例如虚拟控制器510至少部分地根据从视频组件504(例如，广角web摄像机、DPTZ摄像机等)接收到的数据来促进。在包括诸如欢呼、房间反射等大音量环境噪声的情况下，其中可能危及话筒阵列的准确性，这特别有用。由广角房间摄像机捕捉的视频能够被基于视觉的跟踪算法(例如，基于运动、基于外观、基于颗粒过滤器方法等)使用。另外，来自话筒阵列和基于视觉的跟踪结果的方向性信息可由例如关联于虚拟控制器510的颗粒过滤器(未示出)(或其它合适的机器学习技术)合并，来产生比单独话筒阵列方向性信息或者单独基于视觉的跟踪信息更准确和 壮的跟踪结果。
房间服务器PC 502还包括AV服务器530，它协调房间服务器PC 502中的AV客户端512和例如由远程用户在远程PC上启动的远程AV客户端(未示出)之间的AV通信。另外，房间服务器PC 502包括数据服务器532，它协调两个或多个数据客户端508之间的数据协作，无论是运行在远程PC上还是出现在会议室中的本地PC上。要理解，数据客户端508除AV客户端512之外还可运行在房间服务器PC 502上，但不必须在其上运行。
图6是依照本发明的一个方面的基本会议环境600的示例。按照此图，会议环境600包括房间服务器PC 602和至少两个数据客户端604，它们可驻留在用户的计算设备上，诸如膝上计算机、图形输入板PC等。可任选地，数据客户端604可驻留在房间服务器PC 602上。
每个数据客户端604，示出为图6中的膝上计算机，向用户提供数据协作能力。依照本发明的一个方面，用运行在膝上计算机、图形输入板PC等上的数据客户端604进入会议室的用户可由驻留在房间服务器PC 602上的房间服务器识别并 请加入会议。例如，用户可通过关联于数据客户端604的IP地址、关联于数据客户端604和/或用户的电子邮件地址、由房间服务器为每个会议生成的唯一统一资源定位器(URL)等来识别。另外，用户可被提示输入密码来验证该数据客户端604的用户确实是用户声称是的那个人(例如，被 请到会议、会见等的人)。
房间服务器PC 602可包括和支配数据服务器，它便于数据客户端604间的数据协作。例如，每个数据客户端604包括拖-和-放文件传送能力，使得用户可在作为关联于每个数据客户端604的用户界面(UI)的一部分呈现给用户的“本地”和“服务器”区域之间拖动文件，且文件将立即从数据客户端604拷贝到房间服务器PC 602中的数据服务器上，反之亦然。一旦文件拷贝到房间服务器PC中的数据服务器上，所有会议参加者都能完全访问该文件。文件可以是文档，诸如文字处理文档、电子表格或者能够被创建、传送、存储等任何其它合适的文件。
本发明的一个相关方面通过呈现给用户的、作为关联于每个数据客户端604的用户界面(UI)的一部分的“演示槽”提供了拖放文件广播能力。按照这个方面，演示文件，诸如PowerPoint演示，可被拖到并释放在演示槽上。一旦放在槽上，演示可立即通过房间服务器PC 602中的数据服务器呈现到参加会议的其它数据客户端604上，而无论其它数据客户端604在远程还是在本地。另外，演示的发送者可具有与授权给文档接收者的控制量相比对演示的增加的控制。例如，如果第一用户向第二用户发送一演示，第一用户可要求演示幻灯片只能根据第一用户的提示(例如，鼠标点击、触针轻击、声音提示...)来前进。或者，第一用户可“解锁”演示控制并允许其它用户如愿前进演示。按照这个例子，多个接收用户可以按照他们各自的需要以不同的速度观看演示。演示槽将在下文参考图7更加详细地讨论。
图7示出示例性UI 700，它可通过数据客户端呈现给用户。UI 700包括“服务器文件”区702，它包括表示存储在会议室中房间服务器上的文件的服务器文件图标704。UI 700还包括“本地文件”区706，它包括表示本地存储在UI 700在其上向用户呈现的数据客户端上的文件的本地文件图标708。这样，尽管服务器文件区702中的服务器文件图标704将与每个参加会议的数据客户端的相同，但本地文件区706中的本地文件图标708可以是一个数据客户端不同于下一个，虽然两个或多个数据客户端具有表示为UI 700的本地文件区706中本地文件图标708的相同本地文件集是可能的。用户可从本地文件区706中拖动图标708并在服务器文件区702中释放，以促使本地文件被上传到服务器，从而允许用户接收和/或访问它们各自服务器文件区702中的文件。另外，用户可在本地文件区706上拖放服务器文件图标704，以将服务器文件复制到用户本地硬盘驱动器上。
UI 700包括演示槽710，它便于数据客户端间的演示共享。例如用户可在演示槽710上拖动一演示文件(例如，电子幻灯片演示、PowerPoint演示等)，并释放它于其上来上传到数据服务器。到数据服务器的传输可伴随音效，以通知用户上传正在进行。数据服务器然后可以启动对其它出席会议的数据客户端的文件广播。每一数据服务器然后可各自启动合适的数据察看器来看放映演示。初始放置演示文件于演示槽710中的用户可看作是演示的所有者，并能控制演示期间的滚动操作(例如，前一张、下一张等)。或者，所有者可允许接收数据客户端处用户之间的不同步，使得允许接收用户跳到前面、回到前一幻灯片、以及以他们自己的节奏观看演示。在这种情况下，每个UI可提供“Sync(同步)”图标(未示出)，当点击时将自动将接收数据客户端上的展示同步到所有者的演示画面。另外，所有者的数据客户端可具有主“Sync”图标(未示出)，当激活时它将所有数据客户端画面同步到所有者画面。
现在转到图8，依照本发明的一个方面示出了会议环境800。按照该图，会议环境800包括带有房间服务器PC 804的会议室802。会议室802还包括至少一台数据客户端806，它驻留在例如膝上计算机、图形输入板PC、手持式计算设备或结合这里所提出的本发明各方面适于向用户呈现用户界面的任何其它设备。会议室802还包括远程用户替身设备808，它便于以接近实际大小向位于会议室中的用户呈现远程用户，反之亦然。替身设备808包括显示器810(例如，监视器、平板显示器...)，基于此安装了DPTZ摄像机812、话筒阵列814和扬声器816。要理解，根据参加会议的远程用户数量，有一个或多个远程替身设备。另外，单个远程替身设备可用来代表多个远程用户(例如，通过分屏、画中画技术等)。替身设备808操作上耦合到房间服务器PC 802上。
DPTZ摄像机812捕捉会议室和其中的人的图像，且这样的信息由与房间服务器PC 804中AV服务器通信的本地AV客户端接收，用于通过运行在远程用户PC上的AV客户端向远程用户的演示。DPTZ摄像机812可自动变形会议室的图像，使得位于其中的参与者可以几乎相同的尺寸呈现，不管各人到DPTZ摄像机812的实际距离如何，如在参考图9更详细地描述一样。自动变形便于让远程用户(或者，例如虚拟控制器，如参考图1-5所述)缩放任何人，包括那些远离于DPTZ摄像机812的人。
话筒阵列814从会议室捕捉声音，诸如发言人的声音，并向房间服务器PC804中的AV客户端提供与其相关联的信息，以供呈现给远程用户。另外，话筒阵列814可提供关于发言人位置的位置信息，例如向房间服务器PC804中的虚拟控制器提供该信息，后者可使用位置信息来指挥DPTZ摄像机812缩放发言人的位置。依照本发明的相关方面，这样的缩放还可由远程用户执行。
另外，可由虚拟控制器根据从DPTZ摄像机812接收到的数据促进基于视觉的跟踪。由DPTZ摄像机812捕捉的视频可由基于视觉跟踪算法(例如，基于运动、基于外观、基于颗粒过滤器方法等)使用，以确定发言人位置。而且，来自话筒阵列的方向性信息和来自DPTZ摄像机812的基于视觉的跟踪信息可由颗粒过滤器(或其它适当的机器学习技术)合在一起来产生比单独话筒阵列方向性信息或单独基于视觉的跟踪信息更准确和 壮的跟踪结果。
依照本发明的另一方面，除了会议室的低分辨率视频外，发言人可以以高分辨率呈现给远程用户，这样当发言人开始讲话时，由房间服务器PC 804中的AV客户端接收的位置信息(例如，话筒阵列方向性信息和/或基于视觉的跟踪信息)由虚拟控制器用来确定发言人在会议室中的位置，且指挥DPTZ 812除会议室低分辨率视频外以高分辨率呈现该位置。通过允许图像分辨率被减小，呈现时的带宽约束可减小。话筒阵列814可由实时通信音频栈支持，并能提供自动回声消除、声源定位、噪声抑制(例如定位的噪声源)和/或增益控制来便于相关远距离发言人的可听见程度。
扬声器816结合替身设备808而提供，以从远程位置向会议室中的用户呈现音频信息。以这种方式，远程用户可从远程办公室818a-818n与会议室中的参与者讲话。每个远程用户具有可包括它自己的AV客户端的计算机，以便于接收来自会议室的AV相关信息。另外，远程用户的计算机可包括便于远程数据客户端与会议室中房间服务器PC 804中的数据服务器和/或数据客户端806之间的数据协作的数据客户端。每个远程办公室818a-818n都可配备话筒(未示出)和web摄像机(未示出)，以捕捉远程办公室中的AV信息，用于通过运行在远程办公室中的AV客户端传输到房间服务器PC 804中的AV服务器并在远程替身设备808上展示。
要理解，如果需要，远程用户可以使用，例如，蜂窝电话作为UI，并且如果蜂窝电话具有视频功能，可通过远程替身设备上的广角数字视频摄像机观看会议室。但是，蜂窝电话最少可用来提供音频功能，使得远程用户可听见会议室802并在会议室802中被听见。在这种情形下的远程用户可由会议的另一参与者等通过例如由服务器804作出的对该蜂窝电话的呼叫来通知会议的开始。另外，这个示例中的远程用户将只启动AV客户端，因为远程用户不需要数据客户端。
图9是在由AV客户端、虚拟控制器等进行自动变形之前和之后呈现在关联于会议室的AV客户端的用户界面上呈现的图像的示例性说明。如所示，第一图像902示出其中有坐在距DPTZ摄像机不同距离的四个参与者的会议室。坐在桌尾的参与者与其它会议的参加者相比以夸大的距离被观察。变形后，会议室的图像904以更均等的布局呈现所有参与者，使得参与者距DPTZ摄像机的相对距离仍是可感知的，但每个个别的参与者呈现为具有与每个其它参与者相对等同的大小。这样，图像904更加类似于由物理上出现在房间里的人观察到的景象。
自动变形通过识别要应用于未变形图像中每个垂直扫描线的不同放大量来运作。例如，在大多数情况下，图像的中心扩展更多，而边可能没有扩大。放大跨图像平滑地变化，从而最小化了任意局部区域中的失真。与广角失真的画面相反，这导致了更广的但更统一的会议室画面。会议室图像的自动变形促进远程用户的丰富的会议体验。
图10依照本发明的一个方面示出了类似于图6中描述的会议环境1000。会议环境1000包括会议室1002，带有包括便于对数据服务器和AV服务器的集中式控制的房间服务器PC 1004和至少一个数据客户端1006。所示替身设备1008表示如参考图8所述的远程办公室1014a-n中的远程用户，其中替身设备包括这里所述的特征和功能。但是要理解，现在所描述的会议环境1000可包括位于没有远程用户的会议室中的两个或多个数据客户端1006。
会议环境1000还包括便于捕捉例如纸质文档(未示出)和/或白板1012的图像的web摄像机1010。如这里所使用的，“文档”旨在包括写在白板上的文档、草图等。web摄像机1010可指向例如白板1012，且由此捕捉到的图像可通过关联于运行在每个位置上的AV客户端的用户界面呈现给所有用户，无论在会议室1002还是在远程办公室1014a-n。这样的影象可实时呈现，这便于对白板的实时更新，使得对白板的 除、添加和/或任何其它修改都可被远程用户及物理上出现在会议室1002中的用户观察到。另外，web摄像机1010可捕捉静止图像，使得如果对白板内容不再进行进一步修改，白板1012的静止图像可被捕捉并由白板位置上运行的AV客户端呈现给房间服务器PC 1004中的AV服务器，用于为存储和/或以后的查阅而从AV客户端本地分发到其它用户。
要理解，本发明不限于单个会议室1002的应用，它还能促进任意数量的不同位置的会议室和/或办公室之间的多媒体信息交换，而忽略地理位置和/或彼此间的接近程度。单个主会议室1002这里只是为示例的目的而给出的，并非旨在限制在其中或其间本发明可运行的会议地点、房间、办公室等的数量。另外，web摄像机可在任何远程办公室、二级会址等处提供，以便于远程位置文档和/或白板图像捕捉，来呈现给其它AV客户端。
而且，物理文档可由web摄像机1010数字化拍摄并立即通过AV服务器传送到AV客户端，以供用户查阅、打印、签名等。这种“捕捉—发送”协议可包括文档和/或白板的图像捕捉、图像的增强和立即传输。例如，接收需要远程用户签名的文档的已捕捉图像的远程用户可打印该文档、签署它并使用远程位置的第二web摄像机(未示出)来捕捉签署后的文档图像并立即将该图像传回文档的原始发送者。原始发送者然后可打印该签署后的文档、电子化存储它等。如果签名用户正在使用图形输入板PC运行AV客户端，则签名用户可用图形输入板触针电子化地签名，而不用在重传签署后的文档前打印该文档和/或使用第二web摄像机。
示例性情况为示出上述系统的操作，提供以下示例。下面例示了关于这里揭示的本系统和方法的可能的使用情况，但本质上是示例而非旨在限制本发明的范围，因为其它可能的使用情况也被构想并意在落入本发明的范围和精神中。用户1、用户2和用户3正处在会议状态中。用户1和用户2在如这里所述的会议室中，而用户3从他的办公室远程参加。在会议室中，有房间服务器PC、高分辨率web摄像机和远程个人替身设备。用户1带了图形输入板PC，而用户2带了膝上计算机到会议室。用户1和用户2在替身设备上看得见用户3，而用户3在他的台式机显示器上看得见用户1和用户2。用户3听得见来自用户1和用户2的清晰声音；他可在全景窗口和正在讲话的用户的大画面中看见他们。用户1和用户2看得见用户3的清晰而接近实际大小的视频，也能清楚地听到他。AV客户端运行在房间服务器和用户3的办公室PC上。数据客户端正运行在用户1的图形输入板、用户2的膝上计算机和用户3的办公室PC上。
用户2就在会议前编辑了word文档并想在会议上共享它。用户2拖放该新文档到显示给用户2的演示槽中。几秒内文档就显示在用户1和用户3的数据客户端中。
用户1拖放PowerPoint文件到他的数据客户端的演示槽中。在用户2和用户3的计算机上与PowerPoint一起启动了合适的数据察看器。用户3可跳过幻灯片并向前浏览来快速看 示内容，并随后可按“sync”按钮来将 示同步回用户1的当前幻灯片。
用户3在他的办公室白板上画框图，并将高分率web摄像机对准白板。当用户3点击“Start...whiteboard(启动...白板)”图标时，白板内容被发送给服务器，并显示在用户1和用户2的膝上计算机上。白板内容可实时呈现如果用户3 掉了一个框，它也从用户1和用户2的画面上消失。用户1可用他的图形输入板在白板上标注，且如果记录会议则这些标注可被保存。
快到会议结束时，用户3想要用户2同意在会议期间所做决策的签名。用户3从他的数据客户端界面的本地文件区拖放一个表格到服务器文件区。用户2马上接收该表格，在就近的打印机上把它打印出来并签署它。用户2将高分率web摄像机插入她的膝上计算机机，将摄像机对准签署后的表格，并点击她的数据客户端中“Start...(chpture-and-send)(启动...(捕捉—发送))”图标。用户3几乎立即接收了“传真”。如果用户1的签名也需要，他可用他的图形输入板笔电子签名。
尽管这里为示例的简便性起见以流程图形式示出了这里所示的一或多个方法，并描述为一系列的动作，但要理 和意识到，本发明不为动作的顺序所限制，因为依照本发明，一些动作可以不同的顺序和/或与这里所示和描述的其它动作同时发生。例如，本领域的技术人员将理 并意识到，方法可有选择地表示为诸如状态图中的一系列的相关的状态或事件。此外，不是所有示出的动作都是实现依照本发明的方法所必需的。
图11是依照本发明的一个方面的方法1100的示例。在1102，房间服务器活AV客户端来促进会议环境中的实时多媒体信息交换。AV客户端 活可以用两种方式发生。例如，远程AV客户端可连接到由房间服务器控制的AV服务器，其上驻留有本地AV客户端，从而提示房间服务器启动本地AV客户端。另外，本地AV客户端可通过AV服务器启动到远程AV客户端的连接，例如，在预定的会议时间等。要理 ，尽管包括AV客户端的软件驻留在房间服务器上，且房间服务器也可启动和/或运行数据客户端软件，但数据客户端和AV客户端是独立和不同的软件模块。因此，房间服务器运行AV客户端而不运行数据客户端是可能的，反之亦然。
在1104，房间服务器指挥数据服务器搜索和识别已登录或可登录到会议的任何数据客户端。在1106，允许每个具有参与会议权限的数据客户端登录，且这种登录是密码保护的。根据至少两个数据客户端登录，会议可在1108开始，其中，在1110，至少两个数据客户端的用户可通过各自的数据客户端实时交换信息，并能向这些用户呈现来自运行在AV服务器上的AV客户端的AV信息。要理解，至少两个数据客户端不需要位于同一地方，而是一个数据客户端可从远程办公室参加会议。在这种情况下，远程数据客户端一般将运行在远程用户的办公室计算机上，且独立的AV客户端可被启动来向远程用户提供来自会议室的AV数据，同时远程数据客户端促进它自己和其它数据客户端和/或会议室房间服务器PC中的数据服务器之间的数据协作。
图12是依照本发明的一个方面用于会议环境中几乎 时的文档察看的方法1200的示例。按照该图，在1202，数据客户端的用户可将演示(例如电子幻灯片演示等)拖到由数据客户端呈现给用户的用户界面(UI)上的演示槽图标上。用户可拖动图标上的演示，该演示将在1204被上传到数据服务器。在1206，该演示可作为演示的图像版被发送到每个数据客户端。在1208，作出关于所有者(例如，发送者、原创人...)是否给出许可使接收数据客户端用户可随意观看该演示，或者所有者是否锁定该演示从而只有所有者可前进该演示的判断。在1210，如果所有者没有授权许可给接收数据客户端用户来随意观看该演示，则对于演示的控制仍在所有者。但如果所有者授权了这种许可，则在1212，能够允许该演示的不同步，从而接收者能够滚动该演示，例如来细读其内容，同时该演示的所有者以不同节奏继续。再同步可在接收者希望返回到所有者演示节奏的任意时刻发生。
图13是依照本发明的一个方面便于多媒体会议环境中的实时文档捕捉的方法1300的示例。要理解，这里所使用的“文档”可以是物理纸质文档、会议环境和/或办公室中白板上的草图和/或注解等等。在1302，可激活高分辨率web摄像机。在1304，可捕捉文档图像。图像可捕捉为实时视频，诸如白板内容。白板图像可 循“白平 ”协议，通过该协议这种图像可被处理、清理、加深等来改进用户的观看体验，并随后能实时呈现给用户。以这种方式，改变白板内容(例如进行添加、删除等)可由用户在它们发生时看到。还可允许用户在任何时候为今后查阅而保存这种图像。另外，图像可捕捉为静止图像，诸如需要签名的纸质文档的图像。这种静止图像可呈现给用户，以供打印用于墨水签名、电子签名、用图形输入板触针签名等等。
在1306，捕捉的文档可通过对web摄像机本地的AV客户端上传到AV服务器，以供在1308分发给其它AV客户端。一旦接收到，运行各自的AV客户端的用户可在1310察看、打印、保存所捕捉的图像，用于操纵、今后的查阅等。以这种方式，本发明可促进瞬时捕捉—发送功能，它减少关联于传统传真过程的耗时任务并增强用户的会议体验。
现在参考图14，示出了可用于执行所揭示的体系结构的计算机框图。为了提供本发明各方面附加的上下文环境，图14及以下讨论旨在提供其中可实现本发明的各方面的合适计算环境1400的简要、一般描述。尽管以上已在可运行于一个或多个计算机上的计算机可执行指令的通用环境中描述了本发明，本领域的技术人员将认识到，本发明也可结合其它程序模块和/或作为硬件和软件的结合来实现。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构等。此外，本领域的技术人员将意识到，本发明的方法可用其它计算机系统配置实施，包括单处理器或多处理器计算机系统、小型计算机、大型计算机、以及个人计算机、手持式计算设备、基于微处理器或可编程消费者电子设备等，其每一个都可操作上连接到一或多个相关的设备。本发明所示方面还可在分布式计算环境中实施，其中某些任务由通过通信网络链接的远程处理设备执行。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备中。
再参考图14，示出了实现本发明各方面的示例性环境1400，包括计算机1402，计算机1402包括处理单元1404、系统存储器1406和系统总线1408。系统总线1408将包括但不限于系统存储器1406的系统组件耦合到处理单元1404。处理单元1404可以是各种商业可用处理器的任何一种。双微处理器和其它多处理器体系结构也可用作处理单元1404。
系统总线1408可以是几种总线结构类型的任一种，可进一步互连到存储器总线(有或没有存储器控制器)、外围总线和使用各种商业可用总线体系结构的任意一种的局部总线。系统存储器1406包括只读存储器(ROM)1410和随机访问存储器(RAM)1412。基本输入/输出系统(BIOS)存储在非易失性存储器1410中，诸如ROM、EPROM、EEPROM，BIOS包含在诸如启动期间帮助计算机1402内各元件间传送信息的基本例程。
计算机1402还包括硬盘驱动器1414、磁盘驱动器1416(例如读取和写入可移动盘1418)和光盘驱动器1420(例如读取CD-ROM盘1422或读取或写入诸如数字视频盘(DVD)等其它高容量光介质)。硬盘驱动器1414、磁盘驱动器1416和光盘驱动器1420可分别通过硬盘驱动器接口1424、磁盘驱动器接口1426和光盘驱动器接口1428连接到系统总线1408。驱动器及其相关联的计算机可读介质提供数据、数据结构、计算机可执行指令等的非易失性存储。对于计算机1402，驱动器和介质容纳以合适的数字格式广播编程的存储。尽管以上计算机可读介质的描述指硬盘、可移动磁盘和CD，但本领域的技术人员应该理解，可由计算机读取的其它类型的介质，诸如zip驱动器、磁带盒、闪存卡、数字视频盘、盒式磁盘等，也可在示例性操作环境中使用，且任意这种介质包含用于执行本发明方法的计算机可执行指令。
大量程序模块可存储在驱动器和RAM 1412中，包括操作系统1430、一个或多个应用程序1432、其它程序模块1434和程序数据1436。要理解，本发明可用各种可买到的操作系统或操作系统的组合来实现。
用户可通过盘1438和诸如鼠标1440等定点设备将命令和信息输入到计算机1402。其它输入设备(未示出)可包括话筒、IR遥控器、操纵杆、游戏垫、圆盘式卫星天线、扫描仪等。这些和其它输入设备常常通过耦合到系统总线1408上的串行端口接口1442连接到处理单元1404上，但也可由其它接口连接，诸如并行端口、游戏端口、通用串行总线(“USB”)、IR接口等。监视器1444或其它类型的显示设备也通过接口，如视频适配器1446连接到系统总线1408。除了监视器1444之外，计算机一般包括其它外围输出设备(未示出)，诸如扬声器、打印机等。
计算机1402可在通过到诸如远程计算机1448的一个或多个远程计算机的有线和/或无线通信使用逻辑连接的网络化环境中运行。远程计算机1448可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设施、对等设备或其它普通网络节点，且一般包括许多或所有相关1402描述的部件，尽管为简化起见，只示出了存储器存储设备1450。所述逻辑连接包括局域网(LAN)1452和广域网(WAN)1454。这样的网络环境普遍于办公室、企业范围计算机网络、内联网和因特网。
当在LAN网络环境中使用时，计算机1402通过有线或无线通信网络接口或适配器1456连接到局域网1452上。适配器1456可便于到LAN 1452的有线或无线通信，LAN 1452还可包括布署在其上的无线接入点，用于与无线适配器1456的通信。当在WAN网络环境中使用时，计算机1402一般包括调制解调器1458，或者连接到LAN上的通信服务器，或者具有通过诸如因特网等WAN1454建立通信的其它工具。调制解调器1458，它可以是内置或外置且是有线或无线设备，通过串行端口接口1442连接到系统总线1408上。在网络化环境中，相关于计算机1402所述的程序模块或其部分可存储在远程存储器存储设备1450中。将要理解，所示网络连接是示例性的，且可使用在计算机间建立通信链路的其它工具。
计算机1402操作上与操作上布署于无线通信中的任意无线设备或实体通信，例如打印机、扫描仪、台式机和/或便携式计算机、便携式数据助理、任何关联于无线检测标记的设备零件或位置(例如电话亭、报亭、休息室等)和电话。这至少包括Wi-Fi和BluetoothTM(蓝牙)无线技术。这样通信可以是预定义结构，如常规网络或简单的至少两台设备间的特别(ad hoc)通信。
Wi-Fi或无线保真允许不用线缆从家中沙发、旅馆房间的床上或工作中的会议室连接到因特网。Wi-Fi是类似于蜂窝电话的无线技术，它使诸如计算机这类的设备能够在室内外发送和接收数据；只要在基站的范围内。Wi-Fi网络使用称为IEEE 802.11(a、b、g等)的无线电技术来提供安全、可靠、快速的无线连接。Wi-Fi网络可用来将计算机彼此连接、连接到因特网和连接到有线网络(使用IEEE 802.3或以太网)。Wi-Fi网络运行在未经许可的2.4或5GHz无线电波段，具有11Mbps(802.11b)或54Mbps(802.11a)数据速率，或具有包含两个波段(双波段)的产品，这样网络可提供类似于在许多办公室中使用的基本10BaseT有线以太网络的实际性能。
所揭示计算机1402还可使用HiperLAN技术。HiperLAN是主要在欧洲国家使用的一组无线局域网(WKAN)通信标准。有两个规范HiperLAN/1和HiperLAN/2，两者都已被欧洲电信标准协会采用。HiperLAN标准提供了类似于在美国和其它采用国家中使用的IEEE 802.11 WLAN标准的特点和能力。HiperLAN/1提供5GHz范围的无线电频谱中最高到20Mbps的通信。HiperLAN/2在同一RF波段中最高以54Mbps运行，且与3G(第三代)WLAN系统兼容，用于发送和接收数据、图像和语音通信。HiperLAN/2具有结合5GHzRF波段中类似系统在全世界实现的可能性，并希望如此。
现在参考图15，示出了依照本发明的示例性计算环境1500的示意性框图。系统1500包括一个或多个客户机1502。客户机1502可以是硬件和/或软件(例如，线程、进程、计算设备)。客户端1502可通过使用本发明容纳cookie和/或相关的上下文信息，例如。系统1500还包括一个或多个服务器1504。服务器1504也可以是硬件和/或软件(例如，线程、进程、计算设备)。服务器1504可以通过使用本发明来容纳线程以执行变换，例如。在客户机1502和服务器1504之间的一种可能的通信可以用适于在两个或多个计算机处理器之间传输的数据包形式进行。数据包可包括cookie和/或相关的上下文信息，例如。系统1500包括通信框架1506(例如，全球通信网络，诸如因特网)，它可用来促进客户机1502和服务器1504之间的通信。
通信可通过有线(包括光纤)和/或无线技术来促进。客户机1502操作上连接到一个或多个客户机数据库1508，它可用来存储对客户机1502本地的信息(例如，cookie和/或相关的上下文信息)。同样地，服务器1504操作上连接到一个或多个服务器数据库1510，它可用来存储对服务器1504本地的信息。
以上已描述的内容包括本发明的示例。当然，为描述本发明的目的而描述每种可想得到的组件或方法的组合是不可能的，但本领域的普通技术人员可认识到，本发明的许多进一步的组合和变换是可能的。从而，本发明旨在包括所有落入所附权利要求的精神和范围的这样的变更、修改和变化。而且，就术语“包括”用于详细描述或权利要求书中而言，这样的术语旨在以与术语“包含”(如当“包含”在权利要求中用作过渡词时所解释的)相似的方式是包括性的。
权利要求
1.一种促进会议环境中用户之间的实时信息交换的系统，其特征在于，包括接收会议相关信息并将它呈现给各自用户的至少两个数据客户端，每个数据客户端包括其中带有演示槽图标的用户界面；以及一房间服务器和一数据服务器，它们与所述至少两个数据客户端的每一个通信，并允许通过至少一个实时通信信道的数据传输。
2.如权利要求1所述的系统，其特征在于，至少一个数据客户端对所述房间服务器本地定位，且至少一个数据客户端远离所述房间服务器定位。
3.如权利要求2所述的系统，其特征在于，所述会议环境包括代表远程用户的至少一台远程个人替身设备、以及向由所述至少一台远程个人替身设备代表的所述至少一个远程用户提供音频和视频通信信息的音频/视频(AV)客户端。
4.如权利要求3所述的系统，其特征在于，所述至少一个远程定位的数据客户端运行于包括话筒和web摄像机的远程个人计算机上。
5.如权利要求4所述的系统，其特征在于，所述远程个人计算机包括协调远程位置的音频和视频信息的AV客户端。
6.如权利要求2所述的系统，其特征在于，数据客户端运行在个人计算机、膝上计算机、图形输入板、手持式计算设备、个人桌面助理和蜂窝电话的至少之一上。
7.如权利要求6所述的系统，其特征在于，还包括一视频组件，它捕捉本地位置中的静止图像和/或视频，并将所捕捉到的数据提供给所述本地位置中的AV客户端，以分发到一个或多个远程位置的一个或多个AV客户端。
8.如权利要求7所述的系统，其特征在于，所述视频组件包括捕捉会议室桌边出现的用户的广角视频的数字摄像机。
9.如权利要求8所述的系统，其特征在于，还包括控制所述数字摄像机的虚拟控制器。
10.如权利要求8所述的系统，其特征在于，所述视频组件还包括捕捉文档的高分辨率图像以供实时分发的web摄像机。
11.如权利要求6所述的系统，其特征在于，还包括一音频组件，它捕捉会议室中的音频信息并将所捕捉的数据提供给所述会议室中的AV客户端来分发给一个或多个远程位置中的一个或多个AV客户端。
12.如权利要求11所述的系统，其特征在于，还包括对所述音频组件施加控制和/或作出关于所述音频组件的推断的虚拟控制器。
13.如权利要求11所述的系统，其特征在于，所述音频组件减少所述会议室中的环境噪声。
14.如权利要求11所述的系统，其特征在于，所述音频组件提供所述会议室中的回声抑制。
15.如权利要求11所述的系统，其特征在于，所述音频组件包括促进音频数据捕捉、降噪和自动回声抑制中的至少一项的话筒阵列。
16.如权利要求15所述的系统，其特征在于，所述音频组件确定所述会议室中的发言者位置。
17.如权利要求1所述的系统，其特征在于，所述用户界面还包括包含服务器文件图标的第一区域和包含本地文件图标的第二区域。
18.如权利要求17所述的系统，其特征在于，所述演示槽图标允许第一数据客户端的用户在所述演示槽图标上拖放文件，用于立即上传到所述服务器和分发到至少第二数据客户端。
19.如权利要求18所述的系统，其特征在于，所述文件是电子幻灯片演示。
20.一种促进会议环境中的实时多媒体信息交换的系统，其特征在于，包括一位于会议室的房间服务器；位于所述会议室中、运行在个人计算设备上以便于数据协作的一个或多个本地数据客户端；运行于至少一个不同于所述会议室的位置中的一台或多台远程个人计算设备上的一个或多个数据客户端；以及运行于所述会议室和至少一个不同地方中至少一处的零个或多个音频/视频(AV)客户端。
21.如权利要求20所述的系统，其特征在于，所述一台或多台远程个人计算设备包括配有话筒、web摄像机和AV客户端的个人计算机。
22.如权利要求20所述的系统，其特征在于，所述一台或多台远程个人计算设备包括蜂窝电话。
23.如权利要求20所述的系统，其特征在于，还包括连接到所述房间服务器的一远程替身设备，它允许远程用户从所述会议室接收实时音频和视频数据，并可被所述会议室中的用户在所述会议室中看到。
24.如权利要求23所述的系统，其特征在于，所述远程替身设备包括平板显示器、数字自动扫视/倾斜/变焦(DPTZ)摄像机、话筒阵列和至少一个扬声器。
25.如权利要求24所述的系统，其特征在于，所述远程用户控制所述DPTZ摄像机扫视、倾斜和/或变焦到由所述DPTZ摄像机捕捉的数字图像的特定区域上。
26.如权利要求25所述的系统，其特征在于，所述DPTZ摄像机由一虚拟控制器控制，来至少部分根据以下之一自动扫视、倾斜和/或变焦到所述会议室中的发言人上从所述话筒阵列收集到的关于所述会议室中所述发言人位置的位置信息；以及从由所述DPTZ摄像机捕捉的视频收集的基于视觉的跟踪信息。
27.如权利要求26所述的系统，其特征在于，所述基于视觉的跟踪信息基于发言者的运动、发言者的外观和基于颗粒过滤器的分析中的至少一项。
28.如权利要求26所述的系统，其特征在于，所述虚拟控制器给出了数字视频图像的已定位区域，其中发言人位于比所述数字视频图像的其余部分更高的分辨率。
29.如权利要求20所述的系统，其特征在于，所述会议环境包括多个会议室和多个远程位置中的至少一个，它们每一个都包括至少一个数据客户端或一个AV客户端。
30.如权利要求29所述的系统，其特征在于，所述多个会议室和多个远程位置的每一个都包括AV客户端。
31.一种促进会议室中实时多媒体信息交换的系统，其特征在于，包括一房间服务器，它驻留在房间服务器PC上并提供信息交换的集中式控制；一本地音频/视频(AV)客户端，它控制AV通信并驻留在所述房间服务器PC上；以及一个或多个数据客户端，它连接到所述房间服务器，其中，所述一个或多个数据客户端独立且不同于所述AV客户端。
32.如权利要求31所述的系统，其特征在于，所述房间服务器包括一与所述一个或多个数据客户端通信的数据服务器。
33.如权利要求32所述的系统，其特征在于，所述房间服务器包括一耦合到本地AV客户端和零个或多个远程AV客户端的AV服务器。
34.如权利要求31所述的系统，其特征在于，还包括一代表一或多个远程用户的远程替身设备。
35.如权利要求34所述的系统，其特征在于，所述远程替身设备包括监视器、捕捉所述会议室视频的广角web摄像机、捕捉所述会议室中的音频的话筒阵列和至少一个扬声器。
36.如权利要求35所述的系统，其特征在于，还包括一捕捉文档的高分辨率图像和/或视频的web摄像机。
37.一种促进实时多媒体会议环境中数据客户端的自动发现的远程替身设备，其特征在于，包括激活会议室中可集中地控制多个数据客户端的服务器；将一新的数据客户端引入到所述会议环境中；确定所述新数据客户端的身份；验证所述新数据客户端加入所述会议的授权；以及在验证授权后启动所述服务器和所述新数据客户端间的通信链路。
38.如权利要求37所述的方法，其特征在于，还包括通过到关联于用户的数据客户端的通知邀请用户加入会议。
39.如权利要求37所述的方法，其特征在于，所述数据客户端的身份是通过分配给所述数据客户端的电子邮件地址、互联网协议地址和统一资源定位器身份中的至少一项来确定的。
40.如权利要求37所述的方法，其特征在于，还包括提示用户输入密码来验证用户身份，以便确保所述数据客户端的用户是与所述数据客户端相关联的那个人。
41.一种促进实时多媒体信息交换的系统，其特征在于，包括用于捕捉第一位置和远离第一位置的第二位置中至少一处的音频/视频信息的装置；用于向至少两个用户呈现所捕捉的音频/视频信息的装置，其中，每一用户位于所述第一和第二位置中的至少一处；用于允许所述至少两个用户之间数据协作的装置；以及用于提供所述至少两个用户之间的通信链路的装置。
42.如权利要求41所述的系统，其特征在于，还包括用于允许以二进制格式从第一用户到至少一个第二用户的实时文档传输的装置；以及用于将所传输文档识别为一指定类型文档并将它按照所述指定类型呈现给接收用户的装置。
43.如权利要求41所述的系统，其特征在于，还包括用于请用户加入会议的装置。
44.一种用于多媒体会议环境中的实时信息交换的方法，其特征在于，包括提供允许数据协作的数据客户端；以及提供允许AC通信的AV客户端；其中，所述AV客户端和所述数据客户端彼此独立地运行。
全文摘要
公开了促进多媒体会议环境中实时信息交换的系统和方法。数据客户端促进用户间的数据协作并独立于提供实时通信功能的音频/视频(AV)客户端来维护。数据客户端可相对于彼此间及服务器远程地定位。可提供远程用户替身设备，它包括将远程用户呈现给本地用户的显示器、数字自动扫视/倾斜/变焦摄像机(例如捕捉会议室中的影象并提供实时信息给远程办公室中的AV客户端)以及可类似地将来自会议室的实时音频信息提供给远程办公室中的AV客户端的话筒阵列。本发明还促进在单个位置或多处不同的位置的数据客户端之间的文件传输和图象广播。
文档编号H04L29/06GK1694527SQ20051007002
公开日2005年11月9日 申请日期2005年4月29日 优先权日2004年4月30日
发明者E·鲁道夫, H·S·马尔瓦, I·塔斯海弗, 贺立为, M·F·科恩, 芮勇 申请人:微软公司