用于富媒体环境的管理系统的制作方法

专利名称：用于富媒体环境的管理系统的制作方法
用于富媒体环境的管理系统
背景
视频会议系统可以用于在分布于多个会议场所的参会者之间提供 通信。在视频会议系统中的每个会议场所可以配备有视频/音频传感设
备和视频/音频再现(rendering)设备。视频/音频传感设备可以用于控 制通信对话(session)以及获得会议的视频/音频记录.所获得的视频/ 音频记录可以被传送到一个远程会议场所，并在该远程会议场所中的 视频/音频再现设备上再现.
对于参会者而言，分成副(side)組以进行私人的或者集中的讨论 可能是常见的。遣憾的是，现有视频会议系统不可以促进不同会议场 所的参会者之间的副组通信.例如，在现有视频会议系统中传感和再 现设备的互连每次只可以允许一个讨论组.
另外，现有视频会议系统不可以使位于不同会议场所的参会者协 作创建文档。现有视频会议系统可以增加基于计算机的文档共享系 统.遗憾的是，文档共享系统不可以很好地集成到视频会议系统中。
发明概要
公开了一种富媒体环境的管理系统，其能够汇集相对较大量的传 感和再现部件以用于多种任务和服务.根据本教导的管理系统包括服
务管理器，该服务管理器通过协调富媒体环境中的一组任务来提供与 富媒体环境有关的通信服务，并且还包括任务管理器，该任务管理器 通过将一组处理资源和通信资源分配给每个任务并响应于来自服务管 理器的对每个任务的请求而执行每个任务来管理每个任务.
根据随后的详细描述，本发明的其他特征和优点将是显而易见的.
附图简述
相对于本发明的特定典型实施例来描述本发明，并因此参考附 图，其中


图1示出根据本教导的系统；
困2示出使用富媒体环境进行通信的方法；
困3示出富媒体环境中个体(individual)之间的主会话 (conversation)和副会话的例子；
困4示出通信提供器的一个实施例；
图5示出包括一对示例富媒体环境的本系统的实施例；
闺6示出根据本教导的富媒体环境；
图7示出根据本教导的管理系统中的服务管理器和任务管理器； 图8示出根据本教导的管理系统中的用户管理器和部件管理器； 图9示出根据本教导的管理系统中的感兴趣(interest)区域管理
图10示出根据本教导的管理系统中的性能监视器、系统控制器、 以及对话管理器。
详细描述
图1示出根据本教导的系统10。系统10包括一组富媒体环境12-14、感兴趣线程检测器16和通信提供器18.感兴趣线程检测器16和/ 或通信提供器18的功能可以如所示地被集中或者可以分布于富媒体环 境12-14中，
每个富媒体环境12-14包括传感和再现部件的配置.富媒体环境 12-14中的传感部件可以包括任何种类的话筒、摄像机、运动检测器 等，诸如键盘、鼠标、小键盘、触摸屏等之类的输入设备可以被看作 传感部件.富媒体环境12-14中的再现部件可以包括任何类型的视觉显 示器和音频扬声器，富媒体环境12-14可以以任何邻近的空间来实现。 示例包括会议室、会见室、户外会场例如体育比赛等。每个富媒体环 境12-14优选地包括相对较大量的传感和再现部件，从而能够使传感和 再现部件灵活地运用到多种通信交互上.罔此叫做富媒体环境，
感兴趣线程检测器16使用富媒体环境12-14中的传感部件来检测 富媒体环境12-14中个体之间的通信交互的形成，感兴趣线程检测器16 为每个检测到的通信交互创建一个感兴趣线程，通信提供器18选择富 媒体环境12-14中的传感和再现部件的子集，以用于与在每个感兴趣线 程中涉及的个体通信，并且在所选择的传感和再现部件之间传送媒体 数据以支持每个感兴趣线程。
困2示出一种利用富媒体环境进行通信的方法，在步稞30，检测 一组个体之间的通信交互的形成.在步骤32，为每个检测到的通信交 互创建一个感兴趣线程，
图3示出富媒体环境12和14中个体之间的主会话和副会话的例 子.感兴趣线程1是为主会话创建的，并且感兴趣线程2是为副会话 创建的.
对每个感兴趣线程执行步稞34-38.在步骤34，与相应感兴趣线程 有关的一组媒体数据从传感部件被获取，以及在步骒36，响应于感兴 趣线程中参加和未参加的个体的活动而组合所获取的媒体数据.在步 骤38，将所组合的媒体数据传送到感兴趣线程的再现部件.
通信交互即感兴趣线程可以涉及富媒体环境12-14之一中的个 体.例如，感兴趣线程检测器16可以检测富媒体环境12中的两个或 更多个体之间的通信交互.
通信交互可以涉及富媒体环境12-14的两个或更多个中的个体，例 如，感兴趣线程检测器16可以检测富媒体环境12中的个体与富媒体 环境13中的个体之间的通信交互。
通信交互可以与富媒体环境12-14之一中的人造品(artifact)有 关.人造品可以被定义为除个体之外的任何事物，例如无生命的对象、 动物、机器人对象等。例如，感兴趣线程检测器16可以检测富媒体环 境12中涉及一张纸、白板、或者其他感兴趣项的通信交互.人造品可 以是在显示器上再现并包括计算机维护的文档历史的电子文档.
感兴趣线程检测器16可以通过检测富媒体环境12-14中一个或多 个个体之一的视觉线索例如姿势、移动等来检测通信交互的形成.视 觉线索可以与相同富媒体环境中的另一个个体有关，或者可以与另一 个富媒体环境中的一个个体有关。例如，富媒体环境12中的个体可以 指向或者接近富媒体环境12中的另一个个体，并且感兴趣线程检测器 16作为响应在富媒体环境12中的这两个个体之间创建感兴趣线程.在 另一个例子中，富媒体环境12中的个体可以指向富媒体环境12中的 一个视觉显示器，同时位于富媒体环境13中的个体正被再现在该视觉 显示器上，并且感兴趣线程检测器16作为响应在富媒体环境12中的 个体和富媒体环境13中的个体之间创建感兴趣线程.
感兴趣线程检测器16可以利用机器视觉技术来检測視觉线索。例
如，富媒体环境12-14中的传感部件可以包括数字摄像机，并且感兴趣 线程检测器16可以使用多种已知的机器視觉技术来检测个体的移动、 姿势等.另外，富媒体环境12-14中的传感部件可以包括话筒，并且感 兴趣线程检测器16可以使用多种已知的音频处理技术来检测富媒体环 境12-14中的个体和个体的移动，
感兴趣线程检测器16可以通过检測音频线索例如口头语音来检测 通信交互的形成.感兴趣线程检测器16可以响应于经由图形用户接口 的用户输入而创建感兴趣线程.
对于每个感兴趣线程，通信提供器18从相应子集的传感部件获取 一组媒体数据.对于每个感兴趣线程，通信提供器18响应于相应个体 的活动而组合所获取的媒体数据，并将组合的媒体数据传送给相应子 集的再现部件。举几个例子，可以导致媒体数据被组合的活动可以包 括个体的语音电平、个体的姿势或者个体的移动。通信提供器18响应 于该活动而提炼从传感器部件所获得的媒体数据.另外，通信提供器 18可以存储所组合的媒体数据以提供相应通信交互的历史。
通信提供器18为感兴趣线程选择富媒体环境12-14的传感和再现 部件的子集，以响应于感兴趣线程中涉及的每个个体的位置以及与富 媒体环境12-14中的传感和再现部件有关的一组特征.例如，数字摄像 机的特征可以指定其在富媒体环境中的覆盖区域，即数字摄像机能够 采样的富媒体环境的区域。类似地，话筒的特征可以指定话筒能够采 样的富媒体环境的区域，并且视觉显示器的特征可以指定视觉显示器 能够到达的富媒体环境的区域.通信提供器18可以使用机器视觉或者 音频处理技术来定位在感兴趣线程中涉及的个体，并接着基于在感兴 趣线程中涉及的个体的位置以及那些个体的富媒体环境中的传感和再
现部件的覆盖区域来为该感兴趣线程选择传感和再现部件.
系统IO可以包括一个或多个用于保存富媒体环境12-14中传感和 再现部件的特征的记录的数据库.当为感兴趣线程选择传感和再现部 件时，通信提供器18可以访问该数据库.
通信提供器18监视每个感兴趣线程，并且需要时重新选择传感和 再现部件。例如，通信提供器18可以检测到在感兴趣线程中涉及的一
个或多个个体何时移出当前选择的传感和再现部件的覆盖区域.通信 提供器18可以使用机器視觉或者音频处理扶术来检测在感兴趣线程中
涉及的个体的移动.作为响应，通信提供器18基于在感兴趣线程中涉 及的个体的新位置以及可用的传感和再现部件的指定覆盖区域来为感 兴趣线程选择新的 一组传感和再现部件.
为感兴趣线程选择和重新选择传感和再现部件可以基于参与感兴 趣线程的个体的位置和移动以及没有参与该感兴趣线程的个体的位置 和移动。例如，自适应调零(milling)技术可以用于选择将未参加的 个体从私人的副会话中排除的再现部件.
图4示出通信提供器18的一个实施例.在该实施例中，通信提供 器18包括传感任务20、数据组合器21、再现任务22、以及通信任务 24。传感任务20、数据组合器21、再现任务22、以及通信任务24中 的一个或多个可以如所示地被集中或者分布于富媒体环境12-14中.
传感任务20从已为特定感兴趣线程所选择的富媒体环境12-14中 的传感部件获取传感器数据，并从所获取的传感器数据中提取一组与 该特定感兴趣线程有关的数据.例如，传感任务20可以从所选择的话 筒中获取传感器数据，并接着使用音频处理技术来提取在特定感兴趣 线程中涉及的个体的话音，在另一个例子中，传感任务20可以从所选
择的数字摄像机中获取传感器数据，并使用机器视觉技术来提取在特 定感兴趣线程中涉及的个体的图像.传感任务20可以使用数字摄像机 的扫视和缩放功能来获取相关个体的视觉数据。
数据組合器21从传感任务20获得传感器数据，分析视频内容， 并组合所获取的视频以便选择个体或者人造品或者感兴趣区域的最佳 视闺。用于平铺、重叠、合成或者组合视频的多种已知方法的任何一 种都可以用于组合要在单个显示器上再现的多个同步视频源。通过音 频分析、运动分析、注视分析、或者姿势分析，数据组合器21在任何 给定时刻选摔组合哪些视频流.
例如，可以根据下面的任何技术来选择最佳的摄像机视图.如果 话筒所测量的音频电平高于所有其他的音频电平，则可以选择覆盖该 话筒周围的可见区域的摄像机视图.当语音/噪声鉴别器将音频输入分 类为语音时，则选择离该话筒最近的其嘴和下巴正在移动的个体的视 图.当由摄像机正在获取的内容中运动电平的测量(例如经由桢差) 为高时，可以选择包含该运动的视困.当被认为在说话的个体正指向 富媒体环境的另一部分时，那么可以选择与他们的姿势的方向最佳对
准的视困.当多个个体都注視同一方向时，那么可以选择最佳地包含 那些注视方向的交叉点的视困.
数据组合器21可以自动地提炼由富媒体环境12-14中的摄像机所 获取的视图，以更清楚地显示个体或者人造品或者感兴趣区域。例如， 基于视频的面部检测、运动检测、以及肤色检测方法可以用于数字地 缩放、居中、和/或裁切视图以更好地将摄像机聚焦在所相关的个体上. 如果使用跟踪方法来监視摄像机视场中个体的位置，则可以允许錄 放、居中和裁切参数以在会议期间动态改变.
类似地，数据组合器21分析并組合由话筒所获取的音頻，以便选 择最佳音频表示。当多个同步话筒记录被组合成一个时，可以使用用 于波束形成、自适应调零或者音频混合的任何已知方法.在任何给定 时刻选择组合哪些音频流可以通过音频分析或者运动分析或者立体分 析来执行。
例如，可以根据以上列出的任何技术来选择最佳的音频源位置， 这可以导致选择下述的任何一个U)单个话筒，例如离所确定的感 兴趣区域最近的话筒，或者(2)利用话筒阵列由自适应波束形成/零控 制(null-steering)的任何已知方法产生的音频.
由数据组合器21产生的组合媒体数据是通信交互的媒体数据的压 缩的索引的形式。组合的媒体数据可以记录在持夂的存储设备例如盘 中。所存储的即所存档的数据能够使得随后浏览在通信交互中发生的 亊件。系统IO可以存储显示什么被选择为"最佳"视图的单个视頻流， 其由拼接在一起的在通信交互的每个时刻的"最佳"视频内容(feed) 组成.系统10可以存储重放什么被选择为"最佳"音频的单个音频流， 其由拼接在一起的来自会议的每个时刻的"最佳"音频数据组成.系 统IO可以存储表示何时谁在说话的时间线索引.该信息可以根据位置 并根据已知的基于音频的说话者识别方法来获得，系统IO可以存储在 通信交互期间所说的话的记录。这可以通过将语音识别软件应用于通 信交互的单个存档的音频记录(上面所述的)来得到.系统10可以存 储一组会议要点，其每个要点可以包含音频、视频、以及其他数据， 其将通信交互的事件压缩成更短的时间，同时保留最重要的内容.可 以将用于自动视频和/或音频概括的许多已知方法应用于上述的单个存 档视频和/或音频流。通信任务24从传感任务20获得与特定感兴趣线程有关的数据， 并将其以媒体数据流传送到再现任务22.在一些实施例中，通信任务 24使用网络通信协议，例如TCP/IIVUDP、 HTTP、 SOAPXML，以用 于传送在传感任务20和再现任务22之间的媒体数据流以及控制数 据.
再现任务22经由通信任务24获得特定感兴趣线程的媒体数据 流，并使用所选择的该特定感兴趣线程的再现部件来再现所获得的媒 体数据流.例如，再现任务22可以获得由所选择的数字摄像机所获取 的视频数据，并接着将获得的视觉数据再现在所选择的視觉显示器 上，类似地，再现任务22可以获得由所选择的话筒所获得的音频数据， 并接着使用所选择的音频扬声器来再现所获得的音频数据，
在一个实施例中，感兴趣线程检测器16通过创建并监視富媒体环 境12-14内的感兴趣区域来检测并跟踪富媒体环境12-14中的活动。感 兴趣区域可以与富媒体环境12-14之一中的个体相关联。感兴趣区域可 以与富媒体环境12-14之一中的人造品相关联.感兴趣区域可以与富媒 体环境12-14之一中的区域相关联，例如，感兴趣线程检测器16可以 检测人造品，例如使用机器枧觉技术，并为检测到的人造品创建感兴 趣区域.在另一个例子中，感兴趣线程检测器16可以检测一个或多个 个体，例如使用机器视觉和/或音频处理技术，并接着为检測到的个体 创建感兴趣区域，
感兴趣线程检测器16可以将一个或多个感兴趣区域与感兴趣线程 相关联.例如，感兴趣线程检测器16可以检测富媒体环境12的区域 中的一组个体和富媒体环境13的区域中的一组个体，为每个区域创建 感兴趣区域，并接着将两个感兴趣区域与在这些区域中检测到的个体 之间的通信交互的感兴趣线程相关联.
在一个实施例中的系统10包括通过跟踪相应感兴趣区域中的变化 来跟踪感兴趣线程的变化的感兴趣区域跟踪器.例如，个体可以进入、 离开感兴趣区域或者在感兴趣区域中改变位置.感兴趣区域跟踪器将 感兴趣区域的变化报告给通信提供器18，以使通信提供器18能够在适 当时为相应的感兴趣线程重新选择传感和再现部件.
图5示出包括一对示例的富媒体环境250-252的系统10的实施 例.对富媒体环境250-252所示的配置只是示例，并且许多其他配置也 是可能的.
富媒体环境250具有包括下述的传感和再现部件的配置 一组数 字摄像机140-145、 一组话筒160-165、视频显示器200、以及一对扬声 器180-181. —组个体120-126被显示为聚集在会议桌222的周闺.人 造品220例如一张纸被显示在会议桌222上.个体123具有手持设备 328，例如PDA、手持计算机、蜂窝电话等。
富媒体环境252具有包括下迷的传感和再现部件的配置 一组数 字摄像机150-159、 一组话筒170-174、话筒阵列175、 一对视频显示器 210-212以及一组扬声器190-194,—组个体130-136被显示为沿着会议 桌226.个体132具有手持设备224，个体130具有手持设备326，以 及个体135具有手持设备324。富媒体环境252包括白板228。
富媒体环境250与一组网络资源230、 一组处理资源232以及一组 任务234相关联，类似地，富媒体环境252与一组网络资源240、 一组 处理资源242以及一组任务244相关联。
网络资源230和240以及处理资源232和242为感兴趣线程检测器 16和通信提供器18提供平台。感兴趣线程检测器16和通信提供器18 的功能可以以任何方式分布于网络资源230和240以及处理资源232 和242中。
网络资源230和240可以包括一个或多个网络信号路径、网络接 口、客户和服务器硬件和软件等。网络资源230和240可以被实现为 与外部服务器(未示出)通信的客户系统，或者可以被实现为相对于 彼此的客户/服务器.
处理资源232和242可以包括处理器、存储器、数据库存储器等， 处理资源232和242可以包括用于执行机器枧觉功能、音频处理、音 频/视频数据压缩/解压缩等的专用硬件/软件.处理资源232和242可以 分布于包括富媒体环境250-252的传感和再现部件的一组硬件设备 中。例如，数字摄像机140-145、 150-1S9可以包括板上处理资源，用 于通过执行mpeg编码来产生媒体流,类似地，视频显示器200、210-212 可以包括用于执行mpeg解码的处理资源.
处理资源232和242可以包括个人计算机、膝上型计算机、手持 计算机等，它们位于富媒体环境250-252中并具有适当的网络通信能 力。例如，手持设备224可以被包括在处理资源242中'
另外，位于富媒体环境250-252中并具有适当的网络通信能力的手 持设备可以用作传感和/或再现部件，例如，手持设备224可以包括传 感和再现部件，其可以被包括在富媒体环境252的传感和再现部件中.
任务234和244提供一组可以由感兴趣线程检测器16和通信提供 器18采用的任务.举几个例子，所述任务的示例包括使用机器視觉来 检测人造品和个体的任务、使用音频处理来检测个体的任务、使用机 器视觉和/或音频处理来检测个体的移动的任务、使用摄像机阵列获得 立体视觉信息的任务，系统10可以包括管理部件，用于在需要时将任 务部署到处理资源232和242.
任务234可以依赖于富媒体环境250的部件和处理资源，以及任 务244可以依赖于富媒体环境250的部件和处理资源.例如， 一些音 频处理任务可能需要话筒阵列，该话筒阵列在富媒体环境252中可用， 但在富媒体环境250中不可用.
感兴趣线程检测器16可以使用富媒体环境250-252中的传感部件 来检测个体120-126和130-136之间的通信交互的形成，并为富媒体环 境250-252之间的主交互创建感兴趣线程，主交互可以经由困形用户接 口到感兴趣线程检测器16的用户输入而启动.为此目的，富媒体环埭 250-252可以包括用户接口硬件，例如小鍵盘、显示器、手持设备等. 通信提供器18选择富媒体环境250-252中的传感和再现部件的子集， 以基于那些部件的覆盖区域和富媒体环境250-252内个体120-126以及 130-136的位置来使用主交互。例如，通信提供器18可以选择富媒体 环境250中的数字摄像机143-144、话筒160-165、扬声器180-181和视 频显示器200以及富媒体环境252中的数字摄像机152、157、话筒170、 扬声器1卯-191和视频显示器210-212以用于主交互。
感兴趣线程检测器16可以根据个体120-126和130-136中一个的 姿势来检测副会话.例如，感兴趣线程检测器16可以检测姿势，例如 个体132斜向或者指向个体135,并为该副会话创建感兴趣线程.通信 提供器18可以选择手持设备224和手持设备324以用于该感兴趣线 程.手持设备324，例如PDA、蜂窝电话、膝上型计算机等，可以提 供音频再现、视频再现、音频传感和视频传感能力的任何组合。例如， 手持设备324可以是能够将电话呼叫中的媒体流发送至传感任务20和 /或能够从再现任务22接收电话呼叫中的媒体流的设备.
在另一个例子中，感兴趣线程检测器16可以检测指着的个体130 的姿势以及具有个体123困像的視頻显示器212的区域，并为个体130 和123之间的副会话创建感兴趣线程.通信提供器18可以选择数字摄 像机150、话筒172、手持设备326、数字摄像机144、话筒165以及手 持设备328，以用于该感兴趣线程.
如果传感设备例如话筒165由主交互和副会话共享，那么通信提 供器18使用音频处理技术来提取与每个感兴趣线程有关的数据，并接 着适当地路由所提取的数据.例如，从话筒165提取的与主会话有关 的数据被路由到说话者190-191，而从话筒165提取的与副会话有关的 数据被路由到手持设备326.
通信提供器18响应于所涉及的个体的移动来为主和副会话的感兴 趣线程重新选择传感和再现部件.例如，如果移动导致个体130不再 位于数字摄像机150的覆盖区域之内，则通信提供器18可以为涉及个 体130和123的副会话的感兴趣线程选择数字摄像机151，并释放数字 摄像机150.在另一个例子中，如果在主会话中涉及的说话者移出了数 字摄像机143和144的覆盖区域，则通信提供器18可以为主会话的感 兴趣线程选择数字摄像机140。
感兴趣线程检测器16可以使用机器视觉技术来检测作为人造品的 纸220。例如，富媒体环境250可以包括具有桌子222的顶视图的数字 摄像机，其实现纸220的模式识别。感兴趣线程检测器16可以创建与 纸220有关的感兴趣区域，并随着时间的过去跟踪该感兴趣区域.与 纸220相关的感兴趣区域可以与感兴趣线程相关。
感兴趣线程检测器16可以使用机器视觉技术来检测图画，即人造 品，其由个体136传递到白板228上，例如，数字摄像机155-156能够 采样白板228上的困像内容.感兴趣线程检测器16可以创建与白板228 有关的感兴趣区域，并随着时间的过去跟踪该感兴趣区域。与白板228 相关的感兴趣区域可以与感兴趣线程相关.例如，白板228的内容可 以被采样并接着被再现到视频显示器200上，以作为感兴趣线程的一 部分.
感兴趣线程检测器16可以使用机器视觉技术来检测作为人造品的 纸220.例如，富媒体环堍250可以包括具有桌子222的顶视图的数字 摄像机，其实现紙220的模式识别，感兴趣线程检测器16可以创建与紙220有关的感兴趣区域，并随着时间的过去跟踪该感兴趣区域。与 纸220相关的感兴趣区域可以与感兴趣线程相关.
感兴趣线程检测器16可以使用机器视觉技术来检测困画区域，即 共享的人造品.例如，数字摄像机155-156能够采样白板228上的图像 内容.感兴趣线程检测器16可以创建与白板228有关的感兴趣区域， 并随着时间的过去跟踪该感兴趣区域.与白板228相关的感兴趣区域 可以与感兴趣线程相关。例如，白板228的内容可以被采样并接着^ 再现到视频显示器200上，以作为感兴趣线程的一部分，
系统10能够使协作于共享的人造品的多个个体之间进行通信交 互，所述人造品的视图可以随着时间的过去而改变.这种共享的人造 品的一个例子是共享的虚拟书写面，例如虚拟白板或者虚拟记亊本。 例如，个体可以使用诸如一拍纸簿(pad)的纸和书写工具之类的项， 并且系统10使用计算机视觉方法来检測书写面.从检测书写面所获得 的数据被再现给适当的个体以经由一个或多个显示面来观看。可以记 录来自每个个体和所得的合成虚拟白板的数据。
涉及虚拟白板的通信交互可以包括位于相同富媒体环境或者不同 富媒体环境中的个体。两个或者更多个书写面可以用作到共享的虚拟 白板的输入。所有个体的所有书写都由富媒体环境中的摄像机发现， 并被再现到适当的再现设备以供个体观看。通过利用数字投影仪，这 些显示器优选地覆盖并对准一个或多个原始输入书写面，也可以使用 其他类型的显示面，例如等离子体、膝上型计算机、计算机或者平板 计算机显示器，
系统10可以存储当前共享的白板内容以及对共享白板的内容随着 时间的过去所作的改变的历史，该历史可以被存储为一系列时间标记 的或者时间排序的图像，从而显示出在协作对话过程中不同时间的共 享白板内容的状态。所述历史能够取消最近对白板作出的一个或多个 改变.所述历史也能够利用较早时间的白板的图像来替换当前显示的 白板的内容，所述历史也能够显示由哪些个体作出了哪些标记.所述 历史也能够重放协作对话.所述历史能够使用户交互地寻找过去的特 定时间点.
图6示出根据本教导的富媒体环境300。富媒体环境300包括含有 下述的传感和再现部件的配置 一组数字摄像机310-318、 一组音频扬
声器320-323、 一组话筒340-345、以及一组视频显示器320-332.富媒 体环境还包括一组便携式设备350-352、例如蜂窝电话、PDA、膝上型 计算机等，其中任何一个或者多个可以包括传感和或再现部件.例如， 便携式设备可以包括数字摄像机、话筒、扬声器、视频显示器等的任 何组合.
富媒体环境300由一组个体360-363使用，富媒体环境300可以被 实现为会议室例如会议桌370、会见室、实验室等、或者任何类型的会 场.富媒体环境300优选地包括相对较大量的传感和再现部件，从而 能够灵活地运用传感和再现部件来执行任务和服务.
富媒体环境300与一组处理资源和一组网络资源相关联.处理资 源的例子包括处理设备，例如计算机、专用处理设备、以及存储器和 存储设备。网络资源的例子包括服务器、网络通信设备、网线、客户 机设备等. 一些处理和网络资源可以被包括在传感和再现部件中.例 如，数字摄像机310-318可以包括板上网卡和/或板上mpeg编码器。类 似地，视频显示器330-332包括板上网卡和/或板上mpeg解码器。另外， 便携式设备350-352可以提供处理资源和/或网络资源以用于富媒体环 境300,闺7示出根据本教导的管理系统420中的服务管理器400和任务管 理器402.服务管理器400提供与富媒体环境300有关的一组通信服务 440-442,以及任务管理器402执行一组支持通信服务440-442的任务 450-452。
任务管理器402保存了可以在富媒体环境300中执行的任务450-452的列表.该列表可以基于富媒体环境300中的传感和再现部件的配 置以及可用的处理和通信资源以及安装的软件.可用任务的列表可以 在富媒体环境300的设置/配置过程中创建。
可以由任务管理器402执行的任务的一个例子是用于找出富媒体 环境300中的个体的任务，找出个体的任务可以通过使用机器视觉来 识别个体而执行。视觉识别任务的可用性可以依赖于数字摄像机以及
像与所存储的已知个体的图像:比较的软件的可用性.找出个体的任 务可以通过话音识别来执行.话音识別任务的可用性可以依赖于话筒
样本与所存储的已知个体的语音样本相比较的软件的可用性，
可以由任务管理器402执行的任务的另一个例子是用于跟踪个体 的移动的任务.跟踪个体的任务可以使用机器视觉或者音频处理技术 来执行。
可以由任务管理器402执行的任务的另一个例子是用于检测个体 的姿势的任务.检测姿势的任务可以使用机器视觉技术来执行.
可以由任务管理器402执行的任务的另一个例子是用于执行话音 识别的任务，可以由任务管理器402执行的任务的又一个例子是用于 执行语音识别的任务，
可以由任务管理器402执行的任务的另一个例子是用于从富媒体 环境300中的位置获取一组传感器数据的任务.传感器数据可以是来
/或来自便携式设备350-352的音频和/或视频数据。
可以由任务管理器402执行的任务的又一个例子是用于将一组数 据再现到富媒体环境300中的位置的任务。所述数据可以是要使用音 频扬声器320-323再现的音频数据和/或要使用视频显示器330-332和/ 或便携式设备350-352再现的视频数据。
可以由任务管理器402执行的任务的另一个例子是用于产生富媒 体环境300的3D模型的任务。该任务的可用性可以依赖于适当配置的 数字摄像机的阵列以及处理和网络资源以及用于获得立体困像并构造 所获得的图像的3D表示的软件的可用性.
服务管理器400使用任务管理器402来执行每个通信服务440-442 所需要的适当任务。服务管理器400将请求发送至任务管理器402以 执行所需的任务，并且任务管理器402将一组处理资源和通信资源分 配给请求的任务，并且执行所请求的任务.
由服务管理器400提供的通信服务的一个例子是用于跟踪富媒体 环境300中的一组个体中每个个体的移动的服务.例如，服务管理器 400可以通过向任务管理器402请求定位个体360的任务和跟踪个体 360的移动的任务以及定位个体361的任务和跟踪个体361的移动的任 务来提供跟踪个体360-361的移动的服务，两个定位任务的输出可以用 作这两个跟踪任务的输入.
由服务管理器400提供的通信服务的另一个例子是用于将通信信道提供给富媒体环境300中的一组个体的服务.例如，服务管理器400 可以通过向任务管理器402请求定位个体360的任务和从个体360获得 传感器数据的任务和将数据再现给个体360的任务以及定位个体361 的任务和从个体361获得传感器数据的任务和将数据再现给个体361 的任务来提供在个体360-361之间的通信信道的服务。从个体360获得 的传感器数据可以用作再现给个体361的数据，反之亦然.响应于个 体360-361中每个的当前位置以及传感和再现部件的覆盖区域和其他 职责，可以选择要由这些任务使用的传感和再现部件.服务管理器400 也可以请求用于跟踪个体360-361的移动的任务，所以产生需要时可以 更新用于通信信道的传感和再现部件.
图8示出管理系统420中的用户管理器404和部件管理器406,用 户管理器404管理富媒体环境300中的个体360-363之间的通信和协 作，以及部件管理器406管理富媒体环境300的部件，所述富媒体环 境300包括其传感和再现部件、处理资源、存储资源、网络资源以及 其便携设备。
用户管理器404保存一组用于各个个体360-363的用户简档460-463。例如，个体360的简档460可以包括在富媒体环境300内个体360 的当前位置，简档460可以包括与个体360有关的一组属性。个体的 一组属性可以在涉及富媒体环境300的正在进行的会议的情况下有意 义。例如，属性可以指定个体的资格或者专业领域.所述属性可以用 于形成个体360-363以及其他富媒体环境或者远程场所中的个体之间 的通信交互，所述远程场所中的个体例如是具有手持设备、蜂窝电话 等的远程用户。例如，可以基于他们的专业、等级、组织因素等在个 体之间形成通信交互。
用户管理器404提供个体360-363的简档460-463的闺形用户接口 视图。用户管理器404 A可以提供与其他富媒体环境相关的个体的图 形用户接口视图，所述其他富媒体环境具有与富媒体环境300中的个 体360-363正在进行的通信交互。
当个体360-363进入富媒体环境300时，用户管理器404识别他 们。例如，富媒体环境300可以包括图形用户接口，例如键盘/小键盘、 显示器等，其能够使个体在进入富媒体环境300时提供标识信息.用 户管理器404可以使用富媒体环境中的传感和再现部件以用于图形用
户接口。富媒体环境300可以包括条形码检测器、磁码检测器等，其 在个体进入富媒体环境300时获得与个体有关的标识信息.个体的标 识信息可以被存储在个体的用户简档中.
用户管理器404可以使用由服务管理器400提供的服务例如闺像 或者话音识别来识别个体360-363。用户管理器404使用由服务管理器 400提供的服务来跟踪个体360-363随着时间的过去在富媒体环境300 内的位置.可以使用个体360-363的位置来形成个体360-363以及其他 富媒体环境或者远程场所中的个体之间的通信交互，并且选择传感和 再现部件以用于通信交互.
用户管理器404跟踪富媒体环境300内的便携式设备350-352.例 如，每个便携式设备350-352可以与个体相关，并被登记在个体的用户 简档中.
部件管理器406保存一組部件记录470-472。部件记录470-472包 括富媒体环境300的每个传感和再现部件的记录.传感或再现部件的 部件记录可以指定其在富媒体环境300中的位置和覆盖区域、以及任 何其他有关信息，例如阵列的一部分或者部件的阵列.传感或再现部 件的部件记录可以指定传感部件当前被分配的任何感兴趣线程和/或感 兴趣区域。
部件记录470-472包括与富媒体环境300相关的每个处理资源、存 储资源和网络资源的部件记录。处理资源、存储资源或者网络资源的 部件记录可以基于其当前正在执行的任务来指定其可用性或者可用能 力.
部件记录470-472包括可以在富媒体环境300中使用的便携式设备 350-352的每个部件的部件记录。便携式设备的部件记录可以指定其所 相关的个体和/或它可拥有并可以由管理系统420使用的处理性能'
图9示出管理系统420中的感兴趣区域管理器408和感兴趣线程管 理器410。感兴趣区域管理器408管理富媒体环境300中的一组感兴趣 区域，而感兴趣线程管理器410管理与富媒体环境300有关的一组感 兴趣线程.
感兴趣区域管理器408标识富媒体环境300中的感兴趣区域.感 兴趣区域可以与富媒体环境300中的个体或者富媒体环境300中的人 造品或者富媒体环境300内的子区域相关联.感兴趣区域管理器408
可以通过例如使用服务440-442来标识富媒体环境300中的一个或多个 个体或者人造品来标识感兴趣区域.感兴趣区域管理器408可以通过 将富媒体环境300细分成一组子区域并为每个子区域创建感兴趣区域 来标识一组感兴趣区域.
感兴趣区域管理器408为每个标识的感兴趣区域创建一组感兴趣 区域记录480-482。每个感兴趣区域记录480-482包括在相应感兴趣区 域中所包含的个体的标识和位置.感兴趣区域管理器408选择要用于 每个感兴趣区域的富媒体环境300的传感和再现部件，并在感兴趣区 域记录480-482中标识所选择的部件.
感兴趣区域管理器408使用服务440-442来随着时间的过去跟踪每 个感兴趣区域并检测与感兴趣区域相关的个体或者人造品的移动.感 兴趣区域管理器408在感兴趣区域记录480-482中记录该移动，并且该 信息可以用于重新选择传感和再现部件以便为感兴趣区域提供适当的 覆盖区域.
感兴趣区域管理器408可以从感兴趣线程管理器410获得所需目 标再现请求的列表，并接着确定获取目标取景器的感兴趣区域所需要 的传感和再现部件，例如，目标再现请求可以请求特定个体或者人造 品的视频或者音频，或者可以请求在感兴趣区域之一中个体或者人造 品 的特定透视图，
感兴趣线程管理器410使用富媒体环境300中的传感部件来检测 个体360-363以及其他富媒体环境中的个体或者远程位置的个体之间 的通信交互的形成.感兴趣线程管理器410为所检测到的每个通信交 互创建一组感兴趣线程记录490-492,感兴趣线程管理器410可以通过 使用服务440-442检测一个或多个个体360-363之一的视觉线索例如姿 势、移动等来检测通信交互的形成，感兴趣线程管理器410可以通过 使用服务440-442检测个体360-363的口头语音线索来检测通信交互的 形成.感兴趣线程管理器410可以响应于经由困形用户接口的用户输 入来创建感兴趣线程，
感兴趣线程管理器410可以经由感兴趣区域管理器408跟踪感兴 趣线程中的变化，并将变化记录在感兴趣线程记录490-492中.例如， 感兴趣线程管理器410可以将感兴趣线程与由感兴趣区域管理器408 跟踪的一个或多个感兴趣区域相关联，以使感兴趣线程中的变化依赖
于其下面的感兴趣区域中的变化，
感兴趣线程管理器410管理与富媒体环境300相关的正在进行的 感兴趣线程.例如，感兴趣线程管理器410获得与在正在进行的感兴 趣线程中所涉及的个体的移动有关的信息.感兴趣线程管理器410可 以使用该信息来检測在正在进行的感兴趣线程中所涉及的新个体以及 离开正在进行的感兴趣线程的个体。感兴趣线程管理器410可以使用 该信息来检测正在进行的感兴趣线程的合并以及正在进行的感兴趣线 程的分裂，例如，在笫一感兴趣线程中涉及的个体向在第二感兴趣线 程中涉及的个体移动可以表示笫一和第二感兴趣线程的合并。类似 地，在第一感兴趣线程中涉及的个体远离在第二感兴趣线程中涉及的 个体可以表示第一和笫二感兴趣线程的分裂，如果一个感兴趣线程在 预定时间段内没有活动或者如果所有涉及的个体实际上或者虚拟地离 开彼此，则感兴趣线程管理器410可以结束该感兴趣线程。
图10示出管理系统420中的性能监视器412、系统控制器414、以 及对话管理器416.性能监视器412提供图形用户接口来监视系统性 能。性能监视器412产生一组系统的视图，包括系统的用户视图、系 统的感兴趣区域视图、系统的感兴趣线程视图、系统的部件视图、系 统的任务管理器视图、以及系统的服务视图.
系统控制器414使操作者能够控制部分系统。系统控制器414产 生图形用户接口来显示系统性能和系统状态。系统控制器414使操作 者能够手动地指定富媒体环境300中的感兴趣区域，并匹配感兴趣区 域和感兴趣线程，系统控制器414使操作者能够手动地控制用于感兴 趣区域和感兴趣线程的富媒体环境300的部件.
对话管理器416创建管理系统420和另一个富媒体环境的管理系 统之间的对话，
用于跟踪个体的移动的任务可以被实现为基于视觉的个人跟踪系 统。个人跟踪系统可以基于对区域的被动观察来检测并跟踪个体.个 人跟踪系统可以基于平面成像来检测和跟踪个体，所述平面成像是至 少部分地从表示区域中视觉场景的深度图像的视频流中获得的.个人 跟踪系统可以产生三维的网格或点云。三維点云具有带有从视频流获 得的一个或多个相关属性的成员，并表示由地平面和正交于该地平面 的垂直轴所跨越的三维坐标系中所选择的深度图像像素。三维点云被
分成一组垂直方向的面元(bin).所划分的三维点云被映射成平面困 像，所述平面图像对于每个垂直方向的面元都包含一个相应的像素， 该像素具有基于一个或多个属性所计算的一个或多个值、或者占据相 应垂直方向面元的三维点云成员的计数.至少部分地基于平面闺像来 跟踪对象.三维网格是具有明确的连续性的三维点云.
感兴趣线程是动态实体，该动态实体可以被看作具有从创建感兴 趣线程到对感兴趣线程可能的一次或多次的修改到破坏感兴趣线程的 生存期。对感兴趣线程的修改可以在对象/个体离开相应的通信交互时 进行.例如，如果个体离开了组会话，则相应的感兴趣线程以进行修 改而继续.可以把线程修改亊件通知给在修改的感兴趣线程中涉及的 其他个体.
感兴趣线程可以合并和分支.合并就是将两个或更多个预先存在 的感兴趣线程组合成一个感兴趣线程.分支就是将一个感兴趣线程分 裂成两个或更多个感兴趣线程，感兴趣线程也可以在富媒体环境之间 移动.
用户简档也可以包括许可简档。许可简档可以与感兴趣线程或者 对象或个体有关，线程许可可以用来使线程对于组预定为私人、公开 或者受限。线程许可可以控制是否把与感兴趣线程有关的存在和活动 通知给富媒体环境中的任何个体.在感兴趣线程开始时，它可以被指 定为专用线程，并且不允许任何人收听，会议的说话者可以开始感兴 趣线程并允许每个人收听。
用户许可使用户能够使他们的动作和存在不被检测到，感兴趣线 程检测器不能监视这种个体的属性或者动作。
以上对本发明的详细描述是为了说明的目的而提供的，并且不打 算是穷举的或者将本发明限制于所公开的确切实施例.因此，本发明 的范围由所附权利要求书来限定.
权利要求
1、一种用于富媒体环境的管理系统，包括服务管理器(400)，其通过协调在富媒体环境中的一组任务来提供与富媒体环境有关的通信服务；任务管理器(402)，其通过将一组处理资源和通信资源分配给每个任务并响应于来自服务管理器(400)的对每个任务的请求而执行每个任务来管理每个任务。
2、 权利要求1所述的管理系统，其中通信服务是用于跟踪在富 媒体环境中一组个体的每个个体的移动的服务，
3、 权利要求l所述的管理系统，其中通信服务是用于提供在富 媒体环境中 一组个体之间的通信信道的服务.
4、 权利要求l所述的管理系统，其中通信服务是用于跟踪在富 媒体环境中的人造品的服务。
5、 权利要求l所述的管理系统，进一步包括用户管理器(404)，其为与富媒体环境相关的一组个体的每个个体保存用户简档.
6、 权利要求1所述的管理系统，进一步包括部件管理器(406)，其为与富媒体环境相关的一组传感和再现部件中的每个保存部件记 录。
7、 权利要求l所述的管理系统，进一步包括感兴趣区域管理器 (408)，其管理在富媒体环境中的一组感兴趣区域.
8、 权利要求l所述的管理系统，进一步包括感兴趣线程管理器 (410)，其管理与富媒体环境有关的一组感兴趣线程.
9、 权利要求l所述的管理系统，进一步包括系统控制器(414),其使操作者能够控制部分管理系统.
10、 一种用于管理富媒体环境的方法，包括以下步骒通过协调在富媒体环境中的一组任务来提供与富媒体环境有关的 通信服务；通过将一组处理资源和通信资源分配给每个任务并响应于对每个 任务的请求而执行每个任务来管理每个任务。
全文摘要
一种用于富媒体环境的管理系统，其能够汇集相对较大量的传感和再现部件以用于多种任务和服务。根据本教导的管理系统包括服务管理器400，该服务管理器通过协调在富媒体环境中的一组任务来提供与富媒体环境有关的通信服务，并且还包括任务管理器402，该任务管理器通过将一组处理资源和通信资源分配给每个任务并响应于来自服务管理器400的对每个任务的请求而执行每个任务来管理每个任务。
文档编号G06F15/16GK101198945SQ200480036697
公开日2008年6月11日 申请日期2004年10月6日 优先权日2003年10月9日
发明者D·G·格尔布, D·坦圭, H·H·贝克, M·哈维尔, M·科维尔, N·T·巴蒂, S·J·维 申请人:惠普开发有限公司