专利名称：管理虚拟协作系统中的共享内容的制作方法
管理虚拟协作系统中的共享内容
背景技术：
视频会议和其它形式的虚拟协作允许在处于远程位置的系统之中对视频、音频、 和/或其它内容或数据的实时交换或共享。对数据的该实时交换可以通过计算机网络以流视频和/或音频数据的形式发生。在许多视频会议系统中，包括参与者的视频和/或音频的媒体流与包括诸如电子文档、对象的视觉表示、和/或其它视听觉数据之类的共享内容的媒体流分开显示。参与者通过使用诸如鼠标、键盘等之类的外围设备与共享内容进行交互。典型地，仅参与者的子集能够与共享内容进行交互或控制共享内容。
图1是依照本公开内容的实施例的虚拟协作系统的方框图。图2是依照本公开内容的实施例的节点的方框图。图3是依照本公开内容的实施例的具有反馈系统的节点的示例和可以由该节点标识的姿势的示例。图4是依照本公开内容的实施例的示出反馈系统的另一示例的图3的节点的局部视图。图5是依照本公开内容的实施例的示出基于用户的一个或多个姿势修改媒体流的内容的方法的流程图。
具体实施例方式本说明性方法和系统可以适配于管理虚拟协作系统中的共享内容。具体地，除了其它事情以外，本说明性系统和方法还可以允许经由那些系统的用户的一个或多个动作 (诸如姿势)修改共享内容。下面将提供本说明性虚拟协作系统和方法的更多细节。如在本公开内容中和在随附权利要求中所使用的，术语“媒体”和“内容”被定义成包括文本、视频、声音、图像、数据、和/或可以通过计算机网络发送的任何其它信息。另外，如在本公开内容中和在随附权利要求中所使用的，术语“节点”被定义成包括具有配置成直接地使用远程系统和/或通过网络来接收、呈现、和/或发送媒体的一个或多个部件的任何系统。适合的节点系统可以包括(一个或多个)视频会议工作室、(一个或多个)计算机系统、(一个或多个)个人计算机、(一个或多个)笔记本计算机、(一个或多个)个人数字助理(PDA)、或先前所提到的或类似的设备的任何组合。类似地，如在本公开内容中和在随附权利要求中所使用的，术语“事件”被定义成包括给系统提供框架以交换信息的任何指定的时间和/或虚拟会议地点。事件允许至少一个节点发送和接收媒体信息和/或媒体流。事件还可以被称为“会话”。另外，如在本公开内容中和在随附权利要求中所使用的，术语“拓扑”被定义成包括与事件相关联的每个系统及其相应的配置、状态、和/或与该事件相关联的其它系统的关系。拓扑可以包括(一个或多个)节点、一个或多个事件中心、(一个或多个)事件管理器、在节点之中的虚拟关系、(一个或多个)节点的参与模式、和/或与事件相关联的媒体流。此外，如本说明性公开内容中所使用的，术语“子系统”和“模块”可以包括任何数目的硬件、软件、固件部件、或其任何组合。如本公开内容中所使用的，子系统和模块可以是一个或多个计算设备的一部分和/或由一个或多个计算设备所宿留，所述一个或多个计算设备包括(一个或多个)服务器、(一个或多个)个人计算机、(一个或多个)个人数字助理、和 /或包含装置的任何其它处理器。各种子系统和模块可以执行不同的功能和/或角色并且一起可以保持为单个单元、程序、设备、和/或系统。图1示出了虚拟协作系统20。该虚拟协作系统可以包括连接至一个或多个通信网络100的多个节点22，和管理子系统或事件管理器系统102。尽管虚拟协作系统20被示出为包括事件管理器系统102，但是在一些实施例中，诸如在对等虚拟协作系统中，虚拟协作系统可以不包括事件管理器系统。在那些实施例中，节点22中的一个或多个可以包括下面所描述的事件管理器系统的(一个或多个)部件和/或(一个或多个)功能。网络100可以是单个数据网络或者可以包括任何数目的通信耦合的网络。网络 100可以包括不同类型的网络，诸如(一个或多个)局域网(local area network, LAN)、 (一个或多个)广域网(wide area network, WAN)、(一个或多个)城域网、(一个或多个)无线网络、(一个或多个)虚拟专用网(virtual private network, VPN)、(一个或多个)以太网、(一个或多个)令牌环网、(一个或多个)公共交换电话网(public switched telephone network, PSTN)、(一个或多个)通用交换电话网(general switched telephone network, GSTN)、(一个或多个)交换电路网(switched circuit network, SCN)、(一个或多个)综合业务数字网(integrated services digital network, ISDN)、和 / 或(一个或多个)专用网络。网络100还可以采用用于数据的传递的任何适合的网络协议，其包括传输控制协议 / 互联网协议(transmission control protocol/internet protocol, TCP/IP)、超文本传输协议(hypertext transfer protocol, HTTP)、文件传输协议(file transfer protocol, FTP) > T. 120、Q. 93U K # ft 十办议(stream control transmission protocol, SCTP)、多协议标记交换(multi-protocol label switching, MPLS)、点到点协议(point-to-point protocol, PPP)、实时协议(real-time protocol, RTP)、实时控制协议(real-time control protocol, RTCP)、实时流协议(real-time streaming protocol, RTSP)、和 / 或用户数据报协议(user datagram protocol, UDP)。另外，网络100可以采用任何适合的呼叫信令协议或连接管理协议，诸如会话发起协议(Session Initiation Protocol, SIP)和H. 323。网络类型、网络协议、以及连接管理协议可以共同称为“网络特性”。可以使用网络特性的任何适合组合。事件管理器系统可以包括用来在经由一个或多个通信网络通信耦合至事件管理器系统的节点之中提供和/或管理一个或多个协作“交叉连接的”事件的任何适合结构。例如，事件管理器系统可以包括事件中心104和事件管理器106。图1示出了示例性事件中心104的元素和功能。事件中心可以被配置成在将诸如节点请求之类的请求中继至事件管理器106之前执行中间处理。具体地，事件中心可以包括能够与节点22中的一个或多个的事件管理器远程通信的软件模块。事件中心104可以包括公共通信接口 108和网络协议转换110，其可以允许事件中心接收来自一个或多个节点22的节点请求、对那些请求进行转换、将所述请求转发给事件管理器106以及接收来自事件管理器的指令，诸如媒体连接分配和选择的意图(在下文中进一步讨论)。那些指令可以由事件中心转换成指示(directive)以便传输至选择的节点。用于网络协议翻译110的模块可以采用加密、解密、鉴别、和/或其它性能以便于节点和事件管理器之中的通信。使用事件中心104来转发和处理至事件管理器的请求可以消除对单独节点22的需要以保证与潜在未预见的网络拓扑和/或协议的兼容性。例如，节点可以通过各种类型的网络参与事件，所述各种类型的网络均可以具有不同的性能和/或协议。事件中心可以给节点中的至少一些提供与事件的公共接触点。从节点22发送至事件中心104的请求可以被解释并且转变成对事件管理器106有意义的格式和/或协议。图1还示出了示例性事件管理器106的部件。该事件管理器可以与事件中心直接通信。然而，事件管理器可以经由通信网络通信耦合至事件中心。不管事件中心与事件管理器之间的通信的性质如何，事件管理器可以包括数据存储模块或存储的拓扑数据模块 112和多个管理策略114。与事件管理器相关联的所存储的拓扑数据模块可以描述事件的状态和/或拓扑，如由事件管理器所感知的那样。该数据可以包括参与事件的节点22的身份、在节点之中的虚拟关系、节点中的一个或多个节点正参与的意图或方式、以及节点中的一个或多个节点的性能。事件管理器106还可以维护用于节点22中的一个或多个节点的优先化意图的记录。意图可以包括关于在多个节点22之中的关系的信息，无论是存在的或所期望的。另外， 意图可以指定在给定事件期间以某方式要利用的节点22的窄的性能子集。例如，第一节点可以包括能够显示多个分辨率的三个显示器。针对第一节点的意图可以包括针对从某第二节点接收的媒体的指定分辨率，以及来自该第二节点的媒体流应当显示在最左边的显示器上的关系。另外，事件管理器106可以基于意图和/或所接收的意图的组合来优化事件拓扑。事件管理器106可以被配置成从至少一个事件中心接收节点请求。节点请求可以与由节点原始生成的请求是同样的，或者可以由事件中心修改以符合与事件管理器相关联的某规格、接口或协议。当节点22请求加入事件、离开事件或改变其意图时，事件管理器可以使用存储的拓扑数据112来创建新的媒体连接分配。优先化意图信息可以允许事件管理器分配与与会者的偏好中的至少一些最接近匹配的媒体流。另外，在拓扑改变时虚拟关系数据可以允许事件管理器使对事件的中断最小化，并且节点性能数据可以防止事件管理器分配不被所标识节点支持的媒体流。当请求或要求拓扑改变时，事件管理器可以从优先化意图中为节点22中的一个或多个节点选择系统可接受的最高优先级意图。所选择的意图可以表示对于指定的事件在那时针对该节点所实现的参与的模式。在条件改变时，在事件方面或在参与该事件的其它系统方面的变化可以促使事件管理器选择不同的意图。所选择的意图可以取决于任何数目的因素，所述因素包括网络带宽或流量、参与事件的其它节点的数目、其它参与节点和/或调度成参与的其它节点的优先化意图、针对当前事件定义的策略、预配置的管理策略、和/或其它系统参数。与事件管理器相关联的管理策略114可以是预配置的策略，根据一个示例其可以指定容许哪些节点和/或与会者加入事件。管理策略可以另外或可替换地应用用于事件的条件和/或限制因素，其包括最大持续时间、最大连接节点数、最大可用带宽、最小安全鉴别、和/或最少加密强度。另外，或可替换地，管理策略可以至少部分地基于节点意图来确定最佳事件拓扑。事件管理器可以被配置成将对更新的事件拓扑的描述发送至事件中心104。该描述可以包括针对节点22中的一个或多个节点的选择的意图以及针对那些节点的更新的媒体连接分配。通过事件管理器的媒体连接分配的形成可以提供在节点之中的虚拟关系的最佳形成和维护。拓扑和意图信息还可以被用来修改节点22中的一个或多个节点的环境，其包括不直接与媒体的传输、接收、输入、和/或输出有关的媒体设备。由事件管理器进行的集中管理可以对在事件方面的拓扑变化和请求应用一致的管理策略。另外，事件管理器可以进一步消除媒体流和媒体设备的潜在冲突配置。图2示出了节点22的部件，以及节点至事件管理系统102的连接。如通常所图示的，节点22是可以通过接收、呈现、和/或发送媒体数据参与协作事件的系统。因此，节点 22可以被配置成接收和/或发送媒体信息或媒体流24 ；生成本地媒体输出沈；接收媒体输入28、与会者输入30和/或系统指示32 ；和/或发送节点请求34。例如，节点22可以被配置成将一个或多个媒体流M发送至一个或多个其它节点22和/或从一个或多个其它节点接收一个或多个媒体流对。(一个或多个)媒体流可以包括可以被节点中的一个或多个节点修改的内容(或共享内容)。该内容可以包括可由一个或多个节点修改的任何数据。例如，内容可以包括电子文档、视频、对象的视觉表示等。节点22的物理形式在性能方面可能变化很大，并且可以包括(一个或多个)个人数字助理(PDA)、(一个或多个)个人计算机、(一个或多个)膝上型电脑、(一个或多个)计算机系统、(一个或多个)视频会议工作室、和/或能够连接至网络和/或通过网络发送数据的任何其它系统。在事件期间可以通过唯一标识符引用正参与该事件的节点22中的一个或多个节点。该标识符可以是系统固有的、连接依赖的(诸如IP地址或电话号码)、由事件管理器基于事件属性分配的、和/或由通过系统断言的另一策略决定的。如所示出的，节点22可以包括任何适合数目的媒体设备36，其可以包括配置成接收媒体流对、显示和/或呈现所接收的媒体流(诸如媒体输出沈)、生成或形成媒体流 24 (诸如根据媒体输入28)、和/或发送所生成的媒体流的任何适合结构。在一些实施例中， 可以从一个或多个其它节点22接收媒体流M和/或将媒体流M发送至一个或多个其它节点22。媒体设备36可以通信耦合至各种可能的媒体流24。根据事件拓扑和/或节点性能，可以将任何数目的媒体流M连接至媒体设备。所耦合的媒体流可以是异类的和/或可以包括不同类型的媒体。该节点可以同时发送媒体流M到参与事件的不同节点和/或接收媒体流对，所述媒体流M包括仅音频数据、视频和音频、来自指定的相机位置的视频和音频、协作数据、共享内容、和/或来自计算机显示器的其它内容。
跨越一个或多个网络100所连接的媒体流对可以交换以多种格式的数据。所发送和/或接收的媒体流或媒体信息可以符合包括G. 711、H. 261、H. 263、H. 264、G. 723、Mpegl、 Mpeg2、Mpeg4、VC—1、公共中间格式(common intermediate format, CIF)、禾口 / 或(一个或多个)专用标准的编码及解码标准。另外，或可替换地，可以发送任何适合的计算机可读文件格式以便于文本、声音、视频、数据、和/或其它媒体类型的交换。媒体设备36可以包括能够与一个或多个其它节点22和/或一个或多个网络100 相接口的任何(一个或多个)硬件和/或软件元素。媒体设备中的一个或多个可以被配置成接收媒体流对、和/或以与会者可辨别的方式再现和/或呈现所接收的媒体流。例如，节点22可以以膝上型或台式计算机的形式，其可以包括作为媒体设备36的相机、视频屏幕、 扬声器、以及麦克风。可替换地或另外，媒体设备可以包括(一个或多个)麦克风、(一个或多个)相机、(一个或多个)视频屏幕、(一个或多个)键盘、(一个或多个)扫描仪、(一个或多个) 运动传感器、和/或(一个或多个)其它输入和/或输出设备。媒体设备36可以包括配置成捕获节点的用户的视频和发送包括所捕获的视频的媒体流M的一个或多个摄相机。媒体设备36还可以包括配置成捕获诸如来自节点的用户的一个或多个语音命令之类的音频的一个或多个麦克风。另外或可替换地，媒体设备36可以包括配置成捕获诸如一个或多个三维图像之类的一个或多个图像的计算机视觉子系统。 例如，计算机视觉子系统可以包括一个或多个立体相机(诸如以立体相机阵列布置的)和/ 或具有有源深度传感器的一个或多个相机。可替换地或另外，计算机视觉子系统可以包括一个或多个摄像机。计算机视觉子系统可以被配置成捕获节点的(一个或多个)用户的一个或多个图像。例如，计算机视觉子系统可以被配置成捕获在节点的用户的一个或多个姿势(诸如手姿势)内的图像。图像可以是二维或三维图像。计算机视觉子系统可以被定位成捕获在(一个或多个)任何适合位置处的图像。例如，计算机视觉子系统可以被定位成邻近该节点的屏幕以捕获在与屏幕间隔开的一个或多个交互区域处的图像，所述交互区域诸如在该节点的 (一个或多个)用户前面的空间区域。计算机视觉子系统可以被定位成使得交互区域不包括该节点的屏幕。节点22还可以包括至少一个媒体分析器或媒体分析器模块38，其可以包括配置成分析来自(一个或多个)媒体设备中的一个或多个的(一个或多个)输出并且从(一个或多个)那些输出中标识任何指令或命令的任何适合结构。例如，媒体分析器38可以包括一个或多个媒体流捕获机构和一个或多个信号处理器，其可以以硬件和/或软件/固件的形式。例如，媒体分析器可以被配置成从来自媒体设备中的一个或多个媒体设备的(一个或多个)所捕获图像标识一个或多个姿势。任何适合的姿势，包括一只或两手姿势(诸如不涉及对任何外围设备的操纵的手姿势)，都可以被媒体分析器标识。例如，可以通过用户将每只手的拇指和食指放置成直角以指示显示区域的角落(或通过使用一个或多个手指画出闭合的形状)来执行的框架姿势，该框架姿势可以被标识成指示用户想要显示内容的地方。另外，可以通过用户合上一只或两只手掌来执行的抓握姿势可以被标识成指示用户想要抓住该内容的一个或两个部分以进一步操控。抓握姿势的后续姿势可以包括旋转姿势，其可以通过保持双手掌合上并且移动手臂以旋转手掌来执行，其可以被标识为指示用户想要旋转该内容。可以被媒体分析器标识的姿势的附加示例包括到达姿势，其可以通过朝向特定方向移动张开的手来执行，其可以被标识为指示用户想要将该内容移动到特定区域。而且，可以通过用户把手展平并且将其向下移动来执行的切片(slicing)姿势可以被标识为指示用户想要剖析该内容的一部分。另外，可以通过用户伸出他或她的指向手指来执行的指向姿势可以被标识为用户想要使该内容的一个或多个部分显著。此外，可以通过用户伸出他或她的指向手指并且将其从左至右或从右至左移动来执行的翻页姿势可以被标识为指示用户想要从一个共享内容移动到另一共享内容(当多个共享内容可用时，其可以被同时地或独立地显示)。此外，可以通过移动一个或多个手指以在该内容上进行画和/或写来执行的画或写姿势可以被标识为指示用户想要在该共享内容上画和/或写，诸如想要给内容加注解。另外，可以通过用户朝向开花板张开手掌并且升高和降低手掌来执行的“更高”姿势可以被标识为指示用户想要增加(一个或多个)某视觉和/或音频参数。例如，该姿势可以被标识为指示用户想要增加该共享内容的亮度、颜色等。另外，更高姿势可以被标识为指示用户想要升高与该共享内容相关联的音频，诸如更高的音量、更高的音高、更高的低音等。此外，可以通过用户朝向地面张开手掌并且升高和降低手掌来执行的“更低”姿势可以被标识为指示用户想要减小(一个或多个)某视觉和/或音频参数。例如，该姿势可以被标识为指示用户想要减小该共享内容的亮度、颜色等。另外，更低姿势可以被标识为指示用户想要降低与该共享内容相关联的音频，诸如更低的音量、更低的音高、更低的低音等。而且，在其它节点具有左扬声器和右扬声器的情况下，用户可以使用左和/或右手以便使用在上文中所描述的姿势和/或其它姿势独立地控制来自那些扬声器的音频。其它示例可以另外或可替换地由媒体分析器来标识，其包括锁定姿势、来姿势和/或去姿势、 转向姿势等。另外，媒体分析器38可以被配置成从所捕获的音频标识一个或多个语音命令。所述语音命令可以增补和/或补充一个或多个姿势。例如，可以使框架姿势跟随有陈述用户想要该内容与该框架姿势正指示的一样大的语音命令。可以使将内容移动至某位置的移动姿势跟随有要求该节点以某放大倍率来显示所移动内容的语音命令。另外，可以使向内容添加文本的画姿势跟随有文本识别画了什么的语音命令。媒体分析器可以包括任何适合的软件和/或硬件/固件。例如，除了其它结构以外，媒体分析器还可以包括视觉和音频识别软件和关系数据库。视觉识别软件可以使用用于标识(一个或多个)姿势的逻辑过程。例如，视觉识别软件可以将用户的姿势与背景分开。 另外，该软件可以聚焦于用户的手(诸如手姿态、手移动、和/或手的方位)和/或在所捕获的图像中用户的身体的其它相关部分上。该视觉识别软件还可以使用任何适合的(一个或多个)算法，其包括处理像素数据、块运动矢量等的算法。该音频识别软件可以聚焦于词的具体组合上。关系数据库可以存储所识别的姿势和语音命令并且提供作为至节点管理器的媒体分析器输入的那些姿势和命令的相关联解释，如在下面进一步论述的。关系数据库可以被配置成存储在媒体分析器的操作期间所获悉的语音命令和/或附加的所识别的姿势。媒体分析器可以被配置成标识任何适合数目的姿势和语音命令。媒体分析器的示例包括来自GestureTek 的诸如 GestPoint 、GestureXtreme 以及 GestureiTek Mobile 之类的姿势控制产品、来自Softkinetic的诸如iisu 中间件之类的自然接口产品、以及来自Mgestyk Technologies的诸如Mgestyk Kit之类的基于姿势的控制产品。 在节点22的操作期间，可以以任何(一个或多个)适合方式来激活计算机视觉子系统和/或媒体分析器。例如，可以通过用户将诸如用户的手之类的某物放在计算机视觉系统的交互区域内来激活计算机视觉子系统和/或媒体分析器。尽管媒体分析器38被示出为被配置成分析在本地节点22处生成的媒体流，但是媒体分析器可以另外或可替换地被配置成分析在其它节点22处生成的媒体流。例如，可以将来自远程节点的用户的一个或多个姿势的图像发送至本地节点22并且由媒体分析器38进行分析以用于该共享容的后续修改。 节点22还可以包括至少一个合成器或合成器模块40，其可以包括配置成合成来自媒体设备的两个或更多媒体流的任何适合结构。在一些实施例中，合成器可以被配置成合成节点用户的所捕获视频与一个或多个媒体流M中的其它内容。内容和视频的合成可以发生在发送节点和/或(一个或多个)接收节点处。节点22还可以包括一个或多个环境设备42，其可以包括配置成调整该节点的环境和/或支持一个或多个其它节点22的一个或多个功能的任何适合结构。环境设备可以包括不直接与媒体流连接有关的参与性能。例如，环境设备42可以改变一个或多个相机的 (一个或多个)缩放设置、控制一个或多个视频投影仪(诸如正向回被投射到用户和/或场景上的活动的投射内容)、改变音频系统的音量、高音和/或低音设置、和/或调整照明。如图2中所示，节点22还可以包括节点管理器44，其可以包括适配成处理(一个或多个)与会者输入30、(一个或多个)系统指示32、和/或(一个或多个)媒体分析器输入 46并且适配成至少部分地基于所接收的指示和/或所接收的媒体分析器输入来配置各种媒体设备36和/或合成器40中的一个或多个的任何适合结构。节点管理器可以解释从媒体分析器、一个或多个其它节点和/或事件中心器接收的输入和/或指示，并且可以至少部分地基于所接收的指示生成例如用于媒体设备36、合成器40、和/或环境设备42的特定于设备的指示。例如，节点管理器44可以被配置成至少部分地基于媒体分析器输入来修改要发送至一个或多个其它节点22和/或从那些节点接收的媒体流的内容。另外或可替换地，节点管理器可以被配置成至少部分地基于从那些节点接收的指示32修改发送至一个或多个其它节点22和/或从那些节点22接收的媒体流的内容。在一些实施例中，节点管理器可以被配置成至少部分地基于(一个或多个)媒体分析器输入来移动、剖析、构造、旋转、定尺寸、定位、着色、成形、和/或以其它方式操纵诸如(一个或多个)对象的视觉表示或(一个或多个)电子文档之类的内容。可替换地或另外，节点管理器可以被配置成至少部分地基于 (一个或多个)媒体分析器输入修改在发送节点和/或接收节点处如何显示该内容。在把内容合成在节点的(一个或多个)用户的视频内的一些实施例中，节点管理器可以被配置成至少部分地基于媒体分析器输入向合成器提供指示以修改在视频内如何显示该内容。例如，节点管理器44可以被配置成至少部分地基于媒体分析器输入修改该内容在视频内的显示尺寸。另外或可替换地，节点管理器可以被配置成至少部分地基于媒体分析器输入修改该内容在视频内的显示位置。
节点管理器还可以被配置成至少部分地基于媒体分析器输入改变该内容在视频内的亮度、(一个或多个)颜色、对比度等。另外，当存在多个共享内容时，节点管理器可以被配置成至少部分地基于媒体分析器输入来使该内容中的一些半透明(诸如当用户执行上面所描述的翻页姿势以指示哪个内容应该是来自其它节点的用户的注意焦点时)。此外，节点管理器可以被配置成至少部分地基于媒体分析器输入来改变节点22和/或其它节点的音频设置和/或其它环境设置。媒体设备的配置和/或参与的级别可以通过该节点的性能和/或该节点的(一个或多个)用户的(诸如由(一个或多个)用户输入30提供的)期望变化来变化。节点管理器还可以传送可以通知用户和/或与会者媒体设备的配置、正在参与该事件和/或正在尝试连接至该事件的其它节点的身份的通知48。如在上文中所讨论的，各种参与模式可以是术语化的意图，并且可以包括η路 (niay)音频和视频交换、音频和高分辨率视频、音频和低分辨率视频、动态选择的视频显示、协作数据的图形显示和音频、在没有传输的情况下的音频和视频接收、和/或媒体输入和/或输出的任何其它组合。节点的意图可以被进一步定义成包括存在于媒体设备36、媒体流M以及其它节点22之中的实际的和/或期望的关系，其可以是除了已经被激活来接收和/或发送媒体流的媒体设备36和/或特征的具体组合之外的。另外或可替换地，节点的意图可以包括影响环境考虑因素的各方面。例如，将示出在事件中的席位的数目，其例如可以影响一个或多个相机的(一个或多个)缩放设置。如图2中所示的，节点管理器还可以包括在节点管理器内的预配置的偏好策略 50，其可以在特定事件期间根据节点的可能的参与模式创建一组优先化意图52。所述优先化意图可能从事件到事件和/或在事件期间改变。例如，当节点尝试加入事件、离开事件、 以不同的方式参与时、和/或当由与会者指导时所述优先化意图可以改变。当节点22修改其优先化意图52时，可以把节点请求34传送给事件管理器系统和 /或其它节点22。该节点请求可以包括一个或多个连接动作。另外，该节点请求可以包括优先化意图和关于发送该节点请求的节点的性能的信息。此外，该节点请求可以包括节点管理器至少部分地基于媒体分析器输入所生成的一个或多个指令。例如，该节点请求可以包括至其它节点的(一个或多个)媒体设备以修改共享内容的指令、和/或至其它节点的(一个或多个)环境设备以修改在那些节点处的音频设置和/或其它环境设置的指令。而且，该节点请求可以包括节点类型和/或相关联的令牌，其可以指示媒体设备36之中的关系，诸如三个显示器到相对于与会者的左边、右边以及中央的定位。在每一情形下，节点可以不自动地传送关于其性能和关系的相同信息。节点22可以重复地选择和/或更改性能和/或关系的描述以便公开。例如，如果节点22包括三个显示器而中央显示器可能坏掉了或在使用中，则该节点可以发送表示一个在与会者右边并且一个在与会者左边的仅两个显示器的信息。因此，可以通过节点类型和/或节点的优先化意图52来指示事件管理器可能接收的关于节点的能力和关系的信息。该节点请求可以另外或可替换地包括一种形式的节点标识。在一些实施例中，节点22还可以包括反馈模块或反馈系统M，其可以包括配置成向该节点的(一个或多个)用户提供一个或多个姿势的视觉和/或音频反馈的任何适合结构。例如，反馈系统可以从一个或多个媒体设备36接收一个或多个姿势的所捕获视频、基于所捕获视频生成视觉和/或音频反馈、并且将该反馈发送至一个或多个其它媒体设备36 以便输出给该节点的(一个或多个)用户。反馈系统M可以生成任何适合的视觉和/或音频反馈。例如，该反馈系统可以作为用户(或用户的(一个或多个)部分)的淡变的或“朦胧的”版本覆盖在屏幕上，从而使得用户可以看见他或她的姿势。另外或可替换地，反馈系统讨可以被配置成向节点的(一个或多个)用户提供由媒体分析器38所标识或识别的一个或多个姿势的视觉和/或音频反馈。例如，反馈系统可以从媒体分析器接收(一个或多个)输入、基于那些输入生成视觉和/或音频反馈、和/或将该反馈发送至一个或多个其它媒体设备36以输出给该节点的(一个或多个)用户。反馈系统 M可以生成任何适合的视觉和/或音频反馈。例如，反馈系统可以以词(诸如“框架”、“达到”、“抓握”以及“指向”)和/或图形(诸如方向箭头和抓握点)的形式来显示所识别的姿势。尽管已经示出和论述了节点22能够识别用户的姿势和/或语音命令并且能够基于那些姿势和/或命令修改内容，但是该节点可以另外或可替换地被配置成识别其它用户输入，诸如可以被放置在计算机视觉系统的交互区域内的特殊目标。例如，可以将特殊目标或图示符放置在该交互区域内长达几秒钟以定位内容。该节点还可以识别该目标并且可以将该内容放置在请求的区域内，即使在该特殊目标已经被从该交互区域中移出之后也是如此。图3中示出了节点22的示例并且通常以222指示。除非另外指定，否则节点222 可以具有节点22的(一个或多个)功能和/或(一个或多个)部件中的至少一些。节点222 采用视频会议工作室的形式，所述视频会议工作室除了其它媒体设备之外还包括至少一个屏幕2M和至少一个深度相机226。在该屏幕上所显示的是来自另一节点的第二用户2 和共享内容230。该共享内容以对象的视觉表示的形式，诸如立方体。深度相机2 被配置成捕获在交互区域234内的第一用户232的(一个或多个)图像。图3中示出了在交互区域234内做出姿势236(诸如旋转姿势237)的第一用户 232。在屏幕2M上，显示了视觉反馈238使得第一用户能够验证该旋转姿势237已经被节点222标识和/或识别。该视觉反馈以太阳图形240和方向箭头M2的形式，所述太阳图形240示出了第一用户已经抓握了该共享内容，所述方向箭头242示出了第一用户正向哪个方向旋转该共享内容。图4中示出了视觉反馈238的替换并且通常被指示为252。以第一用户的手的视觉表示2M的形式示出了视觉反馈252使得第一用户在不必看他或她的手的情况下能够看见正做出的什么姿势。第一用户还可以提供语音命令以增补或补充姿势236。例如，第一用户可以说“我想让该对象这样大”或“我相让该对象定位在这里”。尽管节点222被示出为包括单个屏幕，但是该节点可以包括多个屏幕，其中每个屏幕示出来自不同节点的用户但是和相同的共享内容。图3中还示出了其它姿势236的示例。框架姿势244可以在第一用户所期望的显示器的区域中对共享内容230进行定位和/或定尺寸。姿势246中的到达可以移动该共享内容。抓握姿势248可以允许第一用户232抓住至该共享内容的一个或多个部分以进行进一步操纵，诸如旋转姿势237。指向姿势250可以允许第一用户使该共享内容的一个或多个部分显著。
尽管示出了具体姿势，但是节点22和/或222可以被配置成识别其它姿势。另外， 尽管图3中示出了手姿势，但是节点22和/或222可以被配置成识别其它类型的姿势，诸如头姿势(例如，头倾斜等)、面部表情(例如，眼睛运动、嘴巴运动等)、臂姿势等。此外，尽管节点222被示出为包括显示在不同节点处的单个用户和共享内容的屏幕，但是该屏幕可以显示在具有一个或多个不同节点处的多个用户和共享内容。而且，尽管节点222被示出为包括单个屏幕，但是该节点可以包括多个屏幕，其中所述屏幕中的一些显示来自一个或多个不同节点的用户和共享内容。图5示出了通常以300指示的基于用户的一个或多个姿势修改媒体流的内容的方法的示例。虽然图5示出了根据一个示例的方法的说明性步骤，但是其它示例可以省略、添加至、和/或修改图5中所示出的步骤中的任何步骤。如图5中所图示的，在302，该方法可以包括捕获用户姿势的图像。在304，可以标识或识别在所捕获的图像中的用户姿势。在306，可以至少部分地基于所标识的用户姿势修改媒体流的内容。例如，在该内容包括一个或多个对象的视觉表示的情况下，可以至少部分地基于所标识的用户姿势修改该视觉表示的方位。可替换地，在媒体流包括用户的视频并且该内容被合成在用户的视频内的情况下，可以至少部分地基于所标识的用户姿势修改该内容在用户的该视频内显示的方式。方法300还可以包括在310向用户姿势的用户提供视觉反馈和/或在312提供所标识的用户姿势的视觉反馈。节点22还可以包括计算机可读介质，其包括用于使用用户姿势来修改媒体流的内容的计算机可执行指令，该计算机可执行指令被配置成执行上文中所论述的方法300的步骤中的一个或多个步骤。
权利要求
1.一种配置成将具有内容的媒体流04)发送到一个或多个其它节点0 的节点 0 ，包括媒体设备(36)，其被配置成捕获所述节点0 的用户的一个或多个姿势的图像；媒体分析器(38)，其被配置成从所捕获的图像标识所述一个或多个姿势；和节点管理器(44)，其被配置成至少部分地基于所标识的一个或多个姿势修改所述媒体流的内容。
2.根据权利要求1所述的节点(22)，其中，所述节点管理器04)被配置成至少部分地基于所标识的一个或多个姿势将指令传送至所述一个或多个其它节点(22)，所述指令被配置成在所述一个或多个其它节点0 处修改从所述节点0 接收的所述媒体流04)的内容。
3.根据权利要求1所述的节点(22)，其中，所述节点管理器04)被配置成在将所述媒体流04)发送至所述一个或多个其它节点0 之前修改所述媒体流04)的内容。
4.根据权利要求1所述的节点(22)，其中，所述媒体流04)包括所述节点0 的用户的视频和在所述节点0 的用户的视频内合成的内容，并且所述节点管理器G4)被配置成至少部分地基于所标识的一个或多个姿势修改在所述媒体流(24)中的所述节点02) 的用户的视频内如何显示所述内容。
5.根据权利要求4所述的节点(22)，其中，所述节点管理器04)被配置成至少部分地基于所标识的一个或多个姿势修改所述内容在所述媒体流04)中的所述节点0 的用户的视频内的显示尺寸和位置中的至少一个。
6.根据权利要求4所述的节点(22)，其中，所述一个或多个其它节点(2 包括环境设备，并且其中所述节点管理器G4)被配置成至少部分地基于所标识的一个或多个姿势修改所述环境设备的设置。
7.根据权利要求1所述的节点(22)，其中，所述媒体设备(36)还被配置成捕获来自所述用户的一个或多个语音命令的音频，所述媒体分析器(38)还被配置成标识所述一个或多个语音命令，而所述节点管理器G4)还被配置成至少部分地基于所标识的一个或多个语音命令修改所述媒体流04)的内容。
8.根据权利要求1所述的节点02)，还包括反馈系统(54)，该反馈系统(54)被配置成向所述节点0 的所述用户提供所述一个或多个姿势的视觉反馈。
9.根据权利要求8所述的节点(22)，其中，所述反馈系统(54)还被配置成向所述节点 (22)的所述用户提供所标识的一个或多个姿势的视觉反馈。
10.一种基于用户姿势修改媒体流04)的内容的方法(300)，包括捕获(30 所述用户姿势的图像；在所捕获的图像中标识(304)所述用户姿势；和基于所标识的用户姿势修改(306)所述媒体流04)的内容。
11.根据权利要求10所述的方法(300)，其中，所述媒体流04)的内容包括对象的视觉表示，并且其中修改所述媒体流04)的内容包括基于所标识的用户姿势修改所述对象的方位。
12.根据权利要求10所述的方法(300)，其中，所述媒体流04)包括所述用户的视频和在所述用户的视频内合成的内容，并且其中修改所述媒体流04)的内容包括基于所标识的用户姿势修改所述内容在所述用户的视频内如何显示。
13.根据权利要求10所述的方法(300)，还包括向所述用户姿势的所述用户提供(310) 视觉反馈。
14.根据权利要求10所述的方法(300)，还包括向所标识的用户姿势的所述用户提供 (312)视觉反馈。
15.一种包括用于使用用户姿势修改媒体流04)的内容的计算机可执行指令的计算机可读介质，所述计算机可执行的指令被配置成捕获(30 所述用户姿势的图像；在所捕获的图像中标识(304)所述用户姿势；和基于所标识的用户姿势修改(306)所述媒体流04)的内容。
全文摘要
公开了用于基于用户的一个或多个姿势修改媒体流(24)的内容的系统和方法。配置成将具有内容的媒体流(24)发送至一个或多个其它节点的节点(22)包括媒体设备(36)，其被配置成捕获所述节点(22)的用户的一个或多个姿势的图像；媒体分析器(38)，其被配置成根据所述捕获的图像来标识所述一个或多个姿势；以及节点管理器(44)，其被配置成至少部分地基于所述标识的一个或多个姿势修改所述媒体流(24)的内容。
文档编号H04N7/14GK102550019SQ200980159931
公开日2012年7月4日 申请日期2009年4月16日 优先权日2009年4月16日
发明者D.G.格尔布, I.N.罗宾逊, K-H.谭 申请人:惠普开发有限公司