支持增强现实的交互和协作的系统和方法与流程

本申请要求2014年3月31日递交的发明名称为“支持增强现实的交互和协作的系统和方法(SYSTEM AND METHOD FOR AUGMENTED REALITY-ENABLED INTERACTIONS AND COLLABORATION)”的第14/231,375号美国非临时专利申请的在先申请优先权，该在先申请的全部内容以引入的方式并入本文本中。

背景技术：

通过同时双向传输采用远程协作技术，诸如视频会议软件，使远程位置上的多个用户一起参加会议。然而，执行这类任务的许多传统系统无法建立参与者在其中能够享受相同物理工作区内的共享存在感的通信环境。正因如此，远程用户之间通过通信网络执行协作和交互可能会成为一项艰巨的任务。因此，需要一种方案，使通过通信网络执行协作会话的参与者具有相互共享相同物理工作区的感觉，同时在此等事件期间还能提高用户体验。

技术实现要素：

本发明实施例提供了一种用于在远程终端用户之间执行网上协作和交互的新颖系统和/或方法。本发明实施例产生的感知效果是：每个用户共享相同的物理工作区，而每个人实际上位于不同的物理环境中。以这种方式，本发明实施例允许用户之间的更加无缝交互，同时减轻他们使用公共计算机外围设备，诸如鼠标、键盘和其它常用于执行这类交互的硬件的负担。

附图说明

附图包含在并且构成本说明书的一部分，其中相同的数字描绘相同的元件，附图说明本发明的实施例，并且与描述内容一起用于解释本发明的原理。

图1A描绘了根据本发明实施例的在用于执行支持增强现实的交互和协作的客户端设备上实施的示例性硬件配置。

图1B描绘了根据本发明实施例的驻留在由用于执行支持增强现实的交互和协作的客户端设备执行的存储器中的示例性部件。

图2描绘了根据本发明实施例的用于在执行支持增强现实的交互和协作期间从本地环境实时捕获真实信息的示例性本地媒体数据计算模块。

图3描绘了根据本发明实施例的用于在执行支持增强现实的交互和协作期间处理通过通信网络从远程客户端设备接收的数据的示例性远程媒体数据计算模块。

图4描绘了根据本发明实施例的用于生成虚拟工作区显示以执行支持增强现实的交互和协作的示例性基于对象的虚拟空间构成模块。

图5描绘了根据本发明实施例的用于执行支持增强现实的交互和协作的示例性多客户端实时通信。

图6A为根据本发明实施例的一种用于在通过通信网络执行的协作会话期间生成本地媒体数据的示例性计算机实施方法的流程图。

图6B为根据本发明实施例的一种生成构造数据以创建用于通过通信网络执行的协作会话的虚拟工作区显示的示例性计算机实施方法的流程图。

图6C为根据本发明实施例的一种在通过通信网络执行的协作会话期间同时呈现虚拟工作区显示和检测手势输入的示例性计算机实施方法的流程图。

图7A描绘了根据本发明实施例的用于执行支持增强现实的交互和协作的示例性用例。

图7B描绘了根据本发明实施例的用于执行支持增强现实的交互和协作的另一示例性用例。

图7C描绘了根据本发明实施例的用于执行支持增强现实的交互和协作的再一示例性用例。

具体实施方式

现将详细地对本发明的各种实施例、附图示出的示例做出参考。虽然会结合这些实施例进行描述，但可以理解的是它们并不用于将本发明限制于这些实施例。相反，本发明公开旨在覆盖可以包括在由所附权利要求书限定的本发明公开的精神和范围内的替代物、修改和等同物。另外，在以下本发明的详细描述中，阐述了许多特定细节以便提供对本发明的透彻理解。然而，可以理解的是，实际应用中，可以不包括本发明的这些特定细节。在其它实例中没有详细描述众所周知的方法、流程、部件和电路，以免对本发明的各方面造成不必要地模糊。

虽然结合优选实施例描述该请求保护的主题，但应该理解它们不是旨在将请求保护的主题限制于这些实施例。相反，请求保护的主题旨在覆盖可以包括在由附加的权利要求书的精神和范围内的替代物、修改和等同物。

此外，在本请求保护的主题的实施例的以下具体描述中，阐述许多具体细节以便提供对本请求保护的主题的透彻理解。然而，所属领域的普通技术人员将认识到，可以在没有这些具体细节的情况下实践本请求保护的主题。在其它实例中没有详细描述众所周知的方法、流程、部件和电路，以免对本请求保护的主题的各方面造成不必要地模糊。

该具体实施方式的一些部分按照程序、步骤、逻辑块、处理、以及对计算机存储器中的数据位的操作的其它符号表示来呈现。这些描述和表示是数据处理领域技术人员向该领域其他技术人员有效传达工作实质内容使用的方法。将程序、计算机产生的步骤、逻辑块、过程等一般设想为首尾一致的步骤或指令序列，以产生期望的结果。这些步骤需要物理量的物理操控。通常，并不是完全必须的，这些量以电信号或磁信号的形式存在，可以被存储、转移、合并和比较，否则将在电脑系统中被操控。有时候这种方法被证明是行之有效的，主要出于常见用法的考虑，将这些信号作为比特位、数值、元素、符号、字符、术语、或数字等等。

然而，应牢记，所有这些和类似术语与适当物理量相关联，且仅为应用于这些量的方便标签。除非确切地陈述为从以下论述显而易见，否则应了解，在本请求保护的主题中，利用例如“捕获”、“接收”、“渲染”等术语的论述是指将表示为计算机系统的寄存器和存储器内的物理(电子)量的数据操控和变换为类似地表示为计算机系统存储器或寄存器或其它此类信息储存、传输或显示设备内的物理量的其它数据的、包括内嵌系统的计算机系统或集成电路或类似电子计算设备的动作和进程。

因此，本发明实施例提供了一种用于执行支持增强现实的交互和协作的系统和/或方法。

用于执行支持增强现实的交互和协作的示例性客户端设备

图1A描绘了本发明各实施例使用的示例性硬件配置。尽管图1A公开了具体部件，但是应了解，此类部件是示例性的。也就是，本发明实施例非常适合拥有各种其它硬件部件或图1A列举的部件的变体。应了解，图1A的硬件部件可以与除那些展示的部件之外的其它部件一起操作，并且不需要图1A所描述的所有硬件部件来实现本发明的目标。

客户端设备101可以实施为能够通过通信网络与其它远程计算机系统通信的电子设备。客户端设备101可以实施为，例如数字摄像机、手机摄像机、便携式电子设备(例如音频设备、娱乐设备、手持设备)、网络摄像机、视频设备(例如可携式摄像机)等等。客户端设备101的部件可以包括如下相应功能：确定和配置相应光属性和设置，包括但不限于，对焦、曝光、上色或白平衡，以及兴趣领域(例如，通过对焦马达、光圈控制等)。此外，客户端设备101的部件可以通过内部通信总线105耦合以及接收/传输图像数据以通过这种通信总线进一步处理。

在其最基本的硬件配置中，客户端设备101可以包括传感器100、计算机存储介质135、可选图形系统141、复用器260、处理器110和可选显示设备111。

传感器100可以包括多个传感器，它们的排列方式使得从客户端设备101外部的本地化环境中实时捕获不同形式的真实信息。可选图形系统141可以包括图形处理器(未图示)，其可用于处理来自驻留在计算机可读存储介质135中的应用的指令以及通过内部总线105与处理器110传送数据。可以通过帧缓存以将数据呈现在可选显示设备111上的方式来传送数据。

以这种方式，可选图形系统141可以根据呈现命令生成输出图像的像素数据以及可配置为由多个并行执行的应用并行使用的多个虚拟图形处理器。复用器260包括如下功能：在本地和通过通信网络传输数据。因此，复用器260可以复用从客户端设备101传送来的外呼数据以及解复用由客户端设备101接收的入呼数据。根据客户端设备的确切配置和类型，计算机可读存储介质135可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存等)或两者的组合。计算机可读存储介质135的各部分，在被执行时，有助于存储器操作或线程组请求的有效执行。

图1B描绘了本发明各实施例使用的示例性计算机存储介质部件。尽管图1B公开了具体部件，但是应了解，此类计算机存储介质部件是示例性的。也就是，本发明实施例非常适合拥有各种其它部件或图1B列举的计算机存储介质部件的变体。应了解，图1B的部件可以与除那些展示的部件之外的其它部件一起操作，并且不需要图1B所描述的所有计算机存储介质部件来实现本发明的目标。

如图1B所描绘，计算机可读存储介质135可以包括操作系统(例如操作系统112)。操作系统112可以在初始化客户端设备101时加载到处理器110内。此外，在处理器110执行之后，操作系统112可以用于将编程接口提供给客户端设备101。而且，如图1B所示，计算机可读存储介质135可以包括本地媒体数据计算模块200、远程媒体数据计算模块300和基于对象的虚拟空间构成模块400，它们可以为处理器110提供指令以通过内部总线105处理。因此，现在将更详细地论述本地媒体数据计算模块200、远程媒体数据计算模块300和基于对象的虚拟空间构成模块400的功能。

图2更加详细地描述了根据本发明实施例的本地媒体数据计算模块200的功能。如图2所示，传感器100包括一组传感器(例如，S1、S2、S3、S4等)，它们的排列方式使得从客户端设备101外部的本地化环境中实时捕获不同形式的真实信息。因此，传感器100内的不同传感器可以捕获各种形式的外部数据，诸如视频(例如RGB数据)、深度信息、红外反射数据、热阻数据等。例如，传感器100在时间t_i收集的一组示例性数据可描绘为：

(X，Y，R，G，B)，纹理(图像)数据；

(X'，Y'，Z')，深度数据；

(X”，Y”，IR”)，红外数据；

(X”'，Y”'，T”')，热阻数据

其中X和Y表示空间坐标，主要标记表示不同的坐标系统；R、G和B值分别表示相应颜色通道值(例如，分别为红、绿和蓝通道)；Z表示深度值；IR表示红外线值；T表示热阻数据。以这种方式，客户端设备101可以在任何给定时间内以数据图的形式从传感器100内的不同传感器获取一组读数。

传感器数据增强模块210包括如下功能：在传递到客户端设备101内的其它模块(例如上下文提取220、兴趣对象提取230、用户配置检测240等)之前预处理通过传感器100接收的数据。例如，传感器100内的各个不同传感器获得的原始数据可能不一定对应相同的空间坐标系。因此，传感器数据增强模块210可以执行对齐过程，使得传感器100内的传感器获得的每个测量可以统一到一个坐标系。以这种方式，从不同传感器中获取的信息可以由客户端设备101内的其它模块组合并统一分析。

例如，在对齐过程期间，传感器数据增强模块210可以将针对每个传感器数据的适当变换矩阵校准为参考坐标系。在一个实例中，由传感器数据增强模块210创建的参考坐标系可以为传感器100中的任一传感器(例如视频传感器)的内在坐标系或与任一传感器的相应坐标系不关联的新坐标系。例如，施加到由获取颜色的传感器获取到的原始传感器数据的一组合成变换可描绘为：

(X*，Y*，R*，G*，B*)＝T_rgb(X，Y，R，G，B)，纹理(图像)数据；

(X*，Y*，Z*)＝T_z(X'，Y'，Z')，深度数据；

(X*，Y*，(IR)*)＝T_ir(X”，Y”，IR”)，红外数据；

(X*，Y*，T*)＝T_t(X”'，Y”'，T”')，热阻数据

其中，注册过程先前已经为传感器100中的每个传感器确定了变换T_rgb、T_z、T_ir和T_t。变换T可以为仿射变换(即，T(v)＝Av+b，其中v为待变换的输入向量，A为矩阵，b为另一向量)、线性变换或非线性变换。在执行对齐过程之后，参考坐标系中的每个点，描述为(X*，Y*)，应该具有来自所有输入传感器的关联值。

在某些场景中，从传感器100获得的数据可以很嘈杂。另外，数据图可以包含未知或未定义值的点，这是因为特定传感器不完善或者是因为从空间的不同角度重对齐数据的结果。因此，传感器数据增强模块210还可以对混有噪声的信号值进行校正以及矫正根本没有定义的信号值。因此，传感器增强模块210的输出数据可以以更新的测量图(例如表示为图2的(x，y，z，r，g，b，ir，t……))为形式，输出数据随后可以传递给客户端设备101内的其它部件以供进一步处理。

兴趣对象提取模块230包括如下功能：基于在当前协作会话(例如电话会议、智真等)期间通过传感器数据增加模块210接收的数据划分本地用户和/或任何其它兴趣对象(例如本地用户想要展示给远程用户的各种物理对象、协作相关的物理文档等)。兴趣对象提取模块230可以通过使用经由传感器100收集的外部数据(例如RGB数据、红外线数据、热阻数据)或者通过组合不同源并联合处理它们来检测兴趣对象。以这种方式，兴趣对象提取模块230可以应用不同的计算机实施的RGB分割过程，诸如分水岭、均值偏移等，来检测用户和/或对象。如图2所示，除了兴趣对象数据图(m)之外，由兴趣对象提取模块230产生的合成输入(例如(x，y，z，r，g，b，m))可以包括深度数据(例如坐标(x，y，z))和/或RGB图数据(例如坐标(r，g，b))。例如，关于RGB分割过程的更多信息和详情可以参考发明人Jana Ehman于2013年8月23日递交的发明名称为“TEMPORALLY COHERENT SEGMENTATION OF RGBt VOLUMES WITH AID OF NOISY OR INCOMPLETE AUXILIARY DATA”的第61/869,574号美国临时申请中找到，该申请的全部内容以引入的方式并入本文中。该结果随后可以转发给复用器260，以及转发给用户配置检测模块240以供进一步处理。

上下文提取模块220包括如下功能：从通过传感器数据增强模块210接收的数据在本地用户各自的环境内自动提取关于他们的高级信息。例如，上下文提取模块220可以使用计算机实施的过程来分析从传感器数据增强模块210接收的关于本地用户的体温的数据和/或确定用户的当前情绪(例如愤怒、厌烦等)。因此，基于这种数据，上下文提取模块220可以根据推断地确定用户是否主动参与到当前协作会话内。

在另一示例中，上下文提取模块220可以分析本地用户的脸部表情、姿势和动作以确定用户参与度。上下文提取模块220进行的确定可以作为上下文数据发送给复用器260，复用器进一步在本地和通过通信网络传输数据。以这种方式，上下文数据可提供给当前协作会话的远程参与者或者它可以影响数据在本地呈现给本地用户的方式。

用户配置检测模块240包括如下功能：使用由兴趣对象提取模块230处理的数据确定由检测到的用户和/或对象执行的能够识别的手势的存在。例如，在一项实施例中，用户配置检测模块240可以检测和提取与检测到的用户的手关联的点子集。因此，用户配置检测模块240然后还可以分类和标记手的各点为手指或手掌。可以基于配置字母表250已知的可用配置检测和计算手特征，诸如手部姿势、手指姿势、手之间的相关运动等。另外，用户配置检测模块240可以检测空中手势，诸如“挥手”或“向右掠过”。以这种方式，用户配置检测模块240可以使用配置数据库以确定如何将检测到的配置(手部姿势、手指姿势、运动等)转换为空中手势。所提取的手部特征以及，如果检测到，关于空中手势的信息随后可发送给基于对象的虚拟空间构成模块400(例如，参见图4)以供进一步处理。

图3更详细地描述了根据本发明实施例的远程媒体数据计算模块300的功能。远程媒体数据计算模块300包括如下功能：从远程客户端设备对端接收复用数据(例如远程客户端设备以类似于客户端设备101的方式生成的本地媒体数据)以及通过解复用器330解复用入呼数据。数据可以解复用为远程协作参数(其包括远程上下文数据)和远程纹理数据，其包括来自远程对端的物理环境的深度(x，y，z)、纹理(r，g，b)和/或兴趣对象(m)数据。因此，这种信息随后可以分配给客户端设备101内的不同部件以供进一步处理。

错误消除模块320包括如下功能：从解复用器330接收远程纹理数据并最小化分割误差所带来的显示问题以创建一个更美观呈现的远程用户环境。为了增加主体在虚拟空间呈现的吸引力以及隐藏分割错误，诸如嘈杂边界、丢失区域等，分割用户的混合和/或用户的背景可以通过包含轮廓-影线纹理的计算机实施的过程来完成。关于分割过程的更多信息和详情可以参照发明人Onur G.Guleryuz和Antonius Kalker于2012年12月31递交的发明名称为“VISUAL CONDITIONING FOR AUGMENTED-REALITY-ASSISTED VIDEO CONFERENCING”的第US 2013/0265382A1号美国专利申请找到，该申请的全部内容以引入的方式并入本文中。这些过程可以环绕用户边界并减少分割不完善所带来的显示问题。

错误消除模块320还可以基于给定主体的分割边界的潜在估计误差确定需要掩蔽的远程用户环境内的区域。另外，错误消除模块320可以执行各种优化过程，其可包括但不限于调整用户光照、改变对比度、执行色彩校正等。因此，可以将精确的远程纹理数据转发给基于对象的虚拟空间构成模块400和/或虚拟空间生成模块310以供进一步处理。

虚拟空间生成模块310包括如下功能：为当前协作会话配置虚拟工作区的显示效果。例如，基于一组预定系统设置，虚拟空间生成模块310可以选择房间大小或房间类型(例如会议室、演讲厅等)并将虚拟家具放入和/或放置在所选的房间内。以这种方式，可以呈现虚拟椅子、书桌、饭桌等，带来的效果是每个参与者在会议过程中都坐在相同的物理环境内。此外，在这种虚拟环境内，协作会议所必需的其它相关对象，诸如黑板、幻灯片、演示屏等也可以包含在虚拟工作区内。

另外，虚拟空间生成模块310可以使用户以在当前协作会话期间隐藏他们各自本地物理环境内的差异的方式呈现。此外，虚拟空间生成模块310可以调整虚拟工作区的显示效果，使得来自各种不同远程环境的用户可以更美观的方式呈现。例如，出现的远离他们各自摄像机的兴趣主体可以严重少于那些更接近他们各自摄像机的主体。因此，虚拟空间生成模块310可以通过利用关于参与协作会话的各个主体以及其它兴趣对象的深度信息来调整主体的显示效果。以这种方式，虚拟空间生成模块310可以用于选择一个比例来呈现用户的显示效果，使得他们可以根据预定布局符合度度量适合给定显示器的尺寸。

此外，虚拟空间生成模块310还可以确保虚拟工作区的色彩、照明、对比度等与每个用户的显示效果形成一个更美观的组合。虚拟工作区内的某些部件(例如墙壁、背景、家具等)的色彩可以根据预定色彩符合度度量来调整，该度量测量虚拟工作区的合成呈现以及协作会议的参与者的愉悦度。因此，布局符合度度量和色彩符合度度量的最大化可以导致多个不同的虚拟环境。相应地，虚拟空间生成模块310可以为任意数目的用户生成用于给定任务/协作会话的最优虚拟环境。相应地，由虚拟空间生成模块310生成的结果可以向基于对象的虚拟空间构成模块400传送以供进一步处理。

图4更详细地描述了根据本发明实施例的基于对象的虚拟空间构成模块400的功能。协作应用模块410包括如下功能：从本地媒体数据计算模块200接收本地媒体数据，以及从远程媒体数据计算模块300接收任何远程协作参数(例如手势数据、类型状态指示符数据)。基于所接收的数据，协作应用模块410可以执行使用户在当前协作期间与其它参与者交互的各种功能。

例如，协作应用模块410包括如下功能：处理通过用户配置检测模块240接收的手势数据和/或确定本地用户或远程用户在当前协作会话期间是否希望操控呈现在他们各自显示屏幕上的特定对象。以这种方式，协作应用模块410可以充当手势控制界面，其使协作会话的参与者能够自由操控呈现在他们各自显示屏幕上的数字媒体对象(例如幻灯片演示、文档等)，无需特定用户保持对整个协作会话的完全控制。

例如，协作应用模块410可以用于执行空中手势检测和/或控制协作对象。以这种方式，协作应用模块410可以转换检测到的手部手势，诸如滑动(例如向右滑动手)并确定为了响应检测到的手势而要执行的对应动作(例如为了响应检测手部滑动手势而返回前一幻灯片)。在一项实施例中，协作应用模块410可以用于检测由用户通过触摸敏感显示板提供的触摸输入，其表示用户想要操控当前呈现在用户的本地显示屏上的对象。屏幕数据的操控可以涉及至少一个参与者和一个数据媒体对象。另外，协作应用模块410可以用于识别给定协作会话的权限集(例如哪个用户是特定协作过程的所有者，允许哪个用户操控某些媒体对象，等等)。因此，协作应用模块410可以使多个用户能够控制呈现在他们本地显示屏上的相同对象和/或不同对象。

在本地图形系统(例如可选图形系统141)的协助下，基于对象的虚拟空间呈现模块420可以使用从远程客户端设备接收的数据以及在本地生成的数据(例如演示数据、上下文数据、由协作应用模块410生成的数据等)呈现虚拟工作区显示。以这种方式，基于对象的虚拟空间呈现模块420可以将虚拟空间参数送入到本地图形系统以向用户呈现显示(例如通过可选显示设备111)。因此，由基于对象的虚拟空间呈现模块420生成的合成虚拟工作区显示使本地用户能够感知到与所有参与当前协作会话的远程用户共享公共物理工作区的效果。

图5描绘了根据本发明实施例的示例性多客户端实时通信。图5描绘了在协作会话的执行期间通过通信网络交换信息的两个客户端设备(例如客户端设备101和101-1)。因此，如图5所示，客户端设备101和101-1都可以包括一组传感器100，其能够从它们各自的本地环境捕获信息。以本文描述的方式，本地媒体数据计算模块200和200-1可以分析它们各自的本地数据，而远程媒体数据计算模块300和300-1分析从对方接收到的数据。相应地，以本文描述的方式，基于对象的虚拟空间构成模块400和400-1可以组合它们各自的本地和远程数据以在协作会话期间向它们各自的本地用户进行最后演示。

用于执行支持增强现实的交互和协作的示例性方法

图6A为根据本发明实施例的一种用于在通过通信网络执行的协作会话期间生成本地媒体数据的示例性计算机实施方法的流程图。

在步骤801处，在通过通信网络与其它远程客户端设备的协作会话期间，本地客户端设备使用耦合到该设备的一组传感器从其本地化物理环境中主动捕获外部数据。从传感器收集的数据包括实时收集的不同形式的真实信息(例如RGB数据、深度信息、红外线反射数据、热阻数据)。

在步骤802处，本地客户端设备的兴趣对象模块执行分割过程以基于步骤801期间收集的数据来检测终端用户和/或其它兴趣对象。兴趣对象模块生成数据图形式的合成输出，其包括检测到的终端用户和/或对象的位置。

在步骤803处，本地客户端设备的上下文提取模块提取与终端用户关联的高级数据(例如用户情绪、体温、面部表情、姿势、动作)。

在步骤804处，本地客户端设备的用户配置模块从兴趣对象模块接收数据图信息以确定由检测到的用户或对象执行的能够识别的手势(例如手势)的存在。

在步骤805处，步骤803和/或804期间产生的数据被打包为本地媒体数据并传送给本地客户端设备的基于对象的虚拟空间构成模块以供进一步处理。

在步骤806处，复用步骤805期间生成的本地媒体并将其传送给参与通过通信网络的当前协作会话的其它远程客户端设备。

图6B为根据本发明实施例的一种生成构造数据以创建用于通过通信网络执行的协作会话的虚拟工作区显示的示例性计算机实施方法的流程图。

在步骤901处，在通过通信网络与其它远程客户端设备的协作会话期间，本地客户端设备的远程媒体数据计算模块接收和解复用从远程客户端设备接收的媒体数据。从远程客户端设备接收的媒体数据包括远程客户端设备实时收集的上下文数据、协作数据和/或传感器数据(例如RGB数据、深度信息、红外线反射、热阻数据)。

在步骤902处，本地客户端设备的错误消除模块对步骤901期间接收的数据(例如RGB数据)执行分割校正过程。

在步骤903处，使用步骤901和902期间接收的数据，本地客户端设备的虚拟空间生成模块生成配置数据以为协作会话的参与者创建虚拟工作区显示。该数据包括创建配备有虚拟家具和/或其它虚拟对象的虚拟房间的形态数据。另外，虚拟空间生成模块以一致、统一地将每个远程用户呈现在本地客户端设备上的方式调整和/或调节步骤902期间接收的RGB数据方式，而不论每个远程用户的当前物理环境和/或与用户摄像机的距离。

在步骤904处，向本地客户端设备的基于对象的虚拟空间构成模块传送虚拟空间生成模块在步骤903期间生成的数据以供进一步处理。

图6C为根据本发明实施例的一种在通过通信网络执行的协作会话期间同时呈现虚拟工作区显示和检测手势输入的示例性计算机实施方法的流程图。

在步骤1001处，本地客户端设备的基于对象的虚拟空间构成模块接收步骤805期间生成的本地媒体数据和虚拟空间生成模块在步骤904期间生成的数据以将计算机生成的虚拟工作区显示呈现给参与协作会话的每个终端用户。通过它们各自的本地图形系统，每个终端用户的本地显示设备的基于对象的虚拟空间呈现模块以使每个会话的参与者感知相互共享公共物理工作区的效果的方式呈现虚拟工作区。

在步骤1002处，参与协作会话的每个客户端设备的协作应用模块等待通过每个终端用户各自的客户端设备的用户配置检测模块从它们各自的终端用户接收手势数据(例如空中手势、触摸输入)。

在步骤1003处，协作应用模块从相应用户配置检测模块接收手势数据并确定由用户配置检测模块识别的手势是否为终端用户要操控当前呈现在每个参与者的本地显示屏上的对象的命令。

在步骤1004处，协作应用模块对步骤1003期间接收的手势数据是否表示用户表达想要操控当前呈现在其屏幕上的对象做出确定。如果协作应用模块确定手势不是表示用户表达想要操控当前呈现在其屏幕上的对象，那么参与协作会话的每个客户端设备的协作应用模块继续等待手势数据，如步骤1002中详细所述。如果协作应用模块确定手势表示用户表达想要操控当前呈现在其屏幕上的对象，那么协作应用使用户能够操控该对象，如步骤1005中详细所述。

在步骤1005处，协作应用模块确定手势表示用户表达想要操控当前呈现在其屏幕上的对象，因此，协作应用使用户能够控制和操控该对象。用户对该对象执行的动作实时呈现在参与协作会话的所有用户的显示屏上。另外，系统继续等待手势数据，如步骤1002详细所述。

用于执行支持增强现实的交互和协作的示例性用例

图7A描绘了根据本发明实施例的协作会话期间执行的示例性幻灯片演示。图7A同时示出了本发明实施例生成的虚拟化工作区显示(例如虚拟化工作区显示305)的本地用户视图和远程用户视图以供幻灯片演示。如图7A所示，使用类似于客户端设备101的设备，主体601可以与使用类似的客户端设备的其它远程参与者一起参与通过通信网络设备的协作会话。因此，本发明实施例可以以本文描述的方式编码和传输它们各自的本地协作应用数据给所有观看该演示(例如在时间1至3期间)的远程用户的客户端设备。例如，这种数据可以包括但不限于，演示幻灯片的空间定位、显示比例数据、虚拟指针位置数据、控制状态数据等。

图7B和图7C描述了根据本发明实施例执行的智真会话。参考图7B，主体602可以是与若干远程用户(例如通过客户端设备101)通过通信网络参与协作会话的用户。如图7B所示，主体602可以在物理位置603参与会话，该物理位置可以是与其它参与者物理上分离的酒店房间、办公室等。

图7A描绘了根据本发明实施例的在协作会话期间生成的示例性虚拟化工作区环境。如图7C所示，本发明实施例以使协作会话中的每个参与者(包括主体602)感知相互共享公共物理工作区的效果的方式呈现虚拟化工作区显示305-1、305-2和305-3。因此，虚拟化工作区显示305-1、305-2和305-3包括可以配备有虚拟家具和/或其它虚拟化对象的背景或“虚拟房间”。另外，可以以一致、统一地呈现每个远程用户的方式调整和/或调节虚拟化工作区显示305-1、305-2和305-3，而不论每个用户的当前物理环境和/或与用户摄像机的距离。此外，本发明实施例允许用户在共享虚拟工作区根据交互或协作类型建立媒体对象的布局。例如，用户可以选择2维共享会议空间，具有用于虚拟交互的简单背景，或者3维共享会议空间，用于与媒体对象协作的虚拟交互。

结合大量具体的可随实现方式变化而变化的细节，实施例已在上述说明书中描述。因此，判断何为本发明以及申请人旨在认为的本发明的唯一排他性指标是：本发明申请中包括的一组特定形式的权利要求，该申请公开了该权利要求，包括任何随后所做的校正。因此，任何在权利要求中没有表述清楚的局限性、要素、性质、特征、优点或属性不应该以任何方式限制该权利要求的范围。相应地，应认为本说明书和附图具有说明性意义而非限制性意义。