虚拟互动式出席系统及方法

专利名称：虚拟互动式出席系统及方法
技术领域：
所公开的是用于借助于显示系统(VIP显示器)建立虚拟互动式出席(VIP， virtual interactive presence)的系统和方法，所述显示系统如立体显示系统。本公开方 法和系统可以使用虚拟现实。

发明内容
另外的有益效果将在以下说明书的各部分中阐明，或在实践中知悉。所述有益效 果可以通过在所附的发明构思中特别指出的要素及其结合的方式认识到或获得。应理解的 是，无论是以上的大体描述还是以下的详细描述都仅是示例性和说明性的，并不应被视为 限制性的。


被纳入并构成本说明书一部分的附图，阐述了实施方案，并与文字描述一起，用于
解释所提供的方法和系统的原理，附图中 图1图解了虚拟互动式出席。 图2图解了虚拟互动式出席。 图3图解了协助远程用户的本地专家； 图4图解了示例性虚拟出席系统； 图5图解了在图形服务器中执行的示例性过程； 图6图解了在网络服务器中执行的示例性过程； 图7图解了示例性VIP显示器的侧视图； 图8图解了示例性VIP显示器的用户视图； 图9图解了示例性VIP显示器的用户视图； 图10图解了示例性方法； 图11图解了另一示例性方法； 图12图解了远程手术环境中的虚拟出席； 图13图解了医学图像与操作区域(field)的合并；以及 图14图解了示例性操作环境。
具体实施例方式
在公开和描述本发明的方法和系统之前，应理解的是，本方法和系统并不限于具
体的合成方法、具体的部分，或特定的结构，上述要素显然均可以更改。也应理解的是，本说
明书中使用的术语仅用于描述特定的实施方案的目的，并不意在起限制作用。 如说明书中以及所附发明构思中使用的，除非上下文清晰地另有指示，否则单数
形式的"一个"或"这个"也包括复数对象。 本说明书中的范围可能表达为从"约"一个特定值，和/或至"约"另一特定值。当 这样表达范围时，又一实施方案包括从该一个特定值和/或至另一特定值。类似地，当通过 使用在前的"约"，将数值表达为近似值时，应理解的是，该特定数值形成了又一实施方案。 还应理解的是，每一范围的端点无论是相关于另一端点还是独立于另一端点而言，均是有 意义的。"可选择的"或"可选择地"意指随后描述的事件或环境可发生或不发生，且本描述 包括所述事件或环境发生的情形和不发生的情形。 贯穿于本申请文件的说明书和权利要求部分，单词"包括"以及该单词的各种变体 诸如"包括着"意指"包含但不限于"，且并不意在排除例如其他的添加物、部分、整体或步
骤。"示例性"意指"关于......的一个例子"，且并不意在表示其指示了优选或理想实施方案。 所公开的是可以用于执行所公开的方法和系统的部分。在说明书中公开了这些和 其他部分，应理解的是，当这些部分的联合、子集、互动、组等被公开时——虽然各个体及集 中的组合中的每一个的具体对象以及置换可能未被明确地公开，但在本说明书中，这些部 分的联合、子集、互动、组等对于所有的方法和系统而言都是被具体地预期到了和加以描述 了。这适用于本申请的所有方面，包括但不限于所公开的方法中的那些步骤。因此，如果有 各种可以执行的附加的步骤，应理解的是，这些附加步骤中的每一步可以在本公开方法中 的每一具体实施方案或实施方案的联合中执行。 通过参考下述优选实施方案及其包括的实施例的详细说明，以及附图及其前文和 后文的描述，可以更容易地理解本方法和系统。 所公开的是用于借助显示系统(VIP显示器)建立虚拟互动式出席(VIP)的系统 和方法，所述显示系统如立体显示系统。本公开方法和系统可以使用虚拟现实。虚拟现实 (VR)是指提供人_机接口 ，使计算机及其设备产生由个人行为动态控制的感官环境以使该 环境对用户而言显得"真实"的、基于计算机的应用。通过VR，在计算机系统和用户之间具 有交流。计算机产生了供用户体验的感官环境，其一方面可以是多感官的(虽然这并不是 必需的)，并且计算机响应用户输入产生现实感。 在一个示例性方面，所公开的系统可以使用至少两种类型的VR :沉浸式和非沉浸 式的。沉浸式VR产生一种用户实际处于不同环境的假象。在一个方面，系统通过使用诸如 头戴式显示器(HMD)、耳机，以及诸如手套和游戏杆之类的输入设备来实现这一点。在另一 方面，为了加强体验的真实性，使用多个自由度(DOF)，这是软件可以模拟的。通常，D0F越 多，体验的真实性越强。示例性的DOF包括但不限于X， Y，Z，滚动、俯仰、偏转。
非沉浸式VR产生与用户的周围环境可区分的环境。它不会给予用户一种被传送 至另一世界的假象。非沉浸式VR的工作方式为通过使用立体投影系统、计算机监控器和/
6或立体声扬声器，产生三维图像和环绕声。非沉浸式VR可以在个人电脑上运行，无需附加 的硬件。 在一个方面，沉浸式VR中的运动可以由 一个系统，通过使用被称作追踪器的光 学、声学、磁学或机械硬件来实现。优选地，输入设备具有尽可能多的这些追踪器，以使运动 可以被更精确地表示。例如，虚拟手套对每一食指可以具有多达3个的追踪器，对手掌和手
腕可以具有更多的追踪器，以使用户可以抓取和按压目标。 一方面，追踪器可以装备有方位 传感器，其告诉计算机输入所面对的方向，和输入设备在所有的方向如何倾斜。这给予了传
感器六个自由度。 输出设备将用户带入虚拟世界。可以用于本系统的输出设备的一个实施例包括但 不限于眼镜或护目镜形式的头戴式显示器(HMD)，该HMD允许用户将显示系统戴在他们的 头上。HMD的一种方式是使用宽度足够覆盖双眼的单个的液晶显示器(LCD) 。 HMD的另一种 方式是使用两个分立的显示器——每眼一个。这将消耗一些更多的计算机功率，因为所显 示的图像是不同的。每一显示器具有从环境中的正确角度呈现的分立图像。眼部追踪器可 以与HMD结合。这例如可以允许外科医生将其眼睛移向他们希望加强的图像部分。
可以用于本系统的实施方案中的输出设备的另一实施例是百叶窗眼镜 (shuttered glass)。该设备每隔一帧更新一个到达每一眼睛的图像，同时关闭另一眼睛上 的百叶窗。百叶窗眼镜需要非常高的帧率，以保持图像不闪烁。这一设备被用于立体监控 器，并提供了二维目标的精确的三维表现，但并不将用户沉浸入虚拟世界中。
用于本系统的实施方案中的另一输出设备是带有多个投影器的屏幕。该屏幕既可 以是平面的也可以是弯曲的。在同一屏幕使用多个投影器的挑战是，在投影之间可能有可 见边缘。这可以使用柔化边缘系统补救，在该系统中，投影在边缘变得越来越透明，且多个 投影相重叠。这在图像之间产生了近乎完美的过渡。为了实现所需的三维效果，可以使用百 叶窗眼镜。可以使用在完全不透明和完全透明之间交替的特殊的眼镜。当左眼不透明时， 右眼是透明的。这同步于将对应的图像投射到屏幕上的投影器。 在另 一方面，洞穴式自动虚拟环境(Cave Automatic VirtualEnvironment) (CAVE)也可以用于本系统。CAVE可以在立方形房间内使用镜面，以将立体图像投射至墙壁
上，提供了你站在虚拟世界中的假象。使用追踪器，该世界被不断地更新，且允许用户几乎
完全不受限制地四处运动。 所公开的是用于建立虚拟互动式出席的方法和系统。这样的方法和系统可以使很 多元素/参与者以如下方式虚拟地出现在关注区域以用户可以出于任何特定目的而参与 互动的方式，所述目的如，传递远程报告。关注区域可以依据观察点的不同而包括不同量的 "真实"和"虚拟"要素。所公开的方法和系统的各种部分在图1中示出。
共同关注区域101是要素在其中要么以实体方式要么以虚拟方式出现的区域。真 实点(观察点)是指体验共同关注区域的要素/参与者的有利位置。在图1中，示例性的 真实点或观察点在102和103示出。这些代表VIP显示器。共同关注区域从两个有利位置 或观察点来讲显示为相似，但是每一个包括本地(实体)和远程(虚拟)要素/参与者的 不同联合。 本地要素是实体地出现在共同关注区域的要素和/或参与者。在图l中，要素A105 对于区域A104而言是本地要素，并实体地出现在区域A104中。要素B107对于区域B106而言是本地要素，并实体地出现在区域B106中。 远程要素是未实体出现在共同关注区域中的要素和/或参与者。它们被体验为来 自任何其他的本地有利位置点的"虚拟出席"。如图1所示，要素B107对区域A104而言是 远程要素，并虚拟地出现在区域A104中。要素A105对区域B106而言是远程要素，并虚拟 地出现在区域B106中。 用于通过联合本地和远程要素和/或参与者来获取虚拟互动式出席的方法可以 包括下述一个或多个步骤。可以以一种反映了区域、要素和/或参与者的实体出席的方式 来呈现共同本地区域。如图2所示，参与者A可以通过观察器体验区域A中的真实要素。共 同本地区域可以被呈现为使其可以以如下方式被远程地体验以使远程参与者能够类似于 本地人员地体验该共同本地区域的方式。如图2所示，这被图示为参与者A将要素B体验 为虚拟地出现在区域A中。 远程人员可以将其自身插入呈现给他们的虚拟区域和/或与虚拟区域互动。例 如，参与者A可以向区域A插入手、工具等，并与虚拟要素B互动。观察者B可以观察到对 此事件的"虚拟答礼"——在观察者B的真实要素与参与者A的虚拟要素互动时。
共同本地区域可以持续地更新，以使得远程参与者可以被实时呈现。例如，远程场 景可以是可获得的最近更新，其中远程捕获和本地呈现之间的时延保持在尽可能小。相反 地，如果需要引入时间差，该时间差也可以被实现。 共同本地区域的尺寸和深度可以被縮放以有意义地匹配于本地场景。且共同本地 区域可以是可配置的，以使远程要素更透明或更不透明、被整体移除，或被改变以适合本地 用户的需要。 本地参与者可以以一种能够实现共同本地区域的持续互动的方式体验虚拟出席 的参与者。图3图解了协助一远程用户的本地专家。本地专家301的手稍微透明并被重叠 至远程用户观察的区域。远程用户可以观察到本地专家的手、该远程用户的手，以及位于远 程用户位置的魔方。本地专家协助远程用户组装该魔方。 图4图解了示例性虚拟出席系统。 一个这样的系统可以被每一个要参与同一会话 的远程参与者使用。每一系统可以通过网络连接相互通信。例如，远程站点可以经由互联 网相连接。任务可以在每个系统中的多个计算机之间分配。例如，一个计算机(图形服务 器)可以从本地相机和网络服务器收集图像，执行立体图像合成任务，并驱动本地立体显 示系统。 图5图解了可以用图形服务器执行的示例性过程。图像可以被收集至本地数据结 构(框架环(frame ring))中。本地图像可以从多个相机——例如两个相机——收集。经 由例如高速远程直接内存访问(RDMA)连接，网络服务器可以提供远程图像。这些图像可以 被联合以使远程用户和本地用户在同一场景中可视(如在图3中)。这一合成结果可以被 传输至本地立体显示系统。第二计算机可以担当网络服务器，该网络服务器例如可以执行 网络编码/解码任务以及深度图生成。 图6图解了可以用网络服务器执行的示例性过程。经由RDMA连接从图形服务器 中收集的本地图像被分析并被映射带有深度信息、被编码以便进行有效的网络传输，并被 传送至外部网络连接，以被远程站点的相应网络服务器接收。同步地，所编码的图像和深度 图可以从远程站点接收，解码，并经由该RDMA连接提供给本地图形服务器。
该系统可以通过连接至网络服务器的控制终端被用户控制；接着用户可以通过到网络服务器的专用的网络连接访问并控制图形服务器。 虚拟互动式出席的参数可以依据所用的系统而被配置。可配置的参数包括但不限于虚拟要素的尺寸、虚拟要素的出席(不透明、半透明等)、虚拟出席的时间(时间可以配置为被迟延、减慢、增加等)、使虚拟和真实的任何联合可以相互重叠和/或相互"配合"的
要素重叠等。 图7图解了示例性VIP显示器的侧视图。图8图解了示例性VIP显示器的用户视图。图9图解了示例性VIP显示器的用户视图。 如这里使用的，"本地"关注区域可以指本地实体区域和本地用户，因此使得每一其他区域成为远程。每一区域可以对于其本地用户是本地的，但对于其他用户是远程的。区域的合成可以是共同关注区域。这与普通"虚拟世界"的区别在于，在共同关注区域的本地呈现中具有"真实"的部分，以及互动可以在一些实体目标的实际视频(及其他)呈现之间实现，而并不仅是在代表用户和目标的图形化身之间实现。所提供的方法和系统使得虚拟的互动式出席可以通过真实和虚拟的相互作用，来修改/优化实体域。 在图10中图解的一个方面中，提供了用于虚拟互动式出席的方法，该方法包括在1001中，呈现反映了远程用户和本地用户的实体出席的共同关注区域，在1002中，呈现共同关注区域中远程用户和本地用户之间的互动，在1003中，持续更新共同关注区域，以使远程用户的出席被实时呈现至本地用户，且本地用户的出席被实时呈现至远程用户。
共同关注区域可以被呈现为，使远程用户类似于本地用户地体验该共同本地区域。本地用户可以以一种能够在共同本地区域中实现与远程用户持续互动的方式体验远程用户的实体出席。本方法还可以包括呈现共同区域中的本地目标的实体出席，并呈现共同区域中的本地用户和本地目标的互动。本方法还可以包括呈现共同关注区域中的本地目标的实体出席，并呈现共同关注区域中的远程用户和本地目标之间的互动。
在图11中图解的另一方面中，提供了用于虚拟的互动式出席的方法，该方法包括在1101中，呈现反映了本地目标的实体出席、本地目标的体积图像以及本地用户的本地关注区域，在1102中，呈现本地关注区域中的本地目标、体积图像和本地用户之间的互动，以及在1103中，持续地更新本地关注区域，以使本地目标的出席和本地目标的体积图像被实时地呈现至本地用户处。 本地目标例如可以是病人，且本地目标的体积图像例如可以是病人的一部分的医
学图像。但是，本地目标可以是任何所关注的目标，且本地目标的图像可以是该目标的任何
精确的呈现。例如，可以是汽车发动机，以及该发动机的三维图形，等。 所述医学图像例如可以是X光图像、核磁共振出席(MRI)图像或CT图像之一。本
方法还可以包括通过本地用户将体积图像重叠至本地目标。该重叠可以由计算机自动进行。 本方法还可以包括通过本地用户调整体积图像的性质。所述性质可以是透明度、空间位置和縮放比中的一项或几项。 本方法还可以包括呈现本地关注区域的本地工具。该方法还可以包括以在空间上精确地相关于本地目标的呈现的方式，来呈现本地工具。该工具可以是任何类型的工具，例如手术工具。
在另一方面，所提供的是用于虚拟出席的系统，该系统包括虚拟出席显示器，其配 置为用于显示共同关注区域；本地传感器，其配置为用于获取本地虚拟出席数据；网络接 口 ，其配置为传输本地虚拟出席数据和接收远程虚拟出席数据；以及处理器，其连接至虚拟 出席显示器、本地传感器以及网络接口，其中该处理器配置为执行以下步骤，其包括基于 本地虚拟出席数据和远程虚拟出席数据，呈现反映远程用户和本地用户的实体出席的共同 关注区域；呈现共同关注区域中的远程用户和本地用户之间的互动；持续更新共同关注区 域，以使远程用户的出席被实时呈现至本地用户，且本地用户的出席被实时呈现至远程用 户，并将共同关注区域输出至虚拟出席显示器。 所述虚拟出席显示器可以是立体显示器、单像管显示器(诸如CRT、 LCD等)等中 的一种或多种。所述传感器可以是相机、红外传感器、深度扫描传感器等中的一种或多种。 所述共同关注区域可以呈现为使远程用户类似于本地用户地体验共同关注区域。本地用户 可以以一种能够在共同本地区域中实现与远程用户持续互动的方式体验远程用户的实体 出席。
所述处理器还可以配置为执行以下步骤，其中包括呈现共同关注区域中的本地
目标的实体出席，以及呈现共同关注区域中的本地用户和本地目标之间的互动。
所述处理器还可以配置为执行以下步骤，其中包括呈现共同关注区域中的本地
目标的实体出席；以及呈现共同关注区域中的远程用户和本地目标的互动。
进一步提供的是用于虚拟出席的系统，该系统包括虚拟出席显示器，其配置为用
于显示本地关注区域；本地传感器，其配置为用于获取本地虚拟出席数据；处理器，其连接
至虚拟出席显示器和本地传感器，其中该处理器配置为执行以下步骤，其包括基于本地虚
拟出席数据和本地目标的体积图像，呈现反映本地目标和本地用户的实体出席的本地关注
区域；呈现本地关注区域中的本地目标、体积图像和本地用户之间的互动；持续更新本地
关注区域，以使本地目标的出席和本地目标的体积图像被实时呈现至本地用户，并将本地
关注区域输出至虚拟出席显示器。 所述虚拟出席显示器可以是立体显示器、单像管显示器(诸如CRT、 LCD等)等中 的一种或多种。所述传感器可以是相机、红外传感器、深度扫描传感器等中的一种或多种。
所述本地目标例如可以是病人，且本地目标的体积图像例如可以是病人的一部分 的医学图像。所述医学图像可以是例如X光图像、核磁共振出席(MRI)图像或CT图像之 一。但是，本地目标可以是任何所关注的目标，且本地目标的图像可以是该目标的任何精确 呈现。例如，可以是汽车发动机，以及该发动机的三维图形，等。 所述处理器还可以配置为执行以下步骤，其中包括通过本地用户将体积图像重
叠至本地目标。所述处理器还可以配置为执行以下步骤，其中包括通过本地用户调整体积
图像的性质。所述性质可以是透明度、空间位置和縮放比中的一项或几项。
所述处理器还可以配置为执行以下步骤，其中包括呈现本地关注区域中的本地
工具。该处理器还可以配置为执行以下步骤，其中包括，以在空间上精确地相关于所呈现的
本地目标的方式，来呈现本地工具。 本公开方法和系统可以具有广泛应用，例如，手术、游戏、机械学、军需、战场出席、 教育工作(培训)和/或任何其他以互动作为情景的一部分的情况。
同样被公开的是能够使远程专家虚拟地出现在本地手术区域的方法和系统。虚拟
10互动式出席可以用于使两个彼此远离的外科医生能够互动地执行手术过程。本系统和方法 使两个或多个操作者在同一真实操作区域中虚拟地出现且互动，因此支持远程协助和输出 外科报告。 本系统和方法也可以用于将手术解剖结构的图像数据重叠至该解剖结构本身以 用于指导和定位(扩增的现实)。本方法和系统可以用于学生的培训。通过虚拟地将专 家带入机器人的区域以指导机器人操作者，本方法和系统扩增和加强了机器人的区域。通 过直接将专家的手插入内窥镜的区域以作指导，本方法和系统可以用于内窥镜手术过程。 通过向现实中的本地外科医生——其基本技能可以应付紧急情况并将通过虚拟互动来学 习——提供远程专家的协助，本方法和系统扩充了远程手术。本方法和系统可以用于创伤 位置和其他医学环境。本方法和系统可以用于在诸如发动机、建筑、建筑设计等其他地方提 供远程协助。所公开的方法和系统可以用于将报告传输至远程的所需站点，将同步图像直 接合并入手术的区域，以及培训外科学生。 在图12中图解了用于将本地专家的手术操作法传输至远程手术以用于指导/协 助该远程手术的目的的示例性远程手术协助系统。远程手术的区域可以被远程外科医生通 过双目视频系统观察。该视频系统可以显示带有手和执行该过程的工具的区域。该观察系 统可以被称为手术视频显示器(videoscope)。 所述远程区域的双目视频呈现可以被传输至本地专家，该本地专家可以通过另一 手术视频显示器系统观察该(现在是虚拟的)过程的立体呈现。本地专家可以将他的手插 入虚拟区域，因此看到他在虚拟区域中的真实手。 本地专家的手的视频图像可以被传输回至远程外科医生的手术视频显示器系统， 并被重叠至真实区域。远程外科医生接着可以在空间地/解剖结构地相关的环境中的他自 己的手术区域中看到所述专家的真实手。通过这一系统，本地专家可以用他的手向远程外 科医生示出如何处理该案例。 本系统的示例性实施方案可以包括远程站，该远程站中的远程外科医生可以执行 手术过程；远程手术视频显示器系统，该系统例如包括类似于安装好的显微镜的固定立体 视频显示器。这一设备可以由远程外科医生使用以观察操作区域。可以使用任何其他类型 的适合的VIP显示器。本系统可以将双目视频图像投射至本地站的类似的本地手术视频 显示器。本地手术视频显示器可以接收远程过程的双目视频图像，并允许本地专家观察该 图像。当本地外科医生的手在虚拟远程区域中移动时，从本地视频显示器可以观察该本地 外科医生的手，一如通过本地视频显示器观察到的。本地视频显示器可以接着将本地专家 的手传输回至远程视频显示器，以使远程外科医生可以看到真实区域中的该专家的虚拟的 手。 以此系统，本地专家可以向远程外科医生示出能实现该案例的成功完成的适合的 操作法。远程外科医生可以具有用于执行新方法的基本技能组合。因此，本地专家可以仅 仅向远程外科医生示范应用所具有的技能的新方法。这一系统并非必须要替代远程外科医 生，但是可以用于增强他/她的能力。远程外科医生可以当场快速地处理任何紧急情况。时 延被最小化，因为远程外科医生可以使用他/她自己的手来执行任务，消除了本地专家操 作远程机器人设备的需要。
同样被公开的是用于将同步医学图像合并进手术区域的方法和系统。体积图像可以在手术区域中获得。例如，头部的体积MRI可以先于手术过程获得。图像数据可以被重 建至解剖结构的三维呈现。该呈现可以被传输至将用于观察手术区域的手术视频显示器。 通过视频显示器，外科医生可以观察以半透明方式重叠至手术区域上的三维呈现。在这一 案例中，外科医生将看到所呈现的被重叠在真实的头部之上的头部。通过在手术视频显示 器接口上使用软件工具，外科医生可以旋转和縮放所呈现的图像，直到其"匹配"真实头部。 视频显示器系统可以允许外科医生区分性地渐隐所呈现的头部和真实头部，以使外科医生 可以"看清"真实头部和设计手术。 系统的示例性要素可以包括手术视频显示器观察系统，外科医生通过该观察系统 观察手术区域。计算机重建具有足以使其能够匹配至真实手术解剖结构的分辨率体积被获 取的MRI/CT(或其他)图像。该体积所呈现的图像可以通过视频显示器系统显示，以使外科 医生可以立体地看到它。软件接口可以使外科医生能够改变所呈现的解剖结构和真实解剖 结构的透明度，以使所呈现的解剖结构可以被重叠至真实解剖结构。外科医生可以"打开" 所呈现的解剖结构，以观察图像的任何/所有内部细节，因为它们与真实解剖结构相关。外 科工具可以被空间地对准至所呈现的解剖结构，以使其动作可以被追踪并应用至图像。
如图13所示，这种任务的一个实施例是将小目标置于一广口杯的暗凝胶中，以使 所述小目标对外科医生不可见。这任务是外科医生使用长钳伸入凝胶并触碰或抓取所述目 标。手术视频显示器系统可以获取凝胶广口杯的体积扫描，并将该广口杯呈现在三维空间 中，并通过视频显示器显示双目呈现。外科医生可以通过显示系统观察该呈现的和该真实 的广口杯，并将所呈现的广口杯匹配至真实广口杯。通过区分性地调整透明度，外科医生可 以用钳子伸入真实广口杯并抓取所选择的目标，同时避免其他的指定目标。
抓取工具可以在手术区域的体积呈现上于空间上被对准，因此允许工具的图形以 适合的解剖方位在手术区域的呈现中显示。这可以提供加强的指导。这可以通过使用与图 像呈现系统通信的数字转换器触碰真实目标(广口杯)上的指定界标(landmark)来实现， 由此限定目标/探针的关系。因为目标(广口杯)通过重叠被对准至广口杯的图像，探针 的图形可以相对于广口杯的图像被显示，从而使能够实现虚拟手术。 本系统可以用于许多场合中。例如，可以用于第三世界国家或军事场合的远程手 术、医学培训，以及远距医疗。相对于病人位于远程位置的外科医生可以协助接近病人的其 他外科医生，可以协助接近病人的医疗，并在被连接至机器人手术系统时，可以进行手术操 作。其他的例子包括，扩充的或增强的手术——使用虚拟环境的常规手术，该种手术的一个 例子是内窥镜手术。手术过程也可以被模拟。那些相对于彼此处于远程位置的外科医生可 以在对真正的病人进行手术之前，对一手术过程进行计划和练习。 其他的应用包括在手术之前对病人进行准备、医学治疗、预防医学、暴露疗法、降 低恐惧、培训残疾人以及增进技能，等等。 观察者接着通过将左眼图像发送到左眼，右眼图像发送到右眼的无源立体偏振镜 片(和太阳镜类似)观察投影。当用软件适当地呈现正确偏移的图像时，这提供了立体的 假象。该系统可以由对系统不产生损害的其他类型的立体显示器替代。立体显示器可以包 括至少两个配有偏振镜头的显示投影器、当光线散射时维持光线偏振的背投屏幕材料、将 每一眼限制为仅看到特定的偏振的专用眼镜，以及观察者。可以以两种反映理想观察者的 双眼的不同位置的略有不同的视图变换，来呈现所要观察的图像。 一个投影器显示为左眼
12位置呈现的图像，而另一个投影器显示为右眼位置呈现的图像。镜片限制了光线，以使左眼 仅看到为左眼呈现的图像，且右眼仅看到为右眼呈现的图像。观察者由于被呈现了合理的 立体图像，将感知到深度。 图14是图解了用于执行所公开的方法的示例性操作环境的方框图。该示例性操 作环境仅是操作环境的一个实施例，且并不意在对该操作环境体系结构的用途或功能提出 任何限制。同样，该操作环境不应被解释为具有任何与示例性操作环境中所图解的任何单 个部分或其联合有关的依赖性和必要性。 本方法可以利用其他具有通用用途或专用用途的计算系统环境或配置来操作。适 用于本系统和方法的已知计算系统、环境和/或配置例子包括但不限于，个人计算机、服务 器计算机、膝上设备，以及多处理器系统。其他的例子包括机顶盒、可编程消费电子产品、网 络个人计算机、微型计算机、大型计算机、包括了任何上述系统或设备的分布式计算环境，
坐坐 寸寸。 可以在一般的计算机指令情形中描述本方法，如以程序模块来描述本发明，通过 计算机来执行这些程序模块。通常，程序模块包括执行特定任务或执行特定抽象数据类型 的路径、程序、对象、分量、数据结构等。本系统和方法也可以在分布式计算环境中实行，在 分布式计算环境中任务可以通过由通信网络链接的远程处理设备执行。在分布式计算环境 中，程序模块可以位于本地和远程的计算机存储介质上，所述计算机存储介质包括记忆存 储设备。 在此公开的方法可以通过一个或多个形式为计算机1401的通用计算设备执行。 计算机1401的部件可以包括但不限于一个或多个处理器或处理单元1403、系统内存1412， 以及将包括处理器1403的各种系统部件连接至系统内存1412的系统总线1413。
系统总线1413代表多种可能的总线结构中的一种或多种，包括存储总线或存储 控制器、外围总线、加速图形端口，以及使用任何一种总线体系结构的处理器或本地总线。 作为实施例，这样的体系结构可以包括工业标准结构(ISA)总线、微通道体系结构(MCA)总 线、扩展ISA (EISA)总线、视频电子标准协会(VESA)本地总线，以及设组件互连(PCI)总线 (也被称为夹层总线(Mezzanine bus))。这一总线及本说明书中具体描述的总线也可以在 有线或无线的网络连接中运行。总线1413以及本说明书中具体描述的所有总线也可以在 有线或无线网络连接中运行，每一子系统——包括处理器1403、大容量存储设备1404、操作 系统1405、应用软件1406、数据1407、网络适配器1408、系统内存1412，以及输入/输出接 口 1410、显示适配器1409、显示设备1411，以及人机接口 1402——可以被包含在一个或多 个于物理上分立的位置处的远程计算设备1414a、 b、 c中，并通过上述形式的总线相连接， 有效地在完全分布式系统中运行。 计算机1401通常包括各种计算机可读介质。这样的介质可以是计算机1401能存
取的任何可用的介质，并包括易失性介质和非易失性介质、可移动式介质和不可移动式介
质。系统内存1412包括易失性存储器形式的计算机可读介质诸如随机存取存储器(RAM)，
和/或非易失性存储器的计算机可读介质诸如只读存储器(ROM)。系统内存1412通常含有
诸如数据1407的数据，和/或程序模块，诸如操作系统1405和应用软件1406，上述程序模
块通过处理单元1403可被即时存取和/或可当下被处理单元1403操作。 计算机1401也可以包括其他可移动/不可移动、易失性/非易失性计算机存储
13介质。以举例的方式，图14图解了大容量存储设备1401，其提供计算机编码的非易失性存 储、计算机可读指令、数据结构、程序模块，以及用于计算机1401的其他数据。例如大容量 存储设备1404可以是硬盘、可移动磁盘、可移动光盘、盒式磁带或其他磁性存储设备、闪存 卡、CD-ROM、数字多用途光盘(DVD)或其他光学存储器、随机存取存储器(RAM)、只读存储器 (ROM)、电可擦可编程只读存储器(EEPROM)，等等。 大容量存储设备1404中可以存储任何数量的程序模块，例如包括操作系统1405 和应用软件1406。操作系统1405和应用软件1406(或它们的一些联合)中的每一个可 以包括编程和应用软件1406的要素。数据1407也可以被存储在大容量存储设备1404 上。数据1407可以被存储在本领域已知的任何一个或多个数据库中。这样的数据库的例 子包括DB2 ， Microsoft Access, Microsoft SQL Server, Oracle ，mySQL， PostgreSQL，等等。数据库可以是集中的或分布在多个系统中。 用户可以经由输入设备(未示出)向计算机1401中输入命令和信息。这样的输 入设备的例子包括但不限于键盘、指针设备(例如鼠标)、麦克风、游戏杆、串行端口、扫描 仪、诸如手套的触摸输入设备以及其他身体覆盖物，等等。这些和其他输入设备可以经由连 接至系统总线1413的人机接口 1402被连接至处理单元1403，但也可以通过其他接口和总 线结构，诸如并行端口、游戏端口，或通用串行总线(USB)连接。 显示设备1411也可以经由诸如显示适配器1409的接口被连接至系统总线1413。 计算机1401可以具有一个以上显示适配器1409，以及计算机1401可以具有一个以上显示 设备1411。例如，显示设备可以是监控器、LCD(液晶显示器)，或投影器。除了显示设备 1411，其他外围输出设备可以包括可以经由输入/输出接口 1410连接至计算机1401的诸 如扬声器(未示出)和打印机(未示出)的部件。 使用到一个或多个远程计算设备1414a、 b、 c的逻辑连接，计算机1401可以在网 络环境中运行。作为实施例，远程计算设备可以是个人计算机、便携式计算机、服务器、路由 器、网络计算机、对等设备(peerdevice)或其他普通网络节点，等等。计算机1401和远程 计算设备1414a、b、c之间的逻辑连接可以经由局域网(LAN)和通用广域网(WAN)实现。这 些网络连接可以通过网络适配器1408。网络适配器1408可以在有线和无线环境中运行。 这样的网络环境在办公室、企业范围计算机网络、企业内部互联网，以及互联网1415中可 以是常见的。 —个或多个VIP显示器1416a、 b、 c、 d、 e可以与计算机1401通信。在一个方面， VIP显示器1416E可以通过输入/输出接口 1410与计算机1401通信。这一通信可以是有 线的或无线的。远程VIP显示器1416a、b、c可以与计算机1401通信，通过首先与各远程 计算设备1414a、b、c通信，各远程计算设备1414a、b、c接着经由诸如互联网1415的网络， 通过网络适配器1408与计算机1401通信。远程VIP显示器1416d可以无需远程计算设备 地与计算机1401通信。远程VIP显示器1416d可以经由诸如互联网1415的网络而通信。 VIP显示器1416a、 b、 c、 d、 e可以无线通信或通过有线连接通信。VIP显示器1416a、 b、 c、 d、 e可以单独通信，或作为VIP显示器网络的一部分共同通信。 出于阐释性目的，应用程序和其他可执行程序部分，诸如操作系统1405，在此图解 为分立的框图，尽管可以认识到这样的程序和部分在不同的时候存在于计算设备1401的 不同存储部分，并通过计算机的数据处理器执行。应用软件1406的执行可以被存储，或通过一些计算机可读介质的形式被传输。计算机可读介质可以是计算机可存取的任何可用 的介质。以举例而不予以限制的方式，计算机可读介质可以包括"计算机存储介质"和"通 信介质"。"计算机存储介质"包括以用于存储信息——诸如计算机可读指令、数据结构、程 序模块或其他数据——的任何方法或技术实现的易失性和非易失性、可移动和不可移动介 质。计算机存储介质包括但不限于RAM、R0M、EEPR0M、闪存存储器或其他存储技术、CD-R0M、 数字多功能光盘(DVD)或其他光学存储器、盒式磁带、磁带、磁盘存储器或其他磁性存储设 备，或其他可以用于存储所需信息并可以通过计算机存取的媒介。 除非有另外的明确声明，在此阐明的任何方法均不意在被解释为要求以特定的顺 序来执行其步骤。相应地，当所述方法并未实际陈述其步骤所要遵从的顺序，或在发明构思 或说明书中并未另外特别地声明这些步骤被限制为特定顺序，那么在任何方面均不意在表 明需推断出一个顺序。这适于作为对解释的一种无字面表述的支持，包括在步骤或操作流 程安排上的逻辑问题、从语法结构或标点中得出的无疑义的含义；说明书中描述的实施方 案的数量或类型。 本领域普通技术人员所清楚的是，在不背离本发明的范围和精神的情况下，可以 在本方法和系统中作出各种修改和更改。通过考虑这里所公开的说明书和实践，对于本领 域普通技术人员而言，其他实施方案也将是清晰的。所意指的是，说明书和实施例仅被考虑 作为示例，而实质的范围和精神由下述权利要求指出。
权利要求
用于虚拟互动式出席的方法，包括呈现反映了远程用户和本地用户的实体出席的共同关注区域；呈现共同关注区域中的远程用户和本地用户之间的互动；以及持续更新共同关注区域，以使远程用户的出席被实时呈现至本地用户，且本地用户的出席被实时呈现至远程用户。
2. 根据权利要求1所述的方法，其中共同关注区域被呈现为使得远程用户类似于本地 用户地体验共同关注区域。
3. 根据权利要求1或2所述的方法，其中本地用户以一种能够在共同关注区域中实现 与远程用户持续互动的方式体验远程用户的实体出席。
4. 根据权利要求1、2或3所述的方法，其中还包括 呈现共同区域中的本地目标的实体出席；以及 呈现共同区域中的本地用户和本地目标之间的互动。
5. 根据权利要求1或4所述的方法，其中还包括 呈现共同关注区域中的本地目标的实体出席；以及 呈现共同关注区域中的远程用户和本地目标之间的互动。
6. 用于虚拟互动式出席的方法，包括呈现反映了本地目标的实体出席、本地目标的体积图像以及本地用户的本地关注区域；呈现本地关注区域中的本地目标、体积图像和本地用户之间的互动；以及 持续地更新本地关注区域，以使本地目标的出席和本地目标的体积图像被实时地呈现 至本地用户处。
7. 根据权利要求6所述的方法，其中本地目标是病人，且本地目标的体积图像是病人 的一部分的医学图像。
8. 根据权利要求7所述的方法，其中所述医学图像是X光图像、MRI图像或CT图像之
9. 根据权利要求6所述的方法，其中还包括通过本地用户将体积图像重叠至本地目标。
10. 根据权利要求6或9所述的方法，其中还包括通过本地用户调整体积图像的性质。
11. 根据权利要求10所述的方法，其中所述性质是透明度、空间位置和縮放比中的一 项或几项。
12. 根据权利要求6所述的方法，其中还包括呈现本地关注区域中的本地工具。
13. 根据权利要求12所述的方法，其中还包括以在空间上精确地相关于本地目标的呈 现的方式，来呈现本地工具。
14. 用于虚拟互动式出席的系统，包括 虚拟出席显示器，其配置为用于显示共同关注区域； 本地传感器，其配置为用于获取本地虚拟出席数据；网络接口 ，其配置为用于传输本地虚拟出席数据和接收远程虚拟出席数据；以及 处理器，其连接至虚拟出席显示器、本地传感器以及网络接口，其中该处理器被配置为 执行以下步骤，其包括基于本地虚拟出席数据和远程虚拟出席数据，呈现反映远程用户和本地用户的实体出 席的共同关注区域；呈现共同关注区域中的远程用户和本地用户之间的互动；持续更新共同关注区域，以使远程用户的出席被实时呈现至本地用户，且本地用户的 出席被实时呈现至远程用户，并将共同关注区域输出至虚拟出席显示器。
15. 根据权利要求14所述的系统，其中所述虚拟出席显示器是立体显示器和单像管显 示器中的一种或多种。
16. 根据权利要求14所述的系统，其中所述传感器是相机、红外传感器、深度扫描传感 器中的一种或多种。
17. 根据权利要求14所述的系统，其中所述共同关注区域被呈现为使远程用户类似于 本地用户地体验共同关注区域。
18. 根据权利要求14或17所述的系统，其中本地用户以一种能够在共同关注区域中实 现与远程用户持续互动的方式体验远程用户的实体出席。
19. 根据权利要求14、 17或18所述的系统，其中该处理器还配置为执行以下步骤，其中 包括呈现共同区域中的本地目标的实体出席；以及 呈现共同区域中的本地用户和本地目标之间的互动。
20. 根据权利要求14或19所述的系统，其中该处理器还配置为执行以下步骤，其包括呈现共同关注区域中的本地目标的实体出席；以及 呈现共同关注区域中的远程用户和本地目标之间的互动。
21. 用于虚拟互动式出席的系统，包括 虚拟出席显示器，其配置为用于显示本地关注区域； 本地传感器，其配置为用于获取本地虚拟出席数据；处理器，其连接至虚拟出席显示器和本地传感器，其中该处理器配置为执行以下步骤， 其包括基于本地虚拟出席数据和本地目标的体积图像，呈现反映本地目标和本地用户的实体 出席的本地关注区域；呈现本地关注区域中的本地目标、体积图像和本地用户之间的互动；持续更新本地关注区域，以使本地目标的出席和本地目标的体积图像被实时呈现至本 地用户，并将本地关注区域输出至虚拟出席显示器。
22. 根据权利要求21所述的系统，其中所述虚拟出席显示器是立体显示器和单像管显 示器中的一种或多种。
23. 根据权利要求21所述的系统，其中所述传感器是相机、红外传感器、深度扫描传感 器中的一种或多种。
24. 根据权利要求21所述的系统，其中本地目标是病人，且本地目标的体积图像是病 人的一部分的医学图像。
25. 根据权利要求24所述的系统，其中所述医学图像是X光图像、MRI图像或CT图像之一。
26. 根据权利要求21所述的系统，其中所述处理器还配置为通过本地用户将体积图像 重叠至本地目标。
27. 根据权利要求21所述的系统，其中所述处理器还配置为通过本地用户调整体积图 像的性质。
28. 根据权利要求27所述的系统，其中所述性质是透明度、空间位置和縮放比中的一 项或几项。
29. 根据权利要求21所述的系统，其中所述处理器还配置为执行一些步骤，其中包括 呈现本地关注区域中的本地工具。
30. 根据权利要求29所述的系统，其中所述处理器还配置为执行一些步骤，其中包括 以在空间上精确地相关于所呈现的本地目标的方式，来呈现本地工具。
全文摘要
这里提供了用于虚拟互动式出席的方法和系统。
文档编号G06T7/20GK101743567SQ200880024323
公开日2010年6月16日 申请日期2008年5月19日 优先权日2007年5月18日
发明者A·M·希恩, B·格思里, D·罗斯, M·W·迪拉沃, P·C·舒姆 申请人:Uab研究基金会