体积空间的物理交互式显像的制作方法

立体摄影术使用具有两个或更多个镜头的相机(或在图像捕捉之间移动的单个相机)来模拟人类双目视觉以捕捉仿真3D图像。所得的立体图像可以与3D眼镜等一起使用以向用户呈现图像的3D视图。在相关网络中，体积显示器使用专用装备来向用户提供3D对象或模型的3D视觉表示。

相反，全景摄像术使用专用装备或软件来以覆盖高达360度的延长视野捕捉图像。这样的全景可被投影在覆盖房间或空间的内部或墙壁的弯曲屏幕上或者多个屏幕或显示器上，以允许该房间或空间内部的用户如同他们在全景的场景内一样查看该全景。

概述

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定所要求保护的主题的范围。进而，尽管本文中可能指出并讨论了现有技术的某些缺点，然而所要求保护的主题不旨在限于可解决或针对那些现有技术中的任何或全部缺点的实现。

一般而言，如本文所描述的“PiMovs系统”提供用于实现体积空间的物理交互式显像(即，“PiMovs”)的各种技术。这一交互式体积投影允许多个用户查看在覆盖或包括几何框架的毗邻显示表面上渲染的2D和/或3D内容并与其交互。

更具体而言，Pimovs系统提供一种交互式体积显示器，包括置于围绕几何框架的外周的毗邻布置中的多个显示表面。此外，一个或多个附加显示表面可任选地被放置以覆盖该几何框架的顶表面和/或底表面。换言之，至少该几何框架的外周以及可任选地顶表面和/或底表面覆盖有毗邻的显示表面。PiMovs系统使用在对几何框架的外部的用户可见的显示表面上一起生成毗邻体积投影的一个或多个计算设备。这一体积投影表示毗邻体积投影的持续跨越每一相邻显示表面的每一边缘的无缝包装。

还要注意，在各实现中，这一体积投影表示毗邻体积投影跨覆盖(或形成)几何框架的周界的单个弯曲或柔性360度显示器的表面的无缝包装。因此，出于解释的目的，以下讨论将有时使用短语“毗邻显示表面”，它被定义为指的是两种情形，包括：覆盖或构成几何框架的多个相邻显示器以及覆盖或构成几何框架的周界的单个弯曲或柔性360度显示器。

为启用各种交互场景和能力，PiMovs系统使用一个或多个相机或其他位置感测设备或技术来跟踪几何框架的外部周围的预定半径内的一个或多个人的位置。PiMovs系统随后将毗邻体积投影自动实时地适应到几何框架的外部周围的人的所跟踪的位置。。这使得毗邻体积投影内的对象相对于那些人而言在他们绕几何框架的外部移动时看起来占据几何框架内的空间的恒定位置。还要注意，在事物或对象的图像或视频绕毗邻显示表面移动或平移时，包括在跨任何相邻屏幕边缘或显示表面平移时，该平移也是无缝的。

鉴于以上概述，清楚的是本文描述的PiMovs系统提供了用于使用覆盖几何框架的外部的毗邻显示表面来实现体积空间的物理交互式显像的各种技术。除了刚才所描述的好处之外，当结合附图所考虑时，根据以下详细描述，PiMovs系统的其它优点将是显而易见的。

附图简述

参考以下描述、所附权利要求书以及附图，将更好地理解所要求保护的主题的具体特征、方面和优点，附图中：

图1提供了如本文所描述的示出多个用户查看覆盖布置在“PiMovs系统”的几何框架上的显示表面的毗邻体积投影的示例性解说。

图2解说了如本文所描述的用于使用覆盖几何框架的外部的毗邻显示表面来实现体积空间的物理交互式显像的“PiMovs系统”的示例性体系结构流程图。

图3提供了如本文所描述的解说PiMovs系统的示例性硬件布局的示例性体系结构流程图，示出了计算、显示以及自然用户界面(NUI)硬件。

图4提供了如本文所描述的单个示例性立方体形状的PiMovs单元的部分内视图，其中计算设备和跟踪及NUI传感器已出于简明的目的而省略。

图5提供了如本文所描述的具有无定形周界形状的单个示例性PiMovs单元的顶视图，示出了示例性计算、投影以及NUI硬件。

图6提供了如本文所描述的单个PiMovs单元的顶视图，示出在PiMovs单元的周界周围某最小距离处的固定或可调整交互区。

图7提供了如本文所描述的示出从任意位置与处于通信中的各单独PiMovs单元交互的多个用户的示例性PiMovs生态系统的解说。

图8如本文所描述的示出多个用户与由PiMovs系统启用的示例性数字艺术应用进行交互的解说。

图9如本文所描述的示出多个用户与由PiMovs系统启用的示例性数字艺术应用进行交互的解说。

图10提供了如本文所描述的示出本地PiMovs单元的用户尝试经由PiMovs系统所启用的示例性通信应用来联系不同PiMovs单元的另一用户的解说。

图11提供了如本文所描述的示出本地PiMovs单元的用户经由PiMovs系统所启用的示例性通信应用来与远程PiMovs单元的用户进行通信的解说。

图12提供了如本文所描述的由PiMovs系统启用的示例性位置选择应用的解说。

图13解说了如本文所描述的示出用于实现PiMovs系统的的各实现的示例性硬件和方法的概括操作流程图。

图14是如本文所描述的描绘具有用于实现PiMovs系统的各实现的简化计算和I/O能力的简化通用计算设备的总系统图。

详细描述

在对所要求保护的主题的各实现的以下描述中，对附图进行了参考，附图构成了实施例的一部分且在其中作为说明示出了可在其中实践所要求保护的主题的各具体实现。应当理解，可以利用其他实现，并且可以作出结构上的改变而不背离所要求保护的主题的范围。

1.0 介绍：

一般而言，如本文所描述的“PiMovs系统”提供用于实现体积空间的物理交互式显像(即，“PiMovs”)的各种技术。注意，因为多个PiMovs系统可以交互和通信，各单独PiMovs系统将有时出于讨论的目的而被称为“PiMovs单元”。

在各实现中，PiMovs系统是通过布置多个显示表面(例如，监视器、投影表面、或其他显示设备)来覆盖几何框架的外表面来实现的。几何框架以任何所需形状来实现，包括但不限于具有侧壁部以及可任选地顶部和底部中的任一者或两者的锥体、立方体、圆环、无定形，等等，从而形成任何所需大小的360度几何框架。这一几何框架的周界被包装有毗邻显示表面以使用相邻显示表面覆盖该周界的每一部分。

还要注意，在各实现中，这一体积投影表示毗邻体积投影跨覆盖(或形成)几何框架的周界的单个弯曲或柔性360度显示器的表面的无缝包装。因此，出于解释的目的，以下讨论将有时使用短语“毗邻显示表面”，它被定义为指的是两种情形，包括：覆盖或构成几何框架的多个相邻显示器以及覆盖或构成几何框架的周界的单个弯曲或柔性360度显示器。

PiMovs系统随后生成毗邻体积投影并经由包装或构成几何框架的毗邻显示表面将其显示在该框架上。更具体而言，体积投影是毗邻的，在于它被渲染为跨覆盖或构成几何框架的周界的每一相邻显示表面的每一边界边缘的无缝包装或跨单个显示器的连续表面(以及该表面中可能存在的任何缝隙)的无缝包装。换言之，毗邻体积投影无缝地包装跨越几何框架的各侧的所有相邻边缘以及可任选的顶部和/或底部。结果是毗邻体积投影围绕形成几何框架的侧壁的毗邻显示表面的360度无缝包装，它还可任选地包括该相同体积投影从每一侧跨越并覆盖几何框架的可任选顶部和/或底部的无缝包装。

注意，这一包装被认为是无缝的，在于体积投影跨各相邻显示边缘连续。如此，在其中显示表面包括限定投影或显示能力的边缘边框或其他边界的情形中，在以其他方式毗邻的体积投影中，可存在这些显示表面的对应可见线条或边缘。然而，在各实现中，PiMovs系统使用不带边框或框架的显示器，或者使用不带边框或框架的投影显示表面，使得每一显示表面的各相邻边缘以视觉上无缝的边界来连接。

此外，监视几何框架的外部上的一个或多个区域的传感器随后被用来跟踪该框架周围的预定半径内的人的位置和自然用户界面(NUI)输入。注意，NUI输入包括但不限于语音输入、基于姿势的输入(包括基于空中和接触两者的姿势或它们的组合)、各种表面上的用户触摸、对象或其他用户、基于悬停的输入或动作，等等。此外，在各实现中，跟踪和/或基于姿势的输入可包括用户运动或姿势的镜像，使得显示在毗邻显示表面上的生物、人、数字化身等的表示可以执行跟踪和/或反映几何框架周围的预定半径内的一个或多个人的移动、运动、或姿势。

在各实现中，PiMovs系统随后响应于一个或多个人的所跟踪的位置和/或一个或多个NUI输入来动态地调整毗邻体积投影。例如，在各实现中，这一动态适应提供了包括但不限于针对所跟踪的位置和/或任何一个或多个NUI输入来适应体积投影的能力。这样的动态适应的一个示例是在各实现中，体积投影以如下方式实时地动态适应：使得投影内的对象相对于所跟踪的人而言在他们绕几何框架的外部移动时看起来占据框架内的空间中的恒定位置。

有利地，多个PiMovs系统可经由有线或无线网络或其他通信链路交互。取决于与正在交互的PiMovs系统中的任何一者或多者上的毗邻体积投影相关联的特定应用和/或内容，这样的交互可以是实时的或有延迟的。结果，在任何位置的与任何PiMovs系统交互的用户可以与其他PiMovs系统或其他PiMovs系统的其他用户交互。作为显示在那些正在交互的PiMovs系统中的任何一者或多者的任何部分上的毗邻体积投影的至少一部分随后针对用户NUI输入、用户跟踪、以及PiMovs系统交互的任何组合之间的交互而动态地适应。这样的实现的所得的技术效果包括但不限于提供经改进的用户交互效率和提高的用户交互性能。

有利地，在各实现中，这些能力使得PiMovs系统能够提供置于由跨世界的(和/或在轨道或其他基于空间的位置的)各本地社区连接的每日环境中的无缝图像的视觉。结果，PiMovs系统启用各种各样的交互和通信能力。例如，因为PiMovs系统可被置于任何位置，在各实现中，PiMovs系统提供了用于策展的交互式画布(例如，艺术品的体积显示，进入3D位置的体积门户，诸如室外活动、博物馆、国际空间站，等等)。有利地，这样的能力所启用的用户体验打开了技术、艺术、教育、娱乐以及设计的新组合之间的桥梁。这样的实现的所得的技术效果包括但不限于提供经改进的用户交互效率和提高的用户交互性能。

此外，取决于毗邻体积投影的内容和相对于该内容的任何特定用户交互或运动，PiMovs系统的每一用户或非用户查看者的交互式体验可在上下文上是不同的。因此，PiMovs系统提供了通过教育、工作相关、公共或私有事件、娱乐、游戏、通信等的交换来将人和位置相连接的公共(或私有)对象。在许多这样的交换中，多个用户可能正在以可能看起来不可思议的本地或全局体验或本地和全局体验两者的组合的方式来创建、共享、倾听、观看毗邻体积投影以及与其交互。这样的实现的所得的技术效果包括但不限于提供经改进的用户交互效率和提高的用户交互性能。

1.1 系统概览：

如上所述，PiMovs系统的几何框架可以按任何所需的形状来形成。然而，出于解释的目的，以下讨论一般将参考以立方体形状(具有由显示表面覆盖的四个侧面和顶面)来形成的几何框架的版本。同样，应理解，PiMovs系统的顶和/或底显示表面是可任选的。

例如，PiMovs系统的测试实现被构造成立方体格式，使用由涂敷柔性背投材料来限定“背投显示面板”的透明亚克力面板或其他半透明或透明聚合物或玻璃材料构成的侧壁和顶部。在一个或多个计算设备的控制下，用于立方体的五个面(在该示例中除立方体的底面之外)中的每一个面的单独投影仪被部署在该立方体内部以将图像和/或视频投影到覆盖每一亚克力面板的背表面的背投材料上。然而，应当理解，单个投影仪可被用来覆盖多个面，或者多个投影仪可被用来覆盖单个面。那些所投影的图像和/或视频随后从立方体外部清晰可见。此外，各种跟踪和NUI传感器被部署在立方体周围以允许相对于靠近该立方体的多个用户进行跟踪和接收输入。图1示出这样的立方体的外部的艺术渲染。具体而言，图1提供了示出多个用户(100和110)观看覆盖形成立方体PiMovs系统的外表面的显示表面(130、140、150、160以及170)的毗邻体积投影120的示例性解说。

注意，虽然图1的体积投影120被渲染在立方体的外部上的显示表面(130、140、150、160以及170)上，但对于观看者(100和110)而言，它看起来是在立方体内部上显示的艺术品。这一视觉印象被维持，因为在这一示例中，立方体的每一个面从不同视点显示艺术品并且因为体积投影完全且无缝地包装立方体的整个周界和顶面。因此，在这一示例中，甚至在用户绕立方体外部移动时，体积投影对用户而言看起来也是立方体内部的3D对象的渲染。

以上概述的过程中的一些由图2的总系统图示出。具体而言，图2的系统图解说了用于实现如本文中所述的PiMovs系统的各实现的各硬件组件和程序模块之间的相互关系。此外，尽管图2的系统图示出PiMovs系统的各实现的高级视图，但图2不旨在提供在本文通篇描述的PiMovs系统的每一可能实施例的穷尽或全面说明。

另外应当注意，在图2中可以由断线或虚线表示的任何框以及框之间的互连表示在此所述的PiMovs系统的可替代或可任选实现。此外，这些替代或可任选实现中的任意一个或全部可与本文通篇描述的其它替代实现组合使用。

一般而言，如图2所示，PiMovs系统所启用的过程通过提供由显示表面包装(或形成)的几何框架200来开始操作。一般而言，这一几何框架200包括按毗邻布置来围绕360度几何框架的周界部分以及顶部和/或底部放置的多个显示表面，或者覆盖(或形成)几何框架的周界的单个弯曲或柔性360度显示器。PiMovs系统随后使用体积投影模块210通过渲染、显示、和/或投影毗邻体积投影的流过每一相邻显示表面的每一边缘的无缝包装来在显示表面上生成毗邻体积投影，或者将该毗邻体积投影生成到单个毗邻显示表面上。

跟踪模块220使用各种位置感测设备来跟踪几何框架周围的预定半径内的一个或多个人的位置。另选地，或相组合地，NUI输入模块240接收一个或多个NUI输入(例如，语音、姿势、面部表情、触摸，等等)和/或可任选地接收来自一个或多个用户设备(例如，智能电话、平板、可穿戴传感器或计算设备，等等)、来自一个或多个用户的输入。投影更新模块230随后响应于PiMovs系统的几何框架外部周围的预定区域中的所跟踪的一个或多个人的位置和/或NUI输入来动态地适应体积投影。

最后，PiMovs控制模块250提供被用来选择要被显示或使用以与PiMovs系统交互的一个或多个应用和/或用户界面模式、和/或输入定制参数等的管理用户界面等。与PiMovs控制模块250的交互是使用各种通信技术中的任一者来实现的，包括但不限于允许管理员用户远程访问该PiMovs控制模块的有线或无线通信系统。此外，在各实现中，PiMovs控制模块250允许各PiMovs单元之间的通信，同样经由任何所需有线或无线通信技术，使得多个PiMovs单元可经由对各PiMovs单元中的任一者的PiMovs控制模块250的访问来控制，并且使得数据可以在各PiMovs单元之间共享。

在各实现中，PiMovs控制模块250还提供对PiMovs系统的各操作参数的管理控制。这样的操作参数的省略包括但不限于哪些应用由PiMovs系统执行或实现，诸如游戏、通信应用，等等。其他示例包括设置操作参数和管理功能，包括但不限于启用本地或远程访问、设置用于跟踪或接收来自用户的输入的交互区距离、设置PiMovs系统将与其交互的最大用户数、选择应用或应用参数、设置或选择要显示在毗邻显示表面上的文本覆盖、设置或调整音频源、选择或定义主题，等等。

2.0 PiMovs系统的操作细节：

上述程序模块被用于实现PiMovs系统的各实现。如上文概述的，PiMovs系统提供用于使用覆盖几何框架的外部的毗邻显示表面实现体积空间的物理交互式显像的各种技术。以下各节提供了对PiMovs系统的各实现的操作以及用于实现在第1节中关于图1和图2描述的程序模块的示例性方法的详细讨论。具体而言，以下各章节提供PiMovs系统的各实现的示例和操作细节，包括：

PiMovs系统的操作概览；

PiMovs系统的示例性几何框架；

示例性PiMovs跟踪、感测、以及渲染设备和硬件；

示例性PiMovs接口框架考虑；

PiMovs连接性；

体积投影；以及

示例性基于PiMovs的应用和交互。

2.1 操作概览：

如上文所述的，本文描述的PiMovs系统提供用于使用覆盖或构成几何框架的外部的毗邻显示表面实现体积空间的物理交互式显像的各种技术。此外，上文概述的能力提供了多个优点和有趣用途。

例如，PiMovs系统的几何框架的每一侧面或部分是交互式的。这一交互性部分地通过使用排列在PiMovs系统周围的多个跟踪和NUI|传感器以及输入设备来启用。这允许PiMovs系统并发地跟踪并接收来自PiMovs系统的几何框架的每一侧或部分的多个用户的NUI输入。与PiMovs系统的每一侧或部分的多个人进行交互并作出响应的这一能力允许实现实际上无限的交互模式。这样的实现的所得的技术效果包括但不限于提供经改进的用户交互效率和提高的用户交互性能。

例如，如果PiMovs系统的立方体形实现的四个侧面中的每一个侧面有四个人与其进行交互，则可存在多达十六个并发且可能不同的交互式体验。通过允许与本地或远程PiMovs系统交互的人中的两者或更多者共享不同PiMovs系统之间的各种交互，这一数目指数级增加。更具体而言，除一个或多个人与一个PiMovs系统交互之外，还存在允许经由一个或多个PiMovs系统的一个或多个人之间的任何交互组合的PiMovs到PiMovs交互。还要注意，在各实现中，用户可以经由智能电话、平板、可穿戴计算设备、或其他便携式计算设备上运行的移动应用等与PiMovs系统的一个或多个特征或能力交互。

2.2 几何框架：

如上所述，PiMovs系统的几何框架被实现为具有侧壁部和可任选的顶部和/或底部的任何所需形状，从而形成任何所需大小的360度几何框架。这样的形状包括但不限于规则多边行(例如，锥体、立方体、八角形，等等)、不规则多边形、弯曲形状(诸如球形、卵形、无定形，等等)。几何框架还可包括这样的形状的任何组合，例如具有圆顶或无定形顶部的立方体。

不管形状如何，这一几何框架的周界被包装有毗邻显示表面以使用各相邻显示表面或单个连续或弯曲表面覆盖该周界的每一部分。这样的显示表面的示例包括但不限于用于背投、固定或可弯曲屏幕或显示设备等的半透明或透明材料。换言之，周界上的每一显示表面具有相邻且因而连续或连接到该周界上的至少两个其他显示表面的边缘的边缘。如上所述，在各实现中，毗邻显示表面可包括形成几何框架的360度包装的一个或多个单个连续或弯曲表面。附加相邻显示表面可任选地覆盖框架的顶部和/或底部。此外，在各可任选实现中，沿可任选顶部或底部的外边界的每一显示表面的至少一个边缘可以与周界上的一个或多个显示表面的边缘相邻或以其他方式连接到这些边缘。换言之，在这样的实现中，几何框架的侧部和顶部(和/或底部)可任选地用显示表面来包装，使得毗邻体积投影连续跨越所有相邻或毗邻显示边缘。

例如，考虑包括具有大约相同尺寸的五个矩形显示表面作为底层立方体几何框架的每一部分(例如，四个侧部和一个顶部)的立方体PiMovs系统。在这一实现中，每一侧部上的每一显示表面的两个相对边缘中的每一者将连接到相邻侧部上的显示表面的对应边缘。另外，顶部上的显示表面的四个边缘将连接到几何框架的侧部上的各显示表面中的每一者的各边缘之一。换言之，这一示例性立方体PiMovs系统的侧部和顶部包装有显示表面，其中所有相邻边缘被连接。

此外，注意，在其中显示表面(例如，投影材料，诸如半透明玻璃、亚克力面板，等等)具有足够结构强度的情形中，这些显示表面可被整体形成或通过以排除对用于支持显示表面的底层框架的需求的方式接合这样的材料的边缘来以其他方式耦合。换言之，取决于所使用的材料，在各实现中，显示表面本身形成PiMovs系统的底层几何框架。

例如，PiMovs系统的测试实现以立方体格式构造，使用由透明亚克力面板构成的侧壁和顶部。这些透明亚克力面板中的每一者的背投表面(即，立方体的内部上的面板面)涂敷有作为薄片来施加的柔性背投中性增益、高对比度材料。这一配置使PiMovs系统能够使用安排在立方体内部的投影仪将图像和/或视频投影到每一亚克力面板的背表面上，其中这些图像和/或视频随后从亚克力面板的前表面(即，从立方体外部)清晰可见。

另外，这一亚克力立方体的边缘和角落被仔细地接合以在这些接缝处保留亚克力的光学属性，从而使体积投影在接缝处的光学畸变最小化。这允许PiMovs系统使用立方体内部的投影仪将体积投影的完整无缝显示渲染在立方体的投影表面上，如上所述。此外，在各实现中，PiMovs系统所提供的体积投影在毗邻显示表面的各部分之间的角或其他非平面连接附近被自适应地弯曲，以使得自这些角或非平面连接的任何光学畸变最小化。

在各实现中，PiMovs系统的几何框架可被置于地面或其他表面上，诸如例如固定或旋转基座。将PiMovs系统的几何框架置于基座上的优点之一是与PiMovs系统相关联的硬件中的一些或全部(例如，投影仪、接收机、跟踪传感器、NUI传感器以及输入设备、声音系统、相机，等等)可被置于基座内或以其他方式耦合到基座。此外，在各实现中，PiMovs系统的几何框架可使用线缆或其他支撑结构来被升起或挂起。与基座一样，用于升起或挂起PiMovs系统的几何框架的任何线缆或其他支撑结构可被用来移动或旋转几何框架。在任一情况下，几何框架的移动或旋转按某预定义安排或路径来执行，或者响应于与PiMovs系统的用户交互来执行。这样的实现的所得的技术效果包括但不限于提供经改进的用户交互效率和提高的用户交互性能。

2.3 PiMovs跟踪、感测、以及渲染硬件：

如上所述，PiMovs系统的各实现包括几何框架，其中每一部分覆盖有显示表面。有利地，在固定平面屏幕或可弯曲显示器或者用于与背投硬件一起使用的投影显示表面的情形中，PiMovs系统的内部提供了可将各种各样的装备置于其中而不干扰体积投影的空间。这样的实现的所得的技术效果包括但不限于提供用于通过将这样的硬件置于不可见或以其他方式安全的位置中来改进物理和处理安全性的物理参数或控制。然而，应当理解，尽管将这样的硬件置于PiMovs单元内部用于既保护该硬件又将该硬件从视野中隐藏，但这一硬件中的一些或全部可被置于PiMovs系统外部之上或附近的可见位置，而不本质上改变PiMovs系统的一般功能性。

例如，图3解说了置于PiMovs单元中以用于实现PiMovs系统的示例性硬件。这一示例性硬件包括但不限于各种计算、显示、跟踪以及NUI硬件设备。在这一示例中，多个每部分计算设备(例如，205、310以及315)生成或以其他方式渲染总体体积投影的每一单独部分。然而，尽管在此未示出，但应当理解，多个NUI硬件设备可连接到单个计算设备，或单个NUI硬件设备可连接到多个计算设备。另选地，或相组合地，可任选总体计算320生成或以其他方式渲染总体体积投影中的一些或全部。在任一情形中，所得的体积投影随后被传递给多个每部分投影仪或显示设备(例如，325、330以及335)以呈现在覆盖(或构成)PiMovs系统的几何框架的显示表面上。

所显示的体积投影随后响应于经由一个或多个每部分跟踪和NUI传感器(例如，340、345以及350)接收到的跟踪信息和/或NUI输入来动态地更新。另选地，或相组合地，一组总体跟踪和NUI传感器355可以向可任选总体计算设备320提供跟踪信息和NUI输入以用于动态地更新体积投影。跟踪和NUI传感器(例如，340、345以及350)与计算设备(例如，305、310、315以及320)之间的通信是使用任何所需有线或无线通信协议或接口来实现的。这样的通信协议和接口的示例包括但不限于经由UDP、TCP/IP等在有线或无线接口(例如，近场通信、基于IR的输入设备(诸如遥控器或具备IR能力的智能电话)、以太网、USB、ThunderboltTM、IEEE 802.x，等等)上流传输的传感器数据。

还要注意，PiMovs系统的各实现包括各种可任选通信或网络接口360。可任选通信或网络接口360允许每部分计算设备(例如，305、310以及315)中的任一者以及可任选总体计算设备320协调体积投影的各部分的渲染和投影或显示。此外，可任选通信或网络接口360允许每部分计算设备(例如，305、310以及315)中的任一者以及可任选总体计算设备320发送和接收用于与其他PiMovs单元交互的数据。

另外，可任选通信或网络接口360允许每部分计算设备(例如，305、310以及315)中的任一者以及可任选总体计算设备320发送数据或接收来自各种源(例如，基于云的存储、公共或私有网络、因特网，等等)的数据以用于任何所需目的或应用。还要注意，计算设备(例如，305、310以及315)中的任一者可以按客户端/服务器模型操作，其中一个或多个计算设备与专用传感器设备相关联，并且另一计算设备充当服务器来处理数据以及协调体积投影的生成。

图4提供了单个示例性立方体形状的PiMovs单元的部分内视图，其中计算设备和跟踪及NUI传感器已出于简明的目的而省略。具体而言，在显示表面(例如，显示表面400和410)的背面上的背投的情形中，一个或多个每部分投影仪(例如420和430)被置于几何框架内部，以将总体体积投影的各部分投影到覆盖几何框架的显示表面的一个或多个对应部分上。这些投影仪由一个或多个计算设备控制，如上所述，其中所得的体积投影针对所跟踪的用户运动和/或用户NUI输入来动态地适应。另外，如所解说的，PiMovs系统可任选地包括一个或多个扬声器或音频设备440。

类似地，图5提供示出示例性计算、投影以及NUI硬件的单个示例性PiMovs单元的俯视图。与图4所示的示例性PiMovs单元相对比，图5所示的PiMovs单元是适应无定形周界形状500来实现的。多个每部分投影设备(例如，515到575)所输出的体积投影由计算设备505响应于从跟踪和NUI传感器510接收到的跟踪和用户NUI输入来控制。

2.3.1 跟踪传感器：

如上所述，PiMovs系统适应各种跟踪传感器和技术中的任一者来监视人在做什么、他们在哪里以及跟踪他们的运动。注意，这样的跟踪默认是匿名化状态，使得PiMovs系统不收集也不考虑脸部以及其他标识信息。然而，在各实现中，用户可授予显式许可以允许PiMovs系统捕捉和使用各种级别的标识信息来用于特定应用。此外，如上所述，在各实现中，用户可以经由智能电话、平板、可穿戴计算设备、或其他便携式计算设备上运行的移动应用等与PiMovs系统的一个或多个特征或能力交互。

一般而言，用于跟踪和NUI输入的传感器往往在特定距离或范围内工作良好。如此，在各实现中，PiMovs系统可任选地将用户跟踪和/或NUI输入限于各单独PiMovs单元周围的特定范围或区域。例如，如图6解说的，在一个实现中，具有八边形周界的PiMovs单元600包括PiMovs单元的周界周围的固定或可调整交互区610。在这一示例中，固定或可调整交互区610所指示的最小距离的内部或外部的用户不被跟踪或监视NUI输入。

不管是否使用交互区，跟踪传感器和技术被用来相对于PiMovs单元的位置、其他用户、或PiMovs系统的传感器范围内的其他对象，跟踪用户骨架数据、身体位置、运动以及朝向、头部位置、注视等等。使用位置传感器或基于传感器硬件和软件的技术的组合的任何所需跟踪或定位技术可被用于这样的目的。各示例包括但不限于2D或立体相机、深度传感器、红外相机和传感器、基于激光的传感器、基于微波的传感器、PiMovs单元周围的压力垫、用于捕捉语音或使用有向音频技术来用于各种用户跟踪目的的话筒阵列、用户穿戴或携带的传感器(包括但不限于，GPS感测或跟踪系统、耦合到用户穿戴或携带的移动设备的加速度计、头戴式显示设备、头戴式或穿戴虚拟现实设备，等等)的任何所需组合。

2.3.2 NUI传感器：

在各实现中，PiMovs系统使用传感器的任何所需组合来捕捉或以其他方式接收或导出来自一个或多个用户的NUI输入。有利地，用于相对于PiMovs单元来跟踪用户的传感器中的一些或全部(参见以上2.3.1小节的讨论)也可被用来接收NUI输入。这样的实现的所得的技术效果包括但不限于提供经改进的跟踪和用户交互效率和提高的用户交互性能。一般而言，NUI输入可包括但不限于：

a.从经由话筒或其他传感器捕捉的用户语音或发音导出的NUI输入，以及可任选地包括使用话筒阵列等来跟踪一个或多个用户的有向音频跟踪；

b.从用户面部表情导出的NUI输入，从使用诸如2D或深度相机(例如，立体或飞行时间相机系统、红外相机系统、RGB相机系统、这些设备的组合，等等)等成像设备捕捉的用户手、手指、腕、臂、腿、身体、头部、眼睛等的位置、运动或取向导出的NUI输入；

c.从姿势识别导出的NUI输入，包括空中和基于接触的姿势两者、从由用户把持的对象(例如，棒，诸如网球拍、乒乓球拍等运动装备)的运动导出的姿势；

d.从用户在各种表面、对象或其他用户上的触摸导出的NUI输入；

e.从基于悬停的输入或动作等等导出的NUI输入；

f.从独立地或与其他NUI信息相组合地评估当前或过去用户行为、输入、动作等以预测诸如用户意图、愿望、和/或预期动作的预测机器智能过程导出的NUI输入。

不管基于NUI的信息或输入的类型或源如何，这样的输入随后被用来发起、终止、或以其他方式控制PiMovs系统和/或与PiMovs系统相关联的计算设备中的任一者所运行的任何应用的一个或多个输入、输出、动作或功能特征或与其交互。

此外，在各实现中，PiMovs系统的一个或多个显示表面允许直接用户输入。例如，在各实现中，显示表面中的一者或多者是触敏的(例如，电阻式或电容式触摸、光学感测，等等)。此外，在各实现中，显示表面中的一者或多者是柔性的以允许用户推、拉、或以其他方式使这些表面变形，其中所得的变形提供与显示在这些显示表面上的底层体积投影的直接交互。换言之，这些类型的触摸和用户变形可被用作与一个或多个显示表面上渲染的且相关于本地或远程PiMovs系统的内容进行交互的NUI输入。

2.4 PiMovs接口框架：

一般而言，因为体积投影是响应于用户跟踪和NUI输入在PiMovs系统的显示表面上渲染的，取决于用户如何对这些体积投影作出响应或进行交互，PiMovs系统上部署的每一交互式体验将往往不同于PiMovs系统上的任何其他交互式体验。

在各实现中，PiMovs系统通过使用支持各种各样的输入和应用设计的接口框架来适应这些不同输入。例如，在各实现中，PiMovs系统提供各种各样的编码环境和图形框架。这样的编码环境和图形框架包括但不限于任何所需开源编码环境或图形框架以及各种专有编码环境和图形框架中的任一者，诸如例如基于Java的编码和框架、基于C++的开放框架、基于Unity的开发生态系统，等等。然而，应当理解，PiMovs系统不旨在被限于使用任何特定开源或专有编码环境和图形框架。

在各实现中，PiMovs系统提供了一种框架设施，它提供了用于将跟踪和NUI传感器数据流广播给由PiMovs系统执行的各显示应用的统一处理。例如，在各实现中，在与PiMovs系统相关联的任何计算设备上运行的最小服务器类型应用被用来将来自传感器中的任一者的输入转换成易于消费且灵活的网络广播，该网络广播可由与PiMovs系统相关联的计算设备中的任一者消费和操作。广播的内容的示例包括诸如相对于体积投影的某一特定部分或其他特定用户的特定用户动作、运动、NUI输入等信息。

此外，在各实现中，PiMovs系统将一个或多个NUI传感器数据流组合成PiMovs系统的周围空间的附着视图。这启用各种各样的实现和应用，包括但不限于跟踪在PiMovs系统周围走动的一个或多个人，使得他们将不进入或离开各单独NUI传感器区域，而是总是停留在附着视图内。有利地，这保持NUI数据是“无缝的”，从而添加到PiMovs系统的毗邻显示表面上渲染的体积投影的无缝性质。这样的实现的所得的技术效果包括但不限于提供经改进的用户交互效率和提高的用户交互性能。

例如，在各实现中，PiMovs系统可任选地采用开放声音控制(OSC)协议来用于联网由PiMovs系统用来广播传感器数据的声音合成器、计算机以及其他多媒体设备。一般而言，OSC被构建在用户数据报协议(UDP)上，提供在各种交互式艺术框架中有用的TCP/IP实现。在这样的情形中，使用伴有可变数目的类型化自变量的路由地址来格式化数据消息。

在各实现中，PiMovs系统提供用于将PiMovs系统的传感器范围内的手或手指运动或其他姿势NUI输入转换或以其他方式变换成触摸屏和定点设备事件或输入的应用编程接口(API)或其他应用或接口。这允许PiMovs系统使用任何现有程序或应用或者与其交互，如同这些程序或应用正经由初始预期或预计用于这些程序或应用的输入源接收输入。例如，在各实现中，PiMovs系统转换从NUI传感器接收到的手位置以指令与PiMovs系统相关联的操作系统移动鼠标光标。类似地，在各实现中，PiMovs系统将手势(诸如例如握拳)转换成当前光标位置处的触摸事件(像触摸屏或其他触敏表面上的用户触摸一样)。这样的触摸事件随后可被转换成对应的“鼠标按下”或点击事件等等。

2.5 PiMovs连接性：

如上所述，在各实现中，PiMovs系统提供了一种联网的交互式公共对象。此外，这样的交互可以发生在任何两个或更多个PiMovs单元之间，而不管这些单元位于何处，只要这些PiMovs单元之间存在通信或联网路径。PiMovs单元之间的这样的交互的结果是交互式生态系统，其中内容、交互以及体验可由多个用户跨世界且甚至在基于太空的位置中共享。

例如，图7提供了示出与从任意位置处于通信中的各单独PiMovs单元交互的多个用户的示例性PiMovs生态系统的解说。例如，在图7的解说中，多个用户700正与西雅图的PiMovs单元710上渲染的体积投影进行交互。图7还示出多个用户720正与伦敦的PiMovs单元730上渲染的体积投影进行交互。图7还示出多个用户740正与北京的PiMovs单元750上渲染的体积投影进行交互。最后，图7还示出多个用户760正与纽约时代广场的相对大得多的PiMovs单元770上渲染的体积投影进行交互。在图7的示例中，PiMovs单元(710、730、750以及770)中的每一者经由有线和/或无线网络连接进行通信。有利地，PiMovs系统的通信能力使图7中解说的PiMovs单元中的每一者的用户能够联合地与可被显示在这些PiMovs单元中的一些或全部上的共同体积投影进行交互。

还要注意，在各实现中，与一个PiMovs系统的任一侧、面、或部分上的体积投影部分进行交互的用户可以与另一位置的正与那一位置的PiMovs系统的任一侧、面或部分上的体积投影部分进行交互的用户进行交互。此外，任何PiMovs系统的每一侧、面、或部分可以与不同PiMovs系统的各侧、面、或部分进行交互，使得任何特定PiMovs系统可以在任何时间与多个PiMovs系统通信和交互。

如上所述，在各实现中，PiMovs系统提供各种通信能力以用于与便携式计算设备(包括但不限于智能电话、平板、媒体设备、遥控器、定点设备，等等)进行交互。用于启用PiMovs系统与这样的便携式设备之间的交互和通信的通信技术包括但不限于RFID或其他近场通信、基于IR的通信、Wi-Fi(例如，IEEE 802.11(a/b/g/n/i，等等))、全球移动通信系统(GSM)、通用分组无线电服务(GPRS)、各种基于码分多址(CDMA)无线电的技术、进化数据优化(EV-DO)、增强型),用于GSM进化的增强型数据速率(EDGE)、通用移动电信系统(UMTS)、数字增强型无绳电信(DECT)、数字AMPS(即，IS-136/TDMA)、整合数据增强网络(iDEN)，等等。

在各实现中，通信能力(诸如上述那些)使PiMovs系统能够推送或以其他方式传送数据或信息给用户携带的各便携式计算设备，且还使这些设备能够从PiMovs系统拉取信息。这样的能力的一个简单示例是使用嵌入在、耦合到便携式计算设备(诸如例如智能电话)或以其他方式与其通信的传感器，来提供传感器数据或者输入或与PiMovs系统共享其他数据或用户个性化信息。这样的能力的另一简单示例包括但不限于显示一个或多个快速响应(QR)码或其他可扫描码，作为体积投影上的覆盖或作为以其他方式包括在体积投影中的图像元素。用户随后可以使用具有相机能力的便携式计算设备来扫描这样的码以允许这些计算上提供第二屏幕体验，或者另选地，自动检索相关数据(例如，下载文件、信息、链接等或者打开网页等)。

2.6 体积投影：

现有全景或虚拟现实“房间”通常将外部空间或场景的各视图缝合在一起，它随后如同用户处于该空间内部一样来被查看。换言之，全景和虚拟现实房间通常提供表示某一空间的经缝合全景视图的图像或视频重放。

作为对比，PiMovs系统所提供的体积投影表示对观看者而言看起来是显示在几何框架的内部的内容且可由观看者从几何框架外部来观察的视图。这一视觉印象被维持，因为几何框架的每一面或部分可以从不同视点来显示体积投影的内容并且因为体积投影完全且无缝地包装几何框架的整个周界以及可任选的顶部和/或底部。结果是体积投影的一些或全部对用户而言看起来是几何框架内部的2D和/或3D内容的渲染，甚至在用户围绕该框架外部移动时。

更具体而言，PiMovs系统的体积投影可包括2D或3D内容或者2D和3D内容的任何所需组合。在所跟踪的用户移动、查看或以其他方式与体积投影交互时，体积投影的内容针对这些用户的位置而被自动适应。在各实现中，体积投影的这一自动适应还包括但不限于基于用户位置和相对于PiMovs系统的查看角度来改变体积投影的视点。

2.6.1 透视图和位置跟踪：

如上所述，在各实现中，在用户围绕PiMovs系统走动或相对于PiMovs系统移动时，视点改变，使得体积投影的虚拟对象或其他内容看起来处于几何框架内部的恒定物理空间或位置。这不同于仅在每一屏幕或显示表面上示出不同相机角度。相反，与PiMovs系统相关联的一个或多个传感器主动跟踪单个人或一群人和/或每一人的头部，并随后主动改变每屏幕或显示表面的虚拟相机角度，使得在人相对于PiMovs系统移动时，视点(甚至跨各单独屏幕)改变。在各实现中，通过与每显示表面多个投影仪相组合地使用主动快门眼镜等或者偏振屏幕等来为每屏幕或显示表面多个人解决这一相同的视点问题。这使得从不同角度观看同一显示表面的人能够取决于他们的相对查看角度而看到不同图像或同一图像的不同视点。

出于解释的目的，以下示例描述了立体PiMovs系统的情形，其中单个用户查看具有四个侧面的立体PiMovs系统。注意，以下示例可被外推至每一侧的附加观看者以及多侧PiMovs系统的附加侧面。

例如，考虑单个用户观看四侧PiMovs系统的情形，其中一个或多个计算机联合控制每一跟踪传感器和每一显示表面上渲染的体积投影部分。在这种情况下，基于用户眼睛位置、用户头部位置和/或用户骨架位置的任何组合，传感器数据流被组合成用户在PiMovs的周围环境中的移动的实时统一视图。这一实时用户跟踪信息随后由PiMovs系统用来动态地修改被跟踪用户可见的任何显示表面以及向该用户示出体积投影的内容的正确透视图。换言之，在这一示例中，对观看者而言，体积投影的内容将看起来是在看起来存在于PiMovs系统内部的虚拟空间中的内容的无缝表示，并且在用户围绕PiMovs系统的几何框架的外部移动时在各显示表面之间无缝地过渡。

实现这样的能力的各种方式之一是将相同大小的虚拟定界框认为是并且因而覆盖PiMovs系统的每一面或部分(例如，每一显示表面)。每一虚拟定界框随后包围在体积投影的对应面或部分上渲染的一个或多个对象、场景或其他内容。注意，出于讨论的目的，所渲染的内容(即对象、场景或其他内容)将被称为对象。

虚拟光线追踪相机随后从与所跟踪用户的观察点的原点相对应的空间点朝向该对象。大量虚拟光线随后从虚拟光线追踪相机朝该对象进行投影以覆盖表示PiMovs系统的对应显示表面的视野。每一虚拟光线与覆盖体积投影的对应面或部分的虚拟定界框相交的位置随后被自动标识，连同虚拟光线击中的任何可见纹理的对应色彩。

每一虚拟光线的所标识的相交色随后被用来更新与这些光线同虚拟定界框相交的位置相同的位置处的虚拟可见框(覆盖体积投影的对应面或部分)。这一虚拟可见框周围是处于固定虚拟位置的四个虚拟相机，立方体每一侧一个相机。每一虚拟相机虚拟地从其固定虚拟位置捕捉经更新虚拟可见框的图像并随后将该虚拟地捕捉的图像呈递给PiMovs系统的对应物理显示器。

随后，在人移动时，虚拟光线追踪相机随所跟踪的用户的观察点移动，但持续朝向该对象。上述过程随后持续地重复，使得在用户围绕PiMovs系统的几何框架的外部移动时，实际体积投影实时地持续更新。

此外，在立方体PiMovs系统的这一示例中，各侧面中最多两个侧面(假定用户站在一个角处或附近)将对用户而言是可见的。因此，在各实现中，用户不可见的侧面可以显示默认视图、不显示视图、或者可以基于对不同用户的跟踪来显示透视图。

2.6.2 立体和3D显示考虑：

一般而言，任何体积投影的任何部分中的一些或全部的内容可包括使用立体投影仪等渲染的3D内容以将立体图像和/或视频投影到一个或多个显示表面上。在这样的实现中，取决于所使用的特定类型的3D技术，佩戴无源3D眼镜或主动快门眼镜(例如，快速左/右眼切换眼镜)的用户将体积投影看作实际3D内容。此外，一些固定或无源3D显示设备允许3D监视器的特定范围或查看角度内的用户查看3D内容而无需使用3D眼镜或主动快门眼镜。因此，几何框架的一个或多个部分(或子部分)可以铺设、包装、或以其他方式覆盖有这样的3D类型设备，以对于PiMovs系统的几何框架的显示表面中的一些或全部而言包括完全或部分3D查看能力。在各实现中，PiMovs系统通过向用于改变3D观看视点的技术添加计算机游戏和影片中普遍使用的视差和动感(kinesthetics)来修改体积投影以改进体积投影的立体或3D内容。此外，对每一只眼睛使用分开的左图像和右图像使得人脑感知体积投影中的深度或3D内容。

有趣地，在各实现中，一个或多个3D监视器可被插入或以其他方式集成到几何框架的较大显示表面的不同部分。因而，相关于对应的3D监视器插入，对各单独用户的头和/或眼睛跟踪可被用来为这些各单独用户改变体积投影的场景的“虚拟相机角度”。结果，取决于用户站在何处或正观看何处，各单独用户可体验到进入总体体积投影的更小部分内的3D窗口。相反，整个几何框架可被包装或覆盖有3D监视器，其中体积投影的一些或全部随后以3D来渲染并经由这些3D监视器显示。

2.7 示例性应用和用户交互场景：

如上所述，与PiMovs系统的每一侧或部分的多个人进行交互并作出响应的这一能力允许实现实际上无限的交互模式和应用。在以下段落中讨论这样的应用的几个示例。应当理解，所呈现的示例应用只是出于解释的目的讨论的，并且这些示例应用不旨在限制将PiMovs系统用于所描述的各类型的示例应用。

2.7.1 外形转换应用：

如上所述，PiMovs系统所启用的每一交互式体验将是不同的。例如，PiMovs系统所启用的一个应用是外形转换应用，其中用户看到他们自己是被动态地镜像但被更改的抽象(例如，作为吸血鬼的用户、作为半人马的用户、穿戴不同服装的用户、在月球上行走的用户，等等)。

在各实现中，这些经更改抽象被渲染到总体体积投影中。在这样的应用中，诸如例如移动、跳跃、挥手、或简单走过PiMovs系统等运动经由PiMovs系统的跟踪能力使得经更改抽象的移动被映射到用户的移动。此外，在这一应用的各实现中，移动到几何框架的不同侧面的用户将看到进入其他各种抽象的进一步外形转换。

此外，用于这样的目的的抽象的类型可以取决于检测到的一个或多个用户的年龄、性别、种族等而改变。例如，改变用户的镜像图像(即，经更改抽象)以看起来像令人恐惧的狼人对十几岁用户而言可能是适当的，但对于儿童可能不适当(这可能更适合被镜像为蝴蝶或某一其他非恐怖抽象)。

在下文简要概述用于外形转换应用的各实现的一些附加选项和模式。

邀请模式：在各实现中，每一PiMovs单元显示基于主题的体积投影以邀请用户关注和交互。在各实现中，这一主题是手动地选择的，或响应于PiMovs单元周围的外部环境或该环境内的人来自动选择的。例如，当PiMovs单元周围没有活动时，落入特定主题内的一个或多个动物、生物、人等(塞伦盖蒂平原的濒危动物、幻想生物、历史名人、外星人，等等)周期性地飞过、跑过或走过PiMovs单元的面以引起走过的人的好奇心。

平行宇宙：在PiMovs系统周围的空间变得更活跃时，动物从它们的群体中浮现(在它们在几何框架的各面的相应显示表面上)以将它们的在空间中的步调和位移以使得范围内的行人。如果用户减缓他们的步调或停下，该动物会反映这一点。在各实施例中，用户可能随后使用自然语言处理或其他基于语言的计算机交互技术与动物交谈。例如，用户可询问野猪最近的BBQ餐厅在哪里。野猪随后可以用经记录语音或合成语音来作出响应，并可显示去往该餐厅的地图或方向。

魔法角：为鼓励PiMovs系统的几何框架周围的人流，在各应用中，转动一个角将触发进入该PiMovs系统主题内的另一动物的外形转变。PiMovs系统的其他面反映相同的交互模型，但具有不同动物(落在PiMovs系统主题下)。在用户离开时或特定时间量之后，动物将走回其群体，从而用信令通知交互结束。

抽象或艺术表示：动物可被描绘成视觉上引人注意的抽象以呈现超自然且好玩的体验。

动物游行：在各实现中，一个或多个PiMovs系统用于通过经由使与跨世界的不同PiMovs系统相关联的动物或生物好玩地行进穿过该PiMovs系统上渲染的体积投影以渲染这些动物或生物的游行来提升对其他PiMovs系统的好奇心和潜在访问。

公共活动：PiMovs系统可被放置在诸如奥林匹克或Burning Man等活动处。生物或主题可相应地改变(例如，奥林匹克吉祥物、外国人、体育明星，等等)。

2.7.2 共享数字艺术应用：

PiMovs系统所启用的另一应用允许多个用户在虚拟数字“粘土”块上与在本地以及世界各地的其他用户交互或协作，从而直接展示实时交互并使“艺术家”的概念分散化。图8和图9解说了这一应用的简单示例。

具体而言，图8示出多个用户(800、810、820以及830)使用各种基于手的姿势作为NUI输入来使呈现为PiMovs系统850的显示表面上的动态体积投影的数字粘土840成形。类似地，图9示出类似数字艺术交互的特写，其中多个用户(900和910)整合使用各种基于手的姿势作为NUI输入来使数字粘土920成形。

在下文简要概述用于共享数字艺术应用的各实现的一些附加选项和模式。

PiMovs系统作为协作式沙箱：在不同城市的各PiMovs单元充当去往一个协作式游戏区的门户。每一城市与“粘土”的表示更大多城市协作的一部分的特定颜色集进行交互。

实时协作：PiMovs单元周围的许多参与者与该模型的他们的部分进行交互(通过颜色来标识)并且可以通过动态地适应体积投影来看到他们城市的推和拉如何影响较大图片。所有参与者都看到其他城市如何与该协作的他们的相应部分进行交互。

姿势操纵：一个城市的“粘土”部分(例如，由颜色指定)可通过姿势被推或拉并被实时地看到。

母显示器：“母”或主PiMovs单元渲染由不同城市中的每一城市中的用户对“粘土”的联合操纵来创建的艺术品的总体体积投影。在各实现中，母PiMovs单元创建若干城市之间的艺术协作的时间流逝的美好时刻。这一时间流逝所覆盖的时间跨度可以按分钟、小时、天或甚至星期来测量，从而创建来自全世界的该作品的持续变化。

2.7.3 虚拟门户：

PiMovs形态所启用的另一应用向用户提供到新地点的虚拟运输以进行大规模上交谈，并随后到私密的地点，以占据空间并构建自发社区。注意，因为传感器跟踪人并使用相机，所以在各实现中，PiMovs系统将另一PiMovs单元的体积投影中渲染的人实时地模糊以保护隐私。结果，用户可能看到另一人(经由来自另一地的体积投影)，但不能识别该另一人的脸。然而，如果想要的话，用户可以从他们自己的脸移除加扰算法，使得其他人可以看到并可能与他们交互。在下文简要概述用于虚拟门户应用的各实现的一些具体示例和附加选项及模式。

位置选择“转轮”：在没有人接近PiMovs单元时，它看起来充满了进入全世界其他PiMovs单元的各门户的所有可能性。一旦人接近或者如果人处于特定范围内，PiMovs单元就在它搜索进入满足搜索准则的不同立方体的门户时进入“转轮”模式。这样的准则的示例包括但不限于其他PiMovs单元周围的活动、访问者的年龄(使得儿童只与儿童匹配)、针对将衬衫颜色匹配到世界另一部分中的某一用户的特定位置的请求(例如，“劳驾巴黎”或“带我去葡萄牙”)，等等。图10示出这一实现的示例。具体而言，图10示出1000正接近PiMovs单元1010。PiMovs单元1010正显示表示去往世界各地的其他PiMovs单元的可用门户的视觉上旋转的网格的体积投影1020。

进入卢浮宫(或其他位置)的门户：在“转轮”作出选择时，去往不同PiMovs单元的视图的空间门户打开进入该PiMovs单元的地点。换言之，一个PiMovs单元的体积投影可被传输到另一PiMovs单元。在各实现中，为了吸引人，访问者对PiMovs单元的邻近度指定门户环境看起来有多清楚或模糊。在各实现中，PiMovs系统将在门户中隔离人并使他们看起来很清楚以提升人类联系。如果没有人立即站在立方体处来进行对话，访问者可能够通过挥手吸引门户中某人的注意。事实上，图11正示出了这样的示例。具体而言，图11示出了女人1100向通过不同位置的PiMovs单元1120的门户的远处可见的男人1110(作为体积投影)挥手。图12随后通过示出女人1100和男人1110之间经由两个分开的PiMovs单元的后续面对面交流来继续这一示例。在这一示例中，女人1100和男人1110两者彼此看起来是经由他们相应本地PiMovs单元的体积投影。此外，这些人中的每一者的语音由一个或多个本地PiMovs传感器捕捉(例如，话筒)、传送给另一PiMovs单元、并随后经由一个或多个音频输出设备等回放。

接口示例：除邻近度以外，眨眼、微笑、或说出“喂”使得PiMovs单元上的环境作出反应并变得清爽，从而吸引注意力和拉人进入。在交互结束时，或者如果用户需要查看新位置，后退使得门户模糊。转轮再次开始，或者如果其他人步入画面，则脸部识别将允许该门户彼此打开并变得清爽以用于继续对话。

人类联系：在人进入适当范围内以进行亲密对话时，立方体上的门户变得并保持清楚。来自表面上不同地点的两个人使用立方体进行面对面交谈。参考图11和12查看以上讨论和示例。

虚拟联系：如果“转轮”没有产生结果，则PiMovs系统将生成用户可与其交谈的“智能”化身。

实时翻译：在各种两用户通信场景中，PiMovs系统使用各种实时机器翻译技术中的任一者来将每一用户的语言的语音翻译成另一用户的语言。例如，这样的能力允许英语(或任何其他语言)母语的人与普通话(或任何其他语言)母语的人经由通过他们相应的本地PiMovs单元呈现给每一用户的另一用户的体积投影来实时交谈。

基于门户的球类游戏：在各实现中，各种各样的基于共享游戏的应用被PiMovs系统启用。例如，在一种这样的游戏中，用户使用NUI输入(例如，在空中抡手，等等)作为“击打”虚拟球的姿势。该球随后弹到本地PiMovs单元的任何其他面或者弹出该本地PiMovs单元到达远程本地PiMovs单元，使得多个人可以从全世界多个不同本地PiMovs单元一起打球。在用户击中球时，它给出速度和方向向量。如果特定侧上没有用户，则该墙壁变成实心的并且球将反弹。此外，球可弹出顶部到达另一立方体。同样，这一球在所有相关联的PiMovs单元中被表示为可单独渲染的体积投影，或叠加在虚拟球弹入其中的PiMovs单元中正显示的体积投影上。

3.0 PiMovs系统的操作概述：

以上参考图1至图12描述以及进一步鉴于以上在节1和2中提供的详细描述的各过程通过图13的概括操作流程图来进一步示出。具体而言，图13提供了概述PiMovs系统的各实现中的某些的操作的示例性操作流程图。注意，图13不旨在成为本文描述的PiMovs系统的各实现的所有的穷尽表示，并且仅出于解释目的而提供图13中表示的各实现。

此外，应当注意，在图13中由断线或虚线表示的任何框以及框之间的互连表示在此所述的PiMovs系统的可任选或可替代实现。此外，这些可任选或替代实现中的任意一个或全部可与本文通篇描述的其它替代实现组合使用。

一般而言，如图13所示，PiMovs系统通过使用一个或多个计算设备1300来接收和/或生成毗邻体积投影来开始操作。如上文讨论的，这一毗邻体积投影被渲染在显示表面1310上作为围绕毗邻显示表面以及跨相邻显示表面的任何相邻边缘连续的体积投影的无缝包装。注意，在各实现中，计算设备1300接收来自体积投影和相关内容的数据库或库一个或多个预定义体积投影1350。

该一个或多个计算设备1300还接收来自跟踪传感器1320的传感器数据以用于跟踪几何框架周围的预定半径内的一个或多个人的位置、骨架、身体运动、头部等。类似地，该一个或多个计算设备1300还接收来自几何框架周围的预定半径内的一个或多个用户的一个或多个NUI传感器1330输入(例如，话音或语音、姿势、脸部表情、眼睛注视、触摸，等等)。该一个或多个计算设备1300随后响应于几何框架的外部周围的预定区域中的所跟踪的一个或多个人的位置和/或NUI输入，来动态地适应所渲染、投影或以其他方式显示在显示表面1310上的体积投影。

在各实现中，提供管理用户界面1340以启用PiMovs单元的本地或远程管理。一般而言，管理用户界面1340使系统管理员或具有访问权限的用户能够执行各种管理任务，包括但不限于(例如，从PiMovs应用库1360)选择要由PiMovs单元的计算设备1300运行或执行的应用、输入定制参数，等等。管理用户界面1340还使系统管理员或具有访问权限的用户能够配置一个或多个传感器(例如，跟踪传感器1320和/或NUI传感器1330)。此外，管理用户界面1340还使系统管理员或具有访问权限的用户能够定义或选择默认主题(例如，从预定义PiMovs主题的数据库或库1370)。

如上所述，在各实现中，PiMovs系统还包括各种音频输出设备1380。一般而言，这些音频输出设备1380(例如，扬声器或音频输出通道)简单地输出与体积投影相对应的音频。换言之，这些音频输出设备1380还可与各种通信类应用一起使用(例如，参见以上相关于图12的第2.7.2节讨论的)。

最后，在各实现中，PiMovs系统还包括适应一个或多个通信或网络接口来发送数据或从各种源(包括但不限于其他PiMovs单元、基于云的存储、公共或私有网络、因特网、用户计算设备或智能电话，等等)接收数据的通信接口1390等。

4.0 权利要求支持：

以下段落概括了可以在本文中要求保护的各实现的各示例。然而，应当理解，下文概括的各实现不旨在限制可以鉴于PiMovs系统的详细描述来要求保护的主题。此外，下文概括的各实现中的任一者或全部可以按与本详细描述中通篇描述的实现中的一些或全部以及在附图中的一者或多者中解说的任何实现的任何所需组合来要求保护。另外，应当注意，以下实现旨在鉴于本详细描述和本文中通篇描述的附图来理解。

在各实现中，PiMovs系统提供了一种交互式显示系统，该交互式显示系统是通过在所跟踪的一个或多个人绕包括该交互式显示系统的几何框架的外部移动时响应于他们的位置来动态地适应毗邻体积投影来实现的。

例如，在各实现中，交互式显示器是通过提供被布置成覆盖或创建360度几何框架的周界的毗邻显示表面来实现的。另外，一个或多个位置感测设备被应用来跟踪几何框架周围的预定半径内的一个或多个人的位置。一个或多个计算设备随后被应用来在显示表面上生成毗邻体积投影。此外，这一毗邻体积投影提供毗邻体积投影跨构成毗邻显示表面的任何相邻显示表面的任何边缘的无缝包装。另外，毗邻体积投影通过在一个或多个人绕几何框架的外部移动时响应于他们的运动来动态地调整毗邻体积投影来动态地适应于所跟踪的位置。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于使毗邻体积投影动态地适应于所跟踪的位置的装置、过程或技术相组合，使得在一个或多个人绕几何框架的外部移动时毗邻体积投影内的对象相对于他们看起来占据几何框架内的空间中的恒定位置。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以通过包括沿一个或多个相邻边缘接合在一起以形成几何框架的对应部分的一个或多个背投显示面板来与用于实现毗邻显示表面的装置、过程或技术相组合。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于接合毗邻显示表面的一个或多个显示面板以保留显示表面在对应接缝处的光学属性的装置、过程或技术相组合，从而使体积投影在对应接缝处的光学畸变最小化。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于在几何框架的内部布置或定位一个或多个投影仪以将体积投影的各部分投影在背投显示面板的对应部分上的装置、过程或技术相组合。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于响应于几何框架作为的预定区域内的一个或多个人的运动来从一个或多个预定义体积投影的集合自动选择毗邻体积投影的装置、过程或技术相组合

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于使毗邻体积投影动态地适应于来自一个或多个人的自然用户界面(NUI)输入的装置、过程或技术相组合。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于接受来自几何框架的周界周围的某一最小距离处的预定交互区内的一个或多个人的NUI输入的装置、过程或技术相组合。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于提供启用多个交互式显示器之间的实时交互的通信接口的装置、过程或技术相组合，这些交互式显示器中的每一者包括毗邻体积投影。

在附加实现中，经由用于在形成毗邻几何框架的周界的一个或多个显示表面上渲染毗邻体积投影的装置、过程或技术提供了一种用于显示体积投影的系统，使得毗邻体积投影提供毗邻体积投影跨任何相邻显示表面的任何相邻边缘的无缝包装。这样的实现还可接收传感器数据并跟踪几何框架周围的预定半径内的一个或多个人的位置。另外，这样的实现还可接收来自几何框架周围的预定半径内的人中的一者或多者的自然用户界面(NUI)输入。此外，这样的实现还可响应于所跟踪的位置和NUI输入来动态地适应毗邻体积投影。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于使毗邻体积投影动态地适应于所跟踪的一个或多个人的位置的装置、过程或技术相组合，使得在该一个或多个人绕几何框架的外部移动时毗邻体积投影内的对象相对于他们看起来占据几何框架内的空间中的恒定位置。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于通过沿一个或多个相邻边缘接合在一起的背投显示面板来构造显示表面中的一者或多者的装置、过程或技术相组合。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于在几何框架的内部布置或定位一个或多个投影仪以将体积投影的各毗邻部分投影在背投显示面板的对应部分上的装置、过程或技术相组合。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于实现通信接口以提供用于显示体积投影的系统的多个实例之间的实时交互的装置、过程或技术相组合，该多个实例中的每一者可以提供分开的、相关的或共享的毗邻体积投影。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于在用于显示体积投影的系统中的两者或更多者之间共享体积投影以提供允许人在他们的系统之间实时通信的动态体积渲染的装置、过程或技术相组合。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于在用于显示体积投影的系统的两者或更多者之间共享体积投影以提供允许一个或多个人使用NUI姿势来在该系统的不同实例之间打球的实时交互式虚拟球类游戏的动态体积渲染的装置、过程或技术相组合。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于应用体积投影来提供对几何框架周围的预定半径内的一个或多个人的NUI输入作出实时反应的虚拟化身的装置、过程或技术相组合。

在附加实现中，是经由用于将多个相邻显示表面接合在一起以形成毗邻几何框架的周界和顶部的装置、过程或技术提供了体积显示设备。体积显示设备应用计算设备来将毗邻体积投影渲染成跨每一相邻显示表面的每一相邻边缘的无缝包装。该计算设备被进一步应用来接收传感器数据以跟踪几何框架周围的预定半径内的一个或多个人的位置。另外，计算设备被应用以响应于所跟踪的位置来动态地适应毗邻体积投影，使得在一个或多个人绕几何框架的外部移动时毗邻体积投影内的对象相对于他们看起来占据该几何框架内的空间中的恒定位置。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于应用计算设备来接收来自预定半径内的人中的一者或多者的自然用户界面(NUI)输入的装置、过程或技术相组合。

此外，在先前段落中的任一者中描述的实现也可与一个或多个附加实现或替换方案相组合。例如，前述实现中的一些或全部可以与用于应用计算设备来响应于NUI输入中的一者或多者动态地适应毗邻体积投影的装置、过程或技术相组合。

5.0 示例性操作环境：

本文所描述的PiMovs系统可在多种类型的通用或专用计算系统环境或配置内操作。图14示出其上可实现此处描述的PiMovs系统的各实现和元素的通用计算机系统的简化示例。应当注意，图14中由折线或虚线所表示的任何框表示简化计算设备的替换实现，并且以下描述的这些替换实现中的任一个或全部可以结合贯穿本文所描述的其他替换实现来使用。

例如，图14示出了概括系统图，其示出简化计算设备1400。能与PiMovs系统一起操作的这样的设备的示例包括但不限于便携式电子设备、可穿戴计算设备、手持式计算设备、膝上型或移动计算机、通信设备(诸如蜂窝电话、智能电话以及PDA)、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、音频或视频媒体播放器、手持式遥控设备，等等。还要注意，可以用与各种各样的电子设备或对象通信或以其他方式耦合到这些电子设备或对象的任何触摸屏或触敏表面来实现PiMovs系统。

为允许设备实现PiMovs系统，计算设备1400应当具有足够的计算能力和系统存储器以启用基本计算操作。另外，计算设备1400可包括一个或多个传感器1405，包括但不限于加速度计、相机、电容式传感器、邻近度传感器、话筒、多频谱传感器，等等。此外，计算设备1400还可包括用于实现PiMovs系统的各种实现的可任选的系统固件1425(或其他固件或处理器可访问存储器或存储)。

如图14所示，计算设备1400的计算能力一般由一个或多个处理单元1410示出，并且还可包括一个或多个GPU 1415，处理单元与GPU中的任一者或两者均与系统存储器1420通信。注意，计算设备1400的处理单元1410可以是专用微处理器，如DSP、VLIW、或其他微控制器、或可以是具有一个或多个处理核的常规CPU，包括多核CPU中的专用的基于GPU的核。

另外，简化计算设备1400还可包括其他组件，诸如例如通信接口1430。简化计算设备1400还可包括一个或多个常规计算机输入设备1440(例如，触摸屏、触敏表面、定点设备、键盘、音频输入设备、基于语音或话音的输入和控制设备、视频输入设备、触觉输入设备、用于接收有线或无线数据传输的设备等)或这样的设备的任何组合。

类似地，与简化计算设备1400以及与PiMovs系统的任何其他组件或特征的各种交互(包括输入、输出、控制、反馈)以及对与PiMovs系统相关联的一个或多个用户或其他设备或系统的响应是通过各种自然用户界面(NUI)场景来启用的。PiMovs系统所启用的NUI技术和场景包括但不限于允许一个或多个用户以“自然的”方式与PiMovs系统交互的界面技术，而没有输入设备(诸如鼠标、键盘、遥控器等等)所施加的人工约束。

这样的NUI实现是通过使用各种技术来启用的，包括但不限于使用从经由话筒或其他传感器捕捉的用户讲话或发声导出的NUI信息。这样的NUI实现还通过使用各种技术来启用，包括但不限于从用户面部表情导出的信息，从使用诸如2D或深度相机(例如，立体或飞行时间相机系统、红外相机系统、RGB相机系统、这些设备的组合，等等)等成像设备捕捉的用户手、手指、腕、臂、腿、身体、头部、眼睛等的位置、运动或取向导出的NUI输入。进一步示例包括但不限于从触摸和指示笔识别、姿势识别(屏幕上以及邻近屏幕或显示器表面两者)、基于空中或接触的姿势、用户触摸(在各种表面、对象或其他用户上)、基于悬停的输入或动作等等导出的NUI信息。另外，NUI实现还包括但不限于使用单独地或与其他NUI信息相组合地评估当前或过去用户行为、输入、动作等以预测诸如用户意图、愿望和/或目标等信息的各种预测机器智能过程。不管基于NUI的信息的类型或源如何，这样的信息随后被用来发起、终止、或以其他方式控制或与PiMovs系统的一个或多个输入、输出、动作或功能特征交互。

然而，还应当理解，这样的NUI场景可通过将对人工约束或附加信号的使用与NUI输入的任何组合相组合来被进一步扩充。这样的人工约束或附加信号可由输入设备(诸如鼠标、键盘、遥控器)或由各种远程设备或用户佩戴的设备(诸如加速度计、用于接收表示由用户的肌肉所生成的电信号的肌电信号的肌电传感器、心率监视器、用于测量用户排汗的电流皮肤传导传感器、用于测量或以其他方式感测用户脑活动或电场的可穿戴生物传感器或远程生物传感器、用于测量用户体温变化或差异的可穿戴生物传感器或远程生物传感器，等等)施加或生成。从这些类型的人工约束或附加信号导出的任何这样的信息可以与任何一个或多个NUI输入相组合以发起、终止或以其他方式控制或与PiMovs系统的一个或多个输入、输出、动作、或功能特征交互。

简化计算设备1400还可包括其他可任选组件，诸如例如一个或多个常规计算机输出设备1450(例如，显示设备1455、音频输出设备、视频输出设备、用于传送有线或无线数据传输的设备等)。注意，用于通用计算机的典型通信接口1430、输入设备1440、输出设备1450和存储设备1460是本领域技术人员所公知的，且将不在此详细描述。

简化计算设备1400还可包括各种计算机可读介质。计算机可读介质可以是可经由存储设备1460访问的任何可用介质，并且包括是可移动1470和/或不可移动1480的易失性和非易失性介质，该介质用于存储诸如计算机可读或计算机可执行指令、数据结构、程序模块或其他数据等信息。

作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质指计算机或机器可读介质或存储设备，诸如DVD、CD、软盘、磁带驱动器、硬盘驱动器、光盘驱动器、固态存储器设备、RAM、ROM、EEPROM、闪存或其他存储器技术、磁带盒、磁带、磁盘存储或其他磁存储设备、或可用于存储所需信息并且可由一个或多个计算设备访问的任何其他设备。

相反，诸如计算机可读或计算机可执行指令、数据结构、程序模块等信息的存储或保持还可通过使用各种上述通信介质中的任一种来编码一个或多个已调制数据信号或载波或其他传输机制或通信协议来实现，并且包括任何有线或无线信息传递机制。注意，术语“已调制数据信号”或“载波”一般指以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。例如，通信介质包括诸如有线网络或直接线连接等携带一个或多个已调制数据信号的有线介质，以及诸如声学、RF、红外线、激光和其他无线介质等用于传送和/或接收一个或多个已调制数据信号或载波的无线介质。上述中任一组合也应包括在通信介质的范围之内。

此外，可以按计算机可执行指令或其他数据结构的形式存储、接收、传送或者从计算机或机器可读介质或存储设备和通信介质的任何所需组合中读取具体化本文描述的PiMovs系统的各种实现中的部分或全部的软件、程序和/或计算机程序产品或其各部分。

最后，本文所描述的PiMovs系统还可在由计算设备执行的诸如程序模块等计算机可执行指令的一般上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。

本文描述的各实现还可以在其中任务由通过一个或多个通信网络链接的一个或多个远程处理设备执行或者在该一个或多个设备的云中执行的分布式计算环境中实施。在分布式计算环境中，程序模块可位于包括媒体存储设备的本地和远程计算机存储介质两者中。另外，上述指令可以部分地或整体地作为可以包括或不包括处理器的硬件逻辑电路来实现。

替代地或另外地，本文中描述的功能性中的一些或全部可至少部分地由一个或多个硬件逻辑组件来执行。例如、但非限制，可使用的硬件逻辑组件的说明性类型包括场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)、等等。

以上对PiMovs系统的描述是出于说明和描述的目的而提供的。这并不旨在穷举所要求保护的主题或将其限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。此外，应当注意，可以按所需的任何组合使用上述替换实现的任一个或全部以形成PiMovs系统的附加混合实现。本发明的范围并不旨在由该“具体实施方式”来限定，而是由所附权利要求书来限定。尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述特定特征和动作是作为实现权利要求书的示例形式而公开的，并且其他等价特征和动作旨在处于权利要求书的范围内。