混合现实体验共享的制作方法
【专利说明】混合现实体验共享
[0001]
[0002]混合现实或增强现实现显示设备，诸如头戴式显示设备)可被用在各种真实世界环境和上下文中。这样的设备可包括用于从周围环境中收集数据(诸如图像、深度信息、音频等)的各种传感器。混合现实设备的用户可通过在进行体验时收集数据来捕捉各种体验。
[0003]—人可能希望查看当前体验和/或重新体验由混合现实设备的多个用户捕捉的一个或多个体验。类似地，这种设备的一个或多个用户可能希望与第三方共享体验。不幸的是，以有利于方便地共享丰富混合现实体验的方式来组合并管理来自多个混合现实设备的数据的能力至今受到限制。
[0004]概沭
[0005]本文公开了涉及呈现物理环境的纹理化共享世界模型以供显示设备显示的各种实施例。例如，一个公开的实施例提供用于经由显示设备呈现物理环境的纹理化共享世界模型的方法。该方法包括接收地理定位在物理环境处并包括深度信息的众包的结构数据项。众包的结构数据项被缝合在一起以生成物理环境的3D空间共享世界模型。
[0006]地理定位在物理环境处的众包的纹理数据项也从多个源被接收。纹理数据项中的每一个包括被打上时间戳的图像或被打上时间戳的视频。时间过滤参数的用户输入被接收并被用于过滤众包的纹理数据项以生成纹理数据项的在时间上过滤了的子组。众包的纹理数据项的在时间上过滤了的子组被应用到物理环境的3D空间共享世界模型的表面来生成物理环境的纹理化共享世界模型。物理环境的纹理化共享世界模型接着被提供到显示程序以供显示设备显示。
[0007]提供本概述是为了以精简的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
[0008]附图简沐
[0009]图1是根据本公开的一实施例的混合现实体验共享系统的示意图。
[0010]图2示出根据本公开的一实施例的示例头戴式显示设备。
[0011]图3是呈现在图形用户界面中的时间过滤选择器的示意图。
[0012]图4A是其中佩戴头戴式显示设备的用户所处于的宾馆大堂和酒吧的示意图。
[0013]图4B是图4A的宾馆大堂和酒吧在较早的日期和时间时的示意图。
[0014]图5A和5B是用于根据本发明的一实施例来呈现物理环境的纹理化共享世界模型的方法的流程图。
[0015]图6是计算系统的一实施例的简化示意图解。
【具体实施方式】
[0016]图1显示了混合现实体验共享系统10的一个实施例的示意图。混合现实体验共享系统10包括可被存储在计算设备22的大容量存储18中的混合现实体验共享程序14。混合现实体验共享程序14可被加载到存储器24中并由计算设备22的处理器26执行以执行下文更为详细地描述的方法和过程中的一个或多个。
[0017]计算设备22可采用以下形式:网络计算机、家庭娱乐计算机、台式计算设备、诸如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备或其他合适类型的计算设备。关于计算设备22的组件和计算方面的附加细节在下文中参考图6更详细地描述。
[0018]如以下更加详细解释的，混合现实体验共享程序14可从多个源接收包括地理定位的结构数据项28和地理定位的纹理数据项30的众包数据。如图1中显示的，在一个示例中，这样的众包数据可涉及物理环境32以及该环境的被数据捕捉设备捕捉的各方面。地理定位的结构数据项28可包括但不限于，与物理环境32中的结构、对象和对应的表面有关的深度信息。地理定位的纹理数据项30可包括但不限于，光、静止和视频图像以及可被应用到在地理定位的结构数据项28中所表示的表面的其他数据项。地理定位的纹理数据项30还可包括与物理环境32有关的其他数据项，诸如从物理环境中记录的音频以及在物理环境中地理定位的全息图和其他虚拟图像。
[0019]众包的地理定位的结构数据项28和地理定位的纹理数据项30可被多个捕捉设备捕捉并可经由一个或多个网络连接(未显示)从这样的设备中接收。捕捉设备中的一个或多个可采取将图像递送到用户54的眼睛的头戴式显示(HMD)设备34的形式。在这个示例中，HMD设备34包括显示程序38被存储在其上的计算设备36。显示程序38可生成虚拟环境以供经由显示系统40显示来创建混合现实环境。虚拟环境可包括一个或多个虚拟图像，诸如二维(2D)虚拟对象和三维(3D)全息对象。关于计算设备36的组件和计算方面的附加细节在下文中参考图6更详细地描述。
[0020]现在还参考图2，提供了一副具有透明显示器202的可配戴眼镜形式的HMD设备200的示例。将明白，在其他示例中，HMD设备200可以采取其他合适的形式，其中透明、半透明或不透明显示器被支撑在查看者的一只或两只眼睛前方。还将明白，图1中所示的HMD设备34可以采取HMD设备200的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。另外，在本公开的范围内还可使用具有各种形状因子的许多其他类型和配置的捕捉设备。这样的捕捉设备可包括但不限于，数码相机、数码摄像机、深度相机、智能电话、平板计算机和其他合适的捕捉设备以及上述捕捉设备的组合。
[0021]参考图1和2，在这一示例中，HMD设备34包括显示系统40和使图像能够被递送到用户的眼睛的透明显示器202。透明显示器202可被配置成针对透过该透明显示器查看物理环境32的用户54视觉地增强该物理环境32的外观。例如，物理环境32的外观可以由经由透明显示器202呈现的图形内容(例如，一个或多个像素，每一像素具有相应色彩和亮度)来增强以创建混合现实环境。
[0022]透明显示器202还可被配置成使用户54能够透过显示虚拟对象表示的一个或多个部分透明的像素来查看物理环境32中的物理现实世界对象。在一个示例中，透明显示器202可包括位于透镜204内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器202可包括在透镜204边缘上的光调制器。在这一示例中，透镜204可以担当光导以供将光从光调制器递送到用户54的眼睛。这样的光导可以使用户54能够感觉3D全息图像位于用户正在查看的物理环境32内，同时还允许用户查看物理环境中的物理对象。
[0023]如以上提到的，HMD设备34还包括用于捕捉来自物理环境32的数据的各种传感器、组件和相关系统。例如，HMD设备34包括利用至少一个面向外的传感器212(如光学传感器)的光学传感器系统42。面向外的传感器212可以检测其视野内的移动，如视野内的用户或人或物理对象所执行的基于姿势的输入或其他移动。面向外的传感器212还可从物理环境32和该环境内的物理对象捕捉二维图像信息和深度信息。例如，面向外的传感器212可包括深度相机、可见光相机、红外光相机，和/或位置跟踪相机。如在以下更加详细讨论的，这样的图像信息可以以地理定位的纹理数据项30’的形式被递送到混合现实体验共享程序14。这样的深度信息还可以以地理定位的结构数据项28’的形式被递送到混合现实体验共享程序14。
[0024]HMD设备34包括用于感测和生成深度信息的一个或多个深度相机。在一个示例中，每一深度相机可包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生具有深度分辨的视频形式的深度信息。
[0025]在其他示例中，结构化光深度相机可被配置成投影结构化红外照明并对从照明被投影到其之上的场景中反射的该照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。在其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲的红外照明投影到该场景上以及检测从该场景反射的照明。可以理解，在本发明的范围内可使用任意其他合适的深度相机。
[0026]HMD设备34还可包括位置传感器系统44，该位置传感器系统44利用一个或多个