基于人类身体数据的空间雕刻的制作方法
【专利说明】基于人类身体数据的空间雕刻
[0001]背景
[0002]近眼显示器(NED)设备(诸如头戴式显示器(HMD)设备)可由用户佩戴以用于增强现实(AR)体验，混合现实或虚拟现实(VR)体验。在玩游戏或其中用户或虚拟对象在用户环境中移动的其他活动中，标识场所中现实对象的形状和位置的环境的三维的(3D)、详细的映射可被用来标识虚拟对象可被置于何处和移动至何处，就好像它们是真实的那样。例如，现实对象不会穿过沙发，而看见虚拟对象这么做的用户接收到打断AR或VR体验的令人分心的不真实深度的提示。详细的映射像空间的非常密集的3D表面网格表示，允许真实体验但计算昂贵，特别是对于近眼显示器(NED)系统的可用计算机资源而言。
[0003]概述
[0004]该技术提供基于穿过佩戴近眼显示器(NED)系统的一个或多个用户的用户环境中的移动来对用户环境进行空间雕刻的一个或多个实施例。另外，在一些实施例中，人类空间雕刻数据可被用于减少用于更高级的映射技术的处理。
[0005]该技术提供基于穿过佩戴近眼显示器(NED)系统的一个或多个用户的用户环境中的移动来对用户环境进行三维(3D)空间雕刻的方法的一个或多个实施例。该方法的一个实施例包含由一个或多个处理器基于用户身体特征(包括用户高度和用户身体宽度)以及来自所述近眼显示器(NED)系统上的一个或多个传感器的传感器数据来标识用户环境中的一个或多个可导航路径。由一个或多个用户通过的一个或多个可导航路径的重叠部分被合并，且一个或多个可导航路径的位置和空间尺寸被存储为所述用户环境的3D空间雕刻模型中的人类空间雕刻数据中的雕刻出的空间。
[0006]所述技术提供了近眼显示器(NED)系统的一个或多个实施例。NED系统的一个实施例包含近眼支撑结构，和由该近眼支撑结构支撑并具有与用户视野近似的视野的近眼显示器(NED)。与一个或多个传感器通信耦合的一个或多个处理器也由所述近眼支撑结构支撑，且所述一个或多个处理器基于来自所述一个或多个传感器的加时戳的传感器数据而确定佩戴所述NED系统的用户的移动距离和方向。所述一个或多个处理器基于所确定的距离和方向来标识由用户通过的一个或多个可导航路径。一个或多个处理器将表示用户环境的3D空间雕刻模型中标识的一个或多个可导航路径的空间雕刻数据存储于可访问存储器中。
[0007]该技术提供一个或多个处理器可读存储设备的一个或多个实施例，所述一个或多个处理器可读存储设备包含使得一个或多个处理器执行基于穿过佩戴近眼显示器(NED)系统的一个或多个用户的用户环境的移动来对用户环境进行三维(3D)空间雕刻的方法的指令。所述方法的实施例包含由一个或多个处理器基于用户身体特征(包括用户高度和用户身体宽度)以及来自所述近眼显示器(NED)系统上的一个或多个传感器的传感器数据来标识用户环境中的被佩戴NED系统的一个或多个用户通过的一个或多个可导航路径。由一个或多个用户通过的一个或多个可导航路径的重叠部分被合并，且一个或多个可导航路径的位置和空间尺寸被存储为所述用户环境的3D空间雕刻模型中的人类空间雕刻数据中的雕刻出的空间。用户环境的空间雕刻状态的可视表示由NED显示为给用户的反馈。
[0008]提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在被用来帮助确定所要求保护的主题的范围。
[0009]附图简述
[0010]图1是描绘近眼显示器(NED)系统的一实施例的各示例组件的框图。
[0011 ] 图2A是具有光学透视AR显示器的NED设备的一实施例中的框架的眼镜镜腿的侧视图，该NED设备被具体化为提供对硬件和软件组件的支持的眼镜。
[0012]图2B是NED设备的实施例的显示光学系统的一实施例的俯视图。
[0013]图3是从软件角度看的基于穿过佩戴近眼显示器(NED)系统一个或多个用户的用户环境的移动来对用户环境进行3D映射的系统的实施例的框图。
[0014]图4是基于穿过佩戴近眼显示器(NED)系统的一个或多个用户的用户环境的移动来对用户环境进行三维(3D)空间雕刻的方法的实施例的流程图。
[0015]图5是生成所述用户环境的经3D空间雕刻的映射的过程的实施例的流程图。
[0016]图6是更新所述用户环境的3D表面重构模型的过程的实施例的流程图。
[0017]图7A和7B示出将可导航路径在路径位置上的空间尺寸表示为具有基于用户高度和用户宽度的尺寸的二维小块的示例。
[0018]图7C示出表示可包括转向的导航路径的空间尺寸的另一个示例。
[0019]图8是基于用户的身体特征(包括用户高度和用户身体宽度)在用户环境中标识由佩戴所述NED系统的一个或多个用户所通过的一个或多个可导航路径的过程的实施例的流程图。
[0020]图9示出向佩戴近眼显示器(NED)系统的用户提供基于游戏的激励以帮助对用户环境进行空间雕刻的示例。
[0021]图10示出由未雕刻空间覆盖图表示的由NED系统在雕刻过程中作为反馈显示给用户的空间雕刻状态的用户视图的示例。
[0022]图11示出由雕刻出空间覆盖表示的由NED系统在雕刻过程中作为反馈显示给用户的空间雕刻状态的用户视图的示例。
[0023]图12是可用于实现网络可访问的计算系统、伴随处理模块或近眼显示器设备的控制电路系统的计算系统的一个实施例的框图。
[0024]详细描述
[0025]该技术提供基于穿过佩戴近眼显示器(NED)系统用户的一个或多个用户环境的移动来使用用户环境的空间雕刻的一个或多个实施例。基于来自该NED系统上的一个或多个传感器的加时戳的传感器数据，佩戴所述NED系统的用户的移动距离和方向可被确定，被用户通过的一个或多个可导航路径可基于随时间跟踪的移动的所确定的距离和方向被标识。人类身体数据诸如通过路径的一个或多个用户的高度和宽度可被用来表示路径的空间尺寸。传感器数据的一些示例是运动跟踪传感器，如三轴加速度计数据、磁力计数据和陀螺仪数据。在一些实施例中，可以使用全球定位系统(GPS)数据。来自图像传感器的图像数据也可被用于位置跟踪，但计算花费的时间将比运动跟踪传感器更长。
[0026]3D映射的人类空间雕刻数据以相比于基于人类实际通过的雕刻出的路径的深度数据的3D表面重构而言更低的计算复杂度来确定并具有对导航路径的标识的更高的可靠度。例如，玻璃或镜面墙或地板是3D表面重构中的问题。例如在一个购物商场中，来自深度相机的红外(IR)发射标识了窗口的商品而没有标识商品前面的玻璃。然而，空间雕刻数据指出不存在穿过所述窗口的路径。附加地，已被一个或多个用户随时间雕刻出的空间可用空间雕刻模型来表示。
[0027]在人类空间雕刻情况下，初始假设为世界充满了物质，无论人走到哪里，假设被违反，代表用户的高度和宽度的空间被雕刻出来。相反，3D表面重构不对世界做任何假设，比如它是否是满的或它是否是空的。间距和对象位置是基于通过深度数据对对象的检测。对空间雕刻，存在从所述“物质”到空空间的转换，而对3D表面重构存在由对象边界指示的转换。空间雕刻的转换可与3D表面重构的转换有关。空间雕刻数据可阐明深度测量的置信度值，并帮助更快地建立所述3D表面重构(例如，网格重构)。在一些实施例中，空间雕刻的一个或多个应用为用户提供激励以协助雕刻出空间。
[0028]图1是描绘近眼显示器(NED)系统的实施例的各示例组件的框图。在所例示出的实施例中，系统8包括作为头戴式显示器(HMD)设备2并且经由线缆6通信地耦合至被标识为伴随处理模块4的另一计算机系统的近眼显示器(NED)设备。在其他实施例中，在NED设备2和伴随处理摸块4之间的无线通信可被使用。在其他实施例中，伴随处理模块4的功能可被集成在显示设备2的软件和硬件组件中。
[0029]在这些实施例中，NED设备2采用框架115眼镜的形状，其中相应的显示器光学系统141、14r位于NED设备的前部以在NED被用户佩戴时由每一只眼睛透视。在这一实施例中，每一显示器光学系统141、14r使用投影显示器，其中图像数据被投影到用户眼睛中以生成图像数据的显示，从而使得该图像数据对于用户而言看上去位于用户前方的三维视野中的位置处。每个显示器光学系统141，14r也被称为显示器，并且两个显示器光学系统14一起也可以被称为显示器。
[0030]在这些实施例中，框架115提供方便的眼镜框架作为用于将NED设备2的各元件保持在原位的近眼支撑结构以及用于电连接的管道。框架115包括具有用于记录声音并向控制电路136传送音频数据的话筒110的鼻梁架104。框架的镜腿或侧臂102抵靠在用户的每个耳朵上，并且在该示例中，右侧臂102r被例示为包括用于NED设备2的控制电路系统 136。