用于定位和地图创建的增强现实系统和方法与流程

以下内容一般涉及用于增强和虚拟现实环境的系统和方法，更具体而言，涉及用于基于物理环境地图创建虚拟或增强环境并且在头戴装置上显示虚拟或增强环境的系统和方法。

背景技术：

随着可穿戴技术和3维(3D)渲染技术的出现，增强现实(AR)和虚拟现实(VR)可视化的应用范围增大。AR和VR依靠连续的混合现实可视化存在。

技术实现要素：

在一些实施例中，描述了一种用于地图创建佩戴可穿戴显示器用户周围的物理环境以增强现实的方法。该方法包括：(i)通过设置在用户上的至少一个深度摄像机来捕获物理环境的深度信息；(ii)通过处理器获得深度信息，确定至少一个深度摄像机相对于可穿戴显示器的方向，并且基于至少一个深度摄像机的方向为物理环境的地图中的深度信息分配坐标。

在另一些实施例中，描述了一种用于地图创建佩戴可穿戴显示器用户周围的物理环境以增强现实的系统。该系统包括：(i)设置在所述用户上的至少一个深度摄像机，用来捕获物理环境的深度信息；以及(ii)与至少一个深度摄像机通信的至少一个处理器，用于从至少一个深度摄像机获得深度信息，确定至少一个深度摄像机相对于可穿戴显示器的方向，并且基于至少一个深度摄像机的方向为物理环境的地图中的深度信息分配坐标。

在又一些实施例中，描述了用于显示渲染的图像流和在至少一个图像摄像机的视场中捕获的物理环境的区域的物理图像流以增强现实的系统，该至少一个图像摄像机设置在佩戴了可穿戴显示器的用户上。所述系统包括处理器，其配置成：(i)获得物理环境的地图；(ii)确定物理环境内的可穿戴显示器的方向和位置；(iii)由可穿戴显示器的方向和位置，确定在至少一个图像摄像机的视场中捕获的物理环境的区域；(iv)确定地图的对应于物理环境的被捕获区域的区域；以及(iv)为地图的对应区域生成包括增强现实的渲染流。

在再一些实施例中，描述了用于显示渲染的图像流和在至少一个图像摄像机的视场中捕获的物理环境的区域的物理图像流以增强现实的方法，该至少一个图像摄像机设置在佩戴了可穿戴显示器的用户上。所述方法包括，通过处理器：(i)获得物理环境的地图；(ii)确定物理环境内的可穿戴显示器的方向和位置；(iii)由可穿戴显示器的方向和位置，确定在至少一个图像摄像机的视场中捕获的物理环境的区域；(iv)确定地图的对应于物理环境的被捕获区域的区域；以及(iv)为地图的对应区域生成包括增强现实的渲染流。

附图说明

参考附图将更好地理解实施例，其中：

图1图示了头戴显示器(HMD)装置的实施例；

图2A图示了具有单个深度摄像机的HMD的实施例；

图2B图示了具有多个深度摄像机的HMD的实施例；

图3是图示了使用一个深度摄像机地图创建物理环境的方法的流程图；

图4是图示了使用深度摄像机和方向检测系统地图创建物理环境的另一种方法的流程图；

图5是图示了使用多个深度摄像机地图创建物理环境的方法的流程图；

图6是图示了使用至少一个深度摄像机和至少一个图像摄像机地图创建物理环境的方法的流程图；

图7是图示了使用至少一个深度摄像机和/或至少一个成像摄像机确定物理环境中HMD的位置和方向的方法的流程图；

图8是图示了基于物理环境中的HMD的位置和方向生成物理环境的渲染的图像流的方法的流程图；以及

图9是图示了通过同时显示物理环境的物理图像流和渲染的图像流来显示物理环境的增强现实的方法。

具体实施方式

将要理解的是，为了说明简单和清楚起见，认为合适的地方，参考标记可以在附图间重复以指示对应的或相似的元件。另外，陈述了许多具体细节以提供对本文描述的实施例的透彻理解。然而，本领域技术人员将要理解可以不通过这些特定细节来实施本文描述的实施例。在其他例子中，没有详细描述众所周知的方法、过程和部件，以免模糊本文描述的实施例。而且，不认为说明书限制本文描述的实施例的范围。

还要理解，本文示例的执行指令的任何模块、单元、部件、服务器、计算机、终端或设备可以包括或者否则可以利用计算机可读介质(诸如存储介质)，计算机存储介质或数据存储设备(可移除和/或不可移除)(例如，磁盘、光盘或磁带)。计算机存储介质可以包括以任何用于存储信息，如计算机可读指令、数据结构、程序模块或其他数据的方法或技术实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质的实例包括RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用光盘(DVD)或其他光线存储装置、磁带盒、磁带、磁盘存储装置或其他磁性存储设备、或能够用于存储所需信息并能够由应用、模块或两者访问的任何其他介质。任何这种计算机存储介质可以是设备的一部分或者可以由该设备访问或链接至该设备。本文描述的任何应用和模块可以使用可通过这种计算机可读基质存储或保留并且通过一个或多个处理器执行的计算机可读/可执行指令。

本公开针对用于增强现实(AR)的系统和方法。然而，本文所用的术语“AR”可以涵盖几个意思。在本公开中，AR包括：用户与真实物理对象和结构以及叠加在其上的虚拟对象和结构的互动；以及用户与一组完全虚拟的对象和结构的互动，该虚拟对象和结构被生成以包括物理对象和结构的渲染，并且可以符合对其应用了虚拟对象和结构的物理环境的成比例版本，这替代地被称作“增强的虚拟现实”。而且，可以一起去除虚拟对象和结构，AR系可以向用户显示仅包括物理环境的图像流的物理环境的版本。最后，熟练的技术人员还将理解到通过丢弃物理环境的方面，本文呈现的系统和方法也适用于虚拟现实(VR)应用，这可以被理解为“纯”VR。为了技术人员的方便，下文指“AR”，但是理解为包括熟练的技术人员认可的全部前述和其它变形。

由位于物理环境中的用户佩戴的头戴显示器(HMD)或其他可穿戴显示器可以包括显示系统，并且与以下通信：设置在HMD上或内的或者由用户佩戴(或者设置在其上)的至少一个深度摄像机，用于生产物理环境的深度信息；设置在HMD上或内的或者远离HMD的至少一个处理器(诸如，例如中央控制台的处理器，或者服务器)，用于由深度信息生成物理环境的地图。处理器可以将地图生成为，例如点云，其中点对应于所获得的物理环境的深度信息。

从绑定到用户的扫描系统地图创建物理环境可以称作由内向外地图创建或者第一人视角地图创建。相比之下，由内向外地图创建涉及从位于物理环境中并针对朝向一个或多个用户的扫描的一个或多个扫描系统来地图创建物理环境。已经发现，通过使用户不受约束地在整个物理环境内移动可以提高与AR的用户衔接。由内向外地图创建可以提供更大的移植性，因为物理环境的地图创建是通过绑定至用户的设备而非物理环境来执行。

处理器进一步包括AR(还称作“渲染的”)图像流，并且将AR图像流提供给显示系统以显示给用户，AR图像流包括地图的计算机成像(CGI)。处理器可以连续地采用渲染的图像流来对应用户在物理环境内的实际位置和方向。因此，处理器可以从深度摄像机获得实时的深度信息，从而确定用户在物理环境内的实时方向和位置，如此处更详细地描述。处理器将渲染的图像流提供给显示系统以显示给用户。

HMD的显示系统可以向用户显示物理环境的图像流，本文还称作“物理图像流”。显示系统直接地或通过处理器从设置在HMD或用户上的至少一个图像摄像机获得图像流。该至少一个图像摄像机可以是可操作以捕获物理环境的数字格式的虚拟图像的任何合适的图像捕获设备，诸如，例如云摄像机或视频摄像机。操作时，该至少一个图像摄像机动态地捕获物理图像流以传输给显示系统。

显示系统可以进一步同时显示至少一个图像摄像机提供的物理图像流以及从处理器获得的渲染的图像流。本文描述了进一步的系统和方法。

现在参考图1，示出了配置为头盔的示例HMD 12，然而，其他配置也可以想到。HMD 12包括：与一个或多个以下部件通信的处理器130：(i)用于捕获物理环境的深度信息的至少一个深度摄像机127(例如，飞行时间摄像机)，和用于捕获物理环境的至少一个物理图像流的至少一个图像摄像机123；(ii)至少一个显示系统121，用于向用户显示HMD 12的AR或VR和/或物理环境的图像流；(iii)用于将电力分配给部件的至少一个电源管理系统113；(iv)包括例如触觉反馈设备120的、用于向用户提供传感反馈的至少一个传感反馈系统；以及(v)具有音频输入和输出以提供音频交互的音频系统124。处理器130可以进一步包括无线通信系统126，其具有例如天线，以便与AR和/或VR系统内的其他部件，例如，其他HMD、游戏控制器、路由器或至少一个外围设备13通信，从而提高与AR和/或VR的用户衔接。电源管理系统可以包括为HMD生成电力的电池，或者它可以通过到HMD的无线连接从远离HMD的电源获得电力，诸如，例如从设置在用户上或者位于物理环境内的电池组。

在某些应用中，用户观看包括物理环境的完全渲染的版本的AR(即，“增强的VR”)。在这种应用中，用户可以仅基于在用户的HMD 12的显示系统121中显示给用户的渲染确定物理环境中的障碍和边界的位置。

如图2A和图2B所示，HMD 212可以包括显示系统221和至少一个深度摄像机227，二者均与如下配置的处理器230通信：从至少一个深度摄像机227获得深度信息，从深度信息地图创建物理环境，并且为物理环境内确定HMD 212的大致实时位置信息；以及基于实时位置信息为地图生成渲染的图像流。如图2A所示，HMD 212包括单个深度摄像机227，或如图2B所示，包括多个深度摄像机227。如果HMD 212安装有多个深度摄像机227，多个深度摄像机227可以设置成彼此成角度或者在相对于彼此允许图像摄像机组合进行捕获的其他方向，可以捕获比单个深度摄像机227更宽的视场。例如，如图2B所示，图2B示出的四个深度摄像机227基本相对彼此正交定向，并且相对于HMD 212向外朝向物理环境。如所配置，四个深度摄像机捕获物理环境位于深度摄像机227的视场焦点外部的区域的360度视野。四个深度摄像机227的每一个都具有足够宽的视场，以便与其邻近的深度摄像机227中每一个的视场相交。将理解到通过虚线在图2A和图2B中图示了深度摄像机227的每一个的视场，虚线沿每个箭头的方向从HMD 212向外从每个深度摄像机227延伸。

如果HMD 212的至少一个深度摄像机227具有HMD 212周围小于360度的组合视场，如图2A所示，如果当至少一个深度摄像机227连续捕获物理空间的深度信息时，佩戴HMD 212的用户在物理环境中做旋转以及可能的平移，则可以获得物理空间的360度视野。然而，在用户旋转期间，用户的头可能前后左右倾斜，使得连续捕获的信息在旋转过程中以不同角度捕获。因此，处理器可以调用拼接方法，如以下所述，沿着旋转将深度信息对准。

如图3所示，在方框300处，HMD上的深度摄像机捕获物理空间在时间t＝0时的深度信息。在方框301处，深度摄像机捕获物理空间在时间t＝1时的深度信息。连续捕获的深度信息可以理解为一系列的帧，其表示针对离散的时间单位所捕获的深度信息。

在方框303处，处理器接收在用户旋转期间将在方框300和301处获得的深度信息以及“拼接”在用户旋转期间接收的深度信息。拼接包括对其连续捕获的深度信息中后续的帧以创建基本上无缝的地图，如本文参照方框303和305所概述。

在时间t＝0在深度摄像机的视场内捕获的物理空间的区域由图像320图示；类似地，在时间t＝1在深度摄像机的视场内捕获的物理空间的区域由图像321图示。将理解到捕获图3中示出的序列的用户必须已经在时间t＝0和t＝1之间向上旋转其头部。仍然在方框303处，处理器使用在方框300处获得的深度信息作为在方框301处获得的深度信息的参考。例如，图像320中示出的电视具有标记330表示的右上角。类似地，图像321中示出的相同电视具有标记331限定的右上角。而且，在两幅图像中，标记下方的区域由具有深度轮廓的壁限定。处理器识别对应于标记330和331的共享地形。在方框305处，处理器基于在方框303处识别的共享地形特征，使用在方框300处捕获的深度信息作为在方框301处捕获的深度信息的参考来生成物理环境的地图。例如，如果处理器基于在方框300处捕获的深度信息将坐标x_tr、y_tr、z_tr分配给电视的右上角，处理器然后将相同的坐标分配给在方框301处捕获的深度信息的同一角。处理器由此建立了地图创建在方框301处获得的其余深度信息的参考点。处理器对于时间t＞1时深度捕获的其他情形重复在方框303和305处执行的处理，直到深度摄像机已经获得全360度深度信息。

将理解到如果不是识别后续深度信息捕获所共有的单个地形特征，而是处理器识别帧之间一个以上的共有地理特征，精度可以提高。而且，可以提高捕获频率来提高精度。

替代地，或者另外，为了识别由至少一个深度摄像机捕获的后续帧之间的共有特征，处理器可以从HMD的方向检测系统获得实时方向信息，如图4所示。HMD可以包括惯性测量单元，诸如陀螺仪或加速计、3D磁定位系统或其他合适的方向检测系统，以在方框311处向处理器提供HMD的方向信息。例如，如果方向检测系统体现为加速计，处理器可以从加速计获得实时加速矢量来计算HMD在一时间点的位置。在方框303A处，处理器将HMD的实时位置和对应的实时深度信息相关联。在方框305处，如前所述，处理器使用在方框300处获得的深度信息作为在方框302处捕获的深度坐标的参考。然而，并非或者除了识别第一捕获的深度信息和随后捕获的深度信息之间的至少一个地形共有元素以外，处理器使用捕获后续信息时HMD的方向变化(如在方框303A处相关联的)来相对于第一捕获深度信息为该后续的深度信息分配坐标。处理器重复步骤303A和305以用于进一步后续捕获的深度信息，直到深度摄像机已获得HMD周围全360度的深度信息，从而生成物理环境的360度地图。

如图2B所示，HMD 212可以包括深度摄像机227的阵列，诸如，例如四个深度摄像机227，配置成获得HMD 212周围全360的物理空间的深度信息，即使HMD 212在深度捕获进行地图创建期间可以保持固定。如图5所示，第一、第二、第三和第四深度摄像机各自分别在方框501、502、503和504处捕获物理环境的深度信息。全部深度摄像机可以基本上同时捕获深度信息。在方框505处，处理器从深度摄像机获得深度信息。处理器通过唯一ID识别每个摄像机机器相应的深度信息。在方框509处，处理器从存储器获得每个深度摄像机相对于HMD的位置，在方框507处，该位置在存储器中与深度摄像机的唯一ID相关联。在方框511处，处理器基于从每个深度摄像机接收的深度信息以及其方向生成物理环境的地图。处理器为深度信息中的每一个点分配地图中的坐标，然而，由于阵列中的每个深度摄像机朝与其他深度摄像机不同的方向定向，处理器通过从处理器地图创建物理环境所依据的参考坐标系统旋转每个深度摄像机来旋转来自每个深度摄像机的深度信息。例如，参考图2B，处理器可以将地图上的点P₁渲染为基点，通过从该点分配地图坐标x，y，z＝0，0，0来确定地图中全部其他点。然后将理解到，生成点P₁的深度信息的前向深度摄像机227可以返回已经与地图坐标对准的深度信息。然而，在方框511处，处理器通过其余深度摄像机各自相对于前向深度摄像机的相对方向调节来自其余深度摄像机的深度信息。在方框513处，处理器由此可以渲染物理环境的地图。

HMD还可以包括至少一个成像摄像机以捕获物理环境的物理图像流。处理器可以通过加上来自物理环境的物理图像流的信息来增强使用来自至少一个深度摄像机生成的物理环境的地图。在根据先前所述的地图创建方法地图创建期间，处理器可以进一步从至少一个成像摄像机获得物理环境的物理图像流，如图6所示。在方框601，至少一个成像摄像机处捕获物理环境的物理图像流。在方框603处，至少一个深度摄像机基本上同时捕获物理环境的深度信息。在方框609处，处理器获得来自至少一个深度摄像机的深度信息以及来自至少一个成像摄像机的物理环境的物理图像流。每个成像摄像机可以具有相对于至少一个深度摄像机在位置、方向和视场方面的预定关系，其在方框605限定在存储器中。在方框607处，处理器获得该限定。在方框609处，处理器基于深度信息和关于捕获相关像素的时间的预定关系将深度数据分配给物理图像流。在方框611处，处理器使用与上述方法相似的对图像适当修改的拼接方法来拼接物理图像流中捕获的物理图像，这与深度数据相反。例如，处理器可以识别后续帧内共有的图形元素或区域。在方框613处，处理器生成物理环境的图像和深度地图。

一旦处理器已经地图创建物理环境，处理器可以追踪由于用户移动产生的用户方向和位置的变化。如图7所示，在方框701处，至少一个图形摄像机继续捕获物理环境的物理图像流。而且或替代地，在方框703处，至少一个深度摄像机继续捕获物理环境的深度信息。在方框705处，处理器继续获得来自实时图像流和深度信息中的每一个或任一个的数据。在方框711处，处理器可以将实时图像流与根据例如以上参照图6描述的方法生成的图像地图进行比较，以为了识别地图创建的区域和图像流共有的图形特征。一旦处理器已经识别共有区域，其确定在对应于图像流的被比较部分(例如，帧)的时间点用户相对于地图的位置和方向。通过确定缩放物理图像流中的图形特征以及将其与图像地图中相同的图形特征对准所需的转化，处理器可以确定用户相对于地图的位置和方向。而且或替代地，处理器可以执行针对从至少一个深度摄像机实时获得的深度信息的相似方法。在方框713处，处理器识别实时深度信息中给定时间点的地形特征，并且识别物理环境的深度地图中系统的地形特征。在方框723处，处理器确定缩放和对准实时深度信息和深度图像之间的地形特征所需的转化，从而确定用户在给定时间点的位置和方向。处理器可以核实在方框721和723处相对彼此确定的位置和方向以解决任何模糊之处，或者核实在方框711和713处识别的共有区域。例如，如果物理环境的图像地图包括图形上相同两个或多个区域，单独的图形比较将为HMD返回对应数量的位置和方向；然而，如图7中的短划线所示，处理器可以使用深度比较来解决错误的图像匹配，反之亦然。

替代地，HMD可以包括本地定位系统和/或方向检测系统，例如，3D磁定位系统，激光定位系统和/或惯性测量单元，以确定用户的实时位置和方向。

增强现实涉及将CGI(也被理解成由处理器生成的渲染)与物理环境的物理图像流相结合。用于AR和VR应用的HMD在图1中示出，如之前所述。显示系统121可以操作以从处理器接收组合的图像流(即，物理图像流和渲染的图像流)，或者以同时从至少一个成像摄像机接收物理图像流并从处理器接收渲染的图像流，从而将AR显示给HMD 12的用户。处理器根据在HMD的显示系统上进行显示的任何适合的渲染技术生成渲染的图像流。渲染的图像流可以包括，例如，物理环境的地图内的CGI。

HMD的显示系统可以显示单独的渲染的图像流(增强的VR)或者覆盖在物理图像流上的渲染的图像流，以结合物理环境的虚拟和地形方面(AR)。

在增强的VR应用中，处理器可以通过在生成渲染的图像流时考虑用户在物理环境内的实时位置和方向来提高用户与物理环境的交互。当用户在物理环境四周移动时，显示给用户的该物理环境的VR将反应用户位置和/或方向的变化。如图8所示，在方框801处，处理器根据任何合适的方法，包括上述的定向和定位方法，来确定用户的HMD的方向和位置。在增强的VR应用中，对应于想象或虚拟摄像机的参数可以在方框803处限定在可由处理器访问的存储器中。例如，想象的摄像机可以在HMD上具有限定的想象视场和相对位置。在方框805处，处理器基于在方框801处获得的方向和位置信息并结合在方框803处限定的摄像机参数来确定地图的哪个区域位于想象摄像机的视场内。在方框807处，处理器生成地图位于该想象视场内的区域的渲染的图像流，包括该区域内的任何CGI。在方框809处，HMD的显示系统可以基本上实时地显示渲染的图像流，其中生成图像就的处理时间是用户的HMD的实际方向和位置与显示的想象方向和位置之间的任何差异的原因。

在AR应用中，HMD的显示系统可以显示覆盖在物理图像流之上或与之结合的渲染的图像流。当至少一个图像摄像机捕获物理环境的图像流时，在任意给定时刻捕获的物理图像流将包括在该时刻位于该摄像机视场内的物理环境的元素。

摄像机获得物理图像流可被传输到用于至显示系统的处理和/或传输的处理器，亦或直接传输到显示系统以显示给用户。

现在参照图9，示出了用渲染的图像流覆盖物理图像流的方法。在方框901处，至少一个图像摄像机捕获物理环境的物理图像流。当至少一个图像摄像机捕获物理图像流时，在方框903处，处理器确定HMD在物理环境中的实时方向和位置。在方框905处，对应于至少一个图像摄像机的视场的参数以及至少一个图像摄像机相对于HMD的位置和方向限定在存储器中。在方框907处，处理器使用HMD的实时方向和位置以及针对至少一个图像摄像机限定的参数来实时确定位于该至少一个图形摄像机的视场内的物理环境的区域。在方框909处，处理器生成包括物理环境的地图的区域内渲染的CGI的渲染的图像流，该区域对应于位于至少一个图像摄像机的市场内的物理环境的区域。渲染的图像流中的区域可以理解为地图中与至少一个图像摄像机具有相同方向、位置和视场的想象摄像机的视场内的区域，因为地图为参考物理环境生成。在方框911处，HMD的显示系统获得渲染的和物理的图像流，并同时显示二者。物理图像流可以被直接提供给显示系统，或者可以首先通过处理器以便随着渲染的图像流组合传输到显示系统。

如果想象和物理摄像机的视场基本上对准且相同，两个图像流的同时组合显示提供了基本上匹配的图像流。

在一些实施例中，处理器可以提高或降低物理的和渲染的图像流中一者或另一者的信号强度以改变有效透明度。

在一些实施例中，处理器仅使显示系统在用户选择显示物理图像流时显示物理图像流。在另一些实施例中，处理器响应于在物理环境中检测到接近障碍，使显示系统显示物理图像流。在又一些实施例中，处理器响应于在物理环境中检测到接近障碍，使显示系统显示物理图像流。相反，处理器可以随着HMD在物理环境中远离障碍移动来降低渲染的图像流的透明度。

在再一些实施例中，显示系统根据本文所述的至少两种技术显示物理和渲染的图像流。

虽然已参考具体实施例描述了以下内容，在不脱离所附权利要求书概述的本发明的精神和范围的情况下，对其各种修改对本领域技术人员而言是显而易见的。以上引用的所有参考的全部公开内容通过引用结合于此。