在头戴显示设备内结合实景图像流之方法及系统与流程

本文之以下内容基本有关于增强现实及虚拟现实的系统和方法，更具体涉及在头戴设备的显示系统中显示现实环境的系统和方法。

背景技术：

随着可穿戴技术和3D渲染技术的到来，增强现实和虚拟现实可视化的应用范围扩大了。增强现实和虚拟现实存在于混合现实可视化的持续进行中。

技术实现要素：

一些实施方案中，描述了在一个处在现实环境中的用户佩戴的头戴显示设备上同时显示以下图像流的方法，同时显示的图像流包括在一个头戴显示设备成像系统视场内拍摄到的现实环境里的一个区域之实景图像流，和一个由处理器为现实环境生成的增强现实渲染图像流。该方法包括了：确定拍摄到的区域；生成一个与拍摄到的区域至少部分相对应的现实环境地图上的某个区域的渲染图像流；在头戴显示设备的显示系统里同时接收并显示实景图像流以及渲染图像流。

在一些实施例中，描述了一种将一个增强现实渲染图像流匹配至由头戴显示设备的成像系统的视场内拍摄到的现实环境的一个实景图像流的系统。该系统包括了一个处理器，被配置成能够：能得到现实环境的地图；能确定已拍摄的区域；能生成一个地图上某个区域的渲染图像流，该区域与拍摄到的图像流至少部分相应。

本发明描述了这些以及其他的实施例。

附图说明

参照附图可以更深入的了解本发明的实施例，其中：

图1说明了一个头戴式显示设备的一种实施例；

图2说明了一个头戴式显示的镜头和图像传感器的视场；

图3为将渲染图像流以水印方式叠加到实景图像流的一种方法之流程示意图；

图4为一个用户在一个现实环境中装备着头戴式显示设备的图解；

图5A为一帧说明现实环境的图像流的示例图像；

图5B为一帧说明现实环境的渲染图像流的示例图像；

图5C为一帧说明结合了实景图像流和相对应的渲染图像流的示例图像；

图6为一种在显示系统各离散区域中同时显示渲染图像流和实景图像流的方法之流程示意图；

图7为一个说明了一渲染图像流和相对应的实景图像流在画中画结合的示例。

具体实施方式

为了使说明简洁清楚，在合理的情况下，参考数字可能会在附图中被重复使用以标明相应的和相似的元素。此外，为了使详尽透彻的理解本文所描述的所有实施例，本文阐述了许多具体的细节。然而本领域的普通技术人员可以理解的是，本发明描述的这些实施例即使没有这些具体的细节也可能实现。在其他的情况下，众所周知的方法、程序和部件并没有具体的描述，这么做是为了不含糊及掩盖了本文中所描述的这些实施例。并且，文中的描述不应该被看作会局限这些实施例的范围。

也应当理解的是，本文中例证中所有能执行指令的任意模块、单元、部件、服务器、电脑、终端及设备，均可能包括或以其他方式访问电脑可读介质，例如存储介质、电脑存储介质或者数据存储设备(可移除或不可移除)如磁盘、光盘或磁带。电脑存储介质可能包括易失性的和非易失性的，可移除和不可移除的介质，以任何方法或科技来实现存储信息，例如电脑可读指令、数据结构、程序模块、或者其他数据。电脑存储介质的例子有RAM、ROM、EEPROM、闪存或者其他存储器科技、CD-ROM、数字多功能盘(DVD)或者其他光学存储器、卡式磁带、磁带、磁盘存储或者其他磁性存储设备、或者其他可以用来存储需要的信息并可以被另外的应用、模块或两者兼并来访问的介质。这样的电脑存储介质可以是该设备的一部分，或者是该设备可访问的或与设备相连接的。此处描述的任何应用或者模块，均可能通过在该电脑可读介质存储或者持有的电脑可读/可执行指令来实行，及以一个或者多个处理器来执行。

当前的发现是针对增强现实的系统和方法。然而一个熟练的读者会理解增强现实可能拥有多种含义。在当前的发现中，增强现实包括了：用户与真实的物体和结构以及覆盖在其之上的虚拟的物体和结构的互动；用户与完全虚拟的一套物体和结构的互动，该虚拟物体和结构的生成是为了包括现实物体和结构的渲染，可能并随在现实环境之缩放版本内加入虚拟物体和环境，或者被称为“加强型虚拟现实”。进一步来说，虚拟的物体和结构有可能被完全免除，及增强现实系统有可能向用户显示一个仅包括了该物理环境图像流的一个物理环境版本。最后，一个有经验的读者可以了解的是，通过放弃物理环境的各方面详情，本文展现的系统和方法对于虚拟现实应用也同样适用，并可以被理解为“纯粹的”虚拟现实。为了方便读者，以下所指的“增强现实”亦需理解为包括了所有的前面提到的和熟练读者理解的其他变动模式。

用户在增强现实系统中的参与度可以通过允许用户在整个现实环境中不受约束的移动来加强。尽管如此，应当理解的是，一个佩戴着头戴显示装备的用户最好是能察觉到现实环境中的障碍物，使用户能在其中移动而不意外的接触到障碍物。

因此，增强现实系统的用户参与度和用户安全，可以通过在头戴显示设备上向用户显示至少局部现实环境的基本实时的图像来加强。

这里描述的系统和方法是关于在现实环境中的用户的头戴显示设备上显示局部的现实环境。

参看图1的示例，展示的是头戴显示设备12被配置为一个头盔；然而其他的配置也是可以被设想的。该头戴显示设备12由以下部分组成：一个处理器130用来与以下一个或多个部件通讯：(i)一个扫描、局部定位和定向模块141，模块141的组成包括一个扫描现实环境的扫描系统、一个确定该头戴显示设备12在此现实环境中的位置的定位系统，和一个检测该头戴显示设备12的方向的方向检测系统；(ii)至少一个用来拍摄现实环境的图像流的成像系统，例如一个由单一或多个摄像头123组成的摄像系统；(iii)至少一个显示系统121来向头戴显示设备12的用户显示增强现实或/和虚拟现实和现实环境的图像流；(iv)至少一个电源管理系统113来向各个部件分配功率；(v)多个感官反馈系统包括了，例如多个触觉反馈装置120，来向用户提供感观反馈；以及(vi)一个有音频输入和输出的音频系统124来提供音频互动。处理器130也可能进一步包括一个例如有天线的无线通讯系统126，来跟增强现实或/和虚拟现实系统中的其他部件通讯，例如其他的头戴显示设备、游戏机、路由器或至少一个外围设备13，来提高用户在增强现实和/或虚拟现实中的参与感。这些和其他各系统和各部件，在本文和本申请人的未决申请PCT/CA2014/050905中描述了，并且该未决申请的全部公开内容通过引用并入本文。可以理解的是，这里的术语“处理器”应该被理解为是作为单个或者多个分布式和/或不同的处理器来实行的，从而与需要单个或者多个处理器执行任务的组成部件和/或系统通讯。

一个戴着头戴显示设备12并处于一个现实环境中的用户，可以在通过头戴显示设备12的显示系统121来观看虚拟现实的同时，在现实环境中移动并与此环境互动。

在某些增强现实的应用中，用户可以只观看一个与现实环境无关的完全渲染的环境(即一个“纯粹”的虚拟现实应用)。在这样的应用中，用户与现实环境的互动可能是纯粹的将其当作一个可以在其中移动的空间。比如说，在一个用户运动的应用程序中，现实环境可以被作为一个平台，供用户在其中进行健美操表演、有氧运动、阻力训练或其他合适的运动。这样对用户显示的增强现实可能不会将现实空间中的障碍物考虑在内。然而用户也可能希望或者需要基本实时的看到现实空间，来确保她不会因为遭遇到该现实环境中的障碍物或者边界而受伤。当前的系统和方法使用户可以同时观看到现实环境并与虚拟现实渲染的环境互动，即使虚拟现实的环境本身并不需要考虑现实环境。

然而在其他的应用中，用户观看到的增强现实是现实环境完全被渲染的版本(即“加强型虚拟现实”)。在这样的应用中，用户仅可以基于头戴显示设备12的显示系统121所呈现的渲染环境来判定现实环境中的障碍物和边界的位置。但是，用户可能仍然需要或者更希望能够看到一个现实环境的充分实时的图像流。

在其他的应用中，用户看到的增强现实是由电脑合成的一些渲染图(一个“渲染图像流”)与一个现实环境的图像流(一个“实景图像流”)的结合。在这样的应用中，用户可能仍然需要或者更希望能够看到一个没有加入渲染效果的基本实时的实景图像流。

该头戴显示设备12可能因此通过实施一种或者多种技术来向用户呈现现实环境的一个充分基本实时的图像流(一个“实景图像流”)。如本文中所详细描述的，在一些方面，该头戴显示设备12可能使用画中画、画外画、画与画或者多屏显示技术来向用户呈现实景图像流。又如本文中所详细描述的，在未来某些方面，该头戴显示设备12可能通过实施水印重叠来向用户呈现实景图像流。可以理解的是，在纯粹的虚拟现实应用中，实景图像流和渲染图像流是完全没有关联的。然而在增强现实和加强型虚拟现实应用中，渲染图像流是基于现实环境的。如本文所描述的，在这些应用中，处理器会优先将渲染图像流与渲染图像流匹配。

在增强现实和加强型虚拟现实的应用中，无论是运用画中画及相关技术，或是将渲染和实景图像流结合起来呈现，该头戴显示设备均可能向用户同时呈现渲染图像流和实景图像流。

该头戴显示设备12使用了扫描、定位和方向判定模块141的系统并联合处理器120，来分别扫描及映射现实环境，获得头戴显示设备12在现实环境中的实时定位，以及确定头戴显示设备12的方向。该扫描、定位和方向确定模块141的系统可能包括了一个或者多个以下元素：一个扫描激光测距仪，它可能构成了扫描和本地定位各系统；一个包含一个激光发射器和/或接收器的激光定位系统，被配置成可以确定头戴显示设备12相对于相应对面的在现实环境中已知位置上的激光接收器或者发射器的位置；一个包含一个3-轴磁源或者磁传感器的3-轴磁定向系统，，被配置成可以确定头戴显示设备12相对于相应的对面的在现实环境中已知方向和位置上的3-轴磁传感器或者磁源的位置和/或方向。

处理器130可以利用由扫描系统提供的现实环境的测量数据而生成的现实环境的虚拟地图，比如说，一个点云，来制定现实环境。处理器130可以基于世界坐标来指定现实环境的地图的坐标系统。处理器130进一步生成该地图的增强现实渲染，比如说，虚拟物体、效果、人物和/或其他适当的电脑合成图像。处理器将增强现实渲染图像流中所有的点与现实环境的地图关联起来，这样使其可以将增强现实的渲染图与现实环境的某个特定区域联合。

如前文所提到的，该头戴显示设备可以进一步包括了一个配置成可以生成现实环境图像流的成像系统。该成像系统可能包括至少一个摄像头123来向处理器130或者直接向显示系统121提供现实环境的图像流。处理器130配置成可以在一个特定的时间点确定成像系统中至少一个摄像头123的视场。图2展示了一个摄像头上的一个镜头201和一个成像传感器203。镜头201和成像传感器203的间距为焦距f，其与镜头201的曲率联合起来决定了摄像头的视场。视角α会随着焦距f改变。可以理解的是焦距f可能是一个定量或变量。当焦距是定量时，处理器可能可以预先配置以确定出摄像头的视场。然而当焦距f为变量时，处理器可以基本实时的得到摄像头的焦距f或视角α。

当摄像头拍摄到现实环境的一个图像流时，该在任一时间拍摄到的实景图像流是由当时在摄像头的视场内之现实环境中的各元素组成的。

通过摄像头得到的实景图像流被传输到处理器作处理或/和作传输到显示系统，或直接传输到显示系统来呈现给用户。

参考图3，是一种将实景图像流和渲染图像流重叠的方法。在方框301，处理器确定成像系统中至少一个摄像头的的视场，如前文所叙述，以及基于头戴显示设备的本地定位和方向检测系统得到的位置和方向信息的位置和方向。每个摄像头的方向和位置可以通过头戴显示设备的位置和方向来预计，或者通过摄像头对于头戴显示设备的本地定位和定向系统的相对位置来确定。如图4所示，一个用户401在一个现实环境431中佩戴着一个头戴显示设备412。头戴显示设备412包括了一个至少有一个摄像头的成像系统。摄像头的世界空间坐标X_c，Y_c，Z_c和方向β_c，γ_c可以通过本地定位和方向确定系统生成的位置和方向信息来确定。

再次参考图3，在方框303，如前文所述，处理器生成了一个渲染图像流，该图像流可以被考虑成是被一个虚拟的或者概念上的摄像头对着现实环境的地图拍摄到的，并联合了虚拟图像流中的图像和现实环境中特定的区域。该处理器将在虚拟摄像头的视场中可见的所有的渲染元素都包括在渲染图像流中。处理器可能生成一个渲染图像流，它通过显示坐标、方向和视场与成像系统中的摄像头的坐标、方向和视场相对应的虚拟摄像头的视场中可见的渲染元素，来生成的渲染图像流与实景图像流相匹配(重申在生成地图时，处理器联合了地图上的坐标与世界坐标)。

或者，该处理器可以通过渲染地图中一个区域里的元素，该区域相较于相对应的拍摄到的实景图像流中的区域可能是偏移的、放大的或者缩小的，或落在更加宽或者窄的视场中的，以此生成一个偏移的、放大的、缩小的或者宽高比不同的渲染图像流。

在方框305中，处理器将渲染图像流发送至显示单元来显示。为了用户在现实环境中移动时能准确的将渲染图像流和实景图像流匹配，显示系统会优先接收一个渲染图像流，该渲染图像流的生成基本上基于了实景摄像头在拍摄同时显示部分实景图像流时的坐标、方向和视场。如果虚拟摄像头和实景摄像头的视场是基本对齐和相同的，两种图像流同时和结合的显示提供了一个基本匹配的结合图像流。或者，如果实景摄像头和虚拟摄像头的视场是彼此偏移的，在方框307处理器会调整渲染图像流中元素的屏幕坐标(即在头戴显示装备的显示屏上的坐标)，使其与相对应的实景图像流中的现实元素的屏幕坐标对齐。处理器基于已知显示系统的参数和已确定的实景摄像头和虚拟摄像头的方向、位置和视场，调用适合的视图转换技术，来确定实景图像流和渲染图像流的屏幕坐标。如上文参考方框307所述，处理器基本上同时将调整后的渲染图像流传送至显示系统。虽然实景图像流和虚拟图像流中的元素的坐标是基本上匹配的，但只有局部的重叠会显示。例如，如果在方框303虚拟摄像头的视场比实景摄像头要小，显示系统中显示的重叠图像只会显示一个局部重叠，其中渲染图像流只覆盖了实景图像流中的相对应的一个较小的区域。

在一些实施例中，处理器可以加强或降低实景图像流或者渲染图像流其中一个或另外一个的信号强度，来变换有效透明度。参考图5A到5C展示了示例水印重叠。如图5A所示，实景图像流中的一帧描绘了头戴显示设备的成像系统拍摄到的现实环境。图5B演示了相对应的现实环境的渲染图像流的一帧。图5C展示了一个结合的图像流，即显示器同时显示相对应的图5A中的一帧实景图像流和图5B中的一帧渲染图像流。通过增加实景图像流的信号强度降低渲染图像流的信号强度，处理器可以增加渲染图像流的透明度，反之亦然。

参考图6，其描述了一种以画中画、画与画或者多画面形式，基本同时显示渲染图像流和实景图像流的方法。该方法调用了与上文中描述关于图3的类似技术。在步骤601，处理器确定成像系统中至少一个摄像头的视场，如前文描述的，以及从头戴显示设备的本地定位和方向检测系统得到的位置和方向信息为基础的至少一个摄像头的位置和方向。

在方框603中，处理器生成由一个面对现实环境地图的虚拟摄像头拍摄的渲染图像流。该处理器将在虚拟摄像头的视场中可见的所有的渲染元素都包括在这渲染图像流中。该处理器通过显示坐标、方向和视场与成像系统中的摄像头相对应的虚拟摄像头的视场中的渲染元素而生成的渲染图像流(重申在生成地图时，处理器联合了地图上的坐标与世界坐标)，而可能生成一个与实景图像流直接相匹配的渲染图像流。

或者，该处理器可以通过渲染地图中一个区域里的元素，该区域比较与相对应的拍摄到的实景图像流中的区域可能是偏移的、放大的或者缩小的，或落在更加宽或者窄的视场中的，以此生成一个偏移的、放大的、缩小的或者宽高比不同的渲染图像流。

在方框605中，处理器将渲染图像流发送至显示单元来显示。如前文所述，处理器和显示屏配置为优先而有选择性的，同时实时显示实景图像流和渲染图像流。然而，在当前方法中，这两个图像流并不是重叠的；而各图像流是同时在显示系统内分离的区域上显示的，例如，如图7所示，以画中画的形式。或者，两个图像流可以同时并排显示在同一个显示屏上，例如，以画与画的形式，又或者各个图像流可以同时显示在不同的屏幕上，例如，以多屏形式。

参考图7展示了在一种在纯粹的虚拟现实应用中以头戴显示设备的显示系统来显示一个实景图像流的方法。如前文所述，在纯粹的虚拟现实的应用中渲染图像流与用户所在的现实环境是完全没有关联的。因此在方框701，处理器和显示系统被配置为以各合适的形式来结合渲染图像流和拍摄到的实景图像，比如画中画、画与画和多屏幕的形式。可以理解的是，因为渲染图像并不与现实环境相对应，匹配可以被忽略。

在一些实施例中，当用户选择显示实景图像流的时候，处理器只会让显示系统显示实景图像流。在进一步的实施例中，处理器只会让显示系统显示实景图像流来以响应在现实环境中检测到的接近的障碍物。在更进一步的实施方案中，处理器会增加渲染图象流的透明度来响应现实环境中检测到的接近的障碍物。相反的，在头戴显示设备移离现实环境中的障碍物时，处理器可以降低渲染图像流的透明度。

在更进一步的实施方案中，显示系统可以根据这里描述的至少两种技术来显示实景图像流和渲染图象流。

虽然以下内容的描述参考了某些具体的实施方案，但是在不脱离如所附权利要求书所概述的本发明的精神和范围的情况下对其进行的各种改动，对于本领域的技术人员来说将是显而易见的。以上列举的所有参考文献的全部公开内容通过引用并入本文。