增强现实系统和操作增强现实系统的方法与流程

本发明一般涉及一种系统和方法，其被配置为促进用于一个或多个用户的交互式增强现实环境。

背景技术：

1、现代计算和显示技术促进了用于所谓“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现的图像或其部分以看起来真实或者可被感知为真实的方式呈现给用户。虚拟现实(vr)场景通常涉及以对其他实际的现实世界视觉输入不透明的方式呈现数字或虚拟图像信息，而增强现实(ar)场景通常涉及数字或虚拟图像信息的呈现为对用户周围实际世界的可视化的增强。

2、例如，参考图1，描绘了增强现实场景2，其中ar技术的用户看到的以人6、树木8、背景中的建筑物10和天空12、以及混凝土平台14为特征的真实世界公园状设置4。除了这些项之外，ar技术的用户还感知到他“看到”站在真实世界平台14上的机器人16，以及看起来是大黄蜂的化身的正在飞行的卡通式的化身角色18，尽管这些元素16、18并不存在于真实世界中。事实证明，人类视觉感知系统非常复杂，并且在其他虚拟或真实世界的图像元素中间产生促进虚拟图像元素的舒适、感觉自然、呈现丰富的vr或ar技术是极具挑战的。

3、vr和ar显示系统可以受益于关于观看者或用户的头部姿态的信息(即，用户头部的取向和/或位置)。

4、例如，头戴式显示器(或者头盔式显示器，或者智能眼镜)至少宽松地耦接到用户的头部，因此在用户的头部移动时移动。如果显示系统检测到用户的头部运动，正在显示的数据可以被更新以考虑头部姿态的变化。

5、作为一个示例，如果佩戴头戴式显示器的用户在显示器上观看到三维(3d)对象的虚拟呈现并围绕3d对象出现的区域行走，则可以为每个视点重新渲染该3d对象，这给用户他或她正围绕一个占据真实空间的对象行走的感知。如果头戴式显示器被用于呈现虚拟空间(例如，丰富的虚拟世界)内的多个对象，头部姿态的测量可被用来重新渲染场景，以匹配用户的动态变化的头部位置和取向，并提供更多的在虚拟空间中的沉浸感。

6、使能ar(即，同时观看真实和虚拟元素)的头戴式显示器可以具有若干不同类型的配置。在通常被称为“视频透视”显示器的一种这样的配置中，相机捕获真实场景的元素，计算系统将虚拟元素叠加到捕获到的真实场景上，并且非透明显示器将该合成图像呈现给眼睛。另一种配置通常被称为“光学透视”显示器，其中用户可以透过显示系统中的透明(或半透明)元件来直接观看来自环境中真实对象的光。通常被称为“结合器”的透明元件，将来自显示器的光叠加在用户对真实世界的视图上。

7、与本发明最相关的是光学透视ar显示器，该ar显示器允许用户直接观看来自真实世界环境的环境光。通常，可期望的是叠加在真实世界上的虚拟对象是不透明的，使得从用户的角度来看，虚拟对象后面的真实对象或其部分被完全遮蔽，以向用户提供真实世界的体验。然而，因为来自真实世界的光与来自虚拟世界的光结合，与被虚拟世界阻挡相比，当虚拟对象或其部分与真实对象重叠时，虚拟对象或其部分可能看起来是透明的或半透明的。

8、因此，需要确保在光学透视ar系统中向用户显示的虚拟对象尽可能不透明。

技术实现思路

1、根据本发明的第一方面，提供了一种操作增强现实(ar)系统的方法。该方法包括允许终端用户可视化来自在周围环境中的三维场景的直接光，根据该终端用户的视点生成虚拟图像数据，确定在该三维场景中的真实对象和在虚拟图像数据中的虚拟对象之间的空间重叠区域，以及在该重叠区域中的该真实对象的颜色特征。该方法进一步包括基于所确定的在重叠区域中的真实对象的颜色特征，降低在该重叠区域中的真实对象与虚拟对象之间的感知对比度(例如，感知颜色对比度和/或感知颜色强度)。该方法进一步包括在该真实对象和该虚拟对象之间的该感知对比度已经被降低之后，将虚拟图像数据作为虚拟图像显示给该终端用户，该虚拟对象与可视化后的直接光一起，创建三维增强场景。

2、在一种方法中，降低真实对象与虚拟对象之间的感知对比度包括基于所确定的在重叠区域中的该真实对象的颜色特征来生成干涉数据，以及在该重叠区域之上将该干涉数据作为在该重叠区域之上的干涉图像显示给该终端用户，使得该干涉图像与来自该真实对象的直接光相结合(例如，通过添加颜色)以创建在该重叠区域中的该虚拟对象的背景。在重叠区域中的背景相对于在该重叠区域中的真实对象可具有减小的动态颜色范围。例如，在该重叠区域中的该背景可具有大致均匀的颜色(例如灰色)。

3、在另一种方法中，降低在真实对象与虚拟对象之间的对比度包括基于所确定的在重叠区域中的该真实对象的颜色特征来修改虚拟图像数据(例如，通过从该虚拟对象中减去颜色)。

4、又一种方法进一步包括采用相对于用户的头部固定的至少一个相机来捕获真实三维场景的图像数据，并且将所捕获的图像数据扭曲到该用户的视点。在这种情况中，确定在真实对象与虚拟对象之间的重叠区域包括确定在所扭曲的图像数据中的对应的该真实对象与在虚拟图像数据中的该虚拟对象之间的空间重叠，以及确定在该重叠区域中的该真实对象的颜色特征包括确定在该重叠区域中的所扭曲的图像数据中的该对应的真实对象的颜色特征。扭曲的图像数据和虚拟图像数据均包括多个像素，该多个像素中的每一个像素由至少一个值定义，在这种情况下，降低在真实对象与虚拟对象之间的对比度可包括修改在重叠区域中的该虚拟对象与从所扭曲的图像数据中导出的干涉数据中的一者或两者的像素的一个或多个值。像素中的每者可包括定义颜色矢量的三个值(例如，红色值、绿色值和蓝色值)，并且可进一步具有定义该像素的强度的第四值。

5、根据本发明的另一方面，一种增强现实(ar)系统包括显示系统，该显示系统被配置为允许终端用户可视化来自在周围环境中的三维场景的直接光。在一个实施例中，所述显示系统被配置为被定位在所述终端用户的眼睛前面。该增强现实系统可进一步包括框架结构，该框架结构承载所述显示系统并被配置为由终端用户佩戴。该显示系统可包括投射子系统和部分透明的显示表面，该投射子系统被配置为将虚拟图像投射到该部分透明的显示表面上。在这种情况下，该部分透明的显示表面被配置为定位在终端用户的眼睛和周围环境之间的视点中。

6、增强现实系统进一步包括控制系统(例如，包括图形处理单元(gpu)的一个控制系统)，该控制系统被配置为根据终端用户的视点生成虚拟图像数据，确定在三维场景中的真实对象与在虚拟图像数据中的虚拟对象之间的空间重叠区域，确定在该重叠区域中的该真实对象的颜色特征，以及基于所确定的在该重叠区域中的该真实对象的颜色特征，降低在该重叠区域中的该真实对象与该虚拟对象之间的感知对比度；例如通过修改在该重叠区域中的真实对象与虚拟对象之间的感知颜色对比度和/或修改在该重叠区域中的真实对象与虚拟对象之间的感知强度对比度。该控制系统进一步被配置为在真实对象与虚拟对象之间的感知对比度已经被降低之后，指示该显示系统将虚拟图像数据作为虚拟图像显示给终端用户，与可视化后的直接光一起，创建三维增强场景。

7、在一个实施例中，控制系统被配置为通过基于所确定的在重叠区域中的真实对象的颜色特征来生成干涉数据，降低在真实对象与虚拟对象之间的感知对比度，以及将该干涉数据作为在该重叠区域之上的干涉图像显示给终端用户，使得该干涉图像与来自该真实对象的直接光相结合(例如，通过添加颜色)，创建在该重叠区域中的该虚拟对象的背景。在重叠区域中的背景相对于在该重叠区域中的真实对象可具有减小的动态颜色范围。例如，背景可具有大致均匀的颜色(例如，灰色)。

8、在另一个实施例中，控制系统被配置为通过基于所确定的在重叠区域中的真实对象的颜色特征来修改虚拟图像数据(例如，通过从虚拟对象中减去颜色)，降低在该真实对象与该虚拟对象之间的对比度。

9、在又一实施例中，增强现实系统进一步包括至少一个相机，该至少一个相机被配置为相对于用户的头部固定，并且进一步被配置为捕获真实三维场景的图像数据，其中该控制系统被配置为将所捕获的图像数据扭曲到用户的视点，在这种情况下，控制系统被配置为通过确定在所捕获的图像数据中的对应的真实对象与在虚拟图像数据中的虚拟对象之间的空间重叠，确定在该真实对象与该虚拟对象之间的重叠区域，并且确定在该重叠区域中的该真实对象的颜色特征包括确定在该重叠区域中的所扭曲的图像数据中的对应的真实对象的颜色特征。

10、所捕获的图像数据和虚拟图像数据中的每者包括多个像素，该多个像素中的每者由至少一个值定义，在这种情况下，控制系统被配置为可通过修改在重叠区域中的虚拟对象和从所扭曲的图像数据中导出的干涉数据中的一者或两者的像素的一个或多个值，来降低在该真实对像与该虚拟对象之间的对比度。像素中的每个像素可包括定义颜色矢量的三个值(例如，红色值、绿色值和蓝色值)，并且可进一步具有定义该像素的强度的第四值。

11、在具体实施方式、附图和权利要求中描述了本发明的附加和其它目的、特征和优点。