所显示彩色符号表示的视觉感知加强的制作方法

本发明总体上涉及透视显示器和彩色图像投影，并且具体地涉及透视显示器上视觉感知的加强(强化，enhancement)。

背景技术：

平视显示器(hud)是一种在不需要观看者将目光从其当前视点移开的情况下向观看者呈现视觉信息的透明或透视的电子显示器。术语hud源于用户——诸如飞行器飞行员——能够在其头部定位成“竖立(up)”并且向前看时观看信息，而不是斜向下察看下部的仪表盘。hud可以具有固定的显示元件，诸如安装到飞行器的驾驶舱。hud还具有的特点是与用户的头部的位置和定向共同移动的显示元件。具有可移动显示器的hud也称为头戴式显示器或头盔式显示器(hmd)。

典型的hud包含三个主要部件：投影单元、组合器、和视频生成计算机。在hud中的投影单元是光学准直装置：凸透镜或凹面镜，具有在其焦点处的阴极射线管、发光二极管、或液晶显示器。组合器通常是直接位于观看者前面的成角度的平板玻璃。该平板玻璃用作分束器并且将投影的图像重定向以允许观看者在其视场中看到背景场景的同时看到投影的图像。计算机与hud的投影单元接合，并且生成要由投影单元显示的影像和符号表示(symbology，符号)。典型的飞行器hud显示代表飞行数据的符号或指示符，所述飞行数据诸如：空速、高度、水平线、航向、转向、倾斜飞行、滑行(slip)和侧滑(skid)参数。除了实时飞行信息之外，其他类型的符号和数据也可以呈现在飞行器hud上。例如，军事应用包括代表武器系统和传感器数据——诸如：目标标定、靠近速度、射程、发射可接受性、视线和武器状态——的符号。

通常，通过hud可见的背景环境特征的颜色(或颜色相关属性)可能会与要在hud上显示的、叠加于背景视图上的符号产生冲突或干扰。例如，背景区域的特定颜色或其他色彩特性(例如，色调、亮度、饱和度)与所述符号的特定颜色或其他色彩特性相结合可能引起观看者相对于背景适当地感知符号的问题或困难。特别地，颜色组合可能使得难以从背景中区分出所述符号，或者导致观看者实际感知到与符号的原本预期的颜色不同的不同颜色。在某些情况下，显示的符号表示可能是有时效性的或者对观看者至关重要的(例如，实时飞行信息的指示)，其中，如果观看者不正确地感知或不适当地理解所显示的信息则可能会产生不利的后果。

bates等人的名称为“automaticcolorcontrastadjuster”的美国专利no.6,809,741公开了一种颜色对比度调节器，如果当前的颜色组合是问题颜色组合，则该调节器基于当前的颜色组合自动地选择并应用文本和背景的新的颜色组合。文本可以是任何文本对象，并且背景可以是可以确定其颜色的任何背景对象。颜色对比度调节器可以针对每个用户存储多个问题组合和优选的颜色组合，并且可以用优选的颜色组合代替问题颜色组合。颜色对比度调节器可以向用户提供示例颜色组合，允许用户选择更好的颜色组合，并且将优选的组合和问题组合添加到用户偏好。

shum等人的名称为“adaptivecolorschemes”的美国专利no.7,184,063公开了当检测到显示的前景颜色和提取的背景颜色之间的冲突时自适应地改变所显示的前景颜色的技术。一经检测到这种冲突，就根据预定的可识别性条件选择新的前景颜色。如果与提取的背景颜色相关的候选颜色的可识别性值超过预定的可识别性阈值，则颜色池候选者可以被认为是切实可行的前景颜色。

kim等人的名称为“displayapparatusanddisplaymethodforimprovingvisibilityofaugmentedrealityobject”的美国专利申请no.2012/0092369公开了通过以与背景不同的方式显示每个对象来提高每个增强现实对象的可视性。显示装置和显示方法可以通过输出覆盖对象的列表或覆盖对象的图，或者通过扩大其中对象被密集布置的复杂区，以减少对象的覆盖，来提高可视性。

gundavarapu的名称为“selectionofforegroundcharacteristicsbasedonbackground”的美国专利申请no.2002/0127198公开了一种文本着色系统，该文本着色系统基于文本在其上显示的一种或多种背景颜色自动地设置前景文本颜色。文本着色系统识别与文本串的每个像素邻近的背景颜色。对于每个像素区域，系统选择满足一个或多个着色标准的颜色。系统基于所选择的颜色设置每个区域处的文本颜色。系统然后将分层的图像诸如通过计算机显示器或移动设备显示器显示给用户。

lamb的名称为“displayofshadowsviasee-throughdispaly”的美国专利申请no.2013/0147826公开了一种操作具有透视屏的显示设备的方法。在显示屏上显示对象的图像，同时将由该对象投射的阴影的图像显示到背景场景上。在背景场景的图像中确定阴影的位置。通过增大与阴影相邻的区域与阴影内的亮度相比的相对亮度来渲染背景场景的加强图像，并且显示该加强图像。

morinaga等人的名称为“objectdisplaydeviceandobjectdisplaymethod”的美国专利申请no.2013/0222424公开了一种具有图案提取单元的显示设备，该图案提取单元提取一区域，在该区域中当对象被覆盖并且显示在真实空间中的图像中时，基于由图像分析单元获取的关于对象的大小和颜色以及关于真实空间中图像的颜色的信息，容易地从该真实空间中的图像中视觉识别出该对象。显示位置校正单元将对象的显示位置校正到该区域，以便于对象的视觉识别并加强诸如信息性的各种效果。

yun等人的名称为“transparentdisplayapparatusandmethodthereof”的美国专利申请no.2013/0265232公开了一种用于在透明显示器上显示信息使得用户可以依据所看见的在透明显示屏后面的对象更好地辨识出所显示的元素的方法和装置。至少一个传感器感测对象的位置和用户的位置。基于对象的位置和用户的位置确定通过用户可以看到对象的显示区域，并且基于该确定的区域在透明显示器上显示信息。

suzuki等人的名称为“vehicledriveassistsystem”的美国专利申请no.2007/0013495公开了一种用于以允许在不利的环境条件下更好地识别车道标记(lanemarker)的方式显示所述车道标记的系统，所述车道标记指示驾驶员的车辆的行驶车道。系统控制器从各种来源获取车道信息，所述来源诸如由摄像机捕获的路面图像、由热敏电阻器感测的温度、以及基于感测的温度的积雪情况以及由abs单元指示的滑移率。视线感测系统检测驾驶员的视点位置。基于检测到的视点位置和获得的车道信息生成两个车道引导线(guide)的图像，该两个车道引导线的图像对应于从驾驶员的视点透过车辆挡风玻璃观察到的行驶车辆的相对侧边缘。显示单元在车辆挡风玻璃上或者透过车辆挡风玻璃显示所述图像。检测在车道引导线(路面)处的背景颜色，并设定车道引导线的显示颜色，以便增加相对于检测到的背景颜色的对比度。

babaguchi的名称为“headupdisplay,displaymethodforheadupdisplay,andprogramforheadupdisplay”的美国专利申请no.2014/0253579公开了一种意于在反映原始显示颜色的同时提高视觉可识别性的平视显示器(hud)。初始化为第一显示颜色的规定信息被投影在布置于用户的注视方向上的显示板上。检测由用户通过显示板视觉识别的背景颜色。基于检测到的背景颜色调整第一显示颜色，并且以所调整的颜色显示规定的信息。具体地，将第一显示颜色调整为第二显示颜色，以对应于检测到的背景颜色和第一显示颜色之间的差，其中所述差可以表示灰度差或基于其他颜色信息。例如，第二显示颜色可以通过将第一显示颜色与相对于背景颜色最容易视觉识别的互补颜色混合而获得，其中，混合可以基于经计算的混合比。

技术实现要素：

根据本发明的一个方面，因此提供了一种用于加强对增强现实呈现的视觉感知的方法。该方法包括以下步骤：用位置测量单元检测用户的位置；以及用视线检测器检测用户的视线(los)。该方法还包括以下步骤：至少基于所检测的位置和所检测的los，预测待由用户通过透视的头戴式显示器(hmd)观看到的未来背景环境。该方法还包括以下步骤：预测在对应于用户的los的背景位置处的未来背景环境的至少一个颜色属性。该方法还包括以下步骤：将未来背景环境的所预测的颜色属性与预期前景补充图像的至少一个颜色属性进行比较，所述预期前景补充图像待要投影到hmd上、覆盖在背景位置处的未来背景环境的视图上。该方法还包括以下步骤：当检测到在未来背景环境的所预测的颜色属性和预期前景补充图像的颜色属性之间的不相容状况时，以使该不相容状况最小化的方式调整所述补充图像的至少一个视觉参数，并且用已调整的视觉参数将所述补充图像在背景位置处投影在hmd上。

根据本发明的另一方面，提供了一种用于加强对增强现实呈现的视觉感知的系统。该系统包括由用户穿戴的透视的头戴式显示器(hmd)、位置测量单元、视线检测器和处理器。hmd被配置成使用户能够看到背景环境，并且显示覆盖于背景环境的视图上的前景中的图像。位置测量单元被配置成检测用户的位置。视线检测器被配置成检测用户的视线(los)。处理器被配置成至少基于所检测的位置和所检测的los，预测待由用户通过hmd观看到的未来背景环境。处理器还被配置成预测在对应于用户los的背景位置处的未来背景环境的至少一个颜色属性。处理器还被配置成将背景位置处的未来背景环境的所预测的颜色属性与预期前景补充图像的至少一个颜色属性进行比较，该预期前景补充图像待要投影在hmd上、覆盖在背景位置处的未来背景环境的视图上。当检测到未来背景环境的预测的颜色属性和预期前景补充图像的颜色属性之间的不相容状况时，处理器还被配置成以使不相容状况最小化的方式调整补充图像的至少一个视觉参数，使得用已调整的视觉参数将所述补充图像在背景位置处投影在hmd上。

附图说明

根据下面结合附图进行的详细描述，将会更充分地理解和认识本发明，在附图中：

图1是根据本发明的一个实施方案构建和运行的、用于加强对增强现实呈现的视觉感知的系统的示意性例示图；

图2a是根据本发明的一个实施方案操作的、如通过图1的显示器观看到的场景的示例性视图的示意性例示图；

图2b是根据本发明的一个实施方案操作的、图2a的场景的示例性图像的示意性例示图；

图3a是根据本发明的一个实施方案操作的、覆盖在图2a的视图中的选定对象上的初始未改变符号的示意性例示图；

图3b是根据本发明的一个实施方案操作的、图3a的覆盖符号在第一示例性视觉改变之后的示意性例示图；

图3c是根据本发明的另一实施方案操作的、图3a的覆盖符号在第二示例性视觉改变之后的示意性例示图；

图3d是根据本发明的又一实施方案操作的、图3a的覆盖符号在第三示例性视觉改变之后的示意性例示图；

图4a是根据本发明的另一实施方案操作的、部分覆盖在图2a的视图中的选定对象上的初始未改变符号的示意性例示图；

图4b是根据本发明的另一实施方案操作的、图4a的覆盖符号在示例性视觉改变之后的示意性例示图；以及

图5是根据本发明的一个实施方案操作的、用于加强对增强现实呈现的视觉感知的方法的流程图。

具体实施方式

本发明通过提供用于加强所显示的补充图像内容的视觉感知的系统和方法来克服现有技术的缺点。系统检测将要覆盖到透视显示器上的符号或其他前景补充图像的颜色属性与在要显示符号的位置处的现实世界场景中的背景环境的颜色属性之间何时存在不相容性，所述位置对应于观看者的视线。这种不相容可能是从背景中感知符号或区分符号的困难，或者可能是当符号覆盖在背景上时符号的不同感知的外观。当检测到不相容性时，以使得不相容性最小化的方式，诸如通过改变符号的颜色属性，视觉上改变符号，并且将视觉上改变的符号投影到显示器上。该系统可以从由指向用户的当前视场(fov)的摄像机捕获的图像，或者从由相同或其他用户捕获的先前获取的图像，或者从三维地理模型获得关于相关背景环境的颜色信息。该系统还可以获得关于背景环境的环境信息，其可以在确定潜在的颜色不相容性中被考虑进去。该系统还可以基于用户的实时位置数据、实时环境信息、以及可用的图像和图像元数据来确定与未来用户位置和视线相关联的潜在的颜色不相容性。

现在参照图1，该图是根据本发明的实施方案构建和运行的用于加强对增强现实呈现的视觉感知的系统(总体参考100)的示意性例示图。系统100包括摄像机104、显示器106、处理器108、视线(los)检测器110、位置测量单元116、用户接口118、和数据库120。los检测器110包括头部跟踪器112和/或眼睛跟踪器114。处理器108通信地耦接到摄像机104、显示器106、los检测器110、位置测量单元116、用户接口118和数据库120。

摄像机104被配置成获取用户(参考102)观看到的现实世界场景的图像。摄像机104可以安装到或以其他方式附接在用户102的头部(或其他身体部位)上或附近，诸如被粘附到用户102穿戴的可穿戴头饰(例如，头盔、头带、护目镜等)上。可替代地，摄像机104可以安装在用户102附近，诸如定位在室内或室外环境中的稳定平台上。例如，摄像机104可以是安装在车辆或飞行器的驾驶舱内并且以穿透驾驶舱防风罩的波长运行的面向外的图像传感器。还可替代地，摄像机104可以由用户102持有，或者可以由用户102附近的另一个人持有。通常，摄像机104被定位成使得摄像机104的los对准朝向其中用户102所面向的大致方向，允许摄像机104捕获用户102的fov中的环境图像。系统100可以包括多个摄像机104，诸如被配置成产生立体图像的一对摄像机104。系统100还可以包括具有不同fov的多个摄像机，允许比用单个摄像机可能的更宽的整体fov的成像。

摄像机104可以是能够获取和存储现实世界场景的图像表示的任何类型的传感器设备，包括在其中可以得到场景的颜色信息的任何波长(包括可见波长和不可见波长)范围处获取任何形式的电磁辐射。例如，摄像机104可以是具有多色能力的前视红外(flir)摄像机(例如，多色fpa)，或者可以融合多光谱图像数据。摄像机104可操作以获取至少一个图像帧，诸如表示视频图像的连续图像帧序列，其可以被转换为用于后续处理和/或传输的电子信号。因此，本文所用的术语“图像”是指来自上述图像传感器的任何形式的输出，包括在任何光谱区域获取的场景的任何光学或数字表示，并且包括单个图像帧和图像帧序列(即，“视频图像”)两者。

显示器106被配置成向用户102显示图像内容(例如，视频图像)。所显示的图像可以包括主图像内容，诸如用户102可以观看到的背景环境的图像，以及补充图像内容，诸如符号表示、文本或其他形式的图形或视觉图像，其中，补充图像内容在前景中覆盖在主图像内容上。显示器106可以是至少部分透明的(例如，“透视”显示器)，使得观看显示器106的用户可以通过显示器同时看到叠加在显示器上的图像或其他视觉内容以及物理环境的视图。透明的显示器也为用户提供对其环境的情境感知。显示器106可是头戴式显示器(hmd)，其包括嵌入在用户102穿戴的可穿戴设备诸如头盔、头带、面罩、眼镜、护目镜等内的显示器。可替代地，显示器106可以是另一种类型的显示器，诸如平视显示器(hud)、便携式或手持式显示器、移动计算设备的显示屏等。显示器106可以包括将视频图像投影到用户102可观看的显示屏上的投影仪。显示器光学器件可以直接定位在用户102的los中，以提供所投影的(主和补充)图像内容的直接视图，或者可以偏离用户102的los，以提供所投影的图像内容的扫视(glance)或周边视图。

los检测器110基于用户的头部的位置/定向和/或基于用户的眼睛注视方向提供用户102的大体los的指示。los检测器110包括头部跟踪器112和眼睛跟踪器114中的至少一个。头部跟踪器112被配置成诸如经由本领域已知的头部跟踪装置或机构确定(例如，实时地)用户102的头部的方向。眼睛跟踪器114被配置成诸如经由本领域已知的眼睛跟踪装置和机构例如通过确定瞳孔中心相对于角膜或眼睑的位置来确定(例如，实时地)用户102的眼睛注视方向。

位置测量单元(lmu)116提供用户102的现实世界位置和/或用户102当前正在观看的场景的现实世界位置的指示。例如，lmu116确定用户102相对于参考坐标系的全局位置和定向坐标。lmu116可以由被配置成测量用户102的位置和定向(观看方向)的一个或多个装置或仪器诸如：全球定位系统(gps)；指南针；惯性导航系统(ins)；惯性测量单元(imu)；运动传感器或转动传感器(例如，加速度计、陀螺仪、磁力计)；测距仪等来实施。

用户接口118允许用户102或系统100的其他用户控制与系统100的部件相关联的各种参数或设置。例如，用户接口118可以允许用户102调整摄像机104的参数或设置(例如，将摄像机los移位或旋转，增加/降低分辨率水平，放大/缩小等)和/或调整显示器106的参数或设置(例如，移位所显示的图像的焦点或fov)。用户接口118可以包括光标或触摸屏菜单接口，和/或用于允许用户102通过语音命令输入指令或数据的语音识别性能。

数据库120提供对与系统100的操作相关的图像帧和其他类型的数据的存储。数据库120包括现实世界环境——诸如至少期望用户102位于其中的环境——的背景图像的集合。例如，如果用户102是飞行器飞行员，则数据库120可以包括围绕不同机场的跑道和着陆门的区的图像。背景图像可以由3d地理模型122提供，3d地理模型包括地球或感兴趣的特定区、区域或地区的三维表示。3d模型122通常包括与地理特征和地形(包括人造特征(例如，建筑物、纪念碑等))相关的图像和纹理数据，诸如这些特征的位置坐标和其不同视图(例如，经由卫星图像或航空摄影、和/或街道级视图获取的)。例如，3d模型122可以提供感兴趣区域的地理地形在不同位置和观看视角(例如，通过允许诸如缩放、旋转、倾斜等的操控操作)的多个视觉表示。3d模型122可以包括专有和/或公开可访问的模型(例如，经由开源平台)，或者可以包括至少部分私有或有限制的模型。数据库120可以包括允许重建或分析相关背景场景的实际背景图像和/或图像数据。数据库120可以包括预先加载的图像，诸如由摄像机104预先捕获的图像。数据库120还可以存储要显示的、覆盖在不同现实世界场景的视图上的示例性补充图像内容(例如，符号表示、文本、图形和视觉设计)。

处理器108从系统100的部件接收指令和数据。处理器108在图像帧(通过摄像机104获取的或从数据库120中检索的)上执行任何必要的图像处理，并且生成用于在显示器106上显示的最终符号图像。处理器108可以位于远离系统100的其他部件的位置。例如，处理器108可以是通过通信介质或网络可访问的服务器——诸如远程计算机或远程计算系统或机器——的一部分。可替代地，处理器108可以位于用户102的附近和/或集成在系统100的其他部件内。例如，处理器108可以经由无线连接耦接到系统100的部件，或者处理器108可以和与摄像机104和/或显示器106相关联的计算机结合。

系统100的部件可以基于硬件、软件或其组合。应当认识到，与系统100的每个单独部件相关联的功能可以分布在多个部件之中，该多个部件可以位于单个位置或多个位置处。例如，与处理器108相关联的功能可以分布在多个处理单元(诸如用于图像处理功能的专用图像处理器)之间。系统100可以可选择地包括图1中未示出的附加部件和/或与该图1中未示出的附加部件相关联，以使得能够实现所公开的主题。例如，系统100可以包括用于向各种部件提供电力的电源(未示出)，并且还可以包括用于暂时存储图像帧或其他类型的数据的附加存储器或存储单元(未示出)。注意到，系统100的部件中的一些是可选的。例如，在本发明的一个实施方案中(在下文进一步讨论的)，系统100不包括(或至少不利用)摄像机104。

为了示例的目的，现在将在飞行员操作飞行器的背景下讨论系统100的运行。在本文中，飞行员将被认为是系统100的用户102。现在参照图2a，其是根据本发明的实施方案操作的、如通过图1的显示器106观看到的场景(参考200)的示例性视图的示意性例示图。在图2a的示例中，用户102穿戴头戴式显示器(hmd)106，用户102通过该显示器观看现实世界场景200。场景200包括各种环境特征，诸如云、树和另一飞行器。环境特征包括至少一个选定对象204(为了示例性目的，由多棵树中的一棵表示)，符号或其他补充图像要叠加在所述至少一个选定对象上，以便向用户102呈现关于所述选定对象204的相关信息。例如，补充图像可以是符号206(为了示例性目的，由十字表示)，诸如以向用户102指示树204表示当前目标。显示器106还呈现覆盖在场景200的背景视图上的附加补充内容，诸如相关的实时飞行信息(例如，空速；飞行器航向；爬升/下降速率；高度；气压读数等的指示)。

在飞行器的飞行过程中，摄像机104捕获场景200的图像区域202的至少一个图像。参照图2b，其是根据本发明的一个实施方案操作的、图2a的场景的示例性图像(总体参考210)的示意性例示图。摄像机图像210可以诸如在像素值方面被转换成所捕获的场景的数字信号表示，该数字信号表示被转发到处理器108。处理器108在关于要被叠加到hmd106上的选定对象204上的预期符号的颜色特性方面进行分析图像210。具体地，处理器108将由图像区域212指示的位于对象204附近的场景200的环境特征的颜色属性与预期符号206的颜色属性进行比较。颜色属性可以包括以下至少一个：颜色值、亮度、色调、饱和度、色度、发光度(radiance)、光照度、和/或可能影响观看者的视觉感知的任何其他相关特征或属性。在图像210中，一个图像部分的颜色属性由阴影图案214描绘，而另一图像部分的颜色属性由阴影图案216描绘。

现在参照图3a，其是根据本发明的一个实施方案操作的、覆盖在图2a的视图中的选定对象204上的初始未改变符号(参考220)的示意性例示图。为了示例性目的，符号220被表示为圆形。对象204的图像区域216至少通过标示为“clr-a”的第一颜色属性被表征，而围绕对象204的图像区域214至少通过标示为“clr-b”的第二颜色属性被表征。初始符号220至少通过所述第一颜色属性clr-a被表征。

处理器108将符号220和周围的图像区域216的颜色属性进行比较，并且确定这些颜色属性是否彼此不相容。具体地，处理器108确定与符号220的颜色属性组结合的图像区域216中对象204的颜色属性组是否导致不相容状况。术语“不相容状况”在本文中被定义为当前景图像(即，符号220)覆盖在背景环境(即，对象204)上显示时，可能大幅地阻碍或减损该前景图像的视觉感知的任何情况，诸如例如，难以清楚地区分这两个图像。例如，如果用户所感知到的前景图像和背景环境之间的对比度不足，或者如果用户所感知到的在前景图像投影到背景环境上时前景图像的颜色外观与标称消色差背景上的预期颜色的外观相比之间存在过度差异，则可能是不相容状况。不相容状况的另一个示例是用户所感知到的在前景图像投影到背景环境上时在前景图像的外观上存在视觉失真(例如模糊不清、色差)。不相容状况的又一示例是用户所感知到的在前景图像投影到背景环境上时该前景图像的至少一个颜色属性的不均匀外观。

在图3a所示的情况中，图像区域216和符号220两者具有共同的颜色属性(clr-a)，并且因此被认为是不相容的。虽然这里使用每个图像的单一颜色属性来说明比较，但是通常在确定是否存在不相容性时会考虑每个图像的一系列属性(诸如：颜色值、亮度、色调、饱和度、色度)。例如，对象204和符号220两者可以是基本上相同的颜色，诸如蓝色或类似的蓝色阴影(例如，要显示的蓝色符号覆盖在蓝天或一片水域的背景上)，导致难以从背景中区分出符号。对于另一示例，符号220可以具有当覆盖于对象204上时与该对象冲突的颜色或者掩盖该对象的颜色，诸如绿色背景上的蓝色符号。对于又一示例，符号220的亮度级可以使得当其覆盖在基本上浅色(例如，白色或黄色)的对象204上时是难以感知该符号220的。

在确定符号220和周围图像区域216的颜色属性是不相容的之后，处理器108进行确定会基本上最小化或消除不相容性的对符号220的至少一种视觉改变。然后，符号220被以这种方式视觉地改变并且投影到显示器106上。现在参照图3b、图3c和图3d。图3b是根据本发明的一个实施方案操作的、图3a的覆盖符号220在第一示例性视觉改变后(参考222)的示意性例示图。图3c是根据本发明的另一实施方案操作的、图3a的覆盖符号220在第二示例性视觉改变之后(参考224)的示意性例示图。图3d是根据本发明的又一实施方案操作的、图3a的覆盖符号220在第三示例性视觉改变之后(参考226)的示意性例示图。参照图3b，用与符号222的初始颜色属性clr-a不同的新的颜色属性(标示为“clr-c”)对符号222进行投影。例如，如果图像区域216是绿色背景，并且初始符号220也是绿色，则可以将改变的符号222投影成替代的橙色或黄色。参照图3c，符号224以粗体轮廓或不同的着色轮廓投影到对象204上，以在视觉上区分符号224与对象204。例如，如果图像区域216是绿色背景，并且初始符号220也是绿色的，则改变的符号224的内部基本上保持为绿色，但是符号224的边界区域被突出显示，诸如通过投影粗体轮廓或不同的着色轮廓(例如，橙色或黄色)，以产生“晕”视觉效果。参照图3d，符号226投影到显示器106上的不同图像位置，该图像位置不同于符号220预期被投影在其上的图像位置(图3a)。例如，如果图像区域216和初始符号220二者都是绿色的，并且如果符号220初始预期要投影到基本上覆盖在对象204的中心，则改变的符号226可替代地投影在相对于对象204偏移的位置。具体地，符号226从对象204的中心朝向右上方偏移，使得(例如，绿色的)符号226的大部分覆盖在与对象204相邻的图像区域214的(例如，白色的)背景上，而不是覆盖在其中存在不相容性的图像区域216的(例如，绿色的)背景上。

应当认识到，符号220可以经历附加类型的视觉操控和改变，包括但不限于：平移移位和/或旋转移位；大小变化(即，增大或减小符号220相对于对象204的大小)；形状变化(例如，将圆形符号改变为三角形或菱形或十字形)；改变初始颜色的阴影或强度；调整颜色相关参数(例如，亮度/色调/饱和度/光照度/发光度)；强调或突出显示所述符号的至少一部分；省略符号的至少一部分；完全改变符号的类型；及其任何组合。通常，符号220的视觉改变可以是使得用户102对改变的符号(222、224、226)的感知将尽可能地类似于对初始符号220的预期感知(同时最小化不相容性)。例如，如果初始符号预期是绿色的，并且预期被投影到蓝色背景上，导致难以区分符号与背景(对比度不足)，则可以替代地投影黄色符号，致使由于黄色与蓝色的颜色组合感知到绿色符号。

当执行图像210的颜色分析时，处理器108还可以考虑如使用los检测器110所确定的用户102的视线，诸如用于识别可能在其之上显示预期符号的相关背景图像区域(214、216)。例如，视觉上改变的符号(222、224、226)被投影到显示器106上与用户102的当前los一致的位置处。

在一些情况下，可能仅改变初始符号的一部分，而初始符号的其他部分保持不变。现在参照图4a和4b。图4a是根据本发明的另一实施方案操作的、部分覆盖在图2a的视图中的选定对象204上的初始未改变符号220的示意性例示图。图4b是根据本发明的另一实施方案操作的、图4a的覆盖符号在示例性视觉改变之后(参考228)的示意性例示图。在图4a中，初始符号220的一部分预期覆盖在对象204的图像区域216上，而符号220的剩余部分预期覆盖在对象204外部的图像区域214上。因此，不相容状况仅存在于符号220的所述一部分(例如，右半部分)覆盖在图像区域216上时，因为两者均通过共同的颜色属性“clr-a”表征，而符号220的其他部分(例如，左半部分)没有不相容状况。因此，在图4b中，改变的符号228被投影使得覆盖在图像区域216上(在对象204内)的部分被改变为与对象204的颜色属性(“clr-a”)不同的颜色属性(“clr-c”)，而覆盖在图像区域214(超出对象204)的部分保持已经不同于图像区域214的颜色属性(“clr-b”)的相同颜色属性(“clr-a”)。例如，如果图像区域216和初始符号220二者都是绿色的，而图像区域214是白色的，则改变的符号228的右半部分可以投影成橙色或黄色，而符号228的左半部分保持为绿色。

根据本发明的可替代的实施方案，可以基于通过其他方式获得的现实世界场景200的信息而不是基于由摄像机104捕获的图像来执行预期符号的颜色属性和场景200的周围环境特征(其中符号要被投影在显示器106上)的颜色属性的比较。具体地，系统100可以使用3d地理模型122结合由用户102的视线(从los检测器110获得的)和用户102的现实世界位置(从lmu116获得的)提供的特定场景200的指示生成场景200的合成图像。例如，处理器108从lmu116接收用户102的当前的全局位置和定向坐标，并且从los检测器110接收用户102的当前的头部方向和/或眼睛注视方向。根据获得的信息，处理器108基于用户102的位置/定向坐标和头部方向/眼睛注视方向确定用户102当前处于特定位置(例如，接近特定机场的着陆区域)，并且当前正在观看该位置处的特定场景(例如，观看机场的着陆跑道的一段)。然后，处理器108可以从包含在3d地理模型122中的图像集合中检索所确定的当前所观看场景的至少一个(彩色)图像，或者可以基于包含在3d地理模型122中的相关信息生成所确定场景的图像。然后，处理器108开始分析基于3d模型的图像，将预期符号(220)的颜色属性与要在其中显示符号220的图像位置(216)的颜色属性进行比较，并且确定是否存在如上文参照图2a和图2b所述的不相容状况。注意到，处理器108可以可替代地执行对不相容状况的确定而不必分析场景200的合成图像，而是通过仅利用从3d模型122获得的相关信息，诸如通过从3d模型122直接获得背景区域214、216的颜色属性，来执行所述对不相容状况的确定。通常，可以以任何合适的方式、使用任何合适的处理技术或过程来实施颜色属性的比较和/或不相容状况的确定，诸如以优化处理效率。

还可替代地，可以基于合成图像(使用由los检测器110、lmu116和3d模型122提供的信息生成的)和摄像机图像(210)二者，执行对在预期符号(220)和背景区域(216)的颜色属性之间的不相容状况的确定。例如，处理器108可以执行对在摄像机图像210中的符号220和背景区域216的颜色属性的第一比较，并且然后在符号220和背景区域216出现在合成图片中时执行它们的颜色属性的第二比较。然后，处理器108为每个比较分配差分加权或定性值(例如，摄像机图像为70％，合成图像为30％)，并且相应地确定不相容状况的存在。每个比较的加权方案可以是自适应的，诸如基于实时数据(例如，当用更高分辨率的摄像机替代时，增加摄像机图像相对于合成图像的定性值)或历史分析(例如，使用合适的度量确定先前比较的成功率)进行更新。

根据本发明的又一实施方案，对颜色属性的比较和/或对不相容状况的确定可以根据不同用户的特定视觉感知特征是个性化的。例如，系统100可以将把个体用户与他们自己的颜色感知特性组相关联的信息和其他相关信息存储在数据库120中，当针对该特定用户确定存在不相容状况时，随后可以考虑这些信息。例如，一对用户可以以这种方式感知某一颜色(或某一颜色特征组)，使得覆盖在给定背景上的给定前景颜色对于第一用户是不相容的，但不会被认为对于第二用户是不相容的。系统100的每个用户可以关联到唯一标识符，其用于在初始化阶段期间对用户的识别和认证，使得系统100检索与所提供的用户标识符相关联的必要信息。可以基于用户反馈获得用户感知特性，诸如通过向用户呈现各种颜色图案和颜色组合的模拟并且提供对于该模拟的相关响应，或者用户反馈涉及他/她对由系统100显示的先前视觉上改变的(或未改变的)前景图像的感知(即，历史性能数据)。系统100可以实现人工智能技术，诸如机器学习和模式识别，以便随着时间的推移学习不同的用户如何感知不同的颜色组合。例如，系统100可以基于用户对颜色模拟的反馈，诸如使用隐马尔可夫模型，在初始训练阶段期间针对不同颜色图案或颜色组合实施概率模型。个性化用户信息还可以包括诸如通过眼睛跟踪器114获得的对用户的眼睛的分析。

系统100还可以根据每个用户102的相应的视觉感知特性和相应的los，同时向多个用户(102a、102b、102c)显示相应的(视觉上改变的)符号。例如，处理器108可以获得与飞行器的飞行员(102a)和副飞行员(102b)相关联的用户感知特性，并且接收关于通过相应的显示器(106a、106b)观看到的背景场景200的飞行员102a和副飞行员102b的los的指示。然后，处理器108确定与飞行员102a的los关联的第一背景区域216a和与副飞行员102b的los关联的第二背景区域216b。最后，处理器108确定相对于要针对每个用户(飞行员102a和副飞行员102b)显示的预期符号是否存在不相容状况，并且如果可适用的话视觉上改变相应的符号。具体地，处理器108将预期要向飞行员102a显示的第一符号(220a)的颜色属性与飞行员102a的los关联的第一背景区域216a的颜色属性进行比较，并且如果检测到不相容，则在飞行员显示器106a上显示第一符号220a的视觉改变的形式(222a)。相应地，处理器108将预期要向副飞行员102b显示的第二符号(220b)的颜色属性与副飞行员102b的los关联的第二背景区域216b的颜色属性进行比较，并且如果检测到不相容，则在副飞行员显示器106b上显示第二符号220b的视觉改变的形式(222b)。

用于确定潜在不相容状况的颜色属性的分析可以可选地考虑附加信息，诸如场景200中存在的环境光条件，其可以影响可以如何感知不同的颜色组合。例如，系统100的摄像机104和/或专用环境光检测器(图1中未示出)可以提供显示器106上的场景200中的——特别是符号206将覆盖在显示器106上的选定对象204附近的——环境光的水平的指示。由环境光检测器接收的光的量或强度可以根据当日时间、季节、气候、地貌、地理以及也可以考虑的各种其他因素而变。例如，环境光检测器可能会在夜间期间比在白天期间检测到更少的光线。环境光检测器可以由光电检测器(例如，光电二极管)或操作用以检测可见范围内的光线的任何其他类型的传感器来实现。场景200中的环境光的水平也可以从摄像机图像210获得。应注意到，场景200的环境光(和/或其他相关的环境条件)可以在适用的情况下被包括在颜色分析和对潜在的不相容状况的确定中，不管颜色分析是否是基于由摄像机104捕获的图像或者基于从数据库120中检索的图像执行的。

注意到，可以基于变化的条件和情况实时地更新投影在显示器106上的视觉上改变的符号。因此，摄像机104可以继续捕获场景200的附加图像，并且处理器108监视连续图像中的相关背景环境(例如，图像区域214、216)相对于相关的前景图像的颜色属性，以确定是否需要更新前景图像。例如，如果背景环境改变了，导致视觉上改变的符号的颜色属性与其中覆盖了符号的新背景环境的颜色属性之间的新的不相容状况，则该符号可以经历又一视觉改变(以便最小化该新的不相容性)。如果改变的背景环境使得相对于初始预期符号(220)不存在不相容状况，则视觉上改变的符号(222、224、226)可以改回到要显示的初始符号(220)。

数据库120可以是自适应的且动态的数据库，其根据新的信息和变化的环境条件连续地更新图像集合。数据库120可以从世界各地的不同用户102获得现实世界环境的图像，这些用户可以被授权以直接上传图像和/或修改或删除数据库120中的现有图像。例如，由多个用户用各自的摄像机捕获的一系列图像可以被上传到数据库120，其中不同的用户102提供总体相同位置的不同图像，每组图像以不同的成像参数(例如，不同的视角、焦距、fov、光照条件、分辨率级别等)表征。整个图像集合最终可以从不同的位置和角度形成各种现实世界环境的全景视图，诸如一系列街道水平的全景图。不同用户102捕获的图像基本上实时地上传到数据库120。系统100可以向不同的用户发送请求来以选定标准提供图像，诸如在数据库120中当前有较少(或者没有)图像可用的地理位置的图像，或者在特定成像角度(视角，perspective)和/或光照条件下捕获的环境的图像。提供给数据库120的图像可以包括用于辅助图像识别和分类的元数据(即，“标签”)。例如，数据库120中的图像可以根据不同的标准(例如，场景的地理位置；图像的角度或视角；捕获图像时的光照和天气条件；图像捕获的当日时间；提供图像的用户的个人信息等)进行分类和搜索。处理器108还可以从数据库120中选择满足图像标准(由系统100定义或由用户102提供)的用于颜色分析的最佳背景图像(或多个图像)。数据库120还可以包含可用于有限时间段的图像，诸如与特定事件或场合相关联的图像。因此，数据库图像还可以包括指示与图像内容相关联的特定事件的时间(和位置)的时间的元数据。例如，正在举行演唱会或体育赛事的体育馆或表演场地的图像可以上传到数据库120，使得那些图像仅对于在演唱会或体育赛事现场的用户是可访问的(即，用于颜色分析和确定潜在的不相容状况)。用户102还可以提供与包含在数据库120中的图像有关的反馈和/或与由系统100生成的视觉上改变的符号(222、224、226)有关的反馈。例如，用户反馈可以包括由系统100生成的视觉改变的不同类型的评论或定性评级。

根据本发明的一个实施方案，系统100可以利用预测数据来确定是否以及如何更新要显示的前景图像。具体地，系统100可以基于从lmu116和los检测器110(和/或其他数据源)获得的信息预测用户102的未来位置，并且预测在其上待要在显示器106上投影预期符号(或其他前景图像)的未来背景环境。如果在预期符号和预测的背景环境之间检测到不相容状况，则系统100可以生成预期符号的视觉上改变的形式，以在必要时使用，甚至在执行实时摄像机图像或基于模型的图像的颜色分析之前使用。例如，如果用户102正在驾驶飞行器，则系统100可以使用与飞行器有关的位置数据和飞行轨迹数据(例如，基于从lmu116、3d模型122、和/或飞行器导航系统获得的信息)确定飞行器当前正在山区上方飞行，但将很快将越过海洋。因此，系统100可以准备预期符号的视觉上改变的形式，以适合于在海洋背景而不是山背景上显示，一旦飞行器到达相关位置就可应用该改变的形式。

系统100还可以动态地预测用户位置，同时考虑实时地改变环境条件，诸如改变该位置处的背景颜色。例如，第一用户102a可以在某一天期间在沿着市区的特定街区行走的同时将一系列图像上传到数据库120。上传的图像包括将图像与相关参数(例如，场景位置；图像捕获期间的光照和天气条件；图像捕获的时间和日期)关联的元数据。第二用户102b可能在第二天沿着同一街区行走。然后，处理器108可以基于由第一用户102a前一天捕获的街区的图像确定第二用户102b的实时背景环境，在该实时背景环境上将要向第二用户102b显示预期符号。例如，系统100可以将符号表示投影到由第二用户102b穿戴的透视hmd106上，该第二用户保持背景环境的外部视图。所投影的符号表示以某些颜色属性诸如橙色符号(例如，表示导航指令或与环境中的特征相关的一般信息)表征。使用来自数据库120的信息(例如，由第一用户102a捕获的相同街区的图像)以及来自lmu116和los检测器110的信息，处理器108可以确定第二用户102b即将到达具有与投影的符号不相容的颜色属性的建筑物，例如棕色建筑。然后，系统100可以在第二用户102b到达(并且他的los指向)棕色建筑物的时刻，投影所述符号的视觉上改变的形式，诸如通过将所述符号从橙色改变为白色。处理器108还可以在动态地确定或预测背景环境的潜在不相容状况时利用相关环境信息，诸如时间和日期或天气条件。这样的环境信息可以从存储在数据库120中的图像元数据和/或从外部数据源(例如，环境光检测器；内部时钟；天气应用源等)获得。例如，处理器108可以确定棕色建筑物的图像由第一用户102a在白天和/或明亮和晴朗的条件期间捕获，而第二用户102b将在夜间或黑暗/阴天天气条件期间在同一建筑物处出现，并且因此，可以在不导致不相容的情况下将预期的橙色符号投影在建筑物的视图上(例如，由第二用户102b感知为“黑色的”背景)。在再一实施例中，处理器108可以根据第一用户102a捕获的图像确定沿着街区的背景位置通过第一颜色属性(例如，红色)表征，而由其他用户102捕获的其他图像指示相同的背景位置具有不同的颜色属性(例如，白色)。处理器108还可以确定图像由第一用户102a捕获，而相关背景位置被某个对象(例如，经过的红色汽车)遮蔽，并且“真实的”背景颜色属性由其他图像提供。处理器108因此确定背景位置的第二颜色属性将与第二用户102b的实时环境条件相关，并且相应地对第二用户102b执行颜色分析。

根据本发明的再一个实施方案，系统100可以存储关于背景环境与实现的符号的视觉改变相关的信息。例如，存储的信息(例如，元数据)可以包括：用户的位置、时间和日期、环境光照、和当视觉改变发生时存在的其他环境条件。视觉改变也可以关联到定性度量，其可以基于处理器108对视觉上改变的符号的随后图像分析和/或基于来自用户102的反馈。这样的信息因此可以定义将不同类型的视觉改变关联到各种参数和条件的“颜色属性调整函数”，其可以保存在数据库120中和/或直接发送到用户102。当随后检测到的颜色属性不相容的特点为与先前的状况相同的状况中的至少一些时(例如，当相同的用户102或不同的用户102出现在基本上相似的地理位置处并且具有基本上相似的los时)，处理器108可以利用这种颜色属性调整函数进行未来视觉改变。处理器108还可以实时地利用这种颜色属性调整函数，进行与位于同一附近地区的其他用户102相关的视觉调整。例如，通过将不同的颜色调整关联到沿着飞行路线的不同的地理位置，颜色属性调整函数可以应用于常见的飞行路线，并且然后在沿着相同飞行路线的用户102的后续飞行期间使用。以这种方式，系统100可以在不必对摄像机图像或基于3d模型的图像执行颜色分析的情况下执行相对于背景环境对符号的后续视觉调整，其可以用于优化处理并且加速响应时间。

现在参照图5，图5是根据本发明的一个实施方案操作的用于加强对增强现实呈现的视觉感知的方法的流程图。在步骤250中，获得与用户通过透视显示器观看到的背景环境有关的信息。步骤250可以通过子步骤252、254、256和258中的至少一个实现。

在子步骤252中，获取用户通过透视显示器观看到的背景环境的至少一个图像。参照图1、图2a和图2b，摄像机104捕获用户102通过透视显示器106观看到的场景200的图像区域202的图像210。图像区域202至少包括在选定对象(树204)附近的环境特征，在显示器106上补充前景图像(符号206)将要叠加在该选定对象上。

在子步骤254中，检测用户的los。参照图1，los检测器110基于由头部跟踪器112确定的用户102的头部的位置和定向和/或基于由眼睛跟踪器114确定的用户102的眼睛注视方向来确定用户102的大体视线。

在子步骤256中，检测用户的位置。参照图1，lmu116确定用户102相对于参考坐标系的全局位置和定向坐标。

在子步骤258中，检索至少一个先前获取的背景环境的图像和相关联的数据。参照图1和图2a，处理器108基于用户102的位置/定向坐标(如从lmu116获得的)和用户102的los(如从los检测器110获得的)确定用户102观看到的现实世界场景200，并且从数据库120检索或生成所确定的场景200的合成彩色图像。可以从3d地理模型122获得图像。可替代地，所述图像可以从先前由多个用户102在变化的成像参数和环境条件下捕获的场景200的一组图像中获得。应注意到，图像可以由在场景200附近的其他用户102基本上实时地捕获并且上传到数据库120。处理器108还可以获得指示与所获取的图像相关联的相关参数(例如，场景位置；图像捕获期间的光照和天气条件；图像捕获的时间和日期)的元数据。处理器108还可以从存储在数据库120中的先前获取的图像中提取场景200的背景环境的相关颜色属性。

在可选的步骤260中，检测背景环境中的环境光条件。参照图1和图2a，使用摄像机104或者可替代的环境光检测器(未示出)提供场景200中——特别是在选定对象204附近(例如，图像区域214、216)——环境光的水平的指示。环境光条件可以影响用户102如何感知某些颜色组合。更一般地，与背景环境相关的任何相关环境信息也可以从可用数据源获得，诸如例如：时间和日期信息(例如，来自内部时钟和/或图像时间戳)；天气或气候信息(例如，来自天气应用源和/或图像元数据)；等。

在可选的步骤262中，检索用户颜色感知特性。参照图1，数据库120可以包括与不同用户相关联的个性化信息，诸如个性化的颜色感知特性组。个性化信息可以包括或基于用户反馈，诸如用户对各种颜色图案和组合的模拟的响应，和/或与系统100显示的在先前景图像和背景图像颜色组合的用户感知有关的反馈。个性化信息还可以包括或基于用户的眼睛或视力的特性，其可以从眼睛跟踪器114获得。个性化信息可以通过基于用户反馈和历史数据自动地学习不同用户的颜色感知特性的人工智能技术来获得或更新。

在步骤264中，将在选定位置附近的背景环境的至少一个颜色属性与预期前景补充图像的颜色属性进行比较，该预期前景补充图像要投影到显示器上、覆盖在选定位置处的背景环境的视图上。参照图1和图2b，处理器108将位于对象204附近(即，图像区域212内)的场景200的环境特征的颜色属性与预期符号206的颜色属性进行比较。颜色属性可以包括以下至少之一：颜色值、亮度、色调、饱和度、色度、发光度、光照度和/或任何其他可能影响观看者的视觉感知的相关特性或属性。参照图3a，对象204通过(至少)其中符号220要覆盖的图像区域216中的颜色属性“clr-a”被表征，而符号220也通过(至少)相同的颜色属性“clr-a”被表征。当确定是否存在不相容时，处理器108可以可选地考虑场景200中的环境光条件和/或其他相关环境条件(步骤260)，和/或个性化用户信息(步骤262)。处理器108还可以动态地预测未来的用户位置，并且然后确定在预测位置处的前景图像和背景环境之间的潜在不相容状况。动态预测可以基于存储在数据库120中的先前获取的图像和元数据、来自lmu116的数据、以及从图像元数据和/或从外部数据源获得的环境信息，允许改变要被实时地考虑的环境条件(例如，导致在预测位置处的不同颜色属性)。

在步骤266中，当在背景环境的颜色属性和预期前景补充图像的颜色属性之间检测到不相容状况时，以使不相容状况最小化的方式调整前景图像的至少一个视觉参数，并且用已调整的视觉参数将前景图像投影在显示器上。参照图1和图3a，处理器108确定符号220与对象204的图像区域216不相容，因为它们二者都由共同颜色属性(clr-a)表征，并且生成符号220的视觉改变的形式。符号220的视觉改变可以包括完全地改变颜色或者调整颜色阴影或色调/亮度/饱和度水平。参照图3b，具有不同颜色属性“clr-c”的更新符号222覆盖在对象204上显示(例如，橙色或黄色符号222，而不是绿色符号220，被覆盖在绿色对象204上)。符号220的可替代的视觉改变包括提供粗体或突出显示的边界。参照图3c，具有粗体或不同颜色的边界区域的更新符号224覆盖在对象204上显示(例如，符号224具有黄色边界同时保持绿色的内部，并且覆盖在绿色对象204上)。符号220的又一可替代的视觉改变包括投影到相对于对象204不同的图像位置。参照图3d，更新的符号226投影在从对象204的中心朝向右上方偏移的偏移位置处，诸如(例如，绿色的)符号226的大部分覆盖在图像区域214的(例如，白色的)背景上显示，而不是覆盖在(例如，绿色的)对象204上显示。视觉改变的符号(222、224、226)可以根据如los检测器110所确定的用户102的los被投影到显示器106上。

虽然已经描述了所公开主题的一些实施方案，以使得本领域技术人员能够实践本发明，但是前述描述仅仅意在是示例性的。不应将其用于限制所公开主题的范围，该范围应通过参考以下权利要求来确定。