用于动态地调整HUD的方法和HMD与流程

本公开涉及显示器，并且具体地说，本公开涉及可穿戴头戴式装置(hmd)以及用于动态地调整hmd的平视显示器(hud)的方法，其中hud保持对焦。

背景技术：

可穿戴系统可将各种元件(诸如，小型化计算机、输入装置、传感器、检测器、图像显示器、无线通信装置以及图像和音频传感器)集成到可由用户穿戴的装置中。

通过将图像显示元件放置得靠近穿戴者的眼睛，可使人造图像叠加在穿戴者在现实世界的视野上。这些图像显示元件并入到也称为“近眼显示器”或hmd或hud的系统中。取决于显示元件的大小以及到穿戴者的眼睛的距离，人造图像可落在穿戴者的视野上或几乎填充穿戴者的视野。

当戴着hmd时，用户界面(ui)元件通常用于显示与用户相关的信息。当用户环顾四周时，将一些ui信息保持为在用户的视野中可见是有用的(hudui)。hudui可看上去相对于hmd固定。hudui的实例是通知、文字和数字读数、图标、图像等。

当前hmd眼镜在远离眼镜约1m的固定虚拟距离处显示hud。如果用户正看着近处的某物(例如，正看书)并且用户想要看着hud，那么用户将必须将眼睛从～0.5m(读书距离)发散到～1m(hud距离)，以便聚焦在hud上。类似地，如果用户正看着远处的某物(例如，正看着远处的大楼)，那么用户必须将眼睛从～100m(大楼距离)会聚到～1m(hud距离)，以便聚焦在hud上。使眼睛会聚和发散以看着hud会导致眼睛疲劳，并且需花时间使眼睛调整到新距离。这对于用户来说是不舒适的。此外，这可在眼睛正调整时导致用户错过重要视觉提示。

技术实现要素：

本文中的实施例的目的是通过提供用于动态地调整hmd的hud的方法和hmd来解决上述问题。

根据本文中的实施例的一方面，提供一种在hmd中用于自适应地调整hud的方法，其中所述hud包含ui，所述方法包括：确定凝视距离，其中所述凝视距离是到所述hud的用户正凝视的凝视点的距离；调整在所述用户的每只眼睛的前方的所述hudui的位置以使得所述hudui看上去定位在所述凝视距离处，从而动态地调整所述hud。

根据一个实施例，动态地调整所述hud包含：在所述用户的视野中将所述hudui维持在大致上相同的视觉大小，从而调整所述hudui的位置。

作为示例性实施例，对所述hud的调整包括在虚拟空间中将所述hudui移动到所述凝视距离并比例缩放(scaling)所述hudui的大小，以在所述用户的视野中维持与所述移动之前大致上相同的视觉大小，其中比例缩放包含将hud尺度乘以所述凝视距离。

根据本文中的实施例的另一方面，提供一种用于自适应地调整hud的hmd，其中所述hud包含ui，所述hmd包括：至少一个眼睛追踪器、处理器以及含有可由所述处理器执行的指令的存储器，其中所述hmd操作以：确定凝视距离，其中所述凝视距离是到所述hud的用户正凝视的凝视点的距离；并且调整在所述用户的每只眼睛的前方的所述hudui的位置以使得所述hudui看上去定位在所述凝视距离处，从而动态地调整所述hud。

还提供一种由根据本文中的实施例的hmd操作的hud。

还提供一种计算机程序，其包括指令，所述指令在根据本文中的实施例的hmd的至少一个处理器上执行时，导致所述处理器执行根据本发明的实施例的方法。

还提供一种载体，其含有所述计算机程序，其中所述载体是以下各者中的一者：计算机可读存储介质；电子信号、光学信号或无线电信号。

本文中的实施例的优点是至少减轻由使眼睛的晶状体重新聚焦(适应)导致的用户的眼睛疲劳。

另一优点是减少聚焦在hud上所需的时间并避免改变聚散。

由本文中的实施例实现的额外优点在结合附图考虑时将从下文的具体实施方式变得明显。

附图说明

参照附图来更详细地描述本文中的实施例的实例，其中：

图1是根据本文中的实施例实现的在保持相同视觉大小的同时从戴着hmd的用户的角度所见的总体视图。

图2a是描绘戴着hmd的用户看到的hud图形的立体图。

图2b是描绘戴着hmd的同一用户看到的hud图形的俯视图。

图2c是描绘由本文中的实施例实现的、hudui或图像的分别向外和向内的移动的示意图。

图3图示根据本文中的实施例在hmd中执行的方法的流程图。

具体实施方式

在下文中，结合附图而呈现示例性实施例的详细描述，以使得能够较容易理解本文所述的解决方案。

下文中的解释是分别针对头戴式装置hmd和平视显示器hud而呈现的：

头戴式装置hmd：

增强现实(ar)眼镜、智能眼镜或虚拟现实(vr)——这些可被概括为头戴式装置(hmds)：

·眼睛追踪器通常包含在hmd中。

·ar眼镜或hmd可具有可追踪环境(例如，同步定位和地图创建，slam/由内而外追踪)的面向外的一个或多个相机/传感器，其可用于确定世界空间坐标中的环境的已知点。这些点可用于构建环境的3d网格。

·hmd可以是固定焦点显示器(固定焦距，当今最常见)或自适应焦点显示器(支持多个焦距，将可能在未来较常见)。相比在固定焦点显示器中，根据本文中的实施例的动态hud解决方案可在自适应焦点显示器中具有较多用户益处。为了在固定焦距显示器中清楚地看到动态hud，用户不必改变其聚散，但是用户将通常必须改变其眼睛晶状体适应。对于自适应焦点显示器来说，用户将不必改变其聚散，并且将不必改变其眼睛晶状体适应，就可清楚地看到hud。在此状况下，用户可将其眼睛从感兴趣点移动到hud，而眼睛不需要进行任何光学调整。

平视显示器hud：

hmd包含/示出平视显示器(hud)：

·当前，多数hud处于距用户的相对短的焦距处，并且它们相对于hmd处于固定位置中。

·根据本文中的一个实例，hud可相对于hmd仅在x轴线和y轴线上固定，但可在z方向上移动。作为一个实例，在虚拟空间中移动hudui可包括相对于hmd固定x轴线和y轴线并仅在z方向上移动hudui。

·hud可含有对于用户有用或与用户相关的信息。例如，如果人员正在工业设施中使用hmd，那么hud可显示时间、实时数据、警告、通信、关于所注视的对象的信息、简图、地图等。

根据本文中的实施例，动态hud将至少在视觉注意力关键(重要)的情形下有益。这是因为用户不需要改变其眼睛的会聚以便聚焦在hud上。改变会聚通常花费时间，并且在一些状况下，会聚在hud上并发散返回用户的感兴趣点所花费的时间可以是关键的——一些事情可在此时间期间发生。改变会聚还改变用户的眼睛的焦距，并且处于与hud不同的焦距处的每件事物将看上去失焦。这意味着，例如用户正聚焦在远处的感兴趣点处并且接着使其眼睛会聚在近处的hud上，那么hud将对焦，但用户的先前感兴趣点将失焦，这可导致用户看不到先前感兴趣点处的关键改变。

需要聚焦的视觉注意力并需要用户定期看着具有不同焦距的不同事物的领域的一些实例为：

·施工

·工程

·医疗

·运输(例如，驾驶)

·体育(例如，滑雪)等。

根据本文中的实施例，当用户在看着较靠近的事物/对象或看着一定距离处的对象之间转换时(即，当用户的眼睛的聚散改变时)，可动态地调整hud。聚散被定义为眼睛的瞳孔在聚焦期间朝向或远离彼此的同时移动。无论用户正看着何处，hud都能始终显现在其眼睛的会聚距离处。例如，如果用户正看着远处的大楼或对象并接着看着hud，那么hudui将看上去定位在相同凝视距离处，并且因此用户不必改变会聚，从而导致较轻的眼睛疲劳以及聚焦在hud上所需的较少的时间。

因此，代替使hud处于固定距离处(许多当前hud以此方式配置)，hud实际上移动到凝视距离。图1图示动态焦点hud，示出用户的hmd(眼镜)的hudui如何根据本文中的实施例在用户的视野中维持大致上相同的视觉大小。

如图所示，hudui在场景1a、1b和1c中改变到凝视点的距离，以便匹配用户的会聚距离。独立于到用户正看着的对象的距离，由用户戴着的hmd中的hudui保持相同的视觉大小，这种情况在此处示范为：

到计算机的短距离1a、到汽车的较大距离1b、以及到房屋的更大距离1c。hudui的位置在用户的每只眼睛的前方动态地调整，以使得hudui看上去定位在凝视距离处，其中凝视距离是到所述hud的用户正凝视的凝视点的距离并由hmd确定。

hud的大小也改变以便在您的眼镜中保持相同的视觉大小。通过如此进行，用户不必会聚或发散其眼睛以清楚地看到hud或hudui。实际上，hud遵循会聚距离，因此用户只需要看着hud，而不需要改变眼睛的会聚。这使用户免受眼睛疲劳并且还节省使眼睛重新聚焦所需的时间。应注意，将hudui在用户的视野中维持大致上相同的视觉大小可被定义为：关于画面上的像素维持相同的现实世界大小，这是因为虚拟大小可变化，因此使用术语“大致上”。

因为hudui的移动和比例缩放不容易感知，所以只是看上去hudui保持相同大小。因此，根据一个实施例，为了使移动和比例缩放完全不可感知，应可以在例如扫视(saccades，亦称为“眼跳”)期间动态地移动和比例缩放hud。

根据一个实施例，动态地调整所述hud包括：在虚拟空间中将所述hudui移动到所述凝视距离；以及比例缩放所述hudui的大小以在所述用户的视野中维持与所述移动之前大致上相同的视觉大小，其中比例缩放包含将hud尺度(scale)乘以所述凝视距离。

作为一个实例，hud的大小和距离可在3d引擎的每一所呈现的帧期间改变。这可以是在hud向用户示出时能够全程运行的连续计算。

hudui的大小的比例缩放可被定义为：size＝distance*fixedsize，其中：size是hud(或hudui)的虚拟大小。对于2dhud来说，该大小将由二维(2d)尺度(vector2)呈现。对于3dhud来说，该大小将由三维(3d)尺度(vector3)呈现。distance是从hmd到凝视点的距离，即，distance是凝视距离。在3d引擎中，这还可表达为从虚拟相机到凝视点的距离。

fixedsize是常数或hud尺度，其定义hud的所感知的视觉大小。fixedsize可以是任何期望值，但通常在连续计算期间将不改变。hud尺度(可由实施者选择)将如下所示地乘以凝视距离。

在下文中，根据一些示例性实施例，描述不同场景，包含如何确定到hud的用户正凝视的凝视点的距离。假设用户正戴着hmd(其具有hud图形或hudui)：用户凝视一点。到凝视点的距离(也可称为焦距或会聚距离)可通过以下各者来确定：源于左眼和右眼的注视视线的交叉点或注视视线之间的最小距离：其中眼睛追踪器设置在每一hmd透镜周围，注视方向可针对每一眼睛来估计。注视视线的交叉点可在3d空间中在这些方向上绘制线条的情况下得以确定，两条线条之间的注视视线之间的最近点或最小距离可得以发现。这获得了用户前方的3d凝视点。或者，眼睛与凝视点之间的距离给出对距用户正看着的点的距离的估计。

到凝视点的距离可通过根据瞳孔间距(ipd)的会聚距离来确定：确定凝视距离可通过使用用户的瞳孔之间的ipd、用户的眼睛之间的目间距iod以及眼睛中的每一只的眼球直径的近似值来执行。当用户正看向远处(光学无穷远)时，根据眼睛追踪器的传感器中瞳孔信号pis(其可被定义为瞳孔相对于眼睛追踪环的相对位置)，可记录ipd。当用户看着比光学无穷远近的会聚距离时，ipd值可减小，这意味它们正会聚在较靠近的某物上，由此确定会聚距离。根据ipd算法的会聚点可估计用户正看着的距离。

到凝视点的距离可通过对slam网格使用视线投射以获得命中点来确定：确定凝视距离可通过获取到环境的3d网格图(3dmeshmap)的距离来执行：作为一个实例，在ar眼镜或hmd中，位置追踪可用于确定hmd相对于其环境位于何处。为了确定hmd的位置，hmd上的传感器寻找世界中的已知点的3d位置。这些点相对于hmd具有已知距离。这些点可转化为3d多边形网格：一旦3d网格是已知的，便可在用户的注视的方向上绘制线条(视线投射)。作为另一实例，线条与网格的交叉点(或注视视线之间的最小距离)可在世界空间中给出3d凝视点。眼睛与凝视点之间的距离可给出到用户正看着的点的距离的估计；上述步骤可在3d引擎中执行。

在已确定了距凝视点的距离后，在虚拟空间中，hudui可移动到与凝视点相同的距离。如前所述，hudui可通过将hud尺度乘以会聚距离而比例缩放以向用户保持相同视觉大小。当用户看着hudui时，用户在与其凝视点相同的距离处看到hudui，这意味用户可舒适地看着hudui，而不必改变会聚。

如果如上文所解释地使用视线投射，那么可通过凝视点算法来检测凝视点(存在可进行检测的若干示例性算法)：在任何给定时间，可存储最新的凝视点。当用户将注视点从凝视点(非hud)改变到hudui时，系统检测到用户正看着hudui，如注视视线投射视线与hudui元件的交叉点所确定的。hudui保持最近的凝视点的距离。如此进行的原因是，视线投射将始终在注视的方向上从眼睛开始，并且保持继续直到其命中3d网格为止。当在较靠近用户的对象与相同深度处的hudui或hud图形之间注视时，则在其之间存在间隙，其中3d网格在远处。(例如，如果某人在远处景观的前方手拿咖啡杯，并将注视点从咖啡杯改变到hud图形，那么视线投射可在眼睛扫视期间命中远处景观。)在持续看着hudui时，hud不改变距离或大小。当用户不再看hud时，hud解冻并继续调整。

hud应不需要“冻结”，这是因为其始终处于用户的焦距处。这在如前所述的通过使用注视视线的交叉点或通过根据ipd的会聚距离来确定距凝视点的距离的状况下适用。

参照图2a到图2c，分别图示根据先前所述的实施例的分别向外和向内移动hudui或hud图形的立体图、俯视图和示意图。图2a和图2b所示的hud图形201如图2c所示的被示出为向外移动(以看上去较远离)和向内移动(以看上去较靠近)。hmd205也示出在图2a和图2b中，并且hmd的视野204以及相对于hmd205的焦距203被示意性地示出。焦距也被表示为到凝视点的距离203。虚拟平面202的中心也被描绘出。虚拟平面也被示出。

额外细节已被公开并且不需要再次重复。

更详细地，图2a到图2c示出从3个视角示出的可根据先前所述的实施例而动态地调整的hudui或hud图形201。图2a示出立体图。图2b示出俯视图。图2c示出用户从刚好在hmd显示器后方的视角在hmd205中所看到的。在图2a到图2c中，hudui201由两个长方形表示，一个在用户的视野的左侧，一个处于用户的视野的顶部。206a是针对用户的左眼的画面。在图中，用户的视野是206a(左眼显示器)与206b(右眼显示器)两者。在图2a和图2b中，hudui示出在虚拟平面上，其中心处于从hmd205直接指向前的线条上并处于与到虚拟平面202的中心的距离相同的距离处，并且其边缘与用户的视野204的边缘相逢。图2c示出所呈现的hudui如何分别在左眼显示器206a和右眼显示器206b中改变。hudui201关于每一显示器上的像素保持相同现实世界大小，但它们在注视点移动得较远离用户时从中心向外移动，并且在注视点移动得较靠近用户时朝向中心向内移动。

参照图3，图示根据先前所述的实施例的用于自适应地调整hud的方法的流程图，其中hud包含ui和/或图形。该方法包括：

-确定301凝视距离，其中所述凝视距离是到所述hud的用户正凝视的凝视点的距离；

-通过以下方式来动态地调整302所述hud：

-调整在所述用户的每只眼睛前方的所述hudui的位置，以使得所述hudui看上去定位在所述凝视距离处。

如前所述的并根据一个实施例，动态地调整所述hud包含：通过在所述用户的视野中将所述hudui维持在大致上相同的视觉大小而调整所述hudui的位置。

根据另一实施例，动态地调整所述hud包括：在虚拟空间中将所述hudui移动到所述凝视距离；以及比例缩放所述hudui的大小以在所述用户的视野中维持与所述移动之前大致上相同的视觉大小，其中比例缩放包含将hud尺度乘以所述凝视距离。

如前所述的，确定所述凝视距离可通过以下方式来执行：使用分别源于左眼和右眼的注视视线之间的交叉点或最小距离。

确定所述凝视距离也可通过以下方式来执行：使用所述用户的瞳孔之间的瞳孔间距(ipd)、所述用户的所述眼睛之间的目间距(iod)以及所述眼睛中的每一只的眼球直径的近似值。

确定所述凝视距离也可通过以下方式来执行：在所述用户的注视的方向上获取到环境的3d网格图(例如，slam)的距离。

根据一个实施例，在所述用户持续看着所述hud时维持所述hudui的位置。此外，可在用户不再看hud时执行对所述hud的所述动态调整。所述调整可如前所述地在扫视期间执行。

额外细节已被公开并且不需要再次重复。

为了执行上述方法，提供一种hmd，其中所述hud包含ui或图形。所述hmd包括：至少一个眼睛追踪器、处理器以及含有可由所述处理器执行的指令的存储器，其中所述hmd操作以：

-确定凝视距离，其中所述凝视距离是到所述hud的用户正凝视的凝视点的距离；

-通过以下方式来动态地调整所述hud：调整在所述用户的每只眼睛前面的所述hudui的位置以使得所述hudui看上去定位在所述凝视距离处。

根据一个实施例，所述hmd操作以通过以下方式来动态地调整所述hud：通过在所述用户的视野中将所述hudui维持在大致上相同的视觉大小而调整所述hudui的位置。

根据另一实施例，所述hmd操作以通过以下方式来动态地调整所述hud：在虚拟空间中将所述hudui移动到所述凝视距离；以及比例缩放所述hudui的大小以在所述用户的视野中维持与所述移动之前大致上相同的视觉大小，其中比例缩放是通过将hud尺度乘以所述凝视距离来执行的。

所述hmd可操作以通过以下方式来确定所述凝视距离：使用分别源于左眼和右眼的注视视线之间的交叉点或最小距离。

所述hmd可操作以通过以下方式来确定所述凝视距离：使用所述用户的瞳孔之间的ipd、所述用户的眼睛之间的iod以及所述眼睛中的每一只的眼球直径的近似值。

所述hmd可操作以通过以下方式来确定所述凝视距离：获取到环境的3d网格图(例如，slam)的距离。

根据一个实施例，所述hmd操作以在所述用户持续看着所述hud时维持所述hudui的位置，并操作以在所述用户不再看所述hud时动态地调整所述hud。所述hmd可操作以在扫视期间动态地调整所述hud。

根据一个实施例，所述hud可呈现在固定显示器或自适应焦点显示器上。

还提供一种由根据前述实施例的hmd操作的hud。

还提供一种计算机程序，其包含指令，所述指令在所述hmd的至少一个处理器上执行时，导致所述至少一个处理器执行上文所述的方法。

还提供一种载体，其含有所述计算机程序，其中所述载体是以下各者中的一者：计算机可读存储介质；电子信号、光学信号或无线电信号。

如从本公开清楚了解到的是，实现了若干优点，至少包含减轻用户的眼睛疲劳，以及减少聚焦在hud上所需的时间，以及避免改变聚散。

应理解，虽然所给出的详细的附图、具体实例、尺寸和特定值提高示例性实施例，但所述实施例仅是出于说明的目的。本文中的实施例的方法和设备不限于所公开的精确细节和条件。不偏离随附权利要求书所限定的本发明的精神的情况下，可对所公开的细节作出各种改变。