显示系统中前庭眼球反射校正的设计和方法与流程

在此描述的示例性实施例一般涉及飞行器或移动运载工具操作，并且更特别地涉及以对前庭眼球反射(VOR)响应进行校正的方式显示对象的图像。

背景技术：

对于飞行员而言有益的是通过在查看驾驶员座舱窗口外部的同时仍然监测飞行器操作状态来知晓周围环境。更一般地，在任何类型的运载工具操作中，对于操作者而言有益的是具有增强的处境认知。返回到飞行器操作的示例，传统地，飞行员已经依赖于固定在相对于飞行员的座位的位置和朝向的驾驶员座舱显示屏幕。即使在允许飞行员向上看同时仍然从航空电子设备显示单元接收电子信息的最新的平视显示(HUD)航空电子设备的情况下，当飞行员把他的/她的头部从航空电子设备显示单元的位置转开时，飞行信息也并未被针对他们的注意而提供。更一般地，在其中操作者注意需要集中在显示单元上的任何运载工具操作中，即使是头部从该显示器远离的瞬间移动都可能造成错过的信息。

随着运载工具的操作变得更复杂，诸如前述的飞机的示例，可取的是运载工具操作者(例如飞行机组人员)是专注的并且以及时的并且便携的方式接收信息以确保适当的操作。一种用于提供便携的信息的装置是头戴式显示(HMD)系统。头戴式显示系统是一种头部穿着的显示系统的类型，其使用脸盔(visor)、头盔(helmet)、护目镜(goggle)或其它的头部穿着安装以将显示器放置在一只或两只眼睛前面。典型地，头戴式显示器包括在其上呈现显示符号的半透明光学组合元件。符号的源可以是液晶显示器(LCD)、硅上液晶(LCoS)显示器，或者有机发光二极管(OLED)显示器。组合元件允许呈现在HMD显示器上的信息重叠在可见场景上并且随着运载工具操作者使他的/她的头部四处移动而改变。因为该HMD系统是头部穿着的，因此存在被可取地处置的一些不同的人体和视觉系统耦合特性。那些中的一个是人类前庭眼球反射(VOR)。

正常的VOR响应是一种补偿性的眼睛移动，其在人类神经系统检测到头部在空间中的运动时与头部移动逆向移动(counter)。例如，在水平平面上将头部旋转到右边将引发眼睛相对于头部坐标框架向左边旋转，以稳定注视的视觉轴并在头部运动期间将图像保持为固定在视网膜上。此外，由于VOR所致的该眼睛运动由于来自神经传感器的动态效应和动眼核响应的原因而并不是头部运动的精确反转。

在利用合成视觉图像处理的HMD设备的当前实践中，通常在没有眼睛VOR效应的动态补偿的情况下针对所感测的头部运动对图像进行补偿。也就是，偏移所显示的图像，以在头部移动时反映眼睛注视正在改变方向，并且在HMD设计的当前实践中通常假设眼睛注视被对准为与头部面向的方向相同。实际上，由于非主动的前庭眼球反射所致的眼睛运动并不与头部运动对准，其也不与头部运动的纯粹反转对准。在不动态地补偿眼睛VOR效应的情况下，所得到的图像在振动环境(诸如在不平坦地形上的运载工具的操作，或者在湍流环境中的飞行器的操作)中对于人类操作者来说可能是不可读的。

因此，可能想要的是合并眼睛VOR补偿以增强在HMD设备上的图像稳定和跟踪设计的性能，尤其是在高振动环境中使用时。更进一步地，根据结合随附附图和前面的技术领域和背景技术所做的随后的详细描述和所附权利要求，示例性实施例的其它的想要的特征和特性将变得显而易见。因此，将领会的是，即使本公开中的利用VOR补偿的示例性应用涉及头戴式显示系统，本公开也能够通过在图像处理中合并VOR补偿以增强显示信息的认知从而应用于在高振动或改变的环境中使用的任何图像显示系统。

技术实现要素：

一种用于在头戴式显示(HMD)设备上显示图像的方法，该头戴式显示(HMD)设备针对用户的前庭眼球反射(VOR)响应进行补偿，该方法包括如下的步骤：生成第一图像并且在HMD显示设备上显示该第一图像；感测HMD显示设备的角向运动；以及基于所感测的HMD显示设备的角向运动，估计用户的眼睛的角向运动。估计步骤包括：使用眼睛角向VOR运动预测数学模型，生成由于VOR效应所致的预测的眼睛位置，以及使用眼睛角向位置跟踪数学模型，在头部运动已经平息(subside)之后校正所预测的眼睛位置。进一步地，该方法包括：基于第一图像并基于被校正的所预测的眼睛位置生成作为连续的图像流的一部分的后续的第二图像，以及在HMD显示设备上显示第二图像。

提供该简要概括来以简化的形式介绍下面在详细描述中被进一步描述的概念的选择。该概括并非意图标识要求保护的主题事项的关键特征或比不可少的特征，其也不意图被用作为帮助确定要求保护的主题事项的范围。

附图说明

在下文中将结合以下的绘制的各图来描述本公开，在各图中同样的数字表明同样的元件，并且

图1是飞行显示系统的功能框图；

图2是HMD系统的示例性实施例；

图3是图2的HMD系统的功能框图；

图4提供参照坐标系统；

图5图解沿一个轴的示例性眼睛角向VOR运动预测模型；

图6图解沿一个轴的示例性眼睛角向位置跟踪模型；和

图7图解沿三个轴的图5和图6的模型的两者的集成方法。

具体实施方式

下面的详细描述本质上仅仅是说明性的，并且不意图限制主题事项或申请的实施例以及这样的实施例的用途。在此被描述为示例性的任何实现未必要被解释为较之其它实现是优选的或有利的。更进一步地，不存在要由在前面的技术领域、背景技术、发明内容或以下的详细描述中提出的任何明确的或暗示的理论来约束的意图。

介绍

本公开宽泛地提供了对于针对在头戴式显示设备中使用的合成视觉或其它图像呈现补偿VOR效应的解决方案。更宽泛地，如上面最初表明的那样，本公开不限于使用在HMD设备中，而是相反地将通过在图像处理中合并VOR补偿以增强显示信息的认知来在使用于高振动或改变的环境中的任何图像显示系统中找到应用。

更具体地，本公开提供用以预测由于角向VOR效应所致的眼睛旋转运动的算法并且使得眼睛运动能够在头部运动已经停止之后跟踪显示在HMD设备上的静止图像。除了其它方面之外，本公开的架构还包括：1)眼睛角向VOR(aVOR)运动预测数学模型，和2)(在头部坐标框架中定义的)眼睛角向位置跟踪数学模型，以在VOR已经发生并且头部运动已经平息之后将眼睛位置与反向(即，从面向于头部位置的视角)的头部位置对准。

在以下的几个段落中提供元件1)和2)中的每个的简要概述，跟在此后的是HMD系统的描述以及如在各图中阐述的随同于该描述的元件1)和2)的实现。首先，关于元件1)，眼睛角向VOR运动预测模型，利用可调谐时间延迟和可调谐正向增益来发展动态伪反转传递函数以表示人眼眼球运动机制和在头部运动期间的逆向移动反射。具有眼睛角向位置反馈环路的反馈控制器被设计成减轻眼睛位置从头部位置的漂移。该模型将三个角向速率和头部运动的位置利用于三轴角向眼睛VOR运动。该模型的输出是由VOR引发的在头部坐标中定义的所预测的眼睛角向位置。然后，由于VOR所致的δ(delta)眼睛(角向)位置被生成为在由于VOR所致的所预测的眼睛角向位置和反向头部位置之间的差值。

第二，关于元件2)，眼睛角向位置跟踪模型使得能够在VOR效应减弱之后进行头部位置的眼睛跟踪。设计的是在检测到相对静止的头部运动之后将δ眼睛位置减小至零。因此，在头部的运动停止之后，最终的眼睛位置与头部位置对准。等同地，该跟踪特征使得眼睛运动能够随着所显示的图像被与反向头部位置偏移而跟踪静止图像。该跟踪模型还被设计为具有用以排斥控制器噪声抖动的逻辑。此外，该模型允许通过特定的人类操作者来调谐VOR增益和延迟效应，并且因此由于VOR所致的所预测的眼睛运动可以被调整并且因此与头部和眼睛运动动态地相关联以用于不同的人类VOR响应。

关于所公开的显示系统中的VOR补偿，技术和工艺可以在此被按照功能和/或逻辑框组件、并且参照可以由各种计算组件或设备执行的操作、处理任务和功能的符号表示来进行描述。这样的操作、任务和功能可以被称为由计算机执行、被计算机化、被软件实现或被计算机实现。在实践中，一个或多个处理器设备能够通过操纵表示在系统存储器中的存储器位置处的数据比特的电信号以及其它的信号处理，来执行所描述的操作、任务和功能。虽然示例性实施例的方法和系统可以被使用在任何类型的移动运载工具(例如汽车、轮船和重型机械)中，但是任何类型的非运载工具应用(例如外科手术、机械和建筑物维护、远程机器人以及其它远程观察)、以及任何类型的空间应用(包括运载工具和安装套组(suit mounted)、在飞行器系统中的使用)被描述为示例。

一般地，在此描述的示例性实施例包括头戴式显示设备，其允许运载工具的操作者(诸如飞行器的飞行员)在空中时或在地面上时看到运载工具或飞行器外部的实际图像的适形视频图像。HMD头部跟踪系统提供用于视觉扫描的从左至右的运动范围(例如360度)。为了显示而生成的图形跟踪至飞行员的头部移动。来自例如装有万向接头的头部跟踪摄像机、固定传感器的阵列、或者从数据创建的虚拟的或合成的环境的输入给予操作者/飞行员用以扫描天空、地形、或者用于对象的跑道/滑行道的能力。运载工具的姿势(朝向)可以从惯性传感器、加速度计、罗盘和空气数据传感器确定。例如，HMD系统处理由摄像机、传感器创建的或者从所存储的数据合成地创建的实际视频图像。

参照图1，一般化的示例性显示系统100包括用户接口102、处理器104、传感器112、外部数据源114、以及一个或多个显示设备116(包括随后更详细地讨论的HMD系统117)。用户接口102处于与处理器104的可操作的通信，并且被配置为从操作者109接收输入，以及响应于用户输入，将命令信号供给至处理器104。在所描绘的实施例中，处理器104包括板载RAM(随机存取存储器)103和板载ROM(只读存储器)105。控制处理器104的程序指令可以被存储在RAM 103或ROM 105中或者被存储在RAM 103和ROM 105这两者中。不管处理器104是如何具体地实现的，其都处于与显示设备116的可操作的通信，并且被耦接以接收来自传感器112的各种类型的运动数据以及来自外部数据源114的各种其它的运载工具数据。处理器104被配置为将适当的显示命令供给至显示设备116。显示设备116响应于显示命令，选择性地渲染各种类型的文本的、图形的和/或图标的信息。传感器112可以使用现在已知的或在将来开发的各种类型的惯性传感器、系统和或子系统来实现，以用于供给例如，表示运载工具的状态(包括运载工具速度、航向、海拔和姿势)的各种类型的运动数据。

将领会的是，显示设备116可以使用适合于以由操作者109可查看的格式渲染文本的、图形的和/或图标的信息的大量已知的显示设备中的任何一个来实现。这样的显示设备的非限制性示例包括各种平坦面板显示器(诸如各种类型的LCD(液晶显示器)、TFT(薄膜晶体管)显示器、以及投影显示LCD光引擎)。显示设备116可以附加地被实现为安装有面板的显示器、或者大量已知的技术中的任何一种。

如先前表明的那样，显示设备116包括HMD显示系统117。存在许多已知的HMD系统。一种已知的示例性实施例被描述在共同受让的美国专利8,552,850中，该美国专利被通过引用而在其整体上合并于此。在该申请的图2中示出的实施例包括穿着HMD显示系统117的运载工具的操作者109(诸如飞行器的飞行机组人员成员)。HMD显示系统117包括耦接至HMD显示器208的头带206，其优选地是半透明的。当由操作者109正确地穿着时，HMD显示器208被以距右眼210预先确定的距离放置在右眼210的视线放置。以此方式，信息可以在HMD显示器208上被呈现给操作者109，HMD显示器208被重叠在例如超出控制的可见场景以及驾驶员座舱内的其它物品和/或透过驾驶员座舱的窗口的外部景色上。发光二极管(LED)214被定位在头带206的部分212上以在时间上的任何点处感测操作者109的头部正面向的方向(例如，抬起、低下、朝着驾驶员座舱的一部分或者另外的部分)，以便在HMD显示器208上呈现适当的信息。用于跟踪头部移动的其它系统包括头带上的摄像机或发射器，或者跟踪系统可以是磁性的或惯性的而不是光学的。以此方式，在时间上的任何点处的操作者的头部方向可以被感测以用于在HMD显示器208上生成和呈现适当的透明视图(包括适形的图形和/或其它信息)。HMD显示系统117的配置并不限于图2中示出的设备。例如，虽然HMD显示系统117是单眼HMD显示系统，但是在本实施例中也可以采用双眼HMD显示系统。

图3描绘根据本实施例的用于运载工具操作的系统的框图。HMD显示系统117包括HMD显示器208、HMD传感器301、HMD跟踪控制器302和可选的惯性测量单元(IMU)303。HMD跟踪控制器302从HMD传感器301(诸如摄像机(未示出))接收信号，并生成被提供到HMD显示器208的信号。该信号在HMD显示器208上呈现适当的信息以用于生成适形图形的视图或用于呈现给操作者109的其它信息。

响应于由HMD传感器301监测到的信息，HMD跟踪控制器302还生成与操作者109的头部的方向对应的聚焦数据。这样的信息可以包括操作者109的头部是否朝着窗户向外(未示出)，以及操作者109的头部是否沿该方向转到运载工具内的显示器306，或者操作者109的头部是否转到一些其它感兴趣的点。HMD跟踪控制器302耦接至控制器304以用于提供与操作者109的头部方向对应的聚焦数据。聚焦数据(例如，从监测HMD显示系统117的位置和朝向而得到的操作者头部跟踪数据)被控制器304利用于呈现适形图像。参照背景地形，加载适形图像并显示实际环境。其它信息(诸如运载工具导航和性能信息)在显示器上是静止的而不管穿着HMD显示系统117的操作者转到的方向如何。

眼睛角向VOR运动预测数学模型

如先前表明的那样，针对眼睛角向VOR运动预测模型，利用可调谐时间延迟和可调谐正向增益来发展动态伪反转传递函数731以表示人眼眼球运动机制和在头部运动期间的逆向移动反射。具有作为反馈信号的眼睛角向位置的反馈控制器730被设计成减轻眼睛位置从头部位置的漂移。其把三个角向速率和头部运动的位置利用于三轴角向眼睛VOR运动。该模型的输出是由VOR引发的在头部坐标中定义的所预测的眼睛角向位置。然后，由于VOR所致的δ眼睛(角向)位置被生成为在由于VOR所致的所预测的眼睛角向位置和反向头部位置之间的差值。这种类型的模型的背景理解可以从如下获取：T.Shibata等，“Biomimetic Gaze Stabilization based on Feedback-Error-Learning with Nonparametric Regression Networks”，Neural Networks，2001年3月，第2期，卷12，第201-216页，其内容被通过引用而在其整体上合并在此。

该模型沿所有三个移动轴(即x轴、y轴和z轴)操作。因此适当的是在此时介绍图4，图4提供关于用户的头部的这三个轴的图解，用于在(如在下面更详细地阐述的)眼睛角向VOR运动预测模型和眼睛角向位置跟踪模型的讨论中进行参照。如图4所示，z轴垂直地行进通过用户的头部，y轴行进通过用户的头部的侧面，并且x轴行进通过用户的头部的前面和后面。将基于该坐标框架来提供关于下面描述的相应的模型的角向加速度、速率和头部位置以及眼睛位置。例如，俯仰平面被限定成绕y轴旋转；其对应的头部旋转速率信号在图7中被叫作输入信号H_Ry_rate 702y。

眼睛角向VOR运动预测数学模型700被图解在图5中。为了简单，图5显示仅用于一个轴的数学模型。然而，应当注意的是，使用相同的基本模型(但具有不同的数值参数)，该模型被扩展到所有三个轴上，如将在下面更详细地描述的那样并且如在图7中更特别地阐述的那样。

眼睛角向VOR运动预测数学模型作为其输入而使用用户的头部位置701(被沿三个轴中的每个轴定义，虽然如上面表明的图5示出仅用于一个轴的输入)、用户的头部速率702(被沿三个轴中的每个轴定义)、以及被称为调谐“旋钮(knob)”703的调谐参数(再次地，被沿三个轴中的每个轴定义)。还被提供的是用于沿三个轴中的每个轴的每个旋转方向(711，712)的VOR速度增益。这是用于VOR校正效应的用以衰减所感测的头部角向速率的增益。每个轴具有用于不同的头部旋转方向(711，712)的不同的VOR速度增益基线。在一个实施例中，仅仅作为一个非限制性的示例，基线VOR速度增益可以是大约0.97上仰和大约1.10下俯。每个增益可以具有由调谐旋钮703控制的可调谐偏置。在一个实施例中，仅仅作为一个非限制性示例，该偏置可以是大约+/-0.09。下面描述的对增益进行调谐的旋钮的效应，对于每个轴而言并且对于沿每个轴的每个旋转方向而言：旋钮的范围被针对每个轴不同地标定(scale)。在一个非限制性的示例中，旋钮调谐的最大值被解释为对于俯仰轴而言的大约0.09偏置，但是对于偏航轴和滚动轴而言的大约0.07偏置。当旋钮被居中于零时，使用基线增益和默认的延迟值。当旋钮被右转时，利用距基线的正偏置来增加增益，并且结果是从基线减少延迟时间。替换地，当旋钮被转向左时，利用距基线的负偏置来减少增益并且从基线增加延迟时间。提供可调谐增益以对按不同的人而变化的不同的VOR响应进行补偿。

眼睛角向VOR运动预测数学模型作为其输出而产生沿三个轴中的每个轴的所预测的眼睛位置720，如针对一个轴的图5所示。这些输出被用作为用于(如下面更详细地描述的)眼睛角向位置跟踪数学模型的输入中的一个。

眼睛角向位置跟踪数学模型

如先前表明的那样，眼睛角向位置跟踪模型使得能够在VOR效应减弱之后进行眼睛跟踪头部位置。设计的是在检测到静止的头部运动之后将δ眼睛位置减小至零。因此，在头部运动停止之后，最终的眼睛位置与头部位置对准。等同地，该跟踪特征使得眼睛运动能够随着眼睛角向位置被与头部位置对准而跟踪静止图像。该跟踪模型还被设计为具有用以排斥控制器和传感器噪声的逻辑。

眼睛角向位置跟踪数学模型800被图解在图6中。为了简单，图6显示了仅用于一个轴的数学模型。然而，应当注意的是，使用相同的基本模型(但具有不同的数值参数)，该模型被扩展到所有三个轴上，如将在下面更详细地描述的那样并且如在图7中更具体地阐述的那样。

眼睛角向位置跟踪数学模型作为其输入而使用用户的头部位置701(被沿三个轴中的每个轴定义，虽然如上面表明的图6示出仅用于一个轴的输入)、用户的头部速率702(被沿三个轴中的每个轴定义)、以及来自眼睛角向VOR运动预测数学模型的所预测的眼睛位置720(再次地，被沿三个轴中的每个轴定义)。如进一步图解的那样，参数801是用于检测静止的头部运动的参数，其中假设的是小于预先确定(基于特定的实现)的度数每秒的速率意味着头部运动已经停止。

如在图5的情况下那样，图6中示出的模型包括眼球运动工厂设计参数732，具有用于静止运动条件的被设置为“0”(802)的δ输入的反馈控制环路。此外，模型800包含控制参数811以减轻运动抖动的效应。例如，如上面表明的那样，在真实的振动环境中的IMU信号包含如下的噪声：该噪声甚至在头部运动减慢或者停止之后引起快速的图像改变。然后，由于非意图的信号噪声(其通常为高的频率并且为小的量值)的原因，HMD系统将所测量的信号错误地解释为实际的头部运动，并且相应地调整显示图像，造成图像抖动。如果快速移动(加速)的量值低于阈值，则适形的图像是静止的，由此防止将从在头部移动期间接收的实际视频图像生成的该适形的图像的急动或抖动运动，并且可以在快速的头部移动被检测为具有小的量值时被停止。可以如想要的那样选择任何阈值值803，其在非限制性的、所图解的实施例中为大约0.02。

眼睛角向位置跟踪数学模型作为其输出产生在眼睛位置810上的改变(“δ”)以如在图5中确定的那样减少眼睛位置。基于在图5和图6中示出的模型的输出的集成的数学模型产生最终的结果，该结果允许HMD系统针对VOR效应来校正显示图像，如下面在图7中描述的那样。

数学模型的集成

图7图解数学模型，该数学模型示出图5的眼睛角向VOR运动预测数学模型700和图6的眼睛角向位置跟踪数学模型800的组合的交互工作。在图7中，图解了三个轴中的每个轴，具有用于头部位置的输入701x、701y、701z以及用于头部速率的输入702x、702y、702z。还图解了调谐旋钮703x、703y、703z。结果是所预测的VOR眼睛位置720x、720y、720z，其被δ眼睛位置810x、810y、810z校正以用于最终确定的眼睛位置，该最终确定的眼睛位置被用于更新HMD显示。

虽然在前述的详细描述中已经提出了至少一个示例性实施例，但是应当领会的是存在大量的变化。还应当领会的是，一个或多个示例性实施例仅仅是示例，并且不意图以任何方式限制范围、应用性或配置。相反，前述的详细描述将为本领域技术人员提供用于实现示例性实施例的方便的路线图，理解的是可以在不脱离如在所附权利要求中阐述的范围的情况下作出在示例性实施例中描述的元件的功能和布置上的各种改变。