用于改进的显示的系统和方法与流程

本发明是在用于根据视力需求提高用户体验的校正图像显示的领域中，具体涉及提高具有视力障碍的用户的视力。

背景

在人类拥有的五种感官中，视觉是最重要和最主要的感官。实际上，视力丧失是头号健康恐惧。作为视力系统的前端的眼睛与视神经和大脑结合形成了非常复杂和精细的系统。由于其复杂性，许多疾病影响视力，并大大降低了患者的生活质量。世界各地有数亿人患有视力相关的疾病。

如今，随着预期寿命的增加和老年人口的迅速增长，这些眼睛损伤更为显著，并且需要缓和视力质量，从而缓和老年人的视觉生活质量。

眼睛治疗在过去50年中迅速发展，然而在许多情况下，现代医学世界无法提供将完全修复视力障碍的疗法，并且在许多情况下，只能减缓病理过程并为患者提供非常有限的治疗。

提高低视力患者的视觉能力将不仅提高他们的生活质量，而且减轻对社会的负担。

随着技术的发展，越来越多的人发现需要使用各种显示系统进行信息消费。通常，这样的信息本质上可以是文字和/或图片的，并且可能与专业或娱乐需求有关。

目前可用的图像显示设备提供了可及性(accessibility)工具的选择，其提供了用户改变显示数据的某些属性以补偿视力需求的能力。

一般描述

在本领域中，需要用于增加显示可及性并相对于显示数据增强用户体验的新技术。本发明的技术实现了根据用户的视力需求对所选内容的在线定制显示，同时基于显示内容中的用户感兴趣区域来更新显示特性。

定制显示通常包括根据定义的视力需求进行校正的显示区域，而校正区域周围的显示数据可按原来(由内容或显示偏好)定义的那样不变。校正区域基于用户在显示数据内的确定的感兴趣区域来确定。因此，校正区域可跟随用户在阅读文本、查看照片或视频时的注意力，并基于用户的注意力将校正应用于显示数据中的至少一部分。

通常，该技术基于预定的视力需求，其可与用户的已知视力障碍相关联。一旦确定了用户的视力障碍(专业诊断或由用户自行诊断或者使用一种或更多种自动化技术确定)，就可以采取适当的图像处理动作，使能够通过提供适于用户的显示内容来增强用户的体验。例如，如果用户被诊断出有某视力失真，则适当的图像处理可包括失真反向(reversing)。可替代的图像处理动作可包括数据的一部分的放大或隔离，增加对比度或改变亮度以及附加图像处理动作，如以下将进一步进行描述的。通常，图像校正可以是均匀校正，即与校正区域内的坐标无关的校正函数，或可以是使得校正函数是校正区域内的坐标的函数的非均匀校正。

通常，本发明的技术一般包括提供关于用户的视力需求的数据。该数据可被预先储存在对应的储存扇区中或由用户确定。此外，关于要被显示的内容的数据被提供/选择，并且适当的初始显示数据被生成，以在显示设备上向用户显示。内容通常可以是任何类型的显示内容，诸如区视图、书面文档、互联网站点、数据表、图片、视频等。内容通常根据用户交互(诸如，选择要显示的内容的不同部分或附加内容)来更新。还应注意的是，这里所描述的术语内容和显示数据应被广义地解释，并且涉及显示设备上显示的任何数据，包括系统操作数据和操作系统接口以及由用户或任何第三方选择的用于显示的数据。

此外，用户在显示数据内的感兴趣区域要被识别。感兴趣区域(roi)通常是显示数据的一部分，该显示数据的一部分包括一起形成信息片段的一个或更多个数据元素。根据大小、形状和位置的对roi的选择通常提供显示数据的一部分，使用户能够更好地看到信息片段，从而理解或掌握其中的信息。例如，这样的信息片段可以是单一单词、句子中的几个单词、具有可与图像的轮廓相关联的大小和形状的图像的一部分或线或者包括例如系统接口数据的屏幕的任何部分。

用户在显示数据内的roi可基于用户的视线来确定，指示显示区域中用户的一个或更多个眼睛朝向的点。视线可通过眼睛跟踪、定点设备(例如，鼠标)或根据计算或预期的用户注意力的模式来确定。在一些配置中，roi可基于在预定时间段内的视线的移动历史或移动特性来确定，这是为了补偿可能与roi无关的用户视线的快速或不需要的移动。在一些其它配置中，视线的这种快速移动可通过适当的图像处理动作来补偿，例如提供与用户眼睛中的一只或两只的眼球震颤(nystagmus)相关联的图像校正。

显示数据中的与用户的roi相关联的至少一部分经受根据视力需求选择的一个或更多个图像处理动作。图像处理动作通常可包括一个或更多个滤波器或图像处理操作，该滤波器或图像处理操作被选择用于提高roi内的信息片段的可视性，从而为用户提供改进的视觉性能。例如，如果用户的视力需求涉及文本中的单词之间的增加的间隔或大的字体的使用，则图像处理动作可包括对roi内的文本信息的选择，以及生成具有在原始图像数据上呈现/显示的放大的所选定的文本信息和/或具有增加的间距的显示数据。基于图像处理动作，刷新的显示数据可被生成并被传输到显示设备。

该显示数据，可例如根据使用的显示设备的刷新率，或者根据被显示的内容的刷新率，来周期性地刷新，同时用户的roi可随时间的推移变化，从而给用户提供根据个人视力需求定制的不断改进的显示数据。

在这种情况下，应注意的是，本技术可由可连接到一个或更多个显示设备(诸如屏幕、投影仪单元或多个屏幕)的系统(例如，计算机系统)来实现，该显示设备可以是充当具有显示器的眼镜的头戴式的。在一些实施例中，显示设备可包括通过单独屏幕或通过使不同的图像分别从单一屏幕流向每只眼睛的用于用户的每只眼睛的单独显示器，允许针对用户的每只眼睛的不同视力需求定制显示数据和图像处理动作。通常，用于两只眼睛的这样的单独显示器可用于提供三维体验，然而如下文中所描述的，另外或可替代地，本技术可提供适于可在用户的眼睛之间变化的视力需求的改进的图像显示。

此外，该系统可连接到提供与用户的视线相关联的指示的一个或更多个输入设备。这样的输入设备可包括定点设备(例如，鼠标、键盘、跟踪笔等)或能够基于用户眼睛中的一只或两只的取向来提供指示用户的实际视线的输入的输入设备。例如，本发明的技术可使用提供关于用户眼睛中的一只或两只的取向的数据的眼睛跟踪单元，或使用提供用户的图像数据的相机单元。这样的图像数据可被处理以基于用户眼睛中的一只或两只的位置和取向来提供关于视线的数据。

因此，根据本发明的一个广泛的方面，提供了用于数据显示的方法，包括：提供关于用户的视力需求的数据，提供关于要被显示给所述用户的内容的数据，以及生成并在显示设备上显示初始显示数据，以及识别用户在显示数据内的感兴趣区域；以及根据关于用户的视力需求的所述数据来对显示数据进行处理，以用于生成刷新的显示数据，所述处理包括针对感兴趣区域内的显示数据中的至少一部分的合适的图像处理，并传输所述刷新的显示数据以在显示设备上显示；从而在感兴趣区域内，向所述用户提供改进的图像显示。

识别用户的roi可包括对要显示的所述内容进行处理，并基于所述内容确定一个或更多个数据部分。识别用户的roi还可包括提供关于所述用户的至少一只眼睛的视线的数据，从而识别所述roi。更具体地，识别用户的感兴趣区域可包括使用预定时间段内的视线的历史数据，并选择对应于所述显示数据的视线的变化。

通常，提供关于用户的视线的数据可包括确定显示区域内的与估计的用户注意力的位置相关联的点。

根据一些实施例，提供关于用户的视线的数据可包括接收关于定点设备(例如，鼠标)的移动历史的数据，并对关于移动历史的所述数据进行处理，以用于确定关于用户的视线的所述数据。

根据一些实施例，提供关于用户的视线的数据可包括提供关于用户眼睛中的至少一只的移动的数据，并将所述数据与显示设备上的预定位置进行比较，从而确定在所述显示数据内的位置在用户的视线内。

提供关于用户眼睛中的至少一只的移动的数据可包括：从安装在相对于所述显示设备的预定位置处的成像器收集用户的图像数据并对所述图像数据进行处理，以确定用户的眼睛中的至少一只相对于所述显示设备的取向。

例如，提供关于用户的视线的数据可包括提供关于用户的眼睛中的每只的个体移动的数据，并确定右眼视线和左眼视线。显示数据还可包括右眼显示数据和左眼显示数据，并且对显示数据的处理包括将第一图像处理和第二图像处理分别应用于所述右眼显示数据和左眼显示数据中的至少一部分。对右眼显示数据和左眼显示数据中的至少一部分的这样的图像处理可类似或不同。

所述提供关于用户眼睛中的至少一只的移动的数据还可包括确定用户眼睛中的至少一只的所述视线是在显示区域内还是在所述显示区域外，并且当所述眼睛的视线在显示区域外时停止更新用户眼睛中的至少一只的所述感兴趣区域。

另外或可替代地，所述提供关于用户眼睛中的至少一只的移动的数据还可包括确定用户眼睛中的至少一只的所述视线是在显示区域内还是在所述显示区域外并传输命令，以(例如，通过诸如眼镜安装式快门的不同装置来阻挡眼睛通道)使相应的显示设备相对于指向所述显示区域外的所述用户眼睛中的至少一只变暗。

根据一些实施例，所述将所述图像处理应用于用户的感兴趣区域(roi)内的显示数据中的至少一部分可包括根据关于用户的视力需求的所述数据应用以下滤波器中的至少一个：图像偏移、图像旋转、图像失真反向、图像放大、图像部分(例如，单词)之间的间距增加、将模糊(blur)应用于所述roi的周围、强调roi的部分、隔离roi的部分、增加所述roi内的对比度、降低周围的对比度、增加或减小roi的亮度、用预先选择的彩色图替换roi内的图像颜色、去除显示数据的缺陷部分、标记显示数据内的轮廓并标记显示数据内的图案边缘。

根据一些实施例，所述提供关于要显示的内容的数据、确定用户的roi、将相应的滤波器应用于用户的roi内的显示数据中的至少一部分、生成刷新的显示数据并将所述显示数据传输到显示设备通常被连续地执行，从而实现对用户的连续视力改进的显示数据。

根据一些实施例，该技术还可包括接收和生成与所述显示数据相关联的音频信号。

根据一些实施例，该方法还包括确定显示数据内的一个或更多个命令区域，并确定用户在显示数据内的所述感兴趣区域是否在所述一个或更多个命令区域内，从而激活一个或更多个预定命令。

根据一些实施例，该方法还包括提供眼睛跟踪的数据并确定对应于用户的眼睛移动或其他眼睛行为的一个或更多个姿势，所述一个或更多个姿势与一个或更多个预定命令相关联，从而激活所述一个或更多个预定命令。

该一个或更多个预定命令可包括与要显示的所述数据的选择相关联的一个或更多个命令或者与用户的视力需求的选择相关联的命令，从而影响对要被应用于所述显示数据中的至少一部分的图像处理的选择。

根据一些实施例，该方法可被配置用于提供阅读辅助，包括对显示数据进行处理，并确定要被突出显示的一个或更多个数据部分，确定关于阅读的进度率并相应地突出显示所选择的数据部分。该方法还可包括确定用户的视线并根据所述视线的变化来控制指导的阅读进度；所述控制包括以下动作中的至少一个：保持阅读进度，从先前位置恢复阅读进度，从所选择的位置恢复阅读进度，改变阅读速度。这样的方法还可包括确定用户的视线与当前突出显示的选择的数据部分之间的距离，并且如果所述距离超过预定阈值，则更新眼睛跟踪的校准数据以使视线与突出显示的数据部分对准。

通常，以上描述的方法可被实现为计算机程序代码装置，当所述程序在计算机上运行时，该计算机程序代码装置用于执行上述步骤。

根据本发明的另一个广泛方面，提供了机器可读的程序储存设备，该程序储存设备有形地实施机器可执行的指令程序，以执行用于数据显示的方法，该方法包括：提供关于用户的视力需求的数据，

提供关于要被显示给所述用户的内容的数据，以及生成初始显示数据并在显示设备上显示该初始显示数据，以及

识别用户在显示数据内的感兴趣区域；

根据关于用户的视力需求的所述数据来对显示数据进行处理，以用于生成刷新的显示数据，所述处理包括针对感兴趣区域内的显示数据中的至少一部分的合适的图像处理，并传输所述刷新的显示数据以在显示设备上显示；从而在感兴趣区域内，向所述用户提供改进的图像显示。

根据本发明的又一个广泛方面，提供了用于提供改进的显示数据的系统，包括：至少一个处理单元、输入和输出模块和存储器工具(utility)，并且该系统可连接到至少一个显示设备；该系统被配置并可操作用于根据关于用户的视力需求的预定数据生成改进的显示数据；该处理单元包括：

显示数据生成器，其被配置并可操作用于接收要显示的数据，并且生成显示数据并将其传输到显示设备；

感兴趣区域(roi)识别器，所述感兴趣区域识别器被配置并可操作用于接收所述显示数据并确定所述显示数据内的感兴趣区域(roi)；以及

局部图像处理模块，所述局部图像处理模块被配置并可操作用于接收关于用户的视力需求的所述预定数据，并根据用户在显示数据内的所述roi对显示数据中的至少一部分进行处理，以应用一个或更多个对应的图像处理，并将得到的改进的视力数据传输到显示数据生成器，以向用户提供刷新的显示数据。

处理单元还可包括视线检测器，其被配置并可操作用于确定用户的视线；所述roi识别器被配置并可操作用于根据从视线检测器接收的关于视线的数据来确定感兴趣区域(roi)。

视线检测器可被配置并可操作用于根据连接到系统的所述输入模块的定点设备的移动历史来确定用户的所述视线。

系统可以与眼睛跟踪单元连接，所述视线检测器被配置并可操作用于接收关于用户眼睛中的至少一只的位置和取向中的至少一个的数据，从而确定用户的所述视线。

视线检测器可被配置并可操作用于接收关于用户眼睛中的每只的个体移动的数据，并确定右眼视线和左眼视线。

显示数据生成器可被配置用于生成和传输包括右眼显示数据和左眼显示数据的显示数据，以被适当地显示给用户，从而为用户眼睛中的每只提供无缝的单独显示。此外，局部图像处理模块可被配置并可操作用于根据所述右眼视线和左眼视线以及关于用户的视力状况的所述数据选择性地将第一滤波器和第二滤波器分别应用到右眼显示数据和左眼显示数据的一部分。

根据一些实施例，视线检测器还被配置用于确定用户眼睛中的至少一只的所述视线是在显示区域内还是在所述显示区域外，并生成对roi识别器的相应的通知，所述roi识别器还被配置并可操作用于在视线的有意偏移和无意偏移之间进行区分，并确定用户的roi的相应的变化。

局部图像处理模块还可被配置并可操作用于根据来自roi识别器的关于视线的无意偏移的通知来删除图像数据中的至少一部分，从而使显示数据中的至少一部分响应于视线的大偏移而变暗，或通过诸如眼镜安装式快门的不同装置来阻挡眼睛通道。

根据一些实施例，局部图像处理模块被配置并可操作用于根据关于用户的先前存在的视力状况的所述数据来应用以下图像处理中的至少一个：图像偏移、图像旋转、图像失真反向、图像放大、图像部分(例如，单词)之间的间距增加、将模糊应用于所述roi的周围、强调roi的部分、隔离roi的部分、增加所述roi内的对比度、降低周围的对比度、增加或减小roi的亮度、用预先选择的彩色图替换roi内的图像颜色、去除显示数据的缺陷部分、标记显示数据内的轮廓并标记所述显示中的图案边缘。

在一些配置中，系统可被配置用于根据用户的变化的视线并根据要显示的所述数据的变化来连续地刷新所述显示数据。

根据一些实施例，所述处理单元还可包括局部命令生成器，其被配置并可操作用于确定显示数据内的一个或更多个命令区域并响应于在所述一个或更多个命令区域内检测到的用户视线来生成相应的一个或更多个预定命令，所述视线检测器还被配置用于当视线被确定在所述一个或更多个命令区域内时生成对命令生成器的通知，从而激活一个或更多个预定命令。

根据一些实施例，所述处理单元还可包括姿势命令生成器，其被配置并可操作用于确定与眼睛移动或其他眼睛行为的姿势相关联的一个或更多个命令，该系统可连接到被配置用于提供眼睛跟踪数据的眼睛跟踪单元，所述姿势命令生成器还被配置用于接收所述眼睛跟踪数据并用所述眼睛跟踪数据识别一个或更多个姿势，从而激活与识别的姿势相关联的所述一个或更多个预定命令。

该一个或更多个预定命令可包括与要显示的所述数据的选择相关联的一个或更多个命令或者与要应用于所述显示数据中的至少一部分的滤波器的选择相关联的一个或更多个命令。

附图简述

为了更好地理解本文中所公开的主题并且举例说明如何可以在实践中执行该主题，现在将参考附图仅通过非限制性示例的方式来描述实施例，在附图中：

图1图示了根据本发明的一些实施例的系统；

图2以框图的方式图示了根据本发明的一些实施例的过程；

图3以框图的方式图示了根据本发明的一些实施例的用于识别用户的感兴趣区域的方法；

图4图示了根据本发明的一些实施例的用于使用局部/姿势命令生成器进行数据显示的系统；

图5例示了根据本发明的一些实施例的用于有复视的用户的图像校正；

图6例示了根据本发明的一些实施例的用于有眼球震颤或振动幻视(oscillopsia)的用户的图像校正；

图7例示了根据本发明的一些实施例的用于有管状视力、暗点或中央视觉能力降低的用户的图像校正；

图8例示了根据本发明的一些实施例的用于有偏盲或受损的视野缺损的用户的图像校正；

图9a和图9b例示了根据本发明的一些实施例的用于有视觉失真的用户的图像校正；图9a例示了反向失真校正，以及图9b例示了roi位置的变化和图像处理中的相应改变；

图10a至图10d图示了根据本发明的一些实施例的阅读辅助，图10a例示了文本放大，图10b、图10c和图10d例示了拥挤(crowding)的减少；

图11图示了根据本发明的一些实施例的自动眼睛跟踪的动态工作距离的误差补偿；以及

图12a和图12b例示了根据本发明的一些实施例的指导阅读、文本突出显示和眼睛跟踪动态校准的使用。

具体实施方式

如上所指示的，本发明提供了用于数据显示的系统和方法，其用于根据通常与视力障碍相关联的用户视力需求来提供改进的视觉体验。参照图1，其示意性地图示了根据本发明的一些实施例的用于提供改进的显示的计算机化系统100。系统100包括至少一个处理单元110、被配置用于储存数据的存储器工具170和可连接到一个或更多个输入或输出单元的输入/输出模块180。系统100还可连接到一个或更多个显示设备200，并且还可连接到用于提供眼睛跟踪数据的眼睛跟踪单元160。该系统被配置并可操作用于根据关于用户的视力需求的预定数据，例如基于储存在存储器工具的视力需求数据扇区175中的数据，生成改进的显示数据。

通常，系统100被配置为基于由用户选择并储存在存储器工具170中或通过外部连接(例如通过输入/输出模块180)接收的内容来提供显示数据，并将该显示数据传输到一个或更多个显示设备200以被呈现给用户。当图像数据中的至少一部分根据用户的视力需求进行处理例如以使有视力困难(例如，视力障碍)的用户能够正确地看到数据时，数据被显示。

为此，处理单元110包括显示数据生成器120，其被配置并可操作用于基于要经图像处理或不经图像处理显示的内容生成显示数据，并将显示数据传输到显示设备200；感兴趣区域(roi)识别器140，其被配置并可操作用于确定用户在显示数据内的感兴趣区域(roi)；以及局部图像处理模块150，其被配置并可操作用于将所选定的一个或更多个图像处理动作应用于显示数据中的与确定的roi相关联的至少一部分，并将刷新的显示数据传输到显示数据生成器120以刷新显示数据。

图像处理动作根据用户的视力需求来选择，以便在roi内向用户提供改进的视力。例如，如以下将进一步更详细描述的，局部图像处理模块150可被配置为使用被选择用于提供用户的视力需求的均匀或非均匀的局部图像处理动作中的至少一个。

为此，均匀图像处理对应于通过应用与确定的用户roi内的坐标无关的函数的对显示数据中的至少一部分的处理。例如，均匀处理动作可包括以下中的一个或更多个：图像部分的偏移、图像部分的旋转、roi内的图像的放大、roi的周围的模糊、roi内的亮度或对比度增加或者其周围的亮度或对比度减小、替换roi内的彩色图、增强roi内的轮廓和图案边缘以及附加选择的图像处理动作。

这是在非均匀图像处理涉及作为用户的roi内的坐标的函数的处理的情况下。这样的非均匀图像处理函数可以包括以下中的一个或更多个：失真反向滤波器、图像部分(例如，单词)之间的变化(例如，增加)的间距、强调roi的部分、将roi的部分与周围细节隔离、去除显示数据的缺陷部分、应用非均匀的放大、应用非均匀的亮度水平校正以及各种其他图像处理算法。

通常，本技术向有某些视力障碍的用户提供定制改进的显示数据。用户可由诸如眼科医生的专业人员诊断，以映射他的视力障碍，或者进行自我诊断或由能够映射视力困难的任何其他人或自动系统进行诊断。应注意的是，由本技术提供的某些图像处理动作可能需要对用户视力的高级诊断以及视网膜敏感度和图像感知的准确映射，以提供有意义的校正的显示数据。这是在某些其他图像处理动作相对简单并且可基于有限的诊断(例如，自我诊断)有效地使用的情况下。

局部图像处理模块(lipm)150被配置并可操作用于接收关于用户的视力需求的数据，并将选择的一个或更多个图像处理动作应用于显示数据的至少一部分上。通常，经受图像处理的显示数据的部分根据由roi识别器140确定的用户的roi来选择，然而，图像处理可延伸在roi之外以提供无缝边界，从而根据情况对得到的显示数据进行平滑。lipm150向显示数据生成器120提供刷新或校正的显示数据，以用于更新显示设备。

通常，由于要显示的内容和显示数据以及用户在显示数据内的roi可随着时间推移改变，因此处理单元110通常可被配置为以连续的方式运行并以预定的刷新率更新显示数据。通常，刷新率可基于显示内容的帧速率来确定。在一些配置中，刷新率可基于系统能力和/或用户偏好来确定。

另外，如图1所示，处理单元110在一些实施例中还可包括视线检测器130。视线检测器130被配置并可操作用于确定用户的视线，即显示区域内的用户的眼睛被分别指向的一个点或两个点。视线检测器将关于用户的视线的数据传输到roi识别器140，以根据其确定感兴趣区域(roi)。

视线检测器130可被配置为使用一种或更多种技术和不同类型的数据输入来确定视线。在一些实施例中，视线检测器130可被配置为与诸如定点设备(例如，鼠标、笔、屏幕的触敏区域、键盘等)的一个或更多个输入设备进行通信。视线检测器可以被配置用于根据显示的内容、用户偏好、用户内容以及预定(相对短)的时间段内的定点输入数据的移动历史和roi历史来对输入数据进行处理，以确定显示区域内的与用户的视线相关的一个或更多个点。

在一些实施例中，视线检测器130可连接到被配置为提供用户的眼睛跟踪数据的输入设备。这样的输入设备可以是眼睛跟踪单元160，其是系统100的组成部分，或者是可通过输入/输出模块180连接到系统的外部单元。通常，眼睛跟踪单元可被定位在静态位置或附接到随着使用者移动的头戴式单元。在一些配置中，输入设备可以是相机单元，其提供用户的图像流以允许检测用户眼睛的位置和取向。处理单元110或其视线检测器130可被配置用于对输入图像流进行处理，以检测用户眼睛中的至少一只的位置和取向，并使用关于用户与显示设备的相对位置的数据来确定用户的视线。

通常，roi识别器140可利用对视线历史的处理来确定roi并将其调整到用户的期望。例如，在文本内容阅读的情况下，用户的视线预期以相对均匀的速度跨行移动；roi可被确定为整行或几个单词，并且可基于对阅读的均匀速率的估计来刷新，同时考虑并涉及诸如跳回几行或几个单词的变化，或与视力需求相关联的视线变化(例如，在眼球震颤的情况下)。

参照图2，其以框图的方式图示了根据本发明的一些实施例的用于数据显示的方法。为了提供自定制的显示，提供关于视力需求的数据1010。如上所述，数据可基于专业诊断或任何类型的自我诊断。另外，提供要显示的内容或数据的用户选择或操作员选择1020，以在显示设备上提供初始显示1030。

一旦在显示设备上有可见内容，该方法就基于确定用户在显示区域内的感兴趣区域(roi)1040。基于用户的roi，本发明的技术包括对感兴趣区域内的显示数据的至少一部分进行处理1050。此外，显示数据用新处理的数据来刷新1060，以向用户提供改进的显示。

如上所述，对显示数据的至少一部分的处理包括根据关于视力需求的数据选择的一个或更多个图像处理动作。另外，图像处理动作还可根据内容类型来选择。更具体地，文本数据通常可不同于图像数据来处理。

另外，如上所述，该技术可包括用于确定用户在显示数据内的roi的几种方法。图3以框图的方式图示了用于确定roi的示例性方法。该方法包括接收关于用户的视线的数据2010。数据可从眼睛跟踪单元或模块接收，或从定点设备(例如，鼠标)的移动历史来外推。由于视线可能会由于不同的原因而有意或无意地变化，因此该方法通常可包括对视线变化的一定处理2020。当视线基于来自定点设备的输入来确定时，这是特别重要的，因为大多数用户不将定点鼠标保持定位在屏幕上的作为他们当前正在查看的内容的确切位置上。因此，分析通常可包括根据显示器上的内容的类型以及时间和用户的偏好和行为的对定点设备的位置变化的分析。在这方面，应清楚的是，尽管定向设备可用于估计用户的视线并从而估计用户的roi，但这样的估计通常可能需要分析定点历史。此外，定点设备的移动通常包括关于用户的视力障碍状况的有限数据，因此通常可能在应用均匀图像校正的情况下适用。这是在眼睛跟踪数据的使用可提供用户的视线的直接指示以及关于用户的视力障碍的指示，并允许根据用户的当前视力障碍进行图像校正的情况下。此外，眼睛跟踪的使用可消除或至少显著地减少对于老年人群来说可能特别困难的手眼协调的需要。

在一些实施例中，在使用眼睛跟踪输入确定视线的情况下，利用眼睛跟踪单元或以指示用户的图像流的形式的输入并且包括关于用户眼睛的位置和取向的数据以及其分析来确定视线和视线内的显示设备上的相应的一个点或两个点可高度简化对视线历史的分析。在这样的实施例中，分析通常旨在识别用户的视线是否由于roi的有意改变而改变，以及该改变是否实际上与用户的视力需求相关联。

例如，某些用户可能患有一只或两只眼睛的不可控制的移动，例如患有眼球震颤或类似眼球震颤的状况。对于这样的用户，关于视力需求的数据可包括眼球震颤的指示，并且可能包括关于移动的速率和性质的数据。当使用单独的显示器或三维(3d)类型的显示器为不同的眼睛提供单独图像时，相应的图像处理可以是显示数据的一部分的位置的同步偏移，整体显示数据的位置的同步偏移或与眼睛移动或每只眼睛的单独移动对应的偏移。在这种情况下，roi识别器可接收关于视线的数据并对其进行分析，以确定眼睛移动是否与用户的状况相关联，或者是否是用户注意力转移的结果。如果眼睛移动被视为与用户状况相关联，则roi改变以便仅补偿用户状况，从而与视线一致。然而，如果眼睛的移动被确定为与用户的注意力点的变化相关联，则roi将根据用户注意力和由他的状况引起的非自愿移动的叠加改变而被更新。

在这两种情况下，不管roi移动是由用户视线的自愿改变还是非自愿改变引起的，都将应用其他合适的图像处理动作(例如，偏移或旋转)。

除了定位roi之外，roi的大小和形状可根据显示的内容而变化。为此，该技术可包括将视线与其周围的显示内容进行比较的分析步骤2030。在这方面，如上所述，内容的类型可确定roi。例如，在文本内容的情况下，roi根据用户的视力需求可以是一行文本、两行文本、或仅是一个或两个单词。此外，如果显示数据是图像型数据，则roi可被定义为围绕视线的某个区的区域。区本身可基于视力需求和/或图像的线或轮廓来确定2040。

另外，如上所述，应注意的是，本发明的技术可用于两个单独的屏幕中，或者可用于被配置为向用户的每只眼睛提供单独的显示数据的3d类型的显示设备。在这种背景下，关于视力需求的数据可包括关于右眼视力需求的数据和关于左眼视力需求的数据。另外，该技术可包括例如基于使用眼睛跟踪数据的右眼视线和左眼视线来分别识别右眼roi和左眼roi。类似地，图像处理动作可根据可能在眼睛之间变化的诊断的视力需求在右眼显示数据和左眼显示数据之间有所不同。

还应注意的是，根据本技术的右眼和左眼的图像处理以及跟踪的使用还可用于改进用户体验，而不管视力需求如何。更具体地，在一些配置和一些视力需求中，系统可操作用于使关于用户的一只眼睛显示数据中的至少一部分相对于另一只眼睛偏移或旋转。这可用于补偿眼睛相对于彼此的个体无意的移动。然而，如果一只眼睛移动并且被指向显示区域的外部，则不能使用图像偏移来均衡显示数据。如果检测到一只眼睛的视线在显示区域的外部，则lipm150(在图1中)可操作用于停止更新相应眼睛的显示数据。另外，在一些实施例中，在显示设备是使用主动快门眼镜的头戴式显示设备或3d型显示器的情况下，系统100还可提供显示设备指令以关闭对相应眼睛的所有光输入，从而使用户能够专注于对他的另一只眼睛的输入数据，并继续阅读、查看等。

根据一些实施例，本发明的技术也可以用于提供对系统操作的一定程度的免提(handfree)控制。参照图4，其图示了根据本发明的一些实施例的用于数据显示的系统100。该系统基本上类似于图1中所示的系统，但处理单元还包括局部/姿势命令生成器125。局部/姿势命令生成器(lg命令生成器)125被配置并可操作用于确定一个或更多个命令并使该一个或更多个命令与显示区域相关联和/或用户的眼睛移动或其他眼睛行为相关联的姿势相关联。因此，一旦用户将其视线与显示器中的定义的命令区域中的一个对准，则视线检测器130向lg命令生成器125提供接收到命令的适当指示。然后，lg命令生成器125可操作以通过根据命令的性质通知处理单元110或其任何模块来激活命令。类似地，对于姿势型命令，视线检测器130可识别视线历史、与被定义为相关命令的姿势相关联的移动数据，以通知lg命令生成器125并激活命令。

通常，系统可包括一组预定命令；然而，这样的命令可以由用户定义。典型的命令可包括与要显示的内容相关联的命令，诸如页面向前或向后、链接到另外的网页的激活等。可替代地或另外，这样的命令可与用户的视力需求相关联并影响由系统执行的图像处理动作。例如，这样的命令可包括显示数据的进一步放大、特定处理参数的增加或减少、具有不同视力需求的用户简档之间的切换或对不同眼睛具有单独的视力需求的3d类型显示和具有对两只眼睛的单一图像处理的2d类型显示之间的转换等。例如，roi的边界内的一个或更多个区域可用作与roi向上、向下、向右或向左滚动相关联的命令区域。这允许用户在免提工作时任意偏移显示的图像部分。

参照图5-图9以及图10a和图10b，其例示了根据本发明的一些实施例的用于有预定义的视力需求的用户的显示校正。

在这种背景下，图5例示用于有复视(复视觉)的用户的显示校正。这种类型的校正通常可用于能够向用户的每一只眼睛提供单独的显示数据的3d型显示器或单独的屏幕。如所示，选择原始图像数据5010，原始图像在5011示出，并且通常由用户感知，如5012所示。为了提供适当校正的显示，该技术可包括优先于非引导眼睛的对引导眼睛(leadingeye)的选择5020。这可基于视线变化，其中引导眼睛相对稳定，但关于引导眼睛的数据可被提供有视力需求。检测到引导眼睛和视线，该技术包括角度偏差和所需校正的检测5030，并生成包括经过适当的校正的右眼显示数据和左眼显示数据5052的校正的显示数据5050。校正的显示数据被传输以被显示给用户5060，从而提供由用户感知的校正显示5062。

另外，图6例示了用于有眼球震颤或振动幻视状况的用户的显示数据的校正。一般来说，在大多数眼球震颤/振动幻视的情况下，非自愿的眼睛的移动在眼睛之间是同步的，因此该技术可与类似3d的显示设备一起使用或在没有类似3d的显示设备的情况下使用。该技术包括提供要显示的内容6010，还示出了图像内容的示例6011以及用户如何感知这样的图像6012。通常，用户的图像感知可以基于个人情况、年龄和患者状况的状态而变化。一般来说，有先天性眼球震颤的人将会感知到单一图像，但可能难以识别精细的特征(低视敏度)。这是在眼球震颤发病较晚的情况下可能会造成视力质量下降更大，并且患者可能会感觉好像世界正在绕着他移动。图像显示中的正确和同步的偏移提供了视网膜上的图像稳定性，并可为用户提供改进的数据，减少了眩晕并使用户能够感知更高的图像质量(更好的图像清晰度)。另外，确定用户的视线或注视方向6020，并且适当的滤波器可应用于显示数据6030以补偿眼睛移动。得到的显示数据与用户的眼睛移动一起偏移，向用户提供同步的、校正的和视网膜稳定的图像6040。

几种其他视觉缺陷的校正在图7中进行了例示，主要涉及视野缺陷和中央视敏度降低的校正。通常，提供要显示的数据7010，还示出了正常图像的示例7011以及由有视野缺陷7012、暗点7013和降低的中央视觉能力7014的用户感知该图像的方式。图像处理动作通常可包括根据视力需求调整图像尺寸7020，以及确定视角7030以生成校正的图像7040。例示了有管状视力7042和中央视力丧失7043的用户的校正的显示数据。这样的校正通常可包括对图像大小的重新调整、亮度修改和/或图像位置相对于视线的偏移。

这里未具体示出的附加图像处理步骤通常可包括图像放大/缩小，其可以或可以不与线性函数相一致(例如，它可以在图像中心施加高分辨率图像并在周边区上施加低分辨率，或者其他函数)。如果用户患有严重的周边视力丧失(即管状视力)，则可减少显示的图像以将图像施加在视网膜的黄斑区域中，这样可增加图像的视野(fov)，同时降低分辨率。

另外，如所示，对于有中央视力丧失(中央暗点)或多个暗点的用户，适当的图像校正可包括调整图像大小并相对于视线向图像应用偏移，以在视网膜的更好位置上提供图像生成。这允许用户仅在他面前看到图像，并辅助他开发优选视网膜位置(prl)，并习惯于使用prl。

此外，中央视敏度的校正可包括放大图像大小和/或以其他方式操纵图像，如上所述。校正的图像可被显示在显示设备上，以便被施加在黄斑区域上或视网膜的任何其他健康位置上。这允许用户在他面前看到更好的图像细节，并在需要时辅助他开发prl。

图8例示了用于偏盲或半视野丧失的显示矫正。当提供了图像数据8010并对其进行显示8011时，用户的右眼和左眼可“看见”具有如8012和8013中所示的几个缺陷的图像。因此，该技术通常包括根据用户的视力需求调整图像大小8020。图像放大或大小缩小可以是或可以不是线性函数(例如，它可在图像中心施加高分辨率图像并且在周边区上施加低分辨率，或者其他函数)。应注意的是，对于许多患者，校正的图像部分可重叠，黄斑区可以保持完整。当获得眼睛的观看方向8030时，校正的显示数据可被生成8040并根据眼睛方向来显示，以在用户的视网膜的健康区域上形成图像数据。右眼和左眼的校正显示的示例在8041和8042中示出。类似地，通过显示要投影到用户视网膜的健康区域的图像数据，该技术也可用于辅助用户开发prl。

在一些附加示例中，本发明的技术可用于如图9a和图9b中所例示的失真图像校正。图9a例示了反向失真校正，以及图9b例示了根据用户的roi的移动反向失真。

通常，如图9a所示，根据本技术，关于用户视力的失真映射9012的数据可由专业人员确定，以提供关于视力需求的准确数据。根据本技术，提供校正的显示包括对要显示9011的数据的选择9010。局部图像处理动作9020可包括根据预定失真映射9012应用反向校正，以提供校正和反向的图像数据9022。确定用户的视线9030，以选择对应的roi并在显示设备上显示9040校正的图像9042。响应于经过反向失真的图像数据9042，用户可以以正常或改进的方式9052感知显示的图像9050，实现了对用户的改进的视力。

此外，如图9b所示，该技术包括根据用户的roi的对校正的显示数据的对准。如图所示，该技术包括提供显示内容9110，以及根据用户的视力需求和感兴趣区域来校正显示数据。已经确定了如上所述的感兴趣区域，图像处理动作通常可包括基于已知的用户视力失真来执行反向失真9120。9122中示出了反向失真的示例。校正的显示数据被传输到显示设备9130，并且使用户能够观看未失真的图像9132。此外，当用户的视线或感兴趣区域变化时，技术流动并确定新的roi以进行图像处理9140。反向失真被应用于新位置9152中的显示数据9150，以继续并向用户提供在用户的视网膜上形成未失真图像9162的改进图像9160。

参照图10a和图10b，其例示了用于提高用户的阅读能力的与文本数据相关联的图像校正。图10a例示了文本数据的部分的放大，以及图10b例示了文本数据的隔离以防止拥挤。

如图10a所示，当文本数据被呈现给用户时，该技术包括确定数据内的roi10010。在该示例中，当用户将其感兴趣区域转移到显示器的不同位置(例如，顶部/左侧)时，所选择的图像处理动作是放大文本数据10020，以在roi的新位置中提供放大的文本(如显示区域10022的顶部/左侧所示的图示)。与上述类似，当用户将其感兴趣区域改变为显示器的底部/左侧时，检测新位置10030，并在显示区域的底部/左侧上放大对应的文本10040和10042。

应注意的是，感兴趣区域可能与单一字母或单词一样小，或者与段落或更多的一样大。在一些配置中，roi可遵循用户的阅读速度，并将用户的注意力引导到要阅读的下面的文本。在一些附加配置中，该技术还可利用声音辅助，例如以预定的选定速度大声朗读roi内的文本。

另外或可替代地，本技术可利用文本数据内的字母或单词的分离，以向具有对应的视力需求的用户提供更容易的阅读。这在图10b至图10d中进行了例示，其例示了隔离的字母和文本部分之间的差异。图10b例示了隔离的字母300、可能使有视力障碍的用户阅读更难的位于侧面的字母400以及也可能使用户难以识别的用紧密文本书写的单词500。图10c例示了文本数据到单一字母的划分以减少拥挤，以及图10d例示了句子的隔离以辅助阅读。

如图10c所示，文本数据510对于有某些视力需求(视力障碍)的用户来说可能难以阅读。为了减少拥挤，根据一些实施例，本技术可利用划分成小段520的连续文本(例如，从数字图像中取出)的划分。例如，根据用户的视力需求，小段可以是单一单词、几个单词、或者甚至是几个字母或单一字母，以使用户容易地识别单词。在一些情况下，隔离的单词可能不足以消除拥挤效应。因此，根据一些用户的某些视力需求，该技术还可放大roi中所选字530内的字母之间的间隔。这是为了减小拥挤效应，并使阅读对于用户来说更容易或甚至是可能的。

可替代处理在图10d中进行了例示，其中该技术利用文本内的句子的隔离以提供阅读辅助。段落620或甚至单一句子630可从文本数据610的页面中隔离出来，以将用户的眼睛引导到那时阅读的文本并减少分心。通常，几种技术可用于文本隔离。例如，周围的文本在所选的文本周围可以是模糊的；周围的文本可从显示数据中移除，留下以白色、灰色或背景颜色间隔的黑色；所选的文本段可用与周围不同的选定的颜色来突出显示；以及所选的文本可相对于其周围的文本被放大，其周围的文本能够以较小的尺寸呈现。

通常，所选的文本可根据阅读进度来替换，以向用户提供连续的阅读体验。文本选择可手动(例如，使用键盘或鼠标)或自动地基于用户的视线。例如，当用户完成阅读当前所选/突出显示的文本时，下一单词/行将被突出显示而不是先前的单词/行。

为了减小拥挤效应，本发明的技术可操作用于对roi和其中的文本进行分析，并对文本执行合适的图像处理动作。通常，输出校正的文本可以是具有较大垂直间隔的隔离的字母、单词或句子。通常，输出包括文本中的在字母之间具有放大的间隔的至少一部分。输出也可被放大或不放大，并且可包括图像亮度或对比度的变化(视情况而定)。

该技术可利用实际记录的图像和字母之间的间隙的位置，使得字母变大，或者使用文本识别算法或对文本数据进行操作。文本通常以不太拥挤的方式重建以呈现给用户。字母之间的间隔通常可以是可调整的。

本发明的技术还可用于如上所述的利用包括以下的几种选项技术的阅读辅助：让roi直接跟随用户注意力；对roi移动施加相对恒定的阅读速度；或两者的组合。在一些配置中，roi通过随时跟随用户注意力来确定，因此被认为与阅读速度相关性低的恒定移动，特别是不期望的眼睛移动，可能使阅读困难。在这种情况下，本发明的优选实施例利用确定roi中心处的静态区域，用户的注意力在其中不产生移动，以及确定在roi周边处的一个或更多个敏感或命令相关的区域，使得当用户的视线被识别为在命令区域之一内时，roi根据合适的命令偏移。可替代地，当对roi移动施加恒定的速度或者使用用户注意力和恒定速度的组合时，roi通常可沿着预选段落以恒定的速度移动，并且用户的注意力(视线)可用于停止或恢复恒定移动，并且还允许自动调整阅读速度。本发明的系统或技术的这种操作配置也可用于阅读训练，例如通过接收与用户大声阅读单词相关联的声音输入，并相应地跟随用户的传播。通常，文本内的一个或更多个单词基于如图12a中所例示的用户的roi以及基于阅读的预定选择的速度来进行标记和跟随。在一些实施例中，读出的单词可用语音识别来分析，并与书面文本进行比较，以便向用户提供阅读指导、训练和反馈。

通常，眼睛跟踪单元和设备可能需要定期校准过程。然而，结合对呈现给用户的数据的分析来利用视线检测的本发明的技术可操作用于执行定期校准，而无需额外的输入或特殊的用户操作。更具体地，当在指导阅读模式下操作时，即在用户阅读或基于用户视线调整roi时的标记的文本的自动传播，提供用户眼睛相对于显示设备的取向和视线的相关性的指示。这在图11中进行了例示，其以框图的方式示出了眼睛跟踪工作距离误差补偿的步骤。如所示，当用户在显示设备1112的前面时，通常提供初始校准1110，该初始校准也可以简单地是所使用的先前的校准数据。初始校准根据用户眼睛相应的两个或更多个角取向来指示1120显示设备上的两个或更多个位置1122。因此，即使用户改变其头部位置1130，例如改变到显示设备的距离1132，新的校准数据也可根据三角数据来确定1140，以确定显示器上的点之间的偏移1142，这可能由于头部移动而变化。

如以上图12a中所例示的指导阅读的使用也可用于眼睛跟踪的连续校准。这在图12a和图12b中进一步进行了例示，其例示了对具有眼睛跟踪的指导阅读配置使用以进行对眼睛跟踪数据校准。图12a例示了视线与所选的单词或元素的偏差，以及图12b例示了在指导阅读中的校准数据调整的流程图。

如图12a所示，突出显示的单词1220，在该示例中的“单词”通过模糊周围的文本或通过任何其他方法来标记。用户的视线1210，通常沿着所选单词1220的水平和垂直方向在一定距离内，可被确定在显示数据的特定位置处。图12b中的流程图例示该技术。当指导阅读模式开启1230并且所选的单词被突出显示时，该技术包括确定和跟随用户的视线1240。该技术还可包括沿着水平轴和垂直轴确定视线和所选的单词之间的距离1250，并验证该距离是否超过预定的相应阈值1260。如果该距离超过阈值并且在预定义的时间段内稳定，则更新眼睛跟踪校准数据1270，以校正对视线的确定。应注意的是，阈值可根据用户数据(诸如，用户愿意跟随指导阅读的时间和视力需求)来确定。这是因为用户可在阅读时从文本转移其注意力，因此视线和所选文本之间的距离可自然增加。

因此，本发明提供了用于基于已知视力需求来协助用户视力的技术。该技术可在作为固定或移动设备(例如，移动电话，膝上型计算机等)的计算机设备或任何专用系统中实现。还应理解的是，根据本发明的方法和系统可以是适当编程的计算机。同样地，本发明考虑了计算机程序，其由计算机可读以用于执行本发明方法。本发明还考虑机器可读的存储器，该存储器有形地实施可由机器执行用于执行本发明方法的指令程序。另外，如上所述，该技术可利用与本发明的系统一体的或非一体的任何类型的显示设备。另外，提供了简单的2d图像数据或者能够向用户的每只眼睛呈现单独的图像数据，以提供类似3d的体验。显示设备可以是头戴式的(例如，眼镜)或任何其他类型，诸如电视、计算机屏幕、被配置用于投影在所选的表面上的投影仪等。本领域中的技术人员将容易认识到，在不背离所附权利要求中定义并由其界定的本发明的范围的情况下，各种修改和改变可应用于如上文所述的本发明的实施例。