专利名称：用于渲染显示以补偿观看者的视力损伤的系统和方法
技术领域：
本发明总体涉及用于视力受损人员的用户界面的领域并且具体地涉及验光和数字图像处理。
背景技术：
数百万人有时必须佩戴眼镜来校正任何视力损伤。具体而言，老花眼(又被称为远视眼或老视)在全世界影响超过12亿人。老花眼通常随着人的年龄发展并且与适应性调节的自然逐渐损失相关联。老花眼通常失去在距离变化的物体上快速且容易地再聚焦的能力。还可能失去在近距离物体上聚焦的能力。尽管个体寿命内的条件在发展，但是老花眼的影响通常在45岁之后变得明显。到65岁，晶状体通常已经几乎失去全部弹性并且仅具有有限的形状改变能力。由于移动电话、平板电脑、车辆导航系统(GPS)和许多其他设备中的个人数字显示设备的使用的快速增长，该视力损伤是永久的沮丧源。当患有老花眼的移动电话用户接收呼叫但没有时间找到他的眼镜来读取显示器以识别主叫方时或者在驾车时试图读取汽车中的GPS时，这是不方便的。用于处理老花眼的已知方法和设备提供与正视眼的视力接近的视力。在正视眼中，由于眼睛的适应性调节特性，可以清楚地看到远距离物体和近距离物体。为了解决与老花眼相关联的视力问题，个体通常已使用阅读眼镜来增加对眼睛的正屈光力，因此允许眼镜聚焦在近距离物体是并且维持清晰图像。该方法类似于处理远视眼或老花眼。还利用双焦点眼镜来处理老花眼，其中，该眼镜的镜片的一部分被校正用于远距离视力，并且该眼镜的镜片的另一部分被校正用于近距离视力。该原理的更高级的实施导致渐进眼镜的概念。还使用隐形镜片和眼内镜片(IOL)来处理老花眼。其他方法包括利用双焦点或多焦点镜片的双面校正。在双焦点镜片的情况中，该晶片被制造为可以聚焦远距离点和近距离点。在多焦点情况中，在近目标与远目标之间存在多个焦点。在光学上，老花眼是视力图像聚焦在视网膜后面而不是直接聚焦在视网膜上而导致图像模糊的结果。眼镜或隐形镜片的使用改变了光线的方向以使得视力图像聚焦在视网膜上而不是视网膜后面，从而产生清晰的图像。图1示意性地显示了具有不足的折射力的眼睛。这是观看靠近物体的老花人员的典型情形。由点源发射的光聚焦在视网膜后面而不是聚焦在视网膜上。这导致人看到斑而不是点。该斑的第一近似是圆盘。但是诸如衍射、单色像差(如像散)和色差之类的影响可能导致该斑具有更复杂的形状。该斑被称为全局光学系统的点扩散函数(PSF)。当观看由位于距眼睛相同距离的多个点源构成的完整图像时，每个点在视网膜的不同位置上产生类似的斑。如图2所示，这些斑重叠导致模糊的印象。利用相同的原理可以描述除了老花眼或远视眼之外的其他视力损伤。
与由重叠斑来替换成像中的全部点相对应的数学运算被称为卷积。校正的镜片如阅读眼镜对眼镜添加失去的折射力，从而每个点的图像聚焦在视网膜上或者靠近视网膜，产生小范围的PSF。对于观看电子设备的屏幕的视力受损人员，除了光学校正之外不存在校正该问题的其他有效方式。除了直接对眼睛水平进行视力校正(如眼镜)之外，不存在直接对源校正视力的有效技术方案。
发明内容
一些实施方式的一个目标在于使用数字图像处理来补偿老花眼。在一个实施方式中，提供了一种用于在电子设备的显示器上渲染(rendering)原始图像的预校正图像以补偿该设备的用户的视力损伤的方法，从而与所述用户观察所述原始图像的显示相比，所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像。所实现的方法的步骤包括接收该显示器的硬件特性，接收描述该用户的该视力损伤的至少一个参数，接收描述该显示器被该用户观看的条件的至少一个参数，计算瞳孔函数，计算点扩散函数(PSF)或该眼睛的光学系统的成像能力的任意其他数学等效表示如光传递函数(OTF)，计算与该原始图像的至少一部分相对应的预校正图像以补偿该用户的视力损伤，并且在该显示器上渲染该预校正图像。在另一个实施方式中，接收该显示器的硬件特性的步骤包括从本地数据库接收该硬件特性的步骤。在另一个实施方式中，接收描述该用户的该视力损伤的参数的步骤包括从远程数据库、本地数据库、实时输入或实时估计接收视力损伤参数的步骤中的至少一个。在另一个实施方式中，接收描述该显示器被该用户观看的条件的参数的步骤包括从实时估计、实时输入或本地数据库接收显示器条件参数的步骤中的至少一个。在另一个实施方式中，该电子设备是由下述各项构成的组中之一移动电话、膝上电脑、台式电脑、平板电脑、电视机、导航系统、车辆电子仪表板、手表、照相机、电子书、媒体播放器、视频游戏控制台、自动售货机和头戴式显示器。在另一个实施方式中，该视力损伤是由下述各项构成的组中的至少一个近视、散光、老花、远视。在另一个实施方式中，接收该显示器的硬件特性的步骤包括接收来自下述各项构成的组中的至少一个的步骤像素尺度和间隔、显示宽度和高度、显示反射率、发射谱以及像素值与亮度之间的关系。在另一个实施方式中，接收描述该用户的该视力损伤的参数的步骤包括接收来自下述各项构成的组中的至少一个的步骤眼镜配置的球形参数、眼镜配置的柱形和轴参数以及适应性调节的测量的组群中。在另一个实施方式中，接收描述该用户的该视力损伤的参数的步骤包括测量该眼睛的波前像差图的步骤或者测量该眼镜的适应性调节的步骤。在另一个实施方式中，接收描述该显示器被该用户观看的条件的参数的步骤包括接收该用户的该眼镜和该屏幕之间的距离的测量、环境亮度以及该用户的瞳孔尺寸的测量中的一个或多个的步骤。在另一个实施方式中，该渲染步骤包括渲染字体字形的步骤。
在另一个实施方式中，接收描述视力损伤的参数的步骤包括在配置阶段从该用户接收输入、从另一个设备接收输入、或者通过使用该设备来测量该视力损伤的参数的步骤中的一个或多个步骤。在另一个实施方式中，通过接收来自嵌入在该设备中的扬声器和麦克风、嵌入在该设备中的照相机、红外发射器/接收器或无线光束发射器/接收器中的至少一个的测量来执行通过用户输入来接收该用户的眼睛与该屏幕之间的该距离或者实时估计该距离的步骤。在另一个实施方式中，通过从嵌入式环境光传感器或嵌入式照相机接收测量来执行实时估计瞳孔尺寸的步骤。在另一个实施方式中，计算PSF的步骤包括计算该显示器的每一子像素类的PSF的步骤，并且在该显示器上渲染该预校正图像的步骤包括渲染针对每个子像素类的该预校正图像的步骤。在另一个实施方式中，使用应用梯度下降的约束优化问题或者使用Van-Cittert算法来执行用于计算预校正图像的步骤。在另一个实施方式中，基于说明眼睛接受体的由于亮度所致的的敏感度的变化的度量来表示该约束优化问题。在另一个实施方式中，基于用于表示由该用户观察的总体图像质量的目标函数来表示该约束优化问题。在另一个实施方式中，该度量包括视网膜图像与参考图形对象的图像之间的差异的测量，其中通过使用亮度或像素值中的一个的增加函数来削弱该参考图形对象的对比度。在另一个实施方式中，该目标函数基于视网膜图像与参考图形对象的图像之间的差异的测量和基于该对比度削弱的量值，其中通过使用亮度或像素值的增加函数来削弱该参考图形对象的对比度。在另一个实施方式中，使用Wiener反卷积来计算该预校正图像。在另一个实施方式中，所计算预校正图像包括使用亮度值或像素值之一的增加函数来调整的像素值。在另一个实施方式中，通过执行二分法测试的步骤，确定描述该用户的该视力损伤的该参数和描述该显示器被观看的条件的参数，其中，该二分法测试包括使用不同的假设来向该用户渲染预校正的图像以便用户指定的图像被该用户最佳地观看的步骤。在另一个实施方式中，该渲染步骤还包括指定将要渲染的该图像部分的偏好的步骤。在另一个实施方式中，指定偏好的步骤包括指定文本在该显示器上的渲染、该显示器的具体部分的渲染、图像在该显示器上的渲染以及禁止渲染。在另一个实施方式中，通过击打硬键、改变选项、振动设备或者使用嵌入式照相机检测眼镜正用户佩戴来启用或禁用渲染。在另一个实施方式中，提供了一种用于在电子设备的显示器上渲染原始图像的预校正图像以补偿该设备的用户的视力损伤的系统，使得与所述用户观察所述原始图像的显示相比，所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像。该系统包括计算机处理器和与该计算机处理器连接的存储器，其中，该存储器被配置为利用指令使得所述处理器执行下述步骤(I)从本地数据库接收该显示器屏幕的硬件特性，
(2)从远程数据库、本地数据库、实时输入或实时估计中的至少一个接收用于描述该用户的该视力损伤的参数，(3)从实时估计、实时输入或本地数据库中的至少一个接收用于描述该显示器被该用户观看的条件的参数，(4)计算瞳孔函数，(5)计算点扩散函数(PSF)，(6)计算与该原始图像的至少一部分相对应的预校正图像以补偿该用户的该视力损伤，并且(7)在该显示器上渲染该预校正图像。在另一个实施方式中，提供了一种存储被配置为被处理器执行的程序的非暂态计算机可读存储介质，当该程序被执行时被适配为使得该处理器执行下述步骤从数据库接收显示器的硬件特性；从远程数据库、本地数据库、实时输入或实时估计中的至少一个接收用于描述用户的视力损伤的参数；从实时估计、实时输入或本地数据库中的至少一个接收用于描述该显示器被该用户观看的条件的参数；计算瞳孔函数；计算点扩散函数(PSF);计算与该原始图像的至少一部分相对应的预校正图像以补偿该用户的该视力损伤；并且在该电子设备的显示器上渲染该预校正图像，从而与所述用户观察所述原始图像的显示相比，所述用户将以更好的光学聚焦观察所述预校正图像的显示。。
附图被包括在本发明中以提供对本发明的进一步理解并且被合并到说明书中并且构成说明书的一部分，附图示出了本发明的实施方式并且与说明书一起阐释本发明的原理。在附图中图1显示了观看一个点源在老花眼的视网膜上的斑的形成；图2显示了当老花人员观看两个点源时在他或她的视网膜上的两个重叠的斑的形成；图3(a)和(b)示意性地显示了分别被非视力受损人员和老花人员观看的智能电话的显示；图4(a)和(b)示意性地显示了根据本发明的分别由非视力受损人员和老花人员所见的智能电话的校正显示；图5是用于说明本发明的示例性系统架构的方框图；图6是用于显示本发明的视力补偿方法中涉及的连续步骤的流程图；图7是用于显示单色PSF的计算中涉及的连续步骤的流程图；图8是用于示意性说明PSF计算之后的几何图形的图；图9是用于说明多色PSF的计算的流程图；图10是用于详述如何接收参考图像的流程图；图11是用于说明在窗口管理器级别的集成预校正的流程图；以及图12是用于说明字体渲染库级别的集成预校正的流程图。
具体实施例方式现在详细参考实施方式，在附图中说明了实施方式的示例。在下文的详细描述中，阐述大量非限制性的具体细节以便辅助理解本文给出的主题。但是对于本领域的普通技术人员而言在不脱离本发明的范围的前提下各种替换将是显而易见的，并且没有这些具体细节也可以实施本文的主题。例如对于本领域的普通技术人员而言，本文给出的主题可以被实现在包括数字显示器的多种类型的个人电子设备上将是显而易见的。根据本发明的技术方案是基于软件的。通过知道眼睛引起的变形(即视力损伤条件)，该软件通过引入将补偿该损伤并且导致用户更清晰地感知图像的经组织的模糊，以与用户特定的视力损伤相关的方式预校正图像。在被称为图像复原的数字图像处理分支中，使用(通常被称为反卷积的)技术来校正散焦或其他光学扰动，并且使其能够从模糊图像估计原始对象。在本发明的环境中的数字图像处理的使用源自图像复原技术但是总体上操作次序相反在图像被眼镜模糊之前应用反卷积。为了本发明的目的，该处理被称为“预校正”。观看预校正图像的散焦眼镜将消除预校正的影响并且看到清晰的图像。在实践中，预校正修改向用户显示的图像，因而由单独的像素生成的重叠的斑彼此抵消，并且产生清晰的视网膜图像。图3(a)是原始或参考图像的实例。图3(b)是老花人员观看的对应的仿真。图4(a)是仿真预校正图像。图4(b)是当观看图4(a)时相同的人员看到的仿真。虽然可能降低对比度，但是如图4(b)中所表示的，与图3(b)相比，显示器的全局可读性得到极大改善。图5是用于说明根据本发明的示例性系统100的方框图。示例性系统100包括用于在被预校正模块117处理之后在监视器111上显示内容(例如文本和/或图像)的电子设备110，因而即使用户视力受损(例如老花或远视眼用户)，用户的眼睛101也可以清晰地看到内容。对于未校正的眼睛101，图像将不被聚焦在视网膜102上，但是仍然被观察为清晰图像。图6是用于说明根据非限制性实施方式的处理方法的步骤的流程图。步骤201a收集依赖于环境的数据。依赖于环境的数据表示该设备被用户观看的条件。将其存储在存储器118中。其典型地包括瞳孔尺寸、设备110与眼睛101之间的观看距离以及环境光的等级。参数的确切的列表依赖于在步骤S202期间用于PSF计算的模型。在一些实例中，可以将这些参数中的一个或多个视为恒定的并且无需更新。例如，在正常使用条件下，被包括在汽车仪表板中的屏幕与驾驶员的眼睛之间的距离可以被视为是相对恒定的。当该设备被使用的条件改变时，可以由模块121更新其他参数。根据本发明的一个实施方式，模块121检测改变并且使用从嵌入式传感器113获得的数据估计参数的新值。作为一个实例，可以从嵌入的前置照相机接收图像，并且可以使用常规技术识别并且测量用户的脑袋，以便估计用户的眼睛与显示器屏幕之间的距离。还可以从其嵌入的前置照相机接收图像以便使用常规技术识别并且测量用户的瞳孔的尺寸。并且，可以从嵌入式光传感器接收环境光测量。该传感器通常被移动设备使用以便调整屏幕背光的亮度。如果设备不能进行瞳孔尺寸的直接测量，则考虑到瞳孔尺寸依赖于由眼睛接收的光的强度，所以可以使用基于环境光的等级和由设备屏幕发射的光强度的测量的模型来估计瞳孔尺寸。可以使用无线光束(红外、WiF1、3GPP等等)来估计用户与显示器屏幕之间的距离。在诸如游戏控制台的设备中已经使用了被称为“头部追踪系统”的该技术。与无线光束类似，可以由设备中的扬声器发射音频信号，并且由麦克风检测它的回声，以便估计用户与显示器屏幕之间的距离。用于智能电话的应用是已知的，其使用嵌入式扬声器和麦克风来估计周围物体的距离。并且可以从运动传感器(例如加速计、陀螺仪等等)接收运动检测，以便检测位置改变并且估计用户相对于设备的新位置。步骤201b收集依赖于用户的数据。依赖于用户的数据的特征在于用户的视力损伤。如在依赖于环境的数据的情况中，依赖于用户的数据可以被存储在存储器120中。可以将其表示为针对给定的观察距离和给定波长的用户的每个眼睛的波像差函数的离散估计。其还可以包括被表示为例如适应性调节(accommodation)的近点的用户适应性调节。该参数的确切类型和属性依赖于在步骤202期间用于PSF计算的模型。模型122从不同的可能的输入计算或获取依赖于用户的数据。例如，用户可以输入眼镜配置的参数即每个眼睛的球形(S)、柱形(C)和轴㈧参数。用户还可以输入附加折射力(ADD或NV)或他或她的适应性调节的近点的自估计。当用户输入新参数时，模块122确定依赖于用户的数据并且更新存储器120。用于从该参数计算波像差函数的数学模型是验光领域的熟练技术人员公知的，并且可能著名涉及基于Zernike多项式的分解。可选择地，可以运行自动诊断程序。该程序在显示器例如用户的手持显示器上向用户不同图案，并且询问用户输入他或她是否绝对地或者相对于其他显示器相对地看到该图案的细节。可选择地，该程序可以与光学元件相关联，以便使用已知的反Shack-Hartmann技术更精确地测量折射误差。可替换地，该自动诊断程序向用户渲染假设各种典型的PSF的预校正图表，其中可以通过二分法一步一步地更新其参数，直到用户不再看到改善为止。模块122得出依赖于用户的数据的估计并且每当运行自动诊断程序时更新存储器120。作为另一个备选，如果用户的设备可以连接到英特网，则可以通过英特网从远程数据库获取依赖于用户的数据。该数据可能以前在被上述备选之一收集之后已经被存储在远程数据库中。该数据也可能在使用例如Shack-Hartmann的波前传感器的验光检测之后已经被存储在远程数据库中。在另一个备选中，可以使用短距离传输装置(例如NFC、蓝牙等等)或通过智能卡连接，将依赖于用户的数据从一个个人设备(例如智能电话、平板电脑、智能卡等等)中传递到另一个个人设备。该数据可能以前在被之前提及的备选的其中之一收集之后已经被存储在个人设备中。该数据也可能在使用如上所述的例如Shack-Hartmann的波前传感器的验光检测之后已经被存储在个人设备中。步骤201c收集依赖于设备的数据。依赖于设备的数据是显示器屏幕的在步骤202期间影响PSF的计算的特性。该参数的确切的列表和属性依赖于用于PSF计算的模型。它们典型地包括像素(子像素)尺寸，每个像素或子像素类(例如红色子像素、绿色子像素和蓝色子像素)的发射谱，作为像素值的函数(有时候称为伽马函数)的像素或子像素的发光度以及屏幕反射率。将这些参数存储在存储器119中，并且在一些情况中这些参数被视为是恒定的。但是当发光度或其他校准值改变时可以更新存储器119。步骤202根据在步骤201a、201b和201c期间接收的数据计算PSF (或者眼睛的光学系统的成像能力的任意其他数学等效表示如光传递函数(OTF))。在本发明的优选实施方式的环境中，将PSF定义为用户在给定距离观察的并且包括大量子像素的像素的视网膜彩色图像，每个子像素发射主导颜色但是仍然具有不必要纯单色的发射谱。如这里所解释的，在步骤202期间可以使用各种方法。图7说明了当假设像素以单个频率发光时，用于示例性实施方式的步骤202的子步骤301-305。在步骤301，计算广义的瞳孔函数，并且描述眼睛的光学系统如何对于瞳孔中的不同位置修改光波。可以根据方程式(I)将瞳孔函数表示为P ( P , Θ ) = α ( P , Θ ) exp (ikff ( P , θ )) (I)其中，α是瞳孔的振幅透射率，W是波像差函数，λ是波长，以及P和Θ是瞳孔中的极坐标。W是依赖于用户的数据(例如视力损伤和适应性调节)、依赖于环境的数据(例如观看距离)和/或依赖于设备的数据(例如波长λ)的函数。在如下所表示的一个模型中，α在瞳孔的圆孔内具有值I并且在瞳孔外部具有值O。根据方程式(2)可以将该模型表示为
f P il><D
iI,、
1 (2)其中，D是来自依赖于环境的数据的瞳孔尺寸。在一些实施方式中，可以考虑Stiles-Crawford效应以更好地近似眼睛的真实PSF，其中在Stiles-Crawford效应中存在依赖于光线方向的锥体的不同的敏感度。在该情况中，代替在该孔中的α具有为I的恒定值，可以使用以下的方程式⑶
,Ip(-^r /2)Φ-t'^ , J' .W
I Ii otiiCfwise其中，β是表示全体中的Stiles-Crawford效应的平均振幅的常数并且可以具有值 O. 116mm 2。
瞳孔z
在步骤302，计算进入瞳孔的光场。通过假设像素是在光轴(例如参见图8)上距处不具有尺度的点源，可以将进入瞳孔的场表示为方程式(4)
S{ptff)= t : -.· ; I C4)
iff+ Si
其中，Atl是点源的振幅。在步骤303，离开瞳孔的场由方程式(5)计算
U(p，θ ) = S(P，θ )P(p，θ ) (5)
在步骤304，计算在视网膜平面I的场。在一些实施方式中，可以使用第一类的瑞
利-索末菲衍射积分公式，并且该积分公式被表示为
...1J “ expl /I/ }-— ri(J··-
2 .1....-
Λ ^'ifM其中，R是视网膜的点，Q是瞳孔的点，dS是包括Q的小表面元，和I到瞳孔平面的法线值(normal value)。在被称为夫琅和费近似的一些假设下，衍射积分公式I (R)变成U(Q)的傅里叶逆变换。一些实施方式可以使用快速傅里叶逆变换以代替瑞利-索末菲衍射公式的直接计
笪
ο在步骤305，从I(R)计算PSF作为平方模量并且在方程式(7)中将其表示为
PSF = 11 (R) 12(7)所得PSF可以被称为单色PSF，因为这是在像素以单个波长λ发光的假设下计算的。图9说明了用于计算用于给定子像素类的多色PSF的示例性实施方式的步骤202的子步骤。每个子像素类可以计算一个多色PSF(例如可以对于每个红色子像素类、绿色子像素类和蓝色子像素类计算一个多色PSF)。每个子像素类的特征可能在于可以被预存储在存储器110中作为依赖于设备的数据的一部分的发射谱。所存储的发射谱可以由表示子像素类在跨标称频率的许多频率处的发射功率的一组值构成，其中该标称频率的特征在于子像素类的颜色。对于每个子像素类，可以通过计算对于作为发射谱的一部分的每个频率入i计算的单色PSF的加权平均值，并且随后乘以来自发射谱的功率Wi，来计算多色PSF。在一些实施方式中，可以通过在每个频率上的明视(photopic)光谱敏感度进一步对上述加权平均值的项进行加权。可以在学术文献中发现人类视网膜的平均明视光谱敏 感度。光学系统例如眼睛的折射力依赖于波长。在一些点上，仅可以对于单个波长完美地聚焦眼睛。该现象导致所谓的色差。在一些实施方式中，在步骤301处可能存在散焦子步骤，在依赖于波长的波像差函数中，说明该色差。可以在学术文献中发现要完成的散焦的数量。在步骤203，接收将要被预校正算法处理的图像。该图像被称为参考图像。如何接收参考图像可以基于用户偏好和来自运行的应用的标准。图10示出了在步骤203处接收的图像的示例性实施方式。在步骤601，读取包含用户偏好的存储器。用户可能已经将他的偏好设置为例如“渲染文本”、“渲染全部”、“基于应用地”渲染或“什么都不渲染”。如果偏好被设置为“渲染文本”，则执行步骤602 ;如果偏好被设置为“渲染全部”，则执行步骤603 ;如果偏好被设置为“基于应用”，则执行步骤604 ;并且如果偏好被设置为“什么都不渲染”则不执行步骤204和205。在一些实施方式中，如果用户敲击设备上的专用硬键，则可以执行在“什么都不渲染”与之前存储在存储器中的偏好之间的转换；嵌入式加速计触发预校正的开/关；检测用户何时以指定方式振动设备；或者通过照相机检测用户正在(未)佩戴他的眼镜并且向例如用于执行步骤601-604中的任意一个步骤的模块发送指令。该指令可以是切换预校正过程的开/关。如果用户已经指定他没有在先佩戴校正/隐形镜片，则可以执行前述技术。在一些实施方式中，当用户设置偏好菜单中的选项时，可以使用大尺寸字体示出向用户显示的全部文本，直到与预校正过程被打开。在步骤602，当应用包括文本时，可以使用(例如操作系统(OS)或在OS上执行的软件的)字体渲染库，由一个或多个模块从一个或多个应用接收文本。字体渲染库可用于输出和/或渲染可以变成步骤204的参考图像的小的、离屏图像上的合适文本。在步骤603，操作系统显示模块(例如包括窗口管理器)可以询问应用描绘它的显示的一些部分(例如借助方法或功能调用)或者可以从应用接收更新以用于它的显示的一些部分。在一些实施方式中，包括更新的/改变的部分的应用屏幕缓冲器的矩形或其他部分可以变成步骤204中的参考图像。在步骤604，可以从字体渲染库或者从操作系统显示模块接收参考图像。如果调用它的服务的应用是可以被包括在该应用的预存储列表中的基于文本的应用(例如SMS、电子邮件、联系人列表、主叫方ID)，则可以从字体渲染库接收文本。在一些实施方式中，如果应用是可以被包括在与存储列表中的基于图像的应用(例如图像管理器、导航应用)，则可以从操作系统显示模块接收包括应用显示的更新部分的图像。在步骤204，预校正在步骤203中接收的参考图像。该参考图像可以由有限数量的、与每个子像素类相对应的I分量图像组成。在一些实施方式中，我们可以假设例如Xref是这样一种图像，其中使用亮度值表示该图像并且himp是视力受损用户的眼睛的PSF的对应分量。假设使用合适的坐标系统和采样距离，可以在方程式⑶中将当显示图像时在眼睛的视网膜上形成的图像的离散估计fMf表示为fref = xref*himp (8)其中*表示离散卷积运算符。在一些实施方式中，预校正在于计算图像X·，因而当显示该图像来代替Xm时其在视网膜上产生图像，在方程式(9)中可以将像f·表示 为fcor = xcor*himp (9)图像f·可以比fMf具有“更好的质量”。“更好的质量”在这里意味着用户可能能够相对于他的设备使用以更好的性能执行精确的任务(例如以更少的错误阅读显示的文本)。在方程式(10)中可以将X表示为1 f1l! 4jl Ii'其中，fobJ是理想视网膜图像并且d是用于量化f·与f；bj之间的观察差异的度量。可以在包括实际可以由设备显示的图像X的域D上执行最小化。D是像素值不低于黑色的亮度并且不高于最大亮度的图像的集合。fobJ, d的值和用于求解方程式(10)的数值方法的选择可能导致各种实施方式。在一些实施方式中，可以Xatt是Xref的对比度削弱版本。可以使用增加函数R，将每个亮度值xraf(i)重新调整为xatt(i) = R(xMf (i))。屏幕的最小和最大亮度值Vmin和Vmax分别映射到V。= R(Vmin)和V1 = R(Vmax),其中Vci和V1满足方程式(11)中表示的不等式Vmin ^ V0 < V1 ^ Vnlax (11)R可以是亮度的线性函数，在方程式(12)中被表示为蛛-:!J............<:卜(:] 备选地，R可以是像素值的线性函数，在方程式(13)中被表示为其中，L是将像素值转换成亮度值的显示函数，并且1 = > I |和％-/. G ,I是对比度削弱图像的最小和最大像素值，并且1.U J是屏幕的最小和最大像素值。f；bj可以被设置为xatt，由完美聚焦的眼睛产生的视网膜图像，当显示时xatt，具有被限制于单个点的PSF。备选地，可以将f；bj设置为f；bj = xatt*hMf，其中hMf是由上述方法估计的非受损眼睛的真实PSF，hMf可以是聚焦在屏幕上的与用户的瞳孔具有相同的瞳孔尺寸的衍射受限的眼睛的PSF。在一些实施方式中，href还可以是用于说明正常色差的多色PSF。可以从各种各样的度量中选择度量d，其中该各种各样的度量中的一些是已知的。特定度量的选择不改变本发明的精神和范围。在一些实施方式中，d可以是欧几里德度量。备选地，d可以是用于说明眼睛的接受体由于亮度所致的改变的敏感度的度量，其可以在方程式(14)中被表示为^'>·'· *-其中P是用于将与主观亮度值与亮度值相关联的非线性函数。在一些实施方式中，P可以是例如将像素值转换为亮度值的显示函数L的倒数L—1。在一些实施方式中，X (i) 和y(i)可以是像素i分别在图像X和y中的亮度值。可以使用各种已知的技术求解方程式10。具体技术的选择不改变本发明的精神和范围。当d是欧几里德度量时，可以使用可以在方程式(15)中表示的Wiener反卷积来估计方程式(10)的求解Ι Κ —Fis(IS其中X·、Himp和Ftjbj分别是XcOT、himp和f；bj的离散傅里叶变换，并且H*imp表示Himp的复共轭。在图像复原问题中与噪声的功率密度谱相关的K在这里可以作为正则化参数，该正则化参数限制Xcor中的高频，并且因此限制X·可能展现小于Vmin或大于Vmax的值的几率。如果该值仍然出现在Xcot中，则钳住它们，以便获得属于域D的图像Xcot,该域D包括可以被屏幕显示的图像且可以在方程式(16)中表示为- Vflw if Xfiir < Vom(16)
Vhbs> Vliaai在一些实施方式中，可以使用约束优化算法求解方程式(10)。如果d是欧几里德度量，则可以使用用于求解二次方程问题的已知算法。如果由方程式(14)定义d，其中P是解析可微函数，则可以使用梯度下降方法执行该优化。在一些实施方式中，作为梯度下降方法的备选，可以使用具有应用Jaanson技术进行约束的Van Cittert算法执行该优化。在一些实施方式中，作为Wiener反卷积和迭代算法如梯度下降方法或VanCittert算法的备选，可以在利用Wiener反卷积的结果初始化它们的值之后使用梯度下降技术或Van Cittert算法。在一些实施方式中，可以确定预校正图像而不对于每个色彩分量求解方程式
(10)。可选择地，可以同时地并且与函数R—起确定用于每个子像素类等的预校正图像，以便使用产生具有“最佳质量”的观察图像的对比度削弱。如果函数R的特征在于根据方程式(12)或(13)的参数Vt^PV1，则可以在方程式(17)中将预校正图像表示为) ~￠( 5"* 為,V!)
其中，J是子像素类的数量，Vopt0和Vtjptl是表征最佳函数R的参数，并且Q是依赖于d(Xc^，f；wp且依赖于对比度削弱的量值的函数。用于函数Q的选择不改变本发明的精神和范围。在一些实施方式中，度量d说明眼睛的非线性亮度敏感度Q，其可以在方程式(18)中被表示为(18)
权利要求
1.一种用于在电子设备的显示器上渲染原始图像的预校正图像以补偿所述设备的用户的视力损伤的计算机实现方法，从而与所述用户观察所述原始图像的显示相比，所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像，所述方法包括以下步骤 接收所述显示器的硬件特性； 接收描述所述用户的视力损伤的至少一个参数； 接收描述所述显示器被所述用户观看的条件的至少一个参数； 计算瞳孔函数； 计算点扩散函数(PSF)或光传递函数(OTF)； 计算与所述原始图像的至少一部分相对应的预校正图像以补偿所述用户的所述视力损伤；以及 在所述显示器上渲染所述预校正图像。
2.如权利要求1所述的计算机实现的方法，其中，所述接收所述显示器的硬件特性的步骤包括从本地数据库接收所述硬件特性的步骤。
3.如权利要求1所述的计算机实现的方法，其中，所述接收描述所述用户的所述视力损伤的参数的步骤包括从远程数据库、本地数据库、实时输入或实时估计中接收所述视力损伤参数的步骤中的至少一个步骤。
4.如权利要求1所述的计算机实现的方法，其中，所述接收描述所述显示器被所述用户观看的条件的参数的步骤包括从实时估计、实时输入或本地数据库中接收显示器条件参数的步骤中的至少一个步骤。
5.如权利要求1所述的计算机实现的方法，其中，所述电子设备是由下述各项构成的组中之一移动电话、膝上电脑、台式电脑、平板电脑、电视机、导航系统、车辆电子仪表板、手表、照相机、电子书、媒体播放器、视频游戏控制台、自动售货机和头戴式显示器。
6.如权利要求1所述的计算机实现的方法，其中，所述视力损伤是由下述各项构成的组中的至少一个近视、散光、老花和远视。
7.如权利要求1所述的计算机实现的方法，其中，所述接收所述显示器的硬件特性的步骤包括接收来自下述各项构成的组中的至少一个的步骤像素尺度和间隔、显示宽度和高度、显示反射率、发射谱以及像素值与亮度之间的关系。
8.如权利要求1所述的计算机实现的方法，其中，所述接收描述所述视力损伤的参数的步骤包括接收来自下述各项构成的组中的至少一个的步骤眼镜配置的球形参数、眼镜配置的柱形和轴参数以及适应性调节的测量。
9.如权利要求1所述的计算机实现的方法，其中，所述接收描述所述视力损伤的参数的步骤包括测量所述眼睛的波前像差图的步骤或者用于测量所述眼睛的适应性调节的步骤。
10.如权利要求1所述的计算机实现的方法，其中，所述接收描述所述显示器被观看的条件的参数的步骤包括接收所述用户的所述眼睛和所述屏幕之间的距离的测量、环境亮度以及所述用户的瞳孔尺寸的测量中的一个或多个的步骤。
11.如权利要求1所述的计算机实现的方法，其中，所述渲染的步骤包括渲染字体字形的步骤。
12.如权利要求1所述的计算机实现的方法，其中，所述接收描述视力损伤的参数的步骤包括在配置阶段从所述用户接收输入、从另一个设备接收输入、或者通过使用所述设备来测量所述视力损伤的参数的步骤中的一个或多个步骤。
13.如权利要求10所述的计算机实现的方法，还包括步骤通过接收来自嵌入在所述设备中的扬声器和麦克风、嵌入在所述设备中的照相机、红外发射器/接收器或无线光束发射器/接收器中的至少一个的测量来执行通过用户输入来接收所述用户的眼睛与所述屏幕之间的距离或者实时估计所述距离。
14.如权利要求7所述的计算机实现的方法，还包括步骤通过从嵌入式环境光传感器或嵌入式照相机接收测量来执行实时估计瞳孔尺寸。
15.如权利要求1所述的计算机实现的方法，其中，所述计算PSF的步骤包括计算所述显示器的每一子像素类的PSF，并且在所述显示器上渲染所述预校正图像的步骤包括针对每个子像素渲染所述预校正图像的步骤。
16.如权利要求1所述的计算机实现的方法，其中，使用应用梯度下降的约束优化问题或者使用Van-Cittert算法来执行所述计算预校正图像的步骤。
17.如权利要求16所述的计算机实现的方法，其中，基于包括眼睛接受体的由于亮度所致的敏感度的变化的度量来表示所述约束优化问题。
18.如权利要求16所述的计算机实现的方法，其中，基于用于表示由所述用户观察的总体图像质量的目标函数来表示所述约束优化问题。
19.如权利要求17所述的计算机实现的方法，其中，所述度量包括视网膜图像与参考图形对象的图像之间的差异的测量，其中通过使用亮度或像素值的增加函数来削弱所述参考图形对象的对比度。
20.如权利要求18所述的计算机实现的方法，其中，所述目标函数基于视网膜图像与参考图形对象的图像之间的差异的测量并且基于所述对比度削弱的量值，其中通过使用亮度或像素值的增加函数来削弱所述参考图形对象的对比度。
21.如权利要求1所述的计算机实现的方法，其中，使用Wiener反卷积来计算所述预校正图像。
22.如权利要求1所述的计算机实现的方法，其中，当向所述用户显示所述预校正图像时，所述预校正图像在所述视网膜上产生与当所述原始图像被显示时在非损伤用户的所述视网膜上产生的另一个图像相比对比度削弱的图像。
23.如权利要求1所述的计算机实现的方法，其中，通过执行二分法测试的步骤来确定描述所述用户的所述视力损伤的所述参数和描述所述显示器被观看的条件的参数，其中，所述二分法测试包括使用不同的假设来向所述用户呈现预校正的图像以便用户指定的图像被所述用户最佳地观看的步骤。
24.如权利要求1所述的计算机实现的方法，其中，所述渲染的步骤还包括指定将要渲染的所述图像部分的偏好的步骤。
25.如权利要求24所述的计算机实现的方法，其中，所述指定偏好的步骤包括指定文本在所述显示器上的渲染、所述显示器的具体部分的渲染、图像在所述显示器上的渲染以及禁止渲染。
26.如权利要求1所述的计算机实现的方法，还包括步骤通过击打硬键、改变选项、振动设备或者使用嵌入式照相机检测眼镜正被用户佩戴来启用或禁用渲染。
27.如权利要求1所述的计算机实现的方法，其中，使用仅右眼的PSF、仅左眼的PSF、左眼和右眼的PSF的组合所导致的PSF、或者左眼和右眼的PSF，并且通过对自动立体监视器的两个元件应用两个预校正结果来完成所述预校正。
28.一种用于在电子设备的显示器上渲染原始图像的预校正图像以补偿所述设备的用户的视力损伤的系统，使得与所述用户观察所述原始图像的显示相比，所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像，所述系统包括 计算机处理器；和 与所述计算机处理器连接的存储器，其中，所述存储器被配置为利用指令来使得所述处理器执行下述步骤 (1)从本地数据库接收所述显示器屏幕的硬件特性， (2)从远程数据库、本地数据库、实时输入或实时估计中的至少一个接收描述所述用户的视力损伤的参数， (3)从实时估计、实时输入或本地数据库中的至少一个接收描述所述显示器被所述用户观看的条件的参数， (4)计算瞳孔函数， (5)计算点扩散函数(PSF)或光传递函数(OTF)， (6)计算与所述原始图像的至少一部分相对应的预校正图像以补偿所述用户的所述视力损伤，以及 (7)在所述显示器上渲染所述预校正图像。
29.一种存储配置为被处理器执行的程序的非暂态计算机可读存储介质，当所述程序被执行时被适配为使得所述处理器执行下述步骤 从数据库接收显示器的硬件特性； 从远程数据库、本地数据库、实时输入或实时估计中的至少一个接收描述用户的视力损伤的参数； 从实时估计、实时输入或本地数据库中的至少一个接收描述所述显示器被所述用户观看的条件的参数； 计算瞳孔函数； 计算点扩散函数(PSF)或光传递函数(OTF)； 计算与所述原始图像的至少一部分相对应的预校正图像以补偿所述用户的所述视力损伤；以及 在所述电子设备的显示器上渲染所述预校正图像，从而与所述用户观察所述原始图像的显示相比，所述用户将以更好的光学聚焦观察所述预校正图像的显示。
全文摘要
提供了一种在电子设备的显示器上渲染原始图像的预校正图像以补偿该设备的用户的视力损伤的系统和方法，从而与所述用户观察所述原始图像的显示相比，所述用户将以更好的光学聚焦观察当在所述显示器上显示时的所述预校正图像。所实现的方法的步骤包括接收该显示器的硬件特性，接收描述该用户的视力损伤的至少一个参数，接收描述该显示器被该用户观看的条件的至少一个参数，计算瞳孔函数，计算点扩散函数(PSF)，计算与该原始图像的至少一部分相对应的预校正图像以补偿该用户的视力损伤，并且在该显示器上渲染该预校正图像。
文档编号G06K9/00GK103026367SQ201180036434
公开日2013年4月3日 申请日期2011年6月10日 优先权日2010年6月11日
发明者P·马尔尚, E·皮特, H·吉耶梅, L·特罗克梅 申请人:焦点再现