使用光场相机的个体眼睛模型的构建的制作方法

本发明主要涉及眼睛的测量以及基于这样的测量的眼睛模型的构建。

背景技术：

在过去的数十年中，已经建立了各种各样的用于人眼的通用光学模型来促进眼部疾病的诊断和治疗。然而，由于复杂的成像系统，每个个体(individual)眼睛具有它自己的生理学特性。表征个体眼睛的光学参数对于诸如评估角膜屈光手术后的创伤修复以及优化眼镜或隐形眼镜的应用来说至关重要。

为构建个体眼睛模型，典型地对三个眼部表面建模：对～70％的眼睛的光功率负责的角膜前表面，以及对剩下的～30％的眼睛的光功率负责的晶状体的前表面和后表面。通过结合三个技术：角膜地形图(topography)、波前像差测量以及数值建模，能够建立体内个体眼睛模型。常规地，通过使用普拉西多盘(placidodisc)(例如蔡司(zeiss)atlas角膜地形图系统)，或使用扫描狭缝(例如orbscan角膜地形图仪)，或使用scheimpflug摄像(例如pentacam角膜地形图仪)来取得角膜表面曲率。使用hartmann-shack传感器(例如zeissi.profiler波前分析器)典型地测量所述波前像差。然而，依赖多种昂贵的仪器限制了为一般的眼科医师构建个体眼睛模型的可实现性。另外，因为常规的角膜地形图技术依靠扫描，典型地要求1-2秒以便完成测量。在这个处理期间的眼睛的移动会引入运动伪影(artifact)。

另外，能够使用光场(plenoptic)成像来基于偏差(disparity)测量估计深度。然而，在光场三维成像中，一般要求在先的偏差-深度校准以便重建对象的深度。典型地在校准期间，栅格或点目标被放置在光场成像系统的前方，并且沿着一个轴(栅格目标的情况)或三个空间轴(点目标的情况)被扫描。然而，当成像所述眼睛，不能使用这样的流程，因为眼睛的晶状体也为成像系统的一部分，而我们不能简单地将目标以“已知的”深度放入个体的眼睛内。

因此，存在对进行用于构建个体眼睛模型的眼睛测量的更好途径的需要。

技术实现要素：

本公开通过提供用于在体内对个体的眼睛做测量的单一的成像平台来克服现有技术的限制，其中所述测量足以来构建个体的眼睛的光学模型。所述平台包含光场眼科相机以及光照模块。在成像平台的第一配置中，所述光场眼科相机捕捉在体内个体眼睛的角膜前表面的光场图像。在第二配置中，所述光场眼科相机作为波前传感器，以在体内测量通过个体的眼睛由光传播产生的波前。基于捕捉的光场图像以及测量的波前来生成所述个体的眼睛的光学模型。

其他方面包含零件、装置、系统、改进、方法、处理、应用、计算机可读介质以及涉及任何上述的其它技术。

附图说明

当结合附图时，本公开的实施例具有其他的优势和特点，这从下列具体描述和所附权利要求中将更显而易见。

图1根据实施例示出成像平台。

图2a-2b根据实施例示出分别配置用于光场成像以及用于波前测量的成像平台。

图3根据实施例示出用于后置处理(post-processing)测量以生成个体的眼睛的光学模型的处理。

图4a-4b根据实施例示出光场眼科相机的示例。

图5根据实施例示出光场眼科相机的另一示例。

图6根据实施例示出估计深度的后置处理模块。

图7a-7c根据实施例示出从三个不同的视点观测的两个对象，以及图7d根据实施例示出相对应的光场的(x,u)截面(slice)。

图8根据实施例示出在来自用于灰度场景的光场的(x,u)截面(slice)上叠加的光线区域。

所述图描绘各种实施例仅出于图示的目的。一个本领域技术人员将从下列讨论中容易地认识到，在没有偏离本文所述的原理的情况下，可采用本文示出的结构和方法的可选实施例。

具体实施方式

所述附图和下列描述仅以图示的方式涉及优选的实施例。应该注意的是从下列讨论中，本文公开的结构和方法的可选实施例将被容易地认为是在没有偏离权利要求所要求的原理的情况下可采用的可行的代替选择。

图1示出成像平台，所述成像平台能够使用单一仪器——光场眼科相机120来实施角膜地形图和波前像差测量两者——以及能够通过后置处理模块130生成个体的完整的眼睛模型140。所述成像平台包含光照模块110以及光场眼科相机120。所述光照模块110光照个体的眼睛150而光场眼科相机120进行被光照的眼睛的测量。后置处理模块130(例如计算机系统)访问这些测量以生成个体的眼睛光学模型。所述眼睛模型140优选地包含角膜前表面152的、晶状体前表面154的以及晶状体后表面156的光学模型。

在成像平台的第一配置中，光场眼科相机120捕捉在体内个体的眼睛的角膜前表面的光场图像。在第二配置中，光场眼科相机作为波前传感器操作以测量在体内由通过个体的眼睛的光传播产生的波前。基于捕捉的光场图像以及测量的波前来生成个体的眼睛的光学模型。

在第一配置的一个实施中，光照模块以预定的图案光照角膜前表面，而光场眼科相机捕捉由预定的图案所光照的角膜前表面的光场图像。捕捉的光场图像提供足够的数据以构建个体的眼睛的角膜前表面的光学模型，例如通过在光场图像中从偏差中生成角膜前表面的深度图。

在第二配置的一个实施中，光照模块在个体的眼睛的视网膜上产生点像，而光场眼科相机作为波前传感器操作以测量在体内由从个体的眼睛的视网膜中反射的点像产生的波前。在这个情况下，光场系统将眼睛的瞳孔成像以测量波前。使用波前测量来构建个体的眼睛的晶状体前表面和晶状体后表面的光学模型。例如，能够创建个体的眼睛的计算机仿真。基于来自第一配置测量的结果能够将角膜前表面建模。使用计算机仿真来仿真由个体的眼睛产生的波前。优化用于晶状体前表面和用于晶状体后表面的光学模型以降低仿真的波前与测量的波前之间的差异。

如图2a-2b所示，所述平台能被配置用于两种不同的模式。在这个示例中，光照模块110包含光照源，诸如电子显示屏212(led或oled)。成像平台还包含被用来为光照模块110和光场眼科相机120重叠光路的偏振分束器215和中继(relay)透镜。这允许光照模块110的光照与光场眼科相机120的测量的获得同步。

在图2a中，在电子显示212上显示预定的图案，诸如栅格图案。所述栅格图案通过4f透镜系统216-217而被中继，并且光照个体的眼睛150的角膜前表面152。在这个示例中，分束器215从角膜中排斥镜面反射的光并仅允许散射的光通过。优选地在单一快照(snapshot)中，光场眼科相机120捕捉光照的角膜152的光场图像，所述光场图像由4f透镜系统217-218(例如与传感器阵列结合的微透镜(microlen)阵列)成像在光场传感器160上。光场图像固有地包含从多个不同视点(viewpoint)捕捉的角膜前表面152的多个图像。能够处理这些不同的视点以产生对象的深度图，将在下文中更具体地描述。

在图2b中，在电子显示212上显示点对象。来自点光源的光由消色差透镜217准直并聚焦到个体的眼睛150的视网膜158上，因此在视网膜上产生点像。点像作为位于视网膜158上的点光源有效地操作。得到的波前是在眼睛内不同表面的效果的测量。作为波前传感器，光场眼科相机120通过成像眼睛的瞳孔以便测量由从视网膜158反射的点像产生的波前来操作。从眼睛发射的波前通过4f系统217-218中继至作为波前传感器操作的光场传感器160。

在图2a-2b中所示的两种模式之间，光场眼科相机120捕捉角膜前表面152的光场图像并且还捕捉由在视网膜158上的点光源产生的波前的波前测量。后置处理模块130访问这两个测量并处理它们以生成所述三个眼睛表面的光学模型。

图3示出这个处理的示例。在高电平处，基于捕捉的光场图像生成用于角膜前表面152的光学模型，以及基于测量的波前生成用于前和后晶状体表面154、156的光学模型。用于个体的眼睛模型340包含用于这三个表面的光学模型。

图3还针对各步骤310、320示出更为特定的示例。在步骤310的示例中，确定角膜地形图如下。从光场图像中计算312偏差图。例如，在偏差和深度之间存在一一映射，其能够通过校准而被确定。因而，使用偏差图来生成314用于角膜152的相对应的深度图。在下文以及美国专利申请号14/064090，“通过尺度与深度空间转换的光场的处理”(“processingoflightfieldsbytransformingtoscaleanddepthspace”)中进一步详述光场图像三维重建的多个示例，其通过引用合并于此。在这个示例中，用于角膜前表面的深度图在形式上符合316zernike多项式：

其中c为表面曲率，r为透镜单元中的径向坐标，k为圆锥常数，ai为在i^thzernike多项式上的系数，n为序列中zernike系数的数量以及为zernike项且与不同的波前像差相关联。注意针对角膜前表面的重建，光学系统不包含眼睛的晶状体。因此，能够预校准光场眼科相机用于偏差-深度映射，例如如美国专利申请号15/050422“用于光场成像系统的偏差-深度校准”(“disparity-to-depthcalibrationforplenopticimagingsystems”)所描述的，其通过引用合并于此。

在步骤320的示例中，使用光场眼科相机作为hartmannshack传感器。在电子显示上的点对象被聚焦在患者的视网膜上。可以要求患者做出调节以便锐化他所看到的点像。从眼睛发射出散射的光的波前由光场眼科相机成像。该图像典型地看起来像轻微偏移的、以代表波前的局部斜率的每个点的组成点的阵列。使用标准技术将捕捉图像变换为波前函数。测量的波前误差w，在形式上符合322zernike多项式：

此处bi为i^thzernike多项式上的系数，n为在序列中zernike系数的数量以及为zernike项。zernike表示式是有用的，因为其针对光学波前是很好的基础设置，并且因为其能以适用于配合光学设计软件，诸如zemax或codev，使用的格式被表示。

创建324个体眼睛的计算机仿真。在这个示例中，在光学设计软件上实施的计算机仿真，以通用眼睛模型(例如，arizona眼睛模型)开始。一般而言，arizona眼睛模型与基于平均临床数据已确定的轴向和离轴像差水平匹配。为自定义这个标准模型，由在步骤310中计算的实际表面替换326来自该标准模型的角膜前表面。晶状体前和后表面由zernike标准凹陷表面类型代表，以zernike系数设置为用于优化的变量。

个体眼睛的计算机仿真然后能被用来仿真由个体的眼睛产生的波前。定义基于仿真与测量的波前之间差异的评价函数。优选地在角膜前表面的切平面以及垂直于光轴处定义波前。基于改进的评价函数(即降低仿真与测量的波前之间的差异)优化328针对晶状体前和后表面的zernike系数。结果为个体的眼睛的模型，其包含角膜前表面、晶状体前表面以及晶状体后表面的光学模型，它们是负责在眼睛中的绝大部分光功率的三个表面。

图4、5示出光场眼科相机的示例。在图4a-4b中，光场眼科相机420包含物镜412(在图4a中由单镜头代表)、第二成像阵列414(图像形成元件的阵列)以及传感器阵列480。为了方便，成像镜片(optic)412在图4a中被描绘为单一的光学元件，但是应理解为它能够包含多个元件。图4a的实施还包含一组中继透镜432、434。

第二成像阵列414可被称为微成像阵列。第二成像阵列414以及传感器阵列480共同被称为光场传感器或光场传感器模块。在这个示例中，第二成像阵列414为微透镜阵列。微成像阵列414的其他示例包含微透镜阵列、针孔(pinhole)阵列、微镜(micromirror)阵列、棋盘格(checkerboardgrid)以及波导/通道阵列。微成像阵列414能为矩形阵列、六边形阵列或其他类型的阵列。

这些零件形成两个重叠的成像子系统。在第一个成像子系统中，物镜412在个体的眼睛150前是可定位的，并且在主图像平面ip处形成眼睛(在这个示例中，视网膜)的光学图像455，所述图像被中继至共轭平面，诸如图像端口ip’。这个成像子系统具有瞳孔平面。在第二成像子系统中，第二成像阵列414将瞳孔平面成像在传感器阵列480上。为此，微成像阵列414位于成像平面ip或位于它的共轭平面中的一个，以使瞳孔平面现位于传感器平面sp的共轭平面sp’处。在这个示例中，微透镜阵列414位于共轭平面ip’处。其整体的系统在传感器平面sp处形成光场图像470，其包含空间多路复用的以及交错的光学图像。

可以可选地将过滤器模块425定位于共轭于传感器平面sp的平面sp’处。实际物理位置可以是在成像镜片412之前、之后或在其中间的。过滤器模块含有若干空间多路复用过滤器427a-d。在这个示例中，过滤器模块425包含过滤器427的矩形阵列，如图4a上部所示。过滤器模块425能够含有光谱过滤器、偏振过滤器、中性密度过滤器、清除(clear)过滤器(即无过滤器)或这些过滤器的组合。

图4上部提供了更多的细节。在这个图中，对象150(例如，角膜前表面)被分为3x3区域的阵列，其被标注为1-9。过滤器模块425为个体过滤器427a-d的2x2矩形阵列。例如，每个过滤器427a-d可具有不同的光谱响应。传感器阵列480作为6x6矩形阵列被示出。

图4b概念性地示出空间多路复用光学图像470a-d如何在传感器阵列480处产生并交错。如果由过滤器427a捕捉并过滤对象150，则将产生光学图像455a。为从对象的没过滤的图像中区别过滤的光学图像455a，以后缀a标注的3x3区域为：1a-9a。类似地，由过滤器427b、c、d过滤对象150，将产生带有3x3区域标注1b-9b、1c-9c和1d-9d的对应的光学图像455b、c、d。这四个光学图像455a-d中的每一个由在过滤器模块425内的不同的过滤器427a-d过滤，但它们全部由光场成像系统420同步产生。这允许在单一快照中可以捕捉不同模态图像以及视点，消除了当校正图像时针对眼睛移动的后期补偿的需要。

如图4b中所示，在传感器平面处以交错的方式形成所述四个光学图像455a-d。使用图像455a作为示例，来自光学图像455a中3x3区域1a-9a不是连续地在光学图像470内的3x3区块中。而是，区域1a、1b、1c以及1d，来自四个不同的光学图像，被以2x2的形式排列在光学图像470(为清楚忽略图像470的反转)的左上角中。类似地排列区域1-9。因此，组成光学图像470a的区域1a-9a分散遍布在光场图像470中，由其他光学图像470b-d的部分分离。换言之，如果传感器为个体传感器元件的矩形阵列，总体阵列能被分为传感器元件的矩形子阵列471(1)-(9)(在图4b中仅示出一个子阵列471(1))。针对每个区域1-9，从每个过滤的图像中全部的对应区域被成像于子阵列上。例如，区域1a、1b、1c以及1d全部被成像于子阵列471(1)上。注意由于过滤器模块425以及传感器阵列480位于共轭平面内，在阵列414中的每个成像元件在传感器平面sp处形成过滤器模块425的图像。由于存在多个成像元件，形成过滤器模块425的多个图像471。

由处理模块130处理光场图像470以重建对象的期望的图像。所述处理能够被分选(deinterleaving)并解复用(demultiplexing)。其也可包含更复杂的图像处理，诸如上述的深度图构建。除经历不同的过滤外，由光场眼科相机420捕捉的图像数据也反映不同的视点。即，从不同视点捕捉多路复用图像。能够使用这个信息来重建角膜前表面150的三维图像。因此，重建的图像495能够包含除过滤的图像外的三维信息(例如，颜色和/或偏振图像)。可设计系统以使其在深度模式与多过滤器模式之间可切换。可替换地，系统能够同步地捕捉深度和光谱/偏振信息两者。

需要注意的是已简化图4以示出基本概念。例如，对象150被人工地分为阵列以便更容易解释总体成像函数。作为另一示例，更加实用的系统将使用显著更大的阵列，特别地在传感器阵列处以及可能也在过滤器模块处。另外，在传感器平面处的6x6区域与在传感器阵列中的基本传感器元件之间不需要为2:1的关系。例如，每个区域能与多个传感器元件相对应。作为最终的示例，在对象中标注1、过滤的图像455a中标注1a以及在光场图像470中标注1a的区域不必为彼此的准确图像。在一些设计中，在光场图像470内的区域1a可从对象150中的区域1中近似地捕捉过滤的能量，但其可能实际上不是区域1的图像。因此，由传感器元件在光场图像470的区域1中收集的能量可以集成和采样对象150在区域1中的图像(或图像的一些变形)，而不是代表在所述区域处的对象的几何复制。另外，诸如视差、晕影(vignetting)、衍射以及光传播的效果可影响图像形成。

图5根据实施例示出光场眼科相机的另一示例。在这个示例中，微透镜阵列414被直接定位在图像平面ip处而不是它的共轭中的一个。

下列是使用光场相机用于角膜地形图的一些设计考虑。由于角膜为反射对象，表面坡度将偏离入射的主要光线并引入相对大的反射角度。为了收集反射光，前镜片必须具有相对大的数值孔径(na)。例如，在角膜上给定3mm直径的视场(fieldofview，fov)以及0度入射主要光线角度，反射的主要光线将具有相对于光轴的0.24弧度的反射角度。为收集这个反射的主要光线，光场眼科相机的前镜片必须具有大于0.24的na。为达到这个要求，如图2b中所示我们使用具有0.25na的显微镜物镜。另外，针对角膜成像的期望的横向分辨率为大约为100μm或更少，而期望的深度分辨率为大约为50μm或更少。

图6-8示出针对角膜前表面确定深度图(例如，图3中的步骤314)的示例。图6示出估计深度的后置处理模块130的一个实施。在这个示例中，由视图提取模块692接收角膜的光场图像，其将传感器数据分成分离图像455(或视图)，如图4b中之前描述的。这些视图相对彼此位移。即，它们展现出偏差。优选地，从一个视点到下一个的偏差小于一个像素。即，视点到视点的偏差为子像素。偏差确定单元694计算所述偏差。例如，这可通过比较在不同视点455中相对应的特征来进行。可替换地，模块694可获得来自其他源的偏差。通过映射从模块694到相对应的深度的偏差，深度估计模块696估计穿过对象的深度。它使用偏差-深度映射697来完成所述估计。在一个实施中，在深度与偏差之间的映射697为校准处理的结果。模块696的输出为深度图698，在前角膜表面上估计不同点的深度。在一个实施例中，输出图像由像素组成，具有针对每个像素的常规图像数据(例如，rgb数据)，还包含针对每个像素的深度信息。

在图7-8中示出深度-偏差关系。由光场眼科相机捕捉的光场图像能表示为四维光场i(x,y,u,v)，其中(x,y)为图像坐标以及(u,v)为视点坐标。光场图像i(x,y,u1,v1)为作为(x,y)的函数的图像，所述图像将从视点(u1,v1)观察。

如图7a-7d所示，光场的二维截面(slice)i(x,u)展现了为具有均匀间隔视点的光场特性所固有的线结构。在(x,u)域内的线的角度与场景中不同的深度相对应。图7a示出两个在不同深度处的对象710和720。对象720在对象710之前。取决于视点u，其可能或可能不遮挡对象710。

图7a为从视点u1得到的。从这个视点，对象710占据了x区间711而对象720占据了x区间721。这两个区间711和721并不重叠并且不存在遮挡。图7d示出针对这两个对象的光场的二维(x,u)截面。图7a的x-slice在垂直u轴上由u1标记。复制两个区间711和721为图7d中坐标u＝u1处的两个线段。

图7b示出来自不同的视点u2的相同的两个对象。从这个视点，对象710占据x区间712而对象720占据了x区间722。这也由在图7d中坐标u＝u2处的两个线段所示出。注意这些线段相对于在坐标u＝u1处的线段存在位移。这个由于视点改变的相对的位移是视差或偏差的结果。在图7b中，两个x区间712和722是刚好相接的。图7c示出来自视点u3的两个对象。此处，对象710占据x区间713而对象720占据了x区间723。也由图7d中两个在u＝u3处的线段所示。所述两个x区间713和723是重叠的，这说明对象720遮挡了对象710的一部分。遮挡的区域为重叠的面积。针对其他视点重复这个处理导致出现图7d中所示的两个梯形719和729，其将被称为光线区域。重叠的面积739代表由对象720对对象710的遮挡。

图7d示出固有的线结构。即，在对象中的每个点在(x,u)平面内相对于x轴正交的角度处创建了线。一组相邻的点在相同的深度创建一定宽度的光线区域，其与垂直轴形成角度这些角度在图7d中被标注为和在一般的四维情况下，这些角度将相对于(x,y)平面正交。为了方便，角度将被称为偏差角。所述偏差角为偏差的测量并取决于对象的深度位置。由于视差，离视点u平面更深深度的对象产生带有更小偏差角的线(假设相机聚焦至无穷远)。与离u轴更远的对象713相对应的光线区域719具有更低的偏差角与离u轴更近的对象723相对应的光线区域729具有更大的偏差角在光场相机的一些配置中，角度也可以是负值。比起产生垂直光线区域(即的光线区域)的对象，这些光线区域与位于沿朝向视点方向更远处的对象相对应。一般地，角度在区间(-π/2,π/2)内取值。

图8示出用于灰度场景来自光场的(x,u)截面。图8也示出三个变化角度(其与变化的深度相对应)以及宽度的光线区域819、829和839。

在偏差角与深度值z之间存在一一映射。这个映射取决于光场眼科相机的配置并也典型地与场位置的函数(即，作为(x,y)坐标的函数)成比例。深度-偏差映射能够由校准处理而获得。在一个途径中，所述映射适用于线性模型：

其中a(x,y)和b(x,y)分别为以弧度/mm和弧度为单位的映射系数。在美国专利申请号14/064090，“通过转换至尺度与深度空间的光场的处理”(“processingoflightfieldsbytransformingtoscaleanddepthspace”)中描述了用于从光场图像中获得深度图的进一步的示例技术，其通过引用合并于此。

虽然具体的描述含有许多详情，这些不应被解释为作为发明范围的限制，而仅作为示出不同的示例以及发明的方面。需要重视的是本发明的范围包含了其他没有在上文中具体讨论的实施例。在没有偏离在所附权利要求定义的本发明的范围和精神的情况下，本发明文中公开的排列、操作以及方法和装置的细节中，可做出对本领域技术人员显而易见的各种其他修改、改变以及变化。因此本发明的范围应由所附的权利要求和它的法律上的等价物所确定。