孔径扫描傅立叶重叠关联成像的制作方法
【专利说明】孔径扫描傅立叶重叠关联成像
[0001] 相关申请的交叉引用
[0002] 本申请要求标题为"Generalized Ptychographic Imaging with Optical Transfer Function Modulation，'并且于2013年7月31日提交的美国临时专利申请号61/ 860786和标题为"Alternative Optical Implementations for Fourier Ptychographic Microscopy。'并且于2013年8月22日提交的美国临时专利申请号61/868967的利益，这两者 W它们的整体并且针对全部目的而通过引用在此并入。
[0003] 发明背景
[0004] 本文中所描述的某些实施例总体上涉及成像技术，并且更具体地，涉及用于傅立 叶重叠关联成像化ourier ptychographic imaging)的方法、设备和系统。某些实施例可^ 被在诸如，例如，显微术和/或摄影术的应用中使用。
[0005] 范围从显微镜物镜到基于卫星的摄像机的成像透镜在物理上受限于它们可^解 析的特征的总数。这些限制是成像系统的点扩散函数(PSF)大小和整个它的图像平面视场 (F0V)的固有像差的函数。被称为空间带宽积，物理限制随透镜的尺寸缩放，但通常是^一 千万像素的阶而不管放大倍率或数值孔径(NA)。传统的成像系统的空间带宽积的讨论可W 在Lohmann，A. W.，Dorsch，民.G.，Mendlovic，D .，Zalevsky，Z. feFerreira，C.的（'Space- bandwidth product of optical signals and systems，'，J.Opt.Soc.Am.A. 13,第470-473 页（1996年）中找到，该文献通过对于本讨论的引用在此并入。尽管传统的成像系统可^能 够解析高达一千万像素，典型地有在PSF和F0V之间的折衷。例如，某些常规的显微镜物镜可 ^提供穿过狭窄的F0V(例如，lmm)的轮廓鲜明的PSF(例如，0.5微米），而其它具有宽角度透 镜的成像系统W模糊的PSF(例如，5微米)的代价来提供宽的F0V(例如aOmrn)。
[0006]尝试增加空间带宽积的某些干涉合成孔径技术在Di J.等人的巧igh resolution digital holographic microscopy with a wide field of view based on a synthetic aperture technique and use of linear CCD scanning，'，Appl.Opt.47,第5654-5659页 (2008) ; Hi 1 Iman，T.R.，Gutzler，T.，Alexandrov，S · A ·和Sampson，D · D ·的（'High- resolution,wide-field object reconstruction with synthetic aperture Fourier holographic optical microscopy，'，Opt .Expressl?，第7873-7892页（2009) ;Granero，L.， Mic0，V.，Zalevsky，Z.和Garcia,J.的('Synthetic aperture superresolved microscopy in digital lensless Fourier holography by time and angular multiplexing of 化e object information，'，Appl .Opt .49,第845-857页（2010);Kim，M.等人的巧igh-speed synthetic aperture microscopy for live cell imaging，，，0pt.Lett.36,第148-150页 (2011); Turpin，Τ.，Gesell，L.，Lapides，J.和Price，C.的('Theory of the synthetic aperture microscope，'，第230-240页；Schwarz，C. J.，Kuznetsova，Y.和Brueck，S.的 ('Imaging interferometric microscopy，，，0ptics letters28,第 1424至 1426页（2003年）； Feng，P.，Wen，X.和Lu,民.的('Long-working-distance synthetic aperture Fresnel off- axis digital holography，'，0ptics Expressl7,第5473-5480页（2009年）；Mico，V·， Zalevsky，Z. ，Garcia-Martinez，？.和 Garcia，J.的（'Synthetic aperture superresolution with multiple off-axis holograms，'，JOSA A23，第3162-3170页 (2006); Yuan，C.，Zhai，H.和Liu，H.的（'Angular multiplexing in pulsed digital holography for aperture syn化esis，'，Optics Letters33,第2356至2358页（2〇〇 8年）； Mico，V.，Zalevsky，Z.和Garcia, J.的('Synthetic aperture microscopy using off-axis illumination and polarization coding，'，0ptics Communications，第276，209-217页 (2007年）；Alexandrov，S.和Sampson,D.的('Spatial information transmission beyond a system's diffraction limit using optical spectral encoding of the spatial frequency，'Journal of Optics A:Pure and Applied OpticslO,025304(2008年）； Tippie，A.E.，Kumar，A.和Fienup, J.民.的('High-resolution synthetic-aperture digital holography with digital phase and pupil correction，'，0pt.Express 19,第 12027-12038页（2011年）；加 tzler，T·，Hillman，T·R·，Alexan虹ov，S·A·和Sampson，D·D·的 ('Coherent aperture-synthesis ,wide-field,hi gh-resolution holographic microscopy of biological tissue，'，0pt.Lett.35,第1136至 1138页（2010年）；1^及 Alexandrov,S.A.，Hillman，T.民.，Gutzler，T.和Sampson，D.D.的('Synthetic aperture Fourier holographic optical microscopy，，，Phil.Trans.民.Soc.Lond. A 339,第521-553 页（1992年）中进行描述，所有这些文献都通过对于试图增加空间带宽的讨论的引用在此并 入。大多数的上述干涉合成孔径技术包括使用诸如离线全息之类的干涉全息和相移全息来 记录强度和相位信息两者的设置。干涉全息有其局限性。例如，干涉全息记录典型地使用高 相干光源。这样，所构建的图像典型地遭受相干噪声源，诸如斑点噪声、固定图案噪声（由来 自尘埃颗粒的衍射和在光束路径中的其它光学缺陷引起）?及在不同的光学接口之间的多 重干涉。因此，图像质量典型地比来自常规的显微镜的更糟。另一方面，使用离轴全息牺牲 了图像传感器的空间带宽积（即，降化了总的像素数）。某些离轴全息方法的讨论可^在 Schnars，U.和Juptner，W.P.O.的('Digital recording and numerical reconstruction of holograms"测量科学与技术，13，R85(2002年）中找到，该文献通过对于本讨论的引用在 此并入。此外，干涉成像技术可^受到在不同的测量之间的不可控的相位波动。因此，可能 需要样本位置的准确的先验知识，W设置在图像恢复过程中的参考点。另一个限制是，这些 干涉成像系统中的许多系统需要机械扫描^旋转该样本并且因此精确的光学对准、在亚微 米级别的机械控制和相关联的维护为这些系统所需要。在空间带宽积方面，这些干涉成像 系统与传统的显微镜相比可能几乎不呈现优势。
[0007]先前的诸如数字同轴全息和接触成像显微镜之类的无透镜显微镜也存在缺点。例 如，传统的数字同轴全息没有很好地用连续的样本来工作并且接触成像显微镜需要紧密靠 近传感器的样本D某些数字同轴全息器件的讨论可?在Denis，L.，Lorenz，D.，Thiebaut， E.，Fournier，C.和Trede，D .的('Inline hologram reconstruction with sparsity constraints"，0pt.Lett.34,第3475-3477页（2009年）；Xu，W.，Jericho，M.， Meinertzhagen，I.和Kreuzer，H.的（'Digital in-line holography for biological applications，'，Proc. Natl Acad. Sci ·美国98,第11301-11305页（2001年）；^及 Greenbaum,A.等人的('Increased space-bandwidth product in pixel super-resolved lensfree on-chip microscopy，'，Sci .Rep .3,第1717页（2013)中找到，这些文献通过对于 本讨论的引用在此并入。某些接触成像显微镜的讨论可1^在之11611容，6.，Lee，S.A.，Antebi， Υ.,Elowitz,Μ.Β.和Yang,C.的"The ePetri dish,an on-chip cell imaging platform based on subpixel perspective sweeping microscopy(SPSM)''，Proc.Natl Acad.Sci. 美国108，第16889-16894页（2011年）；^及2}16叫，6.，1^66,5.4.，化叫，5.&￥曰叫，(：.的''5油- pixel resolving optofluidic microscope for on-chip cell imaging''，Lab Chip 10， 第3125-3129页(2010年）中找到，运些文献通过对于本讨论的引用在此并入。
[000引高空间带宽积在用于诸如数字病理学、血液学、植物解剖学、免疫组织化学和神经 解剖学之类的生物医学应用的显微镜中是非常可取的。例如，在生物医学和神经科学中有 来W数字方式对大量的组织学载玻片进行成像用于评估的强烈需要。运一需求已经促使了 精密的机械扫描和无透镜显微镜系统的发展。运些系统使用具有高精度的复杂的机构来增 加空间带宽积，W控制致动、光学对准和运动跟踪。运些复杂的机构往往制造很昂贵并且难 于使用和维护。
[0009] 发明概述
[0010] 本公开的各方面设及成像技术，并且更具体地，设及用于傅立叶重叠关联成像的 方法、设备和系统，其可W被在诸如，例如，显微术和摄影术的应用中使用。
[0011] 某些方面设及孔径-扫描傅立叶重叠关联成像设备，其包括光学元件、可W产生在 光学元件的中间平面上的多个位置处的孔径的孔径扫描仪和可W获取对于不同孔径位置 的较低分辨率的强度图像的检测器，W及其中，较高分辨率的复合图像可W通过用所获取 的较低分辨率的图像迭代地更新在傅立叶空间中的区域来进行构建。
[0012] 在一些方面，孔径-扫描傅立叶重叠关联成像设备包括第一光学元件和第二光学 元件，其中第一光学元件被配置成接收来自样本的光。该设备还包括被配置成产生在中间 平面中的多个孔径位置处的孔径的孔径扫描仪，所述孔径被配置成将来自第一光学元件的 在所述孔径处的入射光传递至第二光学元件。该设备还包括被配置成接收来自第二光学元 件的光并且获取与不同孔径位置相关联的多个强度图像的福射检测器。该设备还包括被配 置成通过用所获取的强度图像迭代地更新在傅立叶空间中的区域来构建样本的复合图像 的处理器。
[0013] 在一些方面，孔径-扫描傅立叶重叠关联成像方法包括照射样本，在第一光学元件 处接收来自所述样本的入射光，产生在中间平面上的多个位置处的孔径，将来自所述第一 光学元件的在所述孔径处的入射光传递至所述第二光学元件。该方法还包括使用接收来自 第二光学元件的光的检测器来获取多个强度图像，W及通过用所述多个强度图像迭代地更 新在傅立叶空间中的区域来构建所述样本的复合图像。
[0014] 运些和其它特征在下面参照有关的附图更详细地进行描述。
[0015] 附图简述
[0016] 图1示出傅立叶重叠关联成像系统的组件的示意图，带有在中间平面上的光学传 递函数调制。
[0017] 图2A和2B是孔径-扫描傅立叶重叠关联成像系统的组件的示意图。
[0018] 图3A是孔径-扫描傅立叶重叠关联成像系统的组件的示意图。
[0019] 图3B是可W在某些孔径-扫描傅立叶重叠关联成像系统中被实现的空间光调制器 的显示的横截面视图的示意图。
[0020] 图4是包括了 DMD阵列的孔径-扫描傅立叶重叠关联成像系统的组件的示意图。
[0021] 图5是包括了 DMD阵列的孔径-扫描傅立叶重叠关联成像系统的组件的示意图。
[0022] 图6是包括了 LC0S阵列的孔径-扫描傅立叶重叠关联成像系统的组件的视图的示 意图。
[0023] 图7是孔径-扫描傅立叶重叠关联成像系统的组件的示意图。
[0024] 图8是由孔径-扫描傅立叶重叠关联成像系统执行的孔径-扫描傅立叶重叠关联成 像方法的流程图。
[0025] 图9是带有数字波前校正的孔径-扫描傅立叶重叠关联成像方法。
[0026] 图9A是图8的方法的一个或多个步骤的子步骤的一个示例的流程图。
[0027] 图9B是图8的方法的一个或多个步骤的子步骤的另一示例的流程图。
[0028] 图10是根据某些方面的带有贴片成像的孔径扫描傅立叶重叠关联成像方法的流 程图。
[0029] 图11是可W存在于孔径-扫描傅立叶重叠关联成像系统的子系统的框图。
[0030] 发明详述
[0031] 本发明的实施例将在下面参照附图进行描述。在附图中所示出的特征可W不是按 比例绘制的。
[0032] I.简介
[0033] 傅立叶重叠关联成像实现了使用角度分集来恢复复合样本图像的相位复原技术。 该恢复过程包括在空间域中的已知样本信息的交替执行和在傅立叶域中的固定约束。相位 复原恢复可W被使用交替的投影算法的任何变型、该问题的凸的改写或者在二者之间的任 何非凸的变型来实现。不是对样本进行横向移位（即应用平移分集），傅立叶重叠关联成像 使用在傅立叶域中的扫描频谱约束，来将傅立叶通带扩展到单个所捕获的图像的通带W 夕hW恢复增强分辨率的复合样本图像。
[0034] 某些可变角度光照傅立叶重叠关联成像系统使用可变光照源（例如，L抓阵列）来 对被从不同的照射角度连续地成像的样本进行照射。诸如低数值孔径的物镜透镜之类的光 学元件对来自样本的光进行过滤。一种福射检测器接收来自该光学元件的经过滤的光，并 且在每个照射角度捕获样本的强度图像。多分辨率图像可W被迭代地在傅立叶域中拼接在 一起，W恢复该图像的较高分辨率的图像。一些可变角度光照傅立叶重叠关联成像系统、设 备W及方法的细节可W在题为"Fourier Ptychogra地ic Imaging Systems,Devices,and Methods"并且于2013年10月28日提交的美国专利申请序列号14/065280中和在题为 "Fourier Ptychographic X-ray Imaging Systems .Devices,and Methods" 的美国专利申 请序列号14/065305中找到，运些文献通过对于运些细节的引用在此并入。
[0035] 在一些方面，本文中所描述的某些傅立叶重叠关联成像系统包括孔径扫描仪，其 可W生成在光学装置的中间平面上的数量为N的多个孔径位置处的孔径。例如，孔径可W在 与样本平面共辆的傅立叶平面上被产生。在一些情况下，福射检测器接收来自样本的由在 不同位置处的孔径所调制的光，并且获取对应于不同的孔径位置的数量为Μ的多个强度图 像。Μ个强度图像可W被在频域中合成W恢复样本的复合的、增强分辨率的图像。在一个方 面，在光学系统中的光学像差和不对准可W被通过模拟退火来估计并且校正。
[0036] 在某些方面，孔径扫描