傅立叶重叠关联断层摄影的制作方法
相关申请的交叉引用
本申请要求享有于2015年1月21日提交且题为“ptychographicreconstructionofvolumetricsamples”的第62/106,133号的美国临时专利申请的优先权和权益，以其整体并且针对全部目的通过引用的方式并入本文。
领域
本文描述的某些实施例通常涉及数字成像。更具体地，某些实施例涉及用于对厚样品进行高分辨率成像的傅立叶重叠关联断层摄影(fourierptychographictomography)系统和方法。
背景
傅立叶重叠关联(fp)是最近引入的一种技术，其从在不同照明条件下捕捉的一系列低分辨率强度图像中获取高分辨率样品的幅度和相位测量。常规的fp技术的细节可以在2013年g.zheng、r.horstmeyer和c.yang在naturephotonics发表的“wide-field，high-resolutionfourierptychographicmicroscopy”中和在2013年10月28日提交且题为“fourierptychographicimagingsystems,devices,andmethods”的美国专利申请14/065,280中找到；这两篇文献在此通过引用以其整体并入。
常规的fp系统将位于感兴趣的薄的半透明样品下方的发光二极管(led)或其他离散化照明源的阵列用作可变照明源。来自每个单独照明的led的光穿过薄的半透明样品并进入成像透镜(例如，显微镜物镜)，以形成由图像传感器获取的每个唯一的fp图像。然后，可以通过相位复原算法将一系列所获取的图像组合成高分辨率复合测量。这些常规的fp技术基于薄样品近似，并且对于沿着轴向尺寸z的厚度多达25μm的薄样品是成功的。
概述
某些方面涉及用于对厚样品进行高分辨率成像的傅立叶重叠关联断层摄影系统和方法。
某些方面涉及傅立叶重叠关联断层摄影系统。在一些方面中，傅立叶重叠关联断层摄影系统包括可变照明源(例如，led矩阵)，该可变照明源被配置成在不同的照明角度处依次向正在被成像的厚样品提供平面波照明。傅立叶重叠关联断层摄影系统还包括光学系统(例如，物镜)，该光学系统被配置成收集来自可变照明源的通过厚样品的光，并聚焦所收集的光。傅立叶重叠关联断层摄影系统还包括图像传感器，该图像传感器被配置成接收来自光学系统的聚焦光，并且获取与不同的照明角度相关联的一系列唯一地照明的强度测量。傅立叶重叠关联断层摄影系统还包括处理器，该处理器通过迭代地确定与唯一地照明的强度测量自相一致的傅立叶域中的三维断层摄影数据，来构建厚样品的三维断层摄影数据。在一些情况下，处理器通过采用唯一地照明的强度测量来更新与傅立叶域中的三维样品频谱中重叠的表面区域(例如，重叠至少70％、重叠至少80％、以及重叠至少65％)相交的立体像素，来构建三维断层摄影数据。
某些方面涉及傅立叶重叠关联断层摄影方法。在一些方面中，傅立叶重叠关联断层摄影方法从图像传感器接收多个唯一地照明的强度测量。多个唯一地照明的强度测量是基于来自不同角度处的平面波照明的穿过厚样品的光。该方法还通过迭代地确定与唯一地照明的强度测量自相一致的傅立叶域中的三维断层摄影数据，来构建厚样品的三维断层摄影数据。在一个方面中，通过采用唯一地照明的强度测量来更新与傅立叶域中的三维样品频谱中的重叠表面区域相交的立体像素，来构建三维断层摄影数据。在一个方面中，傅立叶重叠关联断层摄影成像方法还包括对样品频谱进行初始化，并且对于每个唯一地照明的强度测量：(a)选择样品频谱的二维表面；(b)对二维表面进行傅立叶逆变换；(c)对来自于(b)的二维表面施加幅度约束；(d)对来自于(c)的二维表面进行傅立叶变换；以及(e)采用来自唯一地照明的强度测量之一的数据来替换重叠表面区域之一的立体像素。在一个方面中，重叠表面区域遵循三维样品频谱中的圆形路径。
这些和其它特征在下面参照相关联的附图更详细地进行描述。
附图简述
图1是示出用于对薄样品进行成像的常规fp技术的示意图。
图2是示出根据实施例的使用fpt技术对厚样品成像的示意图。
图3是示出在图1中描绘的来自于fp重建的简化输出以及根据实施例在图2中描绘的来自于fpt过程的简化输出的示意图。
图4是根据实施例的fpt系统的部件和由fpt系统执行的fpt成像方法的某些操作的示意图。
图5是根据某些实施例的fpt系统的部件的正交视图。
图6a是根据某些实施例由fpt系统(诸如，参考图4和/或图5描述的fpt系统)使用的fpt成像方法的单次运行的流程图。
图6b是根据某些实施例参考图6a描述的fpt方法的fpt重建过程的流程图。
图7是根据实施例描绘在示例性fpt重建过程中被恢复的电势谱值的带通区域的图示。
图8描绘了根据实施例的由不同的照明na造成的和用于显微镜物镜na的各种fpt带通形状。
图9a是根据实施例的使用fpt技术来恢复具有八个微球体的厚样品的幅度和相位数据二者的模拟结果的图示。
图9b是用于恢复在参考图9a描述的模拟结果中的幅度和相位数据的傅立叶域中更新的球形帽区域中的重叠的数量的图示。
图9c是使用常规fp技术恢复的、以及使用根据实施例参考图9a描述的fpt技术恢复的在两个不同深度处的八个微球体的相位图像的图示。
图10是根据实施例由三维fpt成像方法导致的沿kz的高离散化的图示。
图11是根据实施例的可存在于某些fpt系统中的一个或更多个子系统的框图。
详细描述
某些实施例将在下面参照附图进行描述。在附图中所示出的特征可以不是按比例绘制的。
i.傅立叶重叠关联断层摄影(fpt)的介绍
某些方面涉及傅立叶重叠关联断层摄影(fpt)系统和成像方法，其可以重建厚的半透明样品的高分辨率的体积表示。如在本文中所用的，厚样品通常是指沿轴向尺寸z的至少25μm厚的样品。一般来说，对于在其处样品不再符合薄样品近似(即，投影近似)的厚度有不同的解释。例如，为了这个讨论而在此通过引用的方式并入的lee等人于2013年在opticsexpress21上发表的“syntheticfouriertransformlightscattering”中，将薄样品标准设定在
fpt技术在其系统部件的设计及其成像操作方面与常规fp技术显著不同。例如，对于在空间(x，y)分辨率中的相同的固定期望改进，与fp技术所需的相比，fpt技术在图像获取过程期间需要在入射照明角度之间更精细的步长。也就是说，对于相等的分辨率改进，fpt技术通常需要fp技术所需的步长的大约一半。例如，在特定的fp技术针对某个分辨率改进而需要相邻的照明角度彼此相差在1.7度到2.0度之内的情况下，具有相同分辨率改进的fpt技术将会需要相邻的入射照明角度彼此相差约1.0度。为了提供更精细的步长，与fp系统相比，fpt系统使用放置在样品下方的更致密的照明源(即，led)的阵列。例如，某些fpt系统具有n个led矩阵，其具有的led是在相同区域中有相同分辨率改进的能力的fp系统的led矩阵的led的至少三倍。在一些情况下，fpt图像获取过程可能涉及捕捉与常规fp过程将会获得的数量相比更大数量的样品图像。这可能发生在正在被成像的样品异常厚的情况下。例如，在常规的fp获取过程可以捕捉225个图像，以能够重建某个空间分辨率的薄样品的改进的分辨率图像的情况下，fpt技术将需要1024个图像来捕捉具有相同空间分辨率的非常厚的样品(>200μm的厚度)的体积表示。此外，在fpt成像方法中使用的图像重建过程和常规fp成像方法中使用的图像重建过程之间存在实质性差异，如下所讨论的。
简而言之，根据如在方程式1中表示的该二维复合场的低通滤波强度的多个测量，常规的fp成像方法考虑了重建从样品表面出现的二维复合场u(x，y)的逆问题。
在方程式1中，
另一方面，fpt成像方法基于傅立叶域中的三维k空间中的逆问题。与如同在fp技术中所做的那样求解
fp技术通过使用从相关联强度图像的日期更新二维区域，恢复在kx和ky中的二维样品频谱。为了简化某些示例，假设样品沿着一个维度延伸，并且在这些示例中将fp技术描述为更新在kx中的一维样品频谱的移位的窗口区域。
fpt技术采用来自每个唯一地照明的强度测量的数据来更新沿着在傅立叶域中移位球冠(sphericalcap)(碗形三维表面)的表面区域的立体像素。fpt技术通过采用n个唯一地照明的强度测量而从不同的重叠球冠区域迭代地更新立体像素，来恢复三维样品频谱。通常，重叠的球冠区域表示在傅立叶域中的数据。对于典型的更新，将二维傅立叶变换应用于每个球冠内的数据，然后将从与球冠的特定位置相关联的图像中测得的幅度替换从当前数据估计出的幅度。此外，每个球冠的位置不是任意的。其中心(即，朝上的碗的底部)通常限定在具有相等尺寸的、但是相对于kz轴具有相反取向的第二球冠上(即，朝下的碗，见图4的右图)。
为了简化某些实例的目的，将球冠区域缩小成圆弧，并且将三维频谱减小到二维频谱，其中没有讨论在ky中的第三维度。在这些示例中，将fpt技术描述为更新在kx和kz中的二维频谱中的这些移位的弧。将理解的是，尽管为了简化而在这些示例中将fpt技术描述为更新移位的弧，然而fpt技术实际上更新在kx、ky和kz中的三维频谱中的三维表面。
fpt重建过程采用来自在图像获取过程期间捕捉的唯一地照明的强度测量的数据，通过沿着球冠的三维表面区域(即，在kx、ky和kz中的碗形表面)更新而恢复三维样品频谱。相比之下，fp重建过程通过更新在kx和ky中的二维频谱中的区域来恢复二维样品频谱。图1、图2和图3是示出在常规的fp重建过程和根据实施例的fpt重建过程之间的原理差异的示意图。为了简单起见，假设样品沿着一个维度延伸并且(与kx和kz正交的)在ky中的第三维度未示出，而产生这些示出的示例。
图1是示出用于对薄样品进行成像的常规fp技术的示意图。如上所讨论的，fp技术通过采用来自由图像传感器获取的每个相关联的强度图像的数据来更新在kx和ky中的频谱的移位的窗口化区域来恢复二维样品频谱。为了简化所示的示例，图1假设样品沿着一个维度延伸并且一维样品频谱被恢复。在该示例中，将fp技术描述为更新在kx中的一维样品频谱的移位的窗口化区域。如所讨论的，将fp技术示出为通过采用来自所获取的每个相关联的图像中的数据来更新在kx中的频谱的移位的窗口化区域来恢复一维样品频谱100。为了简单起见，显示了三个窗口化区域101、102、103，并且显示了在第一区域101和相邻的第二区域102之间的相关联的移位以及在第二区域102和相邻的第三区域103之间的移位。该图显示了采用来自三个所获取的强度图像的数据更新三个移位的窗口化区域101、102、103，以恢复1d样品频谱100。在图像获取过程期间，在以唯一的入射角对样品进行照明的同时，采用来自所获取的图像的数据来更新每个窗口区域。
图2是示出根据实施例的使用fpt技术对厚样品进行成像的示意图。如上所讨论的，fpt重建过程通常通过采用来自由图像传感器获取的相关联的唯一的照明强度图像的数据来更新在kx、ky和kz中的移位的球冠区域的立体像素来恢复三维样品频谱。为了简化所示的示例，图2假设样品沿着一个维度延伸并且示意性地将二维(2d)样品频谱表示为正在恢复。基于该假设，在图2中将fpt技术示出为通过采用来自所获取的每个相关联的图像的数据来更新在kx和kz中的移位的弧来恢复二维样品频谱200。在这个所示出的示例中，fpt重建过程是在2d样品“电势谱”空间(包括沿着kz以及kx的数据)内操作的。与在图1中示出的如在fp重建过程中所完成的更新窗口区域相反，fpt重建过程更新在图2中的2d样品“电势谱”空间中的弧。在该示例中，fpt技术通过采用来自相关联的强度图像的数据来更新在kx和kz中的曲线来恢复2d样品频谱。为了简单起见，五个弧201、202、203、204和205在图2中被示出，如采用来自五个所获取的图像的数据来更新以恢复2d样品谱200。在其他示例中可以使用更多的弧，例如，诸如在从225到1000的范围内的多个弧。在fpt重建过程中，采用来自所获取的每个相关联的图像的数据来更新每个弧内的值。
一般来说，fpt成像方法包括图像获取过程、重建过程和可选的显示过程。如上所讨论的，fpt重建过程通过采用来自由图像传感器获取的相关联的强度图像的数据来更新在不同位置中的立体像素来恢复在kx、ky和kz中的三维样品频谱，该不同位置中的立体像素对于给定的更新来说是在三维空间中的特定表面。相比之下，fp重建过程通过采用来自由图像传感器获取的相关联的强度图像的数据来更新移位的二维区域，恢复在kx和ky中的二维样品频谱。来自fpt成像方法的输出是具有改进的横向分辨率(即，沿x和y的分辨率)以及深度信息(即，沿z的分辨率)的样品的三维重建。相比之下，来自fp成像方法的输出是具有改进的横向分辨率但没有深度信息的二维样品重建。
在图1和图2中示意性地示出的示例中，来自fp重建过程的简化输出是一维样品频谱，并且来自fpt重建过程的简化输出是二维样品频谱。图3是根据实施例示出在图1中描绘的来自fp重建的简化输出以及在图2中描绘的来自fpt过程的简化输出的示意图。在图3中，将来自fpt重建过程的输出描绘为二维区域301。相比之下，将来自fp重建过程的输出描绘为虚线曲线302。通过重叠的实线曲线303来描绘所获取的单个图像。
fpt成像方法的输出是样品的折射和吸收指数v(x,y,z)的三维断层摄影表示。该断层摄影表示包括可用于生成厚样品在不同深度处的二维截面图像和厚样品的三维图像的数据。使用fpt成像方法，v(x,y,z)的空间分辨率可以通过沿(x，y)的重要因数来改进。由fpt成像系统/方法提供的对于样品的折射和吸收指数(v(x,y,z))的横向空间分辨率的改进是fpt系统的光学系统和可变照明源的物理特性的函数。在其中光学系统包括成像透镜并且可变照明源是led矩阵的fpt系统的示例中，横向空间分辨率的改进是成像透镜数值孔径na0和来自最远的离轴led的最大照明角度na1的函数。在这种情况下，该fpt系统的总的有效na被给定为总和(na0+na1)，并且横向空间分辨率改进因数是na0/(na0+na1)。在本文中描述的一个示例中，所描述的fpt系统的改进因数大约为2。在章节ii中详细描述了这个fpt系统和fpt系统及其部件的其他示例。
与fp技术不同的是，来自fpt成像方法的输出(v(x,y,z))包含关于样品沿着fpt系统的光轴(即，沿着z)的深度信息。更重要的是，fpt技术并非基于要求每个样品都很薄的假设。因此，fpt技术可以为厚样品(>25um，无上限)提供分辨率改进的图像，并且解析沿光轴的深度信息。同样值得注意的是，不同于fp技术，fpt重建技术对于厚度小于25μm的样品同样有效，并且可以提供关于这种样品的有限量的轴向信息。
v.laurer于2002年在j.ofmicroscopy205发表的“newapproachtoopticaldiffractiontomographyyieldingavectorequationofdiffractiontomographyandanoveltomographicmicroscope”中、choi等人于2007年在naturemethods4第9卷发表的“tomographicphasemicroscopy”中、以及m.debailleul等人于2008年在opt.lett.34发表的“high-resolutionthree-dimensionaltomographicdiffractivemicroscopyoftransparentinorganicandbiologicalsamples”中描述了已经实现了显微镜内的断层摄影重建的一些常规的成像系统。然而，这些常规系统需要同时测量退出场(theexitingfield)的幅度和相位。这个测量需要参考光束和高度相干的光，即全息设置。这两种系统需求对小的未对准或运动高度敏感，并且需要具有许多光学部件的大型光学试验台。通过仅测量幅度(即，在强度图像内)并依赖于fpt重建过程来恢复样品场的相位，fpt成像技术消除了对所有的这种附加光学设备的需要，在一个示例中仅需要在样品下方的配备有led矩阵的常规显微镜，如章节ii中所讨论的。
ii.fpt系统
在左面，图4包括根据实施例的fpt系统400的部件的示意图。示意图还显示了由fpt系统400执行的fpt成像方法的某些操作。显示了在成像获取过程期间向fpt系统400提供厚样品20。厚样品20在z方向上以及在z轴上具有厚度t。fpt系统400可以执行章节iii中详细描述的fpt成像方法。
fpt系统400包括可变照明源410、光学系统430和图像传感器440。fpt系统400还包括与处理器410、与处理器410通信的计算机可读介质(crm)420以及与处理器410通信的可选的(由虚线表示的)显示器430。处理器410与图像传感器440通信并且可选地(由虚线表示)与可变照明源410通信。在一个方面中，处理器410、显示器430和crm420是计算设备(诸如，智能电话、膝上型计算机、台式机、平板电脑等)的部件。虽然显示了单个处理器，但是应当理解的是，fpt系统400可以包括执行所示处理器的所描述的功能的多个处理器。在fpt系统400的部件之间的电子通信以及在fpt系统400与其他系统之间的电子通信可以是有线和/或无线形式的。
在图4中，可变照明源410被配置为在(θx’,θz’)处以n个照明角度向厚样品20提供连续平面波照明。可变照明源410包括x'轴、z'轴、以及与x'轴和z'轴正交的y'轴(未示出)。可变照明源410包括在x'轴和y'轴二个方向上的离散光元件(即，离散照明源)的二维矩阵。为了简单起见，将所示的可变照明源410显示为具有沿着x'轴的五个离散光元件412(a)、412(b)、412(c)、412(d)和412(e)。应当理解的是，可变照明源410包括沿着y'轴的离散光元件。此外，应当理解的是，在其他示例中，可变照明源410包括更多个离散光元件412。例如，根据一个方面的可变照明源410包括离散光元件412的32×32矩阵。例如，根据一个方面的可变照明源410包括离散光元件412的25×25矩阵。作为另一个示例，根据一个方面的可变照明源410包括离散光元件412的100×100矩阵。一些其他示例包括一维矩阵或二维矩阵(例如，1×9矩阵、3×6矩阵、10×10矩阵、15×15矩阵、32×32矩阵、100×100矩阵、50×10矩阵、20×60矩阵或具有两个维度的其他矩阵)。可以使用矩阵的其他尺寸。
显示了在特定采样时间处的fpt系统400，在该特定采样时间期间激活单个光元件412(a)以从单个照明角度提供平面波照明414(a)并且捕捉单个强度图像442。在示例性图像获取过程期间，依次照亮五个离散光元件412(a)、412(b)、412(c)、412(d)和412(e)，以提供五种不同的平面波，并且五个强度图像被捕捉。
光学系统430包括被配置为收集穿过厚样品20的光并将光传播和/或聚焦到图像传感器440的部件。在n个采样时间中的每个采样时间处，图像传感器440在曝光时间内测量(例如，记录)强度分布，以捕捉厚样品20的多个(n个)强度测量(图像)。当可变照明源正在照亮单个离散光元件412时，每个强度图像被收集。
在一些情况下，光学系统430具有透镜，使得由光学系统430收集的光落在根据透镜的数值孔径(na)的角度范围内。在一个方面中，光学系统430包括第二光学元件中的第一光学元件。第一光学元件通过根据其数值孔径(na)在角度范围内接受光来收集和过滤光，并且第二光学元件将光聚焦到图像传感器。在一个示例中，第一光学元件可以是常规显微镜的低na物镜(例如，2x，0.08na的物镜)。在另一示例中，第一光学元件可以是具有大约0.40的na的高na物镜。在另一示例中，第一光学元件可以是具有在大约0.40到大约0.75的范围中的na的高na物镜。在另一示例中，第一光学元件可以是具有大约0.60的na的高na物镜。
在右面，图4包括在电势谱的k空间中的厚样品20的表示
在图1中，处理器410与图像传感器440进行电子通信，以接收具有对应于n个强度图像的图像数据的信号。图像数据可以包括例如强度分布、相关联的获取时间等。强度图像是厚样品20的图像。处理器410与crm420(例如，存储器)进行电子通信，以便能够发送具有图像数据的信号以便存储到crm420并从其取回图像数据。可选地，处理器410与显示器430进行电子通信，以能够例如像fpt系统400的用户发送用于显示图像的显示数据和指令以及其他输出。
如虚线所示，可变照明源410可选地与处理器410进行电子通信，以发送用于控制可变照明源410的指令。在某些方面中，可变照明源410处理器410向可变照明源410发送控制指令，以使特定光元件412的照明与图像传感器440的采样时间和曝光时间同步。
处理器410接收在crm420上存储的指令，并执行那些指令以执行fpt系统400的一个或更多个功能。在一个示例中，处理器410执行指令以执行fpt重建过程的操作和/或fet成像方法的其他操作。在另一示例中，处理器410执行用于依次照亮可变照明源410的离散光元件412的指令。在另一示例中，处理器410执行在crm420上存储的指令以执行系统的一个或更多个其它功能，诸如，例如，1)解译来自一系列所获取的强度图像的图像数据，2)根据图像数据重建更高分辨率的图像，和/或3)在显示器430上显示根据fpt方法的一个或更多个图像或其它输出。
crm(例如，存储器)420可存储用于执行fpt系统400的某些功能的指令。这些指令可由处理器420或fpt系统400的其它处理部件执行。crm420还可以存储(较低分辨率)强度测量值和与fpt成像方法相关联的其他数据。
可选的显示器430与处理器410进行电子通信，以接收用于在显示器430上向例如fpt系统400的操作者显示的显示数据。在一种情况下，可选的显示器430是彩色显示器或黑白显示器。在一种情况下，可选的显示器430是二维显示器或三维显示器。在一种情况下，可选的显示器430能够显示多个视图。
在一个方面中，fpt系统400还包括用于接收和/或容纳厚样品20的容器。通常，工作距离d0指的是在厚样品20与光学系统430的收集光学元件之间的距离。
可变照明源指的是可以被配置成以n个不同的照明角度依次向正在由fpt系统成像的厚样品提供平面波照明的设备。每个照明角度对应于傅立叶域中对应的球冠数据的位置。在某些方面中，可变照明源被设计成以这样的照明角度提供照明：该照明角度使得在傅立叶域中生成相邻球冠的一定量的重叠。
可变照明源包括离散光元件的二维布置。每个离散光元件可以被激活以向厚样品提供近似的平面波照明。每个离散光元件具有至少一个光源。在一个方面中，每个离散光元件包括红色光源、绿色光源和蓝色光源。虽然通常光源是相干光源，但是在一个方面中，可以使用发射非相干光的具有尺寸有限的有源区域的源。在尺寸有限的源处的不相干的这种光在传播到采样平面时将形成部分相干的场，并且计算校正可以应用于考虑入射照明的部分相干的性质。离散光元件的二维布置是线网格、矩形网格、一个或更多个同心圆(环)、六边形网格和曲线网格中的一个。
在一些方面中，可变照明源提供可见光。提供可见光的可变照明源的示例是发光二极管(led)矩阵。在该示例中，每个led是光元件。提供可见光的可变照明源的另一示例是液晶显示器(lcd)。
在使用其它形式的辐射的情况下，其它辐射源也可以被使用。例如，在使用x射线辐射的实施例中，辐射源可以包括x射线管和金属靶。作为另一个示例，在使用微波辐射的情况下，辐射源可以包括真空管。作为另一示例，在使用声辐射的实施例中，辐射源可以是声致动器。作为另一示例，在使用太赫兹辐射的实施例中，辐射源可以是耿氏二极管(gunndiode)。本领域技术人员将会考虑其它辐射源。在一种使用太赫兹辐射的情况下，由照明源提供的辐射的频率可以在大约0.3到大约3thz的范围内。在一种使用微波辐射的情况下，由可变照明源提供的辐射的频率可以在大约100mhz到大约300ghz的范围内。在一种使用x射线辐射的情况下，由可变照明源提供的辐射的波长可以在大约0.01nm到大约10nm的范围内。在一种使用声辐射的情况下，由可变照明源提供的辐射的频率可以在大约10hz到大约100mhz的范围内。
在一个方面中，在图像获取过程期间来自依次照亮的光元件中的每个光元件的照明的光性质(例如，波长、频率、相位、幅度、极性等)大致统一。在其他方面中，来自不同光元件的光性质在不同的采样时间处可以不同。例如，在不同的采样时间处，可变照明源可提供光的不同的波长(例如，对应于红色、绿色、蓝色的三个波长λ1、λ2、和λ3)。在使用太赫兹辐射的示例中，由可变照明源提供的辐射的频率可以在大约0.3到大约3thz的范围内。在使用微波辐射的示例中，由可变照明源提供的辐射的频率可以在大约100mhz到大约300ghz的范围内。在使用x射线辐射的示例中，由可变照明源提供的辐射的波长可以在大约0.01nm到大约1nm的范围内。在使用声辐射的示例中，由可变照明源提供的辐射的频率可以在大约10hz到大约100mhz的范围内。
可变照明源包括在一系列图像获取(采样)时间处依次照明的离散光元件。依次照明的顺序可以是在向可变照明源提供的照明指令中。在一个方面中，该顺序限定了在离散光元件的二维矩阵中的各个光元件的照明时间。
在光元件的二维矩阵为矩形阵列的一个示例中，确定中心光元件。这个示例中，照明指令指示首先照亮中心光元件，然后照亮逆时针围绕中心光元件的8个光元件，然后照亮逆时针围绕先前的中心光元件的16个光元件，依此类推，直到可变照明源都已从数量为n的多个照明角度提供照明为止。在其中光元件的二维矩阵是极矩阵(诸如，一个或更多个同心环)的另一示例中，照明指令指示首先以最小半径照亮光元件(例如，以顺时针顺序、逆时针顺序或随机顺序)，然后以更大半径照亮任意的光元件，依此类推，直到所有可变照明源都已从数量为n的多个照明角度提供照明为止。在光元件的二维阵列是矩形阵列或极阵列的另一示例中，可以确定最靠近试样的光元件。照明指令指示照亮最接近试样的光元件，且随后照亮其次最靠近试样的光元件，且随后照亮其次最接近的光元件，依此类推，直到已经从数量为n的多个照明角度中照亮n个光元件为止。在另一示例中，可以以随机顺序照亮光元件。在另一示例中，可以遵循连续逐列的顺序，诸如，例如，(x1，y1)，(x1，y2)，(x1，y3)，...(x1，yn)，(x2，y1)，(x1，y2)，(x1，y3)，..(x2，yn)，..(xm，yn)。可选地，可以遵循逐行的顺序。
由在本文中描述的fpt系统成像的厚样品可以由一个或更多个物体和/或物体的一个或更多个部分组成。每个物体可以是例如生物实体、无机实体等。可以成像的生物实体的一些示例包括全细胞、细胞组分、微生物(诸如，细菌或病毒)、以及细胞组分(诸如，蛋白质)。可以成像的无机实体的示例是半导体晶圆。在某些方面中，通过在本文中描述的某些傅立叶重叠关联成像系统可以对厚的和/或不透明的样品进行成像。可以在培养基(诸如，液体)中提供样品。
在本文中描述的某些fpt系统中，图像传感器(例如，图4中的图像传感器440)被配置为通过在曝光时间内测量入射在图像传感器的感测区域上的光的强度分布来获取厚样品的n个唯一地照明的强度图像。在每个采样时间处，图像传感器获取单个强度图像，同时可变照明源从单个照明角度提供平面波照明。在图像获取过程的过程中，图像传感器依次获取与n个照明角度对应的n个唯一地照明的强度图像。如果可见光正在被测量，则图像传感器可以处于电荷耦合器件(ccd)、cmos成像传感器、雪崩光电二极管(apd)阵列、光电二极管(pd)阵列、光电倍增管(pmt)阵列或类似设备的形式。如果使用thz辐射，则图像传感器可以是例如成像辐射热测量计。如果使用微波辐射，则图像传感器可以是例如天线。如果使用x射线辐射，则图像传感器可以是例如x射线敏感的ccd。如果使用声学辐射，则图像传感器可以是例如压电换能器阵列。图像传感器和其它传感器的这些示例是市售的。在一些情况下，图像传感器可以是彩色检测器，例如，rgb检测器。在其它情况下，图像传感器不需要是彩色检测器。在某些情况下，图像传感器可以是单色检测器。
在某些方面中，图像传感器可以具有离散元素(例如，像素)。离散检测元件元素具有任何合适的大小(例如，1-10微米)以及任何合适的形状(例如，圆形、矩形、正方形等)。例如，cmos或ccd元件可以有1-10微米，并且apd或pmt光检测元件可以有1-4mm那么大。在一个示例中，辐射检测元素是尺寸为5.5um的正方形像素。
图像获取(采样)时间指的是在图像传感器430的曝光时间期间的时间，在此期间，图像传感器430测量强度分布以捕捉强度图像。在每个图像测量过程期间，图像传感器捕捉n个强度图像(例如，n＝1、2、5、10、20、30、50、100、1000、10000等)。在一些情况下，图像传感器具有采样率。在一种情况下，采样率可以在每秒0.1至1000帧的范围中。
在图像获取过程期间，图像传感器430捕捉n个强度图像。图像传感器430还可以生成其它图像数据，诸如采样时间和其它相关采样数据。由图像传感器捕捉的数量为n的多个强度图像中的每个强度图像与在傅立叶空间中的球形区域相关联。在傅立叶空间中，邻近的球形区域可以共享在它们在其上采样相同的傅立叶域数据的重叠区。在某些方面中，可变照明源被配置成以这样的多个照明角度提供照明：该多个照明角度被间隔以在傅立叶域数据中提供在相邻球形区域中的一定量的重叠。在一种情况下，可变照明源被配置成在多个照明角度处提供照明，以生成在傅立叶域数据中的在各区域中的一个区域的面积的大约2％至大约99.5％的范围内的重叠区。在另一情况下，邻近区域之间的重叠区可以具有从各区域中的一个区域的面积的大约65％至大约75％的范围内的面积。在另一情况下，邻近区域之间的重叠区可以具有在各区域中的一个区域的面积的大约65％的面积。在另一情况下，邻近区域之间的重叠区可以具有在各区域中的一个区域的面积的大约70％的面积。在另一情况下，邻近区域之间的重叠区可以具有在各区域中的一个区域的面积的大约75％的面积。
图5是根据某些实施例的fpt系统500的部件的正交视图。fpt系统500的一些部件类似于参考图4所描述的部件。fpt系统500包括可变照明源510、光学系统530和图像传感器540。在该图示中，光学系统530包括物镜534(例如，显微镜物镜)和镜筒透镜532。物镜534是光学系统530的第一个光学元件，并且是集光元件。在一个方面中，物镜532具有在大约0.50至大约0.75范围内的高na。在厚样品22被提供给fpt设备500时，厚样品22在试样表面526上被显示。
在图5中，可变照明源510采用具有225个等间隔的led512的矩形网格布置(15×15正方形阵列)的led矩阵的形式。在其他示例中，可变照明源510具有较大数量的led512。在一个示例中，可变照明源510具有900个等间隔的led512的矩形网格布置(30×30正方形阵列)。在另一示例中，可变照明源510具有40×40＝1600个等间隔的led512的矩形网格布置。
在图像获取操作期间，依次激活n个不同的led512以在n个不同的照明角度处提供平面波照明。在一个示例图像获取过程中，厚样品22由可变照明源510的225个不同的led以led矩阵的形式从225个不同的照明角度照亮。物镜534收集穿过厚样品20的光，并且基于其na的接受角度对光进行过滤。镜筒透镜532将过滤后的光聚焦到图像传感器540。在可变照明源510通过225个不同的照明角度将样品22照亮的同时，图像传感器540捕捉225个强度图像。
iii.fpt成像方法
根据某些方面，fpt成像方法包括图像获取(数据收集)过程、fpt重建过程和可选的显示过程。在图像获取过程中，fpt成像方法遵循方程式1而获取n个唯一地照明的图像。在图像获取过程期间，使用可变照明源(例如，led矩阵)从n个不同的照明角度依次照亮样品。光学系统收集穿过试样的光，并将光聚焦到图像传感器。当样品被依次照亮时，图像传感器捕捉一系列对应于n个照明角度的n个唯一地照明的图像。成像获取过程的输出是n个唯一地照明的图像。利用来自每个唯一地照明的图像的数据，fpt重建过程更新了与用于特定样品的在kx、ky和kz中的三维电势谱中的球冠的表面区域相交的立体像素。fpt重建过程通过更新在kx、ky和kz中的三维频谱中的n个球冠表面区域中的每一个来恢复样品的三维电势谱，其中每个球冠表面区域对应于来自在图像获取过程期间由图像传感器获取的n个唯一地照明的图像之一的数据。对于在来自ledj的照明下的样品的第j个图像，具有波矢量(kx(j)，ky(j)，kz(j))的光照射到样品上，与该第j个图像相关联的第j个球冠表面区域将在立体像素(kx(j)，ky(j)，kz(j))处的三维频谱中居中。注意，由于对于任何相干场，kz(j)＝sqrt(k02-ky(j)2-kz(j)2)，(即，kz是kx和ky的确定性函数)，将会位于中心的每个球冠表面区域的位置将落在第二“照明碗”上，该第二“照明碗”将立体像素限制在可以更新到有限的体积(否则被称为3d带通体积)的电势谱内。fpt重建过程通过采用来自由图像传感器获取的每个相关联的强度图像的数据来更新在kx、ky和kz中的三维频谱中与球冠的表面区域相交的立体像素，来恢复三维样品频谱。
图6a是根据某些实施例由fpt系统(诸如，参考图4和/或图5描述的fpt系统)使用的fpt成像方法的单次运行的流程图。在该fpt成像方法中，图像获取过程包括操作610、620和630。成像获取过程的输出是n个唯一地照明的图像。在该fpt成像方法中，fpt重建过程包括操作640，并且可选的显示过程包括操作650。图6b是根据某些实施例描绘操作640(参考图6a中所示的流程图来描述的fpt方法的fpt重建过程)的双重迭代子操作的流程图。图6a中显示的流程图中描绘的子操作由fpt系统的一个或更多个处理器执行。
fpt成像方法在操作610处开始，通过使用可变照明源，依次在n个不同角度向正在进行成像的样品提供平面波照明。在该操作期间，可变照明源依次在n个照明角度((θxi,θyi)，i＝1...n)处向样品提供平面波照明。可变照明源在曝光时间内在每个入射角处提供平面波照明，在该曝光时间期间图像传感器获取与该入射角相关联的单个强度图像的。通过在曝光时间期间测量图像传感器的有源感测区域上的强度分布来捕捉强度图像。对可变照明源的平面波照明角度的排序和图像传感器的采样被定时(例如，同步)，使得图像传感器可以获取对应于n个照明角度((θxi,θyi)，i＝1...n)的n个唯一地照明的图像。在某些示例中，在x和y方向上的波矢量被表示为kxi和kyi。
在一个方面中，可变照明源依次提供不同波长处的照明。在彩色成像示例中，可变照明源依次生成分别对应于红色、绿色、蓝色(即，rgb)的三个波长λ1、λ2和λ3。
在操作620处，fpt系统的光学系统收集穿过样品的光并过滤所收集的光。在一个方面中，光学系统包括第一光学元件和第二光学元件。第一光学元件通过根据其数值孔径(na)在角度范围内接受光来收集和过滤光，并且第二光学元件将光聚焦到图像传感器。在一个示例中，第一光学元件可以是常规显微镜的低na物镜(例如，2x，0.08na的物镜)。
根据某些方面，图像传感器在曝光时间期间测量强度分布数据，以获取在图像获取过程期间与唯一照明角度相关联的每个原始强度图像。在操作630处，图像传感器同时获取n个强度图像，同时可变照明源按顺序排列在n个照明角度((θxi,θyi)，i＝1...n)处的平面波照明。在图像获取过程期间，图像传感器接收来自fpt系统的光学系统的穿过样品的光。在n个采样时间中的每个采样时间(ti＝1ton)处，图像传感器在曝光时间期间测量强度分布数据，以获取低分辨率(原始)强度图像。在图像获取过程期间，图像传感器在与n个不同的照明角度((θxi,θyi)，i＝1...n)相关联的n个采样时间(ti＝1ton)处获取数量为n的多个低分辨率强度图像。
在一个方面中，fpt系统可以在图像获取过程期间获取多于n个的唯一地照明的图像，并且fpt成像方法将向下选择(downselect)(省略某些图像)到n个在fpt重建过程中将要使用的图像。例如，fpt成像方法可以省略平均强度低于某一最小值的图像。
在操作640处，生成样品的折射和吸收指数(v(x,y,z))的改进的分辨率三维断层摄影表示。在操作640期间，fpt重建过程通过采用n个唯一地照明的强度测量来迭代地更新与傅立叶域中的n个不同的三维球冠区域的表面区域相交的立体像素，来恢复改进的分辨率三维样品频谱。在一些情况下，重建过程迭代以确定与n个唯一地照明的强度测量自相一致的三维样品频谱。以下参考图6b来提供关于操作640的进一步的细节。fpt重建过程是在三维样品“电势谱”空间(包括沿着kz以及kx和ky的数据)内操作的。fpt重建过程更新了与三维“电势谱”空间中的球冠的表面区域相交的立体像素。
在可选的操作650处，fpt系统显示了与改进的分辨率断层摄影数据相关联的图像或者与fpt成像方法相关联的其它数据。在一个方面中，fpt系统包括显示器。该显示器与fpt系统的处理器进行电子通信，以接收来自处理器的显示数据以用于显示图像和其他数据的处理器到显示器。
-fpt重建过程
首先，t.d.gerke和r.piestun于2010年在naturephotonics发表的“aperiodicvolumeoptics”中和born,m.和wolf,e.于1999年在剑桥出版社出版的光学原理第7版(principlesofoptics7thedn.)中描述了对于样品的散射势的初步估计；这两篇文献在此通过引用并入以用于这个描述。给出样品的散射势的一个示例形式：
v(x,y,z)＝δn2(x,y,z,λ)/λ2(方程式2)
其中，n(x,y,z,λ)是样品的复合折射率。给出样品的散射势的另一个示例：
v(x,y,z)＝δn(x,y,z,λ)/λ2-ia(x,y,z,λ)(方程式3)
在此，a是样品的吸收，n是指数的实部。laurer于2002年在j.ofmicroscopy205发表的“newapproachtoopticaldiffractiontomographyyieldingavectorequationofdiffractiontomographyandanoveltomographicmicroscope”中描述了替代形式，该文献在此通过引用并入以用于这个描述。
使用任一形式进行初始估计，当样品被平面波照亮时，通过首先通过以下所给出的方程式计算散射势来确定与散射体样品相距大距离的作为结果的场：
在此，f3d表示三维傅立叶变换。根据第一玻恩近似(bornapproximation)，由下式给出当由v定义的厚样品受到来自第j个led的照明时的散射体场
在此，
像fp一样，光学系统孔径在场传播到系统图像平面之前调制这些散射场中的每一个，其中图像传感器仅测量场的强度。因此，方程式1可以
被重写以将在这个新的三维k-空间中的每个检测到的图像表示为：
fpt重建过程的主要目标是基于由图像传感器收集的一系列(序列)原始强度图像(ij(x,y))来构建
图6b是根据实施例的fpt重建过程中的操作的示例的流程图。图6b中显示的流程图中描绘的这些操作由fpt系统的一个或更多个处理器执行。参考图6b描述的fpt重建过程是在参照图6a描述的fpt方法的操作640中发生的子操作的示例。
在图6b中，fpt成像方法的fpt重建过程包括两个迭代循环。内部迭代循环重复了由参考图6a描述的fpt成像方法的图像获取过程得出的对于n个唯一地照明的强度图像中的j＝1的操作643、644、645、646和647。外部迭代循环重复了操作643、644、645、646、647和648，直到fpt重建过程收敛于fpt成像方法返回到可选的操作650的时候，或者在不执行可选的操作650的情况下则在操作660处结束。
在子操作642处，fpt重建过程初始化样品的散射势谱估计值
在子操作643处，fpt重建过程按照公式5选择
在子操作644处，fpt重建过程对
在子操作645处，fpt重建过程对uj应用幅度约束，以使用方程式7生成u′j。
其中，|uj|是uj的幅度。
在子操作646处，fpt重建过程对uj′(x,y)应用二维傅立叶变换，以形成更新的频谱
在子操作647处，fpt重建过程利用来自
在子操作647处，fpt重建过程确定子操作643、644、654、646和647是否均已迭代通过与n个照明角度相关联的所有n个图像。如果子操作643、644、645、646和647没有迭代通过所有n个图像，则这些子操作通过递增迭代步骤(j＝j+1)对下一个图像重复并且fpt方法返回到步骤643。例如，在内循环的第二次迭代(j＝2)中，fpt重建过程移动到散射频谱
在子操作648处，如果子操作643、644、645、646和647已迭代通过所有n个唯一地照明的图像，则fpt重建过程进行子操作649。通过迭代，球冠区域沿着傅立叶域中的圆移位。
在子操作649处，重建过程确定三维断层摄影数据的改进的分辨率解是否已经收敛。在一些情况下，处理器确定改进的分辨率解是否已经收敛到自相一致的解。当处理器确定与n个唯一地照明的强度测量自相一致的三维样品频谱时，会出现自相一致的解。在一种情况下，处理器将先前迭代的或初始猜测的解与当前的解进行比较，如果差小于某个值(例如，在一个示例中小于10％、在一个示例中小于1％、在一个示例中小于5％等)，则该解可能已经收敛到自相一致的解。如果处理器确定解没有收敛，则fpt重建过程返回到子操作643，以再次返回到对应于
来自图像获取处理的n个唯一地照明的强度图像中的每一个强度图像将用于fpt重建过程中，以在三维傅立叶空间中沿着三维球冠的表面区域更新立体像素。在某些方面中，fpt重建过程提供了在三维空间内的相邻球冠区域(例如，对应于
如果在子操作649处确定在傅立叶域中解已经收敛到估计值
根据多个方面，在fpt重建过程收敛之后，估计固定带通区域内的电势谱值。在这些情况下，fpt成像方法从整个三维电势样品频谱中的小区域中恢复对于电势谱的值的估计。图7是根据实施例描绘具有在示例性fpt重建处理中被恢复的值
不同的fpt系统配置将产生不同形状的带通函数。例如，fpt系统的显微镜物镜na和照明na的不同组合将产生不同形状的带通函数。图8描绘了根据实施例从具有不同照明na(na照明)的可变照明源得出的fpt带通形状在kx和kz中的四个图。对于三种不同的照明na(na照明＝0.05、na照明＝0.1、na照明＝0.15、以及na照明＝0.2)，四幅图具有重叠的带通形状。照明na或na照明指的是来自led阵列的最大照明角度(即，距光轴最大偏移的led与光轴之间的角度)的正弦。图8中的所有图假设相同的物镜nao＝0.1。在图8的底部图处是当照明na和物镜na匹配(也就是说，na照明＝nao＝0.1)时形成的带通，这导致了关于kx轴对称的形状。当两个na匹配时，由众所周知的方程式λ/2na给出沿着x和y轴的预期分辨率，并且由λ/(1-asin(na))给出预期的z分辨率。当na不匹配时，预期的分辨率采用了稍稍复杂的形式(见图8，右下)。
在一些方面中，fpt成像方法包括用于改进上述有限带通限制的附加操作。例如，可以应用常规断层摄影的“缺少投影数据问题(missingconeproblem)”。例如，在k.c.tam和v.perezmendez于1981年在j.opt.soc.am.21发表的“tomographicalimagingwithlimited-angleinput”中以及在b.p.medo、w.r.brody、m.nassi和a.macovski于1983年在j.opt.soc.am.73发表的“iterativeconvolutionbackprojectionalgorithmforimage-reconstructionfromlimiteddata”中讨论了“缺少投影数据问题”和用于克服它的操作，其在此通过引用并入以用于这个讨论。可以结合fpt成像方法使用类似的操作来改进3d重建的质量。
图9a是根据实施例的使用fpt技术来恢复具有八个微球的三维样品的幅度和相位数据的模拟结果的图示。对于这些模拟结果，fpt系统具有光学系统，该光学系统具有的显微镜物镜的na＝0.4并且像素尺寸为3μm，照明波长λ为0.5μm并且照明na为0.3。fpt成像方法捕捉了452张图像，并且重复了k＝9次。正在成像的样品包括在周围油介质(折射指数＝1.5)中的八(8)个微球(折射指数＝1.6)。微球直径为30μm。样品为300x300x300μm。
图9b是用于恢复在参考图9a描述的模拟结果中的幅度和相位数据的傅立叶域中更新的球冠区域中的重叠的数量的图示。
图9c是使用常规fp技术恢复的以及使用根据实施例参考图9a描述的fpt技术恢复的厚样品在两个不同深度(z1＝50μm和z2＝150μm)的八个微球的相位图像的图示。如所示，fpt成像方法恢复了比常规的fp成像方法更锐化的三维结果。为了公平比较，fp成像方法用于首先恢复从厚样品的表面出现的二维场。然后，将这个场数字传播(也就是说，重新聚焦到不同的轴向平面)，以生成在不同深度处的相位图像。
图10是与二维fp成像方法相比，根据实施例由三维fpt成像方法得出的沿kz的高离散化的图示。在此，上图显示了用于fp的恢复的2d频谱，并且底部显示了一个离散化的碗状物，这个离散化的碗状物用于更新fpt的整个3d散射电势。在此，这个碗状物沿着kz被离散化为5个立体像素片段。可经由图8中的方程式获得沿着k空间中的所有三个维度的离散化的特定值。注意，沿kz的离散化的值越高，就会产生越多的重叠，而越小的值将会导致越少的重叠，而沿z轴的总共的分解的切片的数量越多。
iv.子系统
图11是根据实施例的可存在于特定fpt系统中的一个或更多个子系统的框图。在一些情况下，处理器可以是图像传感器的零件。先前在图中所描述的各种部件可以使用这些子系统中的一个或更多个来操作，以促进本文中所描述的功能。在图中的部件中的任一个可以使用这些子系统中的一个或更多个，以促进本文中所描述的功能。在图11中显示了这种子系统的示例。
在图11中所示的子系统经由系统总线925互连。诸如打印机930、键盘932、固定磁盘934(或包括计算机可读介质的其他存储器)、被耦合至显示器适配器938的显示器956和其它设备之类的附加的子系统被示出。耦合至i/o控制器940的外围设备和输入/输出(i/o)设备可以通过现有技术中已知的任何装置(诸如串行端口942)来连接。例如，串行端口942或外部接口944可用于将计算设备的部件连接到广域网(诸如，互联网)、鼠标输入设备或扫描仪。经由系统总线925的互连允许一个或更多个处理器与每个子系统进行通信，并且控制来自系统存储器946或固定磁盘934的指令的执行，以及在子系统之间的信息交换。在一些情况下，系统存储器946和/或固定磁盘934可以使crm420具体化。这些元件中的任一个可以存在于先前所描述的特征中。
在一些实施例中，输出设备(诸如，fpt系统的打印机930或显示器956、或显示器430)可以输出各种形式的数据。例如，fpt系统可以输出与由fpt系统执行的分析相关联的图像或其他数据。
可以对上述实施例中的任何实施例做出修改、添加或省略，而不脱离本公开的范围。上述任何实施例中的任何实施例可以包括更多、更少或其它功能，而不脱离本公开的范围。此外，所描述的特征的步骤可以以任何合适的顺序来执行，而不脱离本公开的范围。
应当理解的是，如上所述的本发明可以被以使用以模块化或集成的方式的计算机软件的控制逻辑的形式来实现。基于本文所提供的公开和教导，本领域的普通技术人员将知道并且理解使用硬件以及硬件和软件的组合来实现本发明的其它方式和/或方法。
任何在本申请中所描述的软件部件或功能可以被实现为要由处理器使用任何合适的计算机语言(诸如，例如，使用例如传统的或面向对象的技术的java，c++或perl)来执行的软件代码。软件代码可以被存储为一系列指令，或在crm上的命令，诸如随机存取存储器(ram)、只读存储器(rom)、诸如硬盘驱动器或软盘的磁性介质或者诸如cd-rom的光学介质。任何这样的crm可以驻留在单个计算装置之上或之内，并且可以存在于在系统或网络内的不同计算装置之上或之内。
尽管前述所公开的实施例已经被相当详细地进行了描述以便于理解，但是所描述的实施例应当被认为是说明性的而不是限制性的。对于本领域普通技术人员将明显的是，某些变化和修改可以在所附权利要求的范围内实践。
来自任何实施例的一个或更多个特征可以与任何其它实施例的一个或更多个特征进行组合，而不脱离本公开的范围。此外，可以对任何实施例做出修改、添加或省略，而不脱离本公开的范围。任何实施例的部件可以根据特定需要进行集成或分离，而不脱离本公开的范围。
- 还没有人留言评论。精彩留言会获得点赞！