阵列级傅立叶重叠关联成像的制作方法
优先权数据
本非临时申请根据35u.s.c.119(e)要求由kim等人于2015年1月26日提交的题为“developmentof96-wellplatefluorescenceimagingsystem”的美国临时专利申请号为62/107,628的优先权利益，以及由kim等人于2015年1月26日提交的题为“real-timecellculturemonitoringviafourierptychographicmicroscopy”的美国临时专利申请号为62/107,631的优先权利益，这两个专利申请在此通过引用以其整体并入本文并用于所有目的。本申请还涉及由kim等人于与本申请相同的日期提交的美国专利申请序列号15/007,159(代理人案卷号cit1p033/cit-7093)，其在此通过引用以其整体并入本文并用于所有目的。
联邦政府资助的研究或开发
本发明根据由美国国立卫生研究院授予的批准号od007307的政府支持来完成。政府对本发明具有一定的权利。
本公开大体上涉及数字成像，更具体地涉及用于并行地对样本孔的阵列进行成像的基于傅立叶重叠关联(fp)的技术。
背景
多孔板读取器是用于从在多孔板(例如，96孔板)中生长的样本(诸如活培养物)快速获得荧光和吸光度信息的生物科学装备的关键部件。典型的读取器需要10秒来获得一组完整的荧光或吸光度测量值。然而，常规的板读取器不提供任何图像信息。这代表了图像信息的显著损失或丢弃。例如，对包括活组织培养物的样本的成像可揭示细胞结构和健康信息，它们可为用户提供丰富的洞察力。例如，在毒性筛选中返回负荧光信号的孔的图像信息可快速地通知用户关于负信号是否是由于细胞死亡、受损的生长、污染或其他原因。通常，为了收集图像信息，多孔板将必须被放到第二复杂的系统中，该系统使用显微镜来按照顺序缓慢地逐个扫描板的每个孔并对其进行成像。因为这样的常规技术是基于单一显微镜，所以过程非常缓慢。对于整个多孔板来说，完整过程可能要花上大约150分钟或更长的时间。例如，由于这样的延迟可能危及实验设计的时间安排，因此如果许多多孔板要被成像，那么这样大量的机器时间是低效和费用高昂的。鉴于这些限制，用户通常只对一小部分样本或者当情况绝对需要成像时进行该额外的成像测量步骤并不奇怪。
概述
本公开的某些方面涉及傅立叶重叠关联成像的系统和方法。
在一个方面中，成像系统包括：包括光源的阵列的照明系统；包括一个或更多个透镜阵列的光学系统，透镜阵列中的每个包括透镜的阵列，该一个或更多个透镜阵列的每个透镜阵列中的每个透镜与光源的阵列的相应的一组光源对准；包括图像传感器的阵列的成像系统，每个图像传感器与一个或更多个透镜阵列的相应的透镜或透镜组对准，每个图像传感器被配置为基于从该相应的透镜或透镜组接收的光来采集图像数据；板接收器系统，其能够接收包括孔的阵列的多孔板，该板接收器系统被配置为使每个孔与图像传感器中的相应一个对准；以及控制器，其被配置为控制光源的照明和通过图像传感器对图像数据的采集，该控制器还被配置为执行：包括多次扫描的图像采集过程，每次扫描与唯一的照明图案相关联，每个图像传感器被配置为在每次扫描期间生成孔中的相应一个的图像；以及图像重建过程，在该图像重建过程期间，控制器执行傅立叶重叠关联操作，以基于在每次扫描期间针对相应孔所捕获的图像数据来生成每个孔的重建图像。
在另一方面中，描述了由成像系统执行的成像方法，该成像系统包括：包括光源的阵列的照明系统；包括一个或更多个透镜阵列的光学系统，透镜阵列中的每个包括透镜的阵列，该一个或更多个透镜阵列的每个透镜阵列中的每个透镜与光源的阵列的相应的一组光源对准；包括图像传感器的阵列的成像系统，每个图像传感器与一个或更多个透镜阵列的相应的透镜或透镜组对准，每个图像传感器被配置为基于从该相应的透镜或透镜组接收的光来采集图像数据；板接收器系统，其能够接收包括孔的阵列的多孔板，该板接收器系统被配置为使每个孔与图像传感器中的相应一个对准；以及控制器，其被配置为控制光源的照明和通过图像传感器对图像数据的采集，该方法包括：执行包括多次扫描的图像采集过程，每次扫描与唯一的照明图案相关联，每个图像传感器被配置为在每次扫描期间生成孔中的相应一个的图像；以及执行图像重建过程，在该图像重建过程期间，控制器执行傅立叶重叠关联操作，以基于在每次扫描期间针对相应孔所捕获的图像数据来生成每个孔的重建图像。
这些特征和其它特征以下参照相关附图更详细地进行描述。
附图简述
图1示出了根据一些实施方式的能够进行傅立叶重叠关联(fp)成像的示例成像系统的框图。
图2a示出了根据一些实施方式的能够进行fp成像的示例成像系统的示意图。
图2b示出了图2a的成像系统的横截面透视图。
图3a示出了根据一些实施方式的具有被定位在其上的多孔板的示例样本平台的俯视图。
图3b示出了根据一些实施方式的示例照明系统的仰视图。
图3c示出了根据一些实施方式的示例透镜阵列的俯视图。
图3d示出了根据一些实施方式的示例图像传感器系统的俯视图。
图4a示出了根据一些实施方式的包括三个透镜的示例光学布置的一部分的图。
图4b示出了根据一些实施方式的包括四个透镜的示例光学布置的一部分的图。
图5示出了说明根据一些实施方式的用于对多孔板进行成像的示例fp成像过程的流程图。
图6a示出了根据一些实施方式的在第一扫描期间根据第一照明图案照明的孔和光源的示例布置的图。
图6b示出了在第二扫描期间根据第二照明图案照明的图6a的布置。
图6c示出了在第七扫描期间根据第七照明图案照明的图6a的布置。
图6d示出了在第八扫描期间根据第八照明图案照明的图6a的布置。
图6e示出了在第42扫描期间根据第42照明图案照明的图6a的布置。
图6f示出了在第49扫描期间根据第49照明图案照明的图6a的布置。
图7示出了根据一些实施方式的示例fp重建过程的流程图。
图8示出了根据一些实施方式的另一示例fp重建过程的流程图。
图9示出了描绘用于确定多孔板的每个孔的入射角的示例校准过程的操作的流程图。
图10a示出了根据一个示例的在通过led矩阵的中心led的照明期间所捕获的晕映(vignette)单色图像。
图10b是图10a的彩色图像的转换的黑白版本。
图10c示出了根据另一示例的在通过彩色led矩阵的中心led的照明期间所捕获的图像。
图11示出了根据实施例的与图像中心相对于图像传感器中心的x偏移和y偏移相关联的led位移的查找曲线图。
图12示出了说明根据一些实施方式的用于对多孔板进行成像的示例荧光成像过程1200的流程图。
详细描述
出于描述本公开的各个方面的目的，以下描述针对某些实施方式。然而，本领域中的普通技术人员将容易地认识到，本文中的教导可以以多种不同的方式来应用。因此，教导并不旨在限于仅在附图中所描绘的实施方式，而是具有广泛适用性，如对于本领域中的普通技术人员来说将是明显的。
如本文中所使用的，在适当的情况下，除非另有说明，连接词“或”在本文中旨在包含性意义；也就是说，短语“a、b或c”旨在包括a、b、c、a和b、b和c、a和c以及a、b和c的可能性。另外，涉及项目列表中的“至少一个”的短语是指包括单一成员在内的那些项目的任何组合。举个例子，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c以及a-b-c。
i.简介
各个方面大体上涉及能够在傅立叶重叠关联(fp)成像中使用的成像系统、设备和方法，更具体地涉及被配置为实现阵列级的fp成像的成像系统、设备和方法。例如，特定实施方式针对被配置为并行实现对多孔板中的每个孔的高分辨率fp成像的成像系统。一些实施方式还涉及这样的成像系统，其还被配置为并行执行对多孔板中的每个孔的荧光成像。
传统上，诸如相机系统的图像传感器的分辨率确定由图像传感器捕获的得到的图像中的视觉特征的保真度。然而，任何图像传感器的分辨率从根本上受到用于将光聚焦到图像传感器上的一个透镜或多个透镜中的几何像差的限制。这是因为透镜的可分辨点(被称为sbp)的数量从根本上受到几何像差的限制。虽然cmos和ccd技术已经被证实具有带有1微米(μm)范围内的像素的成像传感器，但设计和制造具有匹配这样的图像传感器的分辨率的分辨能力的透镜仍然是一个挑战。例如，由于透镜的直径非常有限，因此这个问题在要被配置为并行扫描多个样本的成像系统中被进一步加剧。
fp通常涉及实现了非干涉相位成像和近波长衍射有限的分辨率的成像技术。fp通常需要收集对象(例如，孔中的样本)的多次扫描，每次扫描使用与其他扫描不同的照明角度的光来采集。光可从诸如例如发光二极管(led)阵列的相干光源生成。然后，在扫描中所捕获的图像数据使用相位恢复算法来处理，使对象能够迭代重建成更高分辨率的图像。fp成像通常涉及(常规)重叠关联(ptychography)，因为它通过交换聚焦元件和对象而置换真实空间和傅立叶空间的角色来解决相位问题。fp成像技术的优点是使用具有较低数值孔径的成像光学元件的能力，这增加了焦深、工作距离和视场的大小。fp成像技术还实现了对透镜像差的校正，导致远远更大的空间带宽积(sbp)(图像的分辨率和可利用大小的数学乘积)。
使用fp成像技术的显微镜系统和方法的一些示例在以下文献中进行了讨论：“wide-field,high-resolutionfourierptychographicmicroscopy”，nat.photonics7(9)，739-745(2013)；x.ou、r.horstmeyer、c.yang和g.zheng的“quantitativephaseimagingviafourierptychographicmicroscopy”，opt.lett38(22)，4845-4848(2013)；r.horstmeyer和c.yang的“aphasespacemodeloffourierptychographicmicroscopy”，opt.express22(1)，338-358(2014)；x.ou、g.zheng和c.yang的“embeddedpupilfunctionrecoveryforfourierptychographicmicroscopy”，opt.express22(5),4960-4972(2014)；x.ou、r.horstmeyer、g.zheng和c.yang的“highnumericalaperturefourierptychography:principle,implementationandcharacterization”，opt.express23(3)，3472-3491(2015)；j.chung、x.ou、r.p、kulkarni和c.yang的“countingwhitebloodcellsfromabloodsmearusingfourierptychographicmicroscopy”，plosone10(7)，e0133489(2015)；a.williams、j.chung、x.ou、g.zheng、s.rawal、z.ao、r.datar、c.yang和r.cote的“fourierptychographicmicroscopyforfiltration-basedcirculatingtumorcellenumerationandanalysis”，j.biomed.opt.19(6),066007(2014)；以及r.horstmeyer、x.ou、g.zheng、p.willems和c.yang的“digitalpathologywithfourierptychography”，comput.med.imaginggraphics42,38-43(2015)，这些文献在此通过引用并入以用于讨论。
如上所介绍的，本公开的各个方面涉及用于以阵列级实现fp处理技术以并行获得整个样本阵列的高分辨率图像的成像系统、设备和方法。为了实现fp技术，本文中所描述的每个成像系统通常包括照明系统、样本装载系统、光学系统和成像系统。照明系统通常包括光源阵列，光学系统通常包括一个或更多个透镜阵列，以及成像系统通常包括图像感测设备阵列。在一些示例实施方式中，样本装载系统被配置为接收包括多个样本孔的多孔板，每个样本孔包含感兴趣的样本。成像系统还可包括控制器，该控制器用于选择性地接通(或“供电”、“致动”或“照明”)特定光源、光源子集或光源图案，以在扫描操作(“扫描”)期间同时提供对多个孔中的每个的平面波照明。使用不同的照明图案来在整个图像采集阶段的过程内执行多次扫描，使得每个孔在图像采集阶段完成时以多个入射角照明。
光学系统的透镜响应于照明将由样本散射或发射的光聚焦到相应的图像传感器上。每个图像传感器被配置为基于其从光学系统的相应透镜或多个透镜接收的光来捕获孔中的相应一个的区域的相对低分辨率的图像。在整个图像采集阶段的过程内，每个图像传感器生成强度分布测量值(原始强度图像)的序列，每次扫描生成一个图像。处理设备使用傅立叶重叠关联重建过程来在空间频域中组合每个孔的相对低分辨率的原始强度图像，以校正像差并呈现每个孔的单一高分辨率图像。在特定方面中，处理设备单独地对每个孔执行傅立叶重叠关联重建处理，但同时进行对从其他孔捕获的图像数据的处理，并发地(或“同时”)使每个孔的高分辨率图像能够并行生成。fp方法还使所得到的重建图像能够进行数字重聚焦，例如，即使系统差焦平面多达0.3mm或更大。数字重聚焦是特别有用的，因为它简化了成像过程-孔板不需要被精确放置来获得高分辨率图像。
ii.用于傅立叶重叠关联(fp)成像和荧光成像的成像系统
图1示出了根据一些实施方式的能够进行傅立叶重叠关联(fp)成像的示例成像系统100的框图。在高级别下，成像系统100被配置为或可配置用于以阵列级扫描样本阵列；也就是说，并行地照明整个样本阵列并捕获整个样本阵列的图像。成像系统100还可包括并行处理能力，该并行处理能力用于将针对每个样本孔所获得的原始图像数据帧进行转换和组合，以在阵列级上生成每个样本孔的fp重建的图像。成像系统100包括照明系统102、样本装载系统104、光学系统106和图像传感器系统108。控制器110控制照明系统102和图像传感器系统108的操作。控制器110还被配置为从图像传感器系统108接收原始(或最低限度预处理的)图像数据。在一些实施方式中，控制器110还被配置为对原始图像数据执行一个或更多个算法，以执行一个或更多个处理操作，诸如包括像差校正的各种fp成像过程。
照明系统102包括光源的阵列(或“矩阵”)。例如，每个光源可包括一个或更多个发光二极管(led)。控制器110例如，通过选择性地上电或以其他方式仅允许特定光源或光源子集在各个成像扫描期间的特定持续时间内和在特定时间形成各种照明图案来控制光源的照明。光学系统106通常包括透镜的至少一个阵列(以下被称为“透镜阵列”)。每个透镜阵列包括多个(或“多重”)透镜。图像传感器系统108包括图像传感器阵列，例如，相机阵列或其它合适的成像设备的阵列。在各个实施方式中，透镜在每个阵列中的布置和总数t与成像系统中的图像传感器的布置和总数以及要被成像的多孔板中的孔的布置和总数匹配。
样本装载系统104通常被配置为接收样本阵列，诸如常规或可商购的多孔板(也被称为“孔板”、“微量滴定板”、“微板”或“微孔板”)。每个多孔板通常包括以多行和多列布置的孔的阵列(通常为矩形阵列)。在典型应用中，样本通常被吸取或以其他方式沉积到孔中以用于成像。在各个实施方式中，样本装载系统104更具体地被配置为接收被插入或以其他方式装载到样本装载系统104中的多孔板，使得多孔板的孔(例如，孔的底部表面)沿着照明系统102的光源和光学系统106的透镜之间的特定平面定位。样本装载系统104还用于使多孔板的孔的中心与光学系统106的相应透镜的中心近似对准(尽管如将在下面变得清楚的，对于本文中所描述的成像系统的各个实施方式来说不需要精确对准)。
在扫描操作期间，由照明系统102生成的光照明孔中的样本。在诸如用在fp成像或其他明场成像中的那些成像模式或过程的一些成像模式或过程中，入射在每个样本上的光在其穿过样本时被样本的物理特征散射。在诸如用在荧光成像中的那些成像模式或过程的一些其他成像模式或过程中，光源被配置为生成特定波长的激发光，以激发样本中的荧光团(例如，特殊蛋白质)。在这样的荧光成像中，入射的激发光将能量传递到荧光团中，然后该荧光团发射较低能量波长的光。然后，散射光或发射光的一部分穿过孔的透明底部到达光学系统106的相应透镜(或透镜组)。每个相应的孔下方的透镜通常用于将来自孔的散射或发射的光聚焦到图像传感器系统108的图像传感器中的相应一个上。每个图像传感器被配置为捕获光并输出数据信号，该数据信号包括表示在图像传感器的特定位置处接收的光的强度的图像数据(在本文中被称为“光强度分布”、“强度分布”或简称为“图像”或“图像帧”)。
然后，由每个图像传感器输出的图像数据被传输(或“发送”或“传递”)到控制器110。在一些实施方式中，控制器110被配置为对每次扫描的原始图像数据进行处理，以生成经处理的图像数据。例如，在一些实施方式中，控制器110由用户配置为或可配置用于对原始图像数据执行一个或更多个fp图像处理操作。如上所述，为了并行生成每个孔的fp重建的图像，使用不同的照明图案来执行多次扫描。控制器110解读来自所采集的强度图像的序列的图像数据，将与每次扫描相关联的相对低分辨率的图像数据帧变换成傅立叶空间，组合经变换的原始图像数据，校正由透镜以及样本特征所导致的像差，并生成每个样本孔的单一高分辨率图像。如上所述，成像系统100还可被配置为执行荧光成像。因此，控制器110通常可包括用于并行地解读、处理并且在一些情况下组合每个样本孔的荧光图像数据的功能。
为了执行这样的并行图像处理，控制器110通常包括至少一个处理器(或“处理单元”)。示例处理器包括，例如，通用处理器(cpu)、专用集成电路(asic)、诸如现场可编程门阵列(fpga)的可编程逻辑设备(pld)或包括cpu、asic、pld以及存储器和各种接口中的一个或更多个的片上系统(soc)中的一个或更多个。控制器110还与至少一个内部存储器设备120进行通信。内部存储器设备120可包括用于储存处理器可执行代码(或“指令”)的非易失性存储器阵列，该处理器可执行代码由处理器获取，以执行本文中所描述的用于对图像数据进行各种算法或其他操作的各种功能或操作。内部存储器设备120还可储存原始图像数据和/或经处理的图像数据(包括fp重建的图像)。在一些实施方式中，另外或可替代地，内部存储器设备120或单独的存储器设备可包括用于临时储存要被执行的代码以及要被处理、储存或显示的图像数据的易失性存储器阵列。在一些实施方式中，控制器110本身可包括易失性存储器，并且在一些情况下，也可包括非易失性存储器。
在一些实施方式中，控制器110由用户配置为或可配置用于通过通信接口112输出原始图像数据或经处理的图像数据(例如，在fp图像处理之后)，以显示在显示器114上。在一些实施方式中，控制器110还可由用户配置为或可配置用于通过通信接口116将原始图像数据以及(例如，在fp图像处理之后的)经处理的图像数据输出到外部计算设备或系统118。实际上，在一些实施方式中，fp成像操作中的一个或更多个可由这样的外部计算设备118执行。在一些实施方式中，控制器110还可由用户配置为或可配置用于通过通信接口122输出原始图像数据以及(例如，在fp图像处理之后的)经处理的图像数据，以用于储存在外部存储器设备或系统124中。在一些实施方式中，控制器110还可由用户配置为或可配置用于通过网络通信接口126输出原始图像数据以及(例如，在fp图像处理之后的)经处理的图像数据，以通过外部网络128(例如，有线或无线网络)进行通信。网络通信接口126还可用于接收诸如软件或固件更新或其他数据的信息，以供控制器110下载。在一些实施方式中，成像系统100还包括一个或更多个其他接口，诸如例如，各种通用串行总线(usb)接口或其他通信接口。这样的附加接口可用于例如连接诸如有线键盘或鼠标的各种外围设备和输入/输出(i/o)设备或者连接电子狗(dongle)，以用于无线连接各种无线启用的外围设备。这样的附加接口还可包括串行接口，诸如例如，用于连接到带状电缆的接口。还应认识到的是，照明系统102和图像传感器系统108中的一个或更多个可被电耦合，以通过各种合适的接口和电缆中的一个或更多个(诸如例如，usb接口和电缆、带状电缆、以太网电缆以及其他合适的接口和电缆)与控制器进行通信。
在一些实施方式中，由图像传感器输出的数据信号在被传递到控制器110之前可由图像传感器系统的多路复用器、串行器或其它电部件进行多路复用、串行化或以其他方式组合。在这样的实施方式中，控制器110还可包括多路分配器、解串器、或用于将图像数据与每个图像传感器分离使得每个样本孔的图像帧可并行地由控制器110处理的其他设备或部件。
图2a示出了根据一些实施方式的能够进行fp成像的示例成像系统200的示意图。图2b示出了图2a的成像系统200的横截面透视图。图2的成像系统200是图1的成像系统100的物理实现的示例。成像系统200通常包括壳体或外壳202。在一些实施方式中，外壳202由金属、金属合金或塑料材料形成。在一些实施方式中，外壳202由光学不透明的材料形成和/或用光学不透明的层喷涂或以其它方式涂覆，以防止(或“阻挡”或“屏蔽”)环境光或其他外部生成的光照明样本或图像传感器。该光屏蔽在荧光成像中尤其重要，其中发射光的强度比激发光的强度相对低得多，并且迅速衰减。
在一些实施方式中，外壳202围绕框架结构204。在所图示的实施方式中，框架结构204提供刚性框架，成像系统200的各个部件可由该刚性框架支撑。在一些实施方式中，框架结构204由金属、金属合金或塑料材料形成。在一些实施方式中，框架结构204还由光学不透明材料形成和/或用光学不透明的层喷涂或以其它方式涂覆。在一些实施方式中，外壳202和框架结构204一体地形成在一起。在一些其他实施方式中，外壳202和框架结构204通过螺钉、螺栓、铆钉、胶或者其他设备或材料组装在一起，以便被刚性地固定在一起。在所图示的实施方式中，框架结构204包括对准通孔205，框架对准杆206穿过该对准通孔205并被定位。在一些实施方式中，框架对准杆206也由金属、金属合金或塑料材料形成。
在一些实施方式中，照明系统、样本装载系统、光学系统和图像传感器系统中的每一个由外壳202、框架结构204和框架对准杆206中的一个或更多个物理地支撑，以便被刚性地固定在相对位置并彼此以特定距离固定。在一些实施方式中，照明系统、样本装载系统、光学系统和图像传感器系统中的每一个包括具有相应的通孔的一个或更多个基板。例如，照明系统可包括电路板或其它电介质基板212。光源213的阵列(在图2a或图2b中被隐藏而无法看到，但由箭头被指示为在电路板212下方)可电和物理地耦合到电路板212之上或之内。光源213的导电引线可经由印刷或以其它方式沉积在电路板212的第一表面或上表面上的导电迹线与控制器210电耦合，同时光源213的发光部分可被定向，以使光远离电路板212的第二表面或下表面而朝向光学系统的透镜辐射。在所图示的实施方式中，控制器210(例如，实现图1的控制器110)被安装在与光源213相同的电路板212上。在一些其他实施方式中，控制器210可被安装到单独的电路板上，该单独的电路板与电路板212电耦合并由此电耦合到照明系统。
如上所述，根据具体应用，光学系统可包括一个或更多个透镜阵列，例如1、2、3、4或更多个透镜阵列。在所图示的实施方式中，光学系统包括两个透镜阵列2161或2162，该两个透镜阵列中的每个包括透镜2171或2172的阵列被形成、组装或定位到其中的相应的基板。图像传感器系统可包括电路板或其它电介质基板218。图像传感器219的阵列可电和物理地耦合到电路板218之上或之中。图像传感器219的有效光敏区域可以被定向为远离电路板218的第一表面或上表面而朝向光学系统的透镜，同时图像传感器219的导电引线可经由印刷或以其他方式沉积在电路板218的第二表面或下表面上的导电迹线与控制器210电耦合到通信接口(例如，usb接口)，该通信接口然后经由电缆与控制器210连接。
在这样的布置中，每个框架对准杆206可在组装期间穿过每个基板212、216和218中的相应的通孔，以沿竖直方向(例如，沿着成像系统200的高度的z方向)使光源与相应的透镜和图像传感器对准。更具体地，框架对准杆206可确保每个图像传感器219与一个或更多个堆叠的透镜阵列的每个中的相应透镜对准，并且可确保每个透镜阵列中的每个透镜彼此对准且与一组一个或更多个光源213对准。外壳202和/或框架结构204还可包括分别沿着外壳或框架结构的内表面延伸的导向部、肋状物、搁架或其它支撑机构，以沿着竖直z方向彼此以适当距离物理地支撑各个基板212、216和218。这样的布置确保了光源213、透镜217和图像传感器219相对于彼此被适当定位，以将由孔209中的样本散射或发射的光适当地聚焦到图像传感器上，并且如下所述，使得由光源生成的光的入射角可被精确地确定或以其他方式了解。
如上所述，样本装载系统通常被配置为接收样本阵列，诸如常规或可商购的多孔板208，其包括以多行和多列布置的孔209的矩形阵列。在所图示的实施方式中，样本阵列208可通过壳体外壳202中的孔槽214被装载并被装载到样本装载系统中的样本平台215上。样本平台215也可包括通孔，框架对准杆206可通到该通孔中，以确保样本平台215与图像传感器系统、光学系统和照明系统对准。另外，样本平台215可包括凸起的导向部或脊或其它对准机构，以确保装载的多孔板208被适当地定向，使得每个孔209的中心与透镜阵列216中的相应透镜217的中心对准，并且与图像传感器219的中心对准。在一些实施方式中，样本装载系统还包括门，该门经由滑动机构或铰链机构与外壳202或与框架结构204联接，使得该门能够被容易地打开和关闭，从而插入和移除多孔板208。在一些实施方式中，样本装载系统可包括机械、电或机电的装载和弹出机构，该装载和弹出机构自动地将多孔板208拉入到用于成像的成像系统中，并在执行完成像之后自动地将多孔板弹出。这样的自动机构可由用户通过输入设备(诸如键盘或鼠标)电触发，由外壳上的按钮或触摸屏界面触发，或者当控制器210检测到板正被装载时或当其确定成像操作完成时由控制器自动触发。
图3a示出了根据一些实施方式的具有被定位在其上的多孔板308的示例样本平台305的俯视图。多孔板308包括以多个r行和c列布置的t个样本孔。可商购的多孔板的示例包括由
图3b示出了根据一些实施方式的示例照明系统的仰视图。如上所述，照明系统通常包括印刷电路板或其它电介质基板312，光源322的阵列可被电和物理耦合到该印刷电路板或电介质基板之上或之中。如上所述，光源322的发光部分被定向，以使光朝向光学系统的透镜(并且因此还有孔板的孔中的样本)辐射。作为示例，光源322的阵列可用led矩阵来实现。每个光源322可包括一个或更多个led。例如，在一些实施方式中，每个光源322包括一组三个或更多个led(包括红色led、绿色led和蓝色led)。在诸如图3b中所图示的一些其他实施方式中，每个光源322包括单一led，更具体地，包括单一rgb(红色、蓝色、绿色)led，其包括红色子led324a、绿色子led324b和蓝色子led324c。换句话说，每个rgbled实际上具有3个半导体光源；一个红色，一个蓝色和一个绿色。无论是作为一组三种不同的红色、绿色和蓝色led来实现还是作为单一rgbled来实现，每个光源322都能够通过改变红光、绿光和蓝光的强度(例如，响应于由控制器提供的特定电压信号)来产生任何可见颜色的光。另外或可替代地，每个光源322还可包括用于生成在不可见的光谱部分中的光(诸如，红外光或紫外光)的led。
在一些实施方式中，每个光源322占据小于1mm×1mm的占用面积。在被配置为对96孔板进行成像的实施方式中，每个孔之间的中心到中心的距离(或“间距”)可以是9mm，而每个光源322之间的中心到中心的距离可以是3mm。这意味着邻近相邻的孔的中心之间将有三个光源的空间。该布置和led与孔的比例确保了多个光源322能够照明样本-每个光源以不同的入射角照明样本。在一些示例实施方式中，期望确保为每个孔获得足够数量n的不同入射角的不同光源322的数量l可根据以下方程1得出。
其中，n是入射角的所需数量，以及m是代表指示光源密度与孔密度的比例的比例因子的数。
在所图示的96孔的实施方式中，其中，孔的行数r为8，孔的列数c为12，并且取n为49，m为3，光源322的数量l为1120(例如，以28行和40列布置的1120个rgbled)。在一些实施方式中，照明系统还可包括安装在侧面的光源(例如，高功率led，未示出)，其用于增加用于荧光成像扫描的激发信号的强度，从而又增加由样本内的荧光团发射的发射信号的强度。
图3c示出了根据一些实施方式的示例透镜阵列316的俯视图。类似于图2b的透镜阵列，图3c的透镜阵列包括包含透镜326的阵列的基板。如上所述，光学系统包括至少一个透镜阵列316，并且在各个实施方式中，包括竖直对准(或“堆叠”)布置的至少两个(例如，2、3、4或更多个)透镜阵列。如上所述，在多透镜阵列的实施方式中，每个透镜阵列316中的每个透镜326与其他透镜阵列316的每个中的相应的一个透镜326竖直对准。透镜阵列316的数量和每个透镜阵列中的透镜326的类型可针对特定应用进行优化。通常，给定透镜阵列316内的每个透镜326将与阵列内的所有其它透镜相同，而与其它透镜阵列中的所有其它透镜不同。在一些实施方式或应用中，与每个孔对准或以其他方式相关联的组合透镜组可具有在大约0.05至大约0.6范围内的数值孔径(na)。
图4a示出了根据一些实施方式的包括三个透镜的示例光学布置400的一部分的图。通常，布置400表示针对多孔板的一个孔对准和定位的透镜。因此，多孔板的每个孔将包括相同的布置400，其中每个布置的每个元件在阵列级下被设置有相同元件。在所图示的表示中，布置400的顶线402表示样本在孔内(在孔的内底面之上或以上)的位置，而元件404表示孔的底部(在孔的内底面和孔板的外底面之间)。元件406a表示第一透镜阵列的第一透镜元件，元件406b表示第二透镜阵列的第二透镜元件，以及元件406c表示第三透镜阵列的第三透镜元件。透镜406a、406b和406c的组被配置为将光聚焦到相应的图像传感器408的有效表面上。在图4a中穿过各个透镜和其它元件的线表示源自样本的不同区域的光线。在所图示的实施方式中，光学布置400还包括光学滤波器410的一部分，例如，以在荧光成像应用中用于过滤激发信号波长的光。如上所述，在各个实施方式中，光学滤波器通常可被定位在多孔板和成像系统之间的任何位置，包括在各个透镜阵列之间。
图4b示出了根据一些实施方式的包括四个透镜的示例光学布置401的一部分的图的放大视图。布置410类似于图4a中所示的布置400，例如，具有表示样本的位置的顶线412和表示孔的底部的元件414。然而，在图4b的实施方式中，光学布置410包括四个透镜：表示第一透镜阵列的第一透镜元件的元件416a、表示第二透镜阵列的第二透镜元件的元件416b、表示第三透镜阵列的第三透镜元件的元件416c以及表示第四透镜阵列的第四透镜元件的元件416d。透镜416a、416b、416c和416d的组被配置为将光聚焦到相应的图像传感器(未示出)的有效表面上。在所图示的实施方式中，光学布置401还包括光学滤波器420的一部分，例如，以在荧光成像应用中用于过滤激发信号波长的光。
此外，透镜阵列和相应透镜的数量和类型通常可取决于应用。作为示例，在其中成像系统可用在绿色荧光蛋白(gfp)成像中的实施方式中，诸如图4b中所示的光学布置的光学布置是非常适合的，例如，提供了比诸如图4a中所示的光学布置的三透镜阵列的布置更好的结果。通常，每个透镜的透镜特性可针对不同的波长来特别设计。
返回参照图3c，在一些实施方式中，每个透镜阵列316由一整块材料形成。例如，透镜阵列316可以通过注塑成型或三维(3d)印刷工艺形成。传统上，这样的透镜将不具有足够低的几何像差来实现以并行地同时对大量的孔进行成像所需的规模对相对宽的视场进行高分辨率成像。然而，多个透镜阵列的使用，以及因此用于每个孔的多个透镜的使用，可至少部分地抵消几何像差的影响。通常，用于每个孔的透镜越多，那些透镜中的几何像差可被消除的就越多。另外，如本文中所描述的fp技术可用于进一步校正任何像差或者移除其它图像伪影，实现了高分辨率图像的重建。
在针对荧光成像应用而设计的实施方式中，光学系统还包括光学滤波器220，该光学滤波器220位于多孔板208的底表面和图像传感器系统之间。光学滤波器220阻挡来自照明系统的激发光(以及未由多孔板内的样本中的荧光团发射的任何其它光)照射图像传感器系统的图像传感器219。继续以上示例，对于gfp成像来说，光学滤波器应是绿色滤波器，也就是使可见光谱的绿色部分中的光的波长通过的滤波器。激发信号光应为更高能量的光，在特别应用中，应为蓝光。这是因为绿色荧光蛋白吸收光谱的蓝色部分中的光，并发射在光谱的绿色部分中的光。然后，绿色滤波器使发射的光能够穿过到达图像传感器，同时阻挡激发光。在一些实施方式中，激发光也可在采集图像数据之前立即被关闭。
在一些实施方式或应用中，用于fp成像的明场照明的波长范围落在光学滤波器220的通带内，使得光学滤波器让来自光源322的穿过孔中的样本的光经过。在这种情况下，图像传感器可采集唯一照明的明场图像的序列，同时使滤波器220处在适当位置。继续以上示例，gfp样本的明场fp成像可用绿光来执行。在一些其他情况下，来自光源322的明场照明的波长范围没有落在光学滤波器220的通带内。换句话说，在其中在fp成像期间将光学滤波器保持在成像系统内是必要或期望的情况下，明场fp成像应使用与用在荧光成像中的滤波器相同或类似颜色的光来执行，否则滤波器应在fp图像采集过程期间被移除。在一些实施方式中，光学滤波器可被容易地移除和/或可用能够过滤和通过不同波长的光的一个或更多个不同的光学滤波器替换。例如，光学滤波器220可被插入到外壳202中的另一孔槽中。在这样的实施方式中，明场fpm成像可用不同颜色的光或用白光来执行。
在一些实施方式中，光学滤波器由玻璃或塑料材料制成，并且呈矩形固体的形状，其具有大得足以提供对所有由样本散射或发射的光和入射在光学系统的透镜上的光的过滤的宽度(沿着x轴)和长度(沿着y轴)。在单通道荧光成像应用中，可使用单带通滤波器或低通滤波器；对于多通道荧光成像应用，可使用多带滤波器。如上所述，由于光学滤波器220不影响光的路径，因此光学滤波器220可被定位在多孔板208的底表面和图像传感器系统的图像传感器209之间的任何位置。
图3d示出了根据一些实施方式的示例图像传感器系统的俯视图。类似于图2b的图像传感器系统，图3d的图像传感器系统包括电路板或其它电介质基板318，以r行和c列布置的t个图像传感器328的阵列可被电和物理地耦合到该电路板或其它电介质基板318上。在一些实施方式中，每个图像传感器328具有相应样本孔的直径在0.5mm至6mm范围内的视场(fov)，并且在一个说明示例实施方式中，具有1mm直径的fov。在一些实施方式中，每个图像传感器328还能够以0.5μm至5μm的空间分辨率(在随后的fp处理之前)捕获原始图像。如上所述，图像传感器328的有效光敏区域可以被定向为远离电路板318的第一表面或上表面而朝向光学系统的透镜，同时图像传感器328的导电引线可经由印刷或以其他方式沉积在电路板318的第二表面或下表面上的导电迹线并经由与控制器210连接的通信接口(例如，通用串行总线(usb)接口)与控制器210电耦合。在一些实施方式中，每个图像传感器是有源像素传感器(aps)设备，诸如基于cmos的aps相机。
在一些实施方式中，由每个图像传感器捕获的原始图像数据通过高速数据传输通道(例如，以大于5gb/s的数据速率)被传输到控制器210。在一些实施方式中，图像传感器系统还包括液体冷却系统，其使冷却的液体在围绕图像传感器的表面周围循环。
iii.可变照明傅立叶重叠关联成像方法
如上所述，成像系统100和200能够并行地对整个多孔板的每个样本孔和所有样本孔进行fp图像采集。在特定实施方式中，成像系统100和200还能够并行地对整个多孔板的每个样本孔和所有样本孔进行荧光图像采集。图像采集(采样)时间是指每个图像传感器的曝光持续时间期间的时间，在这期间每个图像传感器测量光强度分布以捕获多孔板的各个孔的强度图像。fp成像过程通常包括原始图像采集(数据收集)阶段(或“过程”)和fp重建阶段(或“过程”)。在fp图像采集过程期间，控制器使照明系统接通光源的特定子集或图案。例如，fp图像采集过程可包括多个扫描操作(或“扫描”)，其中每次扫描包括通过图像传感器系统中的每个图像传感器进行的相应图像采集。每次扫描与光源的不同照明图案相关联。在整个fp图像采集过程的进程中，图像传感器阵列中的每个图像传感器采集s个强度明场图像(对应于s次扫描)，同时照明系统的光源从n个不同(唯一)的相应的照明入射角提供对每个孔的平面波照明。在每次扫描期间，每个图像传感器基于光源的特定照明图案来采集图像。通常，扫描的次数s可等于每个孔所需的唯一照明入射角的数量n。通过这种方式，假设n为固定值，扫描次数与多孔板中的孔的数量t无关。
图5示出了说明根据一些实施方式的用于对多孔板进行成像的示例fp成像过程500的流程图。例如，过程500可使用以上根据图1-图4所描述的系统、设备和布置来执行。在一些实施方式中，控制器110被配置为执行fp成像过程500的一个或更多个操作。在一些实施方式中，fp过程500开始于操作502，其中将多孔板装载到成像系统中。在操作504中，控制器初始化照明系统和图像传感器系统。在操作504中，初始化照明系统可包括从非易失性存储器获取照明图案信息，并将所获取的照明图案信息加载到易失性存储器中，以随后在执行一系列顺序扫描操作中使用。在操作504中，初始化图像传感器系统可以包括上电或以其它方式准备图像传感器，以接收光并生成图像数据。在一些实施方式中，在操作504中，初始化照明系统和图像传感器系统还可包括校准操作，以确定将照明每个孔的入射角的实际值。
初始化后，控制器执行第s次扫描(其中，s是介于1和n之间(包括1和n)的整数，以及其中，n是入射角的数量)。如上所述，在每次扫描期间，控制器使照明系统产生唯一的照明图案，并使得图像传感器系统捕获/采集每个孔的图像。在一些实施方式中，每次扫描可作为子操作的序列来执行或概念化。例如，每次扫描可包括操作506、508、510(并且在一些情况下还有操作512)的序列。在块506中，控制器使照明系统用第s个唯一照明图案来照明多孔板。
图6a示出了根据一些实施方式的在第一扫描期间根据第一照明图案照明的孔309和光源322的示例布置的图。在所图示的实施方式中，第一照明图案被配置或以其他方式适合于96孔板。如所示，虽然在所图示的实施方式中，每个孔309可由光源322中的多个相应的光源照明，但在第一扫描期间只有被定位在第1、第8、第15和第22行与第1、第8、第15、第22、第29和第36列的交点处的光源322在第一照明图案中被照明。因此，在所图示的96孔的实施方式中，只有24个光源322在第一扫描期间接通(这些光源被示出为白色圆圈，而未接通的光源被示出为全黑色)。因此，在所图示的实施方式中，在每次扫描中实际上只有一个可照明特定孔的光源照明孔。例如，图6a还示出了该布置的一部分的放大特写视图，其仅示出可照明给定孔609的那些光源322(在所图示的实施方式中有49个光源)。如所示，在每次扫描期间，可能的光源622中只有一个实际上照明孔。在一些实施方式中，随着扫描在图像采集阶段期间在整个一系列图像采集中继续进行，照明图案以类似光栅的图案顺序地改变。
例如，图6b示出了在第二扫描期间根据第二照明图案照明的图6a的布置。在第二照明图案中，只有被定位在第1、第8、第15和第22行与第2、第9、第16、第23和第30列的交点处的光源322被照明。在这样的实施方式中，照明图案在每个连续的扫描期间向右移动一列，直到第七列被照明为止，此时，照明图案向下移动到下一行并返回到第一列以用于下次扫描。然后，过程重复，直到在第n(第49)次扫描中到达第7行的第7列为止。通过图示，图6c示出了在第七扫描期间根据第七照明图案照明的图6a的布置。在第七照明图案中，只有被定位在第1、第8、第15和第22行与第7、第14、第21、第28和第35列的交点处的光源322被照明。图6d示出了在第八扫描期间根据第八照明图案照明的图6a的布置。在第8照明图案中，只有被定位在第2、第9、第16和第23行与第1、第8、第15、第22、第29和第36列的交点处的光源322被照明。图6e示出了在第42扫描期间根据第42照明模式照明的图6a的布置。在第42照明图案中，只有被定位在第7、第14和第21行与第1、第8、第15、第22、第29和第36列的交点处的光源322被照明。最后，图6f示出了在第49扫描期间根据第49照明图案照明的图6a的布置。在第49照明图案中，只有被定位在第7、第14和第21行与第7、第14、第21、第28和35列的交点处的光源322被照明。
光学系统的透镜接收(或“收集”)在每次扫描期间由相应样本散射的光或以其他方式从相应样本发出的光，并将所接收的光聚焦到图像传感器系统的图像传感器上。虽然在每次扫描期间光的接收和聚焦通常由无源元件(光学系统的透镜)执行，但光路径的这一部分仍被称为操作508。在操作510中，每个图像传感器接收由光学系统的相应透镜(或透镜组)聚焦的光，基于所聚焦的光来采集图像数据。在操作512中，图像数据可被储存在可由控制器的处理器快速访问的易失性存储器或用于长期储存的非易失性存储器中的一个或二者中。如上所述，图像数据表示在扫描的曝光时间期间获得的强度分布(在特定扫描期间由特定图像传感器采集的图像数据被称为“图像帧”或简称为“图像”)。在一些实施方式中，每次扫描需要小于约1ms，使得对整个多孔板的所有n次扫描在少于1秒内完成。
在一些实施方式中，多路复用方法可用于进一步减少总扫描时间-为获得n个入射角的图像数据所需的时间。在一个多路复用实施例中，每个孔周围的多个光源在捕获每个孔的每个原始图像期间可同时以唯一图案接通。使用多路复用过程，与每个照明角度相关联的强度数据可以与捕获的原始图像分离。通过这种方式，每个孔需要少于n次的扫描。多路复用过程的示例可在于2015年12月4日提交的题为“multiplexedfourierptychographyimagingsystemsandmethods”的美国专利申请号14/960,252中找到，其由此通过引用以其整体并入。
在操作514中，处理器(例如，控制器的处理器)确定所有n次扫描是否已经完成。如果还有剩余的扫描待完成，则在操作516中递增地更新s，使得下个扫描(第(s+1)个扫描)然后使用下个(第(s+1)个)照明图案来执行。当所有扫描完成时，处理器(例如，控制器的处理器)执行并行重建过程，以在操作518中并行重建(或“生成”)每个样本的改进(更高)的分辨率图像。在fp重建过程期间，每个样本孔的n个强度图像在傅立叶域中被迭代组合，以生成更高分辨率的图像数据。在每次迭代中，滤波器针对特定的平面波入射角被应用在傅立叶域中，应用傅立叶逆变换以生成较低分辨率图像，较低分辨率图像的强度被强度测量值替换，应用傅立叶变换，并更新傅立叶空间中的相应区域。通常，重建过程包括使用角分集来恢复复杂样本图像的相位复原技术。该恢复过程交替执行在空间域中采集的已知图像数据和在傅立叶域中的固定约束。该相位复原恢复可使用例如交替的投影过程、问题的凸改写或二者之间的任何非凸变型来实现。代替需要通过机械装置横向地平移样本，重建过程改变傅立叶域中的谱约束，以将傅立叶通带扩展到超过单一捕获图像的通带，以恢复更高分辨率的样本图像。
fp重建过程的两个示例以下根据图7和图8详细地进行讨论。在一些实施方式中，控制器然后使显示器显示每个孔的重建图像。图7示出了根据一些实施方式的示例fp重建过程700(也被称为“算法”)的流程图。在一些实施方式中，控制器110被配置为执行fp重建过程700的一个或更多个操作。使用该fp重建过程，每个样本孔中的每个样本的改进分辨率的图像根据针对每个样本获得的n个低分辨率强度分布测量值ilm(kix,kyi)(按照它们的照明波矢量，kxi,kyi，进行索引，其中i＝1,2...n)而得以重建，诸如在图5中所图示并根据其进行描述的过程500的操作506、508和510期间所采集的n个原始强度图像。
在一些实施方式中，fp重建过程700开始于操作701，其中初始化空间域中的高分辨率图像解
在以下所描述的迭代操作710、720、730、740、750、760和770中，每个样本的高分辨率图像通过在傅立叶空间中迭代地组合低分辨率强度测量值来重建。在一些实施方式中，如果样本离焦量为z0，则可执行操作720和740。
在710，处理器在傅立叶域中执行对高分辨率图像
在可选操作720中，使用处理器，低分辨率图像
在操作730，使用处理器，在对焦平面处的低分辨率图像
在可选操作740，使用处理器，更新的低分辨率图像
在操作750，使用处理器，傅立叶变换应用于被传播到样本平面的更新的目标图像：
在操作770，处理器确定高分辨率解是否收敛。在一个示例中，处理器确定高分辨率解是否收敛到自洽解。在一种情况下，处理器将先前迭代或初始猜测的先前高分辨率解与当前高分辨率解进行比较，并且如果差值小于某一值，则确定该解收敛到自洽解。如果处理器在操作770确定解还未收敛，则重复操作710到760。在一个实施例中，操作710到760被重复一次。在其它实施例中，操作710到760被重复两次或更多次。如果解已经收敛，则处理器将傅立叶空间中的收敛的解变换至空间域以恢复改进分辨率图像
图8示出了根据一些实施方式的另一示例fp重建过程800(也被称为“算法”)的流程图。在一些实施方式中，控制器110被配置为执行fp重建过程800的一个或更多个操作。使用这种fp重建过程，每个样本孔中的每个样本的改进的分辨率图像根据针对每个样本获得的n个低分辨率强度分布测量值ilm(kix,kyi)(按照其照明波矢量kxi,kyi索引，其中i＝1,2...n)重建，诸如在参考图5所示和根据图5描述的过程500的操作506、508和510期间获取的n个原始强度图像。
在该示例中，fp重建过程包括数字波前校正。fp重建过程将数字波前补偿并入在两个乘法操作805和845中。具体地，操作805通过由处理器乘以光瞳函数
其中，kx和ky是光瞳平面处的波数，z0是散焦距离，以及na是第一物镜的数值孔径。
在一些实施方式中，fp重建过程800开始于操作801，其中初始化在空间域中的高分辨率图像解
在805、810、830、845、850、860和870的迭代操作中，样本的高分辨率图像通过在傅立叶空间中迭代地组合低分辨率强度测量值来在计算上进行重建。
在操作805中，处理器乘以傅立叶域中的相位因子
在操作830中，使用处理器，在对焦平面的低分辨率图像
在操作870中，处理器确定高分辨率解是否收敛。在一个示例中，处理器确定高分辨率解是否收敛到自洽解。在一种情况下，处理器将先前迭代或初始猜测的先前高分辨率解与当前高分辨率解进行比较，并且如果差值小于某一值，则解收敛到自洽解。如果处理器确定解还未收敛，则重复操作805到870。在一个实施例中，操作805到870被重复一次。在其它实施例中，操作805到870被重复两次或更多次。如果解已经收敛，则处理器将在傅立叶空间中的收敛的解变换至空间域以恢复高分辨率图像
示例fp重建过程的附加细节可在zheng，guoan、horstmeyer、roarke和yang，changhuei的“wide-field,high-resolutionfourierptychographicmicroscopy”naturephotonics第7卷的第739-745页(2013)中和于2013年10月28日提交的题为“fourierptychographicimagingsystems,devices,andmethods”的美国专利申请14/065,280中找到，它们在此通过引用以其整体并入本文并用于所有目的。
图9示出了描绘用于确定多孔板的每个孔的入射角的示例校准过程900的操作的流程图。例如，校准过程900可在参照图5所描述的过程500的块504中的初始化过程期间执行。在块921中，控制器使照明系统照明中心光元件(例如，光源322中的相应光源)，该中心光元件对应于为校准过程900选择的至少一个孔，并且在一些实施方式中，对应于多个孔或甚至所有孔。在一些实施方式中，例如，控制器使照明系统仅对多孔板的四个角中的那些孔或仅对一个或更多个特定列和特定行中的那些孔照明中心光元件。在一个实施例中，控制器通过顺序地接通光元件并捕获每个光元件照明的图像来确定中心光元件。中心光元件基于在通过多个光元件的照明期间所捕获的最高强度图像来确定。
在块922中，控制器使为校准过程900选择的相应图像传感器中的每个在通过中心光元件的照明期间捕获晕映单色图像。在一些实施方式中，图像然后被转换为黑色和白色。如果在光元件和图像传感器之间存在未对准，则图像的中心从图像传感器的中心偏移。在块923中，图像的中心被确定。在块924中，图像中心的偏移沿着x轴方向(x-偏移)和沿y轴方向(y偏移)测量。在操作925，中心光元件的位移，使用查找表或绘图基于图像的x偏移和y偏移来确定。查找表/绘图提供了与不同的x偏移和y偏移的值相关联的中心光元件的不同位移。一旦根据查找表/绘图确定了中心光元件的位移，与可变照明源中的光元件相关联的照明角度可基于可变照明源的几何形状来确定。在块926中，与fp照明相关联的n个照明角度的精确值是使用中心光元件的位移来确定。
图10a示出了根据一个示例的在通过led矩阵的中心led的照明期间所捕获的晕映单色图像。图10b是图10a的图像的转换的黑白版本。在该示例中，黑白图像的中心1022位于与图像传感器的中心1023相同的位置，并且led位置与cmos相机的成像传感器良好对准。图10c示出了根据另一示例的在通过led矩阵的中心led的照明期间所捕获的图像。在图10c中所示的示例中，在中心led和图像传感器之间存在未对准。更具体地，在图像的中心1032和图像传感器的中心1023之间有偏移。甚至更具体地，在x方向上有偏移(像素偏移x)并且在y方向上有偏移(像素偏移y)。图11示出了根据实施例的与图像中心1032相对于图像传感器中心1023的x偏移和y偏移相关联的led位移的查找曲线图。在该示例中，查找表通过使led矩阵相对于图像传感器移动已知量并确定与led位移相关联的图像中心的不同偏移来完成。
图12示出了说明根据一些实施方式的用于对多孔板进行成像的示例荧光成像过程1200的流程图。例如，过程1200也可使用以上根据图1-图4所描述的系统、设备和布置来执行。在一些实施方式中，控制器110被配置为执行荧光成像过程1200的一个或更多个操作。在一些实施方式中，荧光成像过程1200开始于操作1202，其中将多孔板装载到成像系统中。在一些其它实施方式中，荧光成像过程1200可在fp成像过程500结束之后立即(或不久)自动执行。在一些其他实施方式中，荧光成像过程1200可在操作502和506之间开始。
在操作1204中，控制器初始化照明系统和图像传感器系统。在操作1204中初始化照明系统可包括从非易失性存储器中获取照明信息(诸如激励信号的波长)，并将所获取的照明信息加载到易失性存储器中，以用于随后在执行成像中使用。在操作1204中，初始化图像传感器系统可以包括上电或以其它方式准备图像传感器，以接收光并生成图像数据。
在操作1206中，控制器使照明系统用激发光来照明多孔板。如上所述，在操作1206中，所有光源322可在特定波长或特定波长范围内同时接通。样本中的荧光团由激发光激活，并发射另一波长范围的光(发射物)(例如，蓝光、绿光或红光)。
光学系统的透镜接收(或“收集”)由相应样本发射的光，并将所接收的光聚焦到图像传感器系统的图像传感器上。光学滤波器对光进行过滤，使得只有由荧光团发射的光被传播到图像传感器。虽然光的接收、聚焦和过滤通常由无源元件(光学系统的透镜和滤色镜)执行，但光路径的这一部分仍被称为操作1208和1210。在操作1212中，每个图像传感器接收由光学系统的相应透镜(或透镜组)聚焦的光，并基于聚焦的光采集荧光图像数据。在操作1214中，图像数据可被储存在可由控制器的处理器快速访问的易失性存储器或用于长期储存的非易失性存储器之一或二者中。如上所述，图像数据表示在曝光时间期间获得的强度分布。
在一些实施方式中，在操作1216中，处理器确定是否实现了期望的强度。如果还未实现期望的强度，则操作1206到1214可重复多次，并且在操作1218中，针对每个样本孔的所得到的采集的荧光图像数据可被添加或以其他方式组合在一起，以获得每个样本孔的期望的强度图像。
在一些实施方式中，对于多频带、多通道的实施例，可对光谱的多个区域(被称为“带”)中的每个重复操作1206到1214多次，并且在一些实施方式中，使用不同的滤波器来重复操作1206到1214。
在一些实施方式中，控制器通过覆盖由荧光成像过程1200生成的荧光图像和由fp成像过程500生成的高分辨率明场图像来生成样本的组合的荧光和高分辨率的明场图像。在另一方面中，处理器通过覆盖由荧光成像过程生成的荧光图像和在fp成像过程的采集过程期间捕获的低分辨率明场图像来生成样本的组合的荧光和低分辨率明场图像。在另一方面中，处理器基于fp成像过程中的相位数据生成样本的高分辨率相位图像。
在一些实施方式中，本文中所描述的成像系统还可实现延时成像或其它长期成像。例如，成像过程500和1200可以按间隔重复，诸如例如，一小时间隔、两小时间隔、一天间隔等。成像方法可以在设定的一段时间内(例如，一周、两周、一个月、两个月等)按间隔继续重复每个成像运行，或者可运行直到操作者停止成像方法为止。在一些实施方式中，当该长期成像继续进行时，成像系统可以位于培养箱内。
在本公开中描述的对实施方式的各种修改对于本领域中的技术人员来说可以是明显的，并且在不脱离本公开的精神或范围的情况下，本文中所定义的一般原理可以应用于其他实施方式。因此，权利要求不旨在限于本文中所示的实施方式，而是旨在被给予与本文中所公开的公开内容、原理和新颖特征一致的最宽范围。
另外，在单独实施方式的上下文中本说明书中所描述的特定特征也可在单一实施方式中组合实现。相反，在单一实施方式的上下文中所描述的各种特征也可单独或以任何合适的子组合在多个实施方式中实现。此外，虽然以上的特征可被描述为在特定组合中起作用以及甚至最初这样要求保护的，但来自要求保护的组合中的一个或更多个特征在某些情况下可从组合中删除，并且所要求保护的组合可针对子组合或子组合的变型。
类似地，虽然各种操作(在本文中也被称为“块”)在附图中按照特定顺序描绘，但是这不应被理解为要求以所示的特定顺序或以序列顺序执行这样的操作，或者执行所有图示的操作，以实现期望的结果。另外，附图可以以流程图的形式示意性地描绘一个或更多个示例过程。然而，未描绘的其他操作可并入示意性图示的示例过程中。例如，一个或更多个附加操作可在所图示的任何操作之前、之后、同时或其间执行。此外，以上所描述的实施方式中的各种系统部件的分离不应被理解为在所有实施方式中需要这样的分离。另外，其他实施方式在下面的权利要求的范围内。在一些情况下，权利要求中所列举的动作能够以不同的顺序执行，并且仍然实现期望的结果。
本领域中的普通技术人员还将理解，以上所描述的各种功能、操作、过程、模块或部件可按照模块或集成的方式使用计算机软件以控制逻辑的形式来实现。基于本文中所提供的公开内容和教导，本领域中的普通技术人员将知道并且认识到用于使用硬件以及硬件和软件的组合来实现本发明的其它方式和/或方法。
本申请中所描述的任何软件部件或功能可被实现为要由处理器使用任何合适的计算机语言(诸如例如，使用例如常规的或面向对象的技术的java、c++或perl)来执行的软件代码。软件代码可被储存为一系列指令，或在crm上的命令，诸如随机存取存储器(ram)、只读存储器(rom)、诸如硬盘驱动器或软盘的磁性介质或者诸如cd-rom的光学介质。任何这样的crm可驻留在单一计算装备之上或之内，并且可存在于系统或网络内的不同计算装备之上或之内。
- 还没有人留言评论。精彩留言会获得点赞！