使用结构和均匀照明产生光学截面图像的系统和方法

专利名称：使用结构和均匀照明产生光学截面图像的系统和方法
技术领域：
本发明涉及成像，更具体地，涉及光学截面图像。
背景技术：
通常，使用显微镜可视化的整个生物样品被切成薄层且被固定，以观察横向结构。 因此，通过实质减小样品的厚度，样品呈现二维属性，从而截面平面内的结构可以在没有来 自平面外其他结构的添加的背景的情况下被观察。然而，某些结构，包括许多活体结构是不 能被截面的。在现有技术中，已知使用共焦荧光显微镜以亚细胞分辨率给活体结构成像。类似 地，已知的是，标准宽视场荧光显微镜不提供用于横向均勻对象的光学截面。宽视场技术由 于无法排除不对焦背景结构而受到阻碍，从而导致低信号对比度。已经开发了使完整的活体样品通过光学截面被检查的技术。这些技术的功能都是 最小化或者消除不对焦背景(即，从不在焦平面内的结构产生的背景)。已经提出了若干 策略来提供光学截面。例如，宽视场显微镜可以采用动态斑点照明来获得光学截面的图像。 当使用动态斑点照明时，以(一个或多个)随机斑点图案照明荧光结构。然后，通过计算时 间上的图像波动的对比度来获得光学截面。因此，必须采用许多图像。这种技术的一个问 题是慢且通常需要几十幅图像来产生适合质量的最终截面的图像。其他技术包括使用网格图案来照明将被可视化的结构。按照部分网格周期移动图 案照明且每次移动都捕获图像。处理多幅图像的数据以去除不对焦背景。此技术的一个缺 陷在于，得到的图像由于与运动相关的伪迹通常具有条纹外观。由于按顺序获取图像，因此 将被可视化的结构或成像设备的任何移动导致处理器上图像之间的不对准，因此处理的图 像质量恶化。

发明内容
在本发明的第一实施例中，提供一种使用结构照明图像数据组和均勻照明数据组 两者创建光学截面图像数据组的方法。即使处于DC空间频率，结构照明数据组和均勻照明 数据组也能进行展示光学截面的低分辨率图像结构的计算。均勻照明数据组提供展示固有 光学截面的互补高分辨率图像结构。两个图像组的合并提供了最终图像数据组，展示跨过 成像系统的全部带宽的光学截面。可以在处理器中采用该方法。可以从显微镜、显微内镜或设置有实质上的均勻照明和结构照明的其他成像设备获得成像数据。成像方法包括处理器接收使用实质上的均勻照明来照明的真实世界对象的第一 图像数据组，并且接收使用实质上的结构照明来照明的真实世界对象的第二图像数据组。 处理第一图像数据组，以产生消除了不对焦数据的高频对焦数据组。处理第二图像数据组， 以产生低频对焦数据组。可以将高频数据组与低频数据组组合在一起，然后被显示在显示 设备上，产生是成像阵列的全分辨率的图像。应用高通滤波器来处理第一图像数据组以实质上去除不对焦内容并获得高频对 焦图像数据组。通过确定局部对比度来处理第二图像数据组以产生低分辨率局部对比度数 据组。可以使用多种不同算法确定局部对比度。例如，可以通过使用单边带解调或使用双 边带解调计算局部图像标准差来确定局部对比度。另外，将低分辨率局部对比度数据组与 第一图像数据组相乘，以从第一图像数据组提取低分辨率对焦内容。最终，将低通滤波器应 用于低分辨率对焦内容。低通滤波器可以与高通滤波器互补。在本发明的特定实施例中，使用第一图像数据组调整局部对比度以补偿对象对比 度。在其他实施例中，可以使用第一图像数据组调整局部对比度来补偿第二图像数据组中 噪声引起的对比度。可以通过分别将真实世界对象暴露给接近的均勻照明和结构照明来使用光学成 像器记录第一图像数据组和第二图像数据组。光学成像器包括光学检测器阵列，光学成像 器可以包括一个或多个照明源。可以在计算机系统上使用的离散电子器件或计算机程序中采用该方法。本发明还可以体现为系统。所述系统可以包括一个或多个照明源以及空间图案产 生器。此外，所述系统可以包括光学检测器阵列以及处理器。处理器从光学检测器阵列接 收第一图像数据组和第二图像数据组，其中，响应于照明源产生第一图像数据组，响应于照 明源和空间图案产生器产生第二图像数据组。处理器通过将来自第一图像数据组的高频对 焦数据与来自第一和第二图像数据组的低频对焦数据组合来产生光学截面图像。空间图案 产生器可以是允许创建空间光图案的任何设备，包括空间光调制器和扩散器。所述系统还 可以包括显示器，用于显示真实世界对象的光学截面图像数据组。


通过下面结合附图进行的详细描述，本发明的上述特征将更加容易理解，其中图1是产生光学截面图像的系统的第一实施例，在此实施例中，在对象，照明和检 测路径是共线的；图IA示出图1的系统的变形，其中，照明光学路径与检测光学路径不同；图IB示出图1的系统的变形，其中，使用两个照明源，一个照明源产生均勻照明， 另一个照明源产生结构照明。在此实施例中，处理器交替地打开和关闭照明源；图IC示出图1的系统的变形，其中，使用平面或板照明；图ID示出图1的系统的变形，其中，使用锥形照明；图IE示出产生光学截面图像的系统的可选实施例。在此实施例中，结构照明是由 通过扩散器传播的激光束产生的斑点图案。通过移动扩展器快速随机化斑点来模仿均勻照 明；
图IF示出产生光学截面图像的系统的可选实施例。在此实施例中，图案产生器是 空间光调制器，通过成像光学纤维束执行成像；图2是使用均勻照明和结构照明两者产生光学截面图像的一般方法的流程图；图3是使用斑点照明作为结构照明产生光学截面图像的方法的流程图；图4是使用网格图案照明作为结构照明产生光学截面图像的方法的流程图。图4A是C(K)的曲线图。
具体实施例方式定义如下。如本文和所附权利要求所使用，下面的术语应该具有下述含义，除非本 文另有所指。术语“对象信号”应该意味着对象产生的信号，诸如通过反射或荧光或其他能 量原理。术语“成像系统”和“光学成像器”应该意味着至少包括检测器阵列(例如，C⑶相 机、CMOS相机等)的系统。成像系统还可以包括一个或多个照明源。可以通过源(例如，灯、 激光、二极管等)产生的能量进行照明。术语“结构照明”意思是产生空间变化信号(即，展 现非均勻对比度的信号)的照明。结构照明可以是空间随机或图案化。术语“均勻照明”意 思是照明不随空间而明显变化，从而检测器阵列不在不同空间位置登记变化。应该注意到， 如果在成像阵列电子器件的集成期间结构照明被多样地随机化，则结构照明可以被做成模 仿均勻照明。术语“图案产生器”是指能够在均勻状态和结构状态之间转换照明的设备。在此公开的系统和方法提供了对真实世界对象成像，诸如细胞群。真实世界对象 具有三维形状，包括关于深度轴的深度维。成像方法提供了光学截面图像，使得对真实世界 对象的平面成像，其中，该平面穿过深度轴。本发明的实施例使用结构照明和均勻照明。获 得真实世界对象的第一数据组，其中，通过光学路径将结构照明指引到真实世界对象，并且 真实世界对象产生对象信号，该对象信号由包括光学成像阵列的成像系统接收。光学成像 阵列产生表示真实世界对象的数据组。真实世界对象也被暴露给均勻照明，并且光学成像 阵列产生表示真实世界对象的数据组。从结构照明和均勻照明产生的两个数据组在数值上 被处理。均勻照明数据组通过高通滤波器，以滤波出相对于光学截面不对焦的低频信息。确 定结构照明数据组的局部对比度。局部对比度数据组用于局部提取对焦的均勻照明数据组 的部分，产生对焦数据组的低分辨率估计。低分辨率数据组通过低通滤波器，低通滤波器与 用于均勻照明数据组的高通滤波器互补。然后，将滤波的数据组组合在一起以产生包含在 成像设备的带宽内的所有空间频率的对焦数据组，并且在显示设备上显示。图1是产生光学截面图像的系统100的第一实施例。系统100包括照明源105，对 将被成像的对象120进行照明。照明源105可以是激光、二极管、白炽灯或某些其他光源。 例如，光学源可以是在显微镜中使用的激光束。将被成像的对象120可以是活体细胞结构 或其他三维真实世界对象。所述系统还包括图案产生器110，可以在均勻照明和结构照明之 间切换照明状态。在使用激光照明源的一些实施例中(例如，图1E)，结构照明可以是斑点 图案。在该实施例中，图案产生器可以是在固定状态(从而产生固定的斑点图案)和快速 移动状态(从而产生快速随机化的斑点图案以模拟均勻照明)之间切换的简单扩散器板。 在其他实施例中(例如，图1B)，存在多于一个的照明源，且固定(即，非切换)图案产生器 可以与单个源相关联。沿着到真实世界对象的一个或多个光学路径指引光。响应于该光， 真实世界对象产生被指引到成像阵列130的对象信号。成像阵列130具有多个传感器，用于感测对象信号。成像阵列130将对象信号转换为多个电信号。该电信号可以是数字信号 或模拟信号。在模拟信号的情况下，使对象信号通过模数转换器而将模拟信号转换为数字 信号。在处理器140中处理作为结果得到的数字数据组。然后，数字数据组可以被保存用 于以后的检索或可以被指引到显示器150用于观察。在操作中，系统捕获至少两个数据组。通过成像阵列捕获第一数据组，以使真实世 界对象实质上被均勻照明。实质上的均勻照明意味着入射到真实世界对象的照明几乎不包 含或没有空间结构。将该数据组提供给处理器。通过成像阵列捕获第二数据组，以使真实 世界对象被实质上的结构照明所照明。实质上的结构照明意味着入射到真实世界对象的照 明包含高对比度的空间结构(例如，斑点图案、网格图案、棋盘格图案等)。将第二数据组提 供给处理器。第一数据组被高通滤波，以保留高频图像内容。这个高频内容本质上就是对 焦的。第二数据组经过对比度提取。因此，使用诸如解调或测量局部标准差的方法估计第 二数据组中的空间变化的局部对比度。局部对比度信息提供了对焦的均勻照明数据组的部 分的估计。因此，局部对比度信息与均勻照明数据组的乘积提供了均勻照明数据组中对焦 内容的低分辨率估计。然后，将这种低分辨率对焦数据组进行低通滤波，以获得低频对焦图 像内容。选择低通滤波器以与先前被使用以获得高频对焦图像的高通滤波器互补。第一数 据组的高频图像内容与来自对比度数据的低频图像内容组合在一起，以形成表示真实世界 对象的对焦内容的组合数据组。可以使用多种技术产生结构照明。例如，物理网格或棋盘格图案可以用于对真实 世界对象成像；多波束激光干涉技术可以用于产生条纹图案；或者二极管阵列和声光偏转 器可以用于产生明确界定的图案。另外，各种装置可以用于在结构照明和均勻照明之间切 换。例如，可以对结构照明进行随机化以获得均勻照明。另外，如果空间光调制器、二极管 阵列或声光偏转器用作照明源，则可以执行快速切换。在多个照明源的实施例中，可以交替 地打开和关闭结构照明图案和均勻照明图案。本领域技术人员将认识到，存在多种方法基 于光路径、照明源和空间图案产生器的数量来创建结构照明和均勻照明以及在结构照明和 均勻照明之间切换。本领域技术人员应该理解，照明源与真实世界对象之间的光学路径可以不同于真 实世界对象与成像阵列之间的光学路径(成像路径)，如图1A、图1B、图IC和图ID所示。 图IA示出图1的系统的变形，其中，照明光学路径180A不同于检测光学路径185A。图IB 示出两个单独的照明源105B和106B。在此实施例中，图案产生器110可以被固定，且处理 器交替地打开和关闭照明源105B和106B。图IC示出相对于检测路径横向或倾斜的光板形式的照明。可以使用圆柱透镜、全 息扩散器或扫描激光束创建光板。图ID示出照明源，其中，照明接近锥形。可以使用轴锥 体或全息扩散器板创建锥形照明。图IC和图ID的配置减小了由成像器检测的不对焦背景 量。因此，减小了伴随的散粒噪声，并且更大的成像器动态范围可用于对焦信号检测。图IE示出使用结构照明和均勻照明两者产生光学截面图像的显微镜系统实施 例。激光器105E产生激光束，并且将光指引到可移动扩散器110E，以创建通过显微镜物镜 190E入射到真实世界荧光对象120E上的固定斑点(结构照明)或快速随机化的斑点图案 (实际上的均勻照明)。作为结果得到的荧光利用分色镜150E被分开且利用CCD相机130E 被记录。结构图像和均勻图像中的每一个的数字数据被提供给处理器140E。处理器140E处理数据组以去除不对焦数据，然后将对焦数据组组合。然后，可以在显示设备180E上显 示对焦数据。图IF示出使用结构照明和均勻照明两者产生光学截面图像的内显微镜系统实施 例。照明源100F产生被指引到空间光调制器IlOF上的光，以创建网格且均勻照明图案，该 照明图案然后被投影到配有远端显微镜物镜130F的成像光学纤维束120F。作为结果得到 的荧光利用分色镜140F和发射滤波器(emission filter) 150F被分开并且利用CXD相机 160F被记录。结构图像和均勻图像中的每一个的数字数据被提供给处理器170F。处理器 170F处理数据组以去除不对焦数据，然后将对焦数据组组合。然后，可以在显示设备180F 上显示对焦数据。图2示出使用均勻照明和结构照明两者产生用于显示的对象的光学截面数据组 的处理的流程图。对象暴露给均勻照明(或者已经通过随机化有效呈现均勻的照明)，并 且使用检测器阵列捕获对象的图像000)。还将对象暴露给结构照明(空间随机化、有图 案的、斑点般的等)，并且使用检测器阵列捕获对象的图像010)。对于结构照明和均勻照 明两者，检测器阵列可以相同或不同。因此，产生至少两个图像。均勻照明图像数据组通过 高通滤波器，以提取均勻照明数据组的高频分量020)。这个高频分量表示固有对焦数据， 原因是当成像时，仅对焦数据被高度分辨(即，包含高频)。结构照明数据组经过对比度 提取030)。对于不对焦的对象信号，结构照明数据组的对比度变小。成像结构的局部对 比度因此提供了对象的对焦度的测量或者对象包含对焦成份的度的测量。可以用于测量局 部结构对比度的技术包括单边带解调和双边带解调以及从图像数据组测量数据的局部变 化的其他技术。局部对比度数据组提供了对焦的均勻照明数据组的部分的低分辨率估计。 局部对比度数据组与均勻照明数据组的乘积因此提供了对焦图像的低分辨率估计(MO)。 在可选实施例中，可以通过从结构照明数据组减去均勻照明数据组并取绝对值，将步骤230 和步骤240组合成单个步骤。通过将与对步骤220应用的高通滤波器互补的低通滤波应用 于对焦图像的低分辨率估计来进一步处理对焦图像的低分辨率估计，从而提供低频对焦数 据组O50)。然后，将高频数据与低频数据组合以形成包含成像设备带宽内的所有频率的对 焦数据组(260)。在特定实施例中，可能需要附加处理。例如，若干因素可以影响暴露给结构照明的 数据组的图像调制对比度，包括照明结构、对象结构和噪声结构(例如，散粒噪声)。因此， 有益的是去除可能与噪声和对象结构相关联的图像调制对比度。可以从均勻照明图像推断 此信息。在执行局部调制对比度测量之前，通过将结构照明图像除以均勻照明图像，至少部 分校正对象对比度。可选地，可以通过对阵列的每个位置(例如，像素)从结构照明图像减 去均勻照明图像并取绝对值而对结构照明图像直接进行解调。可选地，可以基于对象对比 度如何影响结构照明数据组中对比度从结构照明数据组中的对比度提取均勻照明数据组 的对比度。均勻照明数据组还可以使用现有技术散粒噪声统计提供在测量的调制对比度中 由散粒噪声引入的偏差的估计。如上所述，将低频对焦图像数据和高频对焦图像数据组合在一起形成全分辨率图 像。期望避免这些数据组之间的加权不平衡，以获得将被成像的真实世界对象的可靠表示。 实现此的一个方式是在低频数据组和高频数据组之间频率重叠的区域推断数据中的任何 加权差异。可选地，可以推断低频数据组与中频区域中均勻照明数据组之间的任何加权差异。一旦已经确定了加权差异，就可以通过将低频对焦数据组或高频对焦数据组与适当的 加权因子相乘进行校正。加权因子作为第一近似可以是空间独立，或者当期望更高的准确 度时可以是空间相关。可选地，可以使用包括组合具有不同分辨率图像的离散小波变换技 术的技术来执行图像合并。来自真实世界对象的不同信号可以用于成像。例如，由于荧光可能导致6成像的 信号。在其他实施例中，可以采用反射成像。另外，可以使用不同颜色源执行结构照明和均 勻照明。通过使用彩色相机(即，图像阵列)，可以利用表示结构照明图像的一种颜色(即， 蓝色)和表示均勻照明图像的另一种颜色(即，绿色)同时执行成像。这样，红色可以随意 使用。因此，红色可以提供使用另一结构照明图案(例如，不同的空间频率、相位、定向、粒 度等)的额外图像。着将提供附加信息以改善对焦图像内容的选择。本领域技术人员应该理解，尽管本公开讨论了使用单个均勻照明数据组和单个结 构照明数据组，但是可以使用多于一个的结构照明数据组(即，图像)来获得对焦图像中更 好的低频估计。其中对于每幅图像结构不同的附加结构图像数据组可以用于组合，以提供 与被成像的对象的低频分量有关的附加信息。在本发明的不同实施例中，两个或更多个互补结构图像可以被使用并组合到一起 以构建均勻照明图像。例如，两个互补棋盘格或网格图案可以用于产生两个结构照明图像。 例如，通过使用Max-Min算法，两个结构图像可以提供与被成像的低频信息有关的附加信 息。例如，然后，互补图像的和可以提供用于均勻照明图像的数据组。应该注意到，在此描述的成像技术不限于对生物材料成像，而且在需要光学截面 的其他科学领域也是有用的。图3是使用斑点照明作为结构照明的图2的总体流程图的更具体的流程图。使用 均勻照明图像Iu(P)处理单个斑点照明图像In(P)(其中，P是图像坐标)，以在去除与焦平 面之外的结构有关的信息的同时产生关于焦平面的对焦图像。在此实施例中，当通过扩散 板传输时对激光束的相位波前进行随机化，并且通过显微镜物镜将得到的斑点图案投影到 样品。在一个实施例中，可以使用图2E的系统。然后，获得两个荧光图像。一个荧光图像是 在扩散板被固定的情况下，而另一个荧光图像是扩散板在运动的情况下。在后一种情况下， 与相机曝光时间相比，快速随机化斑点图案，以使图像等同于使用均勻照明获得的图像。处 理器接收结构照明图像数据和均勻照明数据(300和310)。接下来，通过将高通滤波器(HP)应用于Iu(p)而从均勻照明图像Iu(P)获得高分 辨率/高频信息。限定HP的截止频率K。以使HP (K。)=1/2。作为结果得到的高频对焦数 据通过Ihp(P)表示(320)。为了获得低频/低分辨率对焦信息，通过将结构照明图像数据组细分成镶嵌图案 的小区域A(被称为“分辨率区域”)并且通过下面的公式计算这些区域中的局部空间对比 度，估计结构照明图像数据组In(P)的局部空间对比度(330)CN(p) = In(p)的标准差/In(P)的均值分辨率区域的大小是变化的，然而，其必须足够大以包含至少一个斑点颗粒大小。当对象对焦时CN(p)大约等于1，当对象不对焦时(；( )大约等于0。CN(p)Iu(p)的 乘积相当于提取具有低分辨率(通过A的大小给出的分辨率)的Iu(p)的对焦贡献。鉴于 对象通常是非均勻的，两个源贡献In(P)的测量的对比度1.结构照明和2.对象本身的变化。因此，应该去除由于对象本身导致的变化，以增强图像的分辨率。0(p)被定义为利用实 质上的均勻单位照明从实际对象获得的图像强度，S(p)被定义为从暴露给结构照明的对象 获得的图像强度。In (ρ) 0>Α+ δ 0 (ρ)) (<S>A+ δ S (ρ))Iu(p) (<0>Α+δ0(ρ)) (<S>A)其中，尖括号指示分辨率区域A上的平均，<0\和<S>A来自对象和照明的对焦和 不对焦贡献，而变化S0(p)和SS(p)主要来自对焦贡献。因此C》《0+C〗+C^4其中，CjnCs分别是与在分辨率区域上计算的0(p)和S(p) 相关联的对比度。认识C0{p) = ^uiP)lA其中，σ表示“的标准差”，Cs可以从上述等式推导出。上述等式的结果是，Isu(p) =Cs(p)<Iu(p)>A提供了 Iu(p)的低分辨率版本，即使对 于DC频率也被光学截面(340)。使用与用于获得高分辨率数据组的高通滤波器互补的滤波器对低分辨率对焦数 据组Isu(P)进行低通滤波(即，LP (K) = I-HP (K)，其中K是空间频率，因此LP (K。) =HP(Kc) =1/2)。通过Ilp(P)表示作为结果得到的低频对焦数据(350)。使用公式I (ρ) = η Ilp(ρ)+Ihp(ρ)将Ι Ρ(Ρ)和Ihp(P)组合，得到包含在成像设备的 成像带宽内所有空间频率的最终对焦图像(360)。为了组合低通数据组和高通数据组以使 跨过截止频率K。的转变无缝，已经引入比例因子η。可以通过将带通滤波器应用于Iuj(P) 和Ihp(P)来计算Π，从而带通滤波器仅选择截止频率K。附近的频率分量。以这种方式，带通滤波器Ihp (P)I77 =带通滤波器Iui (ρ)|1、乐袖ι丨、丨、苗H·八I带通滤波器Iu(P)I “1·，胃以通过公式"=一通滤波器I』
计算η，其中，带通滤波器覆盖截止频率K。或截止频率K。之上的频率范围。根据 是否执行η的空间平均，η可以是空间相关或者可以是空间不相关。处理器可以将表示光学截面结构的作为结果得到的图像数据组I (ρ)存储在存储 器中，用于以后的检索和显示，或者可以直接显示作为结果得到的数据组。产生的全分辨率 图像在分辨率上与使用传统宽视场显微镜获得的图像类似。图4是示出使用网格图案照明作为结构照明的图2的方法的流程图。首先使用均 勻照明和网格图案照明获得图像数据组并由处理器接收GOO和410)。均勻照明数据组通 过高通滤波器HP (滤波器与将对结构照明数据组使用的低通滤波器LP互补Μ420)。均勻 照明数据组中的高频分量是对焦的且被存储在存储器中用于后续处理。这些通过Ihp(P)来 表不。检索结构照明图像且获得图像数据中的局部对比度。对焦图像数据的局部对比度高于不对焦图像数据的局部对比度，因此是轴向清晰的。使用单边带解调提取局部图像对 比度(430)。结构图像的图像数据可以被分解成对焦数据和不对焦数据， 八(/0 = 4⑶++州+。(灼，其中，？是数据的坐标，网格照明被建模为具有任意相位φ和调制对比度M的在X方向的空间频率Kg的正弦图案。仅对焦图像数据 被调制，而不对焦数据不被调制，正是因为后者不对焦。比率R(P) = In(p)/Iu(p)导致 R(p) = l+C(p)Msin(Kgx+q>)，其中，是c(p)局部图像对比度。因此，确定了比率R(p) X(K) (即，C(p)的傅里叶变换)及其复共轭位于以+Kg或-Kg为中心的边带，如图4A所示。可以 对R(P)执行傅里叶变换得到R(K)，其中，K是空间频率。通过使用单边带解调，可以从R(K) 提取C(K)。首先应用一侧高通滤波器以去除负共轭，随后进行逆傅里叶变换以恢复R(P)。 假设边带已经很好地彼此分离(即，它们不重叠)，则通过CO ) = [R+(p)Rl(p)]m /M给出局 部图像对比度。其结果是，Iin(P) =C(p)Iu(p)并且Iin(P)可以被确定(440)。通常，M不是先验，因此使用新参数Isu(P)。L(P) = [R+(p)K(p)]miu(p)。因此，基于比率数据组R(P)和结构照明数据组确定Isu(P)。通过在限定的截止频率K。的情况下将 低通滤波器应用于Isu(P)而将Isu(P)限制到小于Kg的空间频率，其中，K。小于或等于Kg。 可以通过将Isu(P)与大小为2π/Κβ窗口进行卷积来获得LP[Isu(p)]。除了将Isu(P)限制为 明确界定的带宽之外，这种滤波帮助抑制例如来自不理想的正弦照明图案的潜在伪迹。低 通滤波器得到低频对焦数据组，通过‘(P)表示G50)。然后将高频对焦数据组Ihp(P)和低频对焦数据组Iuj(P)组合在一起(460)。应该 注意到，HP[IU (p)] = Iu (ρ)-LP [Iu (ρ)]。通过 Ι(ρ) = η Ilp (P)+Ihp (P)给出最终处理的图 像，其中，引入比例因子Π以保证跨过截止频率K。的频率内容的无缝转变。可以按照与上 述相同的方式计算n。然后，将作为结果得到的对焦数据组ι (P)存储在存储器中用于以后 的检索或在显示设备上显示。在此使用的流程图展示了本发明的各个方面，并且不应该被解释为将本发明限制 到任何具体逻辑流程或逻辑实现。在不改变整体结果或不脱离本发明的真实范围的情况 下，描述的逻辑可以被分割成多个逻辑块(例如，程序、模块、功能或子程序)。通常，在不改 变整体结果或不脱离本发明的真实范围的情况下，可以按不同顺序添加、修改、省略、执行 逻辑元件，或者使用不同逻辑结构(例如，逻辑门、循环基元、条件逻辑和其他逻辑结构)实 现逻辑元件。可以按许多不同形式来体现本发明，包括(但不限于)与处理器(例如，微处理 器、微控制器、数字信号处理器、图形处理单元或通用计算机)一起使用的计算机程序逻 辑、与可编程逻辑设备(例如，现场可编程门阵列(FPGA)或其他PLD) —起使用的可编程逻 辑、分立组件、集成电路(例如，专用集成电路(ASIC))或包括其组合的任何其他装置。可以按各种形式体现实现先前在此描述的全部或部分功能的计算机程序逻辑，包 括(但不限于)源代码形式、计算机可执行形式和各种中间形式(例如，汇编器、编译器、 连接器或定位器产生的形式)。源代码可以包括与各种操作系统或操作环境一起使用的以 各种编程语言中的任何一种(例如，目标代码、汇编语言或高级语言，诸如i^rtraruCj++、 C#、JAVA、Labview, Matlab或HTML)实现的一系列计算机程序指令。源代码可以定义和使用各种数据结构和通信消息。源代码可以是计算机可执行形式(例如，通过解释器)，或者 源代码可以(例如通过翻译器、汇编器或编译器)被转换成计算机可执行形式。可以按照任何形式(例如，源代码形式、计算机可执行形式或中间形式)将计算 机程序永久地或暂时地固定在有形存储介质中，诸如半导体存储设备(例如，RAM、ROM、 PROM、EEPROM或闪速可编程RAM)、磁存储设备(例如，软盘或硬盘)、光存储设备、(例如， CD-ROM)、PC卡(例如，PCMCIA卡)或其他存储设备。可以按照任何形式将计算机程序固定 在使用各种通信技术中的任何一种传输到计算机的信号中，包括(但不限于)模拟技术、 数字技术、光学技术、无线技术、网络技术和互联网工作技术。可以按照任何形式分配计算 机程序，如具有随附印制或电子文档的可移动存储介质(例如，压缩打包软件或磁带)，使 用计算机系统预加载(例如，在系统ROM或硬盘上)，或者通过通信系统(例如，互联网或万 维网)从服务器或电子公告板分配。可以使用传统手动方法设计实现先前在此描述的全部或部分功能的硬件逻辑 (包括与可编程逻辑设备一起使用的可编程逻辑)，可以使用各种工具(诸如计算机辅助 设计(CAD)、硬件描述语言(例如，VHDL或AHDL)或PLD编程语言(例如，PALASM、ABEL或 CUPL))设计、捕获、仿真或电子记录实现先前在此描述的全部或部分功能的硬件逻辑。在不脱离本发明的真实范围的情况下，可以按照特定形式来体现本发明。在所有 方面，描述的实施例被认为仅是说明性的而不是限制性的。上述本发明的实施例意在仅是示例性的；多种变形和修改对于本领域技术人员将 是明显的。所有如此的变形和修改意在落入任何所附权利要求限定的本发明的范围内。
权利要求
1.一种使用用于产生真实世界对象的光学截面数据组的处理器的成像方法，所述方法 包括所述处理器接收使用实质上的均勻照明来照明的所述真实世界对象的第一图像数据组；所述处理器接收使用实质上的结构照明来照明的所述真实世界对象的第二图像数据组；处理所述第一图像数据组，以产生高频对焦数据组； 处理所述第二图像数据组，以产生低频对焦数据组；以及将所述高频对焦数据组与所述低频对焦数据组组合，以产生光学截面对焦数据组。
2.根据权利要求1所述的成像方法，还包括 在显示设备上显示所述光学截面对焦数据组。
3.根据权利要求1所述的成像方法，其中，处理所述第一图像数据组包括将高通滤波器应用于所述第一图像数据组，以基本去除不对焦内容并获得所述高频对 焦图像数据组。
4.根据权利要求3所述的成像方法，其中，处理所述第二图像数据组包括 确定所述第二图像数据组的局部对比度，以产生低分辨率局部对比度数据组；将所述低分辨率局部对比度数据组与所述第一图像数据组相乘，以从所述第一图像数 据组提取低分辨率对焦内容。
5.根据权利要求4所述的成像方法，其中，处理所述第二图像数据组还包括将低通滤波器应用于所述低分辨率对焦内容，其中，所述低通滤波器与所述高通滤波 器互补。
6.根据权利要求5所述的成像方法，其中，所述光学截面数据组包含产生第一和第二 数据组的光学成像器的带宽内的所有频率内容。
7.根据权利要求4所述的成像方法，其中，确定局部对比度包括 调整所述局部对比度以使用所述第一图像数据组补偿对象对比度。
8.根据权利要求4所述的成像方法，其中，确定局部对比度包括调整所述局部对比度以通过使用所述第一图像数据组补偿在所述第二图像数据组中 由噪声引起的对比度。
9.根据权利要求1所述的成像方法，还包括利用接近的均勻照明通过光学成像器记录表示所述真实世界对象的第一图像数据组， 其中，所述第一图像数据组包含对焦内容和不对焦内容；以及利用结构照明通过所述光学成像器记录表示所述真实世界对象的第二图像数据组，从 而所述第二图像数据组被空间调制。
10.根据权利要求9所述的成像方法，其中，所述光学成像器包括光学检测器阵列。
11.根据权利要求10所述的成像方法，其中，所述光学成像器包括照明源。
12.根据权利要求4所述的成像方法，其中，通过估计局部图像标准差而确定所述局部 对比度。
13.根据权利要求4所述的成像方法，其中，使用单边带解调而部分地确定所述局部对 ^匕貞。
14.根据权利要求4所述的成像方法，其中，使用双边带解调而部分地确定所述局部对 ^匕貞。
15.一种包括其上具有计算机代码的计算机可读介质的计算机使用的计算机程序产 品，所述计算机程序产品产生真实世界对象的光学截面数据组，所述计算机代码包括计算机代码，用于接收使用实质上的均勻照明来照明的所述真实世界对象的第一图像 数据组；计算机代码，用于接收使用实质上的结构照明来照明的所述真实世界对象的第二图像 数据组；计算机代码，用于处理所述第一图像数据组以产生高频对焦数据组； 计算机代码，用于处理所述第二图像数据组以产生低频对焦数据组；以及 计算机代码，用于将所述高频对焦数据组与所述低频对焦数据组组合以产生光学截面 对焦数据组。
16.根据权利要求15所述的计算机程序产品，其中，用于处理第一图像的计算代码包 含用于将高通滤波器应用于所述第一图像数据组以实质上去除不对焦内容的计算机代码。
17.根据权利要求16所述的计算机程序产品，其中，用于处理第二图像的计算机代码 包含计算机代码，用于确定所述第二图像数据组的局部对比度，以产生局部对比度数据组；计算机代码，用于将所述局部对比度数据组与所述第一图像数据组相乘，以产生低分 辨率对焦数据组。
18.根据权利要求17所述的计算机程序产品，其中，用于处理所述第二图像数据组的 计算机代码还包括用于将低通滤波器应用于所述低分辨率对焦数据组的计算机代码。
19.根据权利要求17所述的计算机程序产品，其中，用于确定局部对比度的计算机代 码包括用于使用所述第一图像数据组补偿所述第二图像数据组中的对象对比度的计算机代码。
20.根据权利要求17所述的计算机程序产品，其中，用于确定局部对比度的计算机代 码包括用于使用所述第一图像数据组补偿所述第二图像数据组中由噪声引起的对比度的计 算机代码。
21.根据权利要求17所述的计算机程序产品，其中，用于确定局部对比度的计算机代 码通过估计局部图像标准差而确定所述局部对比度。
22.根据权利要求17所述的计算机程序产品，其中，用于确定局部对比度的计算机代 码使用单边带解调。
23.根据权利要求17所述的计算机程序产品，其中，用于确定局部对比度的计算机代 码使用双边带解调。
24.一种产生真实世界对象的光学截面图像的系统，所述系统包括 照明源空间图案产生器； 光学检测器阵列；以及处理器，从所述光学检测器阵列接收第一图像数据组和第二图像数据组，其中，响应于 所述照明源产生所述第一图像数据组，响应于所述照明源和所述空间图案产生器产生所述 第二图像数据组，所述处理器通过将来自所述第一图像数据组的高频对焦数据与来自所述 第一和第二图像数据组的低频对焦数据组合而产生光学截面图像。
25.根据权利要求M所述的系统，其中，所述照明源至少包括第一照明源和第二照明源。
26.根据权利要求25所述的系统，其中，所述第一照明源能够对所述真实世界对象进 行均勻照明。
27.根据权利要求25所述的系统，其中，所述第二照明源与所述空间图案产生器一起 能够对所述真实世界对象进行结构照明。
28.根据权利要求M所述的系统，其中，所述空间图案产生器是空间光调制器。
29.根据权利要求M所述的系统，其中，所述空间图案产生器是扩散器。
30.根据权利要求M所述的系统，其中，当暴露给所述照明源时所述空间图案产生器 产生几何图案。
全文摘要
处理器接收使用实质上的均匀照明来照明的真实世界对象的第一图像数据组。处理器接收使用实质上的结构照明来照明的真实世界对象的第二图像数据组。将高通滤波器应用于第一图像数据组以去除不对焦内容并得到高频对焦内容。确定第二图像数据组的局部对比度，产生低分辨率局部对比度数据组。局部对比度提供第一图像数据组中的对焦内容的低分辨率估计。将低通滤波器应用于估计的低分辨率对焦数据组，因此使其频率信息与高频对焦数据组互补。将高频对焦数据组与低频对焦数据组组合，以产生真实世界对象的光学截面数据组。
文档编号G06T5/50GK102057397SQ200980121101
公开日2011年5月11日 申请日期2009年6月3日 优先权日2008年6月5日
发明者杰罗姆·默茨, 肯耶·K·楚, 达瑞尔·林 申请人:波士顿大学理事会