用于增强图像分辨率的光学方法和系统的制作方法

专利名称：用于增强图像分辨率的光学方法和系统的制作方法
技术领域：
本发明涉及用于增强图像分辨率的光学方法和系统。
背景技术：
光学系统的分辨率通常受到衍射效应的限制。旨在实现超分辨率的技术试图扩展由于光学器件的物理尺寸而导致的衍射所设定的分辨率限制。数字成像用于超越由光电检测器(例如，CCD)的非零像素尺寸设定的限制，即几何分辨率。
常用的几何超分辨率方法依赖于使用反射镜照射(impinging)到检测器上的图像的子像素位移。在这些方法中，假设在扫描期间输入没有变化。该扫描本身为新创的(coined)微扫描。然后，将不同的抽样输入以计算的方式进行组合，并生成增强的图像。然而，这些方法有几个缺点例如需要会使得该系统更复杂、昂贵且易于出故障的机械元件；以及输出的非平凡检索(non trivial retrieval)，因为其涉及输出的去卷积处理。在以下出版物中公开了这些实施方案的示例R.Riesenberg，Th.Seifert，A.Berka，U.Dillner，″Opto-micromechanicalSuper Resolution Detector system″，Proc.SPIE 3737，pp.367-383，1999。
显然，上述方法牺牲了光学系统的特定自由度。如上所述，在进行微扫描时，假设输入不变。因此，为了增强空间分辨率，系统的时间分辨率降低。这些超分辨率方法牺牲了一个或更多个系统自由度，以改善其它自由度(例如，空间分辨率)。这在以下的出版物中进行了描述Z.Zalevsky，D.Mendelovic，A.W.Lohmann，″Understanding superresolution in Wigner space″，J.Opt.Soc.Am.，Vol.17，No.12，pp.2422-2430，2000。
诸如混叠的已知效应通常被认为是成像技术中的问题。该效应与以下情况相关以稍高于尼奎斯特频率(即，光电检测器像素阵列的频率)的空间频率来捕获图像细节的任何尝试，都会导致该细节的空间或尺寸失真，即各个图像点拉伸、收缩或位移，以适应像素阵列，并且如果该细节覆盖任何可感知的区域，则会出现可见混叠。实际上，当图像分辨率大于检测器分辨率(尼奎斯特抽样率)的一半时会出现混叠。在数学方面，当满足以下条件时会出现混叠2Δvimage＞Δv，其中1/Δvimage是在检测平面上测量的图像分辨率，而1/Δv是检测器分辨率，Δv＝1/Δx，Δx是检测器的像素间距。如上所述，混叠效应被认为是成像技术中的问题，并且通常应用多种技术来减少这种效应。

发明内容
在现有技术中需要通过提供下述的新颖成像方法和系统以便于分辨率增强(超过几何分辨率)，该新颖成像方法和系统不需要移动成像系统的(一个或多个)元件。
本发明通过利用混叠效应(而不是试图抑制该效应)来解决上述问题。更具体地，本发明利用光信号(该光信号表示要以增强分辨率成像的对象的至少一部分，同时朝向检测器像素阵列传播)的波阵面的预定孔径编码，以使得能够使用该孔径编码对由在检测器平面中出现的混叠导致的检测器像素阵列的抽样输出进行解码，由此以增强分辨率重构该图像。
这里，术语“增强分辨率”是指高于由检测器的像素尺寸限定的分辨率(几何分辨率)的分辨率。
本发明由于利用了适当的孔径编码，所以通过所需的因子k增强了对象的至少一部分的图像的分辨率。该孔径编码包括通过根据在检测器平面中出现的混叠而预定的函数(编码)对光信号进行光学处理，从而提供表示检测器的抽样输出的频谱数据的正交性。应该理解，分辨率增强的最大值k(放大因子)由检测器的像素间距Δx、波长λ和成像系统的F号，F#来限定，即，k=Δxλ·F#.]]>
孔径编码函数是以下参数的函数所需的分辨率增强因子k；检测器像素阵列的参数(检测器中的像素的数量N和像素间距Δx)；以及成像参数，其通常被确定为成像透镜与检测器平面之间的距离V，对于相干光该成像参数还是检测器与其中进行了编码的频谱平面之间的距离。优选地，孔径编码还是波长的函数。
该编码优选地应用于基本上位于成像系统的频谱平面处的光信号的波阵面，该频谱平面是由该系统的成像透镜装置的位置限定的。这是通过以下方式来实施的在频谱平面附近设置光学掩模(optical mask)，即将光学掩模设置在靠近该光学掩模的透镜装置的上游或下游，或者将该掩模合并在该透镜装置中(例如，在透镜的表面上或其内部设置光学掩模图案)。应该注意，通常该光学掩模可以设置在离成像透镜任意已知距离处，只要该掩模结构考虑了该距离即可。
孔径编码是“正交编码”，即这种编码提供了表示检测器的抽样输出的频谱数据的正交性。这可以下述的方式来实施通过使用正交光学掩模或者构造为在傅立叶域内提供检测器的抽样输出的归一化的正交性的光学掩模。考虑在频谱平面中应用的孔径编码，该孔径编码包括将掩模函数(图案)乘以来自对象的光信号的波阵面(即，该对象的傅立叶变换)，这提供了表示检测器的抽样输出的频谱数据的正交性。通过使用孔径编码对检测器的抽样输出(或者其归一化)进行处理，可以通过由预定因子进行了增强的图像分辨率来获得对象的至少一部分的正确(没有混叠的)图像。
该光学掩模可以是幅值编码掩模或者仅相位(phase-only)编码掩模。该光学掩模为固定图案的形式(所谓的“无源掩模(passive mask)”)，或者是具有不同光学特性的间隔开区域的可变图案的形式(所谓的“有源掩模(active mask)”)，其中所选择的图案(其周期)被确定为上述参数的函数。因此该光学掩模的形式可以是间隔开的光透射和阻挡区域的图案、相位光栅(例如，Dammann光栅)、或者用于选择性地限定不同光学特性的间隔开区域的所需图案的空间光调制器(SLM)。考虑到对SLM的偏振输入，该SLM可以根据其是否配备有输出偏振器，分别进行幅值或相位编码。
本发明可以增强对象的预定部分的图像分辨率，同时对该对象的其它部分以系统的几何分辨率进行成像。这是通过对检测器的抽样输出进行附加处理来实现的，并且可以在不涉及机械部分的任何附加运动或者时间变化的情况下，通过单个获取的图像来实现。
应该理解，在应该通过特定的因子k来增强所获得的整个图像的分辨率的情况下，该检测器的视野使得原始对象占据该检测器视野的大约1/k。在这种情况下，以增强分辨率对该对象的一部分进行成像，而以几何分辨率对该对象的其余部分进行成像，检测器视野中的像素数量N应该为N＝Mk+1(对于为其设计了孔径编码掩模的特定波长)，其中，M是整数，从而该条件提供了尽可能接近检测器中的像素数量的N。
因此，根据本发明的一个主要方面，提供了一种用于为对象进行成像的方法，其中通过预定的因子使得该对象的至少一部分的图像分辨率超过由检测器像素阵列限定的几何分辨率，该方法包括对光信号(表示要以增强分辨率进行成像的对象的至少一部分，同时朝向检测器像素阵列传播)的波阵面进行静止光学处理，所述处理对所述波阵面应用了所述分辨率增强因子的预定函数。
根据本发明的另一方面，提供了一种为对象进行成像的方法，其中通过预定的因子使得该对象的至少一部分的图像分辨率超过由检测器像素阵列限定的几何分辨率，该方法包括对光信号(表示要以增强分辨率进行成像的对象的至少一部分，同时朝向检测器像素阵列传播)的波阵面进行静止光学处理，所述光学处理利用了所述分辨率增强因子以及在检测器平面中出现的混叠效应。
根据本发明的另一方面，提供了一种为对象进行成像的方法，其中通过预定的因子使得该对象的至少一部分的图像分辨率超过由检测器像素阵列限定的几何分辨率，该方法包括对光信号(表示要以增强分辨率进行成像的对象的至少一部分，同时朝向检测器像素阵列传播)的波阵面进行光学处理，所述光学处理是根据在检测器平面中出现的混叠而预定的；以及提供表示检测器的抽样输出的频谱数据的正交性，由此使得能够对与该对象的单个获取的图像相对应的抽样输出进行数字处理，以使用通过所述因子增强的分辨率来重构该对象的所述至少一部分的图像。
根据本发明的另一主要方面，提供了一种为对象进行成像的方法，其中通过预定的因子使得该对象的至少一部分的图像分辨率超过由检测器像素阵列限定的几何分辨率，该方法包括对光信号(表示要以增强分辨率进行成像的对象的至少一部分，同时朝向检测器像素阵列传播)的波阵面进行预定的孔径编码，所述孔径编码是根据在检测器平面中出现的混叠而预定的；以及提供表示检测器的抽样输出的频谱数据的正交性，由此使得能够使用孔径编码通过由所述因子增强的分辨率来重构对象的所述至少一部分的图像。
根据本发明的另一主要方面，提供了一种为对象进行成像的方法，其中通过预定的因子使得该对象的至少一部分的图像分辨率超过由检测器像素阵列限定的几何分辨率，该方法包括对光信号(表示要以增强分辨率成像的对象的至少一部分，同时朝向检测器像素阵列传播)的波阵面进行预定的孔径编码，该孔径编码在检测器平面上生成所述波阵面的空间扩展频谱，以使得能够使用该孔径编码对由检测器平面中出现的混叠导致的检测器的抽样输出进行解码，由此通过由所述因子增强的分辨率来重构对象的所述至少一部分的图像。
根据本发明的另一主要方面，提供了一种为对象进行成像的方法，其中通过预定的因子k使得该对象的至少一部分的图像分辨率超过由检测器像素阵列的参数限定的几何分辨率，该方法包括对光信号(表示要以增强分辨率成像的对象的至少一部分，同时朝向检测器像素阵列传播)的波阵面进行预定的孔径编码，所述预定的孔径编码应用于基本上位于成像系统的频谱平面处的光信号的波阵面，并且是所述分辨率增强因子k、检测器的视野中的像素数量N、检测器的像素间距Δx、以及在成像透镜与检测器平面之间的距离V的函数，由此所述编码使得能够对由检测器平面中出现的混叠导致的检测器的抽样输出进行解码，以通过由所述因子增强的分辨率来重构对象的所述至少一部分的图像。
根据本发明的另一主要方面，提供了一种为对象进行成像的方法，其中通过预定的因子使得该对象的至少一部分的图像分辨率超过由检测器像素阵列的参数限定的几何分辨率，该方法包括对光信号(表示要以增强分辨率进行成像的对象的至少一部分，同时朝向检测器像素阵列传播)的波阵面进行预定的孔径编码，所述预定的孔径编码应用于基本上位于成像系统的频谱平面处的光信号的波阵面，并且是下述的函数，该函数提供表示检测器的抽样输出的数据的正交性，并使得能够对由检测器平面中出现的混叠导致的检测器的抽样输出进行解码，由此使得能够通过由所述因子增强的分辨率来重构对象的所述至少一部分的图像。
根据本发明的另一方面，提供了一种为对象进行成像的方法，其中通过预定的因子k使得该对象的至少一部分的图像分辨率超过由检测器像素阵列的参数限定的几何分辨率，该方法包括-对光信号(表示要以增强分辨率进行成像的对象的至少一部分，同时朝向检测器像素阵列传播)的波阵面进行光学处理，所述光学处理应用于基本上位于由成像透镜装置的位置限定的成像系统的频谱平面处的光信号，所述光学处理包括将所述波阵面乘以所述分辨率增强因子k、检测器的视野中的像素数量N、检测器的像素间距Δx、以及成像透镜装置与检测器平面之间的距离V的预定函数；-通过将抽样输出的逆傅立叶变换乘以所述预定的编码函数，对表示检测器信号的抽样输出的数据进行解码，由此通过由所述因子增强的分辨率来重构对象的所述至少一部分的图像。
本发明还提供对波长不敏感的衍射光学元件。这是通过在成像系统中传播的光的光路中设置适当设计波长掩模来实现的。该波长掩模可以是检测器的一部分，或者成像装置的一部分(例如，在本发明的上述方面的光学放大系统中考虑使用该衍射元件的孔径编码装置的一部分)。该波长掩模是由H个波长阻挡槽的阵列形成的图案，每一个波长阻挡槽均具有一定的谱宽度δλ，并且分别具有预定的频谱位置λ1，λ2，…λH。选择这些图案参数以满足下述的条件波长掩模函数的傅立叶变换的绝对值被限制为尽可能地远离零，并且另一方面，通过这些波长阻挡槽透射尽可能多的光能。
因此，根据本发明的另一主要方面，提供了一种用于为对象进行成像的方法，该方法包括使光信号通过波长掩模，该波长掩模具有对于不同波长具有不同透射区域的图案，所述图案在掩模输出中提供了最大能量和最大对比度；通过像素阵列检测器来检测该掩模输出；以及对表示该检测器的抽样输出的数据进行处理，由此产生对波长不敏感的衍射光学元件。
根据本发明的另一方面，提供了一种在成像系统中使用的光学掩模，以进行超分辨率成像，该掩模具有光学特性不同的多个区域的图案，所述图案被构造用来对通过该图案的光信号应用预定分辨率增强因子以及用于成像的检测器像素阵列的参数的预定函数，由此使得能够使用该掩模函数来处理该检测器的抽样输出，从而获得具有由所述因子增强的分辨率的图像。
根据本发明的另一方面，提供了一种在成像系统中使用的孔径编码装置，以进行超分辨率成像，该孔径编码装置可用于限定光学特性不同的区域的图案，所述图案被构造用来对通过该图案的光信号应用预定分辨率增强因子和检测器的参数的编码函数，由此使得能够使用所述函数对检测器的抽样输出进行解码，以重构具有由所述因子增强的分辨率的图像。
根据本发明的另一方面，提供了一种使用检测器像素阵列为对象进行成像的系统，该系统被构造用来通过预定的因子使得对象的至少一部分的图像分辨率超过由检测器像素阵列限定的几何分辨率，该成像系统包括成像透镜组件和孔径编码装置，其被构造用来在检测器平面中生成对象的实的非负像，该孔径编码装置相对于成像透镜组件位于预定位置处，并被构造用来限定具有不同光学特性的间隔开区域的预定图案，所述图案是根据分辨率增强因子和在检测器平面中出现的混叠而构造的，并且用于提供表示检测器的抽样输出的频谱数据的正交性，由此使得能够使用孔径编码对抽样输出进行解码，以使用由所述因子增强的分辨率来重构对象的所述至少一部分的图像。
根据本发明的另一方面，提供了一种成像系统，其包括-检测器像素阵列，其限定了该成像系统的几何分辨率并限定了检测器视野中的一定数量N的像素；-成像装置，其被构造用来在检测器平面中生成对象的实的非负像，该成像装置包括透镜装置和孔径编码装置，该孔径编码装置基本上位于由该透镜装置的位置限定的频谱平面中，所述孔径编码装置是光学掩模，其被构造用来限定具有不同光学特性的间隔开区域的图案，所述图案是预定因子k、检测器视野中的像素数量N和像素间距Δx、以及成像透镜装置与检测器平面之间的距离V的函数，以提供表示检测器的抽样输出的频谱数据的正交性，该孔径编码装置可以对通过该孔径编码装置的光信号的波阵面进行光学处理，以在检测器平面上生成所述波阵面的预定空间扩展频谱，由此使得能够对由于检测器平面中出现的混叠而导致的检测器的抽样输出进行解码；-处理器单元，其可以与该检测器相连，该处理器单元被构造用来对表示检测器的抽样输出的数据进行所述预定的孔径编码，从而以由所述因子增强的分辨率来重构对象的至少一部分的图像。
在本发明的另一方面，提供了一种在成像系统中使用的衍射光学装置，该衍射光学装置包括波长掩模，该波长掩模设置在从待成像的对象到像素阵列检测器的光的光路中，该波长掩模具有图案，所述图案由H个波长阻挡槽的阵列形成，每一个波长阻挡槽都具有一定的谱宽度δλ，并分别具有预定的频谱位置λ1，λ2，…λH，选择所述图案的参数以在掩模输出中提供最大能量和最大对比度，从而该衍射光学元件对波长不敏感。


为了理解本发明并了解在实际中如何实施，下面将参照附图仅以非限制性示例的方式来描述优选实施例，附图中图1是本发明的成像系统的示意图；图2A和图2B表示混叠效应的一般原理；图3A至图3D表示通过检测器像素阵列对信号进行抽样的原理图3A表示原始输入信号，图3B表示检测器中的像素的物理特性，图3C表示由检测器抽样的输入，而图3D表示对于“理想”检测器的检测器输出的傅立叶变换；图4表示本发明的用于增强图像分辨率的方法的主要操作步骤；图5例示了适于在本发明中使用，以通过因子3来增强图像分辨率的孔径编码掩模；图6A和图6B例示了在相干照明的情况下的本发明的原理，其中图6A表示孔径编码掩模函数的示例，而图6B表示通过检测器像素阵列对编码信号进行抽样的效果；图7A至图7D表示对于检测器参数的特定示例的模拟结果，其中图7A表示余弦光栅的输入图像；图7B表示在模拟中使用的孔径编码掩模；图7C表示该系统的理想输出形式的模拟结果；在没有应用本发明的方法的情况下检测器的抽样输出；在使用本发明的孔径编码重构之后的输入；和图7D表示原始输入频谱形式的系统的傅立叶平面；在使用孔径编码掩模的同时获得的抽样输出的频谱；以及使用本发明的孔径编码超分辨率获取的信号；图8A至图8C表示通过利用检测器的特定参数的简单成像系统获得的试验结果，其中图8A表示通过孔径编码掩模进行了处理的输入信号的抽样输出；图8B表示由没有孔径编码掩模的检测器抽样的输入；图8C表示系统的期望(理想)输出、在没有孔径编码的情况下的输入的抽样输出、以及使用孔径编码超分辨率获得的输出；图9示意地表示本发明的成像系统的另一示例，其使用频谱过滤和孔径编码；图10A至图10E表示当在多色照明的情况下进行操作的系统中使用本发明时获得的试验结果，其中图10A表示原始输入图像；图10B表示由于多色照明而导致的图像模糊；图10C和图10D表示分别使用1％和10％的阈值进行逆滤波的结果；以及没有频谱掩模的结果；图10E表示使用频谱掩模时获得的结果；图11A和图11B例示了分别透射62.5％和87.5％的能量的频谱掩模的照明函数(在傅立叶域中)；以及图12例示了仅相位孔径编码掩模的光栅函数。
具体实施例方式
参照图1，示意地示出了根据本发明的用于为对象(其被称为输入光12)进行成像的成像系统10。该成像系统10包括成像组件14和像素阵列检测器(例如，CCD)16。处理器单元18可与该检测器相连。该检测器(其像素尺寸)限定了该系统的几何分辨率。该系统10被构造用来通过预定因子k以比该几何分辨率高的分辨率来提供该物体的至少一部分的图像。
成像组件14被构造用来在检测器平面中生成物体的实的非负像。成像组件14包括透镜装置14A，其限定了该系统的频谱平面；以及孔径编码装置14B，在本示例中其基本上位于该频谱平面内。透镜装置限定了透镜孔径D。在本示例中，透镜装置由单个成像透镜14A构成。
孔径编码装置14B是光学掩模。尽管在本示例中，该掩模14B被显示为位于靠近该掩模的透镜的上游，但是应该理解，该掩模可以位于该透镜装置的上游或下游(非常接近该透镜或者与其间隔开一定的已知距离)，或者可以与该透镜装置集成为一体，即设置在透镜的表面上或合并在其内部。
光学掩模14B用于通过预定因子k来增强对象的至少一部分的图像的分辨率。孔径编码掩模14B选择为非负，即，编码函数的傅立叶变换为实数且非负。掩模14B被构造为使得能够进行图像重构。为此，光学掩模14B被构造为考虑了在检测器平面处不可避免出现的混叠效应，从而提供表示该检测器的抽样输出的频谱数据的正交性。
光学掩模14B限定了具有不同光学特性的间隔开区域的图案。优选地，该图案是以下参数的函数预定的分辨率增强因子k；检测器的参数，即检测器视野中的像素的数量N和像素间距Δx；成像透镜装置14A与检测器平面之间的距离V；以及优选地还有波长λ。
对于检测器视野中的像素的数量N，应该理解，其并不受限于与期望的分辨率增强一致的因子k。例如，考虑通过因子k来增强分辨率的整个所获得的图像，数量N应该使得原始输入(待成像的对象或者其部分)占据检测器视野的大约1/k像素。如下面更具体的描述，在以增强分辨率为对象的一部分进行成像，而以检测器的几何分辨率为对象的其余部分进行成像的情况下，检测器视野中的像素的数量N应该满足条件N＝Mk+1，其中，M是整数，以使得该条件提供尽可能接近检测器中的像素数量的N。该条件是对设计了掩模的特定波长而表示的。下面参照方程(44A)和(44B)来描述用于各种波长的掩模设计的情况。
将编码函数总体表示为 其中，坐标v和标志～表示傅立叶平面(孔径平面)中的信号。该编码函数使得将该函数应用于光信号的波阵面(使该光信号通过掩模14B)会根据在检测器平面上出现的混叠效应，在检测器平面上生成输入光的空间扩展分布(与CDMA中的扩展频谱方法相似)，并由此提供表示检测器输出的频谱数据的正交性。例如可以通过生成输入光信号的期望数量的复制品(replication)来实现空间扩展频谱分布，如下面更具体的描述。这样使得能够使用孔径编码对由于检测器平面中出现的混叠而导致的检测器的抽样输出进行数字处理，从而通过由因子k增强的分辨率来重构对象的至少一部分的图像。可以在检测器的抽样输出处直接获得表示检测器的输出的数据的正交性(在常规的正交幅值编码掩模的情况下)，或者通过对抽样输出进行归一化而获得该正交性(在仅相位掩模的情况下)。
在图1的本示例中，该孔径编码装置包括单个光学掩模14B。然而，应该注意，可以使用多个掩模来实现该孔径编码装置。如下面将参照图9所述，为了通过多色照明进行操作，该孔径编码装置优选地还包括频谱掩模。
该光学掩模14B可以是幅值编码掩模。其可以是间隔开的光透射和阻挡区域的预定的固定图案，或者可以是被构造为用于其偏振输入和输出的SLM。另选地，该光学掩模可以是相位编码掩模。其可以是相位光栅(例如，Dammann光栅)，或者没有输出偏振器的SLM。
本发明使用孔径编码消除了对附加机械元件(例如，用于微扫描的机械元件或者用于进行光学放大的机械元件)的需求。在本发明的成像系统中，检测器和附加元件都不动。本发明的成像系统适于通过相干或不相干照明来进行操作，如下面更具体的描述。
下面是本发明的原理的理论说明对于传统的成像系统(由成像透镜和检测器构成)，其中该透镜具有焦距F和孔径D并位于距检测器平面的距离R处(R＞＞F)，图像平面中的可视分辨率受到衍射的限制，并等于1.22λF#，其中λ是波长，而F#是该成像系统的F号并确定为F#=FD---(1)]]>将分辨率界限转换到对象平面，则可能看到的最小细节的尺寸为(δx)diff=1.22λDR---(2)]]>该检测器具有非零数量的尺寸为Δd的像素。该像素尺寸提供了该“几何分辨率”界限。该限制在对象平面中表示为(δx)g=ΔdFR---(3)]]>在大多数情况下，Δd>1.22λFD,]]>因此在光学系统中，几何分辨率成为瓶颈。例如，对于具有以下参数的普通成像系统(没有孔径编码)F#＝2，F＝300mm，λ＝0.5μm且R＝10km，可能看到的最小细节的尺寸为(δx)diff＝0.04m。对于Δd＝10μm，对象平面中的几何分辨率为(δx)g＝0.33m。因此，几何分辨率限制了整个系统的分辨率。
当“图像”到达检测器平面时，检测器通过具有预定间距的有限像素对图像进行抽样。对图像的抽样生成了频域中的原始图像频谱的复制品。这些复制品在频谱中以恒定的偏移Δv间隔开，该偏移Δv与检测器(例如，CCD)的分辨率的倒数Δx成比例Δv＝1/Δx，其中，Δx是像素间距，即其空间分辨率。如果复制品之间的距离不足，则复制品重叠。结果图像被破坏。
图2A和图2B分别表示原始输入频谱(在由CCD抽样之前)和所抽样的破坏频谱(CCD的抽样输出)，该破坏频谱是由于在图像分辨率高于CCD分辨率的一半(尼奎斯特抽样率)时出现的混叠而导致的。如上所述，在数学方面，当2Δvimage＞Δv时出现混叠，其中Δvimage是在CCD平面上测量的图像分辨率。当假设几何分辨率限制占主导地位时，忽略衍射效应。
因此，通过CCD对物理图像进行抽样与下述操作等价将输入与具有像素间隔频率的光栅相乘，然后通过具有单个CCD像素尺寸的宽度的rect函数(矩形窗口)对该结果进行卷积。后者模拟了非零像素尺寸的效果。在频率平面内，这与下述操作等价通过脉冲序列(由于像素间隔而产生)对原始输入频谱进行卷积，然后将该结果与宽度为2/Δd的sinc函数(sinc(x)=sin(πx)πx)]]>相乘。
图3A至图3D中示出了上述操作。图3A表示原始输入信号(输入光强的空间分布)。图3B表示该CCD中的像素的物理特性。图3C表示抽样输入。图3D表示对于所谓的“理想”CCD(由每Δd宽度彼此间隔开Δx的脉冲序列表示)，CCD输出(抽样输入)的傅立叶变换。
该像素间隔产生傅立叶变换中的一系列δ(delta)函数，而像素宽度生成了sinc函数。这些函数的相乘生成了CCD输出的完整傅立叶变换。因此，δ函数相对于sinc函数的位置与像素场因子的占空因数相对应。
本发明的技术利用该混叠效应来再现高分辨率图像，而不是进行微扫描以抑制混叠效应。这是通过下述操作来实现的以克服数据破坏的方式对原始输入信号的频谱进行编码。在抽样之前进行该编码以使得能够增强分辨率。
因此，由于通过CCD对图像进行抽样而导致的混叠使得图像失真。这是由于物理图像的频谱带宽相对较大而导致的。出现数据破坏是因为不能分辨重叠区域中的频谱的不同部分。为了避免在由于混叠而导致重叠的频谱区域中的数据丢失，使用光学掩模(图1中的14B)的不同图案特征(频谱掩模区域)对频谱的这些潜在的重叠区域进行编码。这些掩模区域用于提供表示抽样输出的数据的正交性。如上所述，这可以通过使用正交光学掩模或者使用相位掩模和对CCD输出进行归一化(将在下面更具体地描述)来实现。在傅立叶平面中进行该编码，因为在傅立叶平面中生成复制品(由于抽样而导致)。对频谱的不同部分的正确编码用于防止数据破坏并增强所接收的图像。
返回图1，应该注意，由于透镜孔径14A并不是分辨率降低的原因，所以可以将孔径编码掩模14B安装在透镜14A上，并且对不同的频谱区域(由于在CCD处的抽样，这些区域稍后会发生混叠)进行所需的正交编码。应该理解，术语“正交编码”是指下述的编码，该编码提供表示CCD的抽样输出的频谱数据的正交性，即，通过正交光学掩模进行编码或者通过提供该抽样输出的归一化的正交性的掩模进行编码。
下面将参照图4来描述系统10的主要操作步骤。光信号的波阵面(对象的傅立叶变换)在通过孔径编码装置14B(光学掩模)的同时，由孔径编码装置14B进行光学处理。对于在频谱平面中的孔径编码，该处理包括将该波阵面与掩模函数(预定编码)相乘。如上所述，其是以下参数的函数分辨率增强因子k、视野中的像素的数量N和像素间距Δx、透镜14A与检测器平面16之间的距离V以及优选地还有波长λ。在检测器处接收由此产生的编码光信号，其中对该信号进行了抽样。由处理器单元18对检测器的抽样输出进行电子处理。该处理包括将该抽样输出的逆傅立叶变换与孔径编码函数相乘。结果，获得具有增强分辨率的无破坏图像。
以下是对简单情况下的本发明的概念的理论分析，其中通过因子3来增强分辨率。在本示例中仅进行了一维计算。在该示例中，考虑理想CCD，其中像素无限小并且以间距Δx设置。下面将对有限尺寸像素的情况进行描述。
这里，傅立叶平面(孔径平面)中的信号的坐标由v表示并且由标记～来标识，而CCD平面中的信号的坐标由x表示。
假设CCD是理想的，即能够以离散点对图像场进行抽样。因此，将CCD建模为无限脉冲序列CCD(x)=Σn=-∞∞δ(x-nΔx)---(4)]]>其中，n是整数。
如图5中的图示，将孔径编码掩模分为下面的三个子函数
MA~SK(v)=Σn=-11gn(v-nΔv)---(5)]]>其中，gi具有保证掩模子函数的正交性的以下特性gi(v)gj(v-Δv)=0i≠jgi(v)=0i=-1,0,1∀v∉{-3Δv/2gi(v)≥0∀v3Δv/2}---(6A)]]>或者，对于分辨率增强因子k的一般情况的特性gi(v)gj(v-Δv)=0i≠jgi(v)=0i=-1,0,1∀v∉{-kΔv/2gi(v)≥0∀vkΔv/2}---(6B)]]>将孔径编码掩模选择为非负，即掩模函数的傅立叶变换为实数且非负。该掩模由尺寸为Δη的多个像素构成。每个像素都被分为多个片(chip)，每个片的尺寸为ΔW。在傅立叶平面中，将孔径编码掩模函数与输入光的频谱I(其表示场量)相乘。因此，傅立叶平面中的输出为O~(v)=I~(v)MA~SK(v)---(7)]]>CCD对该输出进行抽样，并且CCD的抽样输出S(x)为S(x)＝O(x)CCD(x) (8)使用方程(4)、(5)和(7)并在傅立叶平面中将方程(8)表示为S~(v)=O~(v)*CCD~(v)=[I~(v)Σn=-11gn(v-nΔv)]*[Σn=-∞∞δ(v-n1Δx)]---(9)]]>其中，符号*表示卷积运算。
由于Δv＝1/Δx，所以可以将最后的表达式简化为S~(v)=[I~(v)Σn=-11gn(v-nΔv)]*[Σn=-∞∞δ(v-nΔv)]]]>=Σn=-∞∞I~(v-nΔv)[Σm=-11gn(v-(n+m)Δv)]---(10)]]>其中，n和m为整数。
通过对CCD的抽样输出(grabbed output)进行傅立叶变换，并将所得结果与用原始孔径编码(掩模函数)相乘，来实现获得增强的图像
R~(v)=S~(v)MA~SK(v)]]>={Σn=-∞∞I~(v-nΔv)[Σk=-11gn(v-(n+k)Δv)]}[Σm=-11gm(v-mΔv)]]]>=Σn=-∞∞I~(v-nΔv)gn(v-nΔv)]]>=I~(v)MA~SK(v)---(11)]]>对于给定的孔径编码掩模，仅选择各像素的非零片内部的输出场量，生成作为期望输出的下抽样(downsampled)输出 这样，(通过孔径编码)对输入频谱进行正确的调制，防止由于混叠而导致的数据破坏。
对于物理成像系统，假设光学系统的输入仅为实数且非负。通过孔径编码掩模的傅立叶变换对该输入进行卷积，该孔径编码掩模也为实数，因为其在傅立叶平面内最初是对称的。将孔径编码掩模选择为在图像平面中不具有负值。这将在下面对不同类型的照明进行更具体地描述。
上述理论分析涉及“理想”CCD。在实际CCD中，像素具有有限尺寸。因为如上所述通过将该频谱与sinc函数相乘来得到输出频谱，所以这对输出频谱有影响。这对频谱正交性没有影响。这只引入了对抽样频谱进行重新校准的需求，而不会导致任何困难。
假设CCD进行理想抽样，在物理上，其仅测量抽样信号的绝对值。如果正确地选择了孔径编码掩模，则可以克服该限制，这将在下面更具体地描述。
下面将说明本发明与减少噪声相关的技术。应该理解，如果原始图像嵌入有某些类型的噪声，则其重构会具有相同的噪声。本发明的技术的优点在于在对图像进行编码之后，例如在由CCD进行抽样的过程中积累的噪声会减少。如果CCD被擦伤或弄脏，则会呈现与输入函数相乘的非常窄的干涉。由CCD测量的信号S’(x)等于S′(x)＝S(x)P(x) (12)其中，P(x)是干涉函数(噪声函数)。
所获得的输出(在傅立叶域中) 被确定为
考虑方程(11)，所获得的输出可以重新表示为 在空间域中，其等于R′(x)＝[I(x)*MASK(x)][P(x)*MASK(x)] (15)由于假设孔径编码函数为对象平面中的伪白噪声，并且由于该噪声函数n非常窄，所以可以假设P(x)*MASK(x)≈const+εMASK(x-x0) (16)其中const＞＞ε。
使用方程(14)，所获得的图像为R′(v)＝constI(v)MASK(v)+εexp(-2πix0)[I(v)MASK(v)]*MASK(v)(17)由于噪声因子恒定并且相对可忽略，所以所获得的图像可以表示为R′(v)≈constI~(v)MA~SK(v)---(18)]]>现在该获取等同于非干涉信号的获取。因此孔径编码显然有利地克服了非常有限空间的干涉。
下面将针对不同类型的照明对本发明的技术进行理论分析。
相干照明当使用相干照明时，相干转换函数 表示由于系统中的衍射和附加元件而导致的分辨率限制。 等于成像透镜的孔径D与孔径编码掩模 相乘的结果，该孔径编码掩模安装在透镜上、位于该透镜附近或者与该透镜集成为一体。CCD平面中的输出图像Oi可以确定为Oi(x)＝CTF(x)*gg(x) (19)其中gg表示在理想系统中(没有任何其它异常)，在CCD平面处获得的对象。
该CCD仅对图像的幅值进行抽样。因此，该抽样图像Ii为Ii＝|CTF(x)*gg(x)|2(20)为了防止信息丢失，该系统输出Oi应该是实数并且非负。这使得能够直接根据抽样图像Ii(其实际上是Oi的平方绝对值)获得输出。为了确保以全分辨率直接获得对象gg，孔径编码掩模和图像必须都是实数并且非负。假设实像不具有负值；仅要对孔径编码掩模进行处理。孔径编码掩模应该具有实数并且非负的傅立叶变换。另外，对于正交孔径编码掩模，应该满足以上方程(6B)。下面是适当的孔径编码掩模的示例。
将孔径编码掩模选择为由空间域中的δ函数的无限序列构成的掩模，每两个局部相邻的脉冲彼此间隔开距离Δη。该信号具有正频谱。使用编码掩模片的宽度ΔW，以高斯轮廓对该频谱进行卷积。该片的宽度与检测器的总体尺寸相对应(与CCD的视野相对应)。由于该掩模具有有限尺寸，所以将卷积的结果与rect函数相乘，该rect函数将掩模的尺寸设定为有限尺寸ΔBW。因此，该参数ΔBW与成像透镜的孔径(图1中的D)的尺寸相对应。该掩模的频谱可以计算为 (21)假设ΔBW＞＞ΔW，则如所期望的，接收到实数并且非负的频谱。可以容易地看出，如果实现下面的方程，则该掩模还满足用于孔径编码的条件Δv＝kΔη-ΔW/2，k∈N(21)这在图6A和图6B进行了图示，其中图6A表示孔径编码掩模函数的示例，而图6B表示由CCD对所获得的编码信号进行抽样的效果。掩模函数用于提供表示抽样输出的数据的正交性，因此数据检索是可能的。如图中所示，在CCD的抽样输出中没有出现重叠。
非相干照明对于非相干照明，由CCD抽样的强度分布确定为 其中， 是非相干光学传递函数，表示相关性操作。在以下的出版物中描述了这些关系的更详细推导J.Goodman，"Introductionto Fourier Optics"，McGraw-Hill，Singapore，International 2ndEdition，pp.101-104，1996。
使用非相干照明的操作对系统输出有影响。这要求孔径编码掩模使得自相关的结果保持正交。
非相干光学传递函数可以表示为相干转换函数的自相关积OTF~(v)=(CTF~(v)⊗CTF~(v))---(23)]]>在CCD平面中，这可以表示为OFF(x)＝|CTF(x)|2(24)其中， 是空间OTF(x)的傅立叶变换，而 是空间CTF(x)的傅立叶变换。由于其定义， 满足几个数学条件 此外，为了本发明的目的，函数 应该满足上述方程(6B)的条件(以保证正交性)，并且应该具有实数并且非负的频谱。由于根据以上理论分析，可以构造满足所有要求的 所以可以容易地得到最终掩模 将要设置在成像系统中的掩模为 由于其为实数并且非负，所以可以根据方程(24)直接导出OTF(x)=[CTF(x)]2⇓CTF(x)=OTF(x)---(26)]]>应该注意，由于将图像的频谱与高分辨率孔径编码掩模相乘，所以图像在图像平面中空间扩展。由于该扩展图像不应该与其它图像重叠，所以必须限制该系统的视野(否则，原始输入将失真)。因此，该视野必须由与所期望的分辨率提高一致的因子进行限制，例如，如果要使分辨率增强因子3，则原始图像不应该覆盖超过CCD的三分之一。仅由于将孔径编码掩模设置在成像透镜上，而可能导致能量损失。在下面将描述的更一般的情况下，没有将对象限制为视野的三分之一，但是减小动态范围以保持信息容量(即，将导致能量损失)。上述分析是在一维的情况下进行的。该技术可以直接扩展到二维图像。孔径编码掩模应该提供沿两个轴的正交性。设置在上述光学装置的透镜上(或结合在其中)的这种掩模将在第一轴上产生分辨率增强k1以及在第二垂直轴上产生分辨率增强k2(根据在各个轴上的掩模属性)。这将导致k1·k2的总视野损失。由于对于各个轴可以分别地进行二维傅立叶变换，所以图像获取也与一维情况下的相同。
参照图7A至图7D，其表示在以下CCD像素尺寸和像素间隔(间距)的实际大小的情况下的模拟结果。

为了简化，该模拟是一维的。另外，该模拟涉及相干系统。如图7A所示，选择余弦光栅的输入图像。应该注意，该附图也是一维的，改变结果的比例以帮助理解该结果。该余弦光栅具有下述的频率，其中CCD抽样会导致明显的混叠。图7B中示出了孔径编码掩模(如上所述构造)。该掩模是透镜孔径(图1中的D)的尺寸的三分之一。
在该模拟中，对原始输入进行傅立叶变换，将其与孔径编码掩模相乘，并再次进行逆傅立叶变换。这对安装在成像透镜上的孔径编码掩模进行了模拟。根据CCD的属性对所产生的编码信号的幅值(magnitude)进行抽样。如下进行信号获取对所抽样的数据(CCD输出)进行逆傅立叶变换，将其与孔径编码掩模相乘，并进行傅立叶变换以产生所期望的输出。
在图7C中给出了模拟结果，示出了(1)系统的理想输出，其实际上是原始输入图像(即待由系统成像的对象)-图7A的余弦栅格；(2)在没有应用本发明的超分辨率方法的情况下的CCD抽样输出，其中可以看到在图像频率远低于原始对象的频率时，图像分辨率的完全损失以及明显的混叠；以及(3)使用孔径编码超分辨率进行了重构之后的输入表示令人满意地重构了图像。
图7D表示系统的傅立叶平面，示出了(1)原始输入频谱的频谱(余弦栅格输入)；(2)抽样输出的频谱一在使用孔径编码掩模时，由CCD进行抽样之后的输入频谱；以及(3)使用孔径编码超分辨率获得的信号一抽样和孔径编码超分辨率之后的输入频谱。在原始输入频谱(1)中，矩形表示由于通过CCD进行抽样而允许的带宽。对于抽样输出的频谱(2)，由于与孔径编码掩模相乘而加入了许多人为因素。对于所获得的信号，应该注意，在将该频谱与孔径编码掩模相乘之后，去除了所有的混叠频率，从而获得了原始输入，即完美的重构。
图8A至图8C表示通过简单成像系统形式的试验装置获得的试验结果，该简单成像系统包括单个成像透镜、设置在焦平面中的孔径(用于限制系统带宽)以及CCD检测器。孔径编码掩模安装在该透镜上。具有上表中所示属性的CCD对输出进行抽样。将与在模拟中所述相同的余弦输入栅格和孔径编码掩模用于该试验。
图8A和图8B分别表示通过孔径编码掩模进行了处理的余弦输入的抽样输出(在对抽样输出进行处理之前)；以及由没有孔径编码掩模的CCD抽样的余弦输入。当与在没有这种掩模的情况下的输出宽度相比较时，显然由于使用孔径编码掩模而导致图像扩展。
图8C表示(1)期望(理想)的余弦输出；(2)在没有孔径编码的情况下的余弦输入的抽样输出(这与图7D(3)相同，但是比例不同)，显示出由于低频率而导致明显的混叠；以及(3)使用孔径编码超分辨率所获得的输出。该孔径编码技术产生了令人满意的重构结果。应该注意，在所获得的图像(3)中出现的低频的稍微下降可能是由于抽样图像和孔径编码掩模之间的较小对准误差而导致的。
因此，本发明的技术提供了超分辨率方法，其克服了由检测器的像素尺寸设定的几何限制。根据该方法，使用孔径编码来超越几何分辨率限制。该解决方案不涉及任何附加的机械元件，具有非常简单的光学实施方式，并且可以通过相干光或非相干光来进行操作。本发明的技术可用于增强数码相机、扫描器和其它与成像相关的平台的分辨率。该技术可以在不使用任何运动元件的情况下进行光学放大。可以使用孔径编码掩模，来通过因子k实现分辨率增强，同时该相同的因子牺牲了视野。
下面是本发明的特定示例，表示了全光学连续放大操作，其中输入对象的视野并不限于中心的三分之一。在该示例中，孔径正交编码用于在CCD平面上生成输入对象的复制品，并被构造用来提供三倍分辨率增强(×3放大)。应该理解，可以将相似的推导应用于任何其它分辨率增强因子。
假设孔径和F号F#使得仅在由CCD获取的图像的视野的中心三分之一获得与F#相对应的高分辨率成像。而在其余三分之二中，通过因子3实现光学分辨率下降，即通过光学传递函数(OTF)实现的分辨率转换等于检测器的几何分辨率。因此，光学分辨率比仅在视野的中心三分之一中的几何分辨率要高三倍。在大多数成像系统中易于实现图像中心区域中的高分辨率的一般效果成像透镜在球面上进行成像，而CCD是平面。因此，仅在中心处实现高分辨率成像，而在边缘处，图像位于焦点之外从而其分辨率下降CCD平面上的孔径(透镜)的点扩展函数变为偏移变量(shift variant)。
视野的三个区域由S-1(x)、S0(x)和S1(x)表示。为了实现超分辨率条件(即，实现正交编码)，三个复制品之间的距离必须为非整数与像素间距相乘的结果，即需要子像素偏移。因此，在这三个复制品中生成的图像基本上不相同(它们相减不会为零)。
透镜的孔径尺寸由D表示，并且CCD平面中的像素间距由Δx表示。
如上所述，只有区域g0(x)具有比检测器的几何分辨率高三倍的分辨率，因此 (27)其中，λ是波长，F是成像透镜的焦距，而 是视野的第m(m＝-1，0，1)区域的第n(n＝-1，0，1)频谱槽分布，μ是傅立叶域中的坐标，即μλF=v,]]>并且由大写字母对函数进行标识表示该函数的傅立叶变换。
为了实现比检测器的几何分辨率高三倍的视野中心区域的分辨率，应该满足以下条件λFΔx=D3---(28)]]>当通过孔径编码掩模时，由编码掩模的适当槽对各个频谱槽进行编码 其中， 是编码掩模子函数(在傅立叶域中)；MT是编码掩模函数的逆傅立叶变换。
在频谱的复制品实现所期望的正交性之后，该掩模也包含三个槽。
在CCD平面处，在复制处理之后进行抽样f(x)=Σn=-1n=1Sn(x)⊗MT(x)·Σnδ(x-nΔx)]]>现在，用fm表示在CCD平面处的视野的第m区域获得的图像，则可以获得f-1(x)=[(S-1(x)+S0(x))⊗MT(x)]·Σnδ(x-nΔx)]]>f0(x)=[(S-1(x)+S0(x)+S1(x))⊗MT(x)]·Σnδ(x-nΔx)]]>f1(x)=[(S1(x)+S0(x))⊗MT(x)]·Σnδ(x-nΔx)---(30)]]>其中，Σkδ(x-nΔx)]]>表示像素阵列的抽样；而表示卷积处理。
对方程(30)中的表达式进行傅立叶变换，并在与几何带宽(即，D/3)相对应的频谱区域内进行观察，可以得到
F~-1(μλF)=∫f-1(x)exp(-2πixμλF)dx]]>=[S~-1,0(μλF)g~0(μλF)+Σn=-11S~0,n(μλF)g~n(μλF)]rect(μΔxλF)]]>F~0(μλF)=∫f0(x)exp(-2πixμλF)dx]]>=[(S~-1,0(μλF)+S~1,0(μλF))g~0(μλF)+Σn=-11S~0,n(μλF)g~n(μλF)]rect(μΔxλF)]]>F~1(μλF)=∫f1(x)exp(-2πixμλF)dx]]>=[S~1,0(μλF)g~0(μλF)+Σn=-11S~0,n(μλF)g~n(μλF)]rect(μΔxλF)---(31)]]>由于掩模的三个槽g~n(μλF)]]>的正交性g~n(μλF)·g~m(μλF)=1n=m0n≠m---(32)]]>应该注意，由于分辨率因正交编码而通过因子3增大，因此相乘结果1被认为是在三次下抽样之后获得的。还应该注意，尽管这里没有具体说明，但是也需要该下抽样操作，以恢复所编码的信息。
这样，对于视野中心区域的-1和1频谱槽，获得了以下的解S~0,-1(μλF)=F~-1(μλF)g~-1(μλF)=F~0(μλF)g~-1(μλF)=F~1(μλF)g~-1(μλF)]]>S~0,1(μλF)=F~-1(μλF)g~1(μλF)=F~0(μλF)g~1(μλF)=F~1(μλF)g~1(μλF)---(33)]]>并且对于视野的所有三个区域的0频谱槽，进行以下设定F~-1(μλF)g~0(μλF)=S~-1,0(μλF)+S~0,0(μλF)]]>F~0(μλF)g~0(μλF)=S~-1,0(μλF)+S~0,0(μλF)+S~1,0(μλF)]]>F~1(μλF)g~0(μλF)=S~0,0(μλF)+S~1,0(μλF)---(34)]]>这些方程的解为
S~-1,0(μλF)=[F~0(μλF)-F~1(μλF)]g~0(μλF)]]>S~0,0(μλF)=[F~-1(μλF)+F~1(μλF)-F~0(μλF)]g~0(μλF)]]>S~1,0(μλF)=[F~0(μλF)-F~-1(μλF)]+g~0(μλF)---(35)]]>因此，提取了所有需要的信息，即实现中心区域中的×3放大所需的信息，同时也可以获得视野的其余区域的未放大信息。这样，通过数字地改变该放大，可以实现连续放大，同时仅可以在视野的中心三分之一区域中获得最大放大因子3。
本发明解决了所有光学放大技术的波长敏感性问题。该技术通常用于解决所有衍射光学元件(DOE)的波长敏感性问题。
考虑上述示例，由于编码掩模在CCD平面上产生复制品，所以其对照明的波长敏感。不同的波长将产生复制品之间的不同间隔。给定具有周期μ0的光栅，其安装在成像透镜的孔径上，则复制品之间的距离为λF/μ0。由于其对于波长λ是线性的，并且假设波长的频谱带宽为Δλ，所以使用照明频谱L(λ)对在视野的左右三分之一中获得的图像进行卷积。这意味着将空间频谱与照明频谱L(λ)的傅立叶变换相乘F~^-1(μλF)=F~-1(μλF)·L~(μλμ0)]]>F~^1(μλF)=F~1(μλF)·L~(μλμ0)]]>L~(μ)=∫L(λ)exp(-2πiλμ)dλ---(36)]]>其中，F~^-1(μλF),F~^1(μλF)]]>是由于多色照明而获得的视野的左右三分之一的空间频谱分布。在单色的情况下，它们分别等于F~-1(μλF),F~1(μλF).]]>该频谱的宽度为Δλ，因此图像将变得模糊(smeared)并且空间分辨率将降低为(Δλ)F/μ0。对于其中(Δλ)F/μ0＞Δx的所有情况，将损害所有的光学放大。考虑λF/μ0＝100Δx＝1mm，λ＝532nm，Δλ＝200nm，有(Δλ)F/μ0＝37.5Δx＞Δx。
为了解决该问题，使用频谱过滤器以阻挡部分波长的频谱，从而照明频谱(在傅立叶域中) 不会为零，并且其允许使用逆滤波原理，即，将F~^-1(μλF),F~^1(μλF)]]>除以 以获得F~-1(μλF),F~1(μλF).]]>图9中示出了该处理，其中显示了总体由100表示的成像系统，该成像系统被构造成大体上与图1的系统相似，不同之处在于使用了频谱掩模22(滤色掩模)。掩模22可以设置在光从对象传播到检测器的光路中的任何位置处，例如其可以是孔径编码掩模14B的一部分或者检测器16的一部分。在本示例中，掩模22设置在孔径编码掩模14B的上游。掩模22基本上是阻挡部分波长并透射其它波长的频谱滤波器。掩模22具有波长阻挡槽，该波长阻挡槽设置为使得系统操作(包括对检测器的抽样输出进行数字处理)生成波长不敏感的衍射光学元件。
用于设计最佳频谱掩模的算法通常致力于在掩模输出中提供最大能量和最大对比度，最大对比度是指阻挡掩模函数的傅立叶变换尽可能地远离零。因此，适于在设计掩模22时使用的算法的主要步骤如下掩模22必须形成有H个频谱阻挡槽，每一个频谱阻挡槽都具有频谱宽度δλ和频谱位置λ1，λ2，…λH。选择预定值H，并对位置值λ1，λ2，…λH和阻挡宽度δλ进行搜索，对于该阻挡宽度δλ，该阻挡掩模的傅立叶变换的绝对值(由|W(v)|表示)尽可能远离零。该搜索可以是随机的，即，对于所有可能的各种参数δλ和λh计算在所关注的频谱区域中的|W(v)|的最小值，或者可以应用更有条理的搜索方法。本发明人采用正好覆盖所有可能性的随机搜索来进行模拟，并选择最佳的参数集合。从能量方面考虑，一方面，期望各个宽度δλ和阻挡周期的数量H尽可能地小，这是因为δλ和H与由掩模阻挡的能量成比例，而另一方面，由于|W(v)|应尽可能地远离零的条件，所以必须进行折衷选择。
为了简化，假设阻挡掩模的长度应该具有八段。每一段都可以阻挡能量或者透射能量。对所有可能的掩模组合(28＝256种可能)进行搜索，以使傅立叶变换的最小值应尽可能地远离零。考虑所引入的能量，由滤波器阻挡的最大能量应该不超过35％(显然，这限制了可能情况的数量)。这意味着阻挡掩模应该至少具有五个透射段(而其余的可以是阻挡段)。术语“透射”是指掩模在这些段等于1，而术语“阻挡”是指掩模等于0。透射区域的位置是搜索最佳遮蔽的算法的一部分。
由于可以预测照明的波长分布L(λ)，所以可以实现阻挡掩模的适当优化以及适当的后处理。在选择了最佳频谱波长阻挡段之后，如下进行去模糊操作在进行波长阻挡读出处理之后获取失真的模糊图像。对该图像进行傅立叶变换，并且通过波长阻挡掩模的傅立叶变换[W(v)]对其进行划分。这是逆滤波过程。当存在噪声时可以构造Wiener滤波器。计算逆傅立叶变换，以获得未失真的空间图像。
参照图10A至图10E，其例示了实验结果。图10A表示原始输入图像。在图10B中，由于使用了多色照明而导致图像模糊。模糊宽度(Δλ)F/μ0为16Δx。图10C表示使用阈值1％(由于噪声使得这可能不可行)的逆滤波(在没有掩模情况下的去卷积)的结果。图10D为了比较的目的，例示了使用阈值10％的逆滤波的结果。图10E表示使用适当的阻挡掩模(图9中的22)，并且在阈值达到20％(在这种情况下没有噪声问题)时进行去卷积而获得的结果。应该注意，这里使用的术语“阈值”是指增加到分母以使得能够进行逆滤波计算的相对值(与最大值相比)。
图11A和图11B表示在掩模分别透射62.5％和87.5％的能量的情况下的照明函数(在傅立叶域中) 曲线G1和G’1分别与通过62.5％透射掩模和87.5％透射掩模获得的频谱响应相对应，而曲线G2与不使用这种掩模获得的频谱响应相对应。曲线G1(62.5％透射掩模)中的最小频谱值较高(20％)，但是对于87.5％透射掩模，与没有掩模的情况相比较，该值也可以足够高(大于10％)。该值与逆滤波计算中的阈值相对应。
下面是本发明的另一示例，其中孔径编码是正交Dammann编码。Dammann光栅是一种分析方法，用于通过使用仅二元相位光栅在傅立叶平面处实现期望点分布。通过求解实现所需点结构的方程组来计算-1至1之间的过渡点。Dammann光栅是具有对称基本周期的周期性结构。如下获得在区间
内对于具有一个周期的光栅的解参照图12，其示出了作为rect函数的组合的光栅函数G(x)
G(x)=Σj=1J(-1)jrect[x-(xj+1+xj)/2xj+1-xj],0≤x≤0.5---(37)]]>其中，J是过渡数(在
内)，其中g(x)在+1和-1之间变化。
假设光栅函数g(x)是无限周期性，则允许将其表示为傅立叶级数G(x)=Σm=-∞∞Amexp(2πimx)---(38)]]>其中，系数Am构成傅立叶平面中的衍射级的复幅值Am=2∫00.5G(x)cos(2πmx)dx---(39)]]>将方程(37)代入方程(39)中可得A0=4Σj=1J(-1)j+1xj+(-1)J+1]]>Am=2mπΣj=1J(-1)j+1sin(2πmxj),(m≠0)---(40)]]>其中，Am是系数，xm是如图12所示的Dammann光栅的过渡点。求解该迭代过渡点方程组可以得到傅立叶平面中的所需点分布。
如上所述，简化的正交编码掩模在CCD平面上产生图像的复制品。在二维情况下并且对于典型的正交掩模，对于×3放大的情况，中心复制品比位于视野的1和-1区域中的复制品强九倍(衍射级)。用作编码掩模的仅相位Dammann光栅提供了较高的能量效率，因为其是仅相位掩模。在本示例中，Dammann光栅(编码掩模)被设计用来生成3×3的等能量重复品。在通过CCD获取图像之后，通过适当的常数因子对各个复制品进行归一化，从而在傅立叶域中仅通过上述的常规正交掩模就可以获得期望的正交性。因此，使用Dammann光栅以获得高的能量通过量。然后，在获取图像之后，对于每一个复制品进行所需的归一化，从而获得原始正交编码掩模，并且解码算法(如上所述)保持不变。
应该注意，由于复制品为正，所以仅相位Dammann掩模对于相干以及空间非相干类型的照明都适用。
与常规正交掩模相似地设计适当的Dammann光栅，即，作为以下参数的函数分辨率增强因子k、CCD视野中的像素的数量N、像素间距Δx、透镜与CCD平面之间的距离V、以及优选地还有波长λ。Dammann的基本周期必须为μ0=λVkNΔx---(41)]]>并且还应满足成像条件1μ+1V=1F---(42)]]>其中，u是对象与成像透镜之间的距离，而F是透镜的焦距。对于大多数成像情况，V近似等于F。
如上所述，视野中的像素的数量N并不完全是CCD中的像素的数量。必须选择视野中的像素的数量N，以使其满足N＝Mk+1 (43)其中，M是整数，以使得方程(43)提供尽可能接近CCD中的像素的数量的N。
视野受到因子k的限制，该因子与所期望的分辨率增强一致。
应该注意，如上面的方程(41)所示，用于视野(N)的条件也与波长相关。因此，假设使用三个离散波长λR＝633nm，λG＝532nm和λB＝450nm，则方程(43)的条件变为如下M1k+1＝NM2k+1=λGλRN]]>M3k+1=λBλRN---(44A)]]>其中，M1、M2和M3是整数。
应该理解，以上是三个波长的特殊示例，其中λR是设计了光学掩模的“基准”波长，即最佳掩模操作(空间扩展)对其是最佳的。对于以λ1作为基准波长的n个波长λ1，λ2，…，λn的最通常情况，有M1k+1＝NM2k+1=λ2λ1N···]]>Mnk+1=λnλ1N---(44B)]]>
还假设k＝3并且N大约为490个像素。在搜索了求解方程(44)的Mi(i＝1，2，3)个整数之后获得的最优解为M1＝162，M2＝136并且M3＝115，这得出N＝487。因此，对于伴随方程(44)的整数Mi的该数值搜索可以同时为多个波长提供最优解(在编码的正交性方面)。
从x1开始直到设计了掩模的最大因子k，使用单个图像和适当的数字解码算法，所提出的算法可以实现连续光学放大。所提出的对传统放大的改进并不与信息理论(信道容量)相冲突，这是由于在视野中没有进行折衷的情况下(如通过方程27-36所证实)，空间像素量的增加会导致能量损失增大或者动态范围减小，从而保持了信道容量。在输入对象占据1/k的视野的情况下(在视野中进行补偿(payment))，不会产生动态范围或能量损失。
因此，所建议的方法通过对单个图像进行期望的放大而实际上推广到现有的放大装置。应该注意，动态范围中的补偿绝不会超过1位，这是由于所产生的空间像素数量的增加绝不会大于因子2。
因此，本发明的技术提供了超分辨率方法，其克服了由检测器的像素尺寸设定的几何限制。根据该方法，使用孔径编码来超越几何分辨率限制。该解决方案并不涉及任何附加的机械元件，并且具有非常简单的光学实施方式。已在数学上证实、模拟并最终实验验证了该技术。本发明的技术可以用于增强数码相机、扫描仪和其它与成像相关的平台的分辨率。该技术可以在不使用任何移动元件的情况下进行光学放大。可以使用孔径编码掩模，来通过因子N实现分辨率增强，而该因子牺牲了视野。
本发明的技术还可以用于光学码分多址(CDMA)方案(即，在光通信中)。CDMA技术主要集中在扩展频谱的“直接序列”方法。直接序列是一种扩频技术，其中通过将每一个位分为多个子位(“片”)来人工地增加位数据率，从而增大信号带宽。通过将该信号与伪噪声(PN)码相乘，来将该信号分为更小的位。将原始调制信号的各个位与该高数据率PN码简单相乘，可以将该信号分为更小的位(这增加了其带宽)。“片”数量的增加成比例地扩展了带宽。返回到图1，安装在成像透镜14A的孔径上的编码掩模14B现在是对时间调制光学信号的时间频谱进行操作的周期性滤波器结构。该滤波器14B将使用由于检测器的较慢时间抽样而产生的混叠，并且解析高频信息。因此，在光通信方案(发送器/接收器)中，多个发送器中的每一个都产生光信号，对其进行数据调制然后进行唯一编码(通过掩模14B)，从而与其自身唯一的伪噪声码相乘，并且通过网络传输。由于可能从不同的发送器同时发送各种信号，所以可以通过简单地将它们的频谱相加来表示这些发送。在接收器端，输入信号是扩频信号。为了提取单个数据消息，将输入信号与对应码相乘。给定的编码与其自身相乘会产生单位值(unity)。因此，通过将该信号与唯一编码相乘，可以消除对于具体消息的扩频效果。然后使得到的信号通过以载波频率为中心的带通滤波器(BPF)。该操作在丢弃由于扩展频谱中的其它消息而导致的所有周边频率的同时，仅选择所期望的信号。
该方案在通信中广泛使用，以提供多用户接入，其中每一个用户都使用唯一的PN码。该方法提供了非常重要的抗单音干扰性(这在成像中是重要的)和通常的光学实施方式(简单的二元掩模)。
对于本领域的技术人员显而易见的是，在不脱离由所附权利要求所限定的本发明范围的情况下，可以对以上所例示的本发明的实施例进行各种修改和变化。
权利要求
1.一种为对象进行成像的方法，其中通过预定的因子使得该对象的至少一部分的图像分辨率超过由检测器像素阵列限定的几何分辨率，该方法包括对表示要以增强分辨率进行成像的所述对象的至少一部分的、同时朝向检测器像素阵列传播的光信号的波阵面进行光学处理，所述光学处理是根据所述预定的分辨率增强因子以及在检测器平面中出现的混叠效应而预定的；以及提供表示所述检测器的抽样输出的频谱数据的正交性，由此使得能够对与单个获取的图像相对应的抽样输出进行数字处理，以使用通过所述因子增强的分辨率来重构所述对象的所述至少一部分的图像。
2.根据权利要求1所述的方法，其中，所述光学处理包括根据所述因子和所述混叠效应对所述波阵面进行预定的孔径编码，以提供表示所述检测器的抽样输出的频谱数据的正交性。
3.根据权利要求2所述的方法，其中，对位于由成像系统的成像透镜装置的位置限定的频谱平面处的光信号应用所述预定的孔径编码。
4.根据前述权利要求中的任意一项所述的方法，其中，所述光学处理包括使用一函数来处理所述波阵面，该函数的傅立叶变换为实数并且非负。
5.根据前述权利要求中的任意一项所述的方法，其中，所述光学处理包括使用下述参数的函数来处理所述波阵面所述分辨率增强因子k、所述检测器的视野中的像素的数量N、所述检测器的像素间距Δx、以及成像透镜与所述检测器平面之间的距离V。
6.根据权利要求5所述的方法，其中，所述视野中的检测器像素的数量N受到所述分辨率增强因子k的限制。
7.根据权利要求5所述的方法，其中，对于设计有孔径编码的特定波长，将所述检测器视野中的像素的数量N选择为以满足条件N＝Mk+1，其中，M是整数，以使N的值尽可能地接近所述检测器中的像素的数量。
8.根据权利要求5所述的方法，其中，所述函数是波长的函数。
9.根据权利要求8所述的方法，其中，对于n个波长λ1，λ2，…，λn，将所述检测器视野中的像素的数量N选择为满足以下条件，其中这些波长中的设计有最优孔径编码的一个波长，即λ1为基准波长M1k+1＝NM2k+1=λ2λ1N---(44B)]]>…Mnk+1=λnλ1N]]>其中，M1，…，Mn是整数，从而所述条件使得N尽可能地接近所述检测器中的像素的数量。
10.根据前述权利要求中的任意一项所述的方法，其中，所述波阵面的光学处理在所述检测器平面上产生所述光信号的至少一部分的空间扩展分布。
11.根据权利要求10所述的方法，其中，通过提供所述光信号的波阵面的预定数量的复制品来产生所述空间扩展分布。
12.根据前述权利要求中的任意一项所述的方法，其中，所述预定的光学处理包括使所述光信号通过正交光学掩模。
13.根据权利要求1至11中的任意一项所述的方法，其中，所述预定的光学处理包括使所述光信号通过一光学掩模，该光学掩模被构造用来提供所述检测器的归一化抽样输出的正交性。
14.根据权利要求13所述的方法，其中，所述光学处理包括所述波阵面的相位编码。
15.根据权利要求12所述的方法，其中，所述光学处理包括所述波阵面的幅值编码。
16.根据权利要求3至15中的任意一项所述的方法，其中，所述预定的光学处理包括将所述光信号的波阵面与所述预定的孔径编码相乘，由此在所述检测器平面上产生所述光信号的空间扩展频谱。
17.根据权利要求3至15中的任意一项所述的方法，其中，所述预定的光学处理包括将所述光信号的波阵面与所述预定的孔径编码相乘，由此在所述像素阵列平面上生成所述对象的所述至少一部分的复制品。
18.根据权利要求16或17所述的方法，其中，所述抽样输出的解码包括将所述抽样输出与所述预定的孔径编码相乘。
19.根据权利要求17所述的方法，其中，所述抽样输出的解码包括对于每一个复制品使所述抽样输出归一化，并且将归一化信号的逆傅立叶变换与所述预定的孔径编码相乘。
20.根据前述权利要求中的任意一项所述的方法，其中，所述光学处理定义了被分为多个子函数的函数，这些子函数的数量等于下述的因子，通过该因子来增强所述分辨率。
21.根据前述权利要求中的任意一项所述的方法，其中，所述光学处理包括使所述光信号通过一掩模，该掩模由无限序列的δ函数构成。
22.根据前述权利要求中的任意一项所述的方法，包括对所述光信号进行频谱滤波，以使所述频谱滤波和对所述检测器的抽样输出的处理一起产生对波长不敏感的衍射光学元件。
23.根据权利要求22所述的方法，其中，所述频谱滤波包括使所述光信号通过一波长掩模，该波长掩模被构造用来阻挡某些波长而透射其它波长。
24.根据权利要求22或23所述的方法，其中，所述波长掩模是进行所述光学处理的所述孔径编码掩模的一部分。
25.根据权利要求22或23所述的方法，其中，所述波长掩模是所述像素阵列检测器的一部分。
26.根据权利要求22至25中的任意一项所述的方法，其中，所述波长掩模包括由H个波长阻挡槽的阵列形成的图案，每一个波长阻挡槽都具有特定的频谱宽度δλ，并分别具有预定的频谱位置λ1，λ2，…λH。
27.根据权利要求26所述的方法，其中，选择所述波长阻挡槽的数量H、它们的最佳频谱位置λ1，λ2，…λH以及阻挡槽宽度δλ，以在所述波长掩模的输出中提供最大能量和最大光对比度。
28.根据权利要求27所述的方法，其中，选择所述波长阻挡槽的数量H、它们的最佳频谱位置λ1，λ2，…λH以及阻挡槽宽度δλ，以使得所述波长掩模函数的傅立叶变换的绝对值尽可能地远离零。
29.根据权利要求27所述的方法，其中，所述选择包括与所选择的H值相对应地搜索所述频谱位置λ1，λ2，…λH和所述阻挡槽宽度δλ。
30.根据权利要求29所述的方法，其中，所述搜索是随机的。
31.根据权利要求29所述的方法，其中，所述搜索包括对于所有可能的各种值δλ和λh，确定在所关心的频谱区域中的波长掩模函数的傅立叶变换的最小值。
32.一种具有检测器像素阵列的为对象进行成像的系统，该系统被构造为通过预定的因子使所述对象的至少一部分的图像分辨率超过由所述检测器像素阵列限定的几何分辨率，该成像系统包括成像透镜组件和孔径编码装置，其被构造用来在检测器平面中生成所述对象的实的非负像，所述孔径编码装置位于相对于所述成像透镜组件的预定位置处，并被构造用来限定具有不同光学特性的多个间隔开区域的预定图案，所述图案是根据分辨率增强因子和所述检测器平面中出现的混叠而构成的，并且提供表示所述检测器的抽样输出的频谱数据的正交性，由此使得能够使用孔径编码对所述抽样输出进行解码，以使用通过所述因子增强的分辨率来重构所述对象的所述至少一部分的图像。
33.根据权利要求32所述的系统，其中，所述孔径编码装置的所述图案是以下参数的函数所述预定的分辨率增强因子k、所述检测器的视野中的像素的数量N、所述检测器的像素间距Δx、以及所述成像透镜组件与所述检测器平面之间的距离V。
34.根据权利要求32或33所述的系统，其中，所述孔径编码装置设置在来自所述对象的光信号的光路径中，从而所述孔径编码装置对所述光信号的波阵面进行处理，以在所述检测器平面上产生所述光信号的至少一部分的空间扩展分布。
35.根据权利要求32至34中的任意一项所述的系统，包括处理器单元，其可以与所述检测器相连，并且可以通过使用所述孔径码对表示所述检测器的抽样输出的数据进行处理，来进行所述解码。
36.根据权利要求32至35中的任意一项所述的系统，其中，所述孔径编码装置可以用作光学掩模。
37.根据权利要求36所述的系统，其中，所述孔径编码装置包括所述光学掩模，该光学掩模具有光学特性不同的区域的所述图案。
38.根据权利要求37所述的系统，其中，所述光学掩模设置在所述成像透镜组件的上游或下游。
39.根据权利要求38所述的系统，其中，所述光学掩模与成像透镜组件集成为一体。
40.根据权利要求37所述的系统，其中，所述光学掩模的形式为所述成像透镜组件的表面上的图案。
41.根据权利要求37所述的系统，其中，所述孔径编码装置包括可用作所述光学掩模的空间光调制器。
42.根据权利要求41所述的系统，其中，所述空间光调制器设置在所述成像透镜组件的上游或下游。
43.根据权利要求41所述的系统，其中，所述空间光调制器与所述成像透镜组件集成为一体。
44.根据权利要求37至43中的任意一项所述的系统，其中，所述光学掩模是幅值编码掩模。
45.根据权利要求37至43中的任意一项所述的系统，其中，所述光学掩模是相位编码掩模。
46.根据权利要求45所述的系统，其中，所述相位编码掩模是Dammann光栅。
47.根据权利要求37至46中的任意一项所述的系统，其中，所述光学掩模被构造为使得所述光学掩模的傅立叶变换为实数并且非负。
48.根据权利要求33至47中的任意一项所述的系统，其中，所述视野中的检测器像素的数量N受到所述分辨率增强因子k的限制。
49.根据权利要求48所述的系统，其中，对于设计有孔径编码装置的特定波长，选择所述检测器视野中的像素的数量N以满足条件N＝Mk+1，其中，M是整数，以使N的值尽可能地接近所述检测器中的像素的数量。
50.根据权利要求33所述的方法，其中，所述函数是波长的函数。
51.根据权利要求50所述的方法，其中，对于n个波长λ1，λ2，…，λn，选择所述检测器视野中的像素的数量N以满足以下条件，其中这些波长中的涉及有最优孔径编码装置的一个波长，即λ1为基准波长M1k+1＝NM2k+1=λ2λ1N---(44B)]]>…Mnk+1=λnλ1N]]>其中，M1，…，Mn是整数，以使所述条件使得N尽可能地接近所述检测器中的像素的数量。
52.根据权利要求32至51中的任意一项所述的系统，包括波长掩模。
53.根据权利要求52所述的系统，其中，所述波长掩模设置在所述成像透镜组件的上游或下游。
54.根据权利要求52所述的系统，其中，所述波长掩模是所述成像透镜组件的一部分。
55.根据权利要求52所述的系统，其中，所述波长掩模是所述孔径编码装置的一部分。
56.根据权利要求52所述的系统，其中，所述波长掩模是所述检测器的一部分。
57.根据权利要求51至56中的任意一项所述的系统，所述波长掩模被构造为使得所述光信号通过所述波长掩模，并与所述抽样输出的解码一起生成对波长不敏感的衍射光学元件。
58.根据权利要求57所述的系统，其中，所述波长掩模包括由H个波长阻挡槽的阵列形成的图案，每一个波长阻挡槽都具有特定的频谱宽度δλ并分别具有预定的频谱位置λ1，λ2，…λH。
59.根据权利要求58所述的系统，其中，选择所述波长阻挡槽的数量H、它们的最佳频谱位置λ1，λ2，…λH以及阻挡槽宽度δλ，以满足下述的条件使得所述波长掩模函数的傅立叶变换的绝对值尽可能地远离零。
60.一种用于为对象进行成像的方法，该方法包括使光信号穿过一波长掩模，该波长掩模具有对于不同波长具有不同透射区域的图案，所述图案在掩模输出中提供最大能量和最大对比度；通过像素阵列检测器来检测所述掩模输出；以及对表示所述检测器的抽样输出的数据进行处理，由此生成对波长不敏感的衍射光学元件。
61.根据权利要求60所述的方法，其中，所述图案由H个波长阻挡槽的阵列形成，每一个波长阻挡槽都具有特定的频谱宽度δλ，并分别具有预定的频谱位置λ1，λ2，…λH。
62.根据权利要求60所述的方法，其中，选择所述波长阻挡槽的数量H、它们的最佳频谱位置λ1，λ2，…λH以及阻挡槽宽度δλ，以在所述波长掩模的输出中提供最大能量和最大光对比度。
63.根据权利要求62所述的方法，其中，选择所述波长阻挡槽的数量H、它们的最佳频谱位置λ1，λ2，…λH以及阻挡槽宽度δλ，以使得所述波长掩模函数的傅立叶变换的绝对值尽可能地远离零。
64.根据权利要求63所述的方法，其中，所述选择包括与所选择的H值相对应地搜索所述频谱位置λ1，λ2，…λH和阻挡槽宽度δλ。
65.根据权利要求64所述的方法，其中，所述搜索是随机的。
66.根据权利要求64所述的方法，其中，所述搜索包括对于所有可能的各种值δλ和λh，确定在所关心的频谱区域中所述波长掩模函数的傅立叶变换的最小值。
67.一种在成像系统中使用的衍射光学装置，该衍射光学装置包括一波长掩模，该波长掩模设置在从待成像的对象到像素阵列检测器的光的光路中，该波长掩模具有一图案，所述图案由H个波长阻塞槽的阵列形成，每一个波长阻塞槽均具有特定的频谱宽度δλ，并分别具有预定的频谱位置λ1，λ2，…λH，选择所述图案的所述参数以在掩模输出中提供最大能量和最大对比度，从而所述衍射光学装置对波长不敏感。
全文摘要
一种为对象进行成像的方法和系统，其中通过预定的因子使得该对象的至少一部分的图像分辨率超过由检测器像素阵列限定的几何分辨率。对表示待以增强分辨率进行成像的对象的至少一部分的、同时朝向检测器像素阵列传播的光信号的波阵面进行预定的孔径编码。所述孔径编码是根据检测器平面中出现的混叠而预定的，并且提供表示检测器的抽样输出的频谱数据的正交性，由此使得能够使用孔径码使用通过所述因子增强的分辨率来重构对象的所述至少一部分的图像。
文档编号G02B27/46GK1802847SQ200480013169
公开日2006年7月12日 申请日期2004年5月13日 优先权日2003年5月13日
发明者泽夫·扎莱夫斯基, 乔纳森·所罗门 申请人:艾科悉德成像有限公司