用于借助以不同的照明角度进行照明来图像记录的设备和方法与流程
本申请涉及用于图像记录的设备和方法。尤其是，本申请涉及这种设备和方法，在其中可以以提高的景深进行图像记录。
背景技术：
在借助图像记录设备记录尤其三维的对象的不同应用中，期望有大的景深，例如以便能够将所期望的区域或整个被记录的对象清晰地成像成二维图像。景深在此通常理解为如下区域，在该区域中对象足够清晰地成像例如根据记录介质如图像传感器的分辨率。
在典型系统中，为了增大景深可以减小数值孔径。然而这同时引起分辨率降低和/或可用的光减少。
增大用于图像记录的设备的景深的另一可能性是使用特殊的光瞳和场滤波器(feldfiltern)。对此的实例在edwardr.dowski,jr.和w.thomascathey的“extendeddepthoffieldthroughwave-frontcoding”(“appliedoptics”，第34卷，第11期，1859-1866，1995年)中予以描述。这种方式通常有如下缺点：其在较高的空间频率的情况下明显降低了对比度，这会由于噪声引起分辨率损失。此外，在这种情况下需要数字再处理时会出现伪像形成。此外，需要特定的光学设计，在其中光瞳平面/中间图像平面是可到达的并且在光学上进行修正，这造成设备的额外成本。
产生具有扩宽的景深的图像的第三传统可能性是由所谓的z堆栈测量(z-stapelanmessung)对这种图像进行数字计算。该方式也称作“景深合成”。在该方式中，利用不同的交点记录多个图像(例如通过样本的移动或通过设备的其他改变例如通过改变光学系统的聚焦)。借助合适的算法于是从每个图像中将相应清晰的区域转移到总图像中。在此，产生一图像，其具有近似任意的景深，而不会出现分辨率损失。该方式的缺点，上述的z堆栈也称离焦堆栈必须通过设备的部件的机械移动来产生(例如透镜移动以改变焦点和/或移动样本)，这可以持续相当长，会成本比较高昂和/或在移动样本的情况下样本会偏置到不期望的运动中。
技术实现要素：
因此，任务是提供方法和设备，利用其可以至少部分克服或减弱上文所描述的缺点并且可以以相较于传统单图像记录提高的景深进行图像记录。
提供了根据权利要求1所述的方法以及根据权利要求11所述的设备。从属权利要求限定了其他实施形式。
根据第一方面，提供了用于图像记录的方法，其包括：
记录多个图像，其中为了记录多个图像以在图像间不同的照明角度照明对象，并且处理所述多个图像，其中该处理包括：
将运算应用于所述多个图像，并且将所述多个图像与对其应用的运算组合，以便获得提高的景深的结果图像。
运算的应用可以包括将位移应用于图像的图像元素上。
通过使用以不同的照明方向记录的图像，为了产生具有扩宽的景深的图像可以避免用于调节焦点的机械移动，或(在期望的非常大的景深区域的情况下)减小机械移动。
位移可以与相应的图像的照明角度和在平行于光轴的方向上对象的与相应的图像元素对应的部分的位置有关。
运算的应用可以包括针对在平行于光轴的方向上多个位置应用运算并且为结果图像选择图像部分，所述图像部分显示用于清晰度度量的最大清晰度。
清晰度度量在此可以基于局部方差来确定。
该处理可以包括：
遍历如下循环，在该循环中位置参数在与用于图像记录的设备的光轴平行的所期望的位置范围上遍历，并且针对循环的每个位置参数：
将中间图像确定为关于多个图像的和，在所述图像上分别应用由相应的高度参数和相应的照明角度所应用的位移作为运算，
针对中间图像的每个图像元素形成局部方差值，并且将中间图像的如下图像元素记录到结果图像中，在所述图像元素中局部方差大于以前的循环遍历的局部方差。
此外，该方法还可以包括基于多个图像生成高度图。
该处理可以包括拼接。
该处理可以包括应用图像校正。
该结果图像可以包括相衬图像。
根据第二方面，提供了用于图像记录的设备，其包括：
照明装置，该照明装置可控制为，调节多个不同的照明角度来照明对象；图像记录装置，该图像记录装置设定为记录对象的多个图像，其中所述照明角度对于多个图像中的不同图像而言是有区别的，以及
分析装置，用于处理所述多个图像，其中所述分析装置设定为，将运算应用于所述多个图像中的每个图像并且将所述图像与对其进行应用的运算组合，以便产生具有放大的景深的结果图像。
该设备可以设定为执行上文所描述的方法。
附图说明
在下文中参照所附的附图详细地阐述了不同的实施例。在附图中：
图1示出了根据一个实施例的设备的的示意图，
图2示出了用于阐明根据一个实施例的方法的流程图，
图3示出了用于阐明根据另一实施例的方法的流程图，
图4示出了用于阐明一些实施例的图表，
图5a和图5b示出了应用根据实施例的方法与未应用根据实施例的方法的图像的视图，以及
图6示出了用于阐明实施例的工作方式的图表。
在这些图中，相同的附图标记表示相同或类似的元件。这些附图是本发明的不同实施例的示意图。在这些附图中所示的元件并不一定符合比例地被示出。更确切地说，按如下方式示出在附图中所示的不同的元件：其功能和其目的对于本领域技术而言是可理解的。
具体实施方式
在描述具有多个特征或元件的实施例期间，这不能解释为，所有这些特征或元件对于实施相应的实施例而言是必需的。更确切而言，在其他实施例中可以取消所示的元件或特征中的一些和/或通过替选的特征或元件替代。此外或替选地，除了所示的特征或元件之外还可以提供附加的并非明确示出的或描述的特征或元件，例如传统的光学部件。不同实施例的特征或元件可以彼此组合，除非另作说明。
在下文中描述了用于以提高的景深可进行图像记录的技术。尤其是以不同的照明角度进行的多个图像记录用于此。照明角度在此可以在数值和/或方向方面是不同的。提高的景深在本上下文中尤其表示：景深高于单个图像记录的景深。可选地，在此也可以附加以计算机方式修正像差，所述像差因离焦引起。像差的校正和修正在此理解为，利用其改进所产生的结果图像的质量并且至少可以减小确定的像差譬如因场曲和/或散光引起的离焦错误。
如在下文中详细描述的那样，在这些实施例中顺序地记录对象的多个图像。用于照明对象的照明角度被调节到不同的值以记录多个图像。所使用的设备的对焦调节在此可以保持不变以记录多个图像，使得不需要部件的机械移动。对所述图像的至少一部分应用运算，尤其是图像元素(例如像素)的位移。位移可以与相应的照明方向有关和与成像到相应的图像元素上的对象部分在z方向上的位置有关，其中z方向基本上表示平行于记录设备的光轴的方向(例如显微镜物镜等等)。这样随运算改变的图像可以彼此组合，以便产生具有提高的景深的图像。附加地，借助运算可以进行成像错误的校正，如上文所提及的那样。
图1示出了根据一个实施例的图像记录设备1的的示意图。图1的图像记录设备可以设计为自动化地执行根据不同的实施例的方法，例如在下文中参照图2和3所阐述的方法。图像记录设备1可以是显微镜系统或可以包括显微镜，其设置有还有详细描述的可控的照明装置、具有图像传感器的摄像机和用于产生具有提高的景深的图像和可选地也用于图像校正的电子分析装置。
图像记录设备1包括带有光源11的照明装置。提供聚光透镜12以便将由光源11发出的光转向到要成像的对象2上。照明装置设计为，可以将光以多个不同的照明角度4辐射到对象2上。为此，例如光源11可以包括多个光源元件例如发光二极管的装置，所述光源元件能够单独控制。例如，这种光源元件可以环形地设置。替选地，可控的元件可以设置在中间图像平面中，以便提供不同的照明角度，传统的光源被放大地成像到中间图像平面中。可控的元件可以是活动的针孔孔径(lochblende)、微镜装置、液晶矩阵或空间光调制器。
照明装置可以设定为，照明角度4的数值可以改变，该照明角度借助光轴5所夹。附加地或替选，照明装置可以设定为，照明角度可以在方向方面改变，即以照明角度4能够照明对象的射束3的方向在极化方向上(polarrichtung)可以围绕光轴5运动。可改变的照明角度因此可理解为如下照明角度，其可以在数值方面和/或在方向方面改变。
图像记录设备1的检测器14设定为，针对多个将对象2照明的不同的照明角度中的每个照明角度分别检测对象2的至少一个图像。检测器14的图像传感器15例如可以设计为ccd传感器、cmos传感器或tdi(“时间延迟积分”)-ccd传感器。成像光学装置例如显微镜装置的仅示意性示出的显微镜物镜13可以在图像传感器15上产生对象2的成像，尤其也可以产生放大的成像。图像传感器15可以包括用于图像记录的平坦的面。
图像记录设备1还包括电子分析装置20。电子分析装置20进一步处理多个图像，所述图像从对象针对多个照明角度4被检测。电子分析装置20例如可以通过具有一个或多个处理器的计算机设备的相应的编程来实施。然而，也可以使用特殊的硬件实施，例如专用集成电路(asic)。电子分析装置20尤其将运算应用于图像上并且于是将图像组合，以便获得具有提高的景深的结果图像。运算尤其可以包括图像点(像素)的位移，其中位移可以与照明角度以及对象的已成像到相应的图像点上的部分在z方向上的位置有关。此外，通过这种运算或位移可选地可以减小与场点有关的偏差，所述偏差因场曲和/或散光或其他与场点有关的离焦错误引起。为了这种校正，与场点有关的位移可以与同场点有关的离焦有关地确定，相应的图像点在图像平面中移动了该位移。用于执行这种校正的校正值可以存储在存储器介质21中，作为校正信息。图像错误的这种校正的详细信息例如在德国专利申请de102014112666a1中予以描述。在下文中详细描述的用于提高景深的方法可以与这种校正组合，但也可以单独应用。
在图2中示出了根据一个实施例的用于图像记录的方法。图2的方法例如可以借助图1的设备来执行，但也可以与之独立地使用。
在步骤31，以第一照明角度照明要记录的对象。例如，在使用图1的设备时可以由电子分析装置20控制照明装置，使得以第一照明角度照明对象。此外，在步骤31，检测第一图像，例如通过图1的图像传感器15来检测。
在步骤31，以第二照明角度照明对象，该第二照明角度在数值和/或方向上与第一照明角度不同。为此，又可以相应地控制所使用的照明装置。此外，例如通过图像传感器15检测相应的第二图像。
这可以利用不同的照明角度重复，直至在步骤32以第n照明角度照明对象并且记录第n个图像。n在此可以大于2，例如在10到40之间。
在步骤33，在n图像的每个部分或至少一部分上应用相应的运算，其中运算也可以包括对每个图像的多个子运算。运算尤其可以包括图像点(像素)的位移，其中位移的数值和/或方向一方面可以与所使用的照明角度有关，即可以因图像而改变，并且另一方面与所成像的对象的z坐标有关，其中z方向可以是垂直于图像平面的或平行于光轴5的方向，如这在图1中所示。在步骤34中，将已在步骤33中被应用了运算的图像组合，例如加和，以便获得具有增大的景深范围的图像。如已阐述的那样，运算在33处可以附加地用于修正图像错误。在33处的运算的应用和在34处的图像的组合不必按所描述的顺序进行，而是也可以彼此交织，使得例如针对图像的不同部分应用运算并且将图像组合。
在图3中示出了根据一个实施例的方法，其尤其示出了针对图2的步骤33和34的实例。
在36处，针对不同的z平面和不同的照明方向确定图像点的经优化的位移向量。经优化的位移向量于是也可以被存储，用于以后使用于其他图像记录，例如存储在图1的存储器21中。在37，位移向量应用于所述图像。最后，在38将图像组合，以便获得具有增大的景深的图像。
在下文中，还详细阐述了运算应用于图像和图像的组合以提高景深。根据一些实施例产生具有增大的景深的图像基于如下认识：在如上所描述地以不同的照明角度进行照明时，要记录的对象的相应的部分在图像传感器上被成像的位置在离焦的情况下与照明方向有关。换言之，要记录的对象的处于光学装置的焦点平面中的部分(例如，在图1的显微镜物镜13的焦点平面中)与照明角度无关地始终在图像传感器15的相同位置处被检测。但对于对象的处于焦点平面之外的部分，在图像传感器15上的成像以从照明角度到照明角度彼此移动的方式进行，其中，移位的大小与对象的相应的部分处于焦点平面之外多远有关，或换言之，其与对象的相应的部分的z位置有关。
基于此，例如可以在一些实施例中针对每个照明角度和每个z位置可以确定相应的位移，所述位移例如应用于图像的图像点(像素)。该位移尤其可以选择为使得补偿在不同的照明方向之间的偏移。当这样处理过的图像随后被加和时，形成具有增大的景深的图像。
要注意的是，利用这种方式，景深可伸展直至对应于所使用的设备的连贯
上面所阐述的基本原理可以以不同的方式应用，以便产生具有增大的景深的图像。
在一种策略中，“仿真”具有不同的焦点平面的z堆栈，即基于利用不同的照明角度记录的图像来计算。z堆栈于是可以利用传统的对于z堆栈已知的算法计算出具有增大的景深范围的图像。例如，对单图像可以应用渐进的位移作为运算，其中每个位移于是对应于另一z值。针对每个图像点于是可以使用位移值并且存储，在该图像点中图像在相应的图像点周围是“最清晰的”。作为标准在此例如可以使用局部方差。其他可能的标准例如是局部的边沿陡度、局部的图像清晰度度量和类似例如也用于摄影术中调节自动焦点的度量(masse)。
在下文中示出伪码，伪码说明了：具有增大的景深的图像的这种产生可以如何进行。
首先，将变量edof、zmap和bestevarianz以零初始化。这些变量例如是二维矩阵，其中针对每个图像点(或在其他实施例中对于每个图像点的每个色彩通道)设置矩阵的元素。
接着是如下循环，所述循环可以遍历变量z，该变量z是(根据图1的z方向的定义)遍历从最小值z_min到最大值z_max的z坐标。z_min和z_max在此在系统的已提及的连贯景深之内，然而这不必完全被利用。更确切地说，也可以仅处理子区域，在特定情况下仅对该子区域感兴趣时。
对于在循环中的每个z值于是计算图像作为单图像之和，其中相应的单图像的图像点被移动了如下数值(偏移)，所述数值与z值z和相应的单图像的相应的照明角度φ有关。于是，通过应用局部平均滤波(其例如在图像点的某个范围上例如在3x3个图像点的量级上可以求平均)确定每个图像点的局部期望值。基于所述局部期望值于是确定每个图像点的局部方差，其方式是：在图像与相应的局部期望值之间的差(针对每个图像点)被平方并且据此又应用局部平均滤波。变量“lokaleerwartungswert”和“lokalevarianz”于是是具有针对每个图像点(或每个图像点的每个色彩通道)的元素的矩阵。局部方差是清晰度的度量。于是，确定局部变量大于(以前)最好方差的所有索引即所有图像点。换言之，在此分别根据局部方差的度量确定如下图像点，在所述图像点处，在z循环的当前遍历中产生的清晰度好于在以前遍历时达到的清晰度值。
对于这些索引，即这些图像点，最好方差于是被置于相应的通道的局部方差上。最终图像edof于是针对这样确定的索引更新到相应的图像的图像点(可变的图像)，使得在z循环的完整遍历之后图像edof仅由相应的“最好”图像点构成。可选地，也可以将变量zmap相应地置于相应的z值上，使得在循环的遍历之后zmap是图像的图像点的z值的图，其中每个图像点的z值于是是如下值，在该值的情况下局部方差即用于清晰度确定的参数是最大的。
在伪编码中示出的方法中，根据z和φ例如事先通过校准可以获得和存储位移。在其他策略中，也可能的是，例如通过针对每个图像点经历不同的位移向量找到最优的位移向量。位移可以如已提及的那样附加地被用于修正图像错误。
也可以使用其他策略。例如，借助局部拼接方法可以将单图像分段，并且在每个子区域(分段)中执行自动的“离焦”查找，即针对每个子区域执行自动化的“离焦”查找。在此，单图像，即以不同的照明角度被照明的图像，被移动到相应的分段中，使得分段中彼此相应的结构尽可能好地叠置。类似的方法例如在德国专利申请de102014109687a1中予以描述，用于调节自动聚焦。这种离焦查找例如可以借助局部相关利用ssim(“结构上的相似度”)分析来执行。在这种策略中，不仅修正离焦，即对于每个分段实现优化过的清晰度，而是也可以修正其他与离焦有关的图像错误。
在又一另外的策略中，首先计算样本的3d图，基本上根据在上文所阐述的伪码中的zmap来计算。这种3d图可以基本上基于如下情况下确定：与z坐标有关地如已产生的图像区域根据照明角度经历不同的位移，使得由位移可以回推出z坐标。这种方法例如在de102014109687a1或de102014113433a1中予以详细描述。在这种方法中例如可以针对不同的照明角度确定相同结构彼此间的偏移，例如通过图像识别方法来确定，并且根据该偏差可以确定z坐标，例如基于之前的校准。具有扩宽的景深的图像于是可以基于样本的3d图根据利用对于每个z平面的图像元素的相应的位移进行的与场有关的离焦校正来描述，即离焦校正，如其例如在de102014112666a1或de102014112648a1(在那里为了图像错误的校正目的)所描述的那样。
应注意的是，这里所描述的技术不仅可以应用于传统的图像。更确切地说，其也可以应用于相衬图像，其同样可以通过以不同的照明角度进行照明来产生。例如在de102014112242a1中描述了，通过以不同的照明角度尤其是不同的照明方向进行照明如何能够产生相衬图像。在此，例如始终两个照明方向可以提供一对并且强度图像(即，传统的图像)由两个或三个或更多个任意的照明方向可以组合，其中照明方向与光轴夹有不同的角度。
为了阐明在图4中再次示意性地示出了所应用的原理。在图4的简化的示意性视图中，以不同的照明角度记录了三个图像41、42和43。如可看到的那样，对象的不同部分好像相对彼此移动，尤其在焦点之外的部分，这原因在于不同的照明角度。
对图像应用不同的运算t1至t3，其，应用于相应的图像点的位移一方面与z坐标有关而另一方面与照明方向有关，如上面所阐述的那样。这得到相应的图像44-46，在这些图像中彼此对应的部分基本上在相同的位置处。通过组合例如加和这些图像于是可以产生具有提高的景深的图像47，其中同时可以修正图像错误。如已阐述的那样，所示的方式也可以相对彼此移动或嵌套地执行，例如如在上述的伪码中，在那里随后对于不同的z坐标形成被应用位移运算的图像的和并且分别将“最清晰的”部分被接收到最终的图像中。在其他实施例中，也可以使用其他特征作为上述的伪码。
为了阐述所描述的方法和设备的作用，图5a示出了单图像，其例如利用一照明角度记录。图5b示出了利用根据一个实施例的方法产生的结果图像，在该结果图像中提高了景深。如可看到的那样，许多结构比在图5a的图像中可看到的图像明显更清晰。
现在还参照图6阐述了上文所描述的实施例的功能，即阐述了为什么能够利用所示出的和所阐述的实施例能够提高景深。换言之，参照图6阐述了上面已描述的效果的原因。
图6作为实例示出了具有两个透镜61、62的简单光学系统。在光学系统61、62的焦点平面60中的点p1至p3成像在图像平面63的点p1’至p3’上，在所述图像平面中例如存在摄像机。
为了进一步阐述，出于简洁性原因，作为对象从点p出发，该点如所阐述的那样处于焦点平面60之外并且相继从三个不同的方向b1、b2和b3来照明。在从照明方向b1进行照明时，光从点p基本上在点p1处进入焦点平面(必要时不考虑散射)并且根据几何光学的法则成像到点p1’上。在照明方向b2的情况下，光从点p在点p2处进入焦点平面并且相应地成像到点p2’上。在照明方向b3的情况下，光从点p在点p3处进入焦点平面并且成像到点p3’上。
这样，从不同的照明角度(b1、b2、b3)进行的照明实现了点p在图像平面(p1’、p2’或p3’)中的位移，如上文已阐述的那样。通过相应(例如在图像平面63中)记录的图像的上文已描述的位移于是又可以将这些点遮蔽。
补充地需要注意的是，在未定向的照明的情况下即在并不以特定的照明角度进行的照明的情况下，点p不仅被成像到p1’上而且被成像到p2’上还成像到p3’上而且还有成像到其间的点上，这对于在焦点平面60之外的对象而言是通常不清晰的成像。图像平面的位移于是原因恰恰在于，并不是任意被照明，而是以特定的角度进行照明，如上文已描述的那样。
因此通过以不同的照明角度进行定向照明恰好不会形成扩展的不清晰区域，而相反对象如在实例中的点p根据照明角度在图像平面中成像在不同的位置处。各个成像在此基本上清晰地进行。然而，对于每个照明方向如同样在图6中可看到的那样，仅使用了光学设备的孔径的小部分，这使得分辨率降低。通过如上文所描述的那样将不同的图像位移和组合又消除了该缺点，因为更多个照明方向被组合，并且这样使用了整个孔径的至少大部分。
所描述的实施例相对于传统的用于以提高的景深进行图像记录的方法和设备提供了不同的优点。例如，相比于传统的z堆栈可以更快速地测量，因为可以不进行焦点的机械调节。尤其是相较于传统的方法，所需的测量的数量也更小。根据可用的计算能力可以快速地生成具有提高的景深的结果图像。
此外，同时如已阐述的那样也可以修正其他图像错误，例如离焦、散光、场曲和纵向色差，其中这也可以与场有关地进行。
在所使用的设备的连贯景深之内，可以无分辨率损失地得到具有提高的景深的图像(如果图像错误一同被修正，则有限制)。如已阐述的那样，还可以将所阐述的技术应用于相衬图像来产生具有增大的景深的结果图像，相衬图像同时可以以数字形式产生。这些技术也可以离线地执行。这例如意味着，图1的分析装置20也可以与设备的其他部分独立地提供，只要其相应地被输送图像。在计算结果图像的同时，可以生成z图，例如如在上文中所讨论的伪码中。所阐述的方法和设备可以与其他不同的方法和设备以简单方式组合。
当需要比相应的设备的连贯景深更高的景深范围时，附加地可以改变焦点，其中，在此相比于在传统的z堆栈的情况需要更少的焦点改变。
上面所讨论的实施例仅用于阐述而不应解释为是限制性的。
- 还没有人留言评论。精彩留言会获得点赞！