用于获得物体的高动态范围合成图像的显微镜和方法与流程

本发明涉及用于从多个低动态范围数字输入图像获得物体的高动态范围合成图像的显微镜。此外，本发明涉及从多个低动态范围数字输入图像获得物体的高动态范围合成图像的方法。

背景技术：

如今，许多消费品和移动手机照相机提供某些高动态范围(hdr)模式以处理物体中的高对比度。hdr，如其名称所暗示的，是旨在将更多的动态范围增加至数字图像的方法，其中动态范围是图像中的明暗比。为了在限制的硬件功能的情况下实现hdr，取代仅拍摄一张照片，hdr使用通常地以不同的曝光时间、或以不同的孔径、或以不同的灵敏度(即增益)拍摄的几个图像，并将其组合为单个图像。

然而，改变曝光时间的已知方法引入控制图像亮度的一些限制。特别地，增加曝光时间以获得hdr图像可能引起帧速的下降。此外，如果使用控制孔径的已知方法，当减小孔径尺寸时图像分辨率将相应地下降。此外，如果使用增加灵敏度的已知方法，可能产生芯片噪声，这导致暗图像上的亮度波动。

从文件us6,753,876b2已知一种通过使用用于照明的激光并通过融合每个像素的多个照度级增加图像动态范围的方法。其提供一种浮点照明以实现高动态范围图像。然而，此已知方法具有一些限制。特别地，使用用于照明测量的激光使得照明系统更加复杂。此外，这样的系统用于彩色成像系统是困难的。此外，这样的系统对表面装饰和表面面角更加敏感，此将显著地限制应用。此外，此已知方法的照明使用条纹图案，此将增加像素融合的困难。

从文件us7,460,168b2已知一种用于产生宽动态范围图像的图像处理装置。根据此已知的概念，产生宽动态范围图像，其中多个图像在不同的曝光条件下被记录。首先，划分适当地曝光的区域和不充分地曝光的区域。此外，执行每个图像的分级。然后，执行校正以获得校正的图像。最后，组成单个宽动态范围照片。

从文件us2012/0257077a1已知一种hdr图像形成装置，此还可以使用控制曝光时间的相似的技术。

上述现有技术方法是使用曝光时间控制方法以获得不同强度的图像并将其融合为一个宽动态范围图像的典型示例。的确，控制曝光时间的已知方法是技术简单且易于使用的。然而，现有技术将引入上述控制图像亮度的限制。特别地，增加曝光时间以获得hdr图像可能产生帧速的改变或下降。

技术实现要素：

因此，发明的目的在于指定一种用于从多个低动态范围输入图像获得物体的高动态范围合成图像的显微镜，其具有简单的结构并允许避免对图像产生的高要求。

具有权利要求1的特征的显微镜和具有权利要求16的特征的方法解决此目的。本发明的有利发展在从属权利要求中指定。

根据本发明的实施例，由于使用显微镜的非相干光源以不同的光强度级照明物体，且使用显微镜的包括具有光学孔径的光学成像系统和图像传感器的记录设备记录多个低动态范围(ldr)输入图像，可以实现简单的结构并避免对图像产生的高要求的可能性。此外，提供控制信号以控制显微镜的记录设备和非相干光源，以便以不同的光强度级捕获多个低动态范围输入图像并且多个记录参数的至少一个保持不变。因此，不需要在图像产生的过程中改变记录设备的记录特征。此允许显微镜的简单的结构，且特别地，可以避免对图像产生的高要求。

也就是说，仅改变用于非相干光源的控制信号而保持图像获取的记录参数不变可以是足够的。

优选地，控制器用于控制记录设备并且帧速在捕获多个低动态范围输入图像的过程中保持不变。因此，可以避免在图像产生的过程中帧速的改变或下降。

当记录参数是光学成像系统的曝光时间和孔径以及用于获得多个低动态范围输入图像的图像传感器的灵敏度(即，增益)中的一个或一组，且如果这些的一个或一组保持不变时是有利的。因此，不用尝试在图像产生的过程中调整曝光时间和/或孔径。

此外，当控制器用于控制记录设备以便获得多个低动态范围输入图像的关键帧的期望的亮度级时是有利的。优选地，控制器用于通过执行关键帧的真实亮度级和用户输入的预定义的亮度级的比较获得关键帧的期望的亮度级。因此，简单地达到记录的一组图像的关键帧的期望的亮度级是可能的。

此外，当控制器用于从多个低动态范围输入图像中确定关键帧时是有利的，其中关键帧的索引m是基于低动态范围输入图像的数量n确定的。优选地，控制器用于通过使用

(如果n是奇数)，或

(如果n是偶数)，确定关键帧，其中m是关键帧的索引，且n是多个低动态范围输入图像的数量。因此，简单地确定记录的一组图像的关键帧是可能的。

此外，当显微镜被配置以便多个低动态范围输入图像具有与不同的光强度级对应的不同的亮度级时是有利的。因此，可以获得用于产生物体的高动态范围(hdr)合成图像的合适的一组图像。

此外，当显微镜被配置以便物体的照明的不同的光强度级以光强度偏移为特征时是有利的，其中光强度偏移由

ii＝im＊rhdr^{[(i-m)/(n-1)]}

给定，其中ii是用于记录个别的低动态范围输入图像的光强度级，im是用于记录关键帧的光强度级，i是个别的低动态范围输入图像的索引，m是关键帧的索引，rhdr是预定义的动态范围系数，且n是低动态范围输入图像的数量。因此，对待被用于产生物体的高动态范围合成图像的记录的一组低动态范围输入图像适当地调整光强度偏移是可能的。

此外，当显微镜还包括用于组合以不同的光强度级记录的多个低动态范围输入图像以获得高动态范围合成图像的组合器时是有利的。优选地，组合器用于加合低动态范围输入图像的每个的强度信息以获得高动态范围合成图像。因此，存在以有效的方式产生高动态范围合成图像的第一可能。可选地，组合器用于加合第一对连续的低动态范围输入图像的强度信息以获得第一高动态范围合成图像，并加合第二对连续的低动态范围输入图像的强度信息以获得第二高动态范围合成图像，其中第一对连续的低动态范围输入图像和第二对连续的低动态范围输入图像包括多个低动态范围输入图像的共有低动态范围输入图像。因此，存在以有效的方式产生高动态范围合成图像的第二可能。

此外，当显微镜还包括用于对高动态范围合成图像应用色调映射算法以获得色调映射后的图像数据的色调映射器时是有利的，色调映射后的图像数据表示与高动态范围合成图像的动态范围相比减小的动态范围。因此，产生待被显示器显示的、表示减小的动态范围的色调映射后的图像数据是可能的，其仍保持在图像的非常暗和非常亮的区域中的细节。

优选地，显微镜还包括用于基于高动态范围合成图像产生实时图像的实时流图像输出模块。

优选地，多个低动态范围输入图像的每个是数字图像。

根据发明的实施例，提供一种用于从多个低动态范围输入图像获得物体的高动态范围合成图像的方法。方法包括使用显微镜的非相干光源以不同的光强度级照明物体，使用包括具有光学孔径的光学成像系统和显微镜的图像传感器的记录设备记录多个低动态范围输入图像，以及提供控制信号以控制显微镜的记录设备和非相干光源，以便以不同的光强度级捕获多个低动态范围输入图像并且多个记录参数的至少一个保持不变。

在此上下文中，明确地指出hdr图像的合成是基于计算操作的。此事实上与基于纯提取操作执行合成(其中强度信息不用于进一步的计算)是不同的。

在此还明确地指出，在不同的输入图像中，图像传感器的全部区域的所有像素的强度值，或者具有相同尺寸和相同位置的图像传感器的对应的roi(感兴趣的区域)的像素的强度值被用于hdr合成的计算操作。

由下面的描述产生发明的其他的特征和优点，下面的描述基于实施例并结合附图更加详细地解释本发明。

附图说明

图1示出包括控制器、非相干光源和记录设备的显微镜的示意图；

图2示出根据图1的还包括组合器、色调映射器和实时流图像输出模块的显微镜的示意图；

图3示出根据图1的用于从记录的低动态范围输入图像获得高动态范围合成图像的显微镜的组合器；

图4示出根据图1的用于从记录的低动态范围输入图像获得第一高动态范围合成图像和第二高动态范围合成图像的显微镜的组合器；

图5示出亮度控制的实施的框图；以及

图6示出高动态范围成像系统的总览的示意图。

附图标记列表

10显微镜

12物体

14控制器

16非相干光源

18记录设备

19，19a-19f，19i-19r低动态范围输入图像

19g，19h成对的低动态范围输入图像

20，20a-20i组合器

21，21a-21i高动态范围合成图像

22色调映射器

23色调映射后的图像数据

24实时流图像输出模块

25高动态范围实时图像

26图像传感器

28光学成像系统

30光

32光路

33光轴

34，36，38控制回路组件

40-64亮度控制实施的组成

66-78高动态范围成像系统的组件

100亮度控制实施

200高动态范围成像系统

具体实施方式

图1示出包括控制器14、非相干光源16和记录设备18的显微镜10的示意图。如图1所示，记录设备18包括图像传感器26和光学成像系统28。光学成像系统28用于将物体12成像至图像传感器26上。附图标记32指示光路。此外，虚线33指示光学成像系统28的光轴。

参考图1，非相干光源16用于以不同的光强度级照明物体12。附图标记为30的箭头指示非相干光源16发射的光。记录设备18用于记录物体12的多个低动态范围输入图像。特别地，低动态范围输入图像的每个被以不同的光强度级记录。进一步参考图1，控制器14操作性地耦合至包括图像传感器26的记录设备18。控制器14用于控制记录设备18，以便用于获得多个低动态范围输入图像的记录特征保持不变。例如，记录特征是帧速、曝光时间和/或孔径。

图1的显微镜用于基于记录的低动态范围输入图像产生物体12的高动态范围合成图像。特别地，高动态范围合成图像的动态范围比记录的低动态范围输入图像的动态范围高。动态范围被定义为各自的图像中最高的强度值和最低的强度值的比。例如，高动态范围合成图像具有16bit的动态范围，而记录的低动态范围输入图像具有8bit的动态范围。多个低动态范围输入图像具有与不同的光强度级对应的不同的亮度级。此外，记录的低动态范围输入图像表示相同的物体12的不同的图像。

如图1所示，显微镜10还包括控制回路的组件34、36和38。特别地，控制回路包括图像获取模块34、图像亮度计算模块36和光强调整模块38。图像获取模块34用于提供图像传感器26记录的图像。图像亮度计算模块36用于计算图像获取模块34提供的图像的亮度信息。光强调整模块38用于基于图像亮度计算模块36计算的亮度信息调整非相干光源16产生的光的光强度级。因此，包括组件34、36和38的控制回路允许依赖于图像传感器26记录的图像控制非相干光源16。

也就是说，本发明提供一种如图1所示的亮度控制系统。此系统包括用于将物体的图像转换为电信号的图像传感器26。光学系统28在传感器26上形成物体图像。附图标记12指出待被检测的物体。来自物体的反射光被光学系统采集。照明设备16用于照明物体12。图像获取模块34用于接收来自传感器的图像并执行必要的图像预处理。图像亮度计算模块36用于分析图像并计算当前图像的亮度。光强调整模块38用于根据图像亮度计算模块36中获得的目标亮度控制照明设备16。

图2示出根据图1的还包括组合器20、色调映射器22和实时流图像输出模块24的显微镜10的示意图。在图2中，使用根据图1的显微镜10获得的多个低动态范围输入图像由附图标记19表示。组合器20用于组合以不同的光强度级记录的多个低动态范围(ldr)输入图像19以获得高动态范围(hdr)合成图像21。色调映射器22用于将色调映射算法应用至高动态范围合成图像21以获得色调映射后的图像数据23。特别地，色调映射后的图像数据23表示与高动态范围合成图像21相比减小的动态范围。实时流图像输出模块24用于基于色调映射器22提供的色调映射后的图像数据23产生实时图像25。由显示器显示由实时流图像输出模块24输出的实时图像25。因此，高动态范围合成图像21的动态范围被减小，以便实时图像25可以易于被显示器显示并仍显示图像的非常暗和非常亮的区域中的细节。

图3示出根据图1的用于从记录的低动态范围输入图像19获得高动态范围合成图像21的显微镜10的组合器20。记录的低动态范围输入图像19对应于使用图1示出的显微镜10的记录设备18获得的多个低动态范围输入图像。在图3的示例中，记录的低动态范围输入图像19包括6个低动态范围输入图像19a至19f。这6个低动态范围输入图像19a至19f具有与图1示出的显微镜10的非相干光源16调整的不同的光强度级对应的不同的亮度级。特别地，示于图3的输入图像19a至19f具有增加的亮度级，其中第一输入图像19a具有最低的亮度级，且最后的输入图像19f具有最高的亮度级。此外，在一组输入图像19a至19f的连续的图像之间以预定义的量增加亮度级。组合器20用于加合低动态范围输入图像19a至19f的每个的强度信息以获得高动态范围合成图像21。强度信息对应于各自的输入图像19a至19f中的像素的强度值。组合器20输出的合成图像21以加合的强度信息为特征并具有与输入图像19a至19f相比的高动态范围。因此，图3的示例表示hdr图像的合成。

也就是说，图像合成模块输入或产生的一系列图像示于图3。当物体在照明设备的不同的光强下被照明时捕获一组图像19a至19f。然后，通过特别的图像合成算法从一组图像19a至19f合成高动态范围图像21。

图4示出根据图1的用于从记录的低动态范围输入图像19i、19j；19j、19k；……19q、19r获得第一高动态范围合成图像21a和第二高动态范围合成图像21b的显微镜10的组合器20。记录的低动态范围输入图像19i、19j；19j、19k；……19q、19r对应于使用图1示出的显微镜10的记录设备18获得的多个低动态范围输入图像。在图4的示例中，分别示出两个连续的低动态范围输入图像19i和19j、19j和19k、……、19q和19r。特别地，各自的两个连续的输入图像19i和19j、19j和19k、……、19q和19r具有与图1示出的显微镜10的非相干光源16调整的不同的光强度级对应的不同的亮度级。在图4的示例中，示出第一对19g连续的低动态范围输入图像19i和19j，和第二对19h连续的低动态范围输入图像19j和19k。第一对19g的第一输入图像19i具有相对高的亮度级，而第一对19g的第二输入图像19j具有相对低的亮度级。此外，第二对19h的第一输入图像19j具有相对低的亮度级，而第二对19h的第二输入图像19k具有相对高的亮度级。特别地，第一对19g和第二对19h包括具有相对低的亮度级的共有低动态范围输入图像19j。

如图4所示，组合器20包括第一组合单元20a和第二组合单元20b。第一组合单元20a用于加合第一对19g连续的低动态范围输入图像19i和19j的强度信息以获得第一高动态范围合成图像21a，而第二组合单元20b用于加合第二对19h连续的低动态范围输入图像19j和19k的强度信息以获得第二高动态范围合成图像21b。此过程还可以被相应地保持用于输入图像19i至19r的完整的集合。特别地，组合单元20a至20i可以用于获得对应的一组高动态范围合成图像21a至21i。因此，图4的示例表示待被用于hdr图像的流的合成的亮和暗图像的交替流。

换句话说，图4示出产生从交替的亮加暗和暗加亮的图像合成的实时图像流的概念。首先，亮图像19i与暗图像19j组合以产生第一hdr图像21a。然后，暗图像19j与亮图像19k组合以产生第二hdr图像21b。按需重复此过程。通过交替地重复此合成过程，产生一系列hdr图像。使用此方法，可以以与标准实时图像的速度一样快地产生hdr实时图像流。

图5示出用于亮度控制的实施100。图5的实施100包括组成40至64。组成40至64表示亮度控制实施100的方法步骤。使用示于图1的显微镜10执行亮度控制实施100。

在步骤40中，执行设置包括图像传感器26和光学成像系统28的记录设备的曝光时间、孔径和灵敏度。在步骤41中，设置照明控制参数的默认值，此被用作随后描述的程序的开始值。在步骤42中，使用循环图像计数器从1至n对输入图像计数，其中n是用于计算单个结果hdr图像的ldr图像的最大数量。当达到对应于ldr输入图像的数量的最大数量n时，重置计数。在步骤44中，检查输入图像是否为关键帧。在步骤46中，执行设置非相干光源的照明控制参数。在步骤50中，执行图像获取。在步骤52中，检查获取的图像是否为关键帧。步骤42至62表示用于获得输入图像的无限循环。特别地，只要hdr实时图像功能是有效的这些步骤表示无限循环。仅在步骤44中检查的条件满足时执行从步骤46开始的这些步骤。否则，执行步骤48。在步骤48中，设置偏移照明控制参数。如果在步骤52中检查的条件满足，执行从步骤54开始的后续步骤。在步骤54中，执行关键帧图像亮度计算。在步骤56中，执行用户输入。在步骤58中，执行预设图像亮度的输入。在步骤60中，执行比较当前的关键帧和预设的亮度。在步骤62中，检查符合预设的亮度的条件是否满足。如果此条件不满足，在步骤64中执行计算新的照明控制参数。

关键帧被定义为应当具有用户设置的期望的亮度级的个别的帧。基于记录的输入图像的数量n确定关键帧的索引m。

在图5的亮度控制实施100中，执行步骤40以设置成像系统的适合的曝光时间和灵敏度，以便系统可以以最佳性能(例如高的帧速和低的信噪比等)运行。然后，执行步骤42以从1至n循环地扫描图像索引。每次进入，索引增加1，且一旦超过最大值n，索引返回至1。如果在步骤44中检查到当前的图像是关键帧(m)，前往至步骤46以根据关键帧(m，m<n)的先前的亮度计算结果设置照明控制参数。否则，执行步骤48以根据曝光过度或曝光不足的图像拍摄需要的偏移亮度设置照明控制参数。执行步骤50以在设置新的光强之后获取图像。如果当前的图像不是关键帧(m)，从步骤42重复续发步骤。否则，继续至用于关键帧亮度计算的步骤54。然后，执行步骤60以在当前图像亮度结果和由步骤56和58设置的目标值之间进行比较。如果亮度没有达到目标亮度级，将执行步骤64以计算和更新新的照明设备亮度控制参数，然后重复从步骤42的续发步骤，以此类推。

参考图5，图像亮度控制方法被用于确保将以最佳的光强捕获一组输入图像。下面，示例性地描述控制过程。首先，执行设置照相机的预设亮度值。特别地，用户可以将图像亮度调整至优选的值(即100、240……)。然后，计算关键帧图像的整个区域或roi区域的平均亮度。然后，比较关键帧的亮度和预设值并获得差值。然后，基于亮度差值，计算用于关键帧的新的照明控制参数。然后，基于关键帧照明控制参数，使用必要的曝光不足或曝光过度偏移可以获得对应于照明参数的后续图像帧。然后，将后续帧的照明控制参数应用至照明设备16，并相应地调整光强。然后，在新的照明条件下获取图像的后续帧。建立从上述控制过程的第二个步骤开始的并包括所有相同的步骤的重复回路，以便图像亮度保持不变，且为捕获的图像提供一系列照明环境，其中的一些包括曝光过度照明、关键帧照明和曝光不足照明等。

此外，根据物体照明条件可以确定照明控制偏移的设置。下面是用于确定照明控制偏移的示例性过程。特别地，需要n个输入图像用于hdr图像合成，其中n≥2。然而，输入图像的数量不必须如此高以至于成比例地增加计算量。n的值越高，为照明提供的光强越高。关键帧是选择用于亮度计算的帧。这将减少亮度计算的计算量、提升亮度的一致性并提供即时的亮度控制。由于关键帧用于调整照明参数，有必要使用具有低曝光过度、还具有好的信噪比的帧。例如，如下选择具有索引m的关键帧：

(若n是奇数)

(若n是偶数)

动态范围系数rhdr是预设的参数。对用于图像获取的照明的总范围比限定动态范围系数。如下确定对于每个帧i的照明偏移：

ii＝im＊rhdr^{[(i-m)/(n-1)]}，

其中，ii是用于第i个帧的图像捕获的照明强度参数，且im是用于关键帧图像捕获的照明强度参数。

图6示出高动态范围成像系统200的总览的示意图。在图6中，示出发明的显微镜10的数字成像系统的基本构造的示例。高动态范围成像系统200包括组件66至78。组件66表示用于物体照明的照明设备。组件72表示待测物体。组件68表示用户确定适合的图像亮度的亮度值输入。组件70表示用于计算当前图像的亮度和照明设备控制以确保图像亮度符合目标值的亮度控制模块。此模块还用于控制照明设备66的亮度的偏移以用于曝光不足和曝光过度的图像捕获。特别地，组件70用于图5的亮度控制过程。组件74表示包括图像形成光学系统、图像传感器、照相机和照相机电子系统的图像捕获模块。图像捕获模块74的关键特征在于传送用于后处理和查看的图像。组件76表示用于将图像捕获模块74捕获的一组输入图像合成为具有更宽的动态范围的图像的图像合成模块。组件78表示用于显示从图像合成模块76接收的静止或实时图像的图像输出模块。具体地，组件76用于产生物体的高动态范围合成图像。

总之，发明的显微镜的数字图像系统包括照明设备控制模块、图像捕获模块、图像融合模块和实时流图像输出模块。照明设备控制模块能够自动控制光强以确保对于不同的物体达到目标图像亮度。图像捕获模块能够通过对相同的物体成像获得一组具有不同的光强的输入图像。图像融合模块从一组不同的光强的输入图像产生合成图像。实时流图像输出模块基于由来自图像捕获模块的一组具有不同光强的捕获图像产生的合成图像产生hdr实时图像。

具体地，本发明提供一种用于快速hdr获取的照明强度的调制。此外，本发明提供一种用于通过合成以不同等级的光强捕获的多个图像增加图像或实时图像的动态范围的方法。

用于在显微镜学中产生hdr图像的本发明是基于控制来自照明设备的光强的。根据本发明，hdr序列比使用改变曝光时间更加快速，原因是照相机或记录设备不需要设置不同的曝光时间。因此，消费者可以关注于亮的、闪光的物体并保证细节可以在这些区域被看见。使用发明的hdr-led方法，暗区域中的细节可以容易地被增加。在标准的摄影中，控制光强通常是不可能的，原因在于不可能改变光照或场景中的总亮度。本发明提供在显微镜学中的优势，然而，其控制led光强以产生具有在暗区域以及亮的、闪光的区域中的细节的一系列图像变为是可能的或者至少是更加容易的。

在发明的显微镜中，记录设备可以包括具有像素的二维区域用于记录低动态范围输入图像的图像传感器。此外，记录设备可以包括具有可变孔径的光学成像系统。此外，非相干光源可以是用于提供物体的均匀照明的发光二极管(led)。此外，待检测的物体可以是电路。

通过使用本发明，获得分别在特定的照明强度下捕获的一系列图像是可能的。本地色调映射算法可以被应用以将一组图像合成为具有扩宽的动态范围的一个图像。

此外，本发明提供基于交替的合成方法产生的实时hdr图像。例如，帧i从图像i，i+1，……，i+n-1产生。此交替的合成方法可以用于产生非常快速的hdr实时图像流，其几乎达到标准实时图像的速度。

尽管在装置的上下文中已经描述的一些方面，应该清楚的是，这些方面还表示对应的方法的描述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下中描述的方面还表示对应的块或项或对应的装置的特征的描述。