本发明涉及荧光图像处理装置和用于增强荧光图像的方法、荧光成像系统和方法、荧光图像处理计算机程序以及荧光成像计算机程序。
背景技术：
在生命科学中，荧光显微镜是强大的工具，其允许样品的特定和敏感染色以便检测蛋白质或其它感兴趣的分子的分布。由于背景保持未被染色，因此典型的荧光图像是暗的，其中数个区域发亮。
通过数字病理学的引入，使用图像分析工具的辅助成为可能。为了实现高吞吐量，需要低扫描和染色时间。该趋势还适用于荧光显微镜，其将在不久的将来越来越多地应用。较低扫描和染色时间将导致明显较低的SNR。尽管这对于图像分析工具而言仍旧是可接受的，但是要求特殊增强以实现针对人类操作者的舒适对比度。这在人类操作员（仍旧）负责时是所需要的。
US2006149479A1描述了一种用于通过选择性地消除或减少来自除感兴趣的荧光团之外的荧光团的不想要的荧光来增强诸如生物组织之类的对象的荧光图像的方法。该方法基于荧光团的寿命的测量而同时存留涉及感兴趣的荧光团的荧光强度的信息。
存在对于处理荧光图像时的改进的图像增强技术的需要。
技术实现要素：
本发明的目的是提供用于增强荧光图像的荧光图像处理装置和方法、荧光成像系统和方法、荧光图像处理计算机程序以及荧光成像计算机程序，其以用于处理荧光图像的改进的图像增强技术为特征。
在本发明的第一方面中，提供了一种用于增强荧光图像的荧光图像处理装置。荧光图像处理装置包括图像分段单元，其适配成将荧光图像分段成一个或多个感兴趣的区域和一个或多个背景区域；背景确定单元，其适配成测量荧光图像中的背景信号；背景降低单元，其适配成响应于背景信号的测量而降低一个或多个背景区域中而非一个或多个感兴趣的区域中的背景信号；以及图像增强单元，其适配成增强一个或多个感兴趣的区域而非一个或多个背景区域。
本发明的关键想法涉及首先对单个图像分段（基于单个图像），然后基于分段测量背景信号，然后基于所测量的背景信号抑制（或降低）背景信号，并且最终增强对象信号。为了增强对象，优选地提出使用例如背景中的噪声量。因此，本发明优选地利用测量背景信号与增强对象信号之间的关联。要指出的是，背景测量和抑制以及增强对象信号的次序可以互换，使得在图像分段之后，在测量和抑制背景信号之前首先增强对象信号。另外，可以与对象信号增强并行地实施背景测量和抑制。本发明因而提出首先对背景和玻璃载玻片的感兴趣的区域进行分段并且使用该分段来增强二者之间的对比度。通过此，可以减少扫描和染色时间，而同时在增强之后图像数据仍旧具有针对人类操作者的舒适对比度。
在本发明的优选实施例中，图像增强单元的输出被用作用于图像分析算法的输入。
在本发明另外的优选实施例中，背景信号用于控制图像增强单元。
在本发明另外的优选实施例中，荧光图像处理装置还包括适配用于接收荧光图像的输入；以及适配用于输出经增强的荧光图像的输出。通过提供适配用于接收荧光图像的输入，荧光图像处理装置可以以直接的方式与常见荧光显微镜一起使用而不必修改显微镜。另外，通过提供适配用于输出经增强的荧光图像的输出，荧光图像处理装置可以与诸如监视器或屏幕之类的常见显示单元一起使用，其不需要被更新以与本发明的荧光图像处理装置一起使用。
在本发明另外的优选实施例中，荧光图像处理装置还包括适配用于存储荧光图像的图像存储单元。通过提供用于存储荧光图像的图像存储单元，荧光图像处理装置提供在稍后阶段重复对比度增强过程的可能性。以类似方式，荧光图像处理装置提供针对图像分段、背景确定、背景抑制和/或对象图像增强的相应不同选择而实施对比度增强的可能性。
在本发明另外的优选实施例中，存储在图像存储单元中的荧光图像可以用作对图像分段单元的输入信号。由此，质量改进算法可以应用于所存储的荧光图像。同样地，图像处理可以以迭代方式应用以进一步改进图像质量。
在本发明另外的优选实施例中，荧光图像处理装置还包括适配用于存储所测量的背景信号的背景存储单元。通过提供适配用于存储所测量的背景信号的背景存储单元，荧光图像处理装置提供针对所确定的背景信号测试各种背景减除方法的可能性。优选地，将各种背景减除方法的最终结果彼此比较。优选地，基于比较的结果来选择一个背景减除方法。
在本发明另外的优选实施例中，存储在背景存储单元中的背景信号可以用作对背景降低单元的输入信号。由此，质量改进算法可以应用于所存储的背景信号。同样地，图像处理可以以迭代方式应用以进一步改进图像质量。
在本发明另外的优选实施例中，荧光图像处理装置还包括用于向显示单元传送经增强的荧光图像的传送单元。通过提供用于向显示单元传送经增强的荧光图像的传送单元，荧光图像处理装置可以与诸如监视器或屏幕之类的常见显示单元一起使用，其不需要升级以与本发明的荧光图像处理装置一起使用。优选地，传送单元适配用于以无线方式传送经增强的荧光图像，诸如例如通过WLAN网络。优选地，传送单元是天线。然后，荧光图像处理装置甚至不必物理耦合到显示单元。事实上，荧光图像处理装置可以在与显示单元不同的另一房间中、另一建筑物中或甚至另一城市中。这使得荧光显微学专家可能从远程监视荧光图像处理装置，并且因而增强本发明的灵活性。
在本发明另外的优选实施例中，荧光图像处理装置还包括用于从荧光显微镜接收所获取的荧光图像的接收单元。通过提供用于从荧光显微镜接收所获取的荧光图像的接收单元，荧光图像处理装置可以与常见荧光显微镜一起使用，其不需要升级以与本发明的荧光图像处理装置一起使用。优选地，接收单元适配用于以无线方式接收所获取的荧光图像，诸如例如通过WLAN网络。优选地，接收单元是天线。然后，荧光图像处理装置甚至不必物理耦合到荧光显微镜。事实上，荧光图像处理装置可以在与荧光显微镜不同的另一房间中、另一建筑物中或甚至另一城市中。这使得可能从远程利用特定荧光显微镜训练荧光图像处理装置，诸如例如当荧光图像处理装置仍旧在工厂时。
在本发明另外的优选实施例中，图像分段单元适配成通过应用动态阈值处理和/或通过应用基于局部直方图的方法来对荧光图像分段。相比于使用针对所有像素的全局阈值的常规阈值处理技术，自适应或动态阈值处理在图像之上动态地改变阈值。通过此，方法对局部变化（例如由于染色强度中的局部变化）较不敏感。
在本发明另外的优选实施例中，背景确定单元适配成从荧光图像创建经平滑的直方图。经平滑的直方图用于测量背景信号的特性（例如均值和方差）。该经平滑的直方图一般将更加精确地反映背景信号中的底层变化。
在本发明另外的优选实施例中，背景降低单元适配成通过平滑一个或多个背景区域和/或通过修剪一个或多个背景区域来降低背景信号。应用平滑背景信号以便降低背景信号中的噪声。本质上，降低和/或抑制信号的高频分量，而同时保留低频分量。
在本发明另外的优选实施例中，图像增强单元适配成通过提升一个或多个感兴趣的区域和/或通过峰值化一个或多个感兴趣的区域来增强。可以应用峰值化以便使感兴趣的区域和/或对象的边缘更加清楚并且使对象和/或感兴趣的区域更加不同于背景信号。可以应用提升以便增强对象和/或感兴趣的区域的对比度。
在本发明的第二方面中，提供了一种荧光成像系统，包括适配用于获取荧光图像的荧光显微镜；用于增强荧光图像的荧光图像处理装置，其中荧光图像处理装置是根据本发明的第一方面的荧光图像处理装置；以及用于显示经增强的荧光图像的显示单元。
在本发明的第三方面中，提供了一种用于增强荧光图像的荧光图像处理方法。荧光图像处理方法包括将荧光图像分段成一个或多个感兴趣的区域和一个或多个背景区域；测量荧光图像中的背景信号；响应于背景信号的测量而降低一个或多个背景区域中而非一个或多个感兴趣的区域中的背景信号；以及增强一个或多个感兴趣的区域而非一个或多个背景区域。
在本发明的第四方面中，提供了一种荧光成像方法，包括获取荧光图像；根据本发明的第三方面的荧光图像处理方法处理荧光图像；以及显示经增强的荧光图像。
在本发明的第五方面中，提供了一种用于增强荧光图像的荧光图像处理计算机程序。荧光图像处理计算机程序包括程序代码构件，所述程序代码构件用于在荧光图像处理计算机程序运行于控制荧光图像处理装置的计算机上时使荧光图像处理装置实施荧光图像处理方法的步骤。
在本发明的第六方面中，提供了一种荧光成像计算机程序，荧光成像计算机程序包括程序代码构件，所述程序代码构件用于在荧光成像计算机程序运行于控制荧光成像系统的计算机上时使荧光成像系统实施荧光成像方法的步骤。
应当理解的是，权利要求1的荧光图像处理装置、权利要求11的荧光成像系统、权利要求12的荧光图像处理方法、权利要求13的荧光成像方法、权利要求14的荧光图像处理计算机程序和权利要求15的荧光成像计算机程序具有如从属权利要求中限定的类似和/或等同的优选实施例。
应当理解的是，本发明的优选实施例还可以是从属权利要求或以上实施例与相应独立权利要求的任何组合。
本发明的这些和其它方面将从以下描述的实施例显现并且将参照这些实施例进行阐述。
附图说明
在以下附图中：
图1示意性且示例性地示出荧光图像处理装置，
图2示意性且示例性地示出具有可选存储单元的荧光图像处理装置，
图3示意性且示例性地示出具有可选传送和接收单元的荧光图像处理装置，
图4示意性且示例性地示出荧光成像系统，
图5示意性且示例性地示出荧光图像处理方法，
图6示意性且示例性地示出荧光成像方法，
图7示意性且示例性地示出典型的荧光图像，
图8示意性且示例性地示出全局增强的效果，
图9示意性且示例性地示出图7的荧光图像的分段图，
图10示意性且示例性地示出依照本发明的实施例的图像分段之后的背景抑制和局部增强的效果，以及
图11A和11B分别示意性且示例性地示出仅局部增强和仅背景抑制的效果。
具体实施方式
图1示意性且示例性地示出用于增强荧光图像的荧光图像处理装置100的实施例。荧光图像处理装置100包括图像分段单元110，其适配成将荧光图像分段成一个或多个感兴趣的区域和一个或多个背景区域；背景确定单元120，其适配成测量荧光图像中的背景信号；背景降低单元130，其适配成响应于背景信号的测量而降低一个或多个背景区域而非一个或多个感兴趣的区域中的背景信号；以及图像增强单元140，其适配成增强一个或多个感兴趣的区域而非一个或多个背景区域。可选地，还可以存在背景确定单元120与图像增强单元140之间的链路。换言之，测量噪声量，并且该量可以用作控制感兴趣的对象的增强的输入参数。
本发明的关键想法涉及首先对单个图像分段（基于单个图像），然后基于分段测量背景信号，然后基于所测量的背景信号抑制（或降低）背景信号，并且最终增强对象信号。要指出的是，背景测量和抑制以及增强对象信号的次序可以互换，使得在图像分段之后，在测量和抑制背景信号之前首先增强对象信号。另外，可以与对象信号增强并行地实施背景测量和抑制。本发明因而提出首先对背景和玻璃载玻片的感兴趣的区域进行分段并且使用该分段来增强二者之间的对比度。通过此，可以减少扫描和染色时间，而同时在增强之后图像数据仍旧具有针对人类操作者的舒适对比度。
在图1中，荧光图像处理装置100还包括适配用于接收荧光图像的（可选）输入100a和适配用于输出经增强的荧光图像的（可选）输出100b。通过提供适配用于接收荧光图像的输入，荧光图像处理装置可以以直接的方式与常见荧光显微镜一起使用而不必修改显微镜。另外，通过提供适配用于输出经增强的荧光图像的输出，荧光图像处理装置可以与诸如监视器或屏幕之类的常见显示单元一起使用，其不需要被更新以与本发明的荧光图像处理装置一起使用。
图2示意性且示例性地示出具有可选存储单元210,220的荧光图像处理装置100的实施例。图像存储单元210适配用于存储荧光图像。可选地，在随后的处理步骤中，存储在图像存储单元210中的荧光图像可以用作对图像分段单元110的输入信号。由此，质量改进算法可以应用于所存储的荧光图像。同样地，图像处理可以以迭代方式应用以进一步改进图像质量。背景存储单元220适配用于存储来自背景确定单元120的所测量的背景信号。可选地，在随后的处理步骤中，存储在背景存储单元220中的背景信号可以用作对背景降低单元130的输入信号。由此，质量改进算法可以应用于所存储的背景信号。同样地，图像处理可以以迭代方式应用以进一步改进图像质量。
通过提供用于存储荧光图像的图像存储单元，荧光图像处理装置提供在稍后阶段重复对比度增强过程的可能性。以类似方式，荧光图像处理装置提供针对图像分段、背景确定、背景抑制和/或对象图像增强的相应不同选择而实施对比度增强的可能性。
通过提供适配用于存储所测量的背景信号的背景存储单元，荧光图像处理装置提供针对所确定的背景信号测试各种背景减除方法的可能性。优选地，将各种背景减除方法的最终结果彼此比较。优选地，基于比较的结果来选择一个背景减除方法。
图3示意性且示例性地示出具有可选传送和接收单元320,310的荧光图像处理装置100的实施例。接收单元310适配用于从荧光显微镜接收所获取的荧光图像。传送单元320适配用于向显示单元传送经增强的荧光图像。
通过提供用于向显示单元传送经增强的荧光图像的传送单元，荧光图像处理装置可以与诸如监视器或屏幕之类的常见显示单元一起使用，其不需要升级以与本发明的荧光图像处理装置一起使用。优选地，传送单元适配用于以无线方式传送经增强的荧光图像，诸如例如通过WLAN网络。优选地，传送单元是天线。然后，荧光图像处理装置甚至不必物理耦合到显示单元。事实上，荧光图像处理装置可以在与显示单元不同的另一房间中、另一建筑物中或甚至另一城市中。这使得荧光显微学专家可能从远程监视荧光图像处理装置，并且因而增强本发明的灵活性。
通过提供用于从荧光显微镜接收所获取的荧光图像的接收单元，荧光图像处理装置可以与常见荧光显微镜一起使用，其不需要升级以与本发明的荧光图像处理装置一起使用。优选地，接收单元适配用于以无线方式接收所获取的荧光图像，诸如例如通过WLAN网络。优选地，接收单元是天线。然后，荧光图像处理装置甚至不必物理耦合到荧光显微镜。事实上，荧光图像处理装置可以在与荧光显微镜不同的另一房间中、另一建筑物中或甚至另一城市中。这使得可能从远程利用特定荧光显微镜训练荧光图像处理装置，诸如例如当荧光图像处理装置仍旧在工厂时。
图4示意性且示例性地示出荧光成像系统400的实施例。荧光成像系统400包括适配用于获取荧光图像的荧光显微镜410；用于增强荧光图像的荧光图像处理装置100；以及用于显示经增强的荧光图像的显示单元420。要指出的是，该方案还可以用作用于图像分析工具的预处理步骤，诸如例如用于FISH（荧光原位杂交）分析的预处理步骤。
图5示意性且示例性地示出用于增强荧光图像的荧光图像处理方法500的实施例。荧光图像处理方法500包括将荧光图像分段510成一个或多个感兴趣的区域和一个或多个背景区域；测量520荧光图像中的背景信号；响应于背景信号的测量而降低530一个或多个背景区域中而非一个或多个感兴趣的区域中的背景信号；以及增强540一个或多个感兴趣的区域而非一个或多个背景区域。
图6示意性且示例性地示出荧光成像方法600的实施例。荧光成像方法600包括获取610荧光图像；根据荧光图像处理方法500处理荧光图像；以及显示620经增强的荧光图像。
荧光显微镜是取代于或附加于反射和吸收而使用荧光和磷光以研究有机或无机物质的性质的光学显微镜。样品利用（一个或多个）特定波长的光来光照，所述光被荧光团（在光激发时能够再发射光的荧光化学化合物）吸收，使它们发射更长波长（即与所吸收的光不同颜色）的光。为了使样本适合于荧光显微镜，其必须是荧光的。存在创建荧光样本的若干方法；主要的技术是利用荧光染色剂来标记，或者在生物样本的情况下，荧光蛋白的表达。在生命科学中，荧光显微镜是强大的工具，其允许样品的特定和敏感染色以便检测蛋白质或其它感兴趣的分子的分布。由于背景保持未被染色，因此典型的荧光图像是暗的，其中数个区域发亮，如图7中所示。
目前，染色过程主要针对视觉分析来进行优化。整个过程聚焦于背景与感兴趣的区域之间的对比度。信噪比（SNR）应当足够大以通过人类操作者得到快速且迅速的解释。
通过数字病理学的引入，使用图像分析工具的辅助成为可能。为了实现高吞吐量，需要低扫描和染色时间。对于以等于40x放大物镜的分辨率和0.75NA的具有15x15mm2扫描区域的一个玻璃载玻片，典型的扫描时间为近似60秒。这是常规（亮场）显微镜的情况。该趋势还适用于荧光显微镜，其将在不久的将来越来越多地应用。较低扫描和染色时间将导致明显较低的SNR。尽管这对于图像分析工具而言仍旧是可接受的，但是要求特殊增强以实现针对人类操作者的舒适对比度。这在人类操作员（仍旧）负责时是所需要的。
人眼对暗区域中的小光照差异不是非常敏感。标准（全局）图像增强技术将不起作用（如可以在图8中看到的），因为这些技术不针对特定内容。为了得到描述标准全局图像增强技术的参考文献，参见例如Gonzalez，Woods，DigitalImageProcessing：InternationalEdition，第三版，Pearson，2008，ISBN-13:9780132345637。通过此，还将增强背景信号中的噪声，这是应当避免的。
然而，通过使用图像分析，可以增强或降低图像中的特定区域。通过创建针对感兴趣的区域的分段图，并且通过增强感兴趣的区域并且降低背景信号，可以增强背景与感兴趣的区域之间的对比度。然后，所测量的SNR可以明显更小。通过此，更小的染色和扫描时间是可能的。
全局噪声降低技术典型地向整个图像应用低通滤波器，使得也平滑感兴趣的区域。
比如边缘存留滤波那样的局部噪声降低技术尝试降低信号中的噪声，而同时存留相关边缘。（为了得到描述边缘存留滤波的参考文献，参见例如Gonzalez，Woods，DigitalImageProcessing：InternationalEdition，第三版，Pearson，2008，ISBN-13:9780132345637中关于自适应滤波器的章节5.3.3）。通过此，还将平滑感兴趣的区域（例如荧光点）内的小差异。另外，问题是如何确定正确的阈值以区分相关边缘（即感兴趣的区域的边界）和由背景信号中的噪声导致的边缘。
本发明通过首先创建分段来解决该问题。这可以是适用的，例如不仅看向边缘，而且使用关于内容的知识来寻找感兴趣的区域。接着，测量背景信号。接着，该所测量的噪声级用于尽可能多地抑制背景噪声。另外，提升经分段的感兴趣的区域以进一步增加对比度水平。
比如非局部均值（基于图像中的所有像素的非局部平均的图像去噪过程）那样的局部噪声降低技术基于局部斑块和斑块集合之间的类似性程度对像素进行滤波。再次，不使用关于内容（例如荧光点）的特定知识，使得还将平滑感兴趣的区域内的小差异。
提出以下步骤：
1.背景和感兴趣的区域分段（还可能使用机器学习或双边滤波）
2.测量背景信号
3.降低/抑制背景信号
4.增强感兴趣的区域。
步骤三和四的次序可以互换。另外，感兴趣的区域与背景之间的边界可以通过若干方法来确定。首先，可以基于背景强度水平确定局部阈值。其次，可以使用基于感兴趣的区域的强度生成的种子来应用区生长。
在第一步骤中，要求背景与感兴趣的区域之间的分段。图像分段涉及将数字图像划分成多个段。作为动态阈值处理的技术是适用的，其对于抵挡背景信号中的局部差异是鲁棒的。此外或可替换地，可以应用基于（局部）直方图的方法。分段的示例在图9中示出。动态阈值处理和基于（局部）直方图的方法是标准技术，其对（数字病理学）图像处理应用的开发者是已知的。在第二步骤中，测量背景信号。简单方案是创建背景信号的经平滑的直方图，以便确定背景信号中的噪声量。该措施然后用于控制背景信号中的信号降低和感兴趣的区域的增强的量。
在第三步骤中，将噪声降低技术（例如平滑、修剪）应用于背景。如本文以上所解释的，本发明提出不是将噪声降低应用于整个图像（全局噪声降低），而是仅应用于“非感兴趣”区域（诸如例如没有荧光点的区域）。特别地，向整个图像应用噪声降低还将降低感兴趣的信号（即荧光点）并且这恰恰是本发明力图避免的。因此，本发明提出首先对图像进行分段并且仅抑制背景信号。另外，要指出的是，在仅选择背景的情况下，测量背景信号更加精确。
在第四步骤中，将增强技术（例如提升、峰值化）应用于感兴趣的区域。
图10示出根据本发明的优选实施例的输出的示例。特别地，图10示出背景降低和感兴趣的区域增强的组合效果。如可以看到的，降低背景信号，而同时改进对比度。另外，仍旧存留并且甚至增强相关区域的精细细节。使用经平滑的直方图来确定背景信号。通过此，该方法对一些局部背景波动是鲁棒的。参照图11A和11B，论证了组合地使用背景降低和感兴趣的区域增强的优点。即，图11A示出根据实施例的输出的示例，其中仅应用感兴趣的区域增强而不应用背景降低，而图11B示出根据实施例的输出的示例，其中仅应用背景降低而不应用感兴趣的区域增强。
本发明的示例应用是在分子病理学和数字病理学中。
尽管在以上描述的实施例中，荧光图像处理装置包括并联耦合到图像增强单元的背景确定单元和背景降低单元，但是这些实施例仅仅是优选实施例，并且在另一实施例中，背景确定单元、背景降低单元和图像增强单元可以串联耦合。
本领域技术人员在实践所要求保护的发明时，通过研究附图、公开内容和随附权利要求，可以理解和实现对所公开的实施例的其它变形。
在权利要求中，词语“包括”不排除其它元件或步骤，并且不定冠词“一”或“一个”不排除多个。
单个单元或设备可以履行权利要求中叙述的若干项的功能。在相互不同的从属权利要求中叙述某些措施的仅有事实不指示这些措施的组合不能用于获益。
由一个或若干单元或设备执行的比如背景确定等的确定可以由任何其它数目的单元或设备执行。例如，荧光图像中的背景信号的确定可以由单个单元或者由任何其它数目的不同单元执行。依照以上描述的荧光图像处理方法的荧光图像处理装置的确定和/或控制可以实现为计算机程序的程序代码构件和/或专用硬件。
计算机程序可以存储/分布在合适的介质上，诸如光学存储介质或固态介质，其与其它硬件一起供给或者作为其它硬件的部分，但是还可以以其它形式分布，诸如经由因特网或其它有线或无线电信系统。
权利要求中的任何参考标记不应当解释为限制范围。
本发明涉及用于增强荧光图像的荧光图像处理装置。荧光图像处理装置包括图像分段单元、背景确定单元、背景降低单元和图像增强单元。提出首先对背景和玻璃载玻片的感兴趣的区域进行分段并且使用该分段来增强二者之间的对比度。通过此，可以减少扫描和染色时间，而同时在增强之后图像数据仍旧具有针对人类操作者的舒适对比度。