荧光实时成像、融合方法及装置与流程

本发明涉及图像处理技术领域，尤其涉及一种光学分子荧光成像方法，具体来说就是一种荧光实时成像、融合方法及装置。

背景技术：

分子影像是21世纪最耀眼的科学与技术之一，它是指无损伤地在分子水平上探测生物体内分子，并给出体内分子分布信息的医学影像技术。并被实践证明是一种能够在体可视化分子、基因、细胞水平生物体生理病理变化的影像工具。作为其中一种重要的分子影像成像模态，光学分子影像凭借低成本、高通量、非侵入、非接触、非电离辐射、灵敏度高、特异性强等优势已经应用到了肿瘤的早期检测、药物的研发等领域。

光学分子影像技术相比于传统的影像技术，具有如下的优势：其一，光学分子影像技术可将基因表达、生物信号传递等复杂的过程变成直观的图像，使人们能更好地在分子水平上了解疾病的发生、发展机制及过程；其二，能够发现疾病早期的分子变异及病理改变过程；其三，可在活体上连续观察药物或基因治疗的机理和效果。通常，探测生物组织分子的方法包括分离体探测方法和在体探测方法两种，光学分子影像技术作为一种在体探测方法，其优势在于可以快速、远距离、无损伤地获得生物组织分子的图像。它可以揭示病变的早期分子生物学特征，从而为疾病的早期诊断和治疗提供可能，也为临床诊断引入了新的概念。

激发荧光成像技术是一种光学分子影像技术，激发荧光成像的原理可以描述为：通过生物体外的激发光源，照射生物体内的荧光基团，使其达到高能量状态，荧光基团吸收光能使得电子跃迁到了激发态，电子从激发态回到基态的过程中会释放出荧光，该荧光较激发光向红端移动，即发射的荧光的波长比激发荧光的波长要长，荧光在组织体内传播并有一部分达到体表，从体表发出的荧光被高灵敏度的探测器接收到，从而形成荧光图像。通常，荧光基团产生的荧光经过生物体内组织的吸收、散射后，到达表面的时候强度已经较弱，这时候，就需要在避光条件良好的暗箱环境中进行成像操作，即利用高灵敏度的电荷耦合元件(CCD)相机捕获到达表面的荧光光子，然后通过计算机处理捕获的信号并进行成像。

目前市场上成型的激发荧光成像系统大致上分成两类：一类是采用单台相机进行实时成像，这类产品在实时成像的时候，荧光实时成像和白光实时成像需要分阶段的进行，不能达到同时的荧光实时成像和白光实时成像，且实时成像的效果不理想。另一类是采用多台相机进行实时成像，这类产品成像的分辨率较高，且能够同进行荧光数据实时成像和白光数据实时成像，但是由于荧光相机和白光相机的芯片尺寸不同，而且荧光数据和白光数据分别通过两个通道传输给计算机，使得这类产品无法对荧光数据和白光数据融合后的图像进行实时成像。

因此，本领域技术人员亟待研发一种可以对荧光数据和白光数据融合后的图像进行实时成像的荧光实时成像方法。

技术实现要素：

有鉴于此，本发明要解决的技术问题在于提供一种荧光实时成像、融合方法及装置，解决了现有荧光成像系统无法对荧光数据和白光数据融合后的图像进行实时成像的问题。

为了解决上述技术问题，本发明的具体实施方式提供一种荧光实时成像、融合方法，包括：利用融合光源对成像区域进行荧光和可见光照射；采集成像区域内的荧光光学信号获得荧光图像，并同时采集成像区域内的可见光光学信号获得可见光图像；矫正所述荧光图像获得标准荧光图像，并矫正所述可见光图像获得标准可见光图像；融合所述标准荧光图像和所述标准可见光图像获得融合图像。

本发明的具体实施方式还提供一种荧光实时成像、融合装置，包括：融合光源，用于对成像区域进行荧光和可见光照射；荧光信号采集单元，用于采集成像区域内的荧光光学信号获得荧光图像；可见光信号采集单元，用于采集成像区域内的可见光光学信号获得可见光图像；视野矫正单元，用于矫正所述荧光图像获得标准荧光图像，并矫正所述可见光图像获得标准可见光图像；图像处理单元，用于融合所述标准荧光图像和所述标准可见光图像获得融合图像。

根据本发明的上述具体实施方式可知，荧光实时成像、融合方法及装置至少具有以下有益效果：利用融合光源对成像区域进行多光谱照射；利用荧光CCD相机采集成像区域内的荧光光学信号从而获得荧光图像，同时利用可见光CCD相机采集成像区域内的可见光光学信号从而获得可见光图像；然后对荧光图像和可见光图像进行视野矫正，再融合视野矫正后的荧光图像和可见光图像从而获得融合图像；最后显示融合图像。本发明能够连续、动态地显示融合图像，并使最终得到的图像清晰且特征突出，功能显著、操作简单便捷。

应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本发明所欲主张的范围。

附图说明

下面的所附附图是本发明的说明书的一部分，其绘示了本发明的示例实施例，所附附图与说明书的描述一起用来说明本发明的原理。

图1为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例一的流程图；

图2为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例二的流程图；

图3为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例三的流程图；

图4为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例四的流程图；

图5为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例一的示意框图；

图6为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例二的示意框图；

图7为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例三的示意框图；

图8为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例四的示意框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本发明所揭示内容的精神，任何所属技术领域技术人员在了解本发明内容的实施例后，当可由本发明内容所教示的技术，加以改变及修饰，其并不脱离本发明内容的精神与范围。

本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。

关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本发明，其仅为了区别以相同技术用语描述的元件或操作。

关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。

关于本文中所使用的用语“大致”、“约”等，用以修饰任何可以微变化的数量或误差，但这些微变化或误差并不会改变其本质。一般而言，此类用语所修饰的微变化或误差的范围在部分实施例中可为20％，在部分实施例中可为10％，在部分实施例中可为5％或是其他数值。本领域技术人员应当了解，前述提及的数值可依实际需求而调整，并不以此为限。

某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。

图1为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例一的流程图，如图1所示，利用融合光源对成像区域进行荧光和可见光照射，采集并矫正成像区域内的荧光图像和可见光图像，最后融合矫正后的荧光图像和可见光图像获得融合图像。

该附图所示的具体实施方式包括：

步骤101：利用融合光源对成像区域进行荧光和可见光照射。融合光源能够同时发出近红外荧光和可见光。

步骤102：采集成像区域内的荧光光学信号获得荧光图像，并同时采集成像区域内的可见光光学信号获得可见光图像。利用两台电荷耦合元件(CCD)相机同时获取成像区域内的荧光图像和可见光图像。

步骤103：矫正所述荧光图像获得标准荧光图像，并矫正所述可见光图像获得标准可见光图像。由于荧光CCD相机和可见光CCD相机的芯片尺寸不同，导致CCD相机同时获取成像区域内的荧光图像和可见光图像的图像视野不同，因此，需要矫正荧光图像和可见光图像。

步骤104：融合所述标准荧光图像和所述标准可见光图像获得融合图像。

参见图1，利用融合光源对成像区域进行多光谱照射；利用荧光CCD相机采集成像区域内的荧光光学信号从而获得荧光图像，同时利用可见光CCD相机采集成像区域内的可见光光学信号从而获得可见光图像；然后对荧光图像和可见光图像进行视野矫正，再融合视野矫正后的荧光图像和可见光图像从而获得融合图像。本发明能够连续、动态地显示融合图像，并使最终得到的图像清晰且特征突出，功能显著、操作简单便捷。

图2为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例二的流程图，如图2所示，在进行图像融合之前，对所述标准荧光图像和所述标准可见光图像进行增强、伪彩色处理。

该附图所示的具体实施方式中，步骤104之前，该方法还包括：

步骤103-1：对所述标准荧光图像和所述标准可见光图像进行增强、伪彩色处理。

参见图2，对标准荧光图像和标准可见光图像进行增强、伪彩色处理后，再进行图像融合，使得最终得到的图像清晰且特征突出。

图3为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例三的流程图，如图3所示，根据需要，可以显示标准荧光图像、标准可见光图像或者融合图像。

该附图所示的具体实施方式中，步骤104之后，该方法还包括：

步骤105：根据预先设置显示所述标准荧光图像、所述标准可见光图像和所述融合图像中的一种。

参见图3，通过设置，可以显示标准荧光图像、标准可见光图像或者融合图像，满足用户的特定需求，提高用户使用的便利性。

图4为本发明具体实施方式提供的一种荧光实时成像、融合方法的实施例四的流程图，如图4所示，查找荧光图像和可见光图像的重合区域，取它们的重合区域作为标准荧光图像和标准可见光图像。

该附图所示的具体实施方式中，步骤103具体包括：

步骤1031：查找所述荧光图像和所述可见光图像的重合区域部分。

步骤1032：在所述荧光图像上取重合区域部分作为标准荧光图像。

步骤1033：在所述可见光图像上取重合区域部分作为标准可见光图像。

本发明的具体实施例中，步骤1031进一步包括：

计算所述荧光图像的灰度梯度矩阵A。

计算所述可见光图像的灰度梯度矩阵B。

计算所述灰度梯度矩阵A和所述灰度梯度矩阵B的相关性矩阵。

根据所述相关性矩阵计算最优配准点。

根据所述最优配准点计算所述荧光图像和所述可见光图像的重合区域部分。

参见图4，查找荧光图像和可见光图像的重合区域，基于重合区域在荧光图像上获取标准荧光图像，并基于重合区域在可见光图像上获取标准可见光图像；对获取的荧光图像和可见光图像进行视野矫正，使荧光图像和可见光图像的视野相同，从而可以对标准荧光图像和标准可见光图像进行实时融合成像。

图5为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例一的示意框图，如图5所示的装置可以应用到图1-图4所示的方法中，利用融合光源对成像区域进行荧光和可见光照射，采集并矫正成像区域内的荧光图像和可见光图像，最后融合矫正后的荧光图像和可见光图像获得融合图像。

该附图所示的具体实施方式中，该装置包括融合光源1、荧光信号采集单元2、可见光信号采集单元3、视野矫正单元4和图像处理单元5，其中，融合光源1用于对成像区域进行荧光和可见光照射；荧光信号采集单元2用于采集成像区域内的荧光光学信号获得荧光图像；可见光信号采集单元3用于采集成像区域内的可见光光学信号获得可见光图像；视野矫正单元4用于矫正所述荧光图像获得标准荧光图像，并矫正所述可见光图像获得标准可见光图像；图像处理单元5用于融合所述标准荧光图像和所述标准可见光图像获得融合图像。本发明的具体实施例中，由于荧光CCD相机和可见光CCD相机的芯片尺寸不同，导致CCD相机同时获取成像区域内的荧光图像和可见光图像的图像视野不同，利用视野矫正单元4矫正荧光图像和可见光图像后，获得标准荧光图像和标准可见光图像，所述标准荧光图像和所述标准可见光图像的视野完全一样；图像处理单元5还用于对所述标准荧光图像进行增强、伪彩色处理，使最终得到的融合图像清晰且特征突出；具体来说，对标准荧光图像做图像增强处理得到增强标准荧光图像，然后对增强标准荧光图像做加伪彩色处理得到伪彩色荧光图像，最后将标准可见光图像和伪彩色荧光图像做融合处理，得到最终的融合图像。

参见图5，利用融合光源对成像区域进行多光谱照射；利用荧光信号采集单元2采集成像区域内的荧光光学信号从而获得荧光图像，同时利用可见光信号采集单元3采集成像区域内的可见光光学信号从而获得可见光图像；然后视野矫正单元4对荧光图像和可见光图像进行视野矫正后，图像处理单元5融合视野矫正后的荧光图像和可见光图像从而获得融合图像。本发明能够连续、动态地显示融合图像，并使最终得到的图像清晰且特征突出，功能显著、操作简单便捷。

图6为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例二的示意框图，如图6所示，根据需要，可以显示标准荧光图像、标准可见光图像或者融合图像。

该附图所示的具体实施方式中，该装置还包括显示单元6，其中，显示单元6用于根据预先设置显示所述标准荧光图像、所述标准可见光图像和所述融合图像中的一种。

参见图6，通过设置，可以显示标准荧光图像、标准可见光图像或者融合图像，满足用户的特定需求，提高用户使用的便利性。

图7为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例三的示意框图，如图7所示，融合光源具有融合光源主机和融合光源照射设备；荧光信号采集单元具有光学镜头和荧光CCD相机；可见光信号采集单元具有可见光光学镜头和可见光CCD相机。

该附图所示的具体实施方式中，所述融合光源1进一步包括融合光源主机11和融合光源照射设备12，其中，融合光源照射设备12用于同时发出近红外荧光和可见光。所述荧光信号采集单元2进一步包括光学镜头21和荧光CCD相机22，其中，荧光CCD相机用于探测近红外荧光。所述可见光信号采集单元3进一步包括可见光光学镜头31和可见光CCD相机32，其中，可见光CCD相机32用于探测可见光。利用荧光信号采集单元2和可见光信号采集单元3采集图像之前，需要设置荧光CCD相机22和可见光CCD相机32的曝光时间、相机快门方式、是否自动存储图像数据等参数。

参见图7，本发明通过选择合适的两台CCD相机及其对应的带通滤光片和光学镜头，使最终得到的融合图像清晰且特征突出。

图8为本发明具体实施方式提供的一种荧光实时成像、融合装置的实施例四的示意框图，如图8所示，寻找荧光图像和可见光图像的重合区域，取它们的重合区域作为标准荧光图像和标准可见光图像。

该附图所示的具体实施方式中，所述视野矫正单元4进一步包括查找模块41、第一获取模块42和第二获取模块43，其中，查找模块41用于查找所述荧光图像和所述可见光图像的重合区域部分；第一获取模块42用于在所述荧光图像上取重合区域部分作为标准荧光图像；第二获取模块43用于在所述可见光图像上取重合区域部分作为标准可见光图像。

本发明的具体实施例中，查找模块41进一步包括：第一计算子模块、第二计算子模块、第三计算子模块、第四计算子模块和第五计算子模块，其中，第一计算子模块用于计算所述荧光图像的灰度梯度矩阵A；第二计算子模块用于计算所述可见光图像的灰度梯度矩阵B；第三计算子模块用于计算所述灰度梯度矩阵A和所述灰度梯度矩阵B的相关性矩阵；第四计算子模块用于根据所述相关性矩阵计算最优配准点；第五计算子模块用于根据所述最优配准点计算所述荧光图像和所述可见光图像的重合区域部分。

参见图8，查找荧光图像和可见光图像的重合区域，基于重合区域在荧光图像上获取标准荧光图像，并基于重合区域在可见光图像上获取标准可见光图像；对获取的荧光图像和可见光图像进行视野矫正，使荧光图像和可见光图像的视野相同，从而可以对标准荧光图像和标准可见光图像进行实时融合成像。

本发明的具体实施例中，在成像区域上放置浓度为0.04mg/ml吲哚菁绿荧光染料EP管(即eppendorf管，离心管的一种)，使得融合光源发出的光照射在EP管的正上方，利用本发明提供的荧光实时成像、融合装置进行荧光实时成像、融合处理，从而验证装置的可靠性与实用性。

本发明提供一种荧光实时成像、融合方法及装置，利用融合光源对成像区域进行多光谱照射；利用荧光CCD相机采集成像区域内的荧光光学信号从而获得荧光图像，同时利用可见光CCD相机采集成像区域内的可见光光学信号从而获得可见光图像；然后对荧光图像和可见光图像进行视野矫正，再融合视野矫正后的荧光图像和可见光图像从而获得融合图像；最后显示融合图像。本发明能够连续、动态地显示融合图像，并使最终得到的图像清晰且特征突出，功能显著、操作简单便捷。荧光实时成像、融合装置结构合理、实用，可广泛用于光学分子影像实验的研究与药物的研发，具有广阔的发展前景。

上述的本发明实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施例也可为在数据信号处理器(Digital Signal Processor，DSP)中执行上述方法的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array，FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。

以上所述仅为本发明示意性的具体实施方式，在不脱离本发明的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本发明保护的范围。