基于图像强度各阶导数的荧光显微图像3d重建方法及装置制造方法
【专利摘要】本发明公开一种基于图像强度高阶导数的荧光显微图像3D重建方法即装置，其中方法包括以下步骤：输入荧光显微图像栈，荧光显微图像栈包括多幅轴向光切图像；确定高阶导数的阶数N；将荧光显微图像堆栈划分为多个轴向光切图像组，每个轴向光切图像组中包括数目大于N幅连续的轴向光切图像；对轴向光切图像组，以组内第一幅轴向光切图像为基准图像，计算基准图像处的各阶导数；利用基准图像和各阶导数，求取新增轴向位置对应的新增光切图像；以及根据原始的荧光显微图像栈和新增光切图像，重建荧光显微图像3D结构。本发明可以克服原有荧光显微图像栈获取时间过长易发生光裂解和光漂白现象等困难以及数量缺乏等缺点，具有效率高，应用范围广等优点。
【专利说明】基于图像强度各阶导数的荧光显微图像3D重建方法及装
【技术领域】
[0001] 本发明涉及图像处理和计算机视觉【技术领域】，具体涉及一种基于图像强度各阶导 数的荧光显微图像3D重建方法及其装置。
【背景技术】
[0002] 近年来，荧光显微图像3D复原或重建一直是图像处理与计算机视觉领域里一项 具有挑战性的工作，并已证明在生物、医学和生命科学研究中具有重要价值。
[0003] 使用宽场显微镜和反卷积技术进行荧光显微图像栈的计算重建是日前非常流行 的一种3D重建技术之一。其优点为宽场显微镜成本低廉，灵活性好，可以在获取图像后随 时进行计算机处理，以及与共焦显微镜相比速度更快等优势，但该技术的缺点在于：即便对 一个厚度仅为几微米的薄样本进行重建，也要预先做几百片光学切片，并进行成像和计算， 这将是一件非常复杂，繁琐以及耗时的工作。而对于较厚的生物样本，由于低信噪比，光裂 解，光漂白等现象在长时间成像过程中经常会出现，导致获取完整的光学图像栈几乎是件 无法完成的事情。此外，这种技术的图像分辨率尤其是轴向分辨率会受到光学衍射的限制。
[0004] 共焦显微镜由于层析性质可以呈现深度1微米左右的立体图像，尤其是近来双光 子和多光子技术的发展以后，共焦显微镜方法应用更加广泛。但是共焦显微镜方法的信噪 比和效率由于针孔装置的使用及其低下。
[0005] 因此，设计并实现一种低成本、高效率、高质量的荧光显微图像3D重建方法非常 重要，也非常迫切。
【发明内容】
[0006] 本发明的目的旨在至少解决上述技术缺陷之一，特别是解决了现有的荧光显微图 像3D重建方法在光切图像数目偏少时重建结果不准确的缺点。
[0007] 为达到上述目的，本发明一方面提供一种基于图像强度高阶导数的荧光显微图像 3D重建方法，可以包括以下步骤:A.输入荧光显微图像栈，所述荧光显微图像栈包括多幅 轴向光切图像；B.确定高阶导数的阶数N，N为正整数；C.将所述荧光显微图像堆栈划分为 多个轴向光切图像组，每个所述轴向光切图像组中包括数目大于N幅连续的所述轴向光切 图像；D.对所述轴向光切图像组，以组内第一幅轴向光切图像为基准图像，计算所述基准 图像处的各阶导数；E.利用所述基准图像和步骤D获得的各阶导数，求取新增轴向位置对 应的新增光切图像；以及F.根据原始的所述荧光显微图像栈和步骤E获得的所述新增光切 图像，重建荧光显微图像3D结构。
[0008] 为达到上述目的，本发明另一方面提供一种基于图像强度高阶导数的荧光显微图 像3D重建装置，包括以下部分：图像输入模块，用于输入荧光显微图像栈，所述荧光显微图 像栈包括多幅轴向光切图像；阶数确定模块，用于确定高阶导数的阶数N，N为正整数；分组 模块，所述分组模块与所述图像输入模块和所述阶数确定模块相连，用于将所述荧光显微 图像堆栈划分为多个轴向光切图像组，每个所述轴向光切图像组中包括数目大于N幅连续 的所述轴向光切图像；导数计算模块，所述导数计算模块与所述分组模块相连，用于对所述 轴向光切图像组，以组内第一幅轴向光切图像为基准图像，计算所述基准图像处的各阶导 数；新图生成模块，所述新图生成模块与所述导数计算模块相连，用于利用所述基准图像和 所述导数计算模块获得的各阶导数，求取新增轴向位置对应的新增光切图像；以及重建模 块，所述重建模块与所述图像输入模块和所述新图生成模块相连，用于根据原始的所述荧 光显微图像栈和所述新图生成模块获得的所述新增光切图像，重建荧光显微图像3D结构。
[0009] 本发明实施例的荧光显微图像3D重建方法和装置，可以克服原有荧光显微图像 栈获取时间过长易发生光裂解和光漂白现象等困难，以及数量缺乏等缺点，此外，该方法利 用计算机后期处理完成，可以避免光学仪器成像过程时间过长产生的其他不利突发事件的 影响，最后，该方法不仅可以应用于成本低廉的宽场显微镜，同时也可以应用于任意其他光 学成像系统，例如共焦显微镜，能够更加快速地获得更加准确的荧光显微图像3D结构。 [0010] 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
【专利附图】
【附图说明】
[0011] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中：
[0012] 图1为荧光显微图像栈以及轴向光切图像的示意图。
[0013] 图2为本发明实施例的基于图像强度各阶导数的荧光显微图像3D重建方法的流 程图。
[0014] 图3为将荧光显微图像堆栈划分为多个轴向光切图像组的示意图，其中（a)为不 交叠划分情况，（b)为交叠划分情况。
[0015] 图4为本发明实施例的基于图像强度各阶导数的荧光显微图像3D重建装置的结 构框图。
[0016] 图5为本发明一个实施例的荧光显微图像栈中的部分轴向光切图像的示意图，其 中（a)z = 52，（b)z = 56，（c)z = 60，（d)z = 64，（e)z = 68，（f)z = 72，（g)z = 76，（h) z = 83，（i) z = 87。
[0017] 图6为本发明一个实施例的轴向光切图像组中的基准图像及其各阶导数，以及利 用各阶导数生成的图像的示例，其中（a)基准图像（0阶导数），及其对应的（b) -阶导数， (c)二阶导数，（d)三阶导数，（e)四阶导数，（f)五阶导数，（g)六阶导数，（h)利用各阶导 数生成的图像（z = 86.5)。
[0018] 图7为本发明一个实施例的轴向光切图像及其新增光切图像示例，其中（a)z = 90 (真实图像），（b) z = 90. 5 (生成图像），（c) z = 91 (真实图像），（d) z = 91. 5 (生成图 像），（e)z = 92(真实图像），（f)z = 92.5(生成图像）。
[0019] 图8为本发明一个实施例的荧光显微图像3D结构重建结果对比图，其中（a)为通 过原始荧光显微图像栈重建得到的3D结构，（b)为通过本发明的技术重建得到的3D结构。
【具体实施方式】
[0020] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0021] 为使读者更好地理解本发明， 申请人:首先介绍下相关背景知识。如图1所示，图中 左侧表示通过不断改变显微镜的载物台或者物镜的轴向位置，即通过不断变焦的方式，可 以获得荧光显微样本的一组光切图像，称为荧光显微图像栈。该荧光显微图像栈中的部分 光切图像如图中右侧图所示。
[0022] 本发明旨在提出一种利用图像强度各阶导数的荧光显微图像3D重建方法及装 置。其原理为：假设在有限的轴向距离范围内图像栈中的图像满足线性关系和连续性，可以 利用泰勒级数展开理论和线性拟合方法，计算得到第一幅图像或者基准图像的各阶导数， 而各阶导数又可以计算生成沿光轴方向距离基准图像任意距离处的图像，最后利用原有荧 光显微图像栈中的图像和新生成的图像重建样本3D结构。
[0023] 为实现上述目的，根据本发明实施例的基于图像强度高阶导数的荧光显微图像3D 重建方法，如图2所示，可以包括以下步骤：
[0024] A.输入荧光显微图像栈，荧光显微图像栈包括多幅轴向光切图像。
[0025] B.确定高阶导数的阶数N，N为正整数。
[0026] 需要说明的是，为了避免过拟合现象，优选20。过拟合可以这样来理解：原本 通常情况下对多幅图像进行线性拟合得到的各阶导数本应是N越大拟合结果越准确。但是 阶数N过大时，得到的各阶导数反而更加不准确，也就是利用误差公式检验计算得到的误 差出现非减反增的现象。
[0027] C.将荧光显微图像堆栈划分为多个轴向光切图像组，每个轴向光切图像组中包括 数目大于N幅连续的轴向光切图像。
[0028] 需要说明的是，分组灵活性较大，体现在如下几方面：（1)各组轴向光切图像组内 的图像数目可以相同或者不同，仅需要保证每组内图像数目大于N幅即可。大于N幅是为 了保证能够求出N阶导数。当然，每组内图像数目也不宜过大，以免起始图片和终止图片 差异较大不满足图像连续性假设。（2)分组得到的不同轴向光切图像组之间不交叠（如图 3(a)所示）或者交叠（如图3(b)所示）。例如，假设荧光显微图像栈中有1至100幅图， 可以第10-30幅为一组、第31-51幅为另一组，组间不交叠；还可以第15-35幅为一组、第 31-51为另一组，组间交叠，有五张就重复利用了。不同组间是否交叠并不改变发明的基本 原理。但是倘若将荧光显微图像栈中间段的、质量好、可信度高的轴向光切图像重复采用到 不同组中，有利于提高最终结果的准确度。
[0029] D.对轴向光切图像组，以组内第一幅轴向光切图像为基准图像，计算基准图像处 的各阶导数。
[0030] 具体地：将所述基准图像用I (X，y，0)表示，假设所述轴向光切图像组具有连续性 并在一定轴向距离范围内满足线性假设，则可以利用光切图像组内的所有图像和线性拟合 方法求得所述基准图像处的各阶导数f。
[0031] E.利用基准图像和步骤D获得的各阶导数，求取新增轴向位置对应的新增光切图 像。
[0032] 具体地：将所述新增轴向位置与所述基准平面的轴向距离表示为Λζ，利用泰勒 级数展开理论，可以计算得到新增光切图像I(x，y，Λ ζ)平面处的泰勒级数展开，用下式表 示
【权利要求】
1. 一种基于图像强度高阶导数的荧光显微图像3D重建方法，其特征在于，包括以下步 骤： A. 输入荧光显微图像栈，所述荧光显微图像栈包括多幅轴向光切图像； B. 确定高阶导数的阶数N，N为正整数； C. 将所述荧光显微图像堆栈划分为多个轴向光切图像组，每个所述轴向光切图像组中 包括数目大于N幅连续的所述轴向光切图像； D. 对所述轴向光切图像组，以组内第一幅轴向光切图像为基准图像，计算所述基准图 像处的各阶导数； E. 利用所述基准图像和步骤D获得的各阶导数，求取新增轴向位置对应的新增光切图 像；以及 F. 根据原始的所述荧光显微图像栈和步骤E获得的所述新增光切图像，重建荧光显微 图像3D结构。
2. 根据权利要求1所述的方法，其特征在于，所述N< 20。
3. 根据权利要求1所述的方法，其特征在于，所述步骤C中，分组得到的不同轴向光切 图像组之间不交叠或者交叠。
4. 根据权利要求1所述的方法，其特征在于，所述步骤D具体包括： 将所述基准图像用I(x，y，〇)表示，假设所述轴向光切图像组具有连续性并在一定轴 向距离范围内满足线性假设，则可以利用光切图像组内的所有图像和线性拟合方法求得所 述基准图像处的各阶导数
5. 根据权利要求4所述的方法，其特征在于，所述步骤E具体包括： 将所述新增轴向位置与所述基准平面的轴向距离表示为Az，利用泰勒级数展开 理论，可以计算得到新增光切图像I(x，y，Az)平面处的泰勒级数展开，用下式表示
，即获得新增光切图像I(x，y，Az)。
6. 根据权利要求1所述的方法，其特征在于，在步骤E中通过提供多个不同的所述新增 轴向位置，以获得多幅所述新增光切图像。
7. -种基于图像强度高阶导数的荧光显微图像3D重建装置，其特征在于，包括以下部 分： 图像输入模块，用于输入荧光显微图像栈，所述荧光显微图像栈包括多幅轴向光切图 像； 阶数确定模块，用于确定高阶导数的阶数N，N为正整数； 分组模块，所述分组模块与所述图像输入模块和所述阶数确定模块相连，用于将所述 荧光显微图像堆栈划分为多个轴向光切图像组，每个所述轴向光切图像组中包括数目大于 N幅连续的所述轴向光切图像； 导数计算模块，所述导数计算模块与所述分组模块相连，用于对所述轴向光切图像组， 以组内第一幅轴向光切图像为基准图像，计算所述基准图像处的各阶导数； 新图生成模块，所述新图生成模块与所述导数计算模块相连，用于利用所述基准图像 和所述导数计算模块获得的各阶导数，求取新增轴向位置对应的新增光切图像；以及 重建模块，所述重建模块与所述图像输入模块和所述新图生成模块相连，用于根据原 始的所述荧光显微图像栈和所述新图生成模块获得的所述新增光切图像，重建荧光显微图 像3D结构。
8. 根据权利要求7所述的装置，其特征在于，所述N< 20。
9. 根据权利要求7所述的装置，其特征在于，所述分组模块中，分组得到的不同轴向光 切图像组之间不交叠或者交叠。
10. 根据权利要求7所述的装置，其特征在于，所述导数计算模块中： 将所述基准图像用I(x，y，〇)表示，假设所述轴向光切图像组具有连续性并在一定轴 向距离范围内满足线性假设，则可以利用光切图像组内的所有图像和线性拟合方法求得所 述基准图像处的各阶导数
11. 根据权利要求10所述的装置，其特征在于，所述新图生成模块中： 将所述新增轴向位置与所述基准平面的轴向距离表示为Az，利用泰勒级数展开 理论，可以计算得到新增光切图像I(x，y，Az)平面处的泰勒级数展开，用下式表示
，即获得新增光切图像I(x，y，Az)。
12. 根据权利要求7所述的装置，其特征在于，在所述新图生成模块中通过提供多个不 同的所述新增轴向位置，以获得多幅所述新增光切图像。
【文档编号】G06T17/00GK104268929SQ201410455724
【公开日】2015年1月7日 申请日期:2014年9月9日 优先权日:2014年9月9日
【发明者】王瑜, 姜欢 申请人:北京工商大学