纤维状结构三维显微图像的智能插值方法及系统

1.本发明涉及图像处理领域，尤其涉及单细胞分辨率水平的脑显微图像中，神经元、血管等纤维状三维结构信息的智能插值方法及系统。
2.

背景技术：

3.现代神经科学的研究方向之一是对复杂脑结构的解析。近年来，伴随着神经元稀疏标记技术以及介观尺度的全脑光学成像技术的飞速发展，为神经学家能够在介观水平研究大脑的神经环路提供了技术条件。研究神经环路，需要对全脑进行成像，并且要求观测精度达到微米量级。在宏观尺度，mri等成像技术能够观察脑区等明显的空间特征，但观测精度不够，只能在毫米量级，其对厘米尺度的全脑成像空间分辨率最高只能达到10-50 μm；在微观尺度，能通过电子显微镜观测神经元的精细形态，其分辨率甚至能达到1nm，受限于成像时间与成本的限制，电镜只能扫描非常小体积的图像，因此只能对神经元局部分支进行成像；而在介观尺度，介于两者之间，有助于重建真实的大脑神经网络，是脑科学研究中具有重要意义的一环。特别是，光学显微成像技术可以探测到生物组织在单细胞分辨率水平的精细结构，利用精密的显微光学成像平台，切削的组织薄片可以达到1 μm的厚度，具备获取小鼠全脑单神经元分辨水平的三维数据集的能力。但是，受限于光学成像系统存在的物理限制，显微光学成像系统采集到的图像呈各向异性，影响了后续三维图像数据集可视化及基于图像的数据分析，如高分辨率的图像配准、神经元半径估算、神经元重建等。
4.因此，亟需一个快速自动的高分辨率各向同性智能插值方法，用于提升海量图像数据集的分辨率，如中国公开专利cn105590338a《一种扫描电子显微图像的三维重构方法》、cn104751425a《基于空间变化点扩散函数的荧光显微图像重建方法》所揭示。但是，受限于光学成像系统点扩散函数的影响，采集图像的三维体素分辨率xyz中，存在z方向分辨率远低于xy方向分辨率，而对于三维数据集各向异性这一问题很难在物理器件层面被克服。因此，通过图像处理算法以提高光学系统采集图像的z方向分辨率，实现三维数据集的各向同性成为解决该问题的一种新思路。
5.目前对于采集的常规三维数据集，存在某个方向的分辨率相对较低的问题，可以利用图像插值技术，弥补该方向低分辨率问题。图像插值就是一个图像数据再生成的过程，它利用低分辨率的原始图像数据再生出更高分辨率的图像数据。序列图像插值的目标是在相邻两幅图像之间通过插值方法以生成新的插值图像，这样增加了该序列间图像的数量，减少了图像之间的间距，有助于后续的图像三维重建。一般而言，图像插值可以分为两类：一类是基于重构的方法，另一类是基于学习的方法。基于重构的方法是使用先验信息来制定插值函数，例如马尔可夫模型，自回归模型和非局部相似性。然而，这些基于重构的方法依赖于所观察到的低分辨率图像信息非常有限，常常导致图像的边缘模糊。基于学习的方法使用来自训练样本的大量信息，例如稀疏表示，随机森林，深度神经网络等。基于学习的方法的关键是从训练样本中提取相关信息以内插生成新像素。然而，如果直接将深度学习
方法应用于恢复光学显微镜图像的各向同性问题中，由于缺乏足够的训练数据，且不可能手动生成这些数据，使得问题复杂化，导致深度学习方法无法直接用于介观尺度数据集的高分辨率各向同性的插值问题。


技术实现要素：

6.鉴于目前现有技术的不足，本发明的目的在于提供一种纤维状结构三维显微图像的智能插值方法及系统，来提升单细胞分辨率水平的三维图像xyz中z方向（轴向）的分辨率，在各方向分辨率均保持在同一量级的基础上实现三维显微图像空间分辨率的各向同性。
7.为达到上述目的，本发明的实施例采用如下技术方案：一种纤维状结构三维显微图像的智能插值方法，所述方法包括如下步骤：步骤s1，获取原始数据步骤，获取单细胞分辨水平的脑组织的三维图像数据集；步骤s2，构建训练数据集步骤，对所述三维图像数据集裁剪xy面高分辨率二维数据集a，构建为全卷积网络模型训练的金标准数据集；对所述xy面高分辨率二维数据集a进行下采样，生成低分辨率二维数据集b；步骤s3，全卷积网络模型训练步骤，将所述二维数据集a和b输入全卷积网络模型中训练，直至模型能够进行二维图像的低分辨率到高分辨率的预测；步骤s4，z向高分辨率图像预测步骤，将zy面低分辨率二维图像数据输入到训练好的全卷积网络模型中进行预测，生成相应的zy面高分辨率二维图像数据；步骤s5，循环处理步骤，循环处理所述三维图像数据集的所有的zy面、zx面低分辨率二维图像数据，得到所有的zy面、zx面高分辨率二维图像数据；步骤s6，三维高分辨率结果输出步骤，将zy面、zx面高分辨率二维图像数据重切片还原，输出高分辨率的单细胞分辨水平的脑组织的三维图像数据集。
8.优选的，所述zy面、zx面的二维图像数据均由所述三维图像数据集重切片而来。
9.优选的，所述步骤s2中的“裁剪xy面高分辨率二维数据集a”具体为脑组织的三维图像的xy方向的连续切片图像上，选取图像中有信号点的位置，以128 x 128 pixel 的大小进行裁剪，作为全卷积网络模型训练的金标准数据集。
10.优选的，所述步骤s2中的“对所述xy面高分辨率二维数据集a进行下采样”具体为通过双三次的插值方法对xy面图像沿x或者y方向进行下采样，生成低分辨率二维数据集b，以此模拟zy面或者zx面的分辨率二维图像数据，从而构建高分辨率和低分辨率匹配的训练数据集。
11.优选的，所述步骤s3中的全卷积网络模型是以卷积层、最大池化层以及上采样层构成，使其能够提取图像的信息特征，预测得到高分辨率的图像；通过对全卷积网络结构进行调参，选择实验测试中最优参数下的网络模型，所述参数优化，是在保证预测图像的准确率和相似度的情况下，以减少网络训练和预测的时间为准则，设计网络的卷积、最大池化和上采样的次数。
12.优选的，所述步骤s3中的“将所述二维数据集a和b输入全卷积网络模型中训练”具体为：输入低分辨率二维数据集b，先通过图像预处理上采样生成数据集b’，使所述数据
集b’与数据集a具有相同尺寸，保证全卷积网络模型的输入和输出图像具有同样的尺寸，同时与所述金标准数据集a一一对应，利用全卷积网络模型学习低分辨率数据b’至高分辨率数据a的变换，反复训练后选择保留预测图像最好的网络模型权重结果。
13.优选的，所述步骤s4具体包括：步骤s41、将单张zy面低分辨率二维图像大图拆分成一系列小图；所述拆分成一系列小图，是由于单张zy面图像的分辨率有上万像素点，不能直接输入到全卷积网络模型中进行预测，其中zy面图像是通过三维图像做数据重切片得到。所以需要先将一张完整的zy面图像沿着x或者y方向上采样至各向同性，保证z与x或者z与y的像素保持一致，生成新的低分辨率图像zy’，再将新生成的低分辨率图像拆分成一张张尺寸较小的图像，输入到全卷积网络中进行预测；步骤s42、将每张小图依次输入训练好的全卷积网络模型中，进行逐像素点预测，得到所述每张小图的高分辨率各向同性的二维图像数据；步骤s43、将预测后的具有高分辨率的小图拼接成完整大图，得到高分辨率各向同性的zy面图像。
14.优选的，所述步骤s43中的“将预测后的具有高分辨率的小图拼接成完整大图”具体为将步骤s42中预测后得到的每张高分辨率各向同性小图，按照大图拆分成小图的顺序，同时设定拼接时小图边界的冗余值，重新拼接还原成一张完整的zy面大图，从而得到高分辨率各向同性的zy面图像。
15.本发明还揭示了一种纤维状结构三维显微图像的智能插值系统，包括：获取原始数据单元，用于获取单细胞分辨水平的脑组织的三维图像数据集；构建训练数据集单元，用于对所述三维图像数据集裁剪xy面高分辨率二维数据集a，构建为全卷积网络模型训练的金标准数据集；对所述xy面高分辨率二维数据集a进行下采样，生成低分辨率二维数据集b；全卷积网络模型训练单元，用于将所述二维数据集a和b输入全卷积网络模型中训练，直至模型能够进行二维图像的低分辨率到高分辨率的预测；z向高分辨率图像预测单元，用于将zy面低分辨率二维图像数据输入到训练好的全卷积网络模型中进行预测，生成相应的zy面高分辨率二维图像数据；循环处理单元，用于循环处理所述三维图像数据集的所有的zy面、zx面低分辨率二维图像数据，得到所有的zy面、zx面高分辨率二维图像数据；三维高分辨率结果输出单元，用于将zy面、zx面高分辨率二维图像数据重切片还原，输出高分辨率的单细胞分辨水平的脑组织的三维图像数据集。
16.优选的，全卷积网络模型是以卷积层、最大池化层以及上采样层构成，使其能够提取图像的信息特征，预测得到高分辨率的图像；通过对全卷积网络结构进行调参，选择实验测试中最优参数下的网络模型，所述参数优化，是在保证预测图像的准确率和相似度的情况下，以减少网络训练和预测的时间为准则，设计网络的卷积、最大池化和上采样的次数。
17.优选的，所述全卷积网络模型训练单元中的“将所述二维数据集a和b输入全卷积网络模型中训练”具体为，输入低分辨率二维数据集b，先通过图像预处理上采样生成数据集b’，使所述数据集b’与数据集a具有相同尺寸，保证全卷积网络模型的输入和输出图像具有同样的尺寸，同
时与所述金标准数据集a一一对应，利用全卷积网络模型学习低分辨率数据b’至高分辨率数据a的变换，反复训练后选择保留预测图像最好的网络模型权重结果。
18.优选的，所述z向高分辨率图像预测单元将单张zy面低分辨率二维图像大图拆分成一系列小图；将每张小图依次输入训练好的全卷积网络模型中进行预测，得到所述每张小图的高分辨率二维图像数据；将预测后得到的每张高分辨率各向同性小图，按照大图拆分成小图的顺序，同时设定拼接时小图边界的冗余值，重新拼接还原成一张完整的zy面大图，从而得到高分辨率各向同性的zy面图像。
19.本发明的有益效果主要体现在：本发明方法对纤维状结构三维图像数据集的分辨率有显著提升效果，实现了三维数据集高分辨率各向同性。在xy面高分辨率各向同性的数据集上构造的类似zy面低分辨率各向异性图像进行预测，得到的预测后图像与原始的金标准图像定性上对比，人眼观察与金标准图像非常相似，定量化分析的psnr均值有80以上，ssim均值有88%以上；同时预测后图像的灰度曲线变化与金标准图像保持高度一致；再将xy面高分辨图像构建的训练数据集，利用全卷积网络模型进行训练的结果，应用在zy面低分辨率数据集上，预测的图像结果相比于原来的zy面低分辨图像质量有显著提升，很大程度上改善了原来低分辨率图像上的锯齿现象，预测的图像神经元纤维更清晰。同时对比zy面图像绘制的灰度曲线图，预测后图像的曲线更连续平滑，消除了原来的z向低分辨图像的锯齿效应。对预测后的zy面图像做数据重切片，还原至原始的三维图像方向，从而实现三维数据集的高分辨率各向同性。
20.本发明方法适用于显微光学成像系统采集的三维图像数据集分辨率提升，从而实现三维图像数据集的高分辨率各向同性，有利于后续数据的可视化、神经元半径估算、神经元重建等应用。
附图说明
21.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1为本发明所述一实施方式一种纤维状结构三维显微图像的智能插值方法的流程示意图；图2 为利用荧光显微光学切片断层成像系统（fmost）进行成像的xy面图片以及进行重切片后的zy面的二维图像；图3 为本发明建立的全卷积网络结构示意图；图4为三维数据集z向高分辨率各向同性预测结果对比图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.请参见图1所示，本发明一实施方式揭示了一种纤维状结构三维显微图像的智能插值方法，所述方法包括如下步骤：步骤s1，获取原始数据步骤，获取单细胞分辨水平的脑组织的三维图像数据集；步骤s2，构建训练数据集步骤，对所述三维图像数据集裁剪xy面高分辨率二维数据集a，构建为全卷积网络模型训练的金标准数据集；对所述xy面高分辨率二维数据集a进行下采样，生成低分辨率二维数据集b；步骤s3，全卷积网络模型训练步骤，将所述二维数据集a和b输入全卷积网络模型中训练，直至模型能够进行二维图像的低分辨率到高分辨率的预测；步骤s4，z向高分辨率图像预测步骤，将zy面低分辨率二维图像数据输入到训练好的全卷积网络模型中进行预测，生成相应的zy面高分辨率二维图像数据；步骤s5，循环处理步骤，循环处理所述三维图像数据集的所有的zy面、zx面低分辨率二维图像数据，得到所有的zy面、zx面高分辨率二维图像数据；步骤s6，三维高分辨率结果输出步骤，将zy面、zx面高分辨率二维图像数据重切片还原，输出高分辨率的单细胞分辨水平的脑组织的三维图像数据集。
25.接下来以鼠脑样本作为举例。本发明方法应用的鼠脑样本是使用携带黄色荧光蛋白（eyfp）的病毒进行标记，利用荧光显微光学切片断层成像系统（fmost）进行成像。如图2所示，xy面是高分辨率图像，zy面是低分辨率图像。图像分辨率是x 0.3μm
ꢀ×ꢀ
y 0.3μm
ꢀ×ꢀ
z 1μm，轴向（z向）分辨率仅为横向分辨率的三分之一左右。因此，本发明以采集图像中的神经元纤维通道的图像为研究对象，提升图像的轴向（z向）分辨率，从而实现三维数据集的高分辨率各向同性。
26.一、训练数据集生成模块对于显微光学切片断层成像系统，采集图像的xy面分辨率较高，而z向分辨率较低，且很难获取到z向高分辨率的真实数据集作为训练的金标准。如果要在连续两张xy面图像间再插值生成多张图像，难度较大且无真实的数据集对照学习，因此无法采用现有的图像插值的方式进行重构。
27.本发明的机理是将三维数据集转换成zy面的二维图像，再对zy面低分辨率图像数据进行预测，得到z向高分辨率图像数据，基于深度学习的全卷积网络模型，需要大量的训练数据集进行训练，为了生成训练数据集，有以下两个步骤，其中包括：1、裁剪xy面高分辨率数据集a模块由于xy面图像和zy面图像的神经元纤维信息具有高度的相似性，本发明选择裁剪xy面连续的图像作为训练数据集的金标准图像，裁剪的图像尽量选择包含有神经元纤维信号的图像，裁剪图像尺寸为128 x 128 pixel，需要大约裁剪1万~2万张小图作为训练数据集。
28.2、对数据集a进行下采样生成数据集b，模拟z向低分辨率数据模块对于所裁剪的xy面高分辨率图像数据集作为训练的金标准图像，再通过计算模拟构造类似于z向的低分辨率数据，从而生成高分辨率和低分辨率匹配的训练图像对。具体解释如下：根据显微光学系统采集的小鼠脑图像三维体素分辨率xyz分别是0.3 μm
ꢀ×ꢀ
0.3 μm
ꢀ×ꢀ
1 μm， 重切片得到的zy面的分辨率是1 μm
ꢀ×ꢀ
0.3 μm，y方向分辨率是z方向分辨率的3.33倍。因此将xy面的图像数据沿着x方向，采用双三次的插值方法下采样3.33倍，模拟
类似于zy面的低分辨数据，从而利用xy面高分辨率数据生成了匹配的低分辨率图像数据对。
29.二、全卷积网络模型训练模块利用建立的全卷积网络模型，对构建的训练数据集进行训练。
30.1、建立的全卷积网络模型，并进行参数优化模块为了能有效提取低分辨率图像到高分辨图像的特征，使设计的全卷积网络模型更有效地学习低分辨到高分辨的图像插值过程，以卷积核、最大池化层和上采样层为主设计网络结构，同时以保证预测图像的准确率和相似度为目标，在同等预测图像结果的前提下，能更快的对图像数据集进行训练和预测。通过多次调参和实验测试，设计不同的最大池化次数、卷积层数，以及上采样次数，对预测的图像进行对比，最终构建的全卷积网络结构包含三次最大池化和三次上采样，每次池化和上采样中间包含2层图像卷积层操作。整个网络结构分为两个部分，一是特征提取部分，特征提取部分包括三次最大池化层和6次卷积层，每次池化层前后均有两次卷积操作；二是上采样部分，每上采样一次，图像尺寸相应变大，同时和最大池化层对应通道数相同尺寸的图像融合，即相互拼接，通过上采样层，使得网络模型的输出图像与输入图像保持相同尺寸。
31.通过全卷积网络实现对高分辨率图像的预测，需要对每一个像素值进行回归，因此不能使用传统分类问题中的激活函数sigmoid。这里选择的网络激活函数是线性参数整流单元prelu（parametric relu），其函数表达式为：其中通常取值 。激活函数prelu可以避免神经网络模型中部分神经元无法激活的现象，也就是说如果神经元输入非正值时，神经元也可以被激活，保证每个神经元可以获得一个相应的梯度以更新对应的参数。所建立的全卷积网络结构如图3所示。
32.2、将构建的训练数据集a和b，输入全卷积网络中训练模块利用xy面的高分辨率图像数据集a作为网络模型训练的金标准，通过计算模拟构建类似于zy面的图像数据集b，在输入网络训练之前，需要进行数据预处理，将数据集b的x和y分辨率采用双三次的插值方式上采样至相同尺寸，作为网络模型的输入低分辨率图像b’。再利用建立的全卷积网络模型，对构建的高分辨率和低分辨率匹配的数据集进行训练，经过多次训练，选择训练最好的权重结果。
33.本发明使用的计算平台是windows 10，intel xeon cpu e5-2699，处理器为2.20 ghz，内存为384 gb，建立的全卷积网络基于keras实现。
34.三、z向高分辨图像预测模块将z向低分辨的图像数据集，通过全卷积网络进行预测，生成预测后的z向高分辨图像。有以下三个步骤，其中包括：步骤1、将单张zy面低分辨率二维图像大图拆分成一系列小图；对于显微光学切片断层成像系统采集的小鼠脑三维数据集，其单张xy面图像有上万像素值，同样的zy面图像也是上万的像素值，其zy面是由三维数据集xyz通过重切片得到的图像。所以在进行全卷积网络预测时，不能直接输入一张如此大的图像。因此需要将完整的zy面大图拆分成一系列小图，再输入到网络中进行预测。这里将重切片得到的一张完整的原始分辨率zy面的图像，先经过双三次的插值方式上采样到各向同性分辨率，作为网络的输入低分辨率图像，再进行单张zy面大图的裁剪，可以选取裁剪成1000 x 1000 pixel的
小图，同时裁剪时会在图像边缘设定冗余（rd, redundance）参数，保证拼接时在图像边缘不会产生明显的痕迹。
35.步骤2、将每张小图依次输入训练好的全卷积网络模型中进行逐像素点预测，得到所述每张小图的高分辨率二维图像数据；将步骤1中训练好的网络权重结果，应用到zy面图像的预测。将单张zy面大图拆分的每张1000 x 1000 pixel的小图输入网络中预测，会以100为步长（stride），尺寸为128 x 128 pixel的滑动窗口（img_size）进行预测，同时也保证每个小的相邻滑动窗口之间有一定的冗余（rd, redundance）区域，其表达式为：其中n代表重叠区域的次数，通过计算冗余区域的平均值作为最终结果，以此保证单张小图的拼接不会产生明显的拼缝。
36.本发明中的图像拆分就是设定一种像素尺寸进行裁剪图像，比如实施例中的1000x1000 pixel。只需要设定的尺寸xy像素相同，且大于128x128 pixel即可，一般为方便计算可以选择整百的倍数较好。
37.步骤3、将预测后的具有高分辨率的小图拼接成完整大图，得到高分辨率各向同性的zy面图像；将步骤2中预测的每张1000 x 1000 pixel，再按照一定的冗余参数，拼接还原成一张完整的zy面的图像。通过预测后一系列小图像拼接，可以得到一张高分辨率各向同性的图像。通过对预测后的zy面图像，再经过数据重切片操作，还原到原始的三维图像，这时得到的三维数据集的分辨率是各向同性，从而实现了三维数据集分辨率的提升，得到了高分辨率各向同性的三维数据集。
38.如图4所示的三维数据集z向高分辨率各向同性预测结果图。第一行是预测后图像重切片还原的xy面图像与原数据xy面的结果对比。第二行是zy面图像预测与原数据重切片的zy面结果图对比。可以看出：图像质量有显著提升，很大程度上改善了原来低分辨率图像上的锯齿现象，预测的图像神经元纤维更清晰。
39.第三行是第二行图像中橙色线的灰度曲线变化图对比。可以看出：预测后图像的曲线更连续平滑，消除了原来的z向低分辨图像的锯齿效应。
40.本发明在构建训练数据集的过程中，是将三维图像层间多张图的插值问题，转变为二维图像zy面的高分辨率预测，以解决光学显微镜很难获取到z向高分辨的图像，导致深度学习方法因缺乏z向金标准数据集而不能直接用于介观尺度三维数据集的高分辨率各向同性问题。同时为了处理三维图像高分辨率数据量大的问题，这里采用将单张图像进行拆分成多张小图，再输入网络中进行预测后，拼接还原成大图。此外，在预测后得到的z向高分辨率各向同性数据集，与传统的插值方法进行比较，能够显著提升图像的质量，实现三维数据集的高分辨率各向同性。
41.本发明为纤维状结构三维图像数据集分辨率的提升提供了一种智能插值的方法：1、本发明基于三维图像数据集的不同切面具有相似的图像信息，利用xy面高分辨率数据集，通过计算模拟的方法构建类似于具有zy面低分辨特征的数据，生成高分辨率和低分辨率匹配的数据集，解决了实际过程中深度学习方法由于缺乏z向高分辨率金标准训练数据集，不能直接用于介观尺度数据集的高分辨率各向同性问题。
42.2、本发明针对处理大数据的问题，对输入图像先进行单张图像拆分成多张小图，
再进行网络预测后拼接还原成完整的大图，解决了三维显微图像数据量巨大（10gb量级），难以一次性读入内存计算的难题。
43.3、本发明方法适应性广、鲁棒性高，具有良好的并行性，适用于光学显微镜成像的三维图像数据集，能够实现三维数据集的高分辨率各向同性。
44.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。