一种用于电子显微镜生物图像双向拼接方法及系统

1.本公开属于图像处理技术领域，尤其涉及一种用于电子显微镜生物图像双向拼接方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
3.在连续切片电子显微镜中，通过拼接多个带有重叠区域的图像，从而生成生物样本的高分辨率全貌，是生物领域中一个十分强大的细胞可视化技术。图像拼接中一个常见的处理过程是识别出两幅图像重叠区域中可靠的有辨识性的模式或特征，然后根据匹配后的特征估计出相应的变换参数，从而将两幅图像的重叠区域进行配准。
4.对于图像拼接而言，一个最为常见的解决思路是用一个全局单应性变换或者仿射变换来刻画重叠区域的对应关系，但是仅仅一个变换模型无法处理带有大视差的街景图像以及带有局部扭曲的生物图像。
5.在街景全景拼接中，为了消除视差所带来的混合伪影，引入了多个局部形变变换模型。将图像根据预先设定好的间距进行网格化，对每个网格块都估计块内的局部单应性变换，最后将这些局部单应性模型结合，利用一些几何特征或者几何约束，将变换模型延伸到非重叠区域，从而达到有效缓解大视差所带来的伪影效应。然而，人工设计的特征可能会忽略细节结构，产生虚假的形变模型，同时人工设计的特征在一些平滑、信噪比高等图像中提取不到足够的关键点，从而导致局部形变模型估计失败。
6.在带有局部扭曲的生物图像中，医学图像配准中利用深度学习估计密集形变场成为了主流。密集形变场不同于例如单应性矩阵、仿射矩阵等参数特定的变换模型，密集形变场估计的是每个像素的形变位移，能更好更细致地模拟生物图像所包含的弹性形变扭曲。利用可微分的空间变换组件，不需要人工信息的无监督网络通过数据驱动的模式可以有效的提取图像中的细节结构特征，从而准确地估计出对应的密集形变场。但是生物电镜图像与医学图像不同，生物电镜图像可能会存在大尺度的非均匀形变、对比度变化以及高噪声现象发生，其拼接仍然是一个挑战，特别的，如图1所示，在生物图像具有较大形变的情况下，传统方法无法完美地估计图像重叠区域的形变参数，从而产生伪影现象。


技术实现要素：

7.本公开为了解决上述问题，提供了一种用于电子显微镜生物图像双向拼接方法及系统，所述方案基于深度学习进行密集形变场的估计，解决序列生物图像拼接中可能会发生的弹性形变现象，从而生成几乎没有伪影的拼接图像，呈现生物样本清晰的全貌。
8.根据本公开实施例的第一个方面，提供了一种用于电子显微镜生物图像双向拼接方法，包括：
9.获取具有重叠区域的待拼接图像；
10.基于图像上下文交换策略对待拼接图像的重叠边界进行信息进行扩充处理；
11.将处理后的图像输入预先训练的卷积金字塔中进行多尺度特征提取；
12.在卷积金字塔每一层，对获得的待拼接图像特征进行叠加，并与其前一层估计的形变场同时输入到双向形变场估计模块，获得当前尺度的每幅图像对应的形变场；
13.将所述卷积金字塔最后一层输出的密集形变场作用于待拼接的原始图像上，基于加权掩膜方法生成最终的拼接图像。
14.进一步的，所述图像上下文交换策略，具体为：根据拼接边界，将待拼接图像中的每一幅图像与另一幅图像的非重叠区域直接缝合。
15.进一步的，所述双向形变场估计模块，包括针对每个待拼接图像的可微分空间变换子模块以及配准子模块，用于双向拟合目标形变。
16.进一步的，所述可微分空间变换子模块，其用于对于卷积金字塔当前基础卷积层获得的图像特征，利用其前一层基础卷积层获得的形变场进行扭曲，并基于双线性插值计算获得扭曲后的图像。
17.进一步的，所述配准子模块，其用于将扭曲后的图像特征与目标图像特征进行堆叠，依次输入若干卷积层，获得形变场的残差；通过将所述残差与前一层输出的形变场集成，输出重新估计的形变场。
18.根据本公开实施例的第二个方面，提供了一种用于电子显微镜生物图像双向拼接系统，包括：
19.数据获取单元，其用于获取具有重叠区域的待拼接图像；
20.重叠边界扩充单元，其用于基于图像上下文交换策略对待拼接图像的重叠边界进行信息进行扩充处理；
21.形变场估计单元，其用于将处理后的图像输入预先训练的卷积金字塔中进行多尺度特征提取；在卷积金字塔每一层，对获得的待拼接图像特征进行叠加，并与其前一层估计的形变场同时输入到双向形变场估计模块，获得当前尺度的每幅图像对应的形变场；
22.拼接单元，其用于将所述卷积金字塔最后一层输出的密集形变场作用于待拼接的原始图像上，基于加权掩膜方法生成最终的拼接图像。
23.根据本发明实施例的第三方面，提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的一种用于电子显微镜生物图像双向拼接方法。
24.根据本发明实施例的第四方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上所述的一种用于电子显微镜生物图像双向拼接方法。
25.与现有技术相比，本公开的有益效果是：
26.(1)本公开提供一种用于电子显微镜生物图像双向拼接方法及系统，所述方案基于深度学习进行密集形变场的估计，解决序列生物图像拼接中可能会发生的弹性形变现象，从而生成几乎没有伪影的拼接图像，呈现生物样本清晰的全貌。
27.(2)所述方案使用特征金字塔提取到图像的多尺度信息，金字塔中的每层估计的是当前形变场的残差，从而达到由粗到细的配准拼接效果；并且，通过使用双向拼接策略，可以有效地将大的形变场分解为针对于每幅图像两个小的形变场估计问题，使得重叠区域可以得到近乎完美的配准，从而消除伪影。
28.(3)所述方案通过采用图像上下文信息交换策略则可以有效扩张特征提取的范围，同时保证网络关注于目标形变场估计的区域。
29.本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
30.构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
31.图1为本公开实施例一中所述的传统方法容易生成带有伪影的拼接结果；
32.图2为本公开实施例一中所述的传统单向估计策略与本公开双向拼接策略的对比示意图，其中，(a)为传统单向估计策略，(b)为双向拼接策略；
33.图3为本公开实施例一中所述的用于电子显微镜生物图像双向拼接方法流程图；
34.图4为本公开实施例一中所述的图像上下文信息交换策略示意图；
35.图5为本公开实施例一中所述的双向形变场估计模块结构示意图。
具体实施方式
36.下面结合附图与实施例对本公开做进一步说明。
37.应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
38.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
39.在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
40.实施例一：
41.本实施例的目的是提供一种用于电子显微镜生物图像双向拼接方法。
42.如图1所示，展示了传统方法容易生成带有伪影的拼接结果，在生物图像具有较大形变的情况下，传统方法无法完美地估计图像重叠区域的形变参数，从而产生伪影现象；为了解决上述问题，本公开提供了一种用于电子显微镜生物图像双向拼接方法，包括：
43.获取具有重叠区域的待拼接图像；
44.基于图像上下文交换策略对待拼接图像的重叠边界进行信息进行扩充处理；
45.将处理后的图像输入预先训练的卷积金字塔中进行多尺度特征提取；
46.在卷积金字塔每一层，对获得的待拼接图像特征进行叠加，并与其前一层估计的形变场同时输入到双向形变场估计模块，获得当前尺度的每幅图像对应的形变场；
47.将所述卷积金字塔最后一层输出的密集形变场作用于待拼接的原始图像上，基于加权掩膜方法生成最终的拼接图像。
48.进一步的，所述图像上下文交换策略，具体为：根据拼接边界，将待拼接图像中的每一幅图像与另一幅图像的非重叠区域直接缝合；其中，所述拼接边界可根据实际需求由
人工确定，也采用传统配准算法进行粗配准之后估算得到，本公开所述方案可以容许大概
±
10％的边界估算误差(相对于重叠区域本身)。
49.其中，如图4(a)和图4(b)所示，展示了所述图像上下文交换策略，具体的：
50.边界内容扩张：对于输入的两幅待拼接图像，每幅图像根据拼接边界直接与另一幅图像的非重叠区域缝合，如图4(a)所示。每幅图像同时提取边界附近的相邻信息，帮助网络估计边界区域周围的形变场。
51.配准模块中的特征掩膜：金字塔提取的图像特征包括上一步扩张的上下文信息。如图4(b)所示，金字塔骨干网络中扩张的特征需要被待扭曲图像的边界切割。这个操作可以使得网络聚焦于目标区域的形变场估计，适应于卷积神经网络架构。
52.进一步的，所述双向形变场估计模块，包括针对每个待拼接图像的可微分空间变换子模块以及配准子模块，用于双向拟合目标形变。
53.其中，如图4所示，展示了双向形变场估计模块的详细架构。该模块包含针对每个输入图像的两个可微分空间变换子模块和相应的配准子模块，用于双向的拟合目标形变。在可微分空间变换子模块中，源图像特征被上采样2倍后的前一层的形变场扭曲，使得配准子模块可以利用该形变场在差分扭曲过程中传播梯度，这里我们使用双线性插值技术计算扭曲后的图像。在特征配准子模块中，将扭曲的源图像特征与目标图像特征进行堆叠，依次输入5个卷积层(对应层为32-、64-、32-、16-、2通道)，计算形变场的残差。通过将残差与前一层上采样2倍后的形变场集成，配准子模块可以输出重新估计后的形变场。
54.进一步的，所述可微分空间变换子模块，其用于对于卷积金字塔当前基础卷积层获得的图像特征，利用其前一层基础卷积层获得的形变场进行扭曲，并基于双线性插值计算获得扭曲后的图像。
55.进一步的，所述配准子模块，其用于将扭曲后的图像特征与目标图像特征进行堆叠，依次输入若干卷积层，获得形变场的残差；通过将所述残差与前一层输出的形变场集成，输出重新估计的形变场；其中，所述集成具体为残差与前一层的形变场相加。
56.进一步的，所述卷积金字塔网络包括若干不同尺度的基础卷积层，所述基础卷积层包括二维卷积层、激活函数和批正则化层。
57.其中，如图3所示，展示了我们所设计的网络架构以及整体数据流。首先对输入的电子显微镜生物图像进行图像上下文信息交换操作，将其与另一幅图像的非相邻区域进行拼接，然后分别送入金字塔主干，获得多尺度特征。最底层尺度特征的形变场从一个标准网格开始。每一层的双向形变场估计模块接受前一层的图像特征图和形变场。最后一个原始尺度的配准模块输出最终的密集形变场，通过网格采样方法直接应用到输入图像上。扭曲后的图像通过一个加权掩膜生成最终的拼接结果。
58.所述基础卷积层由一个2维卷积层，一个leaky-relu层(k＝0.2)以及一个批正规化层组成。特征金字塔中，第i层拥有(8*i+1)个特征通道，同时以2倍的下采样逐步构建金字塔。
59.金字塔骨干网络：如图3所示，对于每一张输入的图像，使用k层金字塔卷积神经网络提取其多尺度特征。一般情况下，金字塔的第k层进行如下操作:i)一个(8*k-3)通道的卷积操作，步长为1；ii)一个步长为2的卷积操作，输出2倍下采样(8*k+1)个通道的特征图。随着层次的增加，特征图不断被抽象，从详细到粗糙。同时，从最后一层(第k层)反向开始，将
提取的多尺度特征映射输入级联的双向形变场估计模块中，同时估计每幅输入图像由粗到细的形变场。金字塔骨干网络通过传递高层的语义信息，并将其与低层的细节特征结合起来，可以有效地逐步估计大尺度形变。
60.以和分别代表图像ia和图像ib的第k层特征，和代表从k+1层输出的密集形变场，那么第k层输出的密集形变场如下：
[0061][0062][0063][0064]
其中，up2(
·
)代表2倍上采样，r(
·
)是正则函数。
[0065]
进一步的，所述基于加权掩膜方法生成最终的拼接图像，具体采用如下公式：
[0066][0067]
其中，是作用在像素级别上的线性加权算子，μ是图像a上的像素值，v是图像b上的像素值，c衡量该像素点到重叠边界的垂直距离。
[0068]
进一步的，所述双向拼接方法中网络模型的训练过程，具体如下：
[0069]
该网络的训练采用阶段训练策略完成，从最粗糙的第k级双向形变场估计模块开始，到最详细的第1级配准模块结束。对于第k级，我们通过最小化如下级联的损失函数来调整网络参数：
[0070][0071][0072][0073]
其中，是差异损失项来进行像素级的对比，我们在这里使用mse(
·
)均方根误差，up(
·
)代表2k倍上采样，即将每层估计的密集形变场上采样到原始图像尺寸进行扭曲比对；代表形变场分别作用在x,y轴上的梯度算子，j(
·
)计算每个像素位移的雅可比矩阵；是平滑约束项，平滑位移场变化；主要用来惩罚负的雅各比行列式(det(
·
)表示行列式计算)，用来缓解不自然的折叠。
[0074]
网络的批大小设置为16
×2×
512
×
512输入大小。本实施例中采用k＝4层卷积金
字塔作为网络骨干，将加权损失函数参数设为λ1＝0.2，λ2＝50。除了最后一层需要40个epoch，每一层只需训练5个epoch。需要注意的是，前一层和金字塔骨干网络参数在当前层训练中并没有冻结。模型训练使用带有默认参数的adam优化器，所有训练阶段的学习率均设置为0.0001。
[0075]
实施例二：
[0076]
本实施例的目的是提供一种用于电子显微镜生物图像双向拼接系统。
[0077]
一种用于电子显微镜生物图像双向拼接系统，包括：
[0078]
数据获取单元，其用于获取具有重叠区域的待拼接图像；
[0079]
重叠边界扩充单元，其用于基于图像上下文交换策略对待拼接图像的重叠边界进行信息进行扩充处理；
[0080]
形变场估计单元，其用于将处理后的图像输入预先训练的卷积金字塔中进行多尺度特征提取；在卷积金字塔每一层，对获得的待拼接图像特征进行叠加，并与其前一层估计的形变场同时输入到双向形变场估计模块，获得当前尺度的每幅图像对应的形变场；
[0081]
拼接单元，其用于将所述卷积金字塔最后一层输出的密集形变场作用于待拼接的原始图像上，基于加权掩膜方法生成最终的拼接图像。
[0082]
在更多实施例中，还提供：
[0083]
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一中所述的方法。为了简洁，在此不再赘述。
[0084]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0085]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0086]
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一中所述的方法。
[0087]
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0088]
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0089]
上述实施例提供的一种用于电子显微镜生物图像双向拼接方法及系统可以实现，具有广阔的应用前景。
[0090]
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。