一种用于显微图像实时拼接的方法、系统和计算机设备与流程

本发明涉及显微图像处理技术领域，尤其是一种用于显微图像实时拼接的方法、系统和计算机设备。

背景技术：

随着数字显微镜技术的发展，现有技术可以使用样本玻片扫描的方式对样本玻片进行全面扫描以获得全切片数字显微图像，即在数字显微镜的放大下依次拍摄样本玻片各个局部视野的显微图像，并利用图像拼接技术获得完整的全切片数字显微图像。

一般来说，显微图像的拼接技术包括两个关键步骤，分别是图像配准和图像融合，目前广泛使用的图像拼接技术是基于特征点匹配的图像拼接技术，该方法首先对相邻图像的重叠区域进行特征提取，然后执行特征匹配进行图像配准以使相互重叠的图像区域对齐，最后进行图像的融合得到大尺寸显微图像。基于特征点匹配的图像拼接技术可以获得较好的拼接效果，但是不满足实时性，尤其是当重叠区域存在弱纹理区域时，该方法无法检测到有效的特征点进行特征匹配，进而会导致图像拼接失败。

技术实现要素：

本发明提供一种用于显微图像实时拼接的方法、系统和计算机设备，用于克服现有技术中不满足实时性，甚至对于重叠区域存在弱纹理区域时可能导致图像拼接失败等缺陷。

为实现上述目的，本发明提出一种用于显微图像实时拼接的方法，包括：

获取局部显微图像；

将局部显微图像中的相邻局部显微图像组成图像对，利用图像配准算法得到每组图像对对应的理想标签，所有的图像对和理想标签共同构成训练集；

将所述训练集输入到预先构建的显微图像拼接模型中，所述显微图像拼接模型包括图像配准网络和图像融合网络；

利用图像配准网络对输入的图像对进行配准，并根据图像对对应的理想标签，获得映射表，根据所述映射表对图像对进行对齐，获得对齐图像；

提取所述对齐图像中相互重叠的部分，利用图像融合网络对对齐图像中相互重叠的部分进行融合，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，并得到训练好的显微图像拼接模型；

利用训练好的显微图像拼接模型对待拼接局部显微图像进行拼接，获得拼接图像。

为实现上述目的，本发明还提出一种用于显微图像实时拼接的系统，包括：

图像获取模块，用于获取局部显微图像；

训练集生成模块，用于将局部显微图像中的相邻局部显微图像组成图像对，利用图像配准模型得到每组图像对对应的理想标签，所有的图像对和理想标签共同构成训练集；

模型训练模块，用于将所述训练集输入到预先构建的显微图像拼接模型中，所述显微图像拼接模型包括图像配准网络和图像融合网络；利用图像配准网络对输入的图像对进行配准，并根据图像对对应的理想标签，获得映射表，根据所述映射表对图像对进行对齐，获得对齐图像；提取所述对齐图像中相互重叠的部分，利用图像融合网络对对齐图像中相互重叠的部分进行融合，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，并得到训练好的显微图像拼接模型；

图像拼接模块，用于利用训练好的显微图像拼接模型对待拼接局部显微图像进行拼接，获得拼接图像。

为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。

为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。

与现有技术相比，本发明的有益效果有：

本发明提供的用于显微图像实时拼接的方法，采用了两阶段双网络级联的显微图像拼接模型，利用像素级的图像配准网络直接从输入的图像对中输出像素级的映射表，实现了逐像素的映射，可将每个像素对齐至理想的对齐位置，与常用的计算一个单应矩阵或计算若干网格对应的单应矩阵相比，基于像素级的映射表的精度高，速度快，可实时处理；再利用多聚焦的图像融合网络直接从输入的对齐图像中输出融合后的图像，实现了多焦点图像融合，使获得的拼接图像各部分完全清晰，在图像对重叠区域存在弱纹理区域的情况下也能实现精确拼接。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明提供的用于显微图像实时拼接的方法流程图；

图2为本发明提供的显微图像拼接模型的结构图；

图3为本发明实施例中显微图像拼接模型中图像配准网络的结构图；

图4为本发明实施例中显微图像拼接模型中图像融合网络的结构图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提出一种用于显微图像实时拼接的方法，如图1所示，包括：

101：获取局部显微图像；

采集若干病变组织样本并利用病理学方法制成样本玻片，利用高倍率的数字显微镜采集上述若干样本玻片中各个视野下的局部显微图像，在采集各个视野下的局部显微图像时，需要保证相邻的局部显微图像之间存在重叠区域。

102：将局部显微图像中的相邻局部显微图像组成图像对，利用图像配准算法得到每组图像对对应的理想标签，所有的图像对和理想标签共同构成训练集；

图像配准模型选用现有常见的基于特征点匹配的图像配准模型。

理想标签，为利用图像配准模型配准、对齐后的对齐图像。

103：将训练集输入到预先构建的显微图像拼接模型中，所述显微图像拼接模型包括图像配准网络和图像融合网络；

显微图像拼接模型为两阶段双网络级联的模型。

104：利用图像配准网络对输入的图像对进行配准，并根据图像对对应的理想标签，获得映射表，根据映射表对图像对进行对齐，获得对齐图像；

映射表，包括水平方向上的映射表和垂直方向上的映射表。

对于每个像素，映射表中的对应值表示在对齐视图下将该像素的原始位置变换到对齐位置的映射，即通过映射表可确定原始图像中各个像素在对齐图像中对应的位置。

105：提取对齐图像中相互重叠的部分，利用图像融合网络对对齐图像中相互重叠的部分进行融合，获得局部融合图像，将局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，并得到训练好的显微图像拼接模型；

106：利用训练好的显微图像拼接模型对待拼接局部显微图像进行拼接，获得拼接图像。

本发明提供的用于显微图像实时拼接的方法，采用了两阶段双网络级联的显微图像拼接模型，利用像素级的图像配准网络直接从输入的图像对中输出像素级的映射表，实现了逐像素的映射，可将每个像素对齐至理想的对齐位置，与常用的计算一个单应矩阵或计算若干网格对应的单应矩阵相比，基于像素级的映射表的精度高，速度快，可实时处理；再利用多聚焦的图像融合网络直接从输入的对齐图像中输出融合后的图像，实现了多焦点图像融合，使获得的拼接图像各部分完全清晰，在图像对重叠区域存在弱纹理区域的情况下也能实现精确拼接。

传统的基于特征点匹配的图像拼接算法要求图像内容足够丰富，可提取到较多的特征点，并获得较多的匹配特征点对，严重依赖于所拍摄图像内容。而本发明的方法采用深度学习的方式不依赖于图像的内容，适用范围广，即方法的鲁棒性强。

在其中一个实施例中，对于步骤102，利用图像配准算法得到每组图像对对应的理想标签，包括：

201：利用图像配准算法提取每组图像对的surf特征描述子，根据surf特征描述子进行特征预匹配；

surf的全称为speeduprobustfeatures，是一种加速版的具有鲁棒性的特征算法，该算法通过采用haar特征以及积分图像的概念，大大加速了程序的运行时间。

202：利用ransac算法剔除特征预匹配过程中的误匹配特征点，获得匹配结果，根据匹配结果计算单应矩阵；

ransac（randomsampleconsensus），为随机抽样一致性算法。它可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法，有一定的概率得到一个合理的结果。

203：利用单应矩阵对图像对中的一张图像进行变换，并将变换后的图像与图像对中的另一张图像进行对齐，获得对齐图像，所述对齐图像为图像对对应的理想标签。

在下一个实施例中，对于步骤103，显微图像拼接模型如图2所示，为两阶段双网络级联的模型，第一阶段采用像素级的图像配准网络（简称为pwirnet）对输入的图像对进行配准，输出对齐后的对齐图像；第二阶段采用多聚焦的图像融合网络（简称为mfifnet）对输入的对齐图像中的重叠部分进行多焦点融合，输出大尺寸的拼接图像。

图像配准网络主要是一个类似于u-net架构的编解码器框架，其输入两张大小为h×w×1（h为高度，w为宽度，1为通道数）的图像对，输出映射表，即水平方向上的映射表和垂直方向上的映射表，和大小相同。对于每个像素，映射表中的对应值表示在对齐视图下将该像素的原始位置变换到对齐位置的映射，即通过映射表可确定原始图像中各个像素在对齐图像中对应的位置。

图像配准网络（简称为pwirnet）为像素级网络，如图3所示，包括编码器模块、解码器模块和空间变换模块；

编码器模块用于从输入的图像对中提取高层特征，依次包括8个卷积层（conv1~conv8），每个卷积层的卷积核大小为3×3，步长为1，每层的特征图数量依次为32、64、128、256、256、256、256、256；

解码器模块用于对编码器模块提取的高层特征进行解码获得细映射表，水平方向上的细映射表和垂直方向上的细映射表，和大小相同，依次包括7个反卷积层（deconv7~deconv1，每个反卷积层的卷积核大小为3×3，步长为1）和1个卷积层（conv9），每个反卷积层对应一个编码器模块中的卷积层，每个反卷积层与对应的卷积层通过跳跃连接方式相连，每个反卷积层的特征图数量与对应的卷积层中的特征图数量相同；

空间变换模块用于将仿射变换ht和恒定矩阵a进行乘法操作，获得粗映射表，水平方向上的粗映射表和垂直方向上的粗映射表，和大小相同，将细映射表与粗映射表进行叠加获得映射表，利用映射表对图像对中的一张图像进行变换，并将变换后的图像与图像对中的另一张图像进行对齐，获得对齐图像。

在某个实施例中，仿射变换ht为将编码器模块中最后一个卷积层（conv8）输出的特征图经过一个卷积层（conv10）进行下采样后再经过一个1×1的卷积层（conv11）而获得。

图像融合网络为多聚焦网络，如图4所示，包括两个并列的特征提取子网络（两个并列的特征提取子网络分别用于对输入的图像input1和input2进行特征提取），融合模块和特征重构模块（featurereconstructionmodule），特征提取子网络包括2个卷积层（conv1和conv2；conv1的卷积核大小为3×3，）输出64维的特征图；conv2没有激活函数）和1个位于2个卷积层之间的特征提取模块（featureextractionmodule）；

特征提取模块用于对输入的图像进行特征提取获得高维非线性的特征图，依次包括5个卷积层（conv），每个卷积层后面连接一个relu非线性激活层；每个卷积层的卷积核大小为3×3，每层的特征图数量均为64。

融合模块用于将两个并列的特征提取子网络输出的特征图进行融合，包括1个融合层（fuse）；

特征重构模块用于对融合模块输出的融合特征图进行重构，获得局部融合图像，将局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，依次包括7个卷积层（conv），前6个卷积层后面均连接一个leaky-relu非线性激活层，第7个卷积层后面连接1个sigmoid层；每个卷积层的卷积核大小为3×3，每层的特征图数量均为64。

input1和input2为对齐图像中相互重叠的部分的两张图，分别输入两个并列的特征提取子网络，首先经过卷积层conv1得到64维的特征图，然后分别输入到特征提取模块（featureextractionmodule）获得高维非线性的特征图，并经过一个没有激活函数的卷积层conv2，接下来将输出的两个特征图在融合层fuse进行融合，融合后的特征图输入到特征重构模块（featurereconstructionmodule）获得局部融合图像，最后将获得的局部融合图像与对齐图像中不重叠的部分（不重叠的部分即为未参与融合的图像区域）进行级联，生成大尺寸的拼接图像fusedimage。

在下一个实施例中，对于步骤104~105，显微图像拼接模型的训练分两个阶段，第一阶段为利用训练集训练图像配准网络，获得图像配准网络的参数；第二阶段为根据第一阶段获得的参数固定图像配准网络，利用图像配准网络输出的对齐图像，采用无监督的方式训练图像融合网络，获得图像融合网络的参数。

先单独训练第一阶段的图像配准网络，利用均值为0和标准差为0.02的正态分布初始化像素级的图像配准网络的所有权值，采用adam优化算法，初始学习率设置为0.002，在每10k次迭代中，学习率乘以0.1。

第一阶段训练完成后，根据第一阶段获得的参数固定图像配准网络，采用无监督的方式训练图像融合网络，利用图像结构相似性作为损失函数指导多聚焦的图像融合网络的无监督学习。在图像融合网络的训练过程中，采用无监督的方式进行训练，避免了大量合成训练样本集的需求，使训练后的模型在真实数据集中拼接效果好。

在某个实施例中，为了确保图像配准网络正确的预测像素级的映射表，采用了如下所示的损失函数来指导像素级图像配准网络的训练过程：

式中，i表示图像对中的一张图像；表示对i进行变换后的对齐图像；表示图像对对应的理想标签；表示内容损失函数；表示形状损失函数；表示总的损失函数。

图像融合网络在训练中采用的损失函数为：

式中，表示总的损失函数；x1和x2表示输入的对齐图像中相互重叠的部分；表示输出的拼接图像；表示局部窗口；n表示图像中滑动窗口总的个数；表示局部窗口内图像块的相似性测量。

本发明还提出一种用于显微图像实时拼接的系统，包括：

图像获取模块，用于获取局部显微图像；

训练集生成模块，用于将局部显微图像中的相邻局部显微图像组成图像对，利用图像配准模型得到每组图像对对应的理想标签，所有的图像对和理想标签共同构成训练集；

模型训练模块，用于将所述训练集输入到预先构建的显微图像拼接模型中，所述显微图像拼接模型包括图像配准网络和图像融合网络；利用图像配准网络对输入的图像对进行配准，并根据图像对对应的理想标签，获得映射表，根据所述映射表对图像对进行对齐，获得对齐图像；提取所述对齐图像中相互重叠的部分，利用图像融合网络对对齐图像中相互重叠的部分进行融合，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，并得到训练好的显微图像拼接模型；

图像拼接模块，用于利用训练好的显微图像拼接模型对待拼接局部显微图像进行拼接，获得拼接图像。

在其中一个实施例中，训练集生成模块还包括：

利用图像配准算法提取每组图像对的surf特征描述子，根据所述surf特征描述子进行特征预匹配；

利用ransac算法剔除特征预匹配过程中的误匹配特征点，获得匹配结果，根据所述匹配结果计算单应矩阵；

利用所述单应矩阵对图像对中的一张图像进行变换，并将变换后的图像与图像对中的另一张图像进行对齐，获得对齐图像，所述对齐图像为图像对对应的理想标签。

在下一个实施例中，对于模型训练模块，图像配准网络为像素级网络，包括编码器模块、解码器模块和空间变换模块；

所述编码器模块用于从输入的图像对中提取高层特征，依次包括8个卷积层；

所述解码器模块用于对编码器模块提取的高层特征进行解码获得细映射表，依次包括7个反卷积层和1个卷积层，每个所述反卷积层对应一个所述编码器模块中的卷积层，每个所述反卷积层与对应的卷积层通过跳跃连接方式相连，每个所述反卷积层的特征图数量与对应的卷积层中的特征图数量相同；

所述空间变换模块用于将仿射变换和恒定矩阵进行乘法操作，获得粗映射表，将所述细映射表与所述粗映射表进行叠加获得映射表，利用所述映射表对图像对中的一张图像进行变换，并将变换后的图像与图像对中的另一张图像进行对齐，获得对齐图像。

在另一个实施例中，对于模型训练模块，所述仿射变换为将编码器模块中最后一个卷积层输出的特征图经过一个卷积层进行下采样后再经过一个1×1的卷积层而获得。

在下一个实施例中，对于模型训练模块，所述图像融合网络为多聚焦网络，包括两个并列的特征提取子网络，融合模块和特征重构模块，所述特征提取子网络包括2个卷积层和1个位于所述2个卷积层之间的特征提取模块；

所述特征提取模块用于对输入的图像进行特征提取，依次包括5个卷积层，每个所述卷积层后面连接一个relu非线性激活层；

所述融合模块用于将两个并列的特征提取子网络输出的特征图进行融合，包括1个融合层；

所述特征重构模块用于对融合模块输出的融合特征图进行重构，获得局部融合图像，将所述局部融合图像与对齐图像中不重叠的部分进行级联，获得拼接图像，依次包括7个卷积层，前6个卷积层后面均连接一个leaky-relu非线性激活层，第7个卷积层后面连接1个sigmoid层。

在下一个实施例中，对于模型训练模块，所述显微图像拼接模型的训练分两个阶段，第一阶段为利用训练集训练图像配准网络，获得图像配准网络的参数；第二阶段为根据第一阶段获得的参数固定图像配准网络，利用图像配准网络输出的对齐图像，采用无监督的方式训练图像融合网络，获得图像融合网络的参数。

在某个实施例中，对于模型训练模块，所述图像配准网络在训练中采用的损失函数为：

式中，i表示图像对中的一张图像；表示对i进行变换后的对齐图像；表示图像对对应的理想标签；表示内容损失函数；表示形状损失函数；表示总的损失函数；

所述图像融合网络在训练中采用的损失函数为：

式中，表示总的损失函数；x1和x2表示输入的对齐图像中相互重叠的部分；表示输出的拼接图像；表示局部窗口；n表示图像中滑动窗口总的个数；表示局部窗口内图像块的相似性测量。

本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。