一种基于深度学习的全切片数字成像二步准焦复原法的制作方法

本发明基于生物医疗仪器领域，以深度学习技术为核心，具体涉及一种基于深度学习的全切片数字成像二步准焦复原法，可广泛适用于仪器科学、人工智能、医疗影像和自动化等领域的研究。

背景技术：

近年来，先进的数字病理学成像技术得到了广泛的研究与应用。全切片数字成像技术(wsi，wholeslideimages)，即虚拟显微术，可以将传统的显微切片以数字化图像形式采集，能够实现任意电脑访问，容易存储，以及科研工作者和医生之间的异地传输等。全切片数字成像技术在生物成像研究中至关重要，如在癌症分析和疾病预测等领域中。目前美国食品药品管理局已经采用飞利浦公司的全切片数字成像系统作为主要的病理分析手段。

全切片数字成像通常需要两步实现：(1)按子区域顺序扫描病理图像，然后再将其拼接一起产生完整的全视场的病理切片图像；(2)采用特制的软件来识别分析这些数字图像。其中，第一步对于获取的图像质量至关重要。目前，全切片数字成像技术中存在的挑战主要为如何快速产生高质量的准焦图像。通常来说，全切片扫描需要一个高分辨率和毫米级长度景深的物镜，其因系统扫描过程中获得的分布不均的子图像，从而导致了离焦现象。这种离焦现象是导致全切片数字成像效果退化的主要原因。

目前，一种广泛应用的方法是采用准焦图匹配的方法来获得高质量的全切片数字图像。准焦图匹配方法提供一个准焦先验，对于每个位置的离焦图像，可以通过沿光轴移动病理样品获得不同准焦距离下的系列离焦图像(z-stack)，最后通过每张离焦图像的图像对比度最大化或者其他的图像质量评价方法来确定对应的准焦图像。这种方法需要对每个顺序扫描的子区域逐个使用。然而，这种方法因为重复的轴向测量导致成像速度大大减慢。对于其他方法，如采用双相机装置可以实现自准焦功能，避免了病理图像的轴向逐层扫描。但是，这种方法在传统的显微仪器中因硬件不兼容和成本高昂等问题，所以并不适用添加新的成像模块。在当前的相关研究中，全切片数字成像系统主要集中在对准焦距离的预测上，目前还未有相关研究对离焦图像进行准焦复原。

技术实现要素：

考虑到传统方法的局限性，本发明利用先进的机器学习算法来解决全切片数字成像的准焦复原问题。本发明公开了一种基于深度学习的全切片数字成像二步准焦复原法。本方法提出了一种基于二次补偿网络的学习方法，主要包含自动聚焦网络和准焦复原网络；设计的重聚焦网络能够解算出离焦图像对应的准焦距离；通过移动显微镜工作台，对准焦距离进行运动补偿，二次拍照获得半准焦图像；通过离焦图像和半准焦图像的双通道联合端对端网络设计，本方法实现了全切片数字成像的高精度准焦图像复原，对传统的全切片数字病理成像硬件进行了软件虚拟化。

本发明的目的是这样实现的：

一种基于深度学习的全切片数字成像二步准焦复原法，包括以下步骤：

步骤a、输入离焦图像；

步骤b、自动聚焦网络；

步骤c、预测准焦距离；

步骤d、距离补偿半准焦图像；

步骤e、准焦复原网络；

步骤f、准焦图像，

采用神经网络的方法，实现全切片数字成像的二步准焦复原功能。

进一步地所述输入离焦图像来自于不同子图像横向位置的轴向扫描移动获得的z-stack图像堆栈，每个子图像位置获得正、负各20张离焦图像和一张准焦图像，共计41张。

进一步地，所述自动聚焦网络根据离焦图像进行网络训练和特征提取。

进一步地，所述预测准焦距离为自动聚焦网络的输出，即离焦图像对应的预测准焦距离。

进一步地，根据预测准焦距离，调节显微镜工作台至相应位置进行补偿，然后二次拍照获得样品的半准焦图像。

进一步地，采用准焦图像和半准焦图像的双通道联合端对端网络设计方法，最终通过网络可以获得高精度的样品准焦图像。

有益效果：

本发明实现了基于深度学习的全切片数字成像二步准焦复原法，具体体现在以下方面：

第一、本发明采用自动聚焦网络，对离焦图像的准焦距离进行预测，通过物镜轴向移动距离补偿后，得到距离补偿的半准焦图像，通过网络实现了传统的自准焦方法；

第二、本发明采用准焦复原网络，通过对离焦图像、半准焦图像进行端对端网络处理，弱化了一次拍照下因机械误差、光学像差、样品特异性带来的扰动，采用了二次成像精调的方法实现了高精度准焦图像的复原。

第三、本发明采用深度学习的网络算法，该方法采用数字化网络结构进行仿真建模，采用软件方法实现了全切片数字成像系统的虚拟化，直接实现准焦图像的复原，取代了先距离预测，后补偿拍照的传统方法，有效地节约了仪器实验成本。

附图说明

图1是本发明基于深度学习的全切片数字成像二步准焦复原法的算法流程图；

图2是自动聚焦网络结构图；

图3是准焦复原网络结构图。

图中：第一卷积层1、池化层2、第二卷积层3、第三卷积层4、平滑层5、全连接层6、resnet1块7。

具体实施方式

下面将对本发明方法的具体实施方式做进一步说明。

结合图1至图3所示，本实施例公开的一种基于深度学习的全切片数字成像二步准焦复原法，包括以下步骤：

步骤a、输入离焦图像；

步骤b、自动聚焦网络；

步骤c、预测准焦距离；

步骤d、距离补偿半准焦图像；

步骤e、准焦复原网络；

步骤f、准焦图像，

采用神经网络的方法，实现全切片数字成像的二步准焦复原功能。

具体地，所述输入离焦图像来自于不同子图像横向位置的轴向扫描移动获得的z-stack图像堆栈，每个子图像位置获得正、负各20张离焦图像和一张准焦图像，共计41张。

具体地，所述自动聚焦网络根据离焦图像进行网络训练和特征提取。

具体地，所述预测准焦距离为自动聚焦网络的输出，即离焦图像对应的预测准焦距离。

具体地，根据预测准焦距离，调节显微镜工作台至相应位置进行补偿，然后二次拍照获得样品的半准焦图像。

具体地，采用准焦图像和半准焦图像的双通道联合端对端网络设计方法，最终通过网络可以获得高精度的样品准焦图像。

通过本发明一种基于深度学习的全切片数字成像二步准焦复原法的算法流程图可知，算法包括：输入离焦图像、自动聚焦网络、预测准焦距离、距离补偿半准焦图像、准焦复原网络、准焦图像；网络结构包括：第一卷积层(5×5，步长1)1、池化层2、第二卷积层(3×3，步长1)3、第三卷积层(3×3，步长2)4、平滑层5、全连接层6、resnet1块7。

在训练过程中，(1)所述输入离焦图像1采用传统全切片数字成像为基准，即采用若干子图像横向扫描下的连续轴向移动获得，均匀选取若干个子图像位置，并获得正负各20张图像和一张清晰图像，共计41张。

(2)所述自动聚焦网络算法流程图见图3，沿神经网络传播顺序依次为第一卷积层(5×5，步长1)1、池化层2、第二卷积层(3×3，步长1)3、第三卷积层(3×3，步长2)4、平滑层5、全连接层6。采用resnet1,2残差网络块进行特征提取，实现单值的准焦距离作为网络的输出。右上角数字代表对应网络块迭代次数。

(3)所述预测准焦距离为自动聚焦网络的输出，即离焦图像对应的预测准焦距离。

(4)所述距离补偿半准焦图像，通过预测准焦距离，调节显微镜工作台至相应位置进行补偿，然后二次拍照获得样品的半准焦图像。

(5)所述准焦复原网络，采用准焦图像和半准焦图像的双通道联合端对端网络设计方法，最终通过网络可以获得高精度的样品准焦图像

在测试阶段中，所述输入离焦图像为范围内任意轴向位置的全切片数字图像的某个子区域；自动聚焦网络对离焦图像进行距离预测；通过轴向移动物镜位置、对模糊图像进行距离补偿，得到距离补偿的半准焦图像；最终将离焦图像和半准焦图像进行双通道端对端网络处理，得到复原的准焦图像。

本实施例中的一种基于深度学习的全切片数字成像二步准焦复原法，包括由输入离焦图像、自动聚焦网络、预测准焦距离、距离补偿半准焦图像、准焦复原网络和准焦图像6部分组成的深度学习网络算法。在训练过程中，所述输入离焦图像采用子图像扫描下的轴向移动获得，每个子图像位置获得正负各20张图像和一张清晰图像，共计41张；所述自动聚焦网络根据离焦图像进行网络训练和特征提取；所述预测准焦距离为自动聚焦网络的输出，即离焦图像对应的预测准焦距离；通过成像系统的硬件移动，即物镜轴向移动相应的距离后，可以获得距离补偿的半准焦图像；最终通过离焦图像、半准焦图像和对应的准焦图像，进行双通道端对端网络训练，得到准焦复原网络。

在测试阶段中，所述输入离焦图像为范围内任意轴向位置的全切片数字图像的某个子区域；自动聚焦网络对离焦图像进行距离预测；通过轴向移动物镜位置，对模糊图像进距离补偿，得到距离补偿的半准焦图像；最终将离焦图像和半准焦图像进行双通道端对端网络处理，得到复原的准焦图像。