一种基于生成对抗网络的多监督图像超分辨重建方法与流程

本发明属于图像处理技术领域，更具体地，具体涉及一种基于生成对抗网络的多监督图像超分辨重建方法，尤其适用于病理切片图像。

背景技术：

目前细胞显微图像需要物镜在20x及以上的放大倍数才能够清晰成像，但是成图时间长，需要的存储空间大。4x物镜下的成像速度快，对设备精度要求低。但是4x物镜下的成像分辨率低、景深大，成像不具备实用性。如果在低倍镜下拍摄的图像能够重建出高分辨率的图像，既能够节省成像时间又能够节省存储图像的硬件空间。

国内外一些研究者提出了基于学习或基于实例的超分辨的概念。该类方法的基本思想是通过学习获得先验知识来重建图像，但效果有限。近年来，基于深度学习的超分辨方法效果显著，但是绝大部分模型基于退化数据，对于从真实世界采集的不同分辨率的图像，应用有一定限制。

综上所述，低倍物镜成像超分辨具有很大实用性，但各种超分辨重建方法在病理数据上效果有限。

技术实现要素：

针对现有技术的不足，本发明提出了一种基于生成对抗网络的图像超分辨重建方法，其目的在于，克服常见方法在病理数据上的模糊及伪影，将低倍镜下拍摄的图像重建为高分辨率的图像，既能够节省成像时间又能够节省存储图像的硬件空间。

一种基于生成对抗网络的多监督图像超分辨重建方法，将低分辨率图像输入生成对抗网络模型，生成对抗网络模型输出高分辨率图像，所述生成对抗网络模型按照如下方式构建：

(1)制作训练数据集

提取同一目标成像区域的低分辨率图像和高分辨率图像，分别在低分辨率图像和高分辨率图像中选取前景区域l、h，对区域l和h进行配准，获得同一区域的高低分辨率patch(l，h)；

(2)训练模型

构建包括生成器和鉴别器的生成对抗网络模型，将patch(l，h)中的低分辨率图像l作为生成器的输入，生成器输出与patch(l，h)中的高分辨率图像h相似的图像h’，鉴别器鉴别图像h和h’的真伪，如此反复学习和对抗，训练得到生成器。

进一步地，所述生成对抗模型采用的损失函数为：

lg＝lmse+α*lp+β*ladver

其中，lmse是均方误差，lp是感知损失，ladver是生成器对抗损失，ld是鉴别器对抗损失lg是生成器总损失函数；n是样本数量，c,h,w为图像尺寸，x^{n}为第n个样本，i^{n}为低分辨率图像x^{n}对应的高分辨图像，y是真实高分辨图像的标签；gθ，dθ分别对应生成器和鉴别器，φ是预训练好的vgg模型，其输出的是特征图；α，β平衡各项损失函数。

进一步地，所述步骤(1)制作训练数据集的具体实施方式为：

(11)粗配准

将低分辨率图像划分为多个子区域，通过子区域坐标与倍数相乘将各子区域映射到高分辨率图像，所述倍数为高分辨率图像相对于低分辨率图像的放大倍数；

对高分辨率图像中映射确定的子区域进行冗余扩展，扩大边界；

逐一对低分辨率图像中的子区域与其在高分辨率图像中映射的子区域进行相关性匹配，获取相关性最大时的子区域坐标偏移量；

对所有子区域坐标偏移量求平均，得到低分辨率图像到高分辨率图像的粗配准坐标偏移量；

使用粗配准所得的坐标偏移量校正低、高分辨率图像之间的误差；

(12)精配准

在低分率图像中选取前景区域l，将该区域后映射到校正后的高分辨率图像中，记为区域r；

对高分辨率图像中的区域r进行冗余扩展，扩大r的边界；

使用基于相关性的模板匹配在r上寻找l对应的区域h，取(l,h)为样本对，获得一对数据patch(l，h)。

进一步地，所述生成器使用带有残差结构的卷积神经网络，所述鉴别器采用vgg模型。

一种基于生成对抗网络的多监督图像超分辨重建方法，将低分辨率图像输入生成对抗网络模型，生成对抗网络模型输出高分辨率图像，所述生成对抗网络模型按照如下方式构建：

(1)制作训练样本集

提取同一目标成像区域的低分辨率图像、中间分辨率图像和高分辨率图像；

在低分辨率图像中选取前景区域l，并将该区域映射到中间和高分辨率图像对应的区域b、c；对l、b区域进行配准，获得样本对(l，m)；对l、c区域进行配准，获得样本对(l，h)；

依据(l，m)和(l，h)构建样本(l，m，h)；

(2)训练模型

构建包括第一生成器和第一鉴别器的对抗网络模型，将样本(l，m，h)中的低分辨率图像l作为第一生成器的输入，第一生成器输出与中间分辨率图像m相似的图像m’，第一鉴别器鉴别图像m和m’的真伪，如此反复学习和对抗，训练得到第一生成器；

构建包括第二生成器和第二鉴别器的对抗网络模型，将第一生成器的输出m’作为第二生成器的输入，第二生成器输出与高分辨率图像h相似的图像h’，第二鉴别器鉴别图像h和h’的真伪，如此反复学习和对抗，训练得到第二生成器；

对第一生成器和第二生成器再做联合训练，最终确定第一生成器和第二生成器。

进一步地，所述步骤(1)制作训练样本对的具体实施方式为：

(11)低到中的粗配准

将低分辨率图像划分为多个子区域，通过子区域坐标与第一倍数乘积将各子区域映射到高分辨率图像，所述第一倍数为中分辨率图像相对于低分辨率图像的放大倍数；

对中分辨率图像中映射确定的子区域进行冗余扩展，扩大边界；

逐一对低分辨率图像中的子区域与其在中分辨率图像中映射的子区域进行相关性匹配，获取相关性最大时的第一子区域坐标偏移量；

对所有第一子区域坐标偏移量求平均，得到低分辨率图像到中间分辨率图像的第一粗配准坐标偏移量；

使用第一粗配准坐标偏移量校正低、中间分辨率图像之间的误差；

(12)中到高的粗配准

将中分辨率图像划分为多个子区域，通过子区域坐标与第二倍数乘积将各子区域映射到高分辨率图像，所述第二倍数为高分辨率图像相对于中分辨率图像的放大倍数；

对高分辨率图像中映射确定的子区域进行冗余扩展，扩大边界；

逐一对中分辨率图像中的子区域与其在高分辨率图像中映射的子区域进行相关性匹配，获取相关性最大时的第二子区域坐标偏移量；

对所有第二子区域坐标偏移量求平均，得到低分辨率图像到高分辨率图像的第二粗配准坐标偏移量；

使用第二粗配准坐标偏移量校正中、高分辨率图像之间的误差；

(13)精配准

在低分辨率图像中选取前景区域l，将该区域分别映射到校正后的中间和高分辨率图像，记为区域b、c；

使用基于相关性的模板匹配在b上寻找l对应的区域m，获得样本对(l，m)；使用基于相关性的模板匹配在c上寻找l对应的区域h，对l、c区域进行配准，获得样本对(l，h)；

依据(l，m)和(l，h)构建样本(l，m，h)。

进一步地，所述学习对抗训练采用的损失函数为：

lg＝lmse+α*lp+β*ladver

其中，lmse是均方误差，lp是感知损失，ladver是生成器的对抗损失，ld是鉴别器的对抗损失，lg是生成器总损失函数；n是样本数量，c,h,w为图像尺寸，x^{n}为第n个样本，i^{n}为低分辨率图像x^{n}对应的高分辨图像，y是真实高分辨图像的标签；gθ，dθ分别对应生成器和鉴别器，φ是预训练好的vgg模型，其输出的是特征图；α，β平衡各项损失函数。本发明的有益技术效果体现在：

(1)本发明采用对抗网络训练生成器，从而将低分辨率图像重建到高分辨率，能够仅从低分辨率图像获得与高倍物镜拍摄效果接近的高分辨率图像，能够节省大量的切片扫描时间和硬件成本，有效地解决了病理图像超分辨重建模糊和伪影的问题。

(2)优选的，本发明提出的基于生成对抗式模型的超分辨方法，在配准良好的数据集上能够达到最佳效果。本发明提出的图像配准方案配准误差可以达到亚像素级别同时保持一定的速度。同一切片的不同分辨率图像往往是由同一设备不同镜头扫描得到的，一般只存在水平方向和垂直方向的误差。但是由于病理切片非常大可以达到60k*60k像素，因此切片往往存在拼图的问题，这会引入一个局部不一致的误差。也就是说不能得到一个全局的偏移量来校正两张切片之间的误差，切片内部依旧可能不一致。而本发明的分两步配准方案能够顺利解决这个问题，粗配准得到两张切片的粗糙的相对偏移量，减小搜索范围，精配准在此基础上，精确的配准需要的小区域。粗配准提高配准速度而精配准保证配准精度。

(3)优选的，本发明提出的基于生成对抗式模型的超分辨方法，结合高质量的数据集，能够生成高质量的高分辨率图像。数据集的制作对本发明的效果有很大的影响，本发明提出的数据制作方法包括区域选择，抑制背景区域能够让模型学习到高低分辨之间的差异，进而提高模型重建高分辨图像的能力。如果不做上述操作，由于病理切片细胞相对而言较为稀疏，会产生过多白块。由于损失函数取平均的原因，这些白块会影响模型的学习能力。

(4)本发明提出的基于生成对抗式模型的超分辨方法，通过使用多监督以及分阶段的优化方式，能够使模型收敛更加迅速，优化结果好。多监督相对单监督而言，由于加入中间的监督，降低了模型收敛难度，相当于显示的告诉模型，在超分辨重建过程中，图像的分辨率是如何变化的。多阶段训练过程中，譬如先优化4x到10x，然后优化10x到20x，逐步的上采样方案减少了一次性上采样过多容易产生的伪影和模糊。通过中间监督作为过渡，降低了低倍与高倍景深差异过大带来的难以收敛问题。

总的来说，本发明提出的基于生成对抗式超分辨方法，是一种对现实世界所采集的数据的通用方法，不仅对病理切片使用，对其他切片数据只要建立合适的数据集亦适用。

附图说明

图1是本发明一种基于生成对抗网络的多阶段图像超分辨重建方法的流程示意图；

图2是本发明实施提供的图像配准的流程示意图；

图3是本发明实施提供的一种目标网络模型的网络结构示意图；

图4是本发明实施提供的生成的超分辨率图像与真实显微镜生成的高分辨率图像效果对比图，其中图4(a)是真实的4倍镜图像，图4(b)是4倍镜生成20倍镜图像，图4(c)是真实20倍镜图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的说明书和权利要求书中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。

在本发明中低分辨率图像、中间分辨率图像、高分辨率图像是相对概念。如，4x图像相对于10x是低分辨率图像，10x为高分辨率图像。10x图像相对于20x是低分辨率图像，20x为高分辨率图像。若，低中高分辨率同时出现，则分指4x，10x，20x图像。

本发明的技术思路是：将同一切片的不同分辨率的切片图像进行配准；利用配准后的切片图像制作训练数据集；在训练数据集上，使用多监督多阶段的思想训练生成对抗模型；利用训练好的生成对抗模型，将低分辨图像重建为高分辨图像。

按照一种较佳的方式，本发明于加入中间的监督，譬如先优化4x到10x，然后优化10x到20x，逐步的上采样方案减少了一次性上采样过多容易产生的伪影和模糊。通过中间10x监督作为过渡，降低了4x与20x景深差异过大带来的难以收敛问题。

图1给出了本发明一个较佳实施例方法流程图，该方法包括以下步骤：

(1)通过光学显微成像硬件，获取同一张片子的4x、10x与20x的细胞病理图像。

(2)以4x图像为标准进行粗配准，获取10x图像每一张切片的图像偏移量；再以10x图像为标准进行粗配准，获取20x图像的每一张切片的图像偏移量。具体步骤如下：

训练深度卷积神经网络对显存要求高，原始尺寸的数据较大，会导致计算机资源的不足，因此需要将原始图像裁剪为更小尺寸的图片作为训练数据。但因为在成像不同分辨率的切片时需要频繁移动载物台和物镜导致在不同的物镜下的图像有像素级别的距离误差，所以在图像切片之前，应先做图像的配准。

在4x的图像随机切片15个大小为2000*2000像素的子区域，并将子区域坐标乘2.5，映射至10x图像上。在10x图像对应的子区域于各方向上冗余2000个像素，将4x的子区域上采样2.5倍，然后在冗余框内滑动，获取图像相关性最大时的坐标偏移量。并对15个子区域坐标偏移量取平均，得到的坐标偏移量即为单张病理图像从4x到10x图像偏移量。

对于10x和20x的图像配准问题，同样在10x图像上随机切片15个大小为2000*2000像素的子区域，并将子区域坐标乘2，映射至20x图像上。在20x图像对应的子区域于各方向上冗余2000个像素，将10x子区域上采样2倍，然后在冗余框内滑动，获取图像相关性最大时的坐标偏移量。对15个子区域坐标偏移量取平均，得到的坐标偏移量即为单张病理图像从10x到20x的图像偏移量。

(3)以粗配准坐标偏移量为参考，在参考区域内获取每一张训练数据图像的坐标偏移量，制作4x训练数据图像和与之对应的10x训练数据图像，20x训练数据图像数据集，其中10x、20x图像是4x图像的监督。具体步骤如下：

由于载物台移动和拼接误差，不能够找到一个全局的偏移量使两张切片完全配准。因此在制作训练数据集时有必要进一步配准，使采集到的图像是完全匹配的。

以步骤(2)获取的单张片子的4x到10x的粗配准坐标偏移量为标准，在4x图像上，随机选取128*128像素大小的区域l，获取区域l经粗配准偏移量矫正后在10x图像上的位置。在该位置的各个方向取600个像素的冗余，记冗余扩展后的区域为b。将l上采样2.5倍后在b上滑动。取相关性最大时b上与l对应的区域m。若l与m的相关性小于阈值0.8，则配准失败，重新选取l，重复上述步骤。

以步骤(2)获取的单张片子的10x到20x的粗配准坐标偏移量为标准，在10x的图像上对于上一步获取的中间分辨率图像m，经过粗配准偏移量矫正后，获取其在20x上的位置，在该位置各个方向取600个像素距离的冗余，记冗余扩展后的区域为c。将m上采样2倍后在c内滑动。取相关性最大时c上与m对应的区域h。若m与h的相关性小于阈值0.8，则配准失败，重新选取l，重复上述步骤。若相关性满足阈值条件，则本次配准成功。将样本对(l，m，h)保存。

重复上述步骤，在每张切片上选取7000个样本对(l,m,h)。

(4)以残差网络作为生成器的主体骨架，以vgg作为鉴别器的主体骨架，构建生成对抗网络模型，读取训练数据进行训练，生成用于产生高分辨率图像的神经网络。具体步骤如下：

如图3所示，以残差网络作为生成器的主体骨架构建网络结构，使用15个残差模块，每个残差模块由两个卷积层和一个prelu激活函数构成。并在输入，中间监督以及最后监督处各接一个9x9的卷积以增大感受野。为了实现多阶段监督，将生成器分为两部分，g1和g2，g1使用10个残差模块提取特征，g2使用5个残差模块提取特征，g1与g2均接上采样模块，实现分阶段超分辨。第一阶段使用10x图像进行监督，第二阶段使用20x图像进行监督，并优选pixelshuffle模块作为上采样模块。

损失函数由三部分组成，第一部分，生成图像与监督图像的均方误差，均方误差比对像素之间的误差，能够提高峰值信噪比；第二部分，将生成图像与监督图像通过一个在imagenet数据集上预训练过的vgg网络，提取第31层特征图，计算两组特征图之间的均方误差，用于计算感知损失。第三部分，生成对抗损失，生成器和鉴别相互对抗，相互提高。损失函数具体表述如下：

lg＝lmse+α*lp+β*ladver

其中，lmse是均方误差，lp是感知损失，ladver是生成器的对抗损失。lg是生成器总损失函数，ld是鉴别器对抗损失；n是样本数量，c,h,w为图像尺寸，x^{n}为第n个样本，i^{n}为x^{n}对应的高分辨图像，y是真实高分辨图像的标签。gθ，dθ对应生成器和鉴别器，φ是预训练好的vgg模型，其输出的是特征图。α，β平衡各项损失函数。

(5)读取配准后的训练集，并输入网络进行训练。具体步骤：

读取配准的4x、10x、20x数据进行训练。训练策略为，先优化生成器g1与鉴别器d1的参数，使用10x图像作为监督，其中生成器和鉴别器的学习率均设置为1e-4，优化器使用adam，优化2k轮。然后固定生成器g1与鉴别器d1的参数(即将g1和d1的学习率设置为0，使其不能被优化)，依次优化生成器g2与鉴别器d2的参数，使用20x图像作为监督，其中生成器和鉴别器的学习率均设置为1e-4，使用adam优化器，优化2k轮。最后，释放g1与d1参数，联合训练g1和g2，以及d1和d2，同时使用10x与20x数据进行监督，此时将学习率设置为1e-5，共优化k轮。

(6)载入优选的生成器网络参数，将未训练的低倍镜低分辨率图像输入生成器中，可生成成像效果优秀的高分辨率图像，如图4所示。具体步骤：

将保存的一系列网络权重依次载入网络，让生成器生成放大5倍的高分辨率图像，计算高分辨率图像与高倍镜下真实图像的psnr与ssim，并计算测试集的分数平均值。将分数高的网络权重优选为生成器的网络参数。

将低倍镜下拍摄的低分率图像输入生成器中，生成高分辨率图像。从图4可以看出，输入的低分辨率图像高度模糊，几乎无法看见细胞核细节信息，但是经过超分辨重建后的图像与真实的20x图像非常接近。将低分辨率图像经过本发明提出的超分辨方法重建后，能够还原4x图像中不存在的20x图像中的细节，这样一来4x分辨率的图像就能够体现出巨大的价值。4x图像最大的优势在与成像速度快，但是缺点是图像模糊，不实用。通过本方法，4x图像能够在保证成像速度的同时兼顾图像质量。

本发明提供的低倍图像生成器，可以节约图像的扫描重建时间，同时能节省硬盘的存储空间。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。