一种基于图像先验的细胞图像超分辨方法及装置与流程

本发明属于医学图像领域，尤其涉及一种基于图像先验的细胞图像超分辨方法和装置。
背景技术：
：在显微图像方面，高分辨的显微图像能够帮助医生快速准确地判断细胞病变与否，而且还可以提高人类或计算机程序基于显微图像自动识别疾病的准确率。然而，由于高分辨率相机和高倍数显微镜成本过高，以及地方政策问题，在许多发展中国家仅有部分高水平医院可以做到足够高清(诸如400倍放大倍数)的显微图像，而一些地方医院由于经济条件限制，难以获得如此高倍数的显微图像，这无疑大大限制了当地医院的医疗水平，使得部分来自小城市的患者不得不专程转移至其他城市进行病理诊断。基于这个问题，人们开始提出显微图像超分辨的概念，其中比较成功的方法是荧光标记，通过额外照射一个空心圆荧光，让光电的散射范围更小，突破衍射极限。另一种可能的方法便是通过数字图像超分辨技术来获得边缘更清晰的显微图像。现有的许多基于深度学习的图像超分辨方法都能大幅提高低分辨率图像的清晰度，因此将显微图像进行超分辨处理，即便使用一些低配置的显微成像系统也可以获得足够清晰的图像边缘，以帮助医师准确地进行病理诊断。自2012年开始，得益于卷积神经网络的快速性和高效性，深度学习技术快速发展。越来越多的来自世界各个学校、企业的学者提出了许多基于深度学习的图像超分辨的方法。不少研究人员尝试将超分辨方法用于显微图像超分辨，并在组织切片图像超分辨取得了成功。然而还鲜有人专门对细胞图像进行超分辨。目前细胞显微图像超分辨方法还存在如下问题：首先，绝大多数现有的深度学习超分辨网络都是将一副完整的图像裁剪成许多小尺寸的图像(例如41*41，或19*19)，这样忽略了图像的空间结构信息，对于细胞图像而言，整体结构信息对特征的提取也是至关重要的。其次，大多数超分辨模型都是以最小平方误差(meansquareerror，mse)为损失函数进行训练。以mse作为目标容易使网络返回过于平滑和模糊的边界，导致超分辨效果欠佳。另外，当前研究很少考虑到细胞图像先验信息的应用。一般而言，图像先验能够很好地引导网络训练，使网络更快地收敛，使模型更加鲁棒。技术实现要素：针对上述现有方法中存在的缺陷，本发明的目的在于提供一种基于图像先验的细胞超分辨方法，该方法的模型为一个深度卷积神经网络，可以实现对显微镜细胞图像进行背景、细胞质、细胞核三个区域的分割，并重建成一张拥有更高分辨率、且拥有更清晰的细节的超分辨率图像。本发明的另外一个目的是提供实现该方法的装置。实现本发明目的的技术解决方案为：一种基于图像先验的细胞图像超分辨方法，包括如下步骤：s1，拍摄显微镜下的细胞图像；s2，对拍摄得到的每张细胞图像手动标记出背景、细胞质和细胞核三种区域，并生成掩膜；s3，利用特征编码网络，以单张细胞图像为输入，逐渐提取图像特征，再将低层次和高层次特征结合起来，生成一个特征图；s4，利用语义分割网络，从输入的单张细胞图像中提取出背景、细胞质和细胞核三种区域的掩膜；s5，将s3获得的细胞图像的特征图和s4提取的掩膜在通道维度上叠加，利用图像解码网络解码并生成高分辨率的细胞图像；s6，以s1拍摄的细胞图像和s2标记得到的掩膜作为训练集，用反向传播算法训练卷积神经网络分割细胞和超分辨细胞图像的能力；s7，经过多次迭代后，固定网络参数，利用训练得到的卷积神经网络对单张未标记掩膜的低分辨率细胞图像直接进行超分辨。本发明的一种基于图像先验的细胞图像超分辨的装置，包括：显微图像获取模块，获取细胞原始显微图像；图像预处理模块，对获取的细胞图像进行形态学处理，并提取掩膜；图像特征编码模块，从输入的细胞图像中提取低层特征图；图像掩膜提取模块，从输入的细胞图像中提取背景、细胞质和细胞核三种区域的掩膜；图像解码模块，根据提取的低层特征图和掩膜解码生成超分辨率图像；神经网络训练模块，基于反向传播算法训练神经网络的各种参数；细胞超分辨模块，对未标记掩膜的低分辨率细胞图像进行超分辨。本发明和其他超分辨方法的不同之处在于，本发明并非对单张低分辨率图像直接进行超分辨，而是通过一个语义分割网络，先从低分辨率的细胞图像中提取出背景、细胞质、细胞核三种区域在图像中对应的位置，进而利用特征编码网络将语义分割信息和低分辨率图像的特征联合起来进行解析，得到一个低层与高层结合的特征图。最后，通过图像解码网络将特征图恢复成一张拥有更高分辨率的图像。本发明的显著优点在于：本发明充分利用了细胞的细胞质、细胞核先验信息，得到分辨率为2倍、4倍，甚至8倍于原始图像尺寸的高分辨率图像，清晰程度要优于其他绝大多数超分辨率图像方法。实验表明，本发明使用的网络结构和训练方法，同样适用于组织图像的超分辨，对基于显微图像的病理学诊断有至关重要的意义。附图说明图1是本发明基于图像先验的细胞超分辨方法的流程图。图2是本发明基于图像先验的细胞超分辨装置的结构示意图。图3是本发明实施例1拍摄的白细胞图像及其掩膜示意图。(a)原始图像；(b)通过软件标注的细胞质和细胞核；(c)根据边界点分割得到的掩膜图。图4是本发明实施例1中残差网络resnet的结构示意图。具体实施方式为使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明实施方法作进一步地详细描述。实施例1本实施例提供了一种基于图像先验的细胞超分辨方法，以白细胞为例，参见图1，具体包括：s1：使用显微镜相机拍摄数百张显微镜下的白细胞图像。为了建立白细胞超分辨网络的训练集，需要利用显微镜采集足够多的白细胞图像。首先从医院的血液库中采集若干健康个体和病患的少量血液，制作成血液涂片。接着利用奥林巴斯cx31显微镜和奥林巴斯dp27显微相机拍摄血液涂片，每张图像的分辨率能够达到百万级像素。由于图像中的白细胞间隔距离较红细胞而言较大，因此可以用简单的目标检测软件将每个白细胞裁剪出来，单独变成一张白细胞图像，可见图3左侧图。s2：对拍摄得到的每张白细胞图像手动标记出背景、细胞质、细胞核三种区域，并提取掩膜。该步骤的掩膜提取主要是通过图像标注软件labelme实现的。通过在细胞质、细胞核边缘均匀地标注点，将这些点看做多边形顶点生成一个凸多边形，便能完好地划分背景、细胞质、细胞核三种区域。最后，对这三种区域进行编码，使之转换成对应的颜色(本实施例中，背景编码为黑色，rgb值为0,0,0；细胞质编码为红色，rgb值为0,255,0；细胞核编码为蓝色，rgb值为0,0,255)，效果图可见图3。s3：利用卷积神经网络，以单张白细胞图像为输入，逐渐提取图像特征，再将低层次和高层次特征结合起来，生成一个特征图。假设给定的低分辨率图像为ilr，通过算法重建的超分辨率图像为isr＝f(ilr)，期望的高分辨率图像为isr。从ihr到ilr的过程可以通过简单的降采样实现，但其逆过程往往是不可逆的，分辨率从低到高有着无数多个解，isr不可能完全等于ihr。通过合理设计卷积神经网络，可以使得到的超分辨率图像isr＝f(ilr)尽可能接近ihr。现有的深度学习超分辨方法可以分解为3个步骤：图像编码，非线性映射和图像解码。三个步骤都是通过卷积神经网络和其他技巧作为辅助来实现的。该步骤主要是图像编码的实现。假设图像编码的卷积神经网络为c1(x|θ1)，其中x为待输入的图像，θ1为神经网络的参数，那么得到的图像特征图为f1＝c1(ilr|θ1)。为了实现该步骤图像的编码，本实施例采取resnet形式的网络，如图4所示，网络共有4个残差块，每个残差块包含“卷积——relu——卷积-—relu”四个网络层和一个跳跃连接，使得原始输入和经过4层网络的输出相加。这样可以保证神经网络特征信息的充分传递，在反向传播时不会出现梯度爆炸、梯度弥散等问题，并且极大地加快了训练速度。具体方法为：将输入图像调整至224×224大小，利用含4个连续残差块的残差神经网络进行特征提取，生成一个大小为224×224×64的特征图。s4：利用卷积神经网络，从输入的单张白细胞图像中提取出背景、细胞质、细胞核三种区域的掩膜。在由s2提取出白细胞图像三种区域的掩膜后，将背景标记为黑色(rgb＝0,0,0)，细胞质标记为蓝色(rgb＝0,0,255)，细胞核标记为红色(rgb＝255,0,0)，这样的好处是编码简单，三种区域在rgb数值表示上各占一个通道，互不影响，减轻了网络的训练难度。接着假设掩膜提取对应的卷积神经网络为c2(x|θ2)，其中x为待输入的图像，θ2为神经网络的参数，那么得到的图像三种区域的掩膜为f2＝c2(ilr|θ2)。掩膜的提取本质上是深度学习中的语义分割任务。本实例采用深度语义分割网络u-net进行掩膜提取。u-net的优点在于它能够利用跳跃连接充分结合低层和高层的特征信息，分割精度远大于无跳跃连接的网络。语义分割网络u-net对白细胞背景、细胞质、细胞核三种区域进行识别，并分别标记出来。网络呈瓶颈结构，输入的图像每经过两个卷积-relu层，就使用池化层降采样一倍，一共经历4次，图像的尺寸呈224-112-56-28-14变化。接着，再通过解卷积层逐渐增采样，且将之前尺寸相同的卷积层逐元素相加，直至恢复224×224大小，生成掩膜。s5：将白细胞图像的特征图和掩膜在通道维度上叠加，利用卷积神经网络解码并生成高分辨率的白细胞图像。将先验信息和输入图像结合的方法有很多种，直接在在通道维度上叠加便是其中一种直接简洁的方法。之所以采用叠加通道的方法，是因为能够有效地将输入图像和掩膜信息结合起来，结合方法又不至于过多地增大网络复杂度和网络训练难度。假设图像解码网络为c3(x|θ3)，其中x为待输入的图像，θ3为神经网络的参数，那么最后得到的超分辨率图像为：isr＝c3(concat(f1,f2)|θ3)其中concat()是叠加通道操作。整个网络结构可以表示为：isr＝c3(concat(c1(ilr),c2(ilr))|θ1,θ2,θ3)s6：以采集到的白细胞和标记得到的背景、细胞质、细胞核三种区域的掩膜作为训练集，用反向传播算法训练网络分割细胞、超分辨白细胞图像的能力。为了统一输入图像大小，以及考虑降采样的取整问题，将每个白细胞图像使用双三次插值调整到224×224大小。考虑到白细胞的整体结构，不做裁剪操作。训练使用adam优化器，学习率设置为10-3，之后每过50个周期数值减半，这样可以使优化器一开始以较大步长往最优解靠近，接着再逐步调整位置以准确找到全局最优解。训练时，将已有的高分辨率白细胞图像(大小为224×224)取4/5作为训练集，剩下的1/5作为测试集。训练中以所有训练数据遍历一次为一个周期，训练总周期设置为200个。经过训练，将网络的计算流图和参数保存至.pth格式文件中。s7：经过多次迭代后，固定网络参数，将训练得到的卷积神经网络，对单张白细胞图像直接进行超分辨。使用程序读取.pth文件，用高分辨率白细胞图像中1/5作为测试集进行测试，并以峰值信噪比psnr为基准，与双三次插值、srcnn等传统超分辨方法进行性能比较，如下表所示。表1性能比较结果超分辨方法双三次插值srcnn本实施例方法psnr36.6837.8839.92实施例2参见图2，本发明实施例提供了一种基于图像先验的细胞超分辨的装置，包括：显微图像获取模块201，获取细胞原始图像。通过显微镜获取显微图像的主要方式是显微相机。本发明装置的显微图像获取模块主要使用奥林巴斯dp27显微相机和奥林巴斯cx31科研显微镜组合使用。拍摄血液涂片时，在1000倍放大倍数下手动对焦，拍摄得到的图像分辨率可以达到百万级像素。图像预处理模块202，对获取的细胞图像进行形态学处理，并提取掩膜。具体地，将细胞背景、细胞质、细胞核三种区域划分出来，制作成为3通道的掩膜图像。图像特征编码模块203，从输入的细胞图像中提取低层特征图。图像掩膜提取模块204，从输入的细胞图像中提取背景、细胞质、细胞核三种区域的掩膜。图像解码模块205，根据先前得到的特征图和掩膜解码生成超分辨率图像。神经网络训练模块206，基于反向传播学习超分辨网络的各种参数。本实例采用adam优化器进行训练，学习率为10-3，之后每过50个周期数值减半，迭代次数共200次。训练后的网络参数和计算流图保存在.pth格式文件中。细胞超分辨模块207，将未标记掩膜的低分辨率细胞输入网络中，网络对细胞图像进行超分辨，提高图像质量。本实施例提供的上述模块全部可以通过软件编程实现，所述程序可以存贮在可读取的存取介质中，该存储介质包括：rom,ram,磁碟或者光盘中等各种可以存储程序代码的介质。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改，等同替换，改进等，均应包含在本发明的保护范围之中。当前第1页12