一种基于神经网络的亚微米级无透镜显微成像方法及系统与流程

本发明涉及生物医学显微成像技术领域，更具体地，涉及一种基于神经网络的亚微米级无透镜显微成像方法及系统。

背景技术：

在生物医学即时检测过程中，常常需要分析细胞、微生物等微小样品的形态学信息以及核酸、抗原抗体等生化反应后的荧光影像信息，而这些信息的获取通常需要用到显微成像设备。传统的光学显微镜主要由光源、光学透镜、光检测器三部分组成。光学透镜的主要作用是将样品进行光学放大并将其聚焦在光检测器上进行成像。但光学透镜通常需要和光学镜筒、光圈以及调焦系统等部件配合使用以获得清晰的图像，大大增加了显微镜的体积和复杂程度，成为显微镜用于即时检测领域必须克服的一大阻力。

相比传统显微镜，无透镜显微镜作为新型的显微镜系统，以它的大视场和简便的特性获得了生物医学领域的青睐。无透镜成像技术是将样品与电荷耦合元件(charge-coupleddevice，ccd)或互补金属半导体氧化物(complementarymetaloxidesemiconductor，cmos)芯片等光检测器紧密接触、无需光学元件、直接对样品进行成像的技术。根据成像原理的不同，无透镜成像技术分为阴影成像和数字全息成像两类，这两类无透镜成像技术各有优缺点。阴影无透镜成像系统结构最为简单，它采用非相干光照明，利用光沿直线传播的光学原理，通过光检测器采集样品的投影来获得目标信息，所得图像与原始样品比例接近于1；数字全息无透镜成像系统采用相干光照明，通过光的干涉过程产生干涉条纹，由光检测器接受这样的干涉条纹从而采集到样品的空间三维信息。

然而，目前的图像传感器只能接收光强度信息而无法接收光相位信息，而在生物医学应用中，我们常常需要观察细胞等透明或半透明的样品，这些样品普遍透射率分布相对均匀，光透过样品后强度信息变化较小，因此仅通过光强的检测很难获得高质量的样品图像。也因此，接触式无透镜显微镜不适用于该类检测。然而，样品折射率的改变影响了光穿过样品时的光程，使光的相位信息发生了明显变化，因此可通过检测光的相位信息直接准确地反映样品性质。光的相位信息是还原图像高分辨率细节的关键。数字全息无透镜成像系统可满足这样的生物医学即时检测应用的需要，它利用参考光波和物体散射的光波发生相干叠加产生干涉条纹，这些干涉条纹将由cmos或ccd记录成为全息图，通过相位迭代恢复算法可以还原出原光场，通过恢复出的振幅和相位信息来获得样品的物理形态特征。

目前的这两类无透镜成像系统的分辨率均受限于光检测器cmos或者ccd的像元尺寸。理论上越小的像元尺寸，能够接受到的信息就越微小。目前市面上普遍的cmos或者ccd的像元尺寸均在μm量级，而普通光学显微镜的分辨率一般接近衍射极限，也就是百纳米级。另外，由于光检测器的设计原因，能采集到彩色图样的ccd或者cmos的传感器表面均有一层拜尔滤镜，每个拜尔单元的大小是3×3，去除这一拜尔滤镜可以提高其分辨率，但相对的，光传感器也失去了采集彩色图像的能力。

技术实现要素：

针对现有技术的缺陷，本发明的目的在于解决现有无透镜成像技术采集的图像分辨率低的技术问题。

为实现上述目的，一方面，本发明提供一种基于神经网络的亚微米级无透镜显微成像方法，包括如下步骤：

在相干照明条件下，获得待成像物体产生的干涉条纹对应的全息图；

基于所述待成像物体的全息图进行相位恢复，获取待成像物体不同横截面的第一分辨率的二维幅度图像和第一分辨率的二维相位图像；

将第一分辨率的二维幅度图像和第一分辨率的二维相位图像输入到训练好的生成对抗网络(generativeadversarialnetworks，gan)，得到第二分辨率的二维幅度图像和第二分辨率的二维相位图像，所述第二分辨率大于第一分辨率。

具体地，训练好的生成对抗网络gan通过对预先采集的低分辨率图像和对应的高分辨率图像映射训练得到，用于学习低分辨率图像与其对应的高分辨率图像之间的映射关系，并基于映射关系对接收到的低分辨率图像恢复，得到对应的高分辨率图像。

具体地，第一分辨率为低分辨率，第二分辨率为高分辨率，一般高分辨率为亚微米级。

可选地，该无透镜显微成像方法还包括如下步骤：

对所述待成像物体进行多角度相干照明，得到不同角度待成像物体不同横截面的第一分辨率的二维幅度图像和第一分辨率的二维相位图像；

对不同角度待成像物体不同横截面的第一分辨率的二维幅度图像和第一分辨率的二维相位图像进行双轴补偿，获得多角度相干照明中丢失的空间频率信息，恢复出待成像物体的三维图像。

可选地，通过如下步骤训练生成对抗网络：

预先采集用于训练的物体的高分辨率图像；

对采集到的高分辨率图像进行模糊处理，得到对应的用于训练的低分辨率图像；用于训练的物体的高分辨率图像和其对应的低分辨率图像组成训练集；

确定生成对抗网络架构，所述生成对抗网络架构包括生成器结构和鉴别器结构，所述生成器结构用于生成第二分辨率图像中的图像细节，所述鉴别器结构用于判断生成器结构生成的图像细节的真实性；

采用所述训练集对生成对抗网络架构进行训练，学习低分辨率图像与其对应的高分辨率图像之间的映射关系，得到训练好的生成对抗网络，所述训练集被分为训练数据和测试数据，生成对抗网络架构利用训练数据进行训练学习，利用测试数据进行评估，直到所述生成对抗网络架构有能力建立从低分辨率图像到高分辨率图像的映射。

可选地，对采集到的高分辨率图像进行模糊处理，具体通过如下公式实现：

im＝d(k*i)+n

其中，im是物体的高分辨率图像的强度分布矩阵，i表示对应的低分辨率图像的强度分布矩阵；k是光学系统的点扩散函数，表示为高斯卷积核；*是i和k之间的卷积；d作用于卷积结果，表示相机传感器的离散化；n表示加性高斯白噪声。

另一方面，本发明提供一种基于神经网络的亚微米级无透镜显微成像系统，包括：

照明单元，用于提供相干照明光；

探测成像单元，用于基于所述相干照明光获得待成像物体产生的干涉条纹对应的全息图；

相位恢复单元，用于基于所述待成像物体的全息图进行相位恢复，获取待成像物体不同横截面的第一分辨率的二维幅度图像和第一分辨率的二维相位图像；

高分辨率恢复单元，用于将第一分辨率的二维幅度图像和第一分辨率的二维相位图像输入到训练好的生成对抗网络，得到第二分辨率的二维幅度图像和第二分辨率的二维相位图像，所述第二分辨率大于第一分辨率。

可选地，该无透镜显微成像系统还包括移动单元和三维图像恢复单元；

所述移动单元，用于移动照明单元，以对所述待成像物体进行多角度相干照明，得到不同角度待成像物体不同横截面的第一分辨率的二维幅度图像和第一分辨率的二维相位图像；

所述三维图像恢复单元，用于对不同角度待成像物体不同横截面的第一分辨率的二维幅度图像和第一分辨率的二维相位图像进行双轴补偿，获得多角度相干照明中丢失的空间频率信息，恢复出待成像物体的三维图像。

可选地，该无透镜显微成像系统还包括：生成对抗网络训练单元；

所述生成对抗网络训练单元，用于预先采集用于训练的物体的高分辨率图像；对采集到的高分辨率图像进行模糊处理，得到对应的用于训练的低分辨率图像；用于训练的物体的高分辨率图像和其对应的低分辨率图像组成训练集；确定生成对抗网络架构，所述生成对抗网络架构包括生成器结构和鉴别器结构，所述生成器结构用于生成第二分辨率图像中的图像细节，所述鉴别器结构用于判别生成器结构生成的图像细节的真实性；采用所述训练集对生成对抗网络架构进行训练，学习低分辨率图像与其对应的高分辨率图像之间的映射关系，得到训练好的生成对抗网络，所述训练集被分为训练数据和测试数据，生成对抗网络架构利用训练数据进行训练学习，利用测试数据进行评估，直到所述生成对抗网络架构有能力建立从低分辨率图像到高分辨率图像的映射。

可选地，所述生成对抗网络训练单元，对采集到的高分辨率图像进行模糊处理，具体通过如下公式实现：

im＝d(k*i)+n

其中，im是物体的高分辨率图像的强度分布矩阵，i表示对应的低分辨率图像的强度分布矩阵；k是光学系统的点扩散函数，表示为高斯卷积核；*是i和k之间的卷积；d作用于卷积结果，表示相机传感器的离散化；n表示加性高斯白噪声。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明提供基于神经网络的亚微米级无透镜显微成像方法及系统，不需要任何的透镜或者高功率的激光单元，整体架构简单便携，可同时实现高分辨率和大视场且能重建出细胞的相位图像。

本发明将神经网络用来解决无透镜显微镜分辨率不足的问题，可以对任意的细胞图像进行分辨率加强，它允许无透镜成像系统突破像元大小的限制，实现亚微米级分辨率。

本发明提出的多角度照明办法，可以实现对成像细胞的三维重建，且重建的轴向分辨率在微米量级，这将允许我们区分互相重叠的细胞，可以对更高密度的细胞样品进行成像。

本发明提出的基于神经网络的亚微米级无透镜显微成像方法和系统在解决上述问题的同时也实现了在生物医学领域的进一步应用。

附图说明

图1为本发明提供的基于神经网络的亚微米级无透镜显微成像方法流程图；

图2为本发明提供的生成对抗神经网络架构示意图；

图3为本发明提供的无透镜成像系统的成像效果；

图4为本发明提供的神经网络训练方法的流程图；

图5a为本发明具体实施例提供的从全息图恢复出的未经过神经网络处理的原始相位图像；

图5b为本发明具体实施例提供的使用提高分辨率的办法后得到的最终的效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明针对上述缺点或不足，提出了解决办法并提供相应的系统搭建方法：针对像元尺寸不够小的缺点，本发明通过软件的方式来绕过像元大小的限制，利用神经网络，具体地，可开发利用一种生成对抗性网络gan，以便从单一的低分辨率测量中恢复高分辨率的无透镜图像，从而在整个传感器平面上实现亚微米级的分辨率。实验上，我们的无透镜系统可以快速捕获培养细胞的无透镜图像，然后输入训练有素的生成对抗网络gan，以实时效率进行超分辨率恢复，这种基于深度学习的成像方法能够以极快的速度(1秒内)恢复大视场的图像，视场面积大致在95平方毫米，提高约1.7μm的分辨率，同时不必改变现有显微镜的设置。

针对传感器表面的拜尔滤镜，本申请提出了去除它的方法，由此可以获得更高分辨率的原始光场的灰度图。因去除拜尔滤镜而损失的采集彩色图像的能力，本申请还可以通过多波长照明来进行恢复。

另外的，本申请提出一种可以构建出成像物体的三维图像的无透镜显微镜系统，通过多角度照明并进行双轴补偿来获得多角度照明中丢失的空间频率信息，该系统将允许通过反投影计算恢复出原物体的三维影像。

图1为本发明提供的基于神经网络的亚微米级无透镜显微成像方法流程图，包括如下步骤：

s100，在相干照明条件下，通过无透显微镜获得待成像物体产生的干涉条纹对应的全息图；

s200，基于所述待成像物体的全息图进行相位恢复，获取待成像物体不同横截面的第一分辨率的二维幅度图像和第一分辨率的二维相位图像；

s300，将第一分辨率的二维幅度图像和第一分辨率的二维相位图像输入到训练好的gan，得到第二分辨率的二维幅度图像和第二分辨率的二维相位图像，所述第二分辨率大于第一分辨率，所述训练好的生成对抗网络gan通过对预先采集的低分辨率图像和对应的高分辨率图像映射训练得到，用于学习低分辨率图像与其对应的高分辨率图像之间的映射关系，并基于映射关系对接收到的低分辨率图像恢复，得到对应的高分辨率图像。

各个步骤的具体细化可参见下述实施例的详细介绍。

本发明的目的在于开发一种无透镜显微镜，其分辨率能达到亚微米级甚至接近衍射极限。

本发明提供一种低成本的无透镜相干显微镜系统，自上而下包括：照明单元，滤波单元，探测成像单元：

照明单元，可直接使用普通的或者窄带的led光源。照明单元还包括滤波单元，滤波单元照明光转变为相干照明光，包括空间域滤波和频域滤波，使用50um-100um量级的小孔作为空间滤波器，并且在小孔下方放置一个带宽±10或者更小的滤光片进行带通滤波。注意，这里的小孔和滤光片应紧贴，并且与照明单元的距离需要合适地调整，以避免因二者之间的间距产生额外的衍射光而导致探测成像单元上采集到额外的干涉图案。

探测成像单元，市面上常见的cmos或者ccd即可，像元尺寸在2.2um或以下。

相位恢复单元，用于基于所述待成像物体的全息图进行相位恢复，获取待成像物体不同横截面的第一分辨率的二维幅度图像和第一分辨率的二维相位图像。

高分辨率恢复单元，用于将第一分辨率的二维幅度图像和第一分辨率的二维相位图像输入到训练好的生成对抗网络gan，得到第二分辨率的二维幅度图像和第二分辨率的二维相位图像，第二分辨率大于第一分辨率；所述训练好的生成对抗网络gan通过对预先采集的低分辨率图像和对应的高分辨率图像映射训练得到，用于学习低分辨率图像与其对应的高分辨率图像之间的映射关系，并基于映射关系对接收到的低分辨率图像恢复，得到对应的高分辨率图像。

移动单元，用于移动照明单元，以对所述待成像物体进行多角度相干照明，得到不同角度待成像物体不同横截面的第一分辨率的二维幅度图像和第一分辨率的二维相位图像。

三维图像恢复单元，用于对不同角度待成像物体不同横截面的第一分辨率的二维幅度图像和第一分辨率的二维相位图像进行双轴补偿，获得多角度相干照明中丢失的空间频率信息，恢复出待成像物体的三维图像。

gan训练单元，预先采集用于训练的物体的高分辨率图像；对采集到的高分辨率图像进行模糊处理，得到对应的用于训练的低分辨率图像；用于训练的物体的高分辨率图像和其对应的低分辨率图像组成训练集；确定gan架构，所述gan架构包括生成器结构和鉴别器结构，所述生成器结构用于生成第二分辨率图像中的图像细节，所述鉴别器结构用于判别生成器结构生成的图像细节的真实性；采用所述训练集对gan架构进行训练，学习低分辨率图像与其对应的高分辨率图像之间的映射关系，得到训练好的gan网络，所述训练集被分为训练数据和测试数据，gan架构利用训练数据进行训练学习，利用测试数据进行评估，直到所述gan架构有能力建立从低分辨率图像到高分辨率图像的映射。

将培养皿直接放置在cmos或ccd上，打开照明光源，采集细胞在相干照明下产生的干涉条纹，这类干涉图像称为同轴全息图。然后，使用迭代算法消除双图像伪影，并进行相位恢复处理，就可以重建出通过细胞的光强和相位信息，从而得到幅度和相位图像。

本发明提供一种通过深度学习网络提高已采集的图像的分辨率的优化方法，包括以下步骤：

预先使用高分辨率的光学显微镜对细胞进行采样，得到大量的高分辨率的细胞图像。对采集到的高分辨率图像进行向下采样处理，将高分辨率的图像模糊成低分辨率的图像，然后以这两组相对应的图像集合作为生成对抗网络(gan网络)的训练集进行训练，由此建立它从低分辨图像映射到高分辨图像重建的能力。依赖于这样的神经网络，我们可以从任意的低分辨率图像恢复出高分辨率的图像。

该方法还需要以下步骤：

1、预先采集合适的细胞原始图像，并对于采集到的高分辨率图像进行模糊处理：

我们利用一个图像降采样模型实现由高分辨率(highresolution，hr)图像到低分辨率(lowresolution，lr)图像的变换，并利用“lr-hr”的图像映射来训练gan网络，使其具有从低分辩图像还原原始高分辨图像的能力。需要说明的是，为了确保训练后的模型能够准确地还原无镜头系统采集到的原始图像，我们设计的图像降采样模型必须能够生成和无镜头图像非常接近的低分辨率图像。

传统的光学显微镜系统的降采样模型为：

im＝d(k*i)+n

其中im是待成像样品的连续真实强度分布；k是光学系统的点扩散函数，表示为高斯卷积核；*是i和k之间的卷积；d作用于卷积结果，表示相机传感器的离散化；n表示加性高斯白噪声。这些参数中，高斯白噪声主要是由ccd/cmos传感器的统计热噪声引起的；im是我们由光学显微镜获得的图像，它实际上是i的降采样。此式有两个参数需要优化：卷积步骤中高斯核的大小和噪声分布的方差。

我们将高倍光学物镜(x10)采集到的图像近似为样本实际的连续图像，然后利用不同sigma值对图像进行高斯滤波降采样，并用降采样后的图像对比无镜头原始图像来确定最佳的sigma值，即最佳的高斯掩膜的大小。之后，我们在降采样后的图像上加不同方差值的高斯白噪声，对比无镜头原始图像确定最佳的噪声方差。确定了这两个关键参数后，降采样模型便能生成与无镜头原始图像足够接近的低分辨图像。

2、利用计算机搭建生成对抗网络gan的架构：

参见附图2：gan网络的架构。

a部分是生成器的结构，conv和resnet是卷积层和剩余网络块的缩写。卷积层的参数以“k-s-n”格式给出，其中k是内核大小，s是步幅，n是特征图的数量(即层的输出通道)。每个卷积层的深度大致表示其特征图的数量，横向尺寸表示其输入的大小。它共有16个残块。

b是鉴别器的结构。鉴别器中的每个卷积层是卷积层、批标准化操作和relu激活函数的组合。在任意的编程语言实现该神经网络的架构后，将步骤1获得的训练集分为两份，一部分作为训练数据，另外一部分作为测试数据，对神经网络进行训练和评估，直到它有能力建立从低分辨率到高分辨率图像的映射为止。

3、将需要提高分辨率的图像输入神经网络，将会得到更加清晰的图像。注意，这一图像的来源：原始细胞必须属于训练过程中使用的参考细胞中的某一类。

本发明提供一种可以构建物体三维影像的多角度照明成像方法，该方法需要对本申请提出的无透镜显微镜系统的照明单元进行改造。具体地，需要在保证源-样本距不变的情况下改变照明光源的角度，一般而言需要在±50°范围内移动照明光源，不同高度的细胞的投影将在cmos平面上有不同程度的偏移，这一系列图像将包含有细胞的深度信息。我们对这些原始的全息图使用迭代算法消除双图像并进行相位恢复处理后，它们可以重建样本体积的不同横截面的幅度和相位图像。这一解决办法要求并且，作为这种数值重建过程的结果，我们可以区分细胞的重叠无透镜全息图，从而增加我们可以使用的细胞的密度。

本发明的目的在于提供一种成本低廉、装置简便易携、可同时实现高分辨率和大视场、能实现三维信息的实时显示的显微成像系统，并在此系统的基础上提出了多种可同时使用的用于提高系统分辨率的办法，使其性能接近光学显微镜，但避免了任何因透镜导致的像差并保留无透镜显微镜的各项优点。

本发明提供的无透镜显微成像方法示意图，包括以下步骤：

屏蔽环境光，并为led光源接通电源。

将滤波单元放置在led单元前方，并调节led光源尽量靠近空间滤波器的小孔；

将样品放置在图像处理单元的上方；

将图像处理单元连接到电脑，采集图像。

经过上述步骤我们得到原始图像，经过迭代算法消除双图像并进行相位恢复处理后可以从条纹中还原得到原始拍摄的细胞图像，并可以同时使用本申请提出的三种方案进行分辨率强化。

以下为本发明提供的一个具体实施例：

实施例1

本发明实施例提供一种用于提高分辨率的神经网络处理办法，用于加强无透镜显微成像得到的最终图像。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例使用了成像传感器(型号：aptinamt9p031)，其间距尺寸为2.2μm，有效面积为5.7mm×4.28mm，用于无透镜成像的光传感器部分，将在传感器表面上培养的细胞的近场光信号数字化。首先打开led光源，进行滤波照明，并将样品放置在传感器平面上，启动cmos驱动将所获得的数字图像通过usb数据线传输到计算机上。在计算机上使用迭代算法消除干涉产生的双图像伪影，并依据瑞利-索墨菲衍射公式进行相位恢复处理后，可以获得从衍射条纹恢复出的细胞图案。我们以恢复出的细胞图案作为神经网络的输入，来获得高分辨率的输出图案。图3为本发明提供的无透镜成像系统的成像效果，如图3所示，图为未经过相干恢复算法处理的原始全息图，用相干算法进行恢复后可以得到原始物体的相位图和强度图。

为此，我们首先需要创建训练有素的gan网络，其训练流程如附图4，具体如下：

首先使用传统的高倍率显微镜获得细胞的几个高分辨率(hr)图像(附图4a，步骤1)。通过再现无透镜成像过程的传递函数的图像降级模型，生成模拟的低分辨率(lr)图像，其图像细节类似于无透镜显微镜采集到的真实实验图像(附图4a，步骤2)。以高分辨图像为目标，以低分辨图像lr模拟为输入，令生成对抗网络(gan)迭代学习从低分辨率图像到其相应的高分辨率目标的映射，直到测试的输出图像质量足够接近光学显微镜能输出的图像分辨率(附图4a，步骤3)。之后，这个训练有素的gan能够对原始无透镜显微镜得到的图像进行超分辨率推断。在实验上，我们的便携式片上设备可以快速捕获培养细胞的无透镜图像(附图4b，步骤1)，然后输入到训练有素的gan网络，以实时效率进行超分辨率恢复(附图4b，步骤2)。该gan网络可以在不到一秒的时间内快速输出超分辨率无镜头图像。因此，这种支持gan的接触图像保持了来自单位放大率测量的大视场，同时恢复了最初由传感器像素离散化所破坏的高分辨率细节。

具体地，图5a为未经过神经网络处理的低分辨图像，图5b为经过神经网络处理后的高分辨图像，对培养皿中的hela细胞选择三个区域进行分阶段观察，分别在开始培养后的3h、6h、9h、12h、15h、18h、21h后进行实时的采样和恢复，得到观察的图像。可以看到，和图5a提供的整体图案相比较，由图5b可知，恢复所得的三个小区块分辨率有明显提高，具体而言已经在亚微米量级。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。