基于卷积神经网络的实时光学层析方法和系统与流程

本发明涉及图像处理技术，尤其是涉及一种基于卷积神经网络的实时光学层析方法及系统。

背景技术：

在使用宽场显微镜对生物样本进行成像时，照明光会照亮视场附近的区域，从而造成光的信号散射。这种散射会影响光学系统采集到的生物样本信号，导致图像质量下降，信噪比降低。

当前，研究者们主要通过三类方法解决这一问题：一是使用共聚焦显微镜和结构光显微镜进行成像以保证图像的质量，因为共聚焦显微镜和结构光显微镜通过阻挡或消除背景光，只保留了焦面上的信号，从而达到光学层析的效果；二是使用光片照明显微镜和多光子显微镜进行成像以保证图像的质量，因为光片照明显微镜和多光子显微镜只激发焦面上的信号，因此抑制了背景信号的产生。三是使用反卷积算法，通过对光学显微镜的点扩散函数进行建模，逆向恢复出没有背景干扰的焦面图像。

前两类方法是从硬件层面上实现光学层析，它们或者需要对同一位置进行多次采集，或者需要进行点扫描，并且所有的样本均是直接通过较精密的光学显微镜成像获得较清楚的光学层析图像。这种方式不仅需要使用较复杂的光学器件，增加了光路的调试难度，而且降低了成像速度。第三类方法是基于软件的光学层析方法，它不需要复杂的光学硬件设施，但是它的缺点在于需要对光学显微镜的点扩散函数进行精确地建模，并且容易产生伪影，对噪声很敏感，图像重建时间很长，无法实时处理。因此，发明一种新的光学层析方法很有必要。

技术实现要素：

本发明的目的在于克服上述技术不足，提出了一种基于卷积神经网络的实时光学层析方法，通过训练轻量型的卷积神经网络，从软件层面上对带有焦外信息干扰的宽场图像实现光学层析。这种方法大大地降低了精密光学器件的使用，减少了繁琐的光学系统的调试过程，节省了人力物力，并且能够实时进行处理，可以用于活体成像中。

为达到上述技术目的，本发明提供的一种基于卷积神经网络的实时光学层析方法，包括如下步骤：

s1搭建卷积神经网络结构：网络分为编码器部分和解码器部分，编码器由四个步长为2的卷积层构成，解码器由与所述编码器对称的四个步长为2的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器被降采样16倍，再经过解码器升采样16倍，最终恢复到原来的尺寸；s2获取对比图像：用宽场显微镜和具有光学层析能力的显微镜拍摄样本，对同一样本获得像素一一对齐的宽场图像和光学层析图像；

s3拆分形成图像对：将所述步骤s2中的宽场图像和所述步骤s2中的光学层析图像进行拆分，拆分后的图像尺寸大小为256×256像素，拆分后的宽场图像与光学层析图像的像素一一对应形成图像对；

s4训练卷积神经网络：设置卷积神经网络的损失函数，用拆分后一一对应的图像对训练所述步骤s1搭建的卷积神经网络，直到所述损失函数收敛，从而获得训练完成的卷积神经网络；

s5重建光学层析图像：采用具有与所述步骤s2中一致的宽场荧光显微镜对新的样本进行拍摄，获得新样本的宽场图像，将新获得的宽场图像根据所述步骤s3中所述的图像尺寸进行拆分，将拆分后的新的宽场图像输入所述步骤s4得到的训练完成的卷积神经网络，最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。

本发明还提供一种基于卷积神经网络的实时光学层析系统，用于实现上述方法，具体的系统包括：

卷积神经网络结构搭建模块，用于将网络分为编码器部分和解码器部分，编码器由四个步长为2的卷积层构成，解码器由与所述编码器对称的四个步长为2的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器被降采样16倍，再经过解码器升采样16倍，最终恢复到原来的尺寸；

获取对比图像模块，用于采用宽场显微镜和具有光学层析能力的显微镜拍摄样本，对同一样本获得像素一一对齐的宽场图像和光学层析图像；

拆分形成图像对模块，用于将所述获取对比图像模块中的宽场图像和所述获取对比图像模块中的光学层析图像进行拆分，拆分后的图像尺寸大小为256×256像素，拆分后的宽场图像与光学层析图像的像素一一对应形成图像对；

训练卷积神经网络模块，用于设置卷积神经网络的损失函数，用拆分后一一对应的图像对训练所述卷积神经网络结构搭建模块搭建的卷积神经网络结构，直到所述损失函数收敛，从而获得训练完成的卷积神经网络；

重建光学层析图像模块，用于和获取对比图像模块相同的宽场显微镜对新的样本进行拍摄，获得新样本的宽场图像，将新获得的宽场图像根据所述拆分形成图像对模块的尺寸进行拆分，将拆分后的新的宽场图像输入所述训练卷积神经网络模块得到的训练完成的卷积神经网络，最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。

附图说明

图1是采用脑作为样本，以脑成像为例对上述实时光学层析方法进行验证的效果图，其中(a)是用宽场显微镜拍摄的某一脑切片的某一位置的宽场图像，(b)是用结构光照明显微镜对(a)中的同一样本拍摄到的清晰焦面图像，(c)是经过本发明提供的基于卷积神经网络的实时光学层析方法对(a)中的图片进行处理后重建得到的光学层析图像，(a)、(b)、(c)三组图像中上面的为标记了神经元的图像，下面的为对胞体进行定位的图像。

图2是利用本发明方法对tdtomato标记的心脏组织样本进行成像的效果图，wf表示宽场显微镜拍摄的图像，sim表示结构光显微镜拍摄的图像，cnn表示经过本发明方法处理后重建的光学层析图像。

图3是利用本发明方法对高尔基染色的的鼠脑组织进行成像的效果图，wf表示宽场显微镜拍摄的图像，sim表示结构光显微镜拍摄的图像，cnn表示经过本发明方法处理后重建的光学层析图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

本实施例中以采用碘化丙啶染色的转基因标记荧光鼠脑组织的脑片作为样本来对本发明提供的一种基于卷积神经网络的实时光学层析方法进行验证，包括如下步骤：

s1搭建卷积神经网络结构：网络分为编码器部分和解码器部分，编码器由四个步长为2的卷积层构成，解码器由与所述编码器对称的四个步长为2的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器被降采样16倍，再经过解码器升采样16倍，最终恢复到原来的尺寸；

s2获取对比图像：用宽场显微镜和结构光照明显微镜拍摄样本，对同一样本获得像素一一对齐的宽场图像和光学层析图像，均为像素大小为1024×1024的图像；

s3拆分形成图像对：将所述步骤s2中的宽场图像和所述步骤s2中的光学层析图像进行拆分，拆分后得到16个图像尺寸大小为256×256像素的图像，拆分后的宽场图像与光学层析图像的像素一一对应形成图像对；

s4训练卷积神经网络：设置卷积神经网络的损失函数，用拆分后一一对应的图像对训练所述步骤s1搭建的神经网络，直到所述损失函数收敛，从而获得训练完成的卷积神经网络；

s5重建光学层析图像：采用具有与所述步骤s2中一致的宽场荧光显微镜对新的样本进行拍摄，获得新样本的宽场图像，将新获得的宽场图像根据所述步骤s3中所述的图像尺寸进行拆分，将拆分后的新的宽场图像输入所述步骤s4得到的训练完成的卷积神经网络，最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。

本发明所提供的一种基于卷积神经网络的实时光学层析方法，首先搭建轻量级的卷积神经网络结构，然后通过光学显微镜获得一定数量的图像像素一一对齐的宽场图像与层析图像，通过拆分上述宽场图像与层析图像获得的图像对来训练搭建好的卷积神经网络从而获得训练完成的卷积神经网络。然后对于要获得新的光学层析图像时，不用再采用具有光学层析能力的显微镜，而只用采用简单的宽场荧光显微镜即可。将拍摄的宽场图像经过拆分后，输入训练完成的卷积神经网络中即可重建得到相应的光学层析图像，该方法大大地降低了精密光学器件的使用，减少了繁琐的光学系统的调试过程，并且具有实时处理的能力。

进一步地，为了训练步骤s1所述的卷积神经网络，所述步骤s3中经过拆分后的宽场图像与光学层析图像对设置为4000对。该图像对训练的时间为62min。

进一步地，若所述步骤s2中对同一样本直接拍摄得到的宽场图像和光学层析图像的像素不满足一一对齐，则利用配准算法将二者配准到同一平面上。为了保证通过卷积神经网络重建得到的层析图像的准确性，则需要保证用于对神经网络结构进行训练的图片对的像素一一对齐。

进一步地，所述步骤s3还包括将图像对的顺序打乱。打乱图像对的顺序使得训练完成的神经网络更加智能化，使得后期通过神经网络学习获得的光学层析图像更准确。

进一步地，所述步骤s3中拆分后的图像尺寸最好设置为256×256，这个与s1所述的卷积神经网络的感受野相接近，能够获得较好的重建效果。

进一步地，所述步骤s4中“用拆分后一一对应的图像对训练所述步骤s1搭建的卷积神经网络结构”的具体方法为采用监督学习的方法进行训练，并利用反向传播算法进行网络参数的调整。该方法保证了训练卷积神经网络结构的可实现性。

本发明中的样本选用脑，以脑成像为例对上述实时光学层析方法进行验证，如图1所示，其中，(a)是用宽场显微镜拍摄的某一脑切片的某一位置的宽场图像，(b)是用结构光照明显微镜对(a)中的同一样本拍摄到的清晰焦面图像，(c)是经过本发明提供的基于卷积神经网络的实时光学层析方法对(a)中的图片进行处理后重建得到的光学层析图像。直观地通过肉眼对比这三组图的清晰度可以看出，(a)的清晰度比(b)、(c)都要差，但(b)、(c)的清晰度差不多。另外，我们采用归一化均方根误差、结构相似性指标和二维相关性来定量评定重建结果的准确性。经过神经网络输出后的图像与真实光学层析显微镜拍摄的图像之间的归一化均方根误差、结构相似性指标和二维相关性分别为0.0181、0.9169和0.8803。这说明重建的结果和真实显微镜拍摄的图像是基本一致的。利用该方法，可以保证在宽场成像高通量的前提下，大大简化光路的结构，节省了人力和财力。由于网络采用编码器和解码器的u型对称结构，网络的参数比传统的深层残差卷积神经网络要少，输出图像的时间会加快。而且因为网络结构中有对称的降采样和升采样部分，因此输入的图像块的尺寸可以更大，网络输入和输出的图像尺寸均为256×256像素的图像块，重建图像时需要拆分的图像块数目较少，进一步缩短了图像重建的时间。对于按照步骤s1-s4训练完成的卷积神经网络，按照步骤s5重新对一张1024×1024像素大小的宽场图像进行重新建，首先按步骤s3所述的方法将待处理的宽场图像拆分成16个256×256像素的图像块，然后将这16个图像块输入所述步骤s4得到的训练完成的卷积神经网络，最后将卷积神经网络输出的图像按顺序拼接得到上述1024×1024像素大小的宽场图像的重建的光学层析图像。将一张1024×1024像素大小的宽场图像通过训练完成的卷积神经网络进行重建获得光学层析图像的时间大约为0.07s，可以达到1秒15帧的视频速率，有希望应用于活体成像中。

实施例2

作为另一个实施例，我们将实施例1中所述步骤s3中经过拆分后的宽场图像与光学层析图像对设置为2000对，其他步骤与参数均一致，对本发明的光学层析方法进一步验证。该图像对训练的时间为33min。

对于图像重建的结果，我们仍然采用归一化均方根误差、结构相似性指标和二维相关性来定量评定重建结果的准确性。经过神经网络输出后的图像与真实光学层析显微镜拍摄的图像之间的归一化均方根误差、结构相似性指标和二维相关性分别为0.0237，0.8814，0.8637。这说明重建的结果和真实显微镜拍摄的图像是基本一致的。

实施例3

作为再一个实施例，我们将实施例1中所述步骤s3中经过拆分后的宽场图像与光学层析图像对设置为5000对，其他步骤与参数均一致，对本发明的光学层析方法进一步验证。该图像对训练的时间为76min。

对于图像重建的结果，我们仍然采用归一化均方根误差、结构相似性指标和二维相关性来定量评定重建结果的准确性。经过神经网络输出后的图像与真实光学层析显微镜拍摄的图像之间的归一化均方根误差、结构相似性指标和二维相关性分别为0.0174，0.9206和0.8829。这说明重建的结果和真实显微镜拍摄的图像是基本一致的。

从上述结果可看出，将图像对设置在2000-5000对这个范围，既保证了时间上不会花费太久，也保证了重建图像的质量。

实施例4

为了说明本发明方法并不限于某种特定的样本，对tdtomato标记的心脏组织做了同样的测试。所有步骤和参数与实施例1一致。结果如图2所示，其中wf为宽场显微镜拍摄的图像，由于背景荧光的干扰，可以看到宽场显微镜拍摄的图像对比度不高，图像的细节不清楚。sim表示使用结构光显微镜拍摄的图像，结构光显微镜是一种具有光学层析能力的显微镜，它能够去除掉焦外背景荧光的干扰，提升图像的对比度和锐利度。cnn表示使用本发明方法，通过卷积神经网络恢复的图像，可以看到利用卷积神经网络算法恢复的图像和真实光学层析显微镜拍摄的图像质量是相当的。进一步计算了神经网络输出后的图像与真实光学层析显微镜拍摄的图像之间的归一化均方根误差、结构相似性指标和二维相关性，它们分别为0.0233，0.9188和0.9034。从定量分析的角度也说明重建的结果和真实显微镜拍摄的图像是基本一致的。因此本发明方法是可以作为一种稳定可靠的方法来代替光学层析显微镜。

实施例5

为了更进一步说明本发明方法并不限于某种特定的样本，对高尔基染色的鼠脑组织做了同样的测试。所有步骤和参数与实施例1一致。结果如图3所示，其中wf为宽场显微镜拍摄的图像，由于背景亮度很高，宽场显微镜拍摄的图像质量很差。sim表示使用结构光显微镜拍摄的图像，利用具有光学层析能力的显微镜拍摄的图像对比度提升很大，图像清晰度得到了提升。cnn表示使用本发明方法，通过卷积神经网络恢复的图像，可以看到利用卷积神经网络算法恢复的图像和真实光学层析显微镜拍摄的图像质量是基本相同的，都明显去除了背景干扰，提升了图像清晰度和对比度。进一步计算了神经网络输出后的图像与真实光学层析显微镜拍摄的图像之间的归一化均方根误差、结构相似性指标和二维相关性，它们分别为0.0245，0.9032和0.8912。从定量分析的角度也说明重建的结果和真实显微镜拍摄的图像是基本一致的。因此本发明方法是可以作为一种稳定可靠的方法来代替光学层析显微镜。

本发明为完成上述基于卷积神经网络的实时光学层析方法，还提供一种基于卷积神经网络的实时光学层析系统，具体的系统包括：

卷积神经网络结构搭建模块，用于将网络分为编码器部分和解码器部分，编码器由四个步长为2的卷积层构成，解码器由与所述编码器对称的四个步长为2的反卷积层构成，且在每个编码器和解码器之间有跳跃连接，以使图像先经过编码器被降采样16倍，再经过解码器升采样16倍，最终恢复到原来的尺寸；

获取对比图像模块，用于采用宽场显微镜和具有光学层析能力的显微镜拍摄样本，对同一样本获得像素一一对齐的宽场图像和光学层析图像；

拆分形成图像对模块，用于将所述获取对比图像模块中的宽场图像和所述获取对比图像模块中的光学层析图像进行拆分，拆分后的图像尺寸大小为256×256像素，拆分后的宽场图像与光学层析图像的像素一一对应形成图像对；

训练卷积神经网络模块，用于设置卷积神经网络的损失函数，用拆分后一一对应的图像对训练所述卷积神经网络结构搭建模块搭建的卷积神经网络结构，直到所述损失函数收敛，从而获得训练完成的卷积神经网络；

重建光学层析图像模块，用于和获取对比图像模块相同的宽场显微镜对新的样本进行拍摄，获得新样本的宽场图像，将新获得的宽场图像经过所述拆分形成图像对模块拆分后输入所述训练卷积神经网络模块得到的训练完成的卷积神经网络，最后将卷积神经网络输出的图像进行拼接得到所述新样本的重建的光学层析图像。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。