本发明涉及显微成像、计算机视觉、深度学习领域，尤其涉及一种基于深度学习算法的新型fpm高分辨率彩色图像重建方法。
背景技术：
傅里叶叠层成像技术(fourierptychographicmicroscopy，fpm)是一种新兴的计算成像技术，该技术可有效地解决传统显微成像领域中高分辨率和大视场不可兼得的问题。它是基于显微镜平台采集不同角度led光照下样品的低分辨率图像，不同角度光照下所得到的低分辨率图像对应频域的不同频谱信息，然后利用相位恢复和合成孔径的思想将这一系列低分辨率图像在频域里迭代，扩展了频域带宽并最终恢复出样品的高分辨、大视场图像。它既不需要精密的干涉装置也不用精确的机械扫描驱动，装置简单、操作方便。这使得它在三维成像、量化相位成像、自适应成像、高分辨率宏观成像、彩色成像等领域得到了广泛的潜在应用。
黑白fpm实现彩色成像需要分别采集红绿蓝二维led阵列上红(r)、绿(g)、蓝(b)三种led照射下样品的低分辨率图像，进行高分辨率单色图像重建，再合成为高分辨率彩色图像，该方法需要的数据量大，数据采集时间长。基于信息复用思想的fpm技术是同时点亮一个led模块上的r、g、b三个led，形成波长复合的白光照明样品，并用单色相机采集白光照射下的一组低分辨率图像，然后分别恢复三通道的高分辨率图，进而合成高分辨率彩色图像。相比于分别采集r、g、b三组二维led照明下的低分辨率图像，信息复用的fpm技术，数据量可减少2/3，可减少数据采集时间，但是由于是用同一组低分辨率图像来恢复r、g、b三通道高分辨率图像，每个通道高分辨率图像大约都收敛到同一个值，这将导致恢复的高分辨率彩色图像产生偏色的问题。然而在数字病理学和生物医学成像领域，彩色信息非常重要，特别是在临床诊断和细胞分类应用中。因此，寻找数据量小、采集时间短，并可获得无偏色的高分辨率彩色图像的方法非常必要。
技术实现要素：
本发明目的是解决fpm技术在恢复高分辨率彩色图像时存在的偏色的问题，提供一种基于深度学习算法的fpm高分辨率彩色图像重建方法。
一种基于深度学习算法的fpm高分辨率彩色图像重建方法，所述的fpm高分辨率彩色图像重建方法的成像系统包括依次沿光轴设置的：r、g、b三色二维led可编程阵列、样品台、显微物镜、镜筒、单色ccd或cmos相机，以及与单色ccd或cmos相机连接的计算机。其中r、g、b三色二维led可编程阵列与计算机连接作为显微成像系统的光源，计算机用于数据采集，r、g、b三色二维led可编程阵列控制及数据处理。
所述的基于深度学习算法的fpm高分辨率彩色图像重建方法是把深度学习算法与fpm恢复算法相结合来重建高分辨率彩色图像的方法，其中深度学习算法是多层人工神经网络的训练和学习过程，多层人工神经网络采用深度全卷积人工神经网络。
该方法包括以下步骤：
(1)分别采集r、g、b三色led二维阵列中中心位置r、g、b照明下样品的三个低分辨率图像，获得低分辨率彩色图像；
(2)任选一个颜色的二维led阵列，采集这个颜色不同位置led照射下样品的低分辨率图像，并利用fpm常规的重建算法恢复该颜色通道对应的样品的高分辨率单色图像。
(3)对步骤(1)获得的低分辨率彩色图像进行主成分分解，并将主成分降维，以降低分辨率；对步骤(2)恢复的高分辨率单色图像进行下采样，与降低分辨率的主成分图像进行组合；
(4)输入多层人工神经网络，并以低分辨率彩色图像未降低分辨率的主成分图像作为训练目标，训练多层人工神经网络；
(5)高分辨率彩色图像重建时，扩展低分辨率彩色图像的主成分图像，然后与恢复的高分辨率单色图像一并输入多层人工神经网络预测主成分，利用得到的预测主成分计算获得高分辨率彩色图像。
所述的深度全卷积人工神经网络具体部署如下：
(1)将输入数据进行数据扩充，三个维度分别补0；
(2)第一卷积层，使用32个3*3*3的卷积核；
(3)激活函数层，使用线性整流(rectifiedlinearunit,relu)函数；
(4)高斯噪声层，均值为0，方差为0.5；
(5)数据扩充，三个维度分别补0；
(6)第二卷积层，使用64个3*3*3的卷积核；
(7)激活函数层，使用线性整流(rectifiedlinearunit,relu)函数；
(8)高斯噪声层，均值为0，方差为0.5；
(9)输出层，使用2个1*1*1的卷积核。
本发明的优点和有益效果：
本发明利用深度学习算法优势，设计完善fpm高分辨率彩色图像重建方法，使得fpm成像系统采用单色相机(即成像传感器ccd或cmos)，降低了成本；由于只需要采集单一颜色的二维led阵列不同位置照明下的低分辨图像，使得采集的图像数量和采集时间均可减少约三分之二；利用深度学习算法进行低分辨率彩色图像和高分辨率单色图像进行有效融合，解决了fpm技术在恢复高分辨彩色图像时存在的偏色问题。
附图说明
图1是高分辨率彩色图像重建方法流程图。
图2是人工神经网络处理流程图。
图3是lena图像的高分辨率彩色图像的模拟结果；其中，(a)为初始图i_ori；(b)为绿光正入射照明下的低分辨率图i_low-g；(c)为重建的绿色通道高分辨率图i_recons-g；(d)为红光正入射照明下的低分辨率图i_low-r；(e)为蓝光正入射照明下的低分辨率图i_low-b；(f)为低分辨率彩色图i_multi-low；(g)为基于深度学习算法和fpm重建的高分辨率彩色图i_multi-high；(h)为按照常规fpm方法获得的高分辨率彩色图i_fpm-high。
图4是实际采集的细胞切片高分辨率彩色图像；其中，(a)为led阵列中红色led中心位置照射细胞切片得到的低分辨率图i_lr；(b)为led阵列中绿色led中心位置照射细胞切片得到的低分辨率图i_lg；(c)为led阵列中蓝色led中心位置照射细胞切片得到的低分辨率图i_lb；(d)为三色合成的低分辨率彩色图；(e)为按照fpm常规方法重建的绿色照明下的高分辨率单色图i_hg；(f)为基于深度学习算法和fpm重建的高分辨率彩色图i_high；(g)为采用常规的彩色fpm方法获得高分辨率彩色图像。
图5是彩色fpm成像系统图。
图中，1、r、g、b三色二维led可编程阵列，2、显微物镜，3、镜筒，4、单色ccd或cmos相机，5、计算机，6、被测样品，7、样品台。其中计算机5用数据线连接二维led可编程阵列1和单色ccd或cmos相机4进行数据采集、数据处理与控制。
图6是r、g、b三色二维led可编程阵列示意图；图中，8是二维led阵列上的其中一个led模块(里面包含有r、g、b三个led)。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1：
一种基于深度学习算法的fpm高分辨率彩色图像重建方法，如附图3所示，说明本发明的高分辨彩色图像模拟重建的过程。以标准图像lena图为模拟示例，如图3(a)为初始图i_ori。
(1)从初始图中取出绿色通道，并进行降采样，得到不同角度入射绿光照明下的低分辨率序列图i_seq-g，其中第113张为绿光正入射照明下的低分辨率图，图像设为i_low-g，如图3(b)所示；
(2)对序列图i_seq-g按照fpm方法重建的绿色通道高分辨率图i_recons-g，如图3(c)所示；
(3)从i_ori中取出红色通道，并进行降采样，得到不同角度入射红光照明下的低分辨率序列图i_seq-r，从中取出第113张图，得到红光正入射照明下的低分辨率图i_low-r，如图3(d)所示；
(4)从i_ori中取出蓝色通道，并进行降采样，得到不同角度入射蓝光照明下的低分辨率序列图i_seq-b，从中取出第113张图，得到蓝光正入射照明下的低分辨率图i_low-b，如图3(e)所示；
(5)将i_low-r，i_low-g，i_low-b合成为彩色低分辨率图i_multi-low，如图3(f)所示；对这个低分辨图进行主成分分解得到i_pc，并将主成分的分辨率降低，得到i_pc-low；
(6)对i_recons-g进行下采样，得到i_recons-low，与i_pc-low组合，输入人工神经网络，并将i_pc作为训练目标，训练人工神经网络；
(7)如图2所示，该人工神经网络具体部署如下：
(7-1)将输入数据进行数据扩充，三个维度分别补0；
(7-2)第一卷积层，使用32个3*3*3的卷积核；
(7-3)激活函数层，使用线性整流(rectifiedlinearunit,relu)函数；
(7-4)高斯噪声层，均值为0，方差为0.5；
(7-5)数据扩充，三个维度分别补0；
(7-6)第二卷积层，使用64个3*3*3的卷积核；
(7-7)激活函数层，使用线性整流(rectifiedlinearunit,relu)函数；
(7-8)高斯噪声层，均值为0，方差为0.5；
(7-9)输出层，使用2个1*1*1的卷积核。
(8)将i_pc扩展图像尺寸，与i_recons-g一并输入人工神经网络，得到预测主成分i_pc-pred，计算重建的高分辨率彩色图i_multi-high，如图3(g)所示。
图3(h)为i_ori按照常规彩色fpm方法获得的高分辨率彩色图i_fpm-high。
本发明采用均方误差rmse评价恢复的结果，
其中，图3(g)与图3(a)的rmse为0.0191，而图3(h)与图3(a)的rmse为0.1243。评价指标表明图3(g)相较于图3(h)与图3(a)更为相近，从图3(g)我们看出本发明的方法在恢复高分辨率图像的同时，具有与图3(a)更匹配的色彩分布。虽然常规的彩色fpm方法能够继承单色fpm方法使恢复图具有高分辨率的特点，但由于原理限制，不同的颜色通道之间具有混叠，颜色信息存在错误，导致图3(h)的直观视觉感受明显差于本发明的方法。
实施例2：
一种基于深度学习算法的fpm高分辨率彩色图像重建方法，如附图4所示，以百合子房的横切切片为样品的实验示例说明图像采集和高分辨彩色图像重建过程。
采用的fpm高分辨率彩色图像重建方法的成像系统包括依次沿光轴设置的：r、g、b三色二维led可编程阵列1、样品台2、显微物镜3、镜筒4、单色ccd或cmos相机5，以及与单色ccd或cmos相机连接的计算机5(参见图5)。其中r、g、b三色二维led可编程阵列与计算机连接作为显微成像系统的光源，该led阵列受计算机控制可单独点亮其中不同位置、不同颜色的led；计算机用于数据采集，r、g、b三色二维led可编程阵列控制及数据处理。重建系统使用单色灰度相机，采用fpm恢复算法与全卷积多层人工神经网络相结合的方法恢复高分辨率彩色图像。图6(8)所指的是r、g、b三色二维led可编程阵列中的其中一个rgb三色led。步骤如下：
(1)分别点亮中心位置的红、绿、蓝三色led，得到中心位置的三种不同颜色led照明下的样品低分辨率图，分别为i_lr，i_lg，i_lb，如图4(a)、图4(b)和图4(c)所示，三色合成的低分辨率彩色图如图4(d)所示；
(2)采集绿色led阵列不同位置照射下样品的低分辨率图，按照fpm常规方法重建绿色照明下的高分辨率单色图i_hg，如图4(e)所示；
(3)将三种不同颜色的低分辨率图i_lr，i_lg，i_lb与绿光下的高分辨率图i_hg(具体方法及步骤同实施例1，此处略)，得到高分辨率彩色图i_high，如图4(f)。
逐个点亮r、g、b三色led阵列照射样品，分别获得样品的三色低分辨率图，采用常规的fpm方法获得高分辨率彩色图像，如图4(g)。对照图4(f)和图4(d)、图4(g)和图4(d)，可以看出，使用常规fpm方法恢复的高分辨率彩色图像(图4(g))，其色彩与图4(d)有明显的偏离。而采用本发明所述方法得到的结果(图4(f))则保持了正确的颜色，本发明在获得高分辨率图像的同时保持了正确的颜色。同时，相比于常规fpm需要采集r、g、b三色led阵列所有位置照射的低分辨图来说，本发明只需采集一个颜色通道所有位置的低分辨图和另外两个颜色通道中心位置照明的低分辨图，采集图像的时间和采集的图像数据量大约减小了三分之二。
本发明基于深度学习算法的新型fpm高分辨率彩色图像重建方法采用的系统装置如图5所示，彩色傅里叶叠层成像系统包括：r、g、b三色二维led可编程阵列(1)、显微物镜(2)、镜筒(3)、单色ccd或cmos相机(4)及计算机(5)，被测样品(6)置于样品台(7)上。其中，led可编程阵列作为显微成像系统的光源，该led阵列受计算机控制可单独点亮其中不同位置、不同颜色的led；计算机用于数据采集、led阵列控制及数据处理。重建系统使用单色灰度相机，借助深度学习算法重建高分辨率彩色图像。图6中(8)所指的是r、g、b三色二维led可编程阵列中的其中一个rgb三色led。
本发明利用深度学习算法优势，设计完善新型的fpm高分辨率彩色图像重建方法。有效减少数据采集时间的同时，利用深度学习算法有效地解决了fpm技术在恢复高分辨率彩色图像时存在的偏色问题。
本领域技术人员可以理解所诉只是一个优选实施例，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。