一种基于GPU加速的三维荧光显微图像的去卷积算法的制作方法

本发明属于生物显微镜成像技术领域，具体涉及一种基于GPU加速的三维荧光显微图像的去卷积算法。

背景技术：

现代生命科学是以生命为研究对象，基于对生命现象观察和实验的现代科学体系，所以生物分子动态过程的观察和研究在现代生命科学的研究中占有举足轻重的地位。近几年来，在对动植物体组织、器官以及胚胎等大样本的三维(加上时间，四个维度)成像方面，低光毒性、高成像速度的光片荧光显微成像技术(Light Sheet Fluorescence Microscopy,LSFM)作为一种非入侵性显微成像技术更是受到科学工作者的青睐。

本次研究中实验图像的采集设备为双视角光片照明显微镜(Dual-View Selective Plane Illumination Microscope,diSPIM)，其图像采集由两个相互垂直的显微镜组成，两个显微镜所采集的图像在三维空间上的图像分辨效果优势互补，在后期的图像融合中需充分利用双视角图像各自的优势。

图像去卷积(又称反卷积)处理在光片显微成像后期的显微图像高分辨率还原中具有重要的作用。传统的理查德森露西算法只是针对二维图像的去卷积运算，无法针对三维图像实施有效的去卷积处理。因此，如何将二维的理查德森露西算法改进并应用于三维图像的去卷积运算是一个值得研究的问题。

图像处理器(Graphics Processing Unit,GPU)作为一种专门进行图像运算工作的微处理器如今已经发展成为高度并行，多线程，具有强大运算能力和高存储器带宽的多核处理器。相对于计算机的中央处理器(Central Processing Unit,CPU)，GPU更加适合处理大量数据的并行运算问题。CUDA(Compute Unified Device Architecture)是NVIDIA公司于2006年推出的一种通用并行计算架构，它能够利用NVIDIA公司生产的GPU进行数据并行计算，并且目前已经在生物医学和图像处理等方面具有多种应用。

因此基于GPU加速的三维荧光显微图像的去卷积算法的研究在实时成像的生物医学样本的观察中是一个十分值得研究的内容。

技术实现要素：

为了解决双视角图像去卷积的问题，本发明提供了一种基于GPU加速的三维荧光显微图像的去卷积算法，该算法能够通过GPU运算高速实现双视角光片荧光显微图像的去卷积处理。

一种基于GPU加速的三维荧光显微图像的去卷积算法，具体步骤如下：

(1)采集生物样品视角A、视角B的荧光图像，得到图像矩阵f_A和图像矩阵f_B，并获取每个视角系统的点扩散函数h_A和点扩散函数h_B；

(2)根据每个视角的图像矩阵及每个视角系统的点扩散函数，建立每个视角的成像退化模型：

其中，u为样品的真实荧光图像，表示卷积运算；

(3)对点扩散函数h_A和点扩散函数h_B进行翻转，分别得到翻转矩阵和，并进行傅立叶变换，翻转公式为：

其中i，j，k分别为元素的三维坐标；m，n，l分别为点扩散函数的三维维度大小，且1≤i≤m，1≤j≤n，1≤k≤l；

(4)基于传统的理查德森露西算法，建立迭代方程：

其中u_t为第t次迭代的重建图像，为第t次迭代的中间变量图像；分别为h_A、h_B的翻转矩阵；

(5)采用GPU加速进行迭代去卷积过程，得到样品的真实荧光图像。

步骤(1)于CPU内核中实现，步骤(2～5)于GPU内核中实现；将改进后的三维图像联合去卷积算法采用GPU加速，实现CPU和GPU端的运算，并通过GPU端程序的优化加快去卷积运算的速度。

在步骤(1)中，所述的荧光图像的采集过程中，显微镜的视角A与视角B对荧光标记的生物样品交替进行采集，用三维矩阵表示荧光图像，得到图像矩阵f_A和图像矩阵f_B。

在步骤(1)中，所述的点扩散函数既可以通过对荧光点进行成像获取，也可以基于成像的衍射模型进行理论计算获取，得到视角A系统的点扩散函数h_A和视角B系统的点扩散函数h_B。

在步骤(4)中，对传统的理查德森露西算法改进并将其应用于双视角图像去卷积，然后建立迭代方程。

在步骤(5)中，迭代的初始值u₀的计算方法为：

(5-1)将图像矩阵f_A和图像矩阵f_B以相同的权重进行融合，对视角A、视角B，初始总能量分别为：

其中：E_A、E_B分别为视角A、视角B的总能量，分别为视角A、视角B的图像矩阵中第r元素值，N为图像矩阵中的元素总个数，r为自然数且1≤r≤N；

(5-2)对f_B进行归一化，得到归一化的图像矩阵f_B′，对于f_B′的每一个元素有：

其中q表示任意一个元素，此时则有：

(5-3)设定迭代的初始值u₀：

在步骤(5)中，所述的采用GPU加速实现的迭代过程中涉及的卷积运算均根据卷积定理通过傅立叶变换转化为在频域中作相乘处理；卷积定理具体如下：

其中为卷积运算，F为傅立叶变换，F^-1为傅立叶逆变换。

在步骤(5)中，所述的通过GPU加速实现的迭代过程中涉及的加、减、乘、除运算均在GPU内核中并行实现。

在步骤(5)中，迭代收敛条件可以为预设的最大迭代次数，也可以根据相邻两次迭代结果的差值设定收敛阈值，终止迭代；

相邻两次迭代结果与收敛阈值满足的关系为：

其中：为第t次迭代后的图像矩阵中第j元素值，为第t-1次迭代后的图像矩阵中第r元素值，N为图像矩阵中的元素总个数，ρ为收敛阈值，r为自然数且1≤j≤N。

本发明通过建立光片显微成像技术对于三维荧光样本的成像退化模型，针对光片荧光显微镜成像中图像所服从的泊松分布，选用传统的二维理查德森露西算法加以改进并运用于三维双视角图像的联合去卷积处理中，与此同时，将改进后的三维图像联合去卷积算法采用GPU加速，实现CPU和GPU端的运算，并通过GPU端程序的优化加快去卷积运算的速度。本发明有效地解决了双视角图像去卷积的问题，并且通过GPU快速，使本发明适于对光片荧光显微镜长时间连续成像的大批量数据进行处理。

附图说明

图1为本发明双视角图像处理的流程示意图；

图2为线虫胚胎荧光图像的原始图像视角A下在XY平面投影图；

图3为线虫胚胎荧光图像的原始图像视角B下在YZ平面投影图；

图4为线虫胚胎荧光图像去卷积之后的图像在YZ平面的投影图；

图5为线虫胚胎荧光图像去卷积之后的图像在XZ平面的投影图；

图6为线虫胚胎荧光图像去卷积之后的图像在XY平面的投影图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，本发明基于GPU加速的三维荧光显微图像的去卷积算法，包括如下步骤：

(1)使用双视角光片荧光显微镜采集生物样品视角A的图像矩阵f_A和视角B的图像矩阵f_B；并根据成像的衍射模型计算系统的点扩散函数h_A和点扩散函数h_B。

(2)对点扩散函数h_A和点扩散函数h_B进行如下翻转，分别得到翻转矩阵和并进行傅立叶变换，通过如下两个公式进行翻转过程，

其中i，j，k分别为元素的三维坐标；m，n，l分别为点扩散函数h_s的三维维度大小。

(3)将图像矩阵f_A和图像矩阵f_B以相同的权重进行融合，即根据三维矩阵的总能量(元素总和)进行衡量，使两个视角图像矩阵的总能量相等。对于两个视角，初始总能量分别为：

其中：E_A、E_B分别为视角A、视角B的总能量，分别为视角A、视角B的图像矩阵中第r元素值，N为图像矩阵中的元素总个数，r为自然数且1≤r≤N。

对f_B进行归一化，得到归一化的图像矩阵f_B′，对于f_B′的每一个元素有：

其中q表示任意一个元素，此时则有：

(4)设定迭代的初始值u₀：

(5)对传统的理查德森露西算法改进并将其应用于双视角图像去卷积，建立迭代方程：

u_t为第t次迭代的重建图像，为第t次迭代的中间变量图像。

(6)基于迭代方程和以上的预处理，采用GPU加速开始进行迭代去卷积过程，得到样品的真实荧光图像；

根据相邻两次迭代结果的差值设定收敛阈值，终止迭代；

相邻两次迭代结果与收敛阈值满足的关系为：

其中：为第t次迭代后的图像矩阵中第j元素值，为第t-1次迭代后的图像矩阵中第r元素值，N为图像矩阵中的元素总个数，ρ为收敛阈值，r为自然数且1≤j≤N。

迭代过程中涉及的加、减、乘、除运算均在GPU内核中并行实现。

在具体的实施过程中，本发明整个算法在Ubuntu 14.04LTS(64-bit)系统中测试，其中CPU为Dual-Intel E5-2690(2.6GHz)，主机内存为128GB RAM，显卡型号为NVIDIA M5000(8GB内存)。在编程中，采用CUDA(Compute Unified Device Architecture)平台来进行GPU的编程，平台基于C/C++语言，可以在多个程序开发环境中结合使用。对于傅立叶变换，使用CUDA内置的cuFFT工具包；为了实现卷积运算，在对图像和卷积进行尺度拓展之后，通过调用其中的傅里叶变换函数，将图像和卷积核投射到频域空间，在频域中做相乘之后，再通过傅里叶逆变换函数，返回到空域空间。

为验证本算法对于实验中三维生物荧光显微图像的处理能力，通过上述方法对用BV24标记的秀丽隐杆线虫(Caenorhabditis elegans,C.Elegans)胚胎的细胞核的双视角荧光图像进行联合去卷积处理。数据由diSPIM系统采集，对于各个视角，图像切片的厚度为1μm，在横向上，像素对应的实际大小为0.1625um×0.1625um。每一个视角图像的维度为240×360×40，重建后，图像的尺寸变为240×360×240，图像像素对应的实际尺寸在三个维度方向上都是0.1625um。如图2所示，原始视角A在Z轴方向上的图像比较模糊，而原始视角B在X轴方向上的图像较为模糊，如图3所示。经过本发明的联合去卷积处理后的图像在X、Y、Z三个方向上均有更加清晰，如图4，5，6所示。

同时记录并分析了算法的重建速度，并与在CPU中运行类似算法的时间作对比，结果如表1所示。从表1中可以看出，基于本发明设计的GPU和CPU去卷积程序，GPU相比于CPU对图像进行去卷积处理的速度提升效果是十分明显的，对于选取所的三个图像数据，GPU的去卷积处理速度接近或超过CPU的30倍，而且整体的处理速度倍率随图像数据尺寸增大有增大的趋势。

表1：CPU和GPU的运算时间对比

上述的对具体实施方式的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述具体实施方式做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。