一种基于非线性优化的fpm算法的图像超分辨率重建方法
【技术领域】
[0001] 本发明属于显微成像、计算机视觉、计算机图形学领域，尤其是立体图形学领域， 特别涉及一种基于非线性优化的FPM算法的图像超分辨率重建方法。 技术背景
[0002] Fourier ptychographic microscopy(FPM)是一种基于显微镜平台的图像超分辨 率重建的方法，可以有效克服空间带宽积（space bandwidth product)受限的矛盾问题。常 见的光学成像平台都会受到空间带宽积的限制，即如果观察的视野范围比较广，则观测物 体的放大倍数就会偏小；反之，如果观测物体的放大倍数比较大，则视野的范围就会缩小。 而FPM算法很好地解决了这一问题，让我们能够获取广视野、高分辨率的图像，由此，突破 了光学成像系统的物理极限。
[0003] 非线性优化方法是指当目标函数为非线性函数时，求解模型最优解的方法。在信 息论、图像处理、光学成像和模式识别等领域，需要解决的实际问题往往可以通过数学建模 而转化为求解目标函数的最优解的数学问题。而常见的目标函数往往是非线性函数，因此， 在解决实际问题的时候我们往往要考虑利用非线性优化方法求解模型最优解。
【发明内容】
[0004] 本发明的目的在于提供一种基于非线性优化的FPM算法的图像超分辨率重建方 法。
[0005] 本发明提供的基于非线性优化的FPM算法的图像超分辨率重建方法包括以下步 骤：
[0006] (1)控制LED阵列中LED灯逐点发光产生不同角度的光照，FPM平台选择当前LED 对应的曝光时间采集不同角度的光照下的低分辨率图像I1 (X，y);
[0007] (2)基于不同角度的光照下所得到的图像其实是正射下的图像在频域进行偏移得 到的特点，对采集到的所述低分辨率图像I 1Uy)建立约束：
[0008]
[0009]
[0010] 其中，（X，y)表示空间域的坐标，（u, V)表示频域的坐标，H(u, V)为图像频谱的重 建结果,C1为提取矩阵，Cf:是矩阵C1的转置，ε i表示重建的图像和采集的第i个低分辨率 图像之间的偏差，S为一个大于〇小于101°的常数，γ是一个实常数；
[0011] 基于该约束，定义图像频谱的重建结果H(u，V)和采集的第i个低分辨率图像之间 的总偏差： CN 105139361 A 仇 口月巾 2/4 页
[0012]
[0013] 其中，L表示被使用的LED灯的数量；
[0014] (3)通过对所述总偏差求导得到相对应的梯度值，利用梯度下降算法，通过迭代的 方法求解得到总偏差最小的H (u, V)。
[0015] 优选地，所述FPM平台包括显微镜，所述显微镜设置有成像装置，所述显微镜的光 源采用可编程的LED阵列，所述LED阵列的相邻两个LED之间的距离为4_，所述LED阵列 与载物台之间的距离为6~12cm。
[0016] 优选地，采用以下方法确定所述曝光时间：
[0017] 首先，确定中心LED的位置：固定一个曝光时间，LED阵列上的LED灯逐点发光，用 所述FPM平台中的成像装置采集每一张图像，计算图像的亮度分布，估计中心LED的位置， 所述中心LED为样本正下方的LED ;
[0018] 然后，确定曝光时间：主要的原则是在保证采集到的图像不存在过曝光的现象的 前提下，曝光时间尽可能选择长的。
[0019] 优选地，所述步骤（2)中δ的取值为10 2°。
[0020] 本发明的优点在于充分利用了非线性优化方法的优势，将原有的FPM算法进行了 数学建模，将频域迭代的方法抽象成求解非线性函数得最优解的问题，从一个新的角度来 解决图像超分辨率重建问题，提高了算法的重建效果。
【具体实施方式】
[0021] 下面结合实施例对本发明进一步说明。
[0022] 以下实施例使用的FPM平台该FPM平台包括显微镜，显微镜设置有相机（即成像 装置），显微镜的光源采用可编程的LED阵列，LED阵列的规模为32X32, LED阵列的相邻两 个LED之间的距离为4mm，LED阵列与载物台之间的距离一般选择6~12cm，本例中选择 8cm。该FPM平台主要是基于显微镜，相比于传统显微镜，在光源位置放置了一个可编程LED 阵列来代替原有的光源。
[0023] 在一些实施例中，基于非线性优化的FPM算法的图像超分辨率重建方法包括以下 步骤：
[0024] (1)用FPM平台采集不同角度的光照下的低分辨率图像I1U, y):
[0025] 利用计算机控制LED阵列的发光和相机的图像采集：
[0026] i.首先校准LED的位置，确定采集过程中相机的曝光时间。一种较佳方法如下：
[0027] ①确定样本正下方的LED(即中心LED)的位置：固定一个曝光时间，LED阵列上的 LED灯逐点发光，用相机采集每一张图像，计算图像的亮度分布，估计中心LED的位置。
[0028] ②确定成像装置的曝光时间：主要的原则是曝光时间尽可能选择长的，但是一定 保证采集到的图像不存在过曝光的现象。
[0029] ii .采集低分辨率图像：用计算机控制LED阵列中LED灯逐点发光，同时相机选取 对应的曝光时间来采集图像。
[0030] (2)数学模型
[0031] FPM算法是基于一个假设：不同角度的光照下所得到的图像其实是正射下的图像 在频域（即傅里叶域）进行偏移得到的。基于该假设，可以得到图像间存在的关系：
[0032]
[0033] 其中，g(x, y)表示空间域的图像，G(u, V)表示傅里叶域的图像，（本文中定义小写 字母g表示空间域的结果，大写字母G表示傅里叶域的结果），M、N表示图像的尺寸，u。、V。 表示偏移量。图像的傅里叶变换满足二维离散傅里叶变换：
[0034]
[0035] 图像的傅里叶逆变换则满足二维离散傅里叶逆变换：
[0036]
[0037] 假设对于重建的图像的估计为H(u，v)，则对于每一张采集到的低分辨率图像 I1(Xj),可以建议以下约束：
[0038]
[0039]
[0040] 其中（X，y)表示空间域的坐标，（u, V)表示频域的坐标，H(u, V)为图像频谱的重建 结果，C1为提取矩阵，即从MXN(恢复结果）的矩阵中提取mXn(采集图像）的矩阵。Cf: 是矩阵C1的转置，ε i表示重建的图像和采集的第i个低分辨率图像之间的偏差，δ为一 个大于〇小于10 的常数（本例中取值为10 2°)，γ是一个实常数。
[0041] 基于上述约束，可以根据非线性优化方法求解最优问题的优化问题，也即定义图 像频谱的重建结果H(u，V)和采集的第i个低分辨率图像之间的总偏差为：
[0042]
[0043] 其中，L表示被使用的LED灯的数量；
[0044] (3)求解数学模型：
[0045] 通过对总偏差求导，可以得到相对应的梯度值，利用梯度下降算法，通过迭代的方 法求解得到使得总偏差最小的H(u，V)(即最终重建的高分辨图像）。
[0046] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定 本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱 离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应 当视为属于本发明的保护范围。
【主权项】
1. 一种基于非线性优化的FPM算法的图像超分辨率重建方法，其特征在于，包括以下 步骤： (1) 控制LED阵列中LED灯逐点发光产生不同角度的光照，FPM平台选择当前LED对应 的曝光时间采集不同角度的光照下的低分辨率图像I 1 (x，y); (2) 基于不同角度的光照下所得到的图像其实是正射下的图像在频域进行偏移得到的 特点，对采集到的所述低分辨率图像I1U, y)建立约束：其中，（x，y)表示空间域的坐标，（u，v)表示频域的坐标，H(u，v)为图像频谱的重建结 果，C1为提取矩阵，Cf是矩阵C1的转置，e i表示重建的图像和采集的第i个低分辨率图像 之间的偏差，S为一个大于〇小于101°的常数，Y是一个实常数； 基于该约束，定义图像频谱的重建结果H(u，V)和采集的第i个低分辨率图像之间的总 偏差：其中，L表示被使用的LED灯的数量； (3) 通过对所述总偏差求导得到相对应的梯度值，利用梯度下降算法，通过迭代的方法 求解得到总偏差最小的H (u,V)。2. 根据权利要求1所述的基于非线性优化的FPM算法的图像超分辨率重建方法，其特 征在于，所述FPM平台包括显微镜，所述显微镜设置有成像装置，所述显微镜的光源采用可 编程的LED阵列，所述LED阵列的相邻两个LED之间的距离为4mm，所述LED阵列与载物台 之间的距离为6~12cm。3. 根据权利要求1所述的基于非线性优化的FPM算法的图像超分辨率重建方法，其特 征在于，采用以下方法确定所述曝光时间： 首先，确定中心LED的位置：固定一个曝光时间，LED阵列上的LED灯逐点发光，用所述 FPM平台中的成像装置采集每一张图像，计算图像的亮度分布，估计中心LED的位置，所述 中心LED为样本正下方的LED ; 然后，确定曝光时间：主要的原则是在保证采集到的图像不存在过曝光的现象的前提 下，曝光时间尽可能选择长的。4. 根据权利要求1所述的基于非线性优化的FPM算法的图像超分辨率重建方法，其特 征在于，所述步骤（2)中S的取值为10 2°。
【专利摘要】本发明提供一种基于非线性优化的FPM算法的图像超分辨率重建方法，包括以下步骤：(1)控制LED阵列中LED逐点发光，FPM平台采集不同光照下的低分辨率图像；(2)基于不同角度光照下所得到的图像其实是正射下的图像在频域进行偏移得到的特点，对采集到的低分辨率图像建立约束，基于该约束，定义重建结果和采集的图像之间的总偏差；(3)对总偏差求导得到相对应的梯度值，利用梯度下降算法，迭代求解得到总偏差最小的重建结果。本发明充分利用了非线性优化方法的优势，将原有的FPM算法进行了数学建模，将频域迭代的方法抽象成求解非线性函数得最优解的问题，从一个新的角度来解决图像超分辨率重建问题，提高了算法的重建效果。
【IPC分类】G06T5/00
【公开号】CN105139361
【申请号】CN201510599249
【发明人】张永兵, 蒋伟鑫, 王好谦, 王兴政, 戴琼海
【申请人】清华大学深圳研究生院
【公开日】2015年12月9日
【申请日】2015年9月18日