一种基于群组稀疏处理的图像超分辨率处理方法与流程

本发明主要属于显微成像领域，特别是涉及一种基于群组稀疏处理的图像超分辨率处理方法。

背景技术：

FPM(Fourier Ptychography Microscopy)是一种新兴的突破传统光学系统在空间带宽积(空间带宽积决定了图像最低必须分辨的像素数，限定图像要在分辨率和视野范围间做取舍与权衡)方面限制的计算成像方法，它利用不同角度光照条件下采集的低分辨率图像迭代组合生成了兼具宽领域与高分辨率的图像。FPM融合了相位恢复原理与合成孔径思想，在每个相干光源的光照角度，FPM记录了通过低数字孔径的物镜镜头的低分辨率采样图像，物镜的相干传递函数在频域施加了一个严格的约束：此约束在频域的移动直接反应了相关光光照角度的变化；FPM交替地限定幅值与采集的低分辨率图像序列幅值匹配和限定频谱与移动的Fourier约束匹配从而得到了一个高分辨率的图像。FPM相对于其他可获得高空间带宽积的方法简单易调整操作，且成本低廉(在原有设备基础上仅需添加一个可编程控制点亮顺序的LED矩阵)，效果稳定。

不同于传统的分块稀疏图像重建方法，群组稀疏图像表示重建法将图像的固有局域稀疏性和全域相似性结合，在重建图像质量得到保证的同时算法复杂度与计算量上均有明显下降。

传统的FPM算法是利用相位恢复原理与合成孔径思想，将实验采集到的不同光照条件下的低分辨率图像通过迭代获得高分辨率图像，在充分利用每张低分辨率图像信息的同时也将实验过程中不同LED亮度不均匀、合成孔径存在相差等低分辨率图像采集过程的误差引入了最终恢复的高分辨率图像矩阵中。

技术实现要素：

本发明的主要目的在于针对现有技术的不足，提供一种基于群组稀疏处理的图像超分辨率处理方法。

为实现上述目的，本发明采用以下技术方案：

一种基于群组稀疏处理的图像超分辨率处理方法，包括以下步骤：

A1:利用FPM平台成像装置获取由LED阵列中不同LED灯逐个点亮所获得的不同角度光照下对应的低分辨率图像g_i(x,y)；

A2：不同角度光照条件下所获得的低分辨率图像对应该样本原始图像在频域上的偏移，由所述低分辨率图像通过迭代以及在实域与频域的约束条件得到对应样本的高分辨率图像S_g；

A3：获取所述高分辨率图像的幅值矩阵，将其进行分块，根据块的相似性建立群组字典，在根据字典的图像重构过程中加入稀疏约束，得到经过稀疏处理的高分辨率图像幅值矩阵Z_gam；

A4：将Z_gam乘以之前的相位矩阵Z_gph，得到中间变量Z_g，在正常FPM迭代过程中以拉格朗日乘积的形式将S_g与Z_g的差值引入，得到最终恢复的高分辨率图像。

进一步地：

步骤A2包括如下步骤：

A2.1：对所需重构的高分辨率图像进行初始猜测并对该初始猜测进行傅里叶变换得到

A2.2：在高分辨率图像频域选择第i个LED光照对应的子区域乘以瞳孔函数后进行反傅里叶变换得到

A2.3：将与采集到的低分辨率图像进行幅值替换得到新的低分辨率图像

A2.4：将新得的低分辨率图像进行傅里叶变换得到用替换高分辨率图像中所对应的子区域

A2.5：对剩余其他LED光照条件下采集到的数据，重复进行步骤A2.2-A2.4操作；

其中，分别为所需重构的高分辨率图像的幅值和相位；

F_h,分别为高分辨率图像在频域的幅值与相位；

F_sub,分别为所截取高分辨率图像的某个子区域在频域的幅值与相位；

分别为所截取高分辨率图像的某个子区域在实域的幅值与相位

分别为在FPM实验平台对应第i个LED的所采集的低分辨率图像在实域的

幅值与相位；

F_m,分别为经过幅值替换的低分辨图像在频域的幅值与相位；

重复进行迭代操作以得到一张高分辨率图像。

步骤A2中进行多次整个迭代过程，直到满足：

其中为第i个LED光照情况下所采集的低分辨率图像；

F^-1代表反傅里叶变换；

Sg(k)代表最终所要恢复的高分辨率图像的频域；

Pupil代表合成孔径即瞳孔函数；

k_i代表第i个LED光照条件下所得到的图像在空间角度上的变化即偏移量。

步骤A3中经过稀疏处理的高分辨率图像幅值矩阵的获得方法包括：将输入的图像表示矩阵按照一定的步长、重叠率、块尺寸进行分块，在矩阵设定范围内根据欧几里德距离搜索与某个块匹配的若干块组成一个群组，以块为基本单元的字典变成了以群组为单元的字典，并在根据字典重构图像的过程中，对每个块所对应的字典中群组表示矢量做稀疏约束，最终利用群组重构出的高分辨率矩阵即带有稀疏性质的矩阵。

步骤A4中，作为中间变量的稀疏高分辨率矩阵引入FPM算法，步骤A 2.2中截取高分辨率图像矩阵中对应某个LED光照对应的子区域，作为中间变量的稀疏高分辨率矩阵也截取相同位置的子区域，将截取的稀疏高分辨率矩阵与高分辨率矩阵的两个子区域做差并乘以一个拉格朗日乘积，再与步骤A2.4中的相加来替换高分辨率图像矩阵中所对应的子区域，将上述方式应用到剩余其他LED光照条件下，即将中间变量引入到FPM迭代过程中。

步骤A1中，所述FPM平台应包括内置成像装置的显微镜、可编程控制的LED矩阵，相邻LED间距离固定，LED阵列与载物台间距离固定；基于不同角度光照条件下所得到的图像在空间角度上的变化偏移量为：

其中，τ代表LED发射光的波长，(x_c，y_c)代表中心LED在整个LED矩阵中的位置坐标，(x_i，y_i)代表包括中心LED在内的某个LED在整个LED矩阵中的位置坐标，h代表LED矩阵与载物台间的距离。

合成孔径的半径为

其中radius代表FPM平台中物镜的数值孔径，τ代表发射光的波长；合成孔径体现在频域中即为瞳孔函数的半径。

步骤A1中，LED矩阵为方阵或同心圆排列，优选地，相邻LED间距离为4mm，LED阵列与载物台间距离固定7-8cm。

步骤A4中，FPM的迭代过程包括：

A4.1：在所要恢复的高分辨率图像的频域中截取第i个LED光照对应的子区域所选定的子区域乘以瞳孔函数，再经反傅里叶变换得到同时截取中间变量Z_g的相同子区域

A4.2：将与采集到的对应LED的低分辨率图像进行幅值替换得到新的低分辨率图像

A4.3：将新得的低分辨率图像进行傅里叶变换得到将与中间变量对应子区域的做差再乘以一个拉格朗日系数得到用和S_g与Z_g的差值之和来替换高分辨率图像频域中所对应的子区域

A4.4：对剩余其他LED光照条件下采集到的数据，重复进行步骤4.1-4.3操作，针对所有LED光照条件下的子区域处理替换完成后，得到所要恢复的带有稀疏特性的高分辨率图像矩阵。

步骤A4中，进行多次整个迭代过程，直到满足：

其中为第i个LED光照情况下所采集的低分辨率图像；

F^-1代表反傅里叶变换；

Sg(k)代表最终所要恢复的高分辨率图像的频域；

Pupil代表合成孔径即瞳孔函数；

k_i代表第i个LED光照条件下所得到的图像在空间角度上的变化即偏移量。

在初次迭代时中间变量暂时设置为同样尺寸的元素均为0的矩阵。

本发明的有益效果：

本发明改进了传统的FPM算法，提出了一种基于群组稀疏处理和FPM算法的图像超分辨率重建方法，在相位恢复过程中添加所要重建的高分辨率图像的稀疏约束项，防止图像重建过程对采集数据的过拟合现象，同时将一些我们想要的图像性质加入到重建的高分辨率图像中。在正常的FPM算法中加入正则项稀疏约束，恢复了更多细节信息，且通过调整图像分块重构过程误差估计系数可实现恢复的高分率图像表面的噪声控制，防止图像恢复过程对所采集的带误差的低分辨率图像的过拟合现象。

附图说明

图1为本发明实施例的图像超分辨率处理方法流程图；

图2为本发明实施例的FPM的实验示意图。

具体实施方式

以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参阅图1，在一种实施例中，一种基于群组稀疏处理的图像超分辨率处理方法，包括以下步骤：

A1:利用FPM平台成像装置获取由LED阵列中不同LED灯逐个点亮所获得的不同角度光照下对应的低分辨率图像g_i(x,y)；

A2：不同角度光照条件下所获得的低分辨率图像对应该样本原始图像在频域上的偏移，可以利用相位恢复算法和合成孔径的思想，由这些低分辨率图像通过迭代以及在实域与频域的约束条件得到对应样本的高分辨率图像S_g；

A3：获取该高分辨率图像的幅值矩阵，将其进行分块，根据块的相似性建立群组字典，在根据字典的图像重构过程中加入稀疏约束，得到经过稀疏处理的高分辨率图像幅值矩阵Z_gam；

A4：将Z_gam乘以之前的相位矩阵Z_gph，得到中间变量Z_g，在正常FPM迭代过程中以拉格朗日乘积的形式将S_g与Z_g的差值引入，得到最终恢复的高分辨率图像。

在优选的实施例中，步骤A2包括如下步骤：

A2.1：对所需重构的高分辨率图像进行初始猜测并对该初始猜测进行傅里叶变换得到

A2.2：在高分辨率图像频域选择某个LED(假设第i个LED)光照对应的子区域乘以瞳孔函数后进行反傅里叶变换得到

A2.3：将与采集到的低分辨率图像进行幅值替换得到新的低分辨率图像

A2.4：将新得的低分辨率图像进行傅里叶变换得到用替换高分辨率图像中所对应的子区域

A2.5：对剩余其他LED光照条件下采集到的数据，重复进行步骤A2.2-A2.4操作；

其中，分别为所需重构的高分辨率图像的幅值和相位，高分辨率图像在实域的初始猜想一般任取一个在FPM实验平台所采集的低分辨率图像上采样得到；

F_h,分别为高分辨率图像在频域的幅值与相位；

F_sub,分别为所截取高分辨率图像的某个子区域在频域的幅值与相位；

分别为所截取高分辨率图像的某个子区域在实域的幅值与相位

分别为在FPM实验平台对应第i个LED的所采集的低分辨率图像在实域的

幅值与相位；

F_m,分别为经过幅值替换的低分辨图像在频域的幅值与相位；

重复进行上述迭代操作可以得到一张高分辨率图像，当然本发明所能应用在FPM算

法中的状况不仅限于上述例举的FPM平台计算方法。

在特别优选的实施例中，步骤A2中进行多次整个迭代过程，直到满足：

其中为第i个LED光照情况下所采集的低分辨率图像；

F^-1代表反傅里叶变换；

Sg(k)代表最终所要恢复的高分辨率图像的频域；

Pupil代表合成孔径即瞳孔函数；

k_i代表第i个LED光照条件下所得到的图像在空间角度上的变化(也为该图像频谱

在频域的偏移)即偏移量。

在优选的实施例中，步骤A3中经过稀疏处理的高分辨率图像幅值矩阵的获得方法包括：将输入的图像表示矩阵按照一定的步长、重叠率、块尺寸进行分块，在矩阵设定范围内根据欧几里德距离搜索与某个块匹配的若干块组成一个群组，传统的以块为基本单元的字典变成了以群组为单元的字典，并在根据字典重构图像的过程中，对每个块所对应的字典中群组表示矢量做稀疏约束，最终利用群组重构出的高分辨率矩阵即带有稀疏性质的矩阵。本发明不限于上述的高分辨率图像矩阵稀疏处理方法。

在优选的实施例中，步骤A4中，作为中间变量的稀疏高分辨率矩阵引入传统FPM算法，步骤A 2.2中截取高分辨率图像矩阵中对应某个LED光照对应的子区域，作为中间变量的稀疏高分辨率矩阵也截取相同位置的子区域，将截取的稀疏高分辨率矩阵与高分辨率矩阵的两个子区域做差并乘以一个拉格朗日乘积，再与步骤A2.4中的相加来替换高分辨率图像矩阵中所对应的子区域，将上述方式应用到剩余其他LED光照条件下，即将中间变量引入到FPM迭代过程中。本发明涵盖的范围不限于上面列举的中间变量引入方法。

参阅图2，在优选的实施例中，步骤A1中，所述FPM平台应包括内置成像装置的显微镜、可编程控制的LED矩阵，LED矩阵一般可以为方阵，也可为同心圆排列，相邻LED间距离固定，优选为4mm，LED阵列与载物台间距离固定，优选为7-8cm；基于不同角度光照条件下所得到的图像在空间角度上的变化(也为该图像频谱在频域的偏移)偏移量为：

其中，τ代表LED发射光的波长，(x_c，y_c)代表中心LED在整个LED矩阵中的位置坐标，(x_i，y_i)代表包括中心LED在内的某个LED在整个LED矩阵中的位置坐标，h代表LED矩阵与载物台间的距离。

合成孔径的半径为

其中radius代表FPM平台中物镜的数值孔径，τ代表发射光的波长；合成孔径体现在频域中即为瞳孔函数的半径。

在优选的实施例中，步骤A4中，FPM的迭代过程包括：

A4.1：在所要恢复的高分辨率图像的频域中截取某个LED(假设为第i个LED)光照对应的子区域所选定的子区域乘以瞳孔函数，再经反傅里叶变换得到同时截取中间变量Z_g的相同子区域

A4.2：将与采集到的对应LED的低分辨率图像进行幅值替换得到新的低分辨率图像

A4.3：将新得的低分辨率图像进行傅里叶变换得到将与中间变量对应子区域的做差再乘以一个拉格朗日系数得到用和S_g与Z_g的差值之和来替换高分辨率图像频域中所对应的子区域

A 4.4：对剩余其他LED光照条件下采集到的数据，重复进行步骤4.1-4.3操作，针对所有LED光照条件下的子区域处理替换完成后，即得到了所要恢复的带有稀疏特性的高分辨率图像矩阵。由于一次这样的过程并不能使采集的低分辨率图像信息与带有稀疏特性的中间变量高分辨率图像信息充分融合进所要重建的高分辨率矩阵中，需要进行多次整个迭代过程，直到满足如下的迭代停止条件即可

其中为第i个LED光照情况下所采集的低分辨率图像；

F^-1代表反傅里叶变换；

Sg(k)代表最终所要恢复的高分辨率图像的频域；

Pupil代表合成孔径即瞳孔函数；

k_i代表第i个LED光照条件下所得到的图像在空间角度上的变化(也为该图像频谱在频域的偏移)即偏移量。

在初次迭代时由于需要代入群组稀疏处理程序的原始高分辨率图像还未生成，所以中间变量暂时设置为同样尺寸的元素均为0的矩阵，不会对正常的传统FPM迭代过程造成影响。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。