FiDrizzle多次采样图像重建技术的制作方法

may4，2017

1技术领域

在数字信号通信和图像采集处理领域，数据的采集都是通过ccd，cmos等采集器。这些采集器原理上是光子计数器阵列。也就是说都是说采样是离散的，实际中不可能做到无限精细的连续采样。因此这里就涉及到一个采样率的问题。另外由于光的衍射效应，任何光学仪器和光学波段都不可能给出无限精密细节的成像。也就是说光学仪器都是有最高分辨率极限的。我们这个发明的目的就是要快速和高保真地把原本低采样率的图像叠加成在仪器最高分辨率下的图像。

2

背景技术：

如前所述，由于工艺局限方面和经济成本方面的考虑，很多成像设备采样率其实是达不到设备最高光学分辨率的2倍的，也就是说达不到采样率定理(nyquist定理)所要求的能完全描述信号需要的最低采样率，也就是所谓的低采样率(undersampling)。低采样率会导致最终图像表现出模糊，马赛克化(也就是像素化，pixelation)等问题，像素化相当于一个滤镜，是模拟信号离散化采样的表现。人们发现虽然一次采样率低，但通过记录仪器的震颤(dither)在不同位置拍摄目标物体，就会得到很多低采样率样本，而把这些样本通过合理的技术进行叠加就可以得到突破仪器采集器限制的高分辨率或同时实现对像素化滤镜的反卷积，也就是去像素化。前人的去像素化技术已经用在哈勃空间望远镜(hst)的图像拼接上如fruchter等人发展的drizzle和idrizzle技术。drizzle的特点是速度快，但内秉的像素化滤镜(pixelation)并没有被反卷积出来，所以drizzle只是图像在高分辨率网格下的单纯叠加，不涉及反卷积，因而也没有很好地去像素化。随后在drizzle的基础上，fruchter于2011年又发展出了多次迭代结合傅立叶空间平滑的方法来多次提取残留信号，也即idrizzle技术。idrizzle首先要通过drizzle技术把多次观测到原始图像放到一个过采样的网格上，再多次与原始图像对比，从残差图像中提取大部分信号，并加到结果中，最后通过sinc插值到目标分辨率，比如临界采样分辨率(简称临界采样率，criticalsampling)。idrizzle能比较好地实现反卷积，给出的图像跟真实图像差不太多，缺点也很明显，就是耗费大量计算资源而且效果也不如后来我们发展的两套方法《细分有理曲面(正向)去像素化技术》(即tssf，专利号：201510982531x)和《一种快速有效去像素化技术》(即fidrizzle，专利号：201611173333x)。《细分有理曲面(正向)去像素化技术》的思想是在跟观测图像像素相当的标准网格(或目标网格)上建立一群小的简单曲面(曲面参数未知)，然后用所有观测图像(或dither图像)来拟合这些曲面的参数。特点是速度较快，而且以后进行的对这群小曲面的任何观测都能跟直接观测源图像相当。《一种快速有效去像素化技术》即fidrizzle，是去掉idrizzle的滤波和插值过程并且直接在需要的分辨率上重建图像。特点是收敛速度快，计算速度快，稳定，而且图像在中低频比idrizzle更加高保真。缺点是在最高频率端有一点点不如idrizzle。但在本次发明中，我们改进了fidrizzle技术，为了区别以前的fidrzzle我们称之为fidrizzle(afineidrizzle)，一方面我们保持了fidizzle的快速特点，另一方面我们又保持了idrizzle在高频端的优势。

3

技术实现要素：

3.1fidrizzle技术

我们的目的是集fidrizzle和idrizzle的优点于一身。fidrizzle的步骤如下：

step1：把对准某区域观测k副震颤过的原始图像(ditheredimages)，{i¹，i²，i³...i^k}，用drizzle叠加到一个我们想要的高分辨率(但又不高于临界采样率)的标准网格上，这样就生成了叠加图像d1，也即对真实图像的一级近似。d的下标1代表这是第一次迭代的结果。

step2：对d1进行低通滤波，先通过fft把图像d1变换到傅立叶空间，然后用权重函数削弱高频部分，最后再ifft反变换回实空间得到

step3：假设把滤波后的图像放到真实图像的位置，通过完全相同的设备和跟原始观测完全相同条件的虚拟观测得到一系列虚拟观测图像，这些虚拟观测图像跟原始观测图像是一一对应的，也是k副

step4：把k副虚拟观测图像与对应的原始图像做减法，就会得到残差图像

step5：返回第一步step1：，把残差图像当成原始图像再用drizzle叠加生成图像d2，它几乎是真实图像跟上一次近似图像(一级近似)的差。

step6：继续之前的循环但只改一处地方，在step3中，在第n次迭代的时候，循环到目标精度即停止。

迭代结束后，我们就可以把输出当成最终结果了。对比idrizzle的步骤，我们的fidrzzle一开始就把输出图像精度当成目标分辨率，而不是采用过采样的分辨率，这样就省略了最后的sinc插值过程。而对比我们之前的fidrizzle，此次改进版的fidrzzle把以前fidrizzle省略的滤波步骤又加入流程中，增加了一部分计算量，但精度和效果提高很多，高频噪音得到有效抑制。下面我们对drizzle，idrizzle，fidrizzle和fidrizzle四种图像重建技术进行了视觉表观方面，定量方面和时间复杂度方面的全面对比。为了控制对比四种方法，我们首先把真实图像通过模拟观测得到一些低分辨率原始图像(ditheredimages)，然后我们用这四种方法对这些低分辨率原始图像进行图像重建，最后输出结果到相同分辨率下，即临界采样率下进行对比。这其中为了模拟真实观测，震颤涉及到的仪器的位移，旋转是随机的，另外还考虑了每次曝光0.1％的ccd随机几何形变。

在开始之前我们先证明一个我们最新发现的“过采样致减速收敛效应”(oversamplingcauseddeceleratingconvergence，osdc)。令t为二维平面空间的一个真实信号。通过观测设备(比如望远镜，显微镜，相机，摄像头等等)之后就会在ccd平面上得到一个离散化的数字信号图像i，并且该图像相对我们的标准网格有震颤位移ds(包含了平移和旋转角度)：

这里g已经综合了t被采样之前的所有效应，比如seeing，ccd形变，像素化等等。是卷积符号。现在我们对i进行两个重采样，一是重采样到过采样分辨率标准网格另一个是重采样到临界采样率标准网格震颤位移ds是被考虑在内的。也即：

这里p^os或p^cs是包含重采样像素化效应的重采样矩阵。而且这里sinc(p^os→p^cs)是从过采样率到临界采样率的无损sinc插值。这样就等于此处正是drizzle的结果。依据上面的迭代重建步骤，我们通过与仪器一样的降采样机制模拟观测了两个标准网格和降采样到i网格，这样就分别得到了对原始观测图像i的第一次近似和那么第一次近似与原始观测图像i的差异可以写为：

由于具有比更高的分辨率(意味着更多细节)，那么对应的余量就拥有比更少的功率，特别是在低频端。在一个极端情况下，如果我们把原始观测图像过采样到无限高分辨率，那么就会保留一个完整的i，也就导致也就是第一次迭代之后，我们就得到了对真实图像的第二次近似和

根据idrizzle的最后一步，我们需要把过采样标准网格eq.(4)通过sinc插值到临界采样率网格

对比方程(6)与(5)，我们发现对于相同粗网格(此处是临界分辨率网格)的比较，直接到临界分辨率网格的迭代重建要比经历过采样再插值回临界采样率网格的重建在余量中获得更高的功率，也就是更多的信号。这意味着，对于相同震颤观测数和相同迭代数的重建，迭代收敛速率被过采样机制降低了。我们称这个新效应为过采样致减速收敛效应(oversamplingcauseddeceleratingconvergence，osdc)。读者也可以自行在其他维度和任意大于1的震颤观测数和迭代数的情况下证明该效应。所以即使我们忽略滤波机制，fidrizzle做反卷积也要比idrizzle要更加高效。当然，从fidrizzle的步骤我们也可以看出，fidrizzle不像idrizzle那样受到osdc效应的影响，从而可以快速有效地做图像反卷积。

3.2结果

在图1中，我们使用了图像处理领域广为人知的测试图像misslena(尺寸512×512pixel，并假设该分辨率达到临界采样率，也就是nyquist采样率)作为真实图像，左图。也就是说成像设备的光学最高分辨率是临界采样率的0.5倍。我们把真实图像进行模拟观测bin了5副原始观测图像分辨率降低了其中之一就是右图。我们可以看到低采样率或者说低分辨率图像中的lena的眼睛和睫毛都模糊不清了，帽子边缘锯齿化严重，帽子上的条纹也消失了，这些都是像素化的结果，所有的细节都马赛克化了，也是我们现实中真实观测图像的表现。

之后我们用四种方法drizzle，idrizzle，fidrizzle和fidrizzle对这5副原始观测图像进行重建。其中idrizzle的工作分辨率是比临界分辨率过采样了4×4倍的网格，在经历“过采样-滤波-sinc插值”之后回到临界分辨率，以方便比较。并且我们在idrizzle与fidrizzle中使用的是完全相同的低通滤波器。如图2，左上图是drizzle重建的结果，右上图是idrizzle的结果，左下图fidrizzle的结果，右下图是本次发明fidrizzle的结果。这其中idrizzle，fidrizzle和fidrizzle都进行了5次迭代。很明显drizzle重建的图像已经比原始观测图像好多了，也增加了更多的细节。然而与idrizzle，fidrizzle和fidrizzle对比，drizzle就差多了。主要原因是drizzle并没有进行像素化反卷积操作。就图2而言后面三种方法已经看不出明显差异。为此我们做了残差(余量)图3，残差图是四幅重建图像2分别与真实图像1左图之间的差。我们明显看到左上图drizzle与右上图idrizzle的残差十分显著，很容易辨认。而左下图fidrizzle与右下图fidrizzle的残差明显更少，但二者差别并不显著。仔细辨认会发现，fidrizzle最亮的一些点和线明显要比对应的fidrizzle的更暗一些，这是高频信息的反映，说明fidrizzle的高频弥散更大。

为了看清fidrizzle与fidrizzle的差异，我们使用了约化功率谱(reducedpowerspec-trum，rps)工具。也就是说对残差图3的除了drizzle之外的其他图像(只取中间的四分之一区域，也就是最中间的256×256pixel区域，这是为了避免未被5副dither图像完全覆盖的像素)做快速傅立叶变换fft，得到二维功率谱，功率谱低频功率集中在中心区域，外围是高频区。所以我们做了功率谱的沿径向的平均密度轮廓图，称为约化功率谱(rps)，能大致反映功率从低频到高频的变化。如图4，我们很容易看到受制于osdc效应idrizzle(点线)在低频段的表现明显不如fidrizzle(实线)。但idrizzle的高频段要好于fidrizzle，这是我们开发fidrizzle的动机所在。这里可以看到fidrizzle(划线)凭借新加入的低通滤波器已经在全波段优于fidrizzle了。高频段fidrizzle与idrizzle重合，而低频段fidrizzle稍稍好于fidrizzle，所以fidrizzle是集idrizzle与fidrizzle高低频段优势于一身的图像反卷积方法。

更详细的图可以参考功率差异图5，功率差异图是用fidrizzle作为基准的，也就是图中的0值线，图中三条线是图4中的实线分别减去图4中的三条线的结果。也就是fidrizzle分别与fidrizzle，idrizzle和fidrizzle的差异。如果图线大于零那就说明该频段的重建效果要好于fidrizzle，否则不如fidrizzle。由图5可以明显看到fidrizzle的总体效果是最好的。

3.3计算复杂度比较

毫无疑问的是drizzle的速度是最快的。由于一次虚拟观测的计算量与一次drizzle的计算量是相当的。所以fidrizzle实际上比drizzle多消耗了2n-1倍的计算量(n是迭代次数)。在图1中，真实图像具有512×512尺寸，那么原始图像就具有像素的尺寸。drizzle的计算量不仅依赖于5×120×120的原始像素数，还依赖输出图像的分辨率，因此drizzle消耗了次的计算量(平均来讲，每一个原始像素会经历2900次运算，其中包括多边形切割，积分)。这样它的复杂度是o(800n²)(令n＝512)。而fidrizzle要多4.5次迭代，因此复杂度大概是o(8000n²)。fidrizzle每次迭代只比fidrizzle多了滤波过程，其计算复杂度为也就是o(20n²log2n)。idrizzle运算支出有：idrizzle需要一个过采样的输出网格，例如本文中比临界采样率高4×4倍，那么总的运算时间就比fidrizzle多了15倍；另外，由于要从过采样网格插值到临界采样率网格，这将贡献o(256n²)的计算复杂度(每次插值我们使用周围16个格点进行运算)。如此看来本例中，相比于idrizzle，fidrizzle节省了至少15倍的计算量，但相比于fidrizzle，只增加了1/50的计算量，却换来了相当于idrizzle在高频段的优异表现。

3.4讨论和结论

通过结合idrizzle与fidrizzle各自的优势，并摈弃其缺点，我们开发了新的fidrizzle反卷积技术。fidrizzle对比idrizzle和fidrizzle的进步和优势主要体现在如下3个方面：

1.fidrizzle更加有效，重建结果无论相对于idrizzle还是fidrizzle都是更加高保真的。

2.fidrizzle相比于idrizzle节省了大量计算资源。

3.fidrizzle相比于fidrizzle降低了高频段的噪音。

在不久的将来很多新的望远镜设备要投入观测中来：比如nasa的widefieldinfraredsurveytelescope(wfirst)，欧空局的euclid，美国国家自然科学基机会资助的largesynopticsurveytelescope(lsst)和中国的天宫望远镜(thechinesespacestationopticaltelescope，csst)。届时会产生海量的数据，如何快速地高保真地处理这些数据将成为当务之急。实际上这恰好给了fidrizzle很大的用武之地。

天文领域：

1.对于跟踪姿态保持不够好的望远镜，可以使用多次曝光技术，缩短曝光时间，这样就会大大降低由于姿态不稳引起的图像轮廓模糊，然后再用fidrizzle重建高分辨率观测图像。

2.无论是空间望远镜还是地面望远镜，都可以选择好的时段对准被观测源进行多次曝光，然后用fidrizzle重建源的高分辨率图像。这就避免了不良天气条件或者空间望远镜被地球月球等遮挡的因素影响。

3.由于天文观测中，暗弱源往往占大多数，有了fidrizzle就可以使用这些数目可观的以前只能舍弃的暗弱源来做更深空间的天文研究。

4.只要知道拍摄望远镜的硬件情况，位置等参数我们就可以在fidrizzle的协助下对同一个源的来自不同望远镜不同历史时期的观测数据进行处理并生成高分辨率图像，从而达到充分利用历史数据的目的。

5.天文观测在有些情况下进行多次曝光是必须的，因为在有多个信号源而且亮度相差很大的情况下，为了增强弱源的信号强度同时又要保证强源不饱和，就必须采用多次曝光，这时候再用fidrizzle快有有效地重建具有更高保真度的源的图像就很必要了，至少比当前最好的idrizzle要快要好。

数字图像监控领域，fidrizzle技术能够利用连续的多帧录像画面重建得到被监控事物的高清图像。

微观物理学，微生物，医学成像等领域可以在像素分辨率有限的情况下用多次曝光结合fidrizzle得到病毒，细菌或者有机分子的高分辨率图像。

最后，该技术为数字成像领域提供了这样一条途径：通过多次曝光和fidrizzle技术可以对低采样率图像进行重建，以达到光学设备的最高分辨率极限。

4具体实施方式

我们用c语言开发了基于fidrizzle技术的程序软件，只要知道成像仪器在拍摄图像时候的一些参数(如位置，旋转，ccd形变等)就可以重建高分辨率的源图像，给出更多细节信息。

致谢：本发明受国家973项目(no.2015cb857003，no.2015cb857000，no.2013cb834900)，国家基金委项目(no.11333008，no.11233005，no.11273061)，江苏省杰出青年项目(no.bk20140050)和中科院宇宙学结构先导项目(no.xdb09010000)的支持，发明者在此对这些支持项目表示感谢。

5附图说明

本专利共有5幅附图，用来在视觉表观和定量方面对比dirzzle，idirzzle，fidrizzle和fidriz-zle四种重建方法的不同效果。附图说明如下：

图1：我们用lena小姐作为真实图像(左图)，通过模拟观测生成了原始观测图像(右图)，其中右图比左图在分辨率上降低了倍。所以基本上相当于在左图中3×3像素的细节会被右图中一个像素代替。

图2：四种不同方法重建结果都归化于临界采样率下的对比。左上图是drizzle重建的结果，右上图是idrizzle的结果，左下图fidrizzle的结果，右下图是本次发明fidrizzle的结果。这其中idrizzle，fidrizzle和fidrizzle都进行了5次迭代。

图3：四种重建方法的残差图像。左上图drizzle，右上图idrizzle，左下图fidrizzle与右下图fidrizzle。

图4：残差图的约化功率谱(rps)。点线是idrizzle的结果，实线是fidrizzle的结果，划线是fidrizzle的结果。

图5：约化功率谱(rps)相对于fidrizzle的残差图。点线是idrizzle的结果，实线是fidrizzle的结果，划线是fidrizzle的结果。