1技术领域
在图像采集领域，像素点是采集光子(或其他粒子)和组成图像的基本单元。实际中像素点数目是有限的，如此一来图像分辨率就是有限的，也就是说单次曝光采样率是确定的。要得到高分辨率图像，有两种方法：一是增加单位面积上的像素点数目；二是通过多次曝光提高采样率。第一种方法需要产品升级换代，这里就需要考虑硬件成本。第二种方法则需要一套高效可靠的算法来提升图像分辨率。本发明就是针对第二种方法，提出一项增加图像保真度的技术。
2
背景技术：
由于工艺技术局限方面和经济成本方面的考虑，很多成像设备采样率其实是大大低于设备最高光学分辨率的，这就造成低采样率问题。从而导致高频信号出现混叠(alias-ing)图像表现出模糊，马赛克化(也就是像素化，pixelation)等问题。前人的反混叠(anti-aliasing)技术已经用在哈勃空间望远镜(hst)的图像拼接上如fruchter等人发展的drizzle和idrizzle技术。drizzle的特点是速度快，但混叠信号并没有被完全反卷积出来，所以drizzle只是图像在高分辨率网格下的单纯叠加，因而也没有很好地去像素化。随后在drizzle的基础上，fruchter于2011年又发展出了多次迭代结合傅立叶空间平滑的方法来多次提取残留信号，也即idrizzle技术。idrizzle首先要通过drizzle技术把多次观测到原始图像放到一个过采样的网格上，再多次与原始图像对比，从残差图像中提取大部分信号，并加到结果中，最后通过sinc插值到目标分辨率，比如临界采样分辨率(简称临界采样率，criticalsamplin9)。idrizzle能比较好地实现反卷积，给出的图像跟真实图像差不太多，缺点也很明显，就是耗费大量计算资源而且效果也不如后来我们发展的两套方法《细分有理曲面(正向)去像素化技术》(即dsrs，专利号：201510982531x)，《一种快速有效去像素化技术》(即fidrizzle，专利号：201611173333x)，《fidrizzle多次采样图像重建技术》(即fidrizzle，专利号：201710307681x)和《铺装简单曲面多次曝光图像重建技术》(即tssf，专利号：2017113212755)。
《细分有理曲面(正向)去像素化技术》的思想是在跟观测图像像素相当的标准网格(或目标网格)上建立一群小的曲面(曲面参数未知)，然后用所有观测图像(或dither图像)来拟合这些曲面的参数。特点是速度较快，而且以后进行的对这群小曲面的任何观测都几乎相当于直接观测真实图像。《一种快速有效去像素化技术》即fidrizzle，是去掉idrizzle的滤波和插值过程并且直接在需要的分辨率上重建图像。特点是收敛速度快，计算速度快，稳定，而且图像在中低频比idrizzle更加高保真。缺点是在某些情况下最高频率端的噪音比idrizzle的结果大。《fidrizzle多次采样图像重建技术》改进了fidrizzle技术，一方面保持了fidizzle的快速特点，另一方面又保持了idrizzle在高频端的优势。《铺装简单曲面多次曝光图像重建技术》推广了dsrs技术到任意参数化铺装曲面，并且实现了自适应阶数拟合，从而更加智能化和节约运算资源。
本发明还是使用类似fidrizzle和fidrizzle那样迭代反卷积的思想，但彻底抛弃drizzle，转而使用快速迭代的平移叠加方法(fastiterativeshift-and-add，fisa)。并且在滤波过程使用二维分立小波变换(discretewavelettransform，dwt)来分解图像，而不是用快速傅立叶变换fft。因为基于drizzle的方法有可能使用像素收缩因子，像素收缩导致信号光子分配被人为分配到靠近每个像素中心的区域，会导致图像出现人为结构(artificialstructure)，多出现在高频区域。另外由于像素收缩导致像素顶点一分为四，这会引起切割多边形计算的引起计算量增加4倍。这些也是我们抛弃drizzle的主要原因。shift-and-add只是在高分辨率网格上简单地移动观测图像到仪器记录位置并叠加起来，因而人为因素少，可靠性高，速度快。
3
技术实现要素：
3.1基于分立小波变换的快速迭代的平移叠加技术(fisa)
我们的目的是探索比fidrizzle更好更快的方法。fisa的步骤如下：
step1：把对准某区域观测k副震颤过的原始图像(ditheredimages)，{i1，i2，i3...ik}，用shift-and-add方法叠加到一个我们想要的高分辨率(但又不高于临界采样率)的标准网格上，这样就生成了叠加图像d1，也即对真实图像的一级近似。d的下标1代表这是第一次迭代的结果。
step2：对d1进行低通滤波，先通过dwt把图像d1变换到1阶小波空间，得到一个低频和三个高频部分，然后对三个高频部分进行低通滤波，最后再把滤波后的三个高频部分和原先的低频部分经过inversedwt逆变换得到
step3：假设把滤波后的图像
step4：把k副虚拟观测图像与对应的原始图像做减法，就会得到残差图像
step5：返回第一步step1：，把残差图像
step6：继续之前的循环但只改一处地方，在step3中，在第n次迭代的时候，
迭代结束后，我们就可以把输出当成最终结果了。对比fidrizzle的步骤，我们的fisa方法第一抛弃了drizzle改用shift-and-add；第二滤波方法不同，把图像先进行小波分解之后再在高频部分进行低通滤波，低频部分保持不变。
下面我们对drizzle，fidrizzle，fidrizzle和fisa四种图像重建技术进行了视觉表观方面，定量方面和时间复杂度方面的全面对比。为了控制对比四种方法，我们首先把真实图像通过模拟观测得到一些低分辨率原始图像(ditheredimages)，然后我们用这四种方法对这些低分辨率原始图像进行图像重建，最后输出结果到相同分辨率下，即临界采样率下进行对比。这其中为了模拟真实观测，震颤涉及到的仪器的位移，旋转是随机的，另外还考虑了每次曝光0.1％的ccd随机几何形变(由于ccd与cmos所用的材质是硅(si)和二氧化硅(sio2)，而这两者在常温300k(开尔文)下的热膨胀系数分别为αsi＝2.5×10-6/k和
3.2结果与比较
实例一：
我们使用著名的misslena图像进行测试。我们对512×512的misslena真实图像进行1/2×1/2倍分辨率的8次低采样率观测，包括不同的位移旋转。图1中，左侧是misslena真实图像，而右侧是8副观测图像中的一副，分辨率已经降低4倍。图2是我们使用drizzle，fidrizzle，fidrizzle和fisa的重建结果，左上图是drizzle的，右上图是fidrizzle的，左下图是fidrizzle的，右下图是fisa的。可以明显看出drizzle的视觉效果最差，感觉像加了高斯滤镜。其实这是像素化没有被彻底反卷积出来的结果，我们前面的几项专利中对该问题有详细阐述。接下来的fidrizzle，fidrizzle和fisa结果差不多，至少视觉表观方面很难分出优劣。如果仔细看帽子身上的纹理，可以发现fidrizzle和fidrizzle是差不多的，而fisa的纹理细节重建是最好的。
跟以前类似，我们也做了这四幅重建图像的余量图(或残差图，即用四幅重建图像分别减去真实图像)，如图3。图3中的四幅子图的排列分布跟图2是相同的(左上图是drizzle的，右上图是fidrizzle的，左下图是fidrizzle的，右下图是fisa的)。可以发现drizzle的残余信号是最多的，甚至有不少低频部分，因而misslena的容貌特征清晰可见。后面的三幅图跟图2一样，misslena的轮廓比较难以分辨，残差里只留下高频部分。但如果仔细看最难分辨的还是fisa重建之后的残差。那么究竟差多少呢，下面我们定量来看看。
为了看清fidrizzle，fidrizzle和fisa在余量上的差异，我们使用了约化功率谱(reducedpowerspectrum，rps)工具。也就是说对残差图3的四幅图像(只取中间的四分之一区域，也就是最中间的256×256pixel区域，这是为了避免未被8副dither图像完全覆盖的像素)做快速傅立叶变换fft，得到二维功率谱，功率谱低频功率集中在中心区域，外围是高频区。我们做了功率谱的沿径向的平均密度轮廓图，称为约化功率谱(rps)，能大致反映功率从低频到高频的变化情况。图4中三点划线代表drizzle余量图里残留的功率。点线是fidrizzle的，单点划线是fidrizzle的，实线是fisa的。很明显，drizzle残留的功率最多，全频域上都高于其他三种重建方法。fidrizzle，fidrizzle和fisa在中低频区域几乎完全重合没有分别，只是在高频区域fidrizzle的结果要好于fidrizzle的。而fisa在高频区域是最好的，这也为我们之前在视觉表观方法发现的细微差异找到了量化证据。
3.3计算复杂度比较
drizzle的速度是最快的，这里假设使用drizzle的时候像素不收缩(也即收缩因子为1，像素顶点不分开)，从而达到最快速度。fidrizzle需要在过采样网格进行迭代，计算复杂度主要依赖于迭代次数，比如迭代10次耗费的计算量是drizzle的2×10＝20倍。fidrizzle需要在过采样网格进行迭代和fft之后的频域滤波，计算复杂度主要依赖于迭代次数，如果迭代10次，计算量也是drizzle的20倍，这还不算平滑过程的fft变换。fisa的计算量介于fidrizzle和fidrizzle，因为fisa需要滤波过程，因而比fidrizzle计算量大，但因为使用了快速dwt变换，而且只需要处理三个高频部分，就滤波过程的计算量而言，fisa大约是fidrizzle的3/4左右。
3.4讨论和结论
fisa对比fidrizzle和fidrizzle的进步和优势主要体现在如下3个方面：
1.fisa的重建结果无论相对于fidrizzle还是fidrizzle都是更加高保真的，效果最好。
2.fisa不再基于drizzle，而是基于shift-and-add方法，这减少了人为因素，结果会更加可靠。
3.fisa相对于fidrizzle在速度上还有一定的提升。
在不久的将来很多新的望远镜设备要投入观测中来：比如nasa的widefieldinfraredsurveytelescope(wfirst)，欧空局的euclid，美国国家自然科学基机会资助的largesynopticsurveytelescope(lsst)和中国的天宫望远镜(thechinesespacestationopticaltelescope，cssot)。届时会产生海量的数据，如何快速地高保真地处理这些数据将成为当务之急。实际上这恰好给了多次曝光图像重建技术很大的用武之地。
天文领域：
1.对于跟踪姿态保持不够好的望远镜，可以使用多次曝光技术，缩短曝光时间，这样就会大大降低由于姿态不稳引起的图像轮廓模糊，然后再用多次曝光图像重建技术重建高分辨率观测图像。
2.无论是空间望远镜还是地面望远镜，都可以选择好的时段对准被观测源进行多次曝光，然后用多次曝光图像重建技术来重建源的高分辨率图像。这就避免了不良天气条件或者空间望远镜被地球月球等遮挡的因素影响。
3.由于天文观测中，暗弱源往往占大多数，有了高效可靠的多次曝光图像重建技术就可以使用这些数目可观的以前只能舍弃的暗弱源来做更深空间的天文研究。
4.只要知道拍摄望远镜的硬件情况，位置等参数我们就可以在多次曝光图像重建技术的协助下对同一个源的来自不同望远镜不同历史时期的观测数据进行处理并生成高分辨率图像，从而达到充分利用历史数据的目的。
5.天文观测在有些情况下进行多次曝光是必须的，因为在有多个信号源而且亮度相差很大的情况下，为了增强弱源的信号强度同时又要保证强源不饱和，就必须采用多次曝光，这时候再用我们的多次曝光图像重建技术快有有效地重建具有更高保真度的源的图像就很必要了。
数字图像监控领域，基于fisa的多次曝光图像重建技术能够利用连续的多帧录像画面重建得到被监控事物的高清图像。
微观物理学，微生物，医学成像等领域可以在像素分辨率有限的情况下用多次曝光结合多次曝光图像重建技术得到病毒，细菌或者有机分子的高分辨率图像。
最后声明：在fidrizzle中也可以加入二维分立小波变换做滤波操作，为此我们认为这是我们之前相关发明的衍生关联发明。
4具体实施方式
我们用c语言开发了基于分立小波变换的fisa技术软件，软件会自动读取图像fits头文件的一些参数(如位置，旋转，ccd形变等)并重建高分辨率的源图像。
致谢：本发明受国家973项目(no.2015cb857003，no.2015cb857000，no.2013cb834900)，国家基金委项目(no.11333008，no.11233005，no.11273061)，江苏省杰出青年项目(no.bk20140050)和中科院宇宙学结构先导项目(no.xdb09010000)的支持，发明者在此对这些支持项目表示感谢。
5附图说明
本专利共有4幅附图，用来在视觉表观和定量方面对比dirzzle，fidirzzle，fidirzzle，和fisa四种重建方法的不同效果。附图说明如下：
1.实例一图1：左侧是misslena真实输入图像，右侧是而右侧是8副观测图像中的一副，分辨率已经降低4倍。
2.实例一图2：drizzle，fidrizzle，fidrizzle和fisa的重建结果。左上图是drizzle的，右上图是fidrizzle的，左下图是fidrizzle的，右下图是fisa的。
3.实例一图3：流量残差图(余量图)，四幅图像代表的意义同图2。
4.实例一图4：流量残差的rps图。三点划线代表drizzle余量图里残留的功率，点线是fidrizzle的，单点划线是fidrizzle的，实线是fisa的。