铺装简单曲面多次曝光图像重建技术的制作方法

december12，2017

1技术领域

在图像采集领域，像素点是采集光子(或其他粒子)和组成图像的基本单元。实际中像素点数目是有限的，如此一来图像分辨率就是有限的，也就是说单次曝光采样率是确定的。要得到高分辨率图像，有两种方法：一是增加单位面积上的像素点数目；二是通过多次曝光提高采样率。第一种方法需要产品升级换代，这里就需要考虑硬件成本。第二种方法则需要一套高效可靠的算法来提升图像分辨率。本发明就是针对第二种方法，提出一项增加图像保真度的技术。

2

背景技术：

由于工艺技术局限方面和经济成本方面的考虑，很多成像设备采样率其实是大大低于设备最高光学分辨率的，这就造成低采样率问题。从而导致高频信号出现混叠(alias-ing)图像表现出模糊，马赛克化(也就是像素化，pixelation)等问题。前人的反混叠(anti-aliasing)技术已经用在哈勃空间望远镜(hst)的图像拼接上如fruchter等人发展的drizzle和idrizzle技术。drizzle的特点是速度快，但混叠信号并没有被完全反卷积出来，所以drizzle只是图像在高分辨率网格下的单纯叠加，因而也没有很好地去像素化。随后在drizzle的基础上，fruchter于2011年又发展出了多次迭代结合傅立叶空间平滑的方法来多次提取残留信号，也即idrizzle技术。idrizzle首先要通过drizzle技术把多次观测到原始图像放到一个过采样的网格上，再多次与原始图像对比，从残差图像中提取大部分信号，并加到结果中，最后通过sinc插值到目标分辨率，比如临界采样分辨率(简称临界采样率，criticalsampling)。idrizzle能比较好地实现反卷积，给出的图像跟真实图像差不太多，缺点也很明显，就是耗费大量计算资源而且效果也不如后来我们发展的两套方法《细分有理曲面(正向)去像素化技术》(即dsrs，专利号：201510982531x)，《一种快速有效去像素化技术》(即fidrizzle，专利号：201611173333x)和《fidrizzle多次采样图像重建技术》(即fidrizzle，专利号：201710307681x)。

《细分有理曲面(正向)去像素化技术》的思想是在跟观测图像像素相当的标准网格(或目标网格)上建立一群小的曲面(曲面参数未知)，然后用所有观测图像(或dither图像)来拟合这些曲面的参数。特点是速度较快，而且以后进行的对这群小曲面的任何观测都几乎相当于直接观测真实图像。《一种快速有效去像素化技术》即fidrizzle，是去掉idrizzle的滤波和插值过程并且直接在需要的分辨率上重建图像。特点是收敛速度快，计算速度快，稳定，而且图像在中低频比idrizzle更加高保真。缺点是在某些情况下最高频率端的噪音比idrizzle的结果大。《fidrizzle多次采样图像重建技术》改进了fidrizzle技术，一方面保持了fidizzle的快速特点，另一方面又保持了idrizzle在高频端的优势。无论drizzle，idrizzle，fidrizzle还是fidrizzle它们输出的高保真图像都是限定分辨率或采样率的。本发明旨在改进和升级《细分有理曲面(正向)去像素化技术》，我们利用更为普遍的二元线性多项式所对应的二维曲面(即多项式曲面或简单曲面，simplesurface)来正向拟合观测图像，从而确定曲面参数，来达到最优反卷积目的。由于输出结果是一群简单曲面，所以理论上分辨率可以尽可能高，但实际受限于采样数据量的有限性和仪器物理局限性。从数学上看是利用一簇曲面来分段拟合观测图像。这簇曲面是基于同一组正交基的多项式曲面。下面

技术实现要素：
中所展示的实例是基于幂基的一簇简单曲面。

3发明内容

3.1基于铺装简单曲面拟合法(tessellatedsimplesurfacefitting，tssf)的多次曝光图像重建技术

我们在平面沿着x，y方向建立m×m的标准网格(网格格点尺寸要不小于观测仪器上一个物理像素，m×m的大小应该至少要包含我们的研究对象)，设第p行q列的格点上有一个np，q阶的简单曲面：

sp，q(x，y)＝cp，q，0+cp，q，1x+cp，q，2y+cp，q，3xy+cp，q，4x²+cp，q，5y²+cp，q，6xy²+cp，q，7x²y+cp，q，8x³+cp，q，9y³+…(1)

这个np，q阶简单曲面有b(np，q)＝(np，q+1)(np，q+2)/2个系数。在整个标准网格平面上系数的总数一方面我们用nx×ny的ccd像素矩阵对源进行了n次观测，把第k次观测(即第k副图)的第i行第j列的像素计数记为ik，i，j，由于每次观测的位移和旋转以及像素形变不同，因此ik，i，j也不尽相同，这也就是真实观测。另一方面我们用与真实观测完全相同的条件(如相同的位移，旋转和像素形变)对由铺装简单曲面组成的标准网格进行n次观测-即模拟观测(mimicobservation)。把第k次模拟观测(即第k副图)的第i行第j列的像素计数记为tk，i，j。因为tk，i，j是对标准网格上的亮度分布进行观测得到的，所以可以写为：

其中是标准网格上第p行q列的格点与第k次真实观测(或模拟观测)的第i行第j列的像素重叠的区域，设γk，i，j，p，q是这个区域的边界。区域的确定涉及到多边形切割技术，这里我们使用完全自主开发的代码实现了快速多边形切割算法，输出一个按顺时针方向的多边形顶点列表。公式(2)中sp，q(x，y)是一个正交基为幂基的线性多项式，因此对其积分总能得到解析积分函数。而且由于涉及到了封闭区域上的二重积分，所以我们可以利用格林(green)公式把二重积分写成沿着积分区域边界γk，i，j，p，q的线积分。于是公式(2)可重写为：

这里cp，q，l×wk，i，j，p，q，l是简单曲面sp，q(x，y)的第l项在边界γk，i，j，p，q上的线积分，cp，q，l是系数。

要让模拟观测最贴近真实观测可以这样构造χ²：

其中σk，i，j是真实观测中第k次观测的第i行第j列像素的噪音(noise)的标准差。最小化χ²就可以使模拟观测最贴近真实观测，利用最小二乘法：

由方程(3)，(4)和(5)可以得到：

也就是得到了如下的包含个变量的线性方程组，方程组的第f，g，h个方程是

也就是对标准网格的第f行g列格点上的sf，g(x，y)多项式的第h项求对cf，g，h的偏导后并令其等于0而得到的方程。该方程是我们铺装简单曲面拟合技术的核心。解线性齐次方程(7)可以得到所有的u个未知数cp，q，l。根据线性方程未知数不能大于条件数的原则，铺装简单曲面拟合法要求观测数目不小于简单曲面对应的最多未知数个数。也即，如果有10副曝光图像，一般不应该用超过三阶的曲面(10个未知数)去拟合观测。当然这也决定于标准网格的大小，对于相同的观测数目，大的标准网格可以使用更高阶的曲面。

特别声明：原则上基于正向反卷积技术可以使用任意一簇铺装参数化曲面去拟合多次曝光图像(tessellatedparameterizedsurfacefitting，tpsf)，其推导原理同简单曲面拟合。另外我们在tssf方法中加入了自适应代码，程序根据drizzle图像流量的变化率来判断该处所需拟合简单曲面的阶数。

3.2结果与比较

铺装简单曲面拟合技术(tssf)的结果并与drizzle的结果进行比较。由于ccd与cmos所用的材质是硅(si)和二氧化硅(sio2)，而这两者在常温300k(开尔文)下的热膨胀系数分别为αsi＝2.5×10^-6/k和是远远小于0.1％的，此后的结果中我们给每个ccd像素一个随机的0.1％的形变，当然现实情况要比这好得多，一是没有这么大的形变，二是形变一般都是沿着某个方向的线性的形变。另外还考虑了ccd的随机位移和旋转。

实例一：观测对象是埃里斑，图像噪声是泊松(光源)+高斯(背景)噪声。我们对源进行50次曝光(真实观测)，故选择重建分辨率是观测图像分辨率的7×7倍(50＞＝49)。图1中，左下图是50副观测图像中的一副，其余三幅图像的分辨率是左下图的7×7倍；左上是真实图像加噪音；右上图是利用drizzle方法对50次真实观测图像进行叠加之后的结果；右下图是我们tssf的图像重建结果。可以发现drizzle的结果明显要比观测图像好，有比较显著的环，但没有重建中心主极大环，而tssf的结果又明显要比drizzle好很多，从中心到外围的几个环都清晰可辨。为了能更定量地比较它们的差异，我们取图像上x＝y位置处像素上的流量(径向轮廓)作为参考值画出图2。虚点线代表图1中左上真实输入图像的径向轮廓图；划线代表drizzle重建结果对应图1中右上图；实线代表我们tssf重建的结果，对应图1中右下图。上图是径向轮廓图并已对真实峰值流量归一化，下图是上图的重建结果减去真实流量，也即流量残差。可以看到tssf的重建能力确实要比drizzle好很多。

实例二：观测对象是一个具有二维高斯亮度轮廓的源，其半高全宽fwhm～1-2个观测像素，等亮度轮廓线的长短轴轴比2∶1，图像噪声是泊松(光源)+高斯(背景)噪声。我们对源进行25次曝光(真实观测)并把这些真实观测图像通过drizzle，idrizzle和tssf的方法来重建源图像，并选择重建分辨率是观测图像分辨率的5×5倍(25＞＝25)。图3中，左上是真实图像加噪音；右上图是利用drizzle方法对25次真实观测图像进行叠加之后的结果；左下图是idrizzle进行10次迭代之后的结果；右下图是我们tssf方法的重建。可以看到tssf重建的总体效果是最好的，外围平滑得可以与drizzle相提并论，中心区域是远胜于drizzle的，与idrizzle相比tssf内圈外围都很好，但内圈外围的搭界区域稍稍有点突兀，由于图像取了对数，在随后的定量比较中在线性空间这些10-15像素位置处的突兀并不明显。由于我们使用了自适应的方法，可以看到tssf在外围都是0阶的，内外搭界区域是1阶的，内核变化剧烈区域是2阶的。同样为了定量比较这几种方法我们也画了径向轮廓图4，图4中，实点线代表idrizzle的重建结果对应图3的左下图，其余线型的意义同实例一。可以大体看到tssf仍是所有方法中最优秀的。

实例三：观测对象是高斯亮度轮廓的源，但相比于实例二旋转了45度并且半高全宽缩小1倍，变为fwhm～0.5-1个观测像素，椭率和噪音保持不变。因为曝光有85次所以选择重建分辨率是观测图像分辨率的9×9倍(85＞＝81)。图5中右上是85次曝光中的一次，从单次曝光甚至看不出这是个椭圆轮廓。其余图像代表的意义同实例二的图3。左下的idrizzle重建显示如果使用较少的迭代次数，椭圆中心峰值将不会被很好重建，会比较接近drizzle的结果导致峰值偏低；如果迭代次数比较多又会导致鬼影(ghost)问题，比如椭圆旁边的环形结构。所以对于尺度十分小的像进行重构idrizzle将面临困境。然而tssf仍然表现出比较高的水准，中心区域是2-3的高阶拟合周围迅速降到0-1阶。随后的定量比较我们也加入了drizzle的结果，如图6，其线型意义与实例二图4相同。可以看到对于小尺寸像的重建，drizzle几乎是无能为力的，中心已经基本抹平。而idrizzle虽然中心峰值处好一些，但又以牺牲外围(如鬼影)作为代价。只有tssf保持了一贯的优势，在重建之后外围高斯噪音主导的区域变得平坦，内部区域残差只留下柏松噪音。

3.3计算复杂度比较

drizzle的速度是最快的。idrizzle需要在过采样网格进行迭代和平滑，计算复杂度主要依赖于过采样程度和迭代次数，如比drizzle过采样2×2＝4倍，迭代10次，耗费的计算量是drizzle的4×2×10＝80倍，这还不算平滑过程。tssf的计算量主要在解线性方程组，这依赖于阶数也就是未知量个数和迭代要求精度，如果不使用自适应代码，其计算复杂度与idrizzle相当。使用自适应之后，信号变化不剧烈的地方就会停止使用高阶曲面进行拟合，从而把计算资源调整到需要高阶曲面到地方，这样计算量就会大大减少，对于细节不太多的图像，tssf的计算量一般在drizzle的十倍左右。

3.4讨论和结论

tssf基于我们之前开发的正向反卷积技术(《细分简单曲面(正向)去像素化技术》，专利号：201510982531x)，使用了更普遍的二元线性多项式曲面，即简单曲面。使用简单曲面的好处就是可以把二重积分转化为解析的线积分，这样就不必做数值积分，从而大大减少运算量。tssf对比idrizzle和drizzle的进步和优势主要体现在如下3个方面：

1.tssf的重建结果无论相对于idrizzle还是drizzle都是更加高保真的。

2.tssf在处理小尺度或变化剧烈信号的时候有先天的优势，而drizzle倾向于抹平小尺度信号，idrizzle则会带来鬼影效应。

3.自适应的tssf相比于idrizzle节省了大量计算资源。

在不久的将来很多新的望远镜设备要投入观测中来：比如nasa的widefieldinfraredsurveytelescope(wfirst)，欧空局的euclid，美国国家自然科学基机会资助的largesynopticsurveytelescope(lsst)和中国的天宫望远镜(thechinesespacestationopticaltelescope，cssot)。届时会产生海量的数据，如何快速地高保真地处理这些数据将成为当务之急。实际上这恰好给了tssf很大的用武之地。

天文领域：

1.对于跟踪姿态保持不够好的望远镜，可以使用多次曝光技术，缩短曝光时间，这样就会大大降低由于姿态不稳引起的图像轮廓模糊，然后再用tssf重建高分辨率观测图像。

2.无论是空间望远镜还是地面望远镜，都可以选择好的时段对准被观测源进行多次曝光，然后用tssf重建源的高分辨率图像。这就避免了不良天气条件或者空间望远镜被地球月球等遮挡的因素影响。

3.由于天文观测中，暗弱源往往占大多数，有了tssf就可以使用这些数目可观的以前只能舍弃的暗弱源来做更深空间的天文研究。

4.只要知道拍摄望远镜的硬件情况，位置等参数我们就可以在tssf的协助下对同一个源的来自不同望远镜不同历史时期的观测数据进行处理并生成高分辨率图像，从而达到充分利用历史数据的目的。

5.天文观测在有些情况下进行多次曝光是必须的，因为在有多个信号源而且亮度相差很大的情况下，为了增强弱源的信号强度同时又要保证强源不饱和，就必须采用多次曝光，这时候再用tssf快有有效地重建具有更高保真度的源的图像就很必要了，至少比当前的idrizzle要快要好。

数字图像监控领域，tssf技术能够利用连续的多帧录像画面重建得到被监控事物的高清图像。

微观物理学，微生物，医学成像等领域可以在像素分辨率有限的情况下用多次曝光结合tssf得到病毒，细菌或者有机分子的高分辨率图像。

最后，该技术为数字成像领域提供了这样一条途径：通过多次曝光和tssf技术可以对低采样率图像进行重建，以达到光学设备的最高分辨率极限。

4具体实施方式

我们用c语言开发了自适应tssf技术软件，软件会自动读取图像fits头文件的一些参数(如位置，旋转，ccd形变等)并重建高分辨率的源图像。

致谢：本发明受国家973项目(no.2015cb857003，no.2015cb857000，no.2013cb834900)，国家基金委项目(no.11333008，no.11233005，no.11273061)，江苏省杰出青年项目(no.bk20140050)和中科院宇宙学结构先导项目(no.xdb09010000)的支持，发明者在此对这些支持项目表示感谢。

5附图说明

本专利共有6幅附图，用来在视觉表观和定量方面对比dirzzle，idirzzle，和tssf三种重建方法的不同效果。附图说明如下：

1.实例一图1：左下图是50副观测图像中的一副；左上是真实图像加噪音；右上图是利用drizzle方法对50次真实观测图像进行叠加之后的结果；右下图是我们tssf的图像重建结果。

2.实例一图2：取图1上x＝y位置处像素上的流量的径向轮廓图。虚点线代表图1中左上真实输入图像的径向轮廓图；划线代表drizzle重建结果对应图1中右上图；实线代表我们tssf重建的结果，对应图1中右下图。

3.实例二图3：左上是真实图像加噪音；右上图是利用drizzle方法对25次真实观测图像进行叠加之后的结果；左下图是idrizzle进行10次迭代之后的结果；右下图是我们tssf方法的重建。

4.实例二图4：流量的径向轮廓图。实点线代表idrizzle的重建结果对应图3的左下图，其余线型的意义同实例一图2。

5.实例三图5：右上图是85次曝光中的一次，其余图像代表的意义同实例二的图3。

6.实例三图6：流量的径向轮廓图。其线型意义与实例二图4相同。