基于多角度线阵ccd传感器的遥感图像超分辨率重建方法
【技术领域】
[0001] 本发明属于图像处理领域，具体涉及一种基于多角度线阵CCD传感器的遥感图像 超分辨率重建方法。
【背景技术】
[0002] 在航空航天中，遥感相机作为信息获取装置，可以对地球目标区域进行捕捉，形成 该区域的二维影像图。随着CCD技术的发展，传统的胶片相机已经被CCD传感器所取代。 (XD传感器可以分为线阵(XD传感器和面阵C⑶两个类型。其中面阵C⑶可以用来直接获 取二维图像信息，然而其象元总数多，而单行象元数目少，帧幅率受到限制。线阵CCD传感 器总象元数目少，却全部分布在一维空间上，因此单行象元数可以做到远高于面阵(XD。另 外线阵CCD传感器的分辨率通常高于面阵CCD。因此在空间遥感技术中线阵CCD传感器使 用广泛。
[0003] 线阵CCD传感器的分辨率与单位长度内象元的个数相关。如果要提高图像的分 辨率，可以提高象元的分布密度，从而获得更多的像素点。但是这种方法使得单个象元 的信噪比大大降低，严重影响图像的质量。另外一种方法就是利用图像超分辨率（Super resolution，SR)的方法，从多幅低分辨率（Lowresolution，LR)的图像中重建高分辨率 (Highresolution，HR)图像，从而增加图像中的细节信息。尽管目前已经存在很多利用多 幅LR图像重建HR图像的方法，然而这些方法通常是在多幅LR图像之间存在未知的位移、 旋转、模糊、噪音等情况下产生的，因此模型比较复杂，需要考虑LR图像之间的配准，重建 算法也相对比较复杂，难以应用到实时系统中。以下内容对这些方法做简单介绍。
[0004] 为了进行超分辨率重建，第一个首要的步骤就是对LR图像生成过程进行建模，建 立LR图像和HR图像之间的关系。在此基础上重建HR图像就可转化为一个逆问题来求解 了。一般来说，从一副HR图像产生LR图像产生的包含三个步骤：空间变换，包括位移、旋 转等；模糊，包括聚焦模糊、运动模糊等；下采样。另外，在整个过程中通常会伴有噪声的干 扰，可以在下采样后引入噪声环节。图1给出了LR图像产生的整个过程。
[0005] 假设HR图像的大小为N，用x=[Xpx2, . . .xN]表示，LR图像的大小为M，第k个 LR图像用yk=[ytl，yt2,...yk，M]表示。则图1中所示的LR图像生成过程可以用下面的模 型建立（假设LR图像的个数为p):
[0006] yk=DBkMkx+nk, 1 ^k^p
[0007] 其中Mk是表示第k个LR图像的空间变换的矩阵，其大小为NXN;Bk是表示第k个 LR图像在生成过程中所产生的模糊，大小为NXN;D为下采样矩阵，大小为MXN。通常，可 以将公式改写如下：
[0008] yk=Wkx+nk，1 <k<p，其中Wk=DBkMk。
[0009] 多幅超分辨率重建的过程通常包含以下几个步骤：配准、插值和恢复（Park，Sung Cheol,MinKyuPark,andMoonGiKang.''Super-resolutionimagereconstruction:a technicaloverview.''SignalProcessingMagazine,IEEE20,no. 3 (2003) : 21-36. ) 〇 配 准过程是为了建立多个LR图像之间的相互变换关系，在位移、旋转等信息未知的情况下， 需要根据图像内容先对其配准。由于本
【发明内容】
采用特定排列的多线阵CCD传感器，为此 各个LR图像之间的相对位置和旋转信息已知，所以配准过程在此并未涉及。插值过程是为 了从LR图像可到与HR图像想同大小的图像，在反向恢复过程中可以作为初始值带入。恢 复过程中，目前常用的算法包括基于非均匀插值的方法，基于频域混叠关系建模的方法，基 于正则化的方法，和基于凸集投影的方法（projectionontoconvexsets，POCS)〇 [0010] 基于非均匀插值的方法通过多个LR图像中像素位置的差异性在一个高密度网 格内产生一个高分辨率图像，并对其使用解卷积的方法进行去模糊操作。Ur和Gross通 过多通道采样理论来对多个空间移位的LR图像进行非均勾插值（Ur,Hanoch,andDaniel Gross.''Improvedresolutionfromsubpixelshiftedpictures. ''CVGIP:Graphical ModelsandImageProcessing54,no. 2 (1992):181-186.)，其中各个LR图像之 间的位移是假定精确已知的；Komatsu等（T.Komatsu，K.Aizawa，T.Igarashi，and T.Saito, "Signal-processingbasedmethodforacquiringveryhighresolution imagewithmultiplecamerasanditstheoreticalanalysis, ^Proc.Inst.Elec. Eng.，vol. 140,no. 1，pt.I，pp. 19-25,Feb. 1993.)通过图像块匹配的方式来估计各个LR图 像之间的位移，米用Landweber算法（L.Landweber，"AniterationformulaforFredholm integralequationsofthefirstkind，"Amer.J.Math.vol. 73,pp. 615-624, 1951) 来获得高分辨率图像；Hardie等（M.S.Alam，J.G.Bognar，R.C.Hardie，and B.J.Yasuda,"Infraredimageregistrationandhigh-resolutionreconstruction usingmultipletranslationallyshiftedaliasedvideoframes，"IEEETrans. Instrum.Meas.，vol. 49,pp. 915-923,Oct. 2000)采用基于梯度的配准方法，估计各个LR图 像之间的位移，采用最邻近插值方法进行插值，最后再利用维纳滤波去除模糊效应和减少 噪声。这些方法比较直观，计算相对比较简单，可以用于实时应用，然而其重建图像质量并 不能达到很好。
[0011] 基于频域混叠关系建模的方法最早由Tsai和Huang(R.Y.Tsaiand T.S.Huang,"Multipleframeimagerestorationandregistration，"in AdvancesinComputerVisionandImageProcessing.Greenwich,CT:JAIPress Inc.，1984,pp. 317-339)提出。这种方法通常基于以下三个原则：傅里叶变换的平移性质， 连续傅里叶变换和HR图像、LR图像的离散傅里叶变换之间的关系，原始HR图像是有限带宽 信号。该方法后来被Rhee和Kang(S.H.RheeandM.G.Kang，"Discretecosinetransform basedregularizedhigh-resolutionimagereconstructionalgorithm，"Opt.Eng.，vo 1. 38,no. 8,pp. 1348-1356,Aug. 1999.)用离散余弦变换来代替以减少内存使用和计算复杂 度。基于频域的方法理论简单，易于建模，然而这种方法局限于各个LR图像之间的全局位 移变换，并且不易于引入相关的图像频域的先验知识。
[0012] 基于正则化的方法中，典型的就是有约束最小均方差（Constrainedleast squares，CLS)的方法（A.K.Katsaggelos,Ed.DigitalImageRestoration.Heidelberg,Ge rmany:Springer-Verlag.Springer,vol. 23, 1991.)，通过有关x的先验知识来增加相对应 的约束项，从而使得解空间的范围缩小。CLS方法通过求解下面的最小化问题得到：
[0013]
【主权项】
1. 一种基于多角度线阵CCD传感器的遥感图像超分辨率重建方法，其特征在于，包括 以下步骤： 1) 利用多个线阵CCD传感器对目标区域的二维图像信息进行捕捉，得到相同对象区域 的多个不同角度的捕捉图像；其中，这些线阵CCD传感器扇形排布，且相邻两个线阵CCD传 感器之间的夹角相同，相对于地面目标具有相同的视角； 2) 利用多个线阵CCD传感器对目标区域的二维图像信息进行捕捉，利用线阵CCD单行 像素个数远高于面阵CCD的特点，得到目标区域的初始分辨率较高的图像信息； 3) 根据多个线阵CCD传感器之间的相对排列位置关系，以及各自所捕捉到的场景信息 之间的相关性以及差异性，通过最小化均方误差的方法，对多个线阵CCD传感器所得到的 初始分辨率较高的低分辨率图像的细节信息进行进一步恢复，得到更高分辨率的图像。
2. 根据权利要求1所述的基于多角度线阵CCD传感器的遥感图像超分辨率重建 方法，其特征在于：所述步骤1)中，相邻两个线阵CCD传感器之间的夹角为△ 0，且0 <A0 ^ 5〇
3. 根据权利要求1或2所述的基于多角度线阵CCD传感器的遥感图像超分辨率重建方 法，其特征在于：所述步骤1)中，位于中间的传感器与飞行器的前进方向相互垂直。
4. 根据权利要求3所述的基于多角度线阵CCD传感器的遥感图像超分辨率重建方法， 其特征在于，所述步骤3)中，对低分辨率图像的细节信息进行恢复的具体步骤如下： 1) 计算高分辨率图像x的初值 在迭代初始时，将位于中间位置的传感器所得到的低分辨率图像yfc+1)/2，通过双线性插 值的方法将其扩大到与高分辨率图像具有相同大小的图像
；其中，P 为线阵CCD的个数或低分辨率图像的个数； 2) 利用如下公式对x进行迭代更新： xi+1=x厂a(Ax「b)
a为控制更新补偿的参数，y为控制传统的信号保真项和细节保真项之间的权重，i为算法在当前的迭代次数，k和1为低分辨率图像的标号，1 <k<p; 3) 当相邻两次迭代误差小于给定的阈值时，即可停止更新；最终得到的x就为对高分 辨率图像的估计。
【专利摘要】本发明公开了一种基于多角度线阵CCD传感器的遥感图像超分辨率重建方法，该方法首先将线阵CCD传感器的按照特定方式、不同角度排列，对目标区域的二维图像信息进行捕捉，再根据线阵CCD传感器之间的相对排列位置关系，以及各自所捕捉到的场景信息之间的相关性以及差异性，从多个线阵CCD传感器所得到的低分辨率图像来得到高分辨率的图像。发明利用线阵CCD在一维空间上单行像素远高于面阵CCD的特点，通过多个线阵CCD传感器不同角度的排列获取不同角度下的同一目标区域图像，并且利用各个图像之间的信息相关性与差异性，获得高分辨率图像，可应用于航拍图像、卫星遥感图像等的超分辨率重建；所提出超分辨率重建算法实现简单，重建效果精确，易于实际应用。
【IPC分类】G06T5-50
【公开号】CN104574338
【申请号】CN201510039154
【发明人】牟轩沁, 薛武峰
【申请人】西安交通大学
【公开日】2015年4月29日
【申请日】2015年1月26日