专利名称：超分辨率成像的装置及方法
技术领域：
本发明涉及一种实现超分辨率成像的装置及方法，属于光电成像技术领域。
技术背景近年来，光电成像技术发展迅速，在军事、安全、遥感、搜救等诸多领域应用广泛，获 取高分辨率的数字图像是人们不懈的追求。但由于光电成像系统探测器单元的有限几何尺寸 和探测器单元间距的存在，获取的数字图像存在模糊和混淆。特别是对于红外成像探测器， 探测器单元几何尺寸较大，探测器单元数目较少，常见的是320X240像素、640X480像素， 如此低的图像分辨率常常不能满足军事侦察、战场监视、遥感成像等方面的需求。通常，前端光学系统的分辨率是足够的，提高光电成像系统的分辨率关键在于提高光电 探测器阵列的分辨率。通过减小探测器单元尺寸、增大探测器面积或采用新的像素形状和排 列方式可以提高光电探测器阵列的分辨率，但常常受到灵敏度、工艺、价格等因素的限制。 可以考虑利用现有光电探测器阵列，对同一场景获取略有差异的多帧低分辨率图像，这种差 异是亚像素级的，以此增加获取图像的信息，通过图像融合可以重建出超过探测器分辨率的 高分辨率图像，即超分辨率成像。目前存在的超分辨率成像技术有微扫描法和微变焦法。微扫描法超分辨率成像是用微扫描技术获取的多帧经过亚像素平移的低分辨率图像，进 而重建出高分辨率图像。US4633317(Uwira et al.)、 US5291327(McEwen)、 US5774179(Chevrette, Fortin)等专利给出了很多微扫描技术，可以分为机械扫描法(压电陶瓷驱动、电机驱动等) 和几何分光法(棱镜分光、双折射晶体分光等)。若采用机械扫描法，需要在纵、横两个方向 上做高精度微扫描，实施高频振动小位移的机械装置复杂且昂贵；若采用分光法，不仅光路 复杂，而且分光后系统灵敏度降低，对红外成像尤为不适用。微变焦法超分辨率成像是用微变光学系统焦距的方法获取多帧放大倍率略微不同的低分 辨率图像，进而重建出高分辨率图像。CN1208952专利给出了微变焦法的详细描述。由于改 变光学系统焦距只需控制镜片在光轴方向上的微位移，采用精确可控的变焦镜头即可实现， 避免了采用微扫描中控制纵、横两个方向位移的高精度机械装置，因而微变焦法比微扫描法 有一定优越性。但微变焦后的像面位置会发生变化，需要做调焦补偿；而且不同焦距下，微 变焦量和调焦补偿量都不一样，这无疑增加了系统结构和控制的复杂度。因此，需要发展一种结构上更为简单、控制上更为简便、实现成本更为低廉的超分辨率成像技术。发明内容本发明的目的是简化微扫描法和微变焦法在结构和控制上的复杂度，降低实现超分辨率 成像的成本，提出一种利用微旋转法实现超分辨率成像的装置及方法。 本发明的技术方案如下本发明提出一种利用微旋转法实现超分辨率成像的装置，该装置包括光学成像物镜、光 电探测器阵列及读出电路、模数转换电路、信号处理及同步电路和显示器件，其特征在于 在光学成像物镜的前面、光学成像物镜和光电探测器阵列之间或光学成像物镜的内部加装转 像机构，该转像机构由光学转像部件、驱动部件和控制电路组成，光学转像部件采用棱镜、 平面反射镜或二者的组合，光学转像部件的光轴与光学成像物镜的光轴重合，与光电探测器 阵列所在平面垂直，并且经过光电探测器阵列的几何中心，光学转像部件绕自身光轴的旋转 能使目标像相对于光电探测器阵列发生旋转。在本发明的上述方案中，所述转像机构的驱动部件采用压电陶瓷或电机；所述的光电探测器阵列采用固态成像器件CCD、 CID或CMOS，并且这些器件的工作波段是红外、可见光、 紫外或它们的组合。本发明提出一种按上述方案实现超分辨率成像的微旋转方法，其特征在于该方法按如下 步骤进行-a) 将光学成像物镜对准待拍摄目标，通过调焦使目标清晰成像在光电探测器阵列上；b) 光电探测器阵列读出电路输出目标像的模拟信号，通过模数转换得到一帧低分辨率的 数字图像并存储下来，该低分辨率图像像素数目等于光电探测器阵列的有效像素数目；c) 控制转像机构，实现目标像相对于光电探测器阵列的微旋转，微旋转角度为预置量， 使光电探测器阵列四个角处像的最大位移量小于一个像素间隔；然后按步骤b)得到一帧低分 辨率的数字图像并存储下来；d) 再重复步骤c)至少n-2次，各次微旋转角度要有所不同；这里n为待求高分辨率图像 与低分辨率图像像素数之比；至此共得到至少n帧低分辨率图像；e) 低分辨率图像的每个像素在高分辨率图像上存在一个对应的"相关区域"，相关区域 内所有像素灰度值的线性加权和即为低分辨率图像像素的灰度值，线性加权系数由高分辨率 图像像素被相关区域覆盖的归一化面积决定；这样，对所有低分辨率图像的每个像素的灰度 值列出一个线性方程<formula>formula see original document page 6</formula>其中，A^为高分辨率图像的像素数；M为每帧低分辨率图像的像素数；g为所有p帧低 分辨率图像的联合向量形式，g(m)为g的第m个像素的灰度值；/为高分辨率图像的向量形 式，/0)为/的第r个像素的灰度值；T7为所有P帧低分辨率图像中含有的加性高斯噪声的向量形式，；/(w)为g的第m个像素中含有的加性高斯噪声的灰度值；^为g的第w个像素原所在帧相对于初始帧的微旋转量，决定了高分辨率图像像素上"相关区域"的位置； 为/(0的线性加权系数，由/的第r个像素被"相关区域"覆盖的归一化面积决定； 联立g的所有像素灰度值的线性方程得到一个稀疏线性方程组其中，『为线性加权系数组成的矩阵；f)求取步骤e)中所述稀疏线性方程组的最小二乘解，即得到超分辨率重建出的高分辨率 图像。本发明的第二种技术方案是 一种利用微旋转法实现超分辨率成像的装置，该装置包括 光学成像物镜、光电探测器阵列及读出电路、模数转换电路、信号处理及同步电路和显示器 件，其特征在于光学成像物镜的光轴与光电探测器阵列所在平面垂直，并且经过光电探测 器阵列的几何中心，使光电探测器阵列绕光学成像物镜的光轴旋转，实现目标像相对于光电 探测器阵列发生旋转。在本发明的第二种方案中，使光电探测器阵列绕光学成像物镜的光轴旋转采用压电陶瓷或电机驱动。所述的光电探测器阵列采用固态成像器件CCD、 CID或CMOS，并且这些器件的工作波段是红外、可见光、紫外或它们的组合。本发明提出一种按第二种方案实现超分辨率成像的微旋转方法，其特征在于该方法按如下步骤进行a) 将光学成像物镜对准待拍摄目标，通过调焦使目标清晰成像在光电探测器阵列上；b) 光电探测器阵列读出电路输出目标像的模拟信号，通过模数转换得到一帧低分辨率的数字图像并存储下来，该低分辨率图像像素数目等于光电探测器阵列的有效像素数目；C)使光电探测器阵列绕光学成像物镜的光轴旋转，实现目标像相对于光电探测器阵列的 微旋转，微旋转角度为预置量，使光电探测器阵列四个角处像的最大位移量小于一个像素间 隔；然后按步骤b)得到一帧低分辨率的数字图像并存储下来；d) 再重复步骤c)至少n-2次，各次微旋转角度要有所不同；这里n为待求高分辨率图像与低分辨率图像像素数之比；至此共得到至少n帧低分辨率图像；e) 低分辨率图像的每个像素在高分辨率图像上存在一个对应的"相关区域"，相关区域 内所有像素灰度值的线性加权和即为低分辨率图像像素的灰度值，线性加权系数由高分辨率 图像像素被相关区域覆盖的归一化面积决定；这样，对所有低分辨率图像的每个像素的灰度 值列出一个线性方程=且K +咖)， 1 ^ pM其中，iV为高分辨率图像的像素数；M为每帧低分辨率图像的像素数；g为所有p帧低分辨率图像的联合向量形式，g(m)为g的第m个像素的灰度值；/为高分辨率图像的向量形 式，/00为/的第r个像素的灰度值；7为所有户帧低分辨率图像中含有的加性高斯噪声的 向量形式，；/(m)为g的第m个像素中含有的加性高斯噪声的灰度值；^为g的第w个像素 原所在帧相对于初始帧的微旋转量，决定了高分辨率图像像素上"相关区域"的位置； 为的线性加权系数，由/的第r个像素被"相关区域"覆盖的归一化面积决定； 联立g的所有像素灰度值的线性方程得到一个稀疏线性方程组其中，『为线性加权系数组成的矩阵；f)求取步骤e)中所述稀疏线性方程组的最小二乘解，即得到超分辨率重建出的高分辨率 图像。本发明与现有技术相比，具有以下优点及突出性效果本发明只需控制转像机构或使光 电探测器阵列微旋转，得到一系列有相对微旋转的低分辨率图像，进而实现超分辨率图像重 建，结构上更为简单、控制上更为简便、实现成本更为低廉。
图1为本发明提出的一种微旋转法超分辨率成像装置实施例的系统方框图。图2a为图1所示实施例中转像机构的横截面结构示意图。图2b为图2a所示转像机构中光学器件采用道威棱镜的结构和光学特性示意图。图2c为图2a所示转像机构中光学器件采用平面反射镜的结构和光学特性示意图。图3为微旋转法超分辨率成像的空域离散观察模型。图4为微旋转法超分辨率成像中"相关区域"示意图。图1 图4中l一光学成像物镜；2 —转像机构；3 —光电探测器阵列；4一光电探测器 阵列读出电路；5 —信号处理及同步电路；6 —模数转换电路；7 —转像机构控制电路；8 —显 示器件；9一光学转像部件；IO—内支撑框；ll一外支撑框；12 —压电陶瓷驱动器件。
具体实施方式
下面结合附图和具体实施例对本发明所述利用微旋转法实现超分辨率成像的装置及方法 作进一步详细说明-图1为一种利用微旋转法实现超分辨率成像的装置系统方框图，由光学成像物镜1、转像 机构2及其控制电路7和压电陶瓷驱动器件12、光电探测器阵列3及其读出电路4、模数转 换电路6、信号处理及同步电路5和显示器件8组成。转像机构2可以设置在光学成像物镜1 的前面、光学成像物镜1和光电探测器阵列3之间或光学成像物镜1的内部。图2a为图l所示实施例中转像机构2的横截面结构示意图，包含光学转像部件9、内支 撑框IO、外支撑框11和压电陶瓷驱动器件12，其中光学转像部件9和内支撑框10固接。光学转像部件9由棱镜(图2b所示为道威棱镜，也可用阿贝棱镜、别汉棱镜等)、平面反射镜(图2C所示)或二者的组合构成；光学转像部件9的光轴与光学成像物镜1的光轴重 合，与光电探测器阵列3所在平面垂直，并且经过光电探测器阵列3的几何中心；光学转像部件9绕自身光轴的旋转能使目标像相对于光电探测器阵列3发生旋转。光学转像部件9绕自身光轴的旋转可以采用压电陶瓷或电机驱动，如图2a所示内支撑框 10在压电陶瓷驱动器件12的推挽驱动下带动转像光学部件9相对于外框11微旋转；光学转 像部件9的微旋转要与低分辨率的数字图像的获取同步，也即每次微旋转后信号处理及同步 电路5发出同步信号，光电探测器阵列读出电路4输出目标像的模拟信号，通过模数转换得 到一帧低分辨率的数字图像并存储下来。利用微旋转法实现超分辨率成像的装置中，光电探测器阵列可采用固态成像器件CCD、 CID或CMOS，并且这些器件的工作波段可以是红外、可见光、紫外或它们的组合。利用微旋转法实现超分辨率成像时，先将光学成像物镜l对准待拍摄目标，通过调焦使 目标清晰成像在光电探测器阵列3上。光电探测器阵列读出电路4输出目标像的采样模拟信号，通过模数转换电路6的量化得 到一帧低分辨率的数字图像送至信号处理及同步电路5并存储下来，该低分辨率图像的像素 数目等于光电探测器阵列3的有效像素数目。通过控制电路7控制压电陶瓷驱动器件12产生微位移，驱动转像机构2使目标像绕光学 成像物镜的光轴相对于光电探测器阵列3发生微旋转，微旋转角度为预置量，使光电探测器 阵列四个角处像的最大位移量小于一个像素间隔；然后按前一段所述步骤得到一帧低分辨率 的数字图像并存储下来。再重复前一段所述步骤至少n-2次，各次微旋转角度要有所不同；这里n为待求高分辨率 图像与低分辨率图像像素数之比；至此共得到至少n帧低分辨率图像。信号处理及同步电路5按照下面将要详细叙述的超分辨率重建算法，根据以上得到的至 少n帧低分辨率图像重建出高分辨率图像，并显示在显示器件8上。下面详细说明利用微旋转法实现超分辨率成像的重建方法，这是一种基于空域离散观察 模型的超分辨率重建算法图3为利用微旋转法超分辨率成像的空域离散观察模型。把待求高分辨率图像/看作对目 标的高分辨率采样；在第A次成像时，控制转像机构使/微旋转《角度，得到第A:帧微旋转 的高分辨率图像A。 A经过低分辨率采样，并受到与信号统计独立的加性高斯噪声/^的污染， 得到第A帧低分辨率图像叙。设ft的大小为M= M XiV2， /和A的大小为iV=￡7iV; X￡2iV2， i^和丄2为沿光电探测器阵列横向和纵向的采样间隔，也是高分辨率图像相对于低分辨率图像 在横向和纵向上的像素数之比。使用微旋转法重建高分辨率图像/至少需要"二丄/X&帧低分 辨率图像。令户为获取的低分辨率图像的总帧数，贝"《p， ； 》"。图4所示为有相对微旋转(为方便观察和理解，旋转角度画得较大)的两次成像。细网格代表待求高分辨率图像/的像素，粗网格代表低分辨率观测图像&的像素，则gt的每个像 素在/上存在一个对应的"相关区域"，也即/上被&的该像素覆盖的区域，如图4中箭头所 示的阴影部分，相关区域的位置由微旋转角度《决定。高分辨率图像上相关区域内所有像素灰度值的线性加权和即为低分辨率图像像素的灰度值，线性加权系数『(《)由高分辨率图像像素被相关区域覆盖的归一化面积决定，对于已知 的微旋转角度《可以在成像前求出各像素点对应『(《)并预置到信号处理及同步电路中去。 于是，可以对所有低分辨率图像的每个像素的灰度值列出一个线性方程g(m) = S W)/(。 +咖)， 1 s附《PM其中，iV为高分辨率图像的像素数；M为每帧低分辨率图像的像素数；g为所有/7帧低 分辨率图像的联合向量形式，g(m)为g的第附个像素的灰度值；/为高分辨率图像的向量形式，/0)为/的第r个像素的灰度值；T7为所有p帧低分辨率图像中含有的加性高斯噪声的向量形式，；/(附)为g的第附个像素中含有的加性高斯噪声的灰度值；^为g的第w个像素 原所在帧相对于初始帧的微旋转量，决定了高分辨率图像像素上"相关区域"的位置；R(&) 为/0)的线性加权系数，由/的第r个像素被"相关区域"覆盖的归一化面积决定； 联立g的所有像素灰度值的线性方程得到一个稀疏线性方程组其中，『为线性加权系数组成的矩阵。用最速下降法、共轭梯度法或最小残差法等可以求得上述稀疏线性方程组的最小二乘解， 即得到超分辨率重建出的高分辨率图像/。
权利要求
1.一种利用微旋转法实现超分辨率成像的装置，该装置包括光学成像物镜、光电探测器阵列及读出电路、模数转换电路、信号处理及同步电路和显示器件，其特征在于在光学成像物镜的前面、光学成像物镜和光电探测器阵列之间或光学成像物镜的内部加装转像机构，该转像机构由光学转像部件、驱动部件和控制电路组成，光学转像部件采用棱镜、平面反射镜或二者的组合，光学转像部件的光轴与光学成像物镜的光轴重合，与光电探测器阵列所在平面垂直，并且经过光电探测器阵列的几何中心，光学转像部件绕自身光轴的旋转能使目标像相对于光电探测器阵列发生旋转。
2. 如权利要求l所述的利用微旋转法实现超分辨率成像的装置，其特征在于所述转像 机构的驱动部件采用压电陶瓷或电机。
3. 如权利要求1所述的利用微旋转法实现超分辨率成像的装置，其特征在于所述的光电探测器阵列采用固态成像器件CCD、 CID或CMOS，并且这些器件的工作波段是红外、可见光、紫外或它们的组合。
4. 一种利用微旋转法实现超分辨率成像的装置，该装置包括光学成像物镜、光电探测器阵列及读出电路、模数转换电路、信号处理及同步电路和显示器件，其特征在于光学成像物镜的光轴与光电探测器阵列所在平面垂直，并且经过光电探测器阵列的几何中心，使光电 探测器阵列绕光学成像物镜的光轴旋转，实现目标像相对于光电探测器阵列发生旋转。
5. 如权利要求4所述的利用微旋转法实现超分辨率成像的装置，其特征在于使光电探测器阵列绕光学成像物镜的光轴旋转采用压电陶瓷或电机驱动。
6. 如权利要求4所述的利用微旋转法实现超分辨率成像的装置，其特征在于所述的光电探测器阵列采用固态成像器件CCD、 CID或CMOS,并且这些器件的工作波段是红外、可 见光、紫外或它们的组合。
7. —种采用如权利要求1所述装置实现超分辨率成像的微旋转方法，其特征在于该方法按如下步骤进行a) 将光学成像物镜对准待拍摄目标，通过调焦使目标清晰成像在光电探测器阵列上；b) 光电探测器阵列读出电路输出目标像的模拟信号，通过模数转换得到一帧低分辨率的 数字图像并存储下来，该低分辨率图像像素数目等于光电探测器阵列的有效像素数目；c) 控制转像机构，实现目标像相对于光电探测器阵列的微旋转，微旋转角度为预置量， 使光电探测器阵列四个角处像的最大位移量小于一个像素间隔；然后按步骤b)得到一帧低分 辨率的数字图像并存储下来；d) 再重复步骤c)至少n-2次，各次微旋转角度要有所不同；这里n为待求高分辨率图像 与低分辨率图像像素数之比；至此共得到至少n帧低分辨率图像；e)低分辨率图像的每个像素在高分辨率图像上存在一个对应的"相关区域"，相关区域 内所有像素灰度值的线性加权和即为低分辨率图像像素的灰度值，线性加权系数由高分辨率 图像像素被相关区域覆盖的归一化面积决定；这样，对所有低分辨率图像的每个像素的灰度 值列出一个线性方程g(m) g吼)/(r) +咖)，其中，iV为高分辨率图像的像素数；M为每帧低分辨率图像的像素数；g为所有p帧低 分辨率图像的联合向量形式，g(m)为g的第m个像素的灰度值；/为高分辨率图像的向量形 式，/(0为/的第r个像素的灰度值；；;为所有p帧低分辨率图像中含有的加性高斯噪声的 向量形式，；K附)为g的第附个像素中含有的加性高斯噪声的灰度值；A为g的第m个像素 原所在帧相对于初始帧的微旋转量，决定了高分辨率图像像素上"相关区域"的位置；^(4)为/(。的线性加权系数，由/的第r个像素被"相关区域"覆盖的归一化面积决定；联立g的所有像素灰度值的线性方程得到一个稀疏线性方程组其中，『为线性加权系数组成的矩阵；0求取步骤e)中所述稀疏线性方程组的最小二乘解，即得到超分辨率重建出的高分辨率图像。
8. —种采用如权利要求4所述装置实现超分辨率成像的微旋转方法，其特征在于该方法 按如下步骤进行-a) 将光学成像物镜对准待拍摄目标，通过调焦使目标清晰成像在光电探测器阵列上；b) 光电探测器阵列读出电路输出目标像的模拟信号，通过模数转换得到一帧低分辨率的 数字图像并存储下来，该低分辨率图像像素数目等于光电探测器阵列的有效像素数目；c) 使光电探测器阵列绕光学成像物镜的光轴旋转，实现目标像相对于光电探测器阵列的 微旋转，微旋转角度为预置量，使光电探测器阵列四个角处像的最大位移量小于一个像素间 隔；然后按步骤b)得到一帧低分辨率的数字图像并存储下来；d) 再重复步骤c)至少n-2次，各次微旋转角度要有所不同；这里n为待求高分辨率图像 与低分辨率图像像素数之比；至此共得到至少n帧低分辨率图像；e) 低分辨率图像的每个像素在高分辨率图像上存在一个对应的"相关区域"，相关区域 内所有像素灰度值的线性加权和即为低分辨率图像像素的灰度值，线性加权系数由高分辨率 图像像素被相关区域覆盖的归一化面积决定；这样，对所有低分辨率图像的每个像素的灰度 值列出一个线性方程<formula>formula see original document page 3</formula>其中，iV为高分辨率图像的像素数；M为每帧低分辨率图像的像素数；g为所有/7帧低 分辨率图像的联合向量形式，g(附)为g的第W个像素的灰度值；/为高分辨率图像的向量形式，/0)为/的第r个像素的灰度值；；/为所有p帧低分辨率图像中含有的加性高斯噪声的 向量形式，/7(m)为g的第附个像素中含有的加性高斯噪声的灰度值；^为g的第m个像素 原所在帧相对于初始帧的微旋转量，决定了高分辨率图像像素上"相关区域"的位置； 为/(0的线性加权系数，由/的第r个像素被"相关区域"覆盖的归一化面积决定； 联立g的所有像素灰度值的线性方程得到一个稀疏线性方程组其中，『为线性加权系数组成的矩阵；f)求取步骤e)中所述稀疏线性方程组的最小二乘解，即得到超分辨率重建出的高分辨率 图像。
全文摘要
超分辨率成像的装置及方法，涉及一种利用微旋转法实现超分辨率成像的装置及方法。本发明通过控制转像机构或使光电探测器阵列微旋转得到一系列有相对微旋转的低分辨率图像，把低分辨率图像的每个像素的灰度值看作是待求高分辨率图像上对应相关区域内所有像素灰度值的线性加权和，对所有低分辨率图像的每个像素的灰度值列出一个线性方程，联立得到一个稀疏线性方程组，其最小二乘解即为超分辨率重建出的高分辨率图像。与现有的微扫描法、微变焦法超分辨率成像技术相比，微旋转法只需控制转像机构或使光电探测器阵列微旋转，结构上更为简单、控制上更为简便、实现成本更为低廉。
文档编号H04N5/33GK101217625SQ20081005600
公开日2008年7月9日 申请日期2008年1月11日 优先权日2008年1月11日
发明者刘永坚, 峰 周, 张海涛, 李光伟, 王东生, 赵达尊, 海 闫 申请人:清华大学;中国人民解放军空军装备研究院雷达与电子对抗研究所