专利名称：帧间差分过采样重构方法及在微扫描显微热成像中的应用的制作方法
技术领域：
本发明涉及一种光学微扫描显微热成像系统的帧间差分过采样重构方法， 属于红外热成像领域，可用于微电子芯片及其电路设计和故障检测、生物医学 显微热成像分析、科学研究等领域，为它们提供高分辨力微细热分析的手段。
背景技术：
热成像技术目前在工业检测、医学诊断和科学研究等领域已获得广泛的应 用，成为有效的热诊断工具。但目前大多数热成像系统为望远工作模式，不适 宜应用在需要显微分析和检测的场合，影响了对事物的认识和故障的分析。而 实际却有许多需要显微热分析和检测的场合。例如，在微电子集成芯片及其电 路的设计、可靠性分析以及缺陷检测中，需要利用显微热成像技术进行非接触
测量诊断；在生物医学诊断中，需要利用显微热成像技术对癌细胞的诊断与生 长分析提供技术手段等。
为了满足上述领域的需要，国外卯年代开始推出显微热成像系统。由于显 微热成像属于放大成像，所以要求探测器具有较高的热灵敏度。因此，国外显 微热成像系统的核心部件大多基于制冷型红外探测器，所以国外的显微热成像 系统价格昂贵、功耗大、体积大、重量重。由于以上原因，显微热成像产品在 国内的推广应用受到极大的限制。目前只有几篇关于进口制冷型热成像显微镜 的使用报道。例如，电子5所1996年引进美国的EDO/BARNES公司的显微红 外热像仪InfraScope,它釆用液氮制冷的InSb焦平面探测器，配置10x， 5X， lx， 1/5，红外物镜，最高空间分辨力可达5,。清华大学引进TVS-5000型显微热 像仪进行热分析和热设计。而目前国内对显微镜热成像产品的研发还比较薄弱， 尚无热成像显微镜产品出现。
而非制冷焦平面探测器具有较髙性价比、无需制冷、功耗低、体积小、重 量轻等特性，特别是近年来随着热成像技术的发展，非制冷焦平面探测器成本 大大降低，促进了在各种领域的应用。但目前尚未见到基于非制冷焦平面探测 器显微热成像系统的专门报道或产品。
为此，申请人基于非制冷红外焦平面探测器研制了一种新型的显微热像仪，已申请了专利"显微热成像方法及其装置"(专利申请号2007101001656)。理论 分析表明该显微热像仪的衍射限截止频率乂-58.14cydes/mm,探测器采样率 为22.22 cycles/mm，采样奈奎斯特频率为11.11 cycles/mm，系统属于欠采样系 统。欠采样是导致频谱混淆的直接因素，所以经红外显微物镜的热图像信号中 超过1U1 cycles/mm以上的频率成份将发生混淆，从而降低了图像质量，图像 空间分辨力较低。因此上述显微热像仪尚难满足需要高分辨力图像质量的显微 热分析领域的需求。
光学微扫描是一种提高空间釆样率，获得高分辨力成像的有效技术途径。 我们研制了一种基于光学平板旋转微扫描器的高分辨力显微热成像系统(如图
1) ，并申请了专利"带有光学平板微扫描器的高分辨力显微热成像方法"(专利申 请号200710160758,1)。其通过光路中倾斜平板的旋转，获得2x2微扫描的图像， 进而经过过采样重构，获得高分辨力显微热图像。
然而，由于系统实际加工、装调等的影响及系统工作机械震动等所带来的误 差因素，实际得到4幅低分辨力图像的微位移位置不是严格的正立正方形(如图
2) ,即不能得到理想标准2x2微扫描模式所需沿水平和垂直方向分别移动半个像 素间距的微位移，对后续过采样重构图像质量造成影响。本发明将利用图2微 位移位置的4幅低分辨力图像获得标准2x2微扫描模式图像，并进行过采样重 构获得高分辨力的显微热图像。
发明内容
本发明的目的是为进一步提高申请人已发明专利"带有光学平板微扫描器 的高分辨力显微热成像装置"中显微热像仪的空间分辨力，而提供帧间差分过采 样重构方法及在微扫描显微热成像中的应用。
该方法利用光学平板微扫描显微热成像系统以微扫描零点为起点采集4幅 非标准2x2微扫描模式图像，然后利用泰勒展开原理获得标准2x2微扫描图像并 完成过采样重构，该方法还可以应用于其它光学微扫描光电成像系统中。
本发明所解决的技术问题是光学平板微扫描显微热成像系统无法获得标准 2x2微扫描图像，由这4幅图像直接插至得到的显微热图像的空间分辨力难以达 到预期效果，需要进一步提高系统空间分辨力。
为此，本发明采用光学平板旋转微扫描器，以微扫描零点为起点采集4幅非标准2x2微扫描图像，然后利用帧间差分过采样重构法获得标准2x2微扫描图 像并经过直接过采样重构得到高分辨力图像，以满足微电子集成电路芯片及其 电路设计、医学诊断和科学研究领域对显微热分析的应用需求。 本发明的技术方案
针对带有光学平板旋转微扫描器的显微热成像系统无法获得标准2x2微扫 描模式所需沿水平和垂直方向分别移动半个像素间距的微位移问题，基于泰勒 级数展开原理，本发明提出了一种帧间差分过采样重构法，可以利用实际采集的 非标准欠采样图像获得与标准2x2微扫描模式相当的高分辨力过采样图像。
本发明的一种帧间差分过采样重构方法为-
(l)当已知4幅非标准2x2微扫描欠釆样图像 Y-[g,(/,/),g2(/，y'),g3(/,/),g4(/,/)],并由微位移计算出位移矩阵A",则有
X = A_1Y (1) X = [x, ， ;c2, x3 ， ;c4 ] =
其中，^
其中,
而
^为^的伴随矩阵<
Hflf,广。,3 -ailW7-a21W8-a3lW9
0
0
w， w,
.8
0
(2)
2
W7 - 22 3广"23 32
(3)
、
32
(4)
则由方程(l)可以得到等效的4幅标准2x2微扫描欠采样图像，即得到微位移位置为正立正方形的图像；
(2)利用(1)的4幅标准2x2微扫描欠采样图像通过直接插值法得到过采
样高分辨力图像。
本发明的一种帧间差分过采样重构方法在光学平板旋转微扫描显微热成像 系统中的应用步骤如下
(1) 通过红外显微物镜和光学平板将物体的红外辐射图像成像到红外焦平 面探测器上；
(2) 按系统微扫描零点定标方法完成微扫描零点定标；
(3) 由红外显微物镜所成场景的显微热图像通过光学平板后，以步骤(2)中 的微扫描零点为起点，在四个依次相差卯。的倾角条件下，得到4帧低分辨力图 像；
(4) 通过图像采集卡依次将步骤(3)中的4帧低分辨力标准视频热图像转化
为数字图像，并存于计算机中；
(5) 利用步骤(4)中得到的4幅非标准欠采样图像，通过帧间差分过采样重构 方法获得与标准2x2微扫描相当的一幅高分辨力过采样热图像；
(6) 对步骤(5)中的高分辨力图像进行显微热图像显示、分析、存储和其它(如 超分辨力复原)处理。
所述步骤(3)具体包括光学平板微扫描控制器控制旋转台的旋转，实现4 个方向的微位移成像，得到非标准2x2微扫描欠采样图像。 有益效果
本发明针对带有光学平板旋转微扫描器的显微热成像系统无法获得标准 2x2微扫描模式所需沿水平和垂直方向分别移动半个像素间距的微位移问题，基 于泰勒级数展开原理，提出了一种帧间差分过采样重构方法，可以利用实际采 集的非标准欠釆样图像获得标准2x2微扫描模式的高分辨力过采样图像。处理 算法可有效提高显微热成像的空间分辨力。由于处理算法简单，计算量小，可 实现快速处理。可促进带有光学平板微扫描器的显微热成像技术在各种领域的 应用，提髙设计、实验分析和研究的技术水平，提高诊断的效率与可靠性，使 其应用于更多的场合。
由于类似不规则微扫描的不可控微扫描成像问题在许多可见光和红外成像
7系统应用中普遍存在，因此，本发明的算法也可以延伸扩展到这些应用中，在 系统硬件条件下，通过数字图像处理方法进一步提高系统空间分辨力，挖掘系 统的潜力。
图1是光学平板旋转微扫描显微热成像系统照片； 图2是实际系统2x2微扫描成像位置；
图3是标准2x2微扫描过采样重建示意图4是高分辨力图像及其微扫描欠釆样图像，其中(a)是原始高分辨力图 像；(b)是4帧低分辨力图像；
图5是过采样重构仿真研究，其中(a)是双线性放大图像；(b)是直接过采
样图像；(c)是帧间差分过采样图像； 图6是低分辨力红外热图像序列；
图7是红外热图像重构结果图，其中(a)是帧间差分过采样重构图像；(b) 是直接过采样重构图像；
图8是实际采集的4幅低分辨力显微热图象；
图9是人民币一分硬币显微热图像实验，其中(a)是帧间差分过采样重构 图像(SNT- 7.0341); (b)是直接过釆样重构图像(SNT =6.8256)。
具体实施例方式
下面结合附图和实施例来进一步说明本发明的技术方案。
本发明的核心是针对已设计的光学平板旋微扫描显微热成像系统无法获得
标准2x2微扫描图像，导致系统空间分辨力不能有效提高，不能完全满足一些 实际场合应用的问题，基于泰勒展开原理，研究了一种获得标准2x2微扫描高 分辨力图像的帧间差分过采样重构方法9 帧间差分过釆样重构方法如下
假设(2州x(2A0像素的过釆样高分辨力图像o，它是由标准2x2微扫描模式 的4幅低分辨力欠采样图像直接交叉嵌入构成(如图3)。
0(2/-1，2卜1), 0(2/-1,2力,0(2/，2/-1), 0(2/，2刀，/ = 1,2,...乾乂-l,2，…,V (1)
由于实际微扫描位移的不规则(如图2)，第f幅低分辨力图像相对微扫描零点的第1幅低分辨力图像之间存在亚像素的微位移(x,， 乂)， (/=1, 2,3,4)。我们以第1 幅低分辨力图像为起点，将系统采集的4幅微扫描低分辨力欠采样图像表示为
<formula>formula see original document page 9</formula> (2) 其中，年，^为第/幅低分辨力图像相对第1幅的归一化微位移(单位为像元)，即
<formula>formula see original document page 9</formula>,
式中，(2A)为相邻像素中心距离。对于图1的微扫描系统，归一化微位移(逆时 针)分别为
(0.00， 0.00)， (0.03， -0.56), (0.53, -0.55), (0.60, 0.06) 由于&A小于1，将式(2)在第1幅低分辨力图像处按泰勒级数展开，得
<formula>formula see original document page 9</formula>
利用差分代替微分，得<formula>formula see original document page 9</formula> (5)
——- 0(2/,2+ 0(2z' —1,2 乂' -1) - 0(2/ —1,2/) - 0(2/,2 / -1) 卿
将式(5)式代入式(4)，整理得
<formula>formula see original document page 9</formula>(9)
则有<formula>formula see original document page 9</formula>则式(10)可以改写为矩阵形式
A 对于图2的微扫描微位移位置，不难证明，A矩阵可逆，即
<formula>formula see original document page 10</formula>而
这表明即使按图2所示的不规则微扫描位置，也可由式(13)的矩阵运算，得 到等效的标准2x2微扫描欠釆样图像，即得到微位移位置为正立四边形的图像。 由于经标定后，A"矩阵已知，因此，本发明给出的帧间差分过采样算法只需通 过代数运算即可完成，无需迭代，计算量较小，实用性强。
本发明帧间差分过采样重构方法在微扫描显微热成像系统中应用的具体步 骤为《
(1)通过红外显微物镜和光学平板将物体的红外辐射图像成像到红外焦平 面探测器上；(2) 按系统微扫描零点定标方法完成微扫描零点定标；
(3) 由红外显微物镜所成场景的显微热图像通过光学平板后，以步骤(2)中 的微扫描零点为起点在四个依次相差90。的倾角条件下，得到4帧低分辨力图像;
(4) 通过图像采集卡依次将步骤(3)中的4帧低分辨力标准视频热图像转化 为数字图像，并存于计算机中；
(5) 利用步骤(4)中得到的4幅非标准欠采样图像利用帧间差分过采样重构 方法获得标准2x2微扫描欠采样图像，通过与获取微扫描图像相同的方式交叉 融合4帧低分辨力图像，获得一幅高分辨力的过采样热图像；
(6) 对步骤(5)中的高分辨力图像进行显微热图像显示、分析、存储和其它(如 超分辨力复原)处理。
实施例
Lena图像仿真实验
利用图2微位移位置由高分辨力图像(图4(a), 192x192像素)模拟得到4幅 低分辨力图像(图4(b)， 96x96像素)。图5给出了由图6-3(b)第l帧低分辨力图 像的双线性插值放大法、直接过采样重构法(4帧低分辨力图像按标准2x2过采 样直接嵌入方法)及帧间差分过采样重构法的图像重构结果。从目视效果看，帧 间差分过采样重构方法效果最好，其图像信息最丰富，可分辨的细节最多(头发 丝)，图像最清晰，最接近原始髙分辨力图像。
为了定量比较分析不同重构方法，我们采用峰值信噪比PSNR、通用图像质 量因子g和图像信息熵SNT等参数评价重构图像的效果(如表1)。由表1可见， 对于图2的微位移，帧间差分过采样重构方法评价参数最好，而且较双向性放 大法改善较大。
表i图像重构的评价参数
图像处理形式PSNRQSNT
双线性放大76.%29O.,7.3982
标准过釆袢重构79.53010.99097.4123
帧间差分过采样重构79.78890.99177.5100
通过反复实验，由目视效果和评价参数综合分析得到如下结论: 如果微位移位置与正立方形偏差较大，则此时则帧间差分法最好，其 次是直接过采样法，而且越接近正立方形，则帧间差分法越好。
如果微位移位置与正立方形偏差较小，则此时直接过釆样方法好于帧 间差分法，但均好于双线性放大法。
无论是直接过采样法还是帧间差分过采样法，系统进行零点定标的效 果均好于不进行零点定标的。
图6是4帧望远模式低分辨力红外热图像，分别利用帧间差分过采样法 (结果如图7(a))和直接过采样法(结果如图7(b))完成了图像重构。由图7可见， 帧间差分过采样重构图像更清晰，细节更多(如窗户边缘、空调、墙面等细 节)，而帧间差分过采样重构比原始图像的空间分辨力明显提高，图像得到 放大，从而验证了帧间差分法过采样重构在红外热图像领域的成功应用。
实际显微热图像的实验
为验证帧间差分过采样重构法在实际光学微扫描显微热成像系统中应用的 有效性，以定标零点为起点，完成图像序列的采集与实际处理工作。
工作步骤如下
1) 利用零点定标方法找到系统微扫描零点。
2) 旋转光学平板，按标准2x2微扫描模式采集4幅图像(如图8所示)。
3) 对步骤(2)中的4幅图像利用频率域亚像素图像配准技术估计其中三幅图 像相对基准图的微位移，得到微位移矩阵A。
4) 利用本发明提出的帧间差分法即得到标准2x2微扫描微位移图像，然后 按图3方法进行过采样重构，最后得到过采样高分辨力图像(如图9(a))。 图9(b)是将4幅图像直接按图3方法进行插值过采样重构的图像。
可以看出帧间差分过采样重建无论是视觉效果还是评价参数均比直接过 采样好，包含更多的信息量(SNT较大)，可分辨的细节更多一些(硬币上天安门 图像的一些条纹更清晰)，而且较原始低分辨力图像的空间分辨力明显提高，图 像得到了放大，证明了光学微扫描显微热成像系统帧间差分过釆样重构方法的 有效性，系统可满足髙分辨力细微热分析领域的需求。
综上所述，本发明提供了光学平板旋转微扫描显微热成像系统的帧间差分 高分辨力图像重构方法。该光学微扫描显微热成像系统应用于微电子和光电子器件及领域，可提高集成电路芯片及其可靠性设计水平，保证微电子和光电子
器件及其产品的性能和质量；应用于医学领域，可为医学诊断、癌症检测等提 供新的技术手段；应用于科学研究领域，可为科技人员提供新的分析工具；应 用于公安刑侦领域，可为可疑物证、痕迹的侦别提供新的技术手段，具有很好 的应用前景和推广价值。该显微热成像系统进一步结合超分辨力图像处理算法 将会大幅度提高系统的空间分辨力，从而应用于更多的需要高分辨力细微热分 析的领域。
权利要求
1、帧间差分过采样重构方法，其特征在于(1)当已知4幅非标准2×2微扫描欠采样图像Y＝[g1(i，j)，g2(i，j)，g3(i，j)，g4(i，j)]，并由微位移计算出位移矩阵A-1，则有X＝A-1Y (1)X＝[x1，x2，x3，x4]＝[O(2i-1，2j-1)，O(2i，2j-1)，O(2i-1，2j)，O(2i，2j)]其中，A’为A的伴随矩阵。w1＝a23a34-a24a33w2＝a14a33-a13a34w3＝a13a24-a14a23w4＝a24a32-a22a34其中，w5＝a12a34-a14a32 (3)w6＝a14a22-a12a24w7＝a22a33-a23a32w8＝a13a32-a12a33w9＝a12a23-a13a22而detA＝a12a23a34-a12a24a33-a13a22a34+a13a24a32+a14a22a33-a14a23a32 (4)则由方程(1)可以得到等效的4幅标准2×2微扫描欠采样图像，即得到微位移位置为正立正方形的图像；(2)利用(1)的4幅标准2×2微扫描欠采样图像通过直接插值法得到过采样高分辨力图像。
2、帧间差分过采样重构方法在微扫描显微热成像中的应用，其特征在于应 用步骤如下(1) 通过红外显微物镜和光学平板将物体的红外辐射图像成像到红外焦平 面探测器上；(2) 按系统微扫描零点定标方法完成微扫描零点定标；(3) 由红外显微物镜所成场景的显微热图像通过光学平板后，以步骤(2)中 的微扫描零点为起点，在四个依次相差卯°的倾角条件下，得到4帧低分辨力图 像；(4) 通过图像釆集卡依次将步骤(3)中的4帧低分辨力标准视频热图像转化 为数字图像，并存于计算机中；(5) 利用步骤(4)中得到的4幅非标准欠采样图像，通过帧间差分过采样重构 方法获得与标准2x2微扫描相当的一幅高分辨力过采样热图像；(6) 对步骤(5)中的高分辨力图像进行显微热图像显示、分析、存储和其它(如 超分辨力复原)处理。
3、如权利要求2所述的帧间差分过采样重构方法在微扫描显微热成像中的 应用，其特征在于所述步骤(3)具体包括光学平板微扫描控制器控制旋转台 的旋转，实现4个方向的微位移成像，得到非标准2x2微扫描欠采样图像。
全文摘要
本发明涉及帧间差分过采样重构方法及在微扫描显微热成像中的应用，属于红外热成像领域。本发明采用光学平板旋转微扫描器，以微扫描零点为起点采集4幅非标准2×2微扫描图像，利用基于泰勒展开原理的帧间差分过采样重构法获得标准2×2微扫描图像并经过直接过采样重构得到高分辨力图像。该帧间差分过采样重构图像无论是视觉效果还是评价参数均比直接过采样好，包含更多的信息量，可分辨的细节更多一些，而且较原始低分辨力图像的空间分辨力明显提高，同时图像得到了放大。该方法还可以应用于其它光学微扫描光电成像系统中来进一步提高系统空间分辨力，挖掘系统潜力。
文档编号G01R31/303GK101430295SQ20081018326
公开日2009年5月13日 申请日期2008年12月12日 优先权日2008年12月12日
发明者超 徐, 李福文, 霞 王, 王岭雪, 金伟其, 艳 陈, 高美静 申请人:北京理工大学