专利名称：基于光学非下采样轮廓波变换的图像融合方法和装置的制作方法
技术领域：
本发明涉及图像处理领域，具体地讲，是一种基于光学非下采样轮廓波 (contourlet)变换的图像融合方法和装置。
背景技术：
随着传感器技术的发展，单一的可见光模式逐渐发展为多种传感器模式。各种传 感器具有不同的成像机理、不同的工作波长范围、不同的工作环境与要求，完成不同的功 能。由于传感器自身物理特性、成像机理和观察视角等各个方面的种种限制，单一的图像传 感器往往不能够从场景中提取足够的信息，以致于很难甚至无法独立获得对一幅场景的全 面描述。为了满足实际中的需要，充分利用多传感器的数据信息，各种数据融合技术快速发 展起来。图像融合是数据融合的一个非常重要的分支，是20世纪70年代后期提出的概念， 是综合传感器、图像处理、信号处理、计算机及人工智能的现代高新技术。目前，图像融合技 术在许多领域都得到了广泛的应用，包括视频监控、小区安防、自动识别、计算机视觉、医学 图像处理。通常情况下，红外图像可提供较完整的目标信息，但是其背景信息却模糊不清；相 反地可见光图像能够提供全面的背景信息，但目标信息不明显。通过图像融合技术，可获取 目标和背景信息均较为清晰的融合后图像。小波变换是图像处理的有效工具，它能针对图像的特定频率成分进行处理，并很 好地反映信号的零维奇异特征，已被成功地应用于图像融合中。但是，常用的二维小波是 由两个一维小波的张量积形成，其方向选择性有限，且各向同性，难以很好地表示图像的边 缘、轮廓和纹理等具有高维奇异性的几何特征。非下采样轮廓波变换是一种真正意义上的图像的二维表示方法，具有良好的多分 辨率、局部化和方向性等优良特性，并且具有平移不变性。它将小波的优点延伸到高维空 间，能够更好地刻画高维信息的特征，更适合应用于图像融合中，提高融合图像的精确性和 可靠性。但是，非下采样轮廓波变换在计算机中进行计算时的庞大的计算量制约了其应用 的进一步推广，基于非下采样轮廓波变换的图像融合技术具有融合速度慢的显著缺点，难 以满足图像融合的实时性的要求。
发明内容
针对现有技术的不足，本发明的目的是要提供一种图像融合速度快的基于光学非 下采样轮廓波变换的图像融合方法和装置。为此，本发明提供了一种基于光学非下采样轮廓波变换的图像融合方法，按照以 下步骤进行将红外图像和可见光图像分别进行光学非下采样轮廓波变换，对应地得到红 外图像的非下采样轮廓波变换的第一数值结果和可见光图像的非下采样轮廓波变换的第 二数值结果；将第一数值结果和第二数值结果经过融合决策处理后得到融合后图像的非下采样轮廓波变换的第三数值结果；将第三数值结果进行非下采样轮廓波逆变换，得到融合 后图像；融合决策处理为对于第一数值结果和第二数值结果进行加权求和。根据本发明的一个方面，融合决策处理为对于第一数值结果和第二数值结果中对 应位置上的系数，首先比较两个系数的绝对值，将绝对值大的系数的加权系数置为0. 7，绝 对值小的系数的加权系数置为0. 3，然后将第一数值结果和第二数值结果进行加权求和得 到第三数值结果。本发明还提供了一种基于光学非下采样轮廓波变换的图像融合装置，包括光学非 下采样轮廓波变换模块、融合决策模块和非下采样轮廓波逆变换模块，光学非下采样轮廓 波变换模块用于将红外图像和可见光图像分别进行光学非下采样轮廓波变换，对应地得到 红外图像的非下采样轮廓波变换的第一数值结果和可见光图像的非下采样轮廓波变换的 第二数值结果；融合决策模块用于将第一数值结果和第二数值结果经过融合决策处理后得 到融合后图像的非下采样轮廓波变换的第三数值结果；非下采样轮廓波逆变换模块用于将 第三数值结果进行非下采样轮廓波逆变换，得到融合后图像；融合决策模块进行融合决策 处理为对于第一数值结果和第二数值结果进行加权求和。根据本发明的另一个方面，光学非下采样轮廓波变换模块包括激光光源、准直透 镜、第一电寻址空间光调制器、第一傅立叶透镜、第二电寻址空间光调制器、第二傅立叶透 镜和CCD (CCD =Charge Coupled Device，电荷耦合装置)光电耦合器件，激光光源位于准直 透镜的前焦面处，准直透镜后方25 30cm处安装第一电寻址空间光调制器，第一电寻址空 间光调制器位于第一傅立叶透镜的前焦面处，第一傅立叶透镜的后焦面与第二傅立叶透镜 的前焦面汇合在一处，且在此处安装第二电寻址空间光调制器，第二傅立叶透镜的后焦面 处安装C⑶光电耦合器件；激光光源、准直透镜、第一电寻址空间光调制器、第一傅立叶透 镜、第二电寻址空间光调制器、第二傅立叶透镜、CXD光电耦合器件在同一轴线上；第一电 寻址空间光调制器还连接有第一计算机，第二电寻址空间光调制器还连接有第二计算机， CXD光电耦合器件还连接有第三计算机。根据本发明的又一个方面，激光光源输出功率为90 llOmw，偏振比为1000 1， 发散角彡0. 5mrad ；准直透镜的焦距为300mm，孔径直径为75mm ；第一电寻址空间光调制器 和第二电寻址空间光调制器的分辨率为1024X768，液晶尺寸为18. 4mmX13. 8mm，像元尺 寸为18 μ mX 18 μ m，刷新频率为30Hz，对比度为400 1，最高透射率为16% ；第一傅立叶 透镜和第二傅立叶透镜的焦距为300mm，孔径直径为75mm ；CXD光电耦合器件的输出图像最 大分辨率为3072 X 2048，感光元件尺寸为22. 7mmX15. 1mm。根据本发明的又一个方面，融合决策模块利用第三计算机将第一数值结果和第二 数值结果经过融合决策处理后得到融合后图像的非下采样轮廓波变换的第三数值结果。根据本发明的又一个方面，融合决策模块进行融合决策处理为对于第一数值结果 和第二数值结果中对应位置上的系数，首先比较两个系数的绝对值，将绝对值大的系数的 加权系数置为0. 7，绝对值小的系数的加权系数置为0. 3，然后将第一数值结果和第二数值 结果进行加权求和得到第三数值结果。根据本发明的又一个方面，非下采样轮廓波逆变换模块利用第三计算机将第三数 值结果进行非下采样轮廓波逆变换，得到融合后图像。根据本发明的又一个方面，该基于光学非下采样轮廓波变换的图像融合方法用于红外图像和可见光图像融合的用途。与现有技术相比，本发明的有益效果是该图像融合方法和装置中采用光学方法 来完成非下采样轮廓波变换，极大地减小了数值变换的计算量，提高了计算速度，从而提高 了图像融合的速度，满足图像处理实时性的要求。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为本发明的基于光学非下采样轮廓波变换的图像融合方法的原理图；图2为本发明的基于光学非下采样轮廓波变换的图像融合装置的结构示意图；图3为本发明的基于光学非下采样轮廓波变换的图像融合方法中的示例性红外 图像；图4为本发明的基于光学非下采样轮廓波变换的图像融合方法中的示例性可见 光图像；以及图5为采用本发明的图像融合方法将图3和图4融合后的示例性图像。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本发明提供了一种基于光学非下采样轮廓波变换的图像融合方法，其原理如图1 所示，该方法包括以下步骤将红外图像和可见光图像分别进行光学非下采样轮廓波变换， 对应地得到红外图像的非下采样轮廓波变换的第一数值结果和可见光图像的非下采样轮 廓波变换的第二数值结果；将第一数值结果和第二数值结果经过融合决策算法处理后得到 融合后图像的非下采样轮廓波变换的第三数值结果；将第三数值结果进行非下采样轮廓波 逆变换，得到融合后图像。在该方法中，融合决策处理为对第一数值结果和第二数值结果进行加权求和得到 第三数值结果。具体而言，融合决策处理为对于第一数值结果和第二数值结果中对应位置 上的系数，首先比较两个系数的绝对值，将绝对值大的系数的加权系数置为0. 7，绝对值小 的系数的加权系数置为0. 3，然后将第一数值结果和第二数值结果进行加权求和得到第三 数值结果。本发明还提供了一种基于光学非下采样轮廓波变换的图像融合装置，包括光学非 下采样轮廓波变换模块、融合决策模块和非下采样轮廓波逆变换模块，光学非下采样轮廓 波变换模块用于将红外图像和可见光图像分别进行光学非下采样轮廓波变换，对应地得到 红外图像的非下采样轮廓波变换的第一数值结果和可见光图像的非下采样轮廓波变换的 第二数值结果；融合决策模块用于将第一数值结果和第二数值结果经过融合决策处理后得 到融合后图像的非下采样轮廓波变换的第三数值结果；非下采样轮廓波逆变换模块用于将 第三数值结果进行非下采样轮廓波逆变换，得到融合后图像。图2示出的是本发明的图像融合装置的结构，该图像融合装置中光学非下采样轮廓波变换模块包括激光光源1、准直透镜2、第一电寻址空间光调制器3、第一傅立叶透镜4、 第二电寻址空间光调制器5、第二傅立叶透镜6和CXD光电耦合器件7，激光光源1位于准 直透镜2的前焦面处，准直透镜2后方25 30cm处安装第一电寻址空间光调制器3，一般 选择安装在26cm，第一电寻址空间光调制器3位于第一傅立叶透镜4的前焦面处，第一傅立 叶透镜4的后焦面与第二傅立叶透镜6的前焦面汇合在一处，且在此处安装第二电寻址空 间光调制器5，第二傅立叶透镜6的后焦面处安装CCD光电耦合器件7 ；激光光源1、准直透 镜2、第一电寻址空间光调制器3、第一傅立叶透镜4、第二电寻址空间光调制器5、第二傅立 叶透镜6、CXD光电耦合器件7在同一轴线上；第一电寻址空间光调制器3还连接有第一计 算机8，第二电寻址空间光调制器5还连接有第二计算机9，CXD光电耦合器件还连接有第 三计算机10。其中，激光光源1的型号为虹扬2000，输出功率为90 llOmw，在实验中可以将输 出功率设定为lOOmw，偏振比(方向)为1000 1，发散角彡0. 5mrad。准直透镜2的型号为GC0-0202M，焦距为300mm，孔径直径为75mm。 第一电寻址空间光调制器3和第二电寻址空间光调制器5的液晶板采用的是SONY lcx029，其分辨率为1024X768，液晶尺寸为18. 4mmX13. 8mm，像元尺寸为18μπιΧ18μπι， 刷新频率为30Hz，对比度为400 1，最高透射率为16%。第一傅立叶透镜4和第二傅立叶透镜6的型号为GC0-0202M，焦距为300mm，孔径 直径为75mm。CXD光电耦合器件7的型号为cannon EOS 300D，其输出图像最大分辨率为 3072 X 2048，感光元件尺寸为 22. 7mmX 15. 1mm。光学非下采样轮廓波变换模块在对红外图像与可见光图像进行非下采样轮廓波 变换时，激光光源1通过准直透镜2形成平行光照射在第一电寻址空间光调制器3上，首先 由第一计算机8控制将红外图像加载到第一电寻址空间光调制器3上，通过第一傅立叶透 镜4实现对红外图像的傅立叶变换，由第二计算机9控制将频域形式的非下采样轮廓波滤 波器加载到第二电寻址空间光调制器5上，在这里完成红外图像的频谱与频域形式的非下 采样轮廓波滤波器相乘，然后通过第二傅立叶透镜6实现对频域相乘结果的傅立叶变换， CCD光电耦合器件7位于第二傅立叶透镜6的后焦面处，采集红外图像的光学非下采样轮廓 波变换后的第一数值结果，并读入第三计算机10 ；再由第一计算机8控制将可见光图像加 载到第一电寻址空间光调制器3上，通过第一傅立叶透镜4实现对可见光图像的傅立叶变 换，由第二计算机9控制将频域形式的非下采样轮廓波滤波器加载到第二电寻址空间光调 制器5上，在这里完成可见光图像的频谱与频域形式的非下采样轮廓波滤波相乘，然后通 过第二傅立叶透镜6实现对频域相乘结果的傅立叶变换，CCD光电耦合器件7位于第二傅立 叶透镜6的后焦面处，采集可见光图像的光学非下采样轮廓波变换后的第二数值结果，并 读入第三计算机10，在第三计算机10中对第一数值结果和第二数值结果进行进一步处理。融合决策模块可以利用第三计算机10对第一数值结果和第二数值结果进行加权 求和以融合得到第三数值结果。具体而言，融合决策处理进行如下操作对于第一数值结果 和第二数值结果中对应位置上的系数，首先比较两个系数的绝对值，将绝对值大的系数的 加权系数置为0. 7，绝对值小的系数的加权系数置为0. 3，然后将第一数值结果和第二数值 结果进行加权求和得到第三数值结果。
非下采样轮廓波逆变换模块也可以利用第三计算机10对第三数值结果的非下采 样轮廓波逆变换以得到融合后图像。图3示出的是实验中采用的一张示例性红外图像，图4 示出的是一张示例性可见光图像，经过本发明的图像融合技术处理之后能够得到如图5所 示的融合后图像，清楚地展示了图3和图4上的内容，能够满足使用需要。本发明的用途为实现红外图像和可见光图像的融合，应用领域涉及视频监控、小 区安防、自动识别、计算机视觉、医学图像处理等众多领域，与传统的基于非下采样轮廓波 变换的红外与可见光图像融合方法相比，可以极大地提高图像融合的速度。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应 视为本发明的保护范围。
权利要求
一种基于光学非下采样轮廓波变换的图像融合方法，其特征在于按照以下步骤进行将红外图像和可见光图像分别进行光学非下采样轮廓波变换，对应地得到红外图像的非下采样轮廓波变换的第一数值结果和可见光图像的非下采样轮廓波变换的第二数值结果；将所述第一数值结果和所述第二数值结果经过融合决策处理后得到融合后图像的非下采样轮廓波变换的第三数值结果；将所述第三数值结果进行非下采样轮廓波逆变换，得到融合后图像；所述融合决策处理为对于所述第一数值结果和所述第二数值结果进行加权求和。
2.根据权利要求1所述的基于光学非下采样轮廓波变换的图像融合方法，其特征在 于所述融合决策处理为对于所述第一数值结果和所述第二数值结果中对应位置上的系 数，首先比较所述两个系数的绝对值，将绝对值大的系数的加权系数置为0. 7，绝对值小的 系数的加权系数置为0. 3，然后将所述第一数值结果和所述第二数值结果进行加权求和得 到所述第三数值结果。
3.一种基于光学非下采样轮廓波变换的图像融合装置，其特征在于包括光学非下采 样轮廓波变换模块、融合决策模块和非下采样轮廓波逆变换模块，所述光学非下采样轮廓波变换模块用于将红外图像和可见光图像分别进行光学非下 采样轮廓波变换，对应地得到红外图像的非下采样轮廓波变换的第一数值结果和可见光图 像的非下采样轮廓波变换的第二数值结果；所述融合决策模块用于将所述第一数值结果和所述第二数值结果经过融合决策处理 后得到融合后图像的非下采样轮廓波变换的第三数值结果；所述非下采样轮廓波逆变换模块用于将所述第三数值结果进行非下采样轮廓波逆变 换，得到融合后图像；所述融合决策模块进行融合决策处理为对于所述第一数值结果和所述第二数值结果 进行加权求和。
4.根据权利要求3所述的基于光学非下采样轮廓波变换的图像融合装置，其特征在 于所述光学非下采样轮廓波变换模块包括激光光源(1)、准直透镜(2)、第一电寻址空间 光调制器(3)、第一傅立叶透镜(4)、第二电寻址空间光调制器(5)、第二傅立叶透镜(6)和 CCD光电耦合器件(7)，其中，所述激光光源(1)位于所述准直透镜(2)的前焦面处，所述准直透镜(2)后方25 30cm处安装所述第一电寻址空间光调制器(3)，所述第一电寻址空间光调制器(3)位于所 述第一傅立叶透镜(4)的前焦面处，所述第一傅立叶透镜(4)的后焦面与所述第二傅立叶 透镜(6)的前焦面汇合在一处，且在此处安装所述第二电寻址空间光调制器(5)，所述第二 傅立叶透镜的后焦面处安装所述CCD光电耦合器件(7)；所述激光光源(1)、准直透镜(2)、 第一电寻址空间光调制器(3)、第一傅立叶透镜(4)、第二电寻址空间光调制器(5)、第二傅 立叶透镜(6)、CXD光电耦合器件(7)在同一轴线上；所述第一电寻址空间光调制器(3)还 连接有第一计算机(8)，第二电寻址空间光调制器(5)还连接有第二计算机(9)，C⑶光电 耦合器件(7)还连接有第三计算机(10)。
5.根据权利要求4所述的基于光学非下采样轮廓波变换的图像融合装置，其特征在于，所述激光光源(1)输出功率为90 llOmw，偏振比为1000 1，发散角≤0. 5mrad ；所 述准直透镜⑵的焦距为300mm，孔径直径为75mm;所述第一电寻址空间光调制器(3)和第 二电寻址空间光调制器(5)的分辨率为1024X768，液晶尺寸为18. 4mmX13. 8mm，像元尺寸 为18 μ mX 18 μ m，刷新频率为30Hz，对比度为400 1，最高透射率为16% ；所述第一傅立 叶透镜(4)和第二傅立叶透镜(6)的焦距为300mm，孔径直径为75mm ；所述C⑶光电耦合器 件(7)的输出图像最大分辨率为3072 X 2048，感光元件尺寸为22. 7mmX15. 1mm。
6.根据权利要求4或5所述的基于光学非下采样轮廓波变换的图像融合装置，其特征 在于所述融合决策模块利用所述第三计算机(10)将所述第一数值结果和所述第二数值 结果经过融合决策处理后得到融合后图像的非下采样轮廓波变换的第三数值结果。
7.根据权利要求6所述的基于光学非下采样轮廓波变换的图像融合装置，其特征在 于，所述融合决策模块进行融合决策处理为对于所述第一数值结果和所述第二数值结果中 对应位置上的系数，首先比较所述两个系数的绝对值，将绝对值大的系数的加权系数置为 0. 7，绝对值小的系数的加权系数置为0. 3，然后将所述第一数值结果和所述第二数值结果 进行加权求和得到所述第三数值结果。
8.根据权利要求4或5所述的基于光学非下采样轮廓波变换的图像融合装置，其特征 在于所述非下采样轮廓波逆变换模块利用第三计算机(10)将所述第三数值结果进行非 下采样轮廓波逆变换，得到融合后图像。
9.一种根据权利要求1所述的基于光学非下采样轮廓波变换的图像融合方法，用于红 外图像和可见光图像融合的用途。
全文摘要
本发明公开了一种基于光学非下采样轮廓波变换的图像融合方法，包括以下步骤将红外图像和可见光图像分别进行光学非下采样轮廓波变换，对应地得到红外图像的非下采样轮廓波变换的第一数值结果和可见光图像的非下采样轮廓波变换的第二数值结果；将第一数值结果和第二数值结果经过融合决策处理后得到融合后图像的非下采样轮廓波变换的第三数值结果；将第三数值结果进行非下采样轮廓波逆变换，得到融合后图像。对应地，本发明还公开了一种图像融合装置，包括光学非下采样轮廓波变换模块、融合决策模块和非下采样轮廓波逆变换模块。本发明极大地减小了计算量，从而提高了图像融合的速度，能够满足实时性要求。
文档编号G02B27/30GK101894364SQ201010187860
公开日2010年11月24日 申请日期2010年5月31日 优先权日2010年5月31日
发明者余传祥, 姜文浩, 李勇明, 温罗生, 蒲亨立, 蒲秀娟, 覃剑, 韩亮, 黄晓青 申请人:重庆大学