本公开涉及图像处理技术领域，具体而言，涉及红外图像和可见光图像融合的方法及装置。
背景技术：
红外摄像机与一般的可见光摄像机不同，它采用红外摄像机获取目标的红外辐射，记录的是目标自身的红外辐射信息，虽然红外摄像机对热目标的探测性能较好，但其对背景的亮度变化不敏感，成像分辨率低，不利于人眼判读。而可见光摄像机则只敏感于目标场景的反射，而与目标场景的热对比无关，并且可见光摄像机分辨率高，能够提供目标所在场景的细节信息。
一般而言，由于目标和背景的红外辐射特性差异，红外图像可提供完整的目标信息，然而它包含的背景信息却模糊不清；相反可见光图像能够提供较全面的背景信息，但目标信息不明显。例如在利用红外摄像机来检测设备是否正常运行的场景中，就是通过红外温度显示来判断设备是否正常运行，此时红外摄像机所提供的图像是设备运行时红外温度显示图，用户可从该图中判断设备中是否存在过热情况，但由于设备所处背景环境的温度分布均匀，导致红外摄像机所提供的背景信息对比度不明显，成像分辨率较低，用户不能准确识别出过热的具体部位，也就是不能分辨出设备的哪个部件出现了故障，从而会耽误了维修的时间。并且还可能存在，用户不能仅根据该红外图像来判断红外图像中的设备究竟为哪种设备，也会延误维修人员的正常维修工作。
在实现本发明的过程中，发现现有技术中至少存在如下问题：现有的红外摄像机所提供的红外图像的背景信息较模糊、分辨率低，不能帮助用户准确的判断设备出现故障的具体部位。
因此，需要一种新的红外图像和可见光图像融合的方法及装置。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现要素：
本申请公开一种红外图像和可见光图像融合的方法及装置，提高了对热目标的识别能力，从而增强了维护人员对故障目标的定位效率。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种红外图像和可见光图像融合的方法，包括：
对所述可见光图像进行颜色空间转换，获得其亮度分量；
提取所述可见光图像亮度分量的边缘信息，将所述边缘信息和所述红外图像的亮度分量融合，获得融合亮度分量；
对所述红外图像进行赋伪彩，获得伪彩色红外图像；
对所述伪彩色红外图像进行颜色空间转换，获得其色调分量和饱和度分量；
将所述融合亮度分量、所述色调分量和所述饱和度分量进行颜色空间逆转换，获得伪彩色融合图像。
在本公开的一种示例性实施例中，还包括：分别采集同一视角的所述可见光图像和所述红外图像。
在本公开的一种示例性实施例中，还包括：对所述红外图像和所述可见光图像进行图像配准。
在本公开的一种示例性实施例中，所述对所述红外图像和所述可见光图像进行图像配准，包括：
选择所述红外图像和所述可见光图像其中之一为参考图像，其中另一为待配准图像；
获取所述待配准图像的配准参数；
根据所述待配准图像的配准参数实现所述红外图像和所述可见光图像的图像配准。
在本公开的一种示例性实施例中，所述参考图像为所述红外图像，所述待配准图像为所述可见光图像。
在本公开的一种示例性实施例中，所述获取所述待配准图像的配准参数，包括：
选取测试目标及所述测试目标上的预设数量的特征点；
分别获取所述测试目标在不同目标距离时的预置数目的测试红外图像和测试可见光图像，以及所述测试红外图像和所述测试可见光图像上的所述特征点的坐标；
根据仿射变换公式和所述特征点的坐标获取所述预置数目的仿射变换参数；
根据所述预置数目的仿射变换参数拟合获取仿射变换参数与目标距离之间的关系式；
根据所述待配准图像与被测目标之间的距离以及所述关系式获取所述待配准图像的配准参数。
在本公开的一种示例性实施例中，所述提取所述可见光图像的边缘信息，包括：
对所述可见光图像的亮度分量进行滤波，提取所述可见光图像的边缘信息。
在本公开的一种示例性实施例中，所述对所述可见光图像的亮度分量进行滤波，采用下述滤波矩阵进行滤波：
在本公开的一种示例性实施例中，所述将所述边缘信息和所述红外图像的亮度分量融合，包括：将所述边缘信息和所述红外图像的亮度分量进行等比例加权融合。
根据本公开的一个方面，提供一种红外图像和可见光图像融合的装置，包括：
第一颜色空间转换模块，用于对所述可见光图像进行RGB颜色空间到YUV颜色空间的转换，获得其亮度分量；
融合亮度分量获取模块，用于提取所述可见光图像亮度分量的边缘信息，将所述边缘信息和所述红外图像的亮度分量融合，获得融合亮度分量；
伪彩色红外图像获得模块，用于对所述红外图像进行赋伪彩，获得伪彩色红外图像；
第二颜色空间转换模块，用于对所述伪彩色红外图像进行RGB颜色空间到YUV颜色空间的转换，获得其色调分量和饱和度分量；
颜色空间逆转换模块，用于将所述融合亮度分量、所述色调分量和所述饱和度分量进行YUV颜色空间到RGB颜色空间的转换，获得伪彩色融合图像。
在本公开的一种示例性实施例中，还包括：图像采集模块，用于分别采集同一视角的所述可见光图像和所述红外图像。
在本公开的一种示例性实施例中，还包括：图像配准模块，用于对所述红外图像和所述可见光图像进行图像配准。
在本公开的一种示例性实施例中，还包括：模式选择模块，用于选择预设的多种输出模式中的任意一种。
上述技术方案中的至少一个技术方案具有如下有益效果：根据本公开的红外图像和可见光图像融合的方法及装置，融合图像的有可见光图像的边缘信息和红外图像的温度信息，增强融合图像物理细节的同时，又维持原伪彩色红外图像的颜色感观，符合用户对热红外图像的观察习惯。
附图说明
通过参照附图详细描述其示例实施方式，本公开的上述和其它特征及优点将变得更加明显。
图1示出根据本公开一示例实施方式的红外图像和可见光图像融合的方法流程图。
图2示出根据本公开一示例实施方式的红外图像和可见光图像融合的方法示意图。
图3示出根据本公开一示例实施方式的图像配准实现方法流程图。
图4示出根据本公开一示例实施方式的红外图像和可见光图像融合的装置结构框图。
图5示出根据本公开另一示例实施方式的红外图像和可见光图像融合的装置结构框图。
具体实施例
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、材料、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。
图1示出根据本公开一示例实施方式的红外图像和可见光图像融合的方法流程图。
如图1所示，在步骤S110中，对所述可见光图像进行颜色空间转换，获得其亮度分量。
在一实施例中，可以将所述可见光图像进行RGB颜色空间至YUV颜色空间的颜色空间转换。
YUV(亦称YCrCb)是被欧洲电视系统所采用的一种颜色编码方法(属于PAL)。YUV主要用于优化彩色视频信号的传输，使其向后兼容老式黑白电视。与RGB视频信号传输相比，它最大的优点在于只需占用极少的带宽(RGB要求三个独立的视频信号同时传输)。其中“Y”表示亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。“亮度”是通过RGB输入信号来创建的，方法是将RGB信号的特定部分叠加到一起。“色度”则定义了颜色的两个方面—色调与饱和度，分别用Cr和Cb来表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之同的差异。
在示例性实施例中，该方法还可以包括：分别采集同一视角的所述可见光图像和所述红外图像。
为了实现红外图像和可见光图像的融合，可以先获取同一视角拍摄的红外图像和可见光图像。
在本实施例中，所述红外图像和所述可见光图像可以由能够同时拍摄获取红外图像和可见光图像的红外热像仪等类似机器实现，这样，因为组装完成的红外热像仪中的可见光和红外的探测器及镜头都已固定，在下述的求配准参数的步骤中，一台机器，只需要在出厂前标定一次就可以了。但本发明不限定于此，在其他实施例中，本发明所述的方法可以应用于任何同视角的红外图像和可见光图像的融合。在一实施例中，所述红外图像和所述可见光图像可以分别通过红外摄像机和可见光摄像机来获取。
在本实施例中，所述红外摄像机和所述可见光摄像机两者的镜头必须安装在相同位置，镜头光轴同方向且平行，以用于获取同一视角拍摄的红外图像和可见光图像。另一实施例中，也可以获取不同视角拍摄的同一场景的红外图像和可见光图像，但相比于获取同一视角拍摄的同一场景的红外图像和可见光图像的实施例而言，这种方式在图像配准之前需要经过视角的匹配，运算过程更复杂。
在本实施例中，为了使可见光图像有较好的清晰度，可选用高分辨率的可见光传感器用于拍摄可见光图像，例如选用130万像素或者更高的可见光传感器；而红外图像的拍摄则可选用非致冷或致冷红外摄像机。本步骤中获取红外图像和可见光图像的方法可采用现有技术中相同的方式，在此就不再赘述。
在示例性实施例中，该方法还可以包括：对所述红外图像和所述可见光图像进行图像配准。
虽然上述实施例中可以通过使所述红外摄像机和所述可见光摄像机的镜头平行安装获取了同一视角的所述红外图像和所述可见光图像，但所述红外图像与可见光图像的视场仍然无法匹配，目标在红外图像上的位置与在可见光图像上的位置有很大的差距，因此现有技术中无法有效地利用红外和可见光图像同时对同一目标识别。由于目标不同位，现有的红外监测系统的目标识别和定位方法大都采用对单一图像(红外或可见光)识别。当环境颜色或目标周围的颜色与被监测目标的颜色非常接近时，可见光图像识别算法就无法有效地识别目标；当环境温度或目标周围的温度与监测目标的温度非常接近时，红外图像识别算法就无法有效地识别目标，所以采用单一图像识别可能常常会出现无法识别目标的情况，降低目标识别率，在检测时可能导致故障或缺陷监测的遗漏，造成重大的经济损失，因此采用红外和可见光互补识别和定位监测目标，可以大大地提高目标识别率的准确度。
可以根据所述红外图像和所述可见光图像的分辨率对视角范围进行配准，使所述红外图像和所述可见光图像的图像场景区域相同。
在示例性实施例中，所述对所述红外图像和所述可见光图像进行图像配准，包括：选择所述红外图像和所述可见光图像其中之一为参考图像，其中另一为待配准图像；获取所述待配准图像的配准参数；根据所述待配准图像的配准参数实现所述红外图像和所述可见光图像的图像配准。
在示例性实施例中，所述参考图像为所述红外图像，所述待配准图像为所述可见光图像。在另一实施例中，也可以选择所述参考图像为所述可见光图像，所述待配准图像为所述红外图像。
在示例性实施例中，所述获取所述待配准图像的配准参数，包括：选取测试目标及所述测试目标上的预设数量的特征点；分别获取所述测试目标在不同目标距离时的预置数目的测试红外图像和测试可见光图像，以及所述测试红外图像和所述测试可见光图像上的所述特征点的坐标；根据仿射变换公式和所述特征点的坐标获取所述预置数目的仿射变换参数：根据所述预置数目的仿射变换参数拟合获取仿射变换参数与目标距离之间的关系式；根据所述待配准图像与被测目标之间的距离以及所述关系式获取所述待配准图像的配准参数。
在一实施例中，所述预设数量大于等于2。图像配准的一个实例可以参加下述的图3所示的实施例。
在一实施例中，在图像配准过程中可以首先分别对红外图像、可见光图像进行预处理，可以进一步提高图像配准的精度。其中对该红外图像、可见光图像进行预处理的步骤，可以包括图像去噪、图像增强和图像变换，其中该图像去噪过程中对红外图像以及可见光图像进行空间滤波；该图像增强过程中对经去噪后的红外图像和可见光图像进行直方图增强；该图像变换过程中对经增强后的红外图像和可见光图像进行小波变换等。当然，本公开对此不作限定，任意现有的图像预处理方式均可以应用于本发明实施例中。
在步骤S120中，提取所述可见光图像亮度分量的边缘信息，将所述边缘信息和所述红外图像的亮度分量融合，获得融合亮度分量。
在示例性实施例中，所述提取所述可见光图像的边缘信息，包括：对所述可见光图像的亮度分量进行滤波，提取所述可见光图像的边缘信息。
在示例性实施例中，所述对所述可见光图像的亮度分量进行滤波，可以采用下述滤波矩阵进行滤波：
在其他实施例中，还可以对所述可见光图像亮度分量依次进行3*3高斯滤波和3*3拉普拉斯滤波。本实施例中，为了减少计算量，直接采用上述5*5滤波矩阵滤波一次即可。
在示例性实施例中，所述将所述边缘信息和所述红外图像的亮度分量融合，包括：将所述边缘信息和所述红外图像的亮度分量进行等比例加权融合。
需要说明的是，虽然上述实施例中采用将所述可见光图像的边缘信息和所述红外图像的亮度分量等比例加权融合的方式，但在其他实施例中，可以采用下述的公式进行融合：
F＝ω1A+ω2B，ω1+ω2＝1
其中，A和B分别用于代表所述可见光图像的边缘信息和所述红外图像的亮度分量，ω1和ω2分别代表A和B的权重值，且两者的和为1，F代表所述融合亮度分量。上述的等比例加权融合方法中，相当于设置ω1＝ω2＝0.5。权重值可以根据实际需求进行调整，只要保证两者相加恒等于1即可。
在步骤S130中，对所述红外图像进行赋伪彩，获得伪彩色红外图像。
红外成像技术是一种辐射信息探测技术，用于将物体表面的温度分布转换成人眼可见的图像。该图像是红外图像，可以反映物体表面的红外辐射能力，直观地表征和显示被测目标表面的红外辐射温度场分布。由于红外图像为黑白灰度级图像，灰度值动态范围不大，人眼难以从这些灰度信息中获得目标的细节辐射信息。人眼能分辨的灰度级通常只有二十多个，但却能区分上千万种颜色。所以利用人眼彩色视觉的高分辨力和高灵敏度的特性实现红外图像伪彩色化，则可增强场景理解、突出目标，有利于更快更精确地探测和识别目标，并且可减小观察者的疲劳感。目前工业红外热像仪一般是利用颜色表将灰度图像映射为彩色图像，即伪彩色红外图像，从而使得图像不同灰度级之间对比度增强，这样有利用判读人员更为准确地判读图像。
但是由于红外图像分辨率较低，即使采用伪彩色红外图像的显示方法也只能观测到图像的某些局域(或大型目标)的温度信息，难以观测到图像目标的具体细节信息。而高分辨率的可见光图像具有高空间分辨率，可以反映出细节信息。
在步骤S140中，对所述伪彩色红外图像进行颜色空间转换，获得其色调分量和饱和度分量。
在本实施例中，所述颜色空间转换是指将所述伪彩色红外图像从RGB颜色空间转换至YUV颜色空间。
在步骤S150中，将所述融合亮度分量、所述色调分量和所述饱和度分量进行颜色空间逆转换，获得伪彩色融合图像。
在本实施例中，所述颜色空间逆转换是指将所述融合亮度分量、所述色调分量和所述饱和度分量从YUV颜色空间转换至RGB颜色空间。
在一实施例中，还可判断该伪彩色融合图像所表示的温度是否超过温度门限值，当超过该温度门限值时，可向用户发出告警信息，便于用户及时采取措施，该温度门限值可根据设备中不同部件的工作极限温度来设定。
本实施方式提供的红外图像和可见光图像融合的方法，融合红外图像和高分辨率可见光图像，使得融合图像既能反映出目标的大概温度信息，又能观测到目标的细节信息。利用图像融合的方法提高红外图像的空间分辨率，不仅有助于提高图像判读人员的判读精度和效率，而且有助于判读人员对图像的解译，从而可克服在全可见光图像中不能准确识别出设备内温度的分布情况的问题以及在全红外图像中不能准确辨别该物体的类型。
在一些实施例中，一方面，通过将从同一视角拍摄的红外图像和可见光图像进行匹配后再图像融合处理，使得用户可以融合两种图像，从而可精确地显示超过指定温度极限的部件，可帮助用户更好地识别和报告可疑部件，并使得维修人员能够在第一时间完成维修。另一方面，本方法实现简单，硬件语言即可完成方法实现；同时速度快，可实时实现。
图2示出根据本公开一示例实施方式的红外图像和可见光图像融合的方法示意图。
如图2所示，首先输入被测目标的可见光图像VIS和红外图像IR。将可见光图像VIS转换为YUV颜色空间，获得可见光图像VIS的亮度分量Yvis、色调分量Uvis以及饱和度分量Vvis。由于红外摄像机拍摄到的红外图像IR是灰度图像，需要将红外图像IR赋伪彩色后获得伪彩色红外图像IR，然后伪彩色红外图像IR转换为YUV颜色空间，获得伪彩色红外图像IR的亮度分量Yir、色调分量Uir以及饱和度分量Vir。
其中，可以利用红外图像灰度值和预先配置好的伪彩色查找表，对红外图像IR进行赋伪彩，生成目标的伪彩色红外图像IR。具体可以包括：读取红外图像的每个像素点的灰度值；再利用伪彩色查找表中定义的颜色，将同一灰度值的像素点映射为同一颜色，从而生成伪彩色红外图像。然后对该伪彩色红外图像IR和被测目标的可见光图像VIS进行RGB颜色空间到YUV颜色空间的转换，得到伪彩色红外图像IR和可见光图像VIS的YUV颜色空间表示。
在本实施例中，红外热像仪中会提供伪彩色，供用户选择。伪彩色查找表即0～255范围的灰度值，每一个灰度值对应R/G/B三个颜色值。灰度图像根据每个像素的灰度值，找到伪彩色查找表中相对应的RGB三个颜色值，形成伪彩色图像。
在本实施例中，对伪彩色红外图像IR和彩色的可见光图像VIS进行颜色空间转换，可以根据YUV和RGB颜色空间的转换经验公式，将彩色的可见光图像VIS和伪彩色红外图像IR从RGB颜色空间转换到YUV颜色空间，分别有Y/U/V三通道的灰度图像。
其中可以采用如下的转换经验公式：
其中R，G，B分别表示可见光图像或者红外图像的红，绿，蓝通道。
在示例性实施例中，对上述可见光图像VIS的亮度分量Yvis进行滤波处理提取边缘信息。本实施例中，可采用LOG的5*5滤波算子对可见光图像VIS的亮度分量Yvis进行滤波，得到只包含边缘信息的灰度图像。
可见光图像VIS的亮度分量Yvis经过矩阵滤波后获得可见光图像VIS的亮度分量Yvis’。该可见光图像VIS的亮度分量Yvis’与上述红外图像IR的亮度分量进行加权融合后获得融合亮度分量Yblend。
对根据该可见光图像VIS与该红外图像IR的亮度分量获取的融合亮度分量Yblend、该伪彩色红外图像IR的色调分量Uir以及其饱和度分量Vir转换为RGB空间，获得伪彩色融合图像。
其中，可以采用如下的转换经验公式：
本实施例方式采用的图像融合方法，与传统的可见光图像和红外图像叠加融合，或画中画部分替代融合不同，本方法不保留可见光图像的颜色信息和灰度信息，只保留其边缘轮廓信息，将之与红外图像叠加，形成融合图像。
由于通过将同一视角拍摄的红外图像和可见光图像进行匹配后再融合处理，能使得用户更直观的看到设备上标注的型号、贴的标签、结构特点等关键信息，从而判断故障点位置，第一时间完成维修，或检测维修后的效果。而获取同一视角拍摄的红外图像和可见光图像，还需要对该红外图像和可见光图像进行图像配准。下面图3对该图像配准实现方法进行举例说明。
图3示出根据本公开一示例实施方式的图像配准实现方法流程图。
如图3所示，该图像配准实现方法包括以下两个步骤。
在步骤S210中，在图像配准前实现对探测器的标定。
步骤S220中，将上述步骤S210标定好的探测器应用于本发明实施例的图像配准实现方法中。
其中，步骤S210可以包括以下步骤。
在步骤S211中，探测器及镜头安装。
调整可见光探测器的镜头和红外探测器的镜头光轴平行、且该可见光和红外探测器无旋转角且在同一平行平面。
这里假设标定时选择测试目标与探测器之间的距离分别为1-10米。需要说明的是，这里选择的目标距离的具体取值(这里为1米、2米直至10米)、分割成多少组(这里为10组)、每组之间可以等间隔分布也可以非等间隔分布(这里为等间隔分布，每组之间相差1米)均是可以根据需求进行自主设置，对本发明不构成限制。
在步骤S212中，初始设置n＝1，n为大于等于1、且小于等于10的正整数。
在步骤S213中，设置探测器距离测试目标为n米。
在步骤S214中，选择测试目标上的特征点，并记录特征点在探测器拍摄获取的测试可见光图像和测试红外图像上的相应坐标。
标定时，可选取有标志性形状的高温物体作为所述测试目标。确保该物体在距离探测器在选定的目标距离范围内(例如1-10米内)均可在测试红外图像和测试可见光图像上能同时明显成像，且有至少两对清晰的特征点。其中，测试红外图像上的一点与相应测试可见光图像上的一点称为一对。每幅测试红外图像上选择两个特征点，与测试可见光图像上的两个特征点相对应。这里以两对特征点为例进行说明，但本公开不限定于此，在其他实施例中，可以选择更多对特征点。人为选取这两对特征点作为两对配准控制点，记录这两对配准控制点在其测试红外图像和测试可见光图像上的相应坐标。
在步骤S215中，根据下述的仿射变换公式和上述的两对配准控制点在测试可见光图像和测试红外图像上的相应坐标，计算目标距离为L时，对应的仿射变换参数k1，k2，t1，t2。在下述的实施例中，以测试红外图像为参考图像，待配准图像为测试可见光图像为例进行说明。
需要说明的是，在其他实施例中，可以以测试可见光图像作为参考图像，测试红外图像作为该待配准图像。由于一般红外图像的视场小，以红外图像作为参考图像，在可见光图像中找匹配区域。如果以视场大的可见光图像为参考图像，则最终融合图像上可能有部分区域没有相应的红外图像。
其中仿射变换公式为：
标定时，其中(x'，y')为待配准图像中某配准控制点的坐标，(x,y)为参考图像图像中该配准控制点对应的坐标。应用时，(x',y')为变换前测试可见光图像中某像素的坐标，(x,y)为变换后测试可见光图像中该像素所映射的坐标，k1、k2分别为x，y方向上的缩放系数，t1、t2分别为x、y方向上的平移系数。
在步骤S216中，判断n是否小于10；当n不小于10时(n＝10)，进入步骤S218；当n小于10时，进入步骤S217。
在步骤S217中，使n递增1，然后继续跳回到步骤S213，循环计算下一组仿射变换参数与目标距离之间的映射关系。
在步骤S218中，通过上述获得的10组仿射变换参数与目标距离之间的映射关系进行拟合，获得目标距离L与仿射变换参数的关系式并保存。
通过上述10次的循环，获取10组的仿射变换参数k1，k2，t1，t2与目标距离L(分别为1米，2米，……，10米)之间的映射关系，从而通过拟合能够获取k1/L，k2/L，t1/L，t2/L曲线即目标距离L与仿射变换参数的关系式并保存。
其中所述拟合可以借助excel或matlab等进行二次多项式拟合，为已有成熟技术，在此不再赘述。
应用时，可以通过测距模块(例如激光测距模块)，得到被测目标与探测器之间的目标距离L，根据保存的k1/L，k2/L，t1/L，t2/L关系式，计算该被测目标与探测器之间的目标距离L对应的仿射变换参数k1，k2，t1，t2的值。
其中，步骤S220可以包括以下步骤。
在步骤S221中，测量被测目标与探测器之间的距离L。
在步骤S222中，计算该被测目标的待配准图像的仿射变换参数k1，k2，t1，t2。
在步骤S223中，计算待配准图像的平移量和缩放量。
可以将上述步骤S222中计算获得的仿射变换参数k1作为该待配准图像的在x方向的缩放量，仿射变换参数k2作为该待配准图像的在y方向的缩放量，仿射变换参数t1作为该待配准图像的在x方向的平移量，仿射变换参数t2作为该待配准图像的在y方向的平移量。
在步骤S224中，图像配准。
根据上述待配准图像的平移量和缩放量，上下左右平行和放大/缩小可见光图像，实现自动配准。
本实施方式具有如下的有益效果：一方面，在红外图像和可见光图像的图像融合过程中，首先根据图像配准参数实现图像配准，极大地减小了数值变换的计算量，提高了计算速度，从而提高了图像融合的速度，满足了图像处理的实时性要求；另一方面，该红外图像和可见光图像融合的方法中将红外探测器和可见光探测器并列固定在同一转台上，并保持两者光轴与成像坐标轴的平行，由此两者成像的俯仰角和方位角一致，在图像配准过程中仅需要调整缩放比例和平移量，降低了图像配准的难度。
为了实现上述的方法实施例，本发明的其他实施例还提供了一种红外图像和可见光图像融合的装置。另需首先说明的是，由于下述的实施例是为实现前述的方法实施例，故该装置都是为了实现前述方法的各步骤而设，但本发明并不限于下述的实施例，任何可实现上述方法的装置都应包含于本发明的保护范围。并且在下面的描述中，与前述方法相同的内容在此省略，以节约篇幅。
图4示出根据本公开一示例实施方式的红外图像和可见光图像融合的装置结构框图。
如图4所示，该红外图像和可见光图像融合的装置100包括：第一颜色空间转换模块110、融合亮度分量获取模块120、伪彩色红外图像获得模块130、第二颜色空间转换模块140以及颜色空间逆转换模块150。
其中第一颜色空间转换模块110用于对所述可见光图像进行RGB颜色空间到YUV颜色空间的转换，获得其亮度分量。
其中融合亮度分量获取模块120用于提取所述可见光图像亮度分量的边缘信息，将所述边缘信息和所述红外图像的亮度分量融合，获得融合亮度分量。
其中伪彩色红外图像获得模块130用于对所述红外图像进行赋伪彩，获得伪彩色红外图像。
其中第二颜色空间转换模块140用于对所述伪彩色红外图像进行RGB颜色空间到YUV颜色空间的转换，获得其色调分量和饱和度分量。
其中颜色空间逆转换模块150用于将所述融合亮度分量、所述色调分量和所述饱和度分量进行颜色空间逆转换，获得伪彩色融合图像。
在示例性实施例中，该装置100还可以包括：图像采集模块，用于分别采集同一视角的所述可见光图像和所述红外图像。
在示例性实施例中，该装置100还可以包括：图像配准模块，用于对所述红外图像和所述可见光图像进行图像配准。
在示例性实施例中，该装置100还可以包括：模式选择模块，用于选择预设的多种输出模式中的任意一种。
图5示出根据本公开另一示例实施方式的红外图像和可见光图像融合的装置结构框图。
如图5所示，该红外图像和可见光图像融合的装置200可包括：红外摄像机201(红外探测器)和可见光摄像机202(可见光探测器)；图像采集模块203，该图像采集模块可以采集该红外摄像机201和可见光摄像机202拍摄获得的同一视角的红外图像和可见光图像；图像预处理模块204，将可见光图像和红外图像进行去噪、去坏点、非均匀性校正以及红外图像伪彩色赋彩等预处理；激光测距模块205，用于测量目标(测试目标和/或被测目标)与红外探测器、可见光探测器之间的距离；图像配准模块206，其中图像配准前要对机器(红外探测器、可见光探测器)进行标定，标定过程如图3所示，其中对于定焦镜头，可以手动选取配准控制点，只用标定一次，标定后得到平移参数和缩放参数(用正负表示平移和缩放方向)，对例如可见光图像进行处理，得到像素匹配的可见光图像；模式选择模块207，该模式选择模块207可包括第一模式、第二模式以及第三模式，其中第一模式只输出红外图像至显示模块209进行显示，第二模式只输出可见光图像显示模块209进行显示，第三模式只输出伪彩色融合图像，且在选择第三模式时，该模式选择模块207还需要连接图像融合模块208，由该图像融合模块208生成所述伪彩色融合图像并输出至显示模块209进行显示，此处融合方法采用本发明上述实施例中的图像融合方法。
在其他实施例中，所述模式选择模块207中还可以包括更多或者更少的模式，例如将红外图像和可见光图像高于一定温度的区域配准融合得到的融合图像输出至显示模块进行显示的第四模式；或红外图像替代部分可见光区域形成画中画融合得到的融合图像输出至显示模块进行显示的第五模式；或全视场配准融合，融合方法是以可调的权重比例，按图像像素叠加融合获得的融合图像输出至显示模块进行显示的第六模式等等。
其中，相比于上述第四至第六模式获得的融合图像，物理细节仍然不丰富，只能根据未融合的部分可见光区域大概判断设备故障点位置；融合图像的融合部分既有可见光的颜色信息又有红外图像的颜色信息，容易混淆观察点，而且不符合用户的观察习惯。而本发明实施例采用的融合方法获得的最终伪彩色融合图像既包括可见光图像的物理细节信息又包括红外图像的温度信息。
以上具体地示出和描述了本公开的示例性实施例。应该理解，本公开不限于所公开的实施例，相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效布置。