可见光和红外光的双光融合方法以及插件式热像仪系统与流程

本发明涉及图像处理技术领域，特别是涉及一种可见光和红外光的双光融合方法以及插件式热像仪系统。

背景技术

红外成像和可见光成像是现阶段广泛使用的两种成像手段，但都具备一定的局限性，如可见光在光照不足情况下成像效果差，温度差异小的场景下红外成像效果也不理想。为此提出了红外与可见光的双光融合成像方案，能够有效结合两者的优势，生成较为理想的成像效果。

现有的手机插件式热像仪中，分为具备和不具备双光融合功能的两种类型。限于成本和技术原因，现在红外成像探测器的分辨率要远低于可见光的分辨率，因此不具备双光融合功能的插件式热像仪系统在分辨率、成像效果上存在着较大的劣势。而具备双光融合功能的插件式热像仪，装置中同时具备了可见光传感器和红外成像探测器，通过结构和光学设计来进行可见光和红外的匹配，然后通过融合算法进行融合成像。

由于插件式热像仪的发展趋势是向着小型化、低功耗方向发展，多加入的可见光传感器无疑增加了成本，对结构设计和光学设计提出了更高的要求，并且增加了体积，带来较多的劣势。

技术实现要素：

本发明的目的是提供一种可见光和红外光的双光融合方法以及插件式热像仪系统，以解决现有双光融合成像系统结构复杂、体积较大、成本较高的问题。

为解决上述技术问题，本发明提供一种可见光和红外光的双光融合方法，应用于插件式热像仪系统，包括：

获取所述插件式热像仪系统自身的红外探测器采集到的红外探测图像；

获取终端采集到的可见光图像，所述插件式热像仪通过预设的通信接口与所述终端进行数据传输；

对所述红外探测图像以及所述可见光图像进行图像融合处理，生成双光融合图像。

可选地，在所述获取所述插件式热像仪系统自身的红外探测器采集到的红外探测图像之后还包括：

对获取到的红外探测图像执行以下预处理操作：

两点校正处理、盲元替换处理、时域滤波处理、去除横竖纹处理、数据范围映射处理。

可选地，所述获取终端采集到的可见光图像包括：

通过imagereader获取yuv格式的可见光图像数据，并对yuv格式的数据进行格式转换。

可选地，在所述对所述红外探测图像以及所述可见光图像进行图像融合处理，生成双光融合图像之前还包括：

采用双线性插值法将所述红外探测图像以及所述可见光图像的尺寸调整为一致。

可选地，在所述对所述红外探测图像以及所述可见光图像进行图像融合处理，生成双光融合图像之前还包括：

采用hausdorff距离对所述红外探测图像以及所述可见光图像进行配准。

可选地，所述对所述红外探测图像以及所述可见光图像进行图像融合处理，生成双光融合图像包括：

对所述红外探测图像进行laplace金字塔多尺度分解，得到分解后的底层图像；

提取所述可见光图像的细节信息；

将分解后得到的所述底层图像与可见光获取的所述细节信息进行融合；

对融合后的数据进行重构，得到融合后的图像。

可选地，在所述对所述红外探测图像以及所述可见光图像进行图像融合处理，生成双光融合图像之后还包括：

将融合后的图像按照映射规则映射到rgb三原色中，生成伪彩色图像，并进行输出显示。

本发明还提供了一种插件式热像仪系统，包括：红外探测器、通信接口、处理设备；

其中，所述红外探测器用于采集红外探测图像；

所述通信接口用于与终端相连，获取终端采集到的可见光图像；

所述处理设备用于对采集到的红外探测图像以及所述可见光图像进行图像融合处理，生成双光融合图像。

可选地，所述通信接口为usbtype-c接口或iphonelightning接口。

可选地，所述处理设备具体用于：对所述红外探测图像进行laplace金字塔多尺度分解，得到分解后的底层图像；提取所述可见光图像的细节信息；将分解后得到的所述底层图像与可见光获取的所述细节信息进行融合；对融合后的数据进行重构，得到融合后的图像。

本发明所提供的可见光和红外光的双光融合方法，应用于插件式热像仪系统，通过获取插件式热像仪系统自身的红外探测器采集到的红外探测图像；获取终端采集到的可见光图像，插件式热像仪通过预设的通信接口与终端进行数据传输；对红外探测图像以及可见光图像进行图像融合处理，生成双光融合图像。本申请综合可见光和红外成像的优点，可以获取更多的细节信息和更高的分辨率。并且，通过终端直接获取可见光图像，在插件式热像仪系统中不需要再额外设置可见光成像传感器，降低了结构设计和光学设计的复杂度，在降低成本、缩小体积方面具有明显的优势。此外，本申请还提供了一种具有上述技术优点的插件式热像仪系统。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的可见光和红外光的双光融合方法的一种具体实施方式的流程图；

图2为本发明所提供的可见光和红外光的双光融合方法的另一种具体实施方式的流程图；

图3为本申请实施例中进行图像融合的具体实施流程图；

图4为本发明实施例提供的插件式热像仪系统的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明所提供的可见光和红外光的双光融合方法的一种具体实施方式的流程图如图1所示，该方法应用于插件式热像仪系统，其具体包括：

步骤s101：获取所述插件式热像仪系统自身的红外探测器采集到的红外探测图像；

具体地，本实施例在获取所述插件式热像仪系统自身的红外探测器采集到的红外探测图像之后还包括：对获取到的红外探测图像执行以下预处理操作：两点校正处理、盲元替换处理、时域滤波处理、去除横竖纹处理、数据范围映射处理。

插件式热像仪系统自身的红外探测器采集到的数据为14位的原始数据，需要进行上述预处理之后才可成像显示。其中，两点校正用以将每个像素点的响应率调整至同一水平。盲元替换用于将盲元周边正常像元的值加权后赋值给盲元点，使盲元点成像正常。时域滤波为时间域上的低通滤波器，用以去除滚动的横竖纹。去除条纹用于根据相关的图像算法，去除红外图像中的横、竖条纹。数据范围映射是指将14位数据映射到0-255范围内，即转换为8位灰度图像。采用最大值最小值线性映射方法，最大值映射后为255，最小值映射后为0，其公式为：

式中：vin为线性映射前的像素点值，vout为线性映射后像素点值，vmax为映射前的最大值，vmin为映射前的最小值。

上述两点校正、盲元替换、时域滤波、去除条纹、平台直方图为红外图像处理领域内通用方法，此处不做详细说明。

步骤s102：获取终端采集到的可见光图像，所述插件式热像仪通过预设的通信接口与所述终端进行数据传输；

需要指出的是，本申请实施例中终端可以为手机、平板或者其他终端设备，在此不做限定。终端可以通过自身设置的摄像头获取可见光图像，并且可以通过设置的通信接口与插件式热像仪系统进行数据传输，将获取到的可见光图像发送至插件式成像仪系统。具体地，通信接口可以为usbtype-c接口或iphonelightning接口。

可见光数据需要抓取手机摄像头的视频流数据。以安卓系统为例进行说明，安卓系统中提供了camera2接口，通过imagereader获取yuv格式的数据，经过进一步处理后与红外数据进行融合。

此外，终端上还可以通过安装相应的app在终端的显示屏上查看热像仪的成像效果。

需要指出的是，本申请中步骤s101与步骤s102之间没有步骤的先后顺序限制。

步骤s103：对所述红外探测图像以及所述可见光图像进行图像融合处理，生成双光融合图像。

本发明所提供的可见光和红外光的双光融合方法，应用于插件式热像仪系统，通过获取插件式热像仪系统自身的红外探测器采集到的红外探测图像；获取终端采集到的可见光图像，插件式热像仪通过预设的通信接口与终端进行数据传输；对红外探测图像以及可见光图像进行图像融合处理，生成双光融合图像。本申请综合可见光和红外成像的优点，可以获取更多的细节信息和更高的分辨率。并且，通过终端直接获取可见光图像，在插件式热像仪系统中不需要再额外设置可见光成像传感器，降低了结构设计和光学设计的复杂度，在降低成本、缩小体积方面具有明显的优势。

由于可见光图像和红外探测图像在尺寸上存在一定的差异，在上述实施例的基础上，在所述对所述红外探测图像以及所述可见光图像进行图像融合处理，生成双光融合图像之前还包括：采用双线性插值法将所述红外探测图像以及所述可见光图像的尺寸调整为一致。参照图2本发明所提供的可见光和红外光的双光融合方法的另一种具体实施方式的流程图所示，该过程包括：

步骤s201：获取所述插件式热像仪系统自身的红外探测器采集到的红外探测图像；

步骤s202：获取终端采集到的可见光图像，所述插件式热像仪通过预设的通信接口与所述终端进行数据传输；

步骤s203：采用双线性插值法将所述红外探测图像以及所述可见光图像的尺寸调整为一致；

步骤s204：采用hausdorff距离对所述红外探测图像以及所述可见光图像进行配准；

以往的双光融合系统中是通过结构设计和光学设计来粗略保证两幅图像的配准。这种方案下，看远处景物时能够获得较好的匹配效果，但在看近处景物时，往往会出现重影现象。在本申请所提供的热像仪系统中由于红外成像部分与手机摄像头距离较远，因此采用了hausdorff距离来进行两幅图像的配准。hausdorff距离是现在最优的两幅图像配准方案，配准精度高。当然，还存在多种改进型的hausdorff距离，并不限于本申请提出的这一种。

配准时需要两幅图像的边缘信息，本实施例中采用canny边缘检测算法。canny边缘检测包含如下步骤：采用3*3的高斯窗函数对图像进行高斯模糊；计算图像梯度，根据梯度计算图像边缘幅值与角度；对幅值图像进行非极大值的抑制，将非极大值对应的灰度值设为0；用双阈值算法检测和连接边缘，小阈值为大阈值的0.4倍。

hausdorff距离是描述两组点集之间相似程度的一种量度，非常适合边缘检测后图像的匹配。图像的边缘信息分别用两个点集a、b来表示：

a＝{a1,a2,...,ap}

b＝{b1,b2,...,bq}

其中ai,bi表示图像边缘检测后的边缘信息。hausdorff距离定义为：

h(a,b)＝max(h(a,b),h(b,a))

式中：为a到b方向的hausdorff距离，为b到a方向的hausdorff距离。||·||为欧几里得范数。h(a,b)距离是求取的h(a,b),h(b,a)的最大值，即两个点集间的匹配程度。实际配准中，a/b是两幅图像中边缘信息的点集，h(a,b)计算的是两幅图像边缘点集的最大值。若h(a,b)＜∈，则认为两个边缘信息时匹配的，即完成配准。

步骤s205：对所述红外探测图像以及所述可见光图像进行图像融合处理，生成双光融合图像；

参照图3本申请实施例中进行图像融合的具体实施流程图，对图像进行融合的过程具体包括：

步骤s2051：对所述红外探测图像进行laplace金字塔多尺度分解，得到分解后的底层图像；

选用的laplace金字塔分解方法是多尺度分析领域内常用的方法。laplace金字塔分解之前，首先要进行高斯金字塔分解。初始图像为高斯金字塔的底层(第0层)，记为g0。则高斯金字塔的第l层图像为gl

式中：0＜l≤n,0＜i≤cl,0＜j≤rl，其中n为高斯金字塔层数，cl,rl为高斯金字塔第l层图像的列数和行数。w(m,n)为5*5的高斯窗函数，其值如下：

高斯金字塔就是通过对低层图像进行高斯滤波，然后对高斯滤波后的结果进行隔行、隔列的降2采样来实现的。

对高斯金字塔进一步处理即可得到laplace金字塔。将gl内插放大至与gl-1尺寸相同，记作其表达式为

式中：

0＜l≤n,0＜i≤cl,0＜j≤rl，

则laplace金字塔分解的第l层lpl为：

laplace金字塔中，它的每一层图像是高斯金字塔本层图像与高一层图像经过放大之后的图像之差，等效于带通滤波。

在双光融合中，只需要对红外图像进行3层laplace金字塔分解，底层图像lpdetial中包含了较多的细节。

步骤s2052：提取所述可见光图像的细节信息；

步骤s2053：将分解后得到的所述底层图像与可见光获取的所述细节信息进行融合；

在融合时将分解后的lpdetial与可见光获取的细节信息进行加权相加，同时保留可见光细节和红外细节。融合后的底层图像记为其表达式为：

其中：k代表可见光细节所占的权重，cameraldetial表示从手机摄像头获取的可见光处理后的细节数据。

步骤s2054：对融合后的数据进行重构，得到融合后的图像。

对融合后的数据进行重构，从laplace金字塔的顶层开始由上向下进行递推，即可恢复出原图像，其表达式为：

重构时，将lpdetial替换为具备可见光细节的逐层进行重构，即可得到融合后的图像。

本申请实施例中采用laplace金字塔分解方法进行双光融合，其包含多种变形和改进方案，这均不影响本发明的实现。

步骤s206：将融合后的图像按照映射规则映射到rgb三原色中，生成伪彩色图像，并进行输出显示。

双光融合后的图像为8位的灰度图像，将其按特定映射规则本别映射到rgb三原色中，即可形成伪彩图像。本热像仪系统中提供多种伪彩映射表，方便使用。

下面对本发明实施例提供的插件式热像仪系统进行介绍，下文描述的插件式热像仪系统与上文描述的可见光和红外光的双光融合方法可相互对应参照。

图4为本发明实施例提供的插件式热像仪系统的结构框图，参照图4插件式热像仪系统可以包括：

红外探测器1、通信接口2、处理设备3；

其中，所述红外探测器1用于采集红外探测图像；

所述通信接口2用于与终端相连，获取终端采集到的可见光图像；

所述处理设备3用于对采集到的红外探测图像以及所述可见光图像进行图像融合处理，生成双光融合图像。

作为一种具体实施方式，本发明所提供的插件式热像仪系统中所述通信接口为usbtype-c接口或iphonelightning接口。

具体地，所述处理设备具体用于：对所述红外探测图像进行laplace金字塔多尺度分解，得到分解后的底层图像；提取所述可见光图像的细节信息；将分解后得到的所述底层图像与可见光获取的所述细节信息进行融合；对融合后的数据进行重构，得到融合后的图像。

本实施例的插件式热像仪系统用于实现前述的可见光和红外光的双光融合方法方法，因此插件式热像仪系统中的具体实施方式可见前文中的可见光和红外光的双光融合方法方法的实施例部分。所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明所提供的插件式热像仪系统，通过获取插件式热像仪系统自身的红外探测器采集到的红外探测图像；获取终端采集到的可见光图像，插件式热像仪通过预设的通信接口与终端进行数据传输；对红外探测图像以及可见光图像进行图像融合处理，生成双光融合图像。本申请综合可见光和红外成像的优点，可以获取更多的细节信息和更高的分辨率。并且，通过终端直接获取可见光图像，在插件式热像仪系统中不需要再额外设置可见光成像传感器，降低了结构设计和光学设计的复杂度，在降低成本、缩小体积方面具有明显的优势。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的可见光和红外光的双光融合方法以及插件式热像仪系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。