一种基于双层优化的红外和可见光融合方法与流程

本发明属于图像处理和计算机视觉领域，采用一对红外相机和可见光相机获取图像，涉及构建双层范式的红外和可见光图像融合算法，是一种利用数学建模手段的红外与可见光融合算法。

背景技术：

基于可见光波段的双目立体视觉技术发展较为成熟，可见光成像具有丰富的对比度、颜色、形状信息，因而可以准确、迅速的获得双目图像之间的匹配信息，进而获取场景深度信息。但可见光波段成像存在其缺陷，如在强光、雾雨、雪天或夜晚，其成像质量大大下降，影响匹配的精度。因此利用不同波段信息源的互补性建立彩色融合系统，是实现特殊环境下产生更可信的图像的有效途径。如利用可见光波段双目相机与红外波段双目相机构成多波段立体视觉系统，利用红外成像不受雾雨雪、光照影响优势，弥补可见光波段的成像不足，从而获取更完整、精确的融合信息。

多模态图像融合技术是利用多个图像之间的互补性和冗余性，采用特定的算法或规则进行融合，得到高可信度、视觉更优图像的一种图像处理算法。相比于同模态融合图像单一性，多模态图像融合可以更好的获取不同模态下图像的交互信息，逐渐成为解决灾害监测，无人驾驶，军事监控，深空探测的重要手段。其目标是利用不同模态传感器成像的差异性和互补性，极大限度地提取各模态的图像信息，使用不同模态的源图像融合出一张信息丰富、真实度高的合成图像。因此多模态图像融合会对图像产生更全面的认识和更准确的定位。近年来，大多融合方法都是基于变换域进行研究设计，没有考虑到图像多尺度的细节信息，导致融合后的图像中细节丢失，如公开专利cn208240087u一种红外与可见光融合系统及图像融合装置。因而本发明在通过对红外和可见光进行数学建模后对其进行最优化求解，在保留红外和可见光图像的有效信息的基础上，实现细节的增强且去除伪影。

技术实现要素：

本发明旨在克服现有技术的不足，提供了一种基于双层范式的红外与可见光实时融合算法。通过设计针对红外和可见光图像进行基于双层范式的数学建模，分别在图像的图像域和梯度域进行求解，最后通过gpu加速达到实时。

本发明的具体技术方案：

一种基于双层优化的红外和可见光融合方法，包括步骤如下：

1)获取配准好的红外和可见光图像，分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；

1-1)利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移；

1-2)利用联合标定获得的rt(旋转矩阵与平移向量)及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准；

2)对可见光图像进行色彩空间的转换，从rgb图像转成hsv图像，提取彩色图像的明度信息作为图像融合的输入，保留其原有色调及饱和度；

2-1)针对可见光图像是rgb三通道的问题，进行rgb色彩空间到hsv色彩空间的转换，v为明度，h为色调，s为饱和度；提取可见光图像的明度信息与红外图像进行融合，保留其色调和饱和度，具体转换如下所示：

r′＝r/255g′＝g/255b′＝b/255

cmax＝max(r′,g′,b′)

cmin＝min(r′，g′，b′)

δ＝cmax-cmin

v＝cmax

2-2)提取v通道作为可见光的输入，保留h和s到对应的矩阵为后面融合后的色彩还原保留颜色信息。

3)对输入的红外图像和进行色彩空间转换后的可见光图像进行于基于双层范式的数学建模；该思想的核心是建立两个单独的模型，即上层子问题leader和下层子问题follower来解决同一个问题。首先假设优化中的目标函数和问题约束是博弈中的两个参与者，其中目标函数被视为领导者，问题约束是跟随者。在这种竞争中，领导者的下一步优化需要考虑跟随者的结果。将这两个竞争对手定义为两个复合最小化子问题：

β||▽f-▽v||1

其中，f代表融合后的图像，红外图像和可见光图像被分别用i,v表示，▽代表求梯度的算子，γ,β分别表示leader和follower的参数；

4)求解上层子问题，得到目标在图像域的融合结果；目标结果通过求解下式得到：

其中fl^k+1表示上层问题的结果；因为该目标有简单的闭式解，因此使用如下公式的闭形式解直接得到：

其中，f代表融合后图像，i代表红外图像，v代表可见光图像，γ代表可见光与红外图像权重参数，α代表权重变量参数。

5)求解下层子问题，得到目标在梯度域的融合结果；可以发现该问题是非凸非光滑的，很难被直接求解，应用交替方向乘子法，通过引入辅助变量将无约束问题转化为约束问题，然后在该框架下进行求解；

求解方法为：首先引入两个辅助变量u,w，其中u＝▽f-▽i,w＝▽f-▽v；通过变量替换，转化为最小化如下问题：

其中▽表示梯度算子，λ1,λ2是两个乘子，ρ1，ρ2是惩罚项的参数，通过变量分离，得到了三个分别关于u,w,f的子问题：

5-1)对于下层问题的的更新，使用公式的闭形式解得到：

5-2)每一次迭代之后都需要对乘子λ1,λ2进行更新，具体更新方式如下：

6)通过对上、下层两个子问题的求解，得到了两个对融合结果在不同特征下的估计fl^k+1,为了将这两个成分融合到一张图像f上，对这两个成分进行一个线性的组合，表示为如下形式：

其中f^k+1是每次迭代的最终结果，α是权衡两个成分的参数，该参数根据经验手工选取。

7)色彩空间转换：将融合的图像转回rgb图像并添加之前保留下的色调和饱和度；

通过把融合图像存入的v信息进行更新，结合之前保留的h和s进行hsv到rgb色彩空间的还原；具体公式如下所示：

c＝v×s

x＝c×(1-|(h/60°)mod2-1|)

m＝v-c

r′,g′,b′＝((r′+m)×255，(g′+m)×255，(b′+m)×255)

其中，c为明度与饱和度的成绩，m为明度与c的差。

8)色彩增强：对融合的图像进行色彩增强，从而生成一幅清晰度和对比度更优的融合图像；针对每个像素点的对比度，进行像素级的图像增强；

还原的图像进行颜色校正与增强，生成符合观察与检测的三通道图片；分别对r通道、g通道、b通道进行色彩增强，获得最终融合图像。具体如下公式所示：

rout＝(rin)^1/gamma

rdisplay＝(rin^(1/gamma))^gamma

gout＝(gin)^1/gamma

g＝(gin^(1/gamma))^gamma

bout＝(bin)^1/gamma

bdisplay＝(bin^(1/gamma))^gamma

其中gamma是矫正参数，rin，gin，bin分别是输入r，g，b三个通道的值rout，gout，bout是中间参数rdisplay，gdisplay，bdisplay是增强后三通道的取值。

本发明的有益效果是：

本发明提出了一种利用红外和可见光双目立体相机实时融合的方法。利用数学建模的手段对输入的红外和可见光图像进行基于范式的数学建模，分别在图像域和梯度域求解融合，有效的减少了伪影的干扰并融合成高可信的图像，改发明具有以下特点：

(1)系统容易构建，使用立体双目相机即可完成输入数据的采集；

(2)程序简单，易于实现；

(3)利用数学建模手段对融合分成两部分进行具有针对的求解；

(4)结构完成，可进行多线程操作，程序具有鲁棒性；

(5)利用细节图进行显著增强与判别，提升算法的泛化能力。

附图说明

图1是可见光与红外融合算法流程图。

图2是最终融合图像。

具体实施方式

本发明提出了一种利用红外相机和可见光相机进行实时图像融合的方法，结合附图及实施例详细说明如下：

将双目立体相机摆放在固定的平台上，实验相机的图像分辨率为1280×720，视场角为45.4°，为保证实时性利用nvidiatx2进行计算。在此基础上设计实时红外和可见光融合的方法，所述的方法包括下列步骤：

1)获取配准好的红外和可见光图像：

1-1)分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；

1-2)利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的焦距、主点位置等内部参数和旋转、平移等外部参数。

1-3)利用联合标定获得的rt及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准。

2)图像色彩空间转换

2-1)针对可见光图像是rgb三通道的问题，进行rgb色彩空间到hsv色彩空间的转换，提取可见光图像的v(明度)信息与红外图像进行融合，保留其h(色调)，s(饱和度)，具体转换如下所示：

r′＝r/255g′＝g/255b′＝b/255

cmax＝max(r′,g′,b′)

cmin＝min(r′，g′，b′)

δ＝cmax-cmin

v＝cmax

2-2)提取v(明度)通道作为可见光的输入，保留h(色调)，s(饱和度)到对应的矩阵为后面融合后的色彩还原保留颜色信息

3)对输入的红外图像和进行色彩空间转换后的可见光图像进行于基于双层范式的数学建模。该思想的核心是建立两个单独的模型，即上层子问题(leader)和下层子问题(follower)来解决同一个问题。首先假设优化中的目标函数和问题约束是博弈中的两个参与者，其中目标函数被视为领导者，问题约束是跟随者。在这种竞争中，领导者的下一步优化需要考虑跟随者的结果。通过将这两个竞争对手定义为两个复合最小化子问题：

β||▽f-▽v||1

其中，f代表融合后的图像，红外图像和可见光图像被分别用i,v表示。▽代表求梯度的算子，γ,β分别表示leader和follower的参数。

4)求解上层子问题，目标结果可以通过求解下式得到：

其中fl^k+1表示上层问题的结果。因为该目标有简单的闭式解，因此可以使用如下公式的闭形式解直接得到：

5)求解下层子问题，可以发现该问题是非凸非光滑的，很难被直接求解，应用广泛应用的交替方向乘子法来解决这一问题。因此需要通过引入辅助变量将无约束问题转化为约束问题，然后在该框架下进行求解。具体来讲，首先引入两个辅助变量u,w，其中u＝▽f-▽i,w＝▽f-▽v。通过变量替换，转化为最小化如下问题：

其中▽表示梯度算子，λ1,λ2是两个乘子，ρ1，ρ2是惩罚项的参数，通过变量分离，得到了三个分别关于u,w,f的子问题：

5-1)对于下层问题的的更新，使用公式的闭形式解得到：

5-2)每一次迭代之后都需要对乘子λ1,λ2进行更新，具体更新方式如下：

6)通过对上下层两个子问题的求解，得到了两个对融合结果在不同特征下的估计fl^k+1,为了将这两个成分融合到一张图像f上，对这两个成分进行一个线性的组合，表示为如下形式：

其中f是每次迭代的最终结果，α是权衡两个成分的参数。该参数需要根据经验手工选取，在这里选取为0.5。

7-1)通过把融合图像存入(明度v)信息进行更新，结合之前保留的(色调h)和(饱和度s)进行hsv到rgb色彩空间的还原。具体公式如下所示：

c＝v×s

x＝c×(1-|(h/60°)mod2-1|)

m＝v-c

r′，g′,b′＝((r′+m)×255，(g′+m)×255，(b′+m)×255)

其中，c为明度与饱和度的成绩，m为明度与c的差。

7-2)对步骤7-1，还原的图像进行颜色校正与增强，生成符合观察与检测的三通道图片；分别对r通道、g通道、b通道进行色彩增强，具体如下公式所示：

rout＝(rin)^1/gamma

rdisplay＝(rin^(1/gamma))^gamma

gout＝(gin)^1/gamma

g＝(gin^(1/gamma))^gamma

bout＝(bin)^1/gamma

bdisplay＝(bin^(1/gamma))^gamma。

其中gamma是矫正参数，rin，gin，bin分别是输入r，g，b三个通道的值rout，gout，bout是中间参数rdisplay，gdisplay，bdisplay是增强后三通道的取值。