一种红外图像与高清视频的融合方法与系统与流程

1.本发明涉及红外图像与高清视频的融合领域，具体涉及一种红外图像与高清视频的融合方法与系统。


背景技术：

2.可见光图像与红外图像属于两种不同的形态，红外图像根据物体的热辐射成像，具有丰富热辐射信息，且不受光线、背景杂波、成像距离的影响；但是，红外图像会丢失纹理、结构等细节；可见光图像具有丰富的颜色和纹理信息，然而，可见光图像很容易受到照明，遮挡等因素的影响；红外图像和可见光图像包含的信息具有互补性，其互补性在检测和识别，模式识别的场景分析，遥感图像，医学图像，现代军队，夜间监视等领域有广泛的应用；为充分利用可见光图像与红外图像的互补信息，配准两种图像是最基本和最关键的步骤。图像配准即在变换空间中寻找一种最优的变换，使两幅图像通过该变换能实现转换；
3.图像配准是图像处理领域常见的基础问题，是在变换空间中寻找一种或多种变换，使来自不同时间不同传感器或不同视角的同一场景的两幅或多幅图像在空间上一致，由于拍摄时间、角度、环境的变化、多种传感器的使用和传感器本身的缺陷，使拍摄的图像不仅受噪声的影响，而且存在严重的灰度失真和几何畸变，在这种条件下，匹配算法如何达到高精度、匹配正确率高、速度快、鲁棒性和抗干扰性强以及并行实现成为人们准求的目标；
4.但是红外图像与可见光图像由于相关性小，缺乏一致性特征，因此配准的难度较大，如果所测物体的温差不是很大的话，那么红外热图像的对比度就会低，就会使分辨细节能力变差，因此需要将红外图像和高清视频融合得到一幅既具有温度分布信息，又有较高清晰度的融合图像，才能够准确定位高温区域。


技术实现要素：

5.本发明要解决的技术问题是红外图像与可见光图像由于相关性小，缺乏一致性特征，因此配准的难度较大，如果所测物体的温差不是很大的话，那么红外热图像的对比度就会低，就会使分辨细节能力变差，本发明提供一种红外图像与高清视频的融合方法，本发明还提供一种红外图像与高清视频的融合系统，能够将红外图像和高清视频融合得到一幅既具有温度分布信息、又有较高清晰度的融合图像，能够准确定位高温区域，可以快速定位故障位置，如果只采用红外监控的话，只能看到温度的大体分布，难以定位到故障点的具体位置，结构简单，便于使用，用以解决现有技术导致的缺陷。
6.为解决上述技术问题本发明提供以下的技术方案：
7.第一方面，一种红外图像与高清视频的融合方法，其中，包含以下步骤：
8.步骤1:从红外热成像模块中获取温度数据并进行处理得到红外热图像记为imga；
9.获取可见光视频帧图记为imgb，低照度摄像头可实时获取可见光视频帧；
10.对所述imga与所述imgb进行尺寸归一化处理使得所述imga与所述imgb的图像尺
寸一致，优选为240*320像素大小，便于后续处理；
11.步骤2：对所述imga与所述imgb分别进行边缘提取得到边缘图像数据分别记为imga_canny与imgb_canny；
12.步骤3：从所述imgb_canny中找出待检测目标的五个轮廓点,得到矩阵retb＝[ptb1,ptb2,ptb3,ptb4,ptb5]；
[0013]
步骤4：根据所述矩阵retb与所述imga_canny进行相似性度量计算得到相似性度值；
[0014]
根据所述相似性度值获取所述imga中的五个轮廓点，得到矩阵reta＝[pta1,pta2,pta3,pta4,pta5]；
[0015]
步骤5：将ptbi(i＝1,
…
,5)与ptai(i＝1,
…
,5)依次对应，得到五对关键点{ptb1,pta1}、{ptb2,pta2}、{ptb3,pta3}、{ptb4,pta4}、{ptb5,pta5}，其中ptbi表示矩阵retb中的点，i＝0,1,2,3,4，ptai表示所述imga中的像素点，i＝0,1,2,3,4；
[0016]
所述imgb_canny中的五个轮廓点能够描述出物体的轮廓，通过相似性度值得到所述imga中与所述imgb_canny中五个轮廓点相匹配的五个轮廓点，将所述imga中与所述imgb_canny中的五个轮廓点相匹配得到五对关键点；
[0017]
步骤6：根据五对所述关键点对所述imga与所述imgb进行图像融合。
[0018]
上述的一种红外图像与高清视频的融合方法，其中，步骤1中从红外热成像模块中获取24*32个所述温度数据的阵列，对所述温度数据阵列进行处理后得到红外热图像记为imga；
[0019]
采用双线性插值法对所述imga与所述imgb进行尺寸归一化处理使得所述imga与所述imgb的图像尺寸一致；
[0020]
双线性插值法的描述如下：对于一个目标像素，设置坐标通过反向变换得到浮点坐标为(i+u,j+v)，其中i、j均为浮点坐标的整数部分，u、v为浮点坐标的小数部分，是取值[0,1)区间的浮点数，则这个像素的值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定，即：f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)，其中f(i,j)表示源图像(i,j)处的的像素值，以此类推。
[0021]
上述的一种红外图像与高清视频的融合方法，其中，步骤2中使用边缘检测算法对所述imga与所述imgb分别进行边缘提取,得到边缘图像数据分别记为imga_canny与imgb_canny；
[0022]
边缘检测算法优选为canny算子，canny算子是一种边缘检测算法，能够获取图像的轮廓特征，canny算子的计算过程为：1)将图片灰度化；2)将图片进行高斯滤波；3)将计算梯度值和方向；4)非极大值抑制；5)双阈值选取；6)边缘检测。
[0023]
上述的一种红外图像与高清视频的融合方法，其中，步骤3中从所述imgb_canny中的边廓线中获取待检测目标的五个轮廓点。
[0024]
上述的一种红外图像与高清视频的融合方法，其中，步骤4中根据公式对所述矩阵retb与所述imga_canny进行相似性度量计算
得到相似性度值，其中bi表示矩阵retb中的点，i＝0,1,2,3,4，aj表示所述imga_canny中的像素点，j＝0,1,
…
,240*320，cos(θ)
i,j
表示bi和aj两个向量方向之间的差异；
[0025]
将所述相似性度值输入公式中进行计算得到所述imga中得分最高的五个点并用矩阵reta＝[pta1,pta2,pta3,pta4,pta5]来表示，得分越高，说明相似性度越高，其中，cos(θ)
i,j
表示bi和aj两个向量方向之间的差异，score(a,b)表示取cos(θ)
i,j
在aj方向的最大值，
[0026]
上述的一种红外图像与高清视频的融合方法，其中，步骤6中根据等式imgmerge＝α*imga+β*imgb进行图像叠加，式中α+β＝1，α代表图像imga的权重，β代表图像imgb的权重，e表示融合之后的图像，优选α＝0.4,β＝0.6；
[0027]
假如图像imga用矩阵表示，权重α＝0.4；
[0028]
图像imgb用矩阵表示，权重β＝0.6；
[0029]
那么，
[0030][0031]
则矩阵就是融合之后的图像矩阵。
[0032]
第二方面，一种红外图像与高清视频的融合系统，其中，包含红外热图像获取模
块、可见光视频帧图获取模块、图片处理模块、图片边缘提取模块、轮廓点提取模块、相似性计算模块、关键点处理模块、图像融合模块；
[0033]
所述红外热图像获取模块用于从红外热成像模块中获取温度数据并进行处理得到红外热图像记为imga；
[0034]
所述可见光视频帧图获取模块用于获取可见光视频帧图记为imgb；
[0035]
所述图片处理模块用于对所述imga与所述imgb进行尺寸归一化处理使得所述imga与所述imgb的图像尺寸一致；
[0036]
所述图片边缘提取模块用于对所述imga与所述imgb分别进行边缘提取得到边缘图像数据分别记为imga_canny与imgb_canny；
[0037]
所述轮廓点提取模块用于从所述imgb_canny中找出待检测目标的五个轮廓点,得到矩阵retb＝[ptb1,ptb2,ptb3,ptb4,ptb5]；
[0038]
所述相似性计算模块用于根据所述矩阵retb与所述imga_canny进行相似性度量计算得到相似性度值；
[0039]
所述轮廓点提取模块还用于根据所述相似性度值获取所述imga中的五个轮廓点，得到矩阵reta＝[pta1,pta2,pta3,pta4,pta5]；
[0040]
所述关键点处理模块用于将ptbi(i＝1,
…
,5)与ptai(i＝1,
…
,5)依次对应，得到五对关键点{ptb1,pta1}、{ptb2,pta2}、{ptb3,pta3}、{ptb4,pta4}、{ptb5,pta5}，其中ptbi表示矩阵retb中的点，i＝0,1,2,3,4，ptbi表示所述imga中的像素点，i＝0,1,2,3,4；
[0041]
所述图像融合模块用于根据五对所述关键点对所述imga与所述imgb进行图像融合。
[0042]
第三方面，一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。
[0043]
随着国民经济的发展，对电力系统可靠运行的要求越来越高，电力设备运行的可靠性直接关系到电力系统的安全与稳定，对其状态的监控就显得愈加重要，由于用电设备的电能损耗，其中一个重要的损耗体现在热损耗上，而热量又和设备的工作状态正常与否以及寿命等有一定联系，因此，对电力设备的温度监控也提出了要求，温度可能是未来故障的征兆，红外图像只有目标的大致轮廓，依据本发明提供的技术方案，与可见光图像融合以后能够准确定位高温区域，如果温度高于设定阈值，则将告警信息发送到指定设备，提醒工作人员及时检修设备，快速定位故障位置。
[0044]
另外，输煤栈桥作为电厂燃料供应的基础保障，包含给煤机、电子皮带秤、皮带输送机、犁煤器等多种燃煤输送作业设备，是设备运维的重点区域。输煤栈桥线路长，内部空气环境相对恶劣，设备点检部位多，煤粉浮尘含量高，对作业人员的责任心、安全意识要求高，且输煤栈桥内存在煤粉自燃起火、监控盲区多等安全隐患。如果只采用红外监控的话，只能看到温度的大体分布，难以定位到故障点的具体位置，与可见光融合以后则可以快速定位故障位置。
[0045]
依据上述本发明一种红外图像与高清视频的融合方法与系统提供的技术方案具有以下技术效果：
[0046]
本发明一种红外图像与高清视频的融合方法与系统提供的技术方案能够将红外图像和高清视频融合得到一幅既具有温度分布信息、又有较高清晰度的融合图像，能够准
确定位高温区域，可以快速定位故障位置，如果只采用红外监控的话，只能看到温度的大体分布，难以定位到故障点的具体位置，结构简单，便于使用。
附图说明
[0047]
图1为本发明一种红外图像与高清视频的融合方法流程图；
[0048]
图2为本发明一种红外图像与高清视频的融合系统的结构示意图。
[0049]
其中，附图标记如下：
[0050]
红外热图像获取模块101、可见光视频帧图获取模块102、图片处理模块103、图片边缘提取模块104、轮廓点提取模块105、相似性计算模块106、关键点处理模块107、图像融合模块108。
具体实施方式
[0051]
为了使发明实现的技术手段、创造特征、达成目的和功效易于明白了解，下结合具体图示，进一步阐述本发明。
[0052]
本发明的第一实施例是提供一种红外图像与高清视频的融合方法，目的是能够将红外图像和高清视频融合得到一幅既具有温度分布信息、又有较高清晰度的融合图像，能够准确定位高温区域，可以快速定位故障位置，如果只采用红外监控的话，只能看到温度的大体分布，难以定位到故障点的具体位置，结构简单，便于使用。
[0053]
如图1所示，第一方面，第一实施例，一种红外图像与高清视频的融合方法，其中，包含以下步骤：
[0054]
步骤1:从红外热成像模块中获取温度数据并进行处理得到红外热图像记为imga；
[0055]
获取可见光视频帧图记为imgb，低照度摄像头可实时获取可见光视频帧；
[0056]
对imga与imgb进行尺寸归一化处理使得imga与imgb的图像尺寸一致，优选为240*320像素大小，便于后续处理；
[0057]
步骤2：对imga与imgb分别进行边缘提取得到边缘图像数据分别记为imga_canny与imgb_canny；
[0058]
步骤3：从imgb_canny中找出待检测目标的五个轮廓点,得到矩阵retb＝[ptb1,ptb2,ptb3,ptb4,ptb5]；
[0059]
步骤4：根据矩阵retb与imga_canny进行相似性度量计算得到相似性度值；
[0060]
根据相似性度值获取imga中的五个轮廓点，得到矩阵reta＝[pta1,pta2,pta3,pta4,pta5]；
[0061]
步骤5：将ptbi(i＝1,
…
,5)与ptai(i＝1,
…
,5)依次对应，得到五对关键点{ptb1,pta1}、{ptb2,pta2}、{ptb3,pta3}、{ptb4,pta4}、{ptb5,pta5}，其中ptbi表示矩阵retb中的点，i＝0,1,2,3,4，ptai表示imga中的像素点，i＝0,1,2,3,4；
[0062]
imgb_canny中的五个轮廓点能够描述出物体的轮廓，通过相似性度值得到imga中与imgb_canny中五个轮廓点相匹配的五个轮廓点，将imga中与imgb_canny中的五个轮廓点相匹配得到五对关键点；
[0063]
步骤6：根据五对关键点对imga与imgb进行图像融合。
[0064]
上述的一种红外图像与高清视频的融合方法，其中，步骤1中从红外热成像模块中
获取24*32个温度数据的阵列，对温度数据阵列进行处理后得到红外热图像记为imga；
[0065]
采用双线性插值法对imga与imgb进行尺寸归一化处理使得imga与imgb的图像尺寸一致；
[0066]
双线性插值法的描述如下：对于一个目标像素，设置坐标通过反向变换得到浮点坐标为(i+u,j+v)，其中i、j均为浮点坐标的整数部分，u、v为浮点坐标的小数部分，是取值[0,1)区间的浮点数，则这个像素的值f(i+u,j+v)可由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定，即：f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)，其中f(i,j)表示源图像(i,j)处的的像素值，以此类推。
[0067]
上述的一种红外图像与高清视频的融合方法，其中，步骤2中使用边缘检测算法对imga与imgb分别进行边缘提取,得到边缘图像数据分别记为imga_canny与imgb_canny；
[0068]
边缘检测算法优选为canny算子，canny算子是一种边缘检测算法，能够获取图像的轮廓特征，canny算子的计算过程为：1)将图片灰度化；2)将图片进行高斯滤波；3)将计算梯度值和方向；4)非极大值抑制；5)双阈值选取；6)边缘检测。
[0069]
上述的一种红外图像与高清视频的融合方法，其中，步骤3中从imgb_canny中的边廓线中获取待检测目标的五个轮廓点。
[0070]
上述的一种红外图像与高清视频的融合方法，其中，步骤4中根据公式对矩阵retb与imga_canny进行相似性度量计算得到相似性度值，其中bi表示矩阵retb中的点，i＝0,1,2,3,4，aj表示imga_canny中的像素点，j＝0,1,
…
,240*320，cos(θ)
i,j
表示bi和aj两个向量方向之间的差异；
[0071]
将相似性度值输入公式中进行计算得到imga中得分最高的五个点并用矩阵reta＝[pta1,pta2,pta3,pta4,pta5]来表示，得分越高，说明相似性度越高，其中，cos(θ)
i,j
表示bi和aj两个向量方向之间的差异，score(a,b)表示取cos(θ)
i,j
在aj方向的最大值，
[0072]
上述的一种红外图像与高清视频的融合方法，其中，步骤6中根据等式imgmerge＝α*imga+β*imgb进行图像叠加，式中α+β＝1，α代表图像imga的权重，β代表图像imgb的权重，e表示融合之后的图像，优选α＝0.4,β＝0.6；
[0073]
假如图像imga用矩阵表示，权重α＝0.4；
[0074]
图像imgb用矩阵表示，权重β＝0.6；
[0075]
那么，
[0076][0077]
则矩阵就是融合之后的图像矩阵。
[0078]
如图2所示，第二方面，第二实施例，一种红外图像与高清视频的融合系统，其中，包含红外热图像获取模块101、可见光视频帧图获取模块102、图片处理模块103、图片边缘提取模块104、轮廓点提取模块105、相似性计算模块106、关键点处理模块107、图像融合模块108；
[0079]
红外热图像获取模块101用于从红外热成像模块中获取温度数据并进行处理得到红外热图像记为imga；
[0080]
可见光视频帧图获取模块102用于获取可见光视频帧图记为imgb；
[0081]
图片处理模块103用于对imga与imgb进行尺寸归一化处理使得imga与imgb的图像尺寸一致；
[0082]
图片边缘提取模块104用于对imga与imgb分别进行边缘提取得到边缘图像数据分别记为imga_canny与imgb_canny；
[0083]
轮廓点提取模块105用于从imgb_canny中找出待检测目标的五个轮廓点,得到矩阵retb＝[ptb1,ptb2,ptb3,ptb4,ptb5]；
[0084]
相似性计算模块106用于根据矩阵retb与imga_canny进行相似性度量计算得到相似性度值；
[0085]
轮廓点提取模块105还用于根据相似性度值获取imga中的五个轮廓点，得到矩阵reta＝[pta1,pta2,pta3,pta4,pta5]；
[0086]
关键点处理模块107用于将ptbi(i＝1,
…
,5)与ptai(i＝1,
…
,5)依次对应，得到五对关键点{ptb1,pta1}、{ptb2,pta2}、{ptb3,pta3}、{ptb4,pta4}、{ptb5,pta5}，其中ptbi表示矩阵retb中的点，i＝0,1,2,3,4，ptbi表示imga中的像素点，i＝0,1,2,3,4；
[0087]
图像融合模块108用于根据五对关键点对imga与imgb进行图像融合。
[0088]
第三方面，一种计算机可读存储介质，其中，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面中任一项的方法的步骤。
[0089]
随着国民经济的发展，对电力系统可靠运行的要求越来越高，电力设备运行的可靠性直接关系到电力系统的安全与稳定，对其状态的监控就显得愈加重要，由于用电设备的电能损耗，其中一个重要的损耗体现在热损耗上，而热量又和设备的工作状态正常与否以及寿命等有一定联系，因此，对电力设备的温度监控也提出了要求，温度可能是未来故障的征兆，红外图像只有目标的大致轮廓，依据本发明提供的技术方案，与可见光图像融合以后能够准确定位高温区域，如果温度高于设定阈值，则将告警信息发送到指定设备，提醒工作人员及时检修设备，快速定位故障位置。
[0090]
另外，输煤栈桥作为电厂燃料供应的基础保障，包含给煤机、电子皮带秤、皮带输送机、犁煤器等多种燃煤输送作业设备，是设备运维的重点区域。输煤栈桥线路长，内部空气环境相对恶劣，设备点检部位多，煤粉浮尘含量高，对作业人员的责任心、安全意识要求高，且输煤栈桥内存在煤粉自燃起火、监控盲区多等安全隐患。如果只采用红外监控的话，只能看到温度的大体分布，难以定位到故障点的具体位置，与可见光融合以后则可以快速定位故障位置。
[0091]
综上，本发明的一种红外图像与高清视频的融合方法与系统，能够将红外图像和高清视频融合得到一幅既具有温度分布信息、又有较高清晰度的融合图像，能够准确定位高温区域，可以快速定位故障位置，如果只采用红外监控的话，只能看到温度的大体分布，难以定位到故障点的具体位置，结构简单，便于使用。
[0092]
以上对发明的具体实施例进行了描述。需要理解的是，发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；本领域技术人员可以在权利要求的范围内做出各种变形或修改做出若干简单推演、变形或替换，这并不影响发明的实质内容。