多源图像融合显示的可穿戴视频监视系统及融合方法与流程

本发明属于光电技术领域，适用于可见光、红外光和热成像，基于嵌入式安卓系统，涉及一种多源图像融合显示的可穿戴视频监视系统，本发明还涉及一种多源图像的融合方法。

背景技术：

传统的可见光图像反映的是物体在可见光波段的反射特性，所成图像在光照良好时清晰可见，一旦光线灰暗，内容不易分辨。而红外光图像可以在夜间光照不良时，达到夜视效果，红外热成像图像可以测得物体的温度场分布，捕获肉眼看不到的物体，也可以克服烟雾的影响。

同一场景的可见光、红外光和热成像的融合可以提供更多、更有效的信息。在夜间和失火产生浓密的烟雾时，可见光无法识别被困对象，可见光、红外光和红外热图像的融合能够提供更多关于被困者的信息，在消防等领域有极大的应用价值。现有技术中的热像仪多为手提式，其体积庞大、结构复杂，使用不便和携带不便，难以满足消防领域的使用需要。

技术实现要素：

本发明的目的是提供一种多源图像融合显示的可穿戴视频监视系统，解决了现有技术中没有对可见光、红外光和热成像的融合设备，存在设备单一、携带不方便、使用局限性大的问题。

本发明同时提供一种多源图像的融合方法。

本发明所采用的技术方案是，一种多源图像融合显示的可穿戴视频监视系统，包括设置在头盔上的热成像相机、ir相机、led红外补光灯、亮度感应器及触摸显示屏，还包括设置在腰带上的安卓嵌入式控制器及电源模块；安卓嵌入式控制器的电源线与电源模块连接，安卓嵌入式控制器的各个信号线缆分别与热成像相机、ir相机、led红外补光灯、亮度感应器及触摸显示屏对应连接。

本发明所采用的另一技术方案是，一种多源图像的融合方法，利用上述的多源图像融合显示的可穿戴视频监视系统，按照以下步骤实施：

步骤1：设置参照物的实际尺寸s和物体距离摄像头的物理距离d；

步骤2：通过ir相机采集到参照物的10幅图像，并测出10幅图像中参照物的对应公式(1)中的影像尺寸s'；

步骤3：根据下式(1)，计算上述的10幅图像中相距的平均值作为相距d'的常数值；

其中，d为物体距离摄像头的物理距离，d'为物体的影像距离摄像头光心的相距；s为待测目标物体的实际尺寸，s'为物体由摄像机形成影像后的影像尺寸；

步骤4：通过图像识别方法计算目标物体在图像中所占的像素个数，结合ir相机的像素尺寸，对目标物体的实际尺寸进行估算；

步骤5：根据公式(1)得到目标物体的物距d；

步骤6：利用canny边缘检测可见光图像得到边缘图像c，将边缘图像c中的值为1的像素点为边缘点；

步骤7：利用图像的brovery变换，将输入的热成像图像3个波段按照以下公式计算，得到融合图像；

步骤8：在得到融合图像的红、绿、蓝三个波段的数据矩阵后，按照下式(4)对三个数据矩阵分别进行归一化处理；

步骤9：将可见光图像中边缘图像c值为1的点，用可见光图像中红、绿、蓝三个波段的数据替代步骤8得到的融合图像中的数据，得到最终的融合图像。

本发明的有益效果是，利用了两个平行设置的摄像头，在图像配准处理中，提高了配准的精度，之后进行图像融合时，将多光谱图像的像方空间分解为色彩和亮度成分并进行计算，其特点是简化了图像转化过程的系数，最大限度的保留了过光谱图像的信息，具体包括：

1)实现了可见光、红外光和热成像的信息融合，提高了显示清晰度，并可以监视到隐蔽的发热目标；

2)解决了复杂环境作业中的监视问题，不但可以看到目标，而且能够得到温度场分布，实现对温度的测量、显示与警示，便于及时发现高、低温目标，避免不必要的误操作及伤害；

3)可穿戴，软件采用app移植方便，易操作，使用方便、灵活。

附图说明

图1是本发明装置的热像仪系统头盔框图；

图2是本发明装置的热像仪系统腰带框图；

图3是本发明装置中的安卓嵌入式控制器细分结构框图；

图4是本发明装置提供的可见光图像；

图5是本发明装置提供的热成像图像；

图6是本发明装置提供的可见光与热成像融合后的图像。

图中，1.头盔，2.热成像相机，3.ir相机，4.led红外补光灯，5.亮度感应器，6.触摸显示屏，7.腰带，8.安卓嵌入式控制器，9.电源模块。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

参照图1、图2、图3，本发明装置的硬件结构是，包括设置在头盔1上的热成像相机2、ir相机3、led红外补光灯4、亮度感应器5及触摸显示屏6，还包括设置在腰带7上的安卓嵌入式控制器8及电源模块9；安卓嵌入式控制器8的电源线与电源模块9连接，安卓嵌入式控制器8的各个信号线缆分别与热成像相机2、ir相机3、led红外补光灯4、亮度感应器5及触摸显示屏6对应连接。

热成像相机2选用flirone二代型号的热成像相机，分辨率为640*480像素，虽然无法提供高清晰的热成像照片，但是对于根据热成像图片来寻找发热的人员或物体是足够的。ir相机3为普通的低照度黑白相机。

电源模块9选用移动手机使用的充电宝，通过usb连接线为安卓嵌入式控制器8提供电源。

亮度感应器5用于判断环境光线的强弱，从而将检测到的光线信号输入到安卓嵌入式控制器8，如果周围环境的光线过暗，则由安卓嵌入式控制器8控制调节led红外补光灯4的亮度来增强周围环境光线的强度。

安卓嵌入式控制器8中的软件基于flironesdk二次开发app，实现对可见光图像、红外光图像和热成像图像的融合，包括图像预处理单元和图像融合单元、功能显示单元、报警提示单元。图像预处理单元主要完成可见光、红外光、热成像图像的预处理，图像融合单元实现了可见光、红外光和热成像图像融合，功能显示单元可以基于热成像相机测得目标区域温度，可划分区域，可区分高低温显示，也可以拍照和录像，也可以进行不同视频图像切换显示或融合显示，或画中画显示。报警提示单元可设置高温阈值，进入高温区域语言报警提示。

本发明装置的工作原理是，当光照条件良好时，应用ir相机3捕获可见光图像，当光照不足时，系统自动打开led红外补光灯4配合热成像相机2，捕获红外夜视图像，同时用热成像相机2捕获热成像图像，将可见光图像和热成像图像分别与红外图像进行图像融合。

本发明多源图像的融合方法，按照以下步骤实施：

步骤1：设置参照物的实际尺寸s和物体距离摄像头的物理距离d；

步骤2：通过ir相机3采集到参照物的10幅图像，并测出10幅图像中参照物的对应公式(1)中的影像尺寸s'；

步骤3：根据如下的公式(1)，计算上述的10幅图像中相距的平均值作为相距d'的常数值；

其中，d为物体距离摄像头的物理距离，d'为物体的影像距离摄像头光心的相距；s为待测目标物体的实际尺寸，s'为物体由摄像机形成影像后的影像尺寸。

步骤4：通过图像识别方法计算目标物体在图像中所占的像素个数，结合ir相机3的像素尺寸(由相机厂商获得)，对目标物体的实际尺寸进行估算。

步骤5：根据公式(1)得到目标物体的物距d。

步骤6：利用canny边缘检测可见光图像得到边缘图像c，将边缘图像c中的值为1的像素点为边缘点。

步骤7：利用图像的brovery变换，将输入的热成像图像3个波段按照以下公式计算，得到融合图像：

i＝(br-m)+(bg-m)+(bb-m)，(3)

其中，rf、gf、bf分别为融合图像红、绿、蓝三个波段的数据矩阵，r、g、b分别为热成像图像中红、绿、蓝三个波段的数据矩阵，p为可见光图像的数据矩阵，i是系数，br-m、bg-m、bb-m分别代表热成像图像中的红、绿、蓝波段数值。

步骤8：在得到融合图像的红、绿、蓝三个波段的数据矩阵后，按照下式(4)对三个数据矩阵分别进行归一化处理，

rfg、gfg、bfg分别为归一化处理后融合图像红、绿、蓝三个波段的数据矩阵,rfmax、rfmin分别为rf矩阵中像素值的最大值和最小值，gfmax、gfmin分别为gf矩阵中像素值的最大值和最小值，bfmax、bfmin分别为bf矩阵中像素值的最大值和最小值。

步骤9：将可见光图像中边缘图像c值为1的点，用可见光图像中红、绿、蓝三个波段的数据替代步骤8得到的融合图像中的数据，得到最终的融合图像。

本发明的创新点主要在于上述的步骤3、步骤4、步骤6及步骤9，即步骤3依据小孔成像原理，依据摄像机形成影像后的像素点的面积进行计算、步骤4单目测距估计目标物体的实际尺寸、步骤6和步骤9融合进边缘特征信息，使融合后的图像既能看得见温度场信息，又能看得见轮廓。融合图像后，即可得到目标物体粗的距离信息。

图4-图6是可见光和热成像图像融合的实施例，图4是本发明装置采集的可见光图像；图5是本发明装置采集的热成像图像；图6是本发明方法对可见光图像与热成像图像进行复合处理后的融合图像。红外图像与热成像图像的复合处理与上述的方法相同。