一种红外可见光成像识别一体化设备的制作方法

本实用新型涉及成像识别技术领域，特别涉及一种双光成像识别设备。

背景技术：

随着光电信息、微电子、网络通信、数字视频、多媒体技术及传感技术的发展，安防监控技术已由传统的模拟走向高度集成的数字化、智能化、网络化。

目标检测是安防监控领域中的一个非常热点的研究，是很多研究工作的基础。如果不能定位目标，就难以继续对目标进行下一步分析。目前对目标检测主要有两种手段：基于可见光的和基于红外图像的。在无光环境下，可见光检测设备不能正常工作，同时受天气和光照影响大。红外热成像属于被动接收目标的红外热辐射，可以昼夜工作，红外线穿透雨、雾的能力较高，可以对各种目标如人员、车辆等进行监控，用于防火监控和伪装及隐蔽目标的识别。然而红外图像细节信息没有可见光图像丰富，单一的红外或可见光检测设备已不能满足复杂多变的生产生活场景需求。

技术实现要素：

本实用新型的目的是：针对现有技术的不足，提供一种红外可见光成像识别一体化设备。

本实用新型的一个技术方案是：一种红外可见光成像识别一体化设备，它包括：红外镜头、红外探测器、探测器接口模块、成像电路模块、红外识别模块、可见光摄像机、可见光识别模块、网络数据交换机以及分析显示终端。

红外镜头与红外探测器建立信号连接，红外探测器通过探测器接口模块与成像电路模块建立信号连接，成像电路模块与红外识别模块建立信号连接，红外识别模块通过网络数据交换机与分析显示终端建立信号连接，可见光摄像机与可见光识别模块建立信号连接，可见光识别模块通过网络数据交换机与分析显示终端建立信号连接。

上述部件中，红外镜头与红外探测器用于采集原始红外图像；探测器接口模块用于将原始红外图像传送至成像电路模块；成像电路模块用于对原始红外图像进行格式转换、预处理、图像增强，得到细节信息明显的红外图像；红外识别模块用于对细节信息明显的红外图像进行运动目标识别标注；可见光摄像机用于采集可见光图像；可见光识别模块用于对可见光图像进行运动目标识别标注；网络数据交换机用于将红外识别模块所识别出的运动目标信息及细节信息明显的红外图像、可见光识别模块所识别出的运动目标信息及可见光图像发送至分析显示终端；分析显示终端用于对细节信息明显的红外图像、可见光图像进行显示，并根据运动目标分类、标注信息对红外图像、可见光图像上的运动目标进行标注，并可以对运动目标的运动态势，即运动方向、运动速度进行分析。

在上述方案的基础上，进一步的，红外识别模块包括：第一目标检测单元、第一目标识别单元、第一识别模型单元以及第一数据交互单元；其中，第一目标检测单元分别与成像电路模块、第一目标识别单元建立信号连接，第一目标识别单元分别与第一识别模型单元、第一数据交互单元建立信号连接，第一数据交互单元与网络数据交换机建立信号连接。第一目标检测单元用于检测细节信息明显的红外图像中是否存在运动目标；第一识别模型单元内预置行人、车辆等运动目标的模型；第一目标识别单元用于对运动目标的类型进行识别，并进行标注；第一数据交互单元用于向外发送细节信息明显的红外图像及运动目标分类、标注信息。

在上述方案的基础上，进一步的，可见光识别模块包括：第二目标检测单元、第二目标识别单元、第二识别模型单元以及第二数据交互单元；其中，第二目标检测单元分别与可见光摄像机、第二目标识别单元建立信号连接，第二目标识别单元分别与第二识别模型单元、第二数据交互单元建立信号连接，第二数据交互单元与网络数据交换机建立信号连接。第二目标检测单元用于检测可见光图像中是否存在运动目标；第二识别模型单元内预置行人、车辆等运动目标的模型；第二目标识别单元用于对运动目标的类型进行识别，并进行标注；第二数据交互单元用于向外发送细节信息明显的红外图像及运动目标分类、标注信息。

在上述方案的基础上，进一步的，分析显示终端包括：红外图像显示分析单元、红外图像配置单元、可见光图像显示分析单元、可见光图像配置单元；其中，红外图像显示分析单元、红外图像配置单元、可见光图像显示分析单元以及可见光图像配置单元均与网络数据交换机建立信号连接。其中，红外图像显示分析单元用于对细节信息明显的红外图像进行显示，并对运动目标进行标定；同时，还对运动目标的运动态势进行分析；红外图像配置单元用于对红外探测器的工作参数以及红外识别模块中的第一目标检测单元、第一目标识别单元、第一识别模型单元进行配置；可见光图像显示分析单元用于对细节信息明显的红外图像进行显示，并对运动目标进行标定；同时，还对运动目标的运动态势进行分析；可见光图像配置单元用于对可见光摄像机的工作参数以及可见光识别模块中的第二目标检测单元、第二目标识别单元、第二识别模型单元进行配置。

上述方案中，具体的：红外镜头采用锗材料，表面镀增透膜，覆盖波段3.7μm~4.8μm的中波红外波；

红外探测器采用碲镉汞中波斯特林制冷红外探测器，其探测器窗口与焦平面感光波段覆盖3.7μm~4.8μm波段；红外探测器的分辨率不低于720*576，像元尺寸为15μm，f数为2。

上述方案中，具体的：可见光摄像机采用焦距10mm~330mm，33倍光学变倍的光学镜头；可见光摄像机的分辨率不低于1920*1080。

本实用新型的另一个技术方案是：一种红外可见光成像识别一体化设备的工作方法，它基于如上所述的一体化设备，并包括以下步骤：

a.红外镜头采集原始红外图像，红外探测器通过探测器接口模块向图像处理模块传输原始红外图像；可见光摄像机采集可见光图像，并将可见光图像发送至可见光识别模块；

b.图像处理模块对所接收的原始红外图像进行预处理，得到细节信息明显的红外图像，并将细节信息明显的红外图像发送至红外识别模块；

c.红外识别模块对细节信息明显的红外图像中的运动目标进行识别，识别后对运动目标进行标注及分类；之后，红外识别模块将细节信息明显的红外图像以及其上的运动目标分类、标注信息通过网络数据交换机发送至分析显示终端；

d.可见光识别模块对可见光图像中的运动目标进行识别，识别后对运动目标进行标注及分类；之后，可见光识别模块将可见光图像以及其上的运动目标分类、标注信息通过网络数据交换机发送至分析显示终端；

e.分析显示终端对接收的细节信息明显的红外图像、可见光图像进行显示，并根据标注、分类信息对细节信息明显的红外图像、可见光图像上的运动目标的运动态势进行分析。

进一步的，当红外识别模块包括：第一目标检测单元、第一目标识别单元、第一识别模型单元以及第一数据交互单元时：上述方法的步骤c具体包括：

c1.第一目标检测单元接收细节信息明显的红外图像，并判断该图像中是否存在运动目标；判断方法为：对细节信息明显的红外图像进行帧间红外差分法运算，求出图像序列中相邻两帧或多帧图像像素间的差分，并将细节信息明显的红外图像转化为二值图像，并对相应像素点相减，判断灰度差的绝对值，当绝对值超过设定阈值时，即可判断为运动目标；

c2.当细节信息明显的红外图像中存在运动目标时，第一目标识别单元调用第一识别模型单元对图像中的运动目标进行目标类型模型匹配，匹配后第一目标识别单元进一步对图像中的运动目标进行分类、标注，并将细节信息明显的红外图像及其上的运动目标分类、标注信息发送至第一数据交互单元；

c3.第一数据交互单元通过网络数据交换机将细节信息明显的红外图像及其上的运动目标分类、标注信息发送至分析显示终端。

进一步的，当可见光识别模块包括：第二目标检测单元、第二目标识别单元、第二识别模型单元以及第二数据交互单元时，上述方法的步骤d具体包括：

d1.第二目标检测单元接收可见光图像，并判断该图像中是否存在运动目标；判断方法为：对可见光图像进行帧间红外差分法运算，求出图像序列中相邻两帧或多帧图像像素间的差分，并将可见光图像转化为二值图像，并对相应像素点相减，判断灰度差的绝对值，当绝对值超过设定阈值时，即可判断为运动目标；

d2.当可见光图像中存在运动目标时，第二目标识别单元调用第二识别模型单元对图像中的运动目标进行目标类型模型匹配，匹配后第二目标识别单元进一步对图像中的运动目标进行分类、标注，并将细节信息明显的红外图像及其上的运动目标分类、标注信息发送至第二数据交互单元；

d3.第二数据交互单元通过网络数据交换机将可见光图像及其上的运动目标分类、标注信息发送至分析显示终端。

进一步的，当所述分析显示终端包括：红外图像显示分析单元、红外图像配置单元、可见光图像显示分析单元、可见光图像配置单元时，上述方法的步骤e具体包括：

e1.红外图像显示分析单元接收到细节信息明显的红外图像以及其上的运动目标分类、标注信息，对细节信息明显的红外图像进行显示，并根据运动目标分类、标注信息对运动目标进行标定；同时，红外图像显示分析单元根据上下帧细节信息明显的红外图像中运动目标的运动状态，计算运动目标偏移角度以及偏移速度；

e2.可见光图像显示分析单元接收可见光图像及其上的运动目标分类、标注信息，对可见光图像进行显示，并根据运动目标分类、标注信息对运动目标进行标定；同时，可见光图像显示分析单元根据上下帧可见光图像中运动目标的运动状态，计算运动目标偏移角度以及偏移速度。

有益效果：本实用新型结合可见光和红外成像各自的优点，获取得到红外图像以及可见光图像，并对红外图像进行处理得到细节信息明显的红外图像，之后进一步对细节信息明显的红外图像以及可见光图像进行运动目标识别，通过网络传输方式，将细节信息明显的红外图像、可见光图像以及运动目标分类、标注信息传递至分析显示终端进行显示；操作人员可实现远程监控并利用分析显示终端对红外探测器、红外识别模块、可见光摄像机、可见光识别模块进行配置。本实用新型提供了高可靠、高灵敏度、远程监控的解决方案。

附图说明

图1为本实用新型实施例1的结构框图；

图2为本实用新型实施例2的结构框图；

图中：1-红外镜头、2-红外探测器、3-探测器接口模块、4-成像电路模块、5-红外识别模块、5.1-第一目标检测单元、5.2-第一目标识别单元、5.3-第一识别模型单元、5.4-第一数据交互单元、6-可见光摄像机、7-可见光识别模块、7.1-第二目标检测单元、7.2-第二目标识别单元、7.3-第二识别模型单元、7.4-第二数据交互单元、8-网络数据交换机、9-分析显示终端、9.1-红外图像显示分析单元、9.2-红外图像配置单元、9.3-可见光图像显示分析单元、9.4-可见光图像配置单元。

具体实施方式

实施例1，参见附图1，一种红外可见光成像识别一体化设备，它包括：红外镜头1、红外探测器2、探测器接口模块3、成像电路模块4、红外识别模块5、可见光摄像机6、可见光识别模块7、网络数据交换机8以及分析显示终端9。

红外镜头1与红外探测器2建立信号连接，红外探测器2通过探测器接口模块3与成像电路模块4建立信号连接，成像电路模块4与红外识别模块5建立信号连接，红外识别模块5通过网络数据交换机8与分析显示终端9建立信号连接，可见光摄像机6与可见光识别模块7建立信号连接，可见光识别模块7通过网络数据交换机8与分析显示终端9建立信号连接。

上述部件中，红外镜头1与红外探测器2用于采集原始红外图像；探测器接口模块3用于将原始红外图像传送至成像电路模块4；成像电路模块4采用arm芯片，用于对原始红外图像进行格式转换、预处理、图像增强，得到细节信息明显的红外图像；红外识别模块5采用arm芯片，用于对细节信息明显的红外图像进行运动目标识别标注；可见光摄像机6用于采集可见光图像；可见光识别模块7采用arm芯片，用于对可见光图像进行运动目标识别标注；网络数据交换机8用于将红外识别模块5所识别出的运动目标信息及细节信息明显的红外图像、可见光识别模块7所识别出的运动目标信息及可见光图像发送至分析显示终端9；分析显示终端9用于对细节信息明显的红外图像、可见光图像进行显示，并根据运动目标分类、标注信息对红外图像、可见光图像上的运动目标进行标注，并可以对运动目标的运动态势，即运动方向、运动速度进行分析。

本例中，红外镜头1采用锗材料，表面镀增透膜，覆盖波段3.7μm~4.8μm的中波红外波。

红外探测器2采用碲镉汞中波斯特林制冷红外探测器，其探测器窗口与焦平面感光波段覆盖3.7μm~4.8μm波段；红外探测器2的分辨率不低于720*576，像元尺寸为15μm，f数为2。

可见光摄像机6采用焦距10mm~330mm，33倍光学变倍的光学镜头；可见光摄像机6的分辨率不低于1920*1080。

实施例2，参见附图2，在实施例1的基础上，对红外识别模块5、可见光识别模块7以及分析显示终端9做进一步限定：

红外识别模块5包括：第一目标检测单元5.1、第一目标识别单元5.2、第一识别模型单元5.3以及第一数据交互单元5.4；其中，第一目标检测单元5.1分别与成像电路模块4、第一目标识别单元5.2建立信号连接，第一目标识别单元5.2分别与第一识别模型单元5.3、第一数据交互单元5.4建立信号连接，第一数据交互单元5.4与网络数据交换机8建立信号连接。第一目标检测单元5.1用于检测细节信息明显的红外图像中是否存在运动目标；第一识别模型单元5.3内预置行人、车辆等运动目标的模型；第一目标识别单元5.2用于对运动目标的类型进行识别，并进行标注；第一数据交互单元5.4用于向外发送细节信息明显的红外图像及运动目标分类、标注信息。

可见光识别模块7包括：第二目标检测单元7.1、第二目标识别单元7.2、第二识别模型单元7.3以及第二数据交互单元7.4；其中，第二目标检测单元7.1分别与可见光摄像机6、第二目标识别单元7.2建立信号连接，第二目标识别单元7.2分别与第二识别模型单元7.3、第二数据交互单元7.4建立信号连接，第二数据交互单元7.4与网络数据交换机8建立信号连接。第二目标检测单元7.1用于检测可见光图像中是否存在运动目标；第二识别模型单元7.3内预置行人、车辆等运动目标的模型；第二目标识别单元7.2用于对运动目标的类型进行识别，并进行标注；第二数据交互单元7.4用于向外发送细节信息明显的红外图像及运动目标分类、标注信息。

分析显示终端9包括：红外图像显示分析单元9.1、红外图像配置单元9.2、可见光图像显示分析单元9.3、可见光图像配置单元9.4；其中，红外图像显示分析单元9.1、红外图像配置单元9.2、可见光图像显示分析单元9.3以及可见光图像配置单元9.4均与网络数据交换机8建立信号连接。其中，红外图像显示分析单元9.1用于对细节信息明显的红外图像进行显示，并对运动目标进行标定；同时，还对运动目标的运动态势进行分析；红外图像配置单元9.2用于对红外探测器2的工作参数以及红外识别模块5中的第一目标检测单元5.1、第一目标识别单元5.2、第一识别模型单元5.3进行配置；可见光图像显示分析单元9.3用于对细节信息明显的红外图像进行显示，并对运动目标进行标定；同时，还对运动目标的运动态势进行分析；可见光图像配置单元9.4用于对可见光摄像机6的工作参数以及可见光识别模块7中的第二目标检测单元7.1、第二目标识别单元7.2、第二识别模型单元7.3进行配置。

实施例3，一种红外可见光成像识别一体化设备的工作方法，它基于如实施例1所述的一体化设备，并包括以下步骤：

a.红外镜头1采集原始红外图像，红外探测器2通过探测器接口模块3向图像处理模块4传输原始红外图像；可见光摄像机6采集可见光图像，并将可见光图像发送至可见光识别模块7；

b.图像处理模块4对所接收的原始红外图像进行预处理，得到细节信息明显的红外图像，并将细节信息明显的红外图像发送至红外识别模块5；

c.红外识别模块5对细节信息明显的红外图像中的运动目标进行识别，识别后对运动目标进行标注及分类；之后，红外识别模块5将细节信息明显的红外图像以及其上的运动目标分类、标注信息通过网络数据交换机8发送至分析显示终端9；

d.可见光识别模块7对可见光图像中的运动目标进行识别，识别后对运动目标进行标注及分类；之后，可见光识别模块7将可见光图像以及其上的运动目标分类、标注信息通过网络数据交换机8发送至分析显示终端9；

e.分析显示终端9对接收的细节信息明显的红外图像、可见光图像进行显示，并根据标注、分类信息对细节信息明显的红外图像、可见光图像上的运动目标的运动态势进行分析。

实施例4，一种红外可见光成像识别一体化设备的工作方法，它基于如实施例2所述的一体化设备，并包括以下步骤：

a.红外镜头1采集原始红外图像，红外探测器2通过探测器接口模块3向图像处理模块4传输原始红外图像；可见光摄像机6采集可见光图像，并将可见光图像发送至可见光识别模块7；

b.图像处理模块4对所接收的原始红外图像进行预处理，得到细节信息明显的红外图像，并将细节信息明显的红外图像发送至红外识别模块5；预处理的方法为，首先对原始红外图像进行格式转换，对转换格式后的红外图像进行非均匀校正与盲元补偿得到校正图像，之后在对校正图像进行直方图均衡和导向滤波由此得到细节信息明显的红外图像；

c1.第一目标检测单元5.1接收细节信息明显的红外图像，并判断该图像中是否存在运动目标；判断方法为：对细节信息明显的红外图像进行帧间红外差分法运算，求出图像序列中相邻两帧或多帧图像像素间的差分，并将细节信息明显的红外图像转化为二值图像，并对相应像素点相减，判断灰度差的绝对值，当绝对值超过设定阈值时，即可判断为运动目标；

c2.当细节信息明显的红外图像中存在运动目标时，第一目标识别单元5.2调用第一识别模型单元5.3对图像中的运动目标进行目标类型模型匹配，匹配后第一目标识别单元5.2进一步对图像中的运动目标进行分类、标注，并将细节信息明显的红外图像及其上的运动目标分类、标注信息发送至第一数据交互单元5.4；

c3.第一数据交互单元5.4通过网络数据交换机8将细节信息明显的红外图像及其上的运动目标分类、标注信息发送至分析显示终端9。

d1.第二目标检测单元7.1接收可见光图像，并判断该图像中是否存在运动目标；判断方法为：对可见光图像进行帧间红外差分法运算，求出图像序列中相邻两帧或多帧图像像素间的差分，并将可见光图像转化为二值图像，并对相应像素点相减，判断灰度差的绝对值，当绝对值超过设定阈值时，即可判断为运动目标；

d2.当可见光图像中存在运动目标时，第二目标识别单元7.2调用第二识别模型单元7.3对图像中的运动目标进行目标类型模型匹配，匹配后第二目标识别单元7.2进一步对图像中的运动目标进行分类、标注，并将细节信息明显的红外图像及其上的运动目标分类、标注信息发送至第二数据交互单元7.4；

d3.第二数据交互单元7.4通过网络数据交换机8将可见光图像及其上的运动目标分类、标注信息发送至分析显示终端9。

e1.红外图像显示分析单元9.1接收到细节信息明显的红外图像以及其上的运动目标分类、标注信息，对细节信息明显的红外图像进行显示，并根据运动目标分类、标注信息对运动目标进行标定；同时，红外图像显示分析单元9.1根据上下帧细节信息明显的红外图像中运动目标的运动状态，计算运动目标偏移角度以及偏移速度；

e2.可见光图像显示分析单元9.3接收可见光图像及其上的运动目标分类、标注信息，对可见光图像进行显示，并根据运动目标分类、标注信息对运动目标进行标定；同时，可见光图像显示分析单元9.3根据上下帧可见光图像中运动目标的运动状态，计算运动目标偏移角度以及偏移速度。

进一步的，在步骤a前，还可通过红外图像配置单元9.2对红外探测器2的工作参数以及红外识别模块5中的第一目标检测单元5.1、第一目标识别单元5.2、第一识别模型单元5.3进行配置；通过可见光图像配置单元9.4用于对可见光摄像机6的工作参数以及可见光识别模块7中的第二目标检测单元7.1、第二目标识别单元7.2、第二识别模型单元7.3进行配置。

虽然，上文中已经用一般性说明及具体实施例对本实用新型作了详尽的描述，但在本实用新型基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本实用新型精神的基础上所做的这些修改或改进，均属于本实用新型要求保护的范围。