一种双波段云台联动智能相机及工作方法与流程

本发明涉及安防监控技术领域，特别涉及一种具备目标识别跟踪的智能相机。

背景技术：

安防监控领域中，可见光设备廉价、分辨率高，但其在夜晚成像灵敏度低，观测距离有限，且易受天气条件影响。红外设备具有全天候被动成像特性，雾霾穿透能力强，观测距离远，但其分辨率低且价格昂贵。

为了覆盖更多变的使用环境，覆盖更远距离，满足全天候的监控需求，需要设计一款采用可见光、红外双光成像方式，同时能够自主检测、识别、跟踪目标的成像设备。

技术实现要素：

本发明的目的是：针对现有技术的不足，提供一种具备自主监控、自主搜索跟踪能力的智能相机。

本发明的一个技术方案是：一种双波段云台联动智能相机，它包括：配备红外镜头的红外成像器、配备可见光镜头的可见光摄像头。

红外成像器与可见光摄像头搭载在云台上，云台上还设有第一目标识别跟踪模块、第二目标识别跟踪模块以及网络交换机；第一目标识别跟踪模块分别与红外成像器、网络交换机建立连接，第二目标识别跟踪模块分别与可见光摄像头、网络交换机建立连接；网络交换机与云台建立连接，云台根据第一目标识别跟踪模块或第二目标识别跟踪模块下发的运动指令动作。

上述方案中的红外镜头与红外成像器用于采集红外图像，第一目标识别跟踪模块用于对红外图像中的物体进行识别，确定目标后，对目标进行监测并分析目标的运动趋势，并根据目标的运动趋势通过网络交换机向云台发送运动指令。可见光镜头与可见光摄像头用于采集可见光图像，第二目标识别跟踪模块用于对可见光图像中的物体进行识别，确定目标后，对目标进行监测并分析目标的运动趋势，并根据目标的运动趋势通过网络交换机向云台发送运动指令。云台择一执行第一目标识别跟踪模块或第二目标识别跟踪模块所发送的运动指令，带动其上所搭载的红外成像器及可见光摄像头随目标运动方向移动，实现对移动目标的跟踪。

在上述方案的基础上，进一步的，智能相机还包括：客户端；客户端与云台建立连接。客户端用于接收由红外成像器、可见光摄像头组成的双波段成像所采集的图像，同时接收由第一目标识别跟踪模块及第二目标识别跟踪模块所输出的图像分析数据，并且对所接收的图像及图像分析数据进行存储。通过客户端还可能够对智能相机的ip地址，视频编码压缩比、输出视频格式，目标识别算法的参数等配置，同时也可对智能相机监控区域进行设置。

在上述方案的基础上，进一步的，智能相机还包括：云台控制器；云台控制器与云台建立连接。云台控制器用于对云台的运动、可见光镜头与红外镜头的变焦变倍进行控制，通过云台控制器进行操作时，其优先级大于第一目标识别跟踪模块或第二目标识别跟踪模块对云台所发送的运动指令。

上述方案中，具体的，红外镜头采用锗材料，表面镀增透膜，覆盖波段不小于8μm～12μm的长波红外波。

上述方案中，具体的，红外成像器采用氧化钒长波非制冷红外探测器，红外成像器支持变焦镜头的变倍与自动聚焦，支持图像增强功能。

上述方案中，具体的，可见光镜头采用变焦镜头，支持rs485接口的镜头变焦及自动聚焦。可见光镜头配备有全通滤光片、近红外波段带通滤色片以及滤光片切换装置；通常状态下，可见光镜头使用全通滤光片，当能见度低及光线质量差时，通过滤光片切换装置将可见光镜头配备的全通滤光片切换为近红外波段带通滤色片。

上述方案中，具体的，可见光摄像头的成像分辨率为1920×1080，对外支持rs485接口控制变焦与彩色与黑白切换。

上述方案中，具体的，第一目标识别跟踪模块与第二目标识别跟踪模块均采用arm+npu一体化芯片；其中，第一目标识别跟踪模块中所搭载的算法支持边缘端红外视频下的物体检测、识别、跟踪，支持对红外镜头进行配置，支持配置红外成像器的成像对比度、细节增强、伪彩切换等，支持对云台的控制。第二目标识别跟踪模块中所搭载的算法支持边缘端高清可见光视频下的物体检测、识别、跟踪，支持对可见光镜头进行配置，支持对可见光镜头滤光片的切换；第二目标识别跟踪模块的视频输入为网络视频，输出为带有私有协议的网络视频数据。

上述方案中，具体的，网络交换机为不少于四口的百兆/千兆交换机。

本发明的另一个技术方案是：一种双波段云台联动智能相机的工作方法，它基于如上所述的双波段云台联动智能相机，并包括以下步骤：

a.智能相机上电。

b.红外镜头采集图像视频，红外成像器向第一目标识别跟踪模块输出图像视频，同时，可见光镜头采集图像视频，可见光摄像头向第二目标识别跟踪模块输出图像视频。

c.第一目标识别跟踪模块对所接收的图像视频中的物体进行识别，确定目标后，对目标进行监测并分析目标的运动趋势，并根据目标的运动趋势通过网络交换机向云台发送运动指令。

第二目标识别跟踪模块对所接收的图像视频中的物体进行识别，确定目标后，对目标进行监测并分析目标的运动趋势，并根据目标的运动趋势通过网络交换机向云台发送运动指令。

d.云台执行第一目标识别跟踪模块或第二目标识别跟踪模块所发送的运动指令，带动其上所搭载的红外成像器及可见光摄像头随目标运动方向移动。

e.重复步骤b、c、d。

在步骤e后还可包括：

f.当目标移动到红外镜头与可见光镜头的监测区域外或者目标丢失，第一目标识别跟踪模块或第二目标识别跟踪模块向云台发送返回初始位的指令；

g.云台返回初始位。

在上述方案的基础上，进一步的，步骤c中，当第一目标识别跟踪模块确定目标后，第一目标识别跟踪模块向红外成像器发送对于红外镜头的变倍与聚焦指令，红外镜头对目标进行放大及图像增强；

步骤c中，当第二目标识别跟踪模块确定目标后，第二目标识别跟踪模块向可见光摄像头发送对于可见光镜头的变倍与聚焦指令，可见光镜头对目标进行放大及图像增强。

在上述方案的基础上，进一步的，步骤c中，第一目标识别跟踪模块对红外成像器所发送的图像视频进行识别的同时，对所接收的图像视频的背景光值及/或图像细节参数进行判定，若背景光值低于设定及/或图像细节参数小于设定，则停止向云台发送运动指令；此时，由第二目标识别跟踪模块向云台发送运动指令。

由于可见光设备在白天时段成像质量好，夜晚成像灵敏度低，故在步骤d中，云台通常根据时间段选择执行第一目标识别跟踪模块或第二目标识别跟踪模块所发送的运动指令；在白天时段，云台执行第二目标识别跟踪模块所发送的运动指令，在夜晚时段，云台执行第一目标识别跟踪模块所发送的运动指令。

在上述方案的基础上，进一步的，步骤c中，第一目标识别跟踪模块对红外成像器所发送的图像视频进行识别的同时，第一目标识别跟踪模块还判断红外成像器的红外传感器信号是否过饱和，当红外传感器信号过饱和时，第一目标识别跟踪模块下发关闭红外成像器快门的指令，红外成像器的快门关闭。

在上述方案的基础上，进一步的，初始状态下，可见光镜头通过全通滤光片采集图像视频，步骤c中，第二目标识别跟踪模块对所接收的图像视频中的物体进行识别的同时，第二目标识别跟踪模块还判断图像视频的能见度及光线质量，若能见度及光线质量差，第二目标识别跟踪模块下发切换可见光镜头滤光片的指令，可见光镜头的滤光片由全通滤光片切换为近红外波段带通滤色片。

有益效果：本发明结合可见光和红外成像各自的优点，利用双波段成像设备获取得到红外图像以及可见光图像，并利用目标识别跟踪模块分别对红外图像以及可见光图像中的目标进行识别、监测并分析目标的运动趋势，并根据目标的运动趋势向云台发送运动指令。云台带动其上所搭载的红外成像器及可见光摄像头随目标运动方向移动，实现对移动目标的跟踪。本发明具备自主监控，自主搜索跟踪的能力，智能化程度高，可减少人工成本，实现高效、高可靠的区域监控。

附图说明

图1为本发明实施例1的结构框图；

图2为本发明实施例2的结构框图；

图中：1-红外镜头、2-红外成像器、3-第一目标识别跟踪模块、4-可见光镜头、5-可见光摄像头、6-第二目标识别跟踪模块、7-网络交换机、8-云台、9-客户端、10-云台控制器。

具体实施方式

实施例1，参见附图1，一种双波段云台联动智能相机，它包括：配备红外镜头1的红外成像器2、配备可见光镜头4的可见光摄像头5。

红外成像器2与可见光摄像头5搭载在云台8上，云台8上还设有第一目标识别跟踪模块3、第二目标识别跟踪模块6以及网络交换机7；第一目标识别跟踪模块3分别与红外成像器2、网络交换机7建立连接，第二目标识别跟踪模块6分别与可见光摄像头5、网络交换机7建立连接；网络交换机7与云台8建立连接，云台8根据第一目标识别跟踪模块3或第二目标识别跟踪模块6下发的运动指令动作。

本例中，红外镜头1采用锗材料，表面镀增透膜，覆盖波段不小于8μm～12μm的长波红外波。红外成像器2采用氧化钒长波非制冷红外探测器，红外成像器2支持变焦镜头的变倍与自动聚焦，支持图像增强功能，输出为8位数字视频。

可见光镜头4采用变焦镜头，支持rs485接口的镜头变焦及自动聚焦。可见光镜头4配备有全通滤光片、近红外波段带通滤色片以及滤光片切换装置；通常状态下，可见光镜头4使用全通滤光片，当能见度低及光线质量差时，通过滤光片切换装置将可见光镜头4配备的全通滤光片切换为近红外波段带通滤色片。可见光摄像头5的成像分辨率为1920×1080，对外支持rs485接口控制变焦与彩色与黑白切换。

红外镜头1与红外成像器2用于采集红外图像；可见光镜头4与可见光摄像头5用于采集可见光图像，红外镜头1与红外成像器2、可见光镜头4与可见光摄像头5组成双波段成像设备，覆盖使用环境更广且覆盖更远距离，满足全天候的监控需求。

第一目标识别跟踪模块3用于对红外图像中的物体进行识别，确定目标后，对目标进行监测并分析目标的运动趋势，并根据目标的运动趋势通过网络交换机7向云台8发送运动指令。本例中，第一目标识别跟踪模块3采用arm+npu一体化芯片，npu中实现深度学习算法的实时推理，并提供了2tops的深度学习算力资源，arm中实现应用软件的功能与逻辑控制。第一目标识别跟踪模块3中所搭载的算法支持边缘端红外视频下的物体检测、识别、跟踪，支持对红外镜头1进行配置，支持配置红外成像器2的成像对比度、细节增强、伪彩切换等，支持对云台8的控制。

第二目标识别跟踪模块6用于对可见光图像中的物体进行识别，确定目标后，对目标进行监测并分析目标的运动趋势，并根据目标的运动趋势通过网络交换机7向云台8发送运动指令。本例中，第二目标识别跟踪模块6采用arm+npu一体化芯片，第二目标识别跟踪模块6中所搭载的算法支持边缘端高清可见光视频下的物体检测、识别、跟踪，支持对可见光镜头4进行配置，支持对可见光镜头4滤光片的切换；第二目标识别跟踪模块6的视频输入为网络视频，输出为带有私有协议的网络视频数据。

网络交换机7向云台8转发由第一目标识别跟踪模块3及第二目标识别跟踪模块6所下达的运动指令；本例中，网络交换机7为不少于四口的百兆/千兆交换机。

云台8择一执行第一目标识别跟踪模块3或第二目标识别跟踪模块6所发送的运动指令，带动其上所搭载的红外成像器2及可见光摄像头5随目标运动方向移动，实现对移动目标的跟踪。本例中，云台8满足ip66以上防护等级，适应室外恶劣天气条件下的设备保护，最大角速度不低于60°/秒。

实施例2，参见附图2，在实施例1的基础上，进一步的，所述双波段云台联动智能相机还包括：客户端9以及云台控制器10。

客户端9与云台8建立连接。客户端9用于接收由红外成像器2、可见光摄像头5组成的双波段成像所采集的图像，同时接收由第一目标识别跟踪模块3及第二目标识别跟踪模块6所输出的图像分析数据，并且对所接收的图像及图像分析数据进行存储。

云台控制器10与云台8建立连接。云台控制器10用于对云台8的运动、可见光镜头4与红外镜头1的变焦变倍进行控制，通过云台控制器10进行操作时，其优先级大于第一目标识别跟踪模块3或第二目标识别跟踪模块6对云台8所发送的运动指令。

实施例3，一种双波段云台联动智能相机的工作方法，它基于如上实施例1所述的双波段云台联动智能相机，并包括以下步骤：

a.智能相机上电。

b.红外镜头1采集图像视频，红外成像器2向第一目标识别跟踪模块3输出图像视频，同时，可见光镜头4采集图像视频，可见光摄像头5向第二目标识别跟踪模块6输出图像视频。

c.第一目标识别跟踪模块3对所接收的图像视频中的物体进行识别，确定目标后，对目标进行监测并分析目标的运动趋势，并根据目标的运动趋势通过网络交换机7向云台8发送运动指令。

第二目标识别跟踪模块6对所接收的图像视频中的物体进行识别，确定目标后，对目标进行监测并分析目标的运动趋势，并根据目标的运动趋势通过网络交换机7向云台8发送运动指令。

d.云台8执行第一目标识别跟踪模块3或第二目标识别跟踪模块6所发送的运动指令，带动其上所搭载的红外成像器2及可见光摄像头5随目标运动方向移动。

e.重复步骤b、c、d。

进一步的，在步骤e后还可包括：

f.当目标移动到红外镜头1与可见光镜头4的监测区域外或者目标丢失，第一目标识别跟踪模块3或第二目标识别跟踪模块6向云台8发送返回初始位的指令；

g.云台8返回初始位。

实施例4，在实施例3的基础上，进一步的：

步骤c中，当第一目标识别跟踪模块3确定目标后，第一目标识别跟踪模块3向红外成像器2发送对于红外镜头1的变倍与聚焦指令，红外镜头1对目标进行放大及图像增强。

第一目标识别跟踪模块3对红外成像器2所发送的图像视频进行识别的同时，第一目标识别跟踪模块3还判断红外成像器2的红外传感器信号是否过饱和，当红外传感器信号过饱和时，第一目标识别跟踪模块3下发关闭红外成像器2快门的指令，红外成像器2的快门关闭。

步骤c中，当第二目标识别跟踪模块6确定目标后，第二目标识别跟踪模块6向可见光摄像头5发送对于可见光镜头4的变倍与聚焦指令，可见光镜头4对目标进行放大及图像增强。

第二目标识别跟踪模块6对所接收的图像视频中的物体进行识别的同时，第二目标识别跟踪模块6还判断图像视频的能见度及光线质量，若能见度及光线质量差，第二目标识别跟踪模块6下发切换可见光镜头4滤光片的指令，可见光镜头4的滤光片由全通滤光片切换为近红外波段带通滤色片。

步骤c中，第一目标识别跟踪模块3对红外成像器2所发送的图像视频进行识别的同时，对所接收的图像视频的背景光值及/或图像细节参数进行判定，若背景光值低于设定及/或图像细节参数小于设定，则停止向云台8发送运动指令；此时，由第二目标识别跟踪模块6向云台8发送运动指令。

由于可见光设备在白天时段成像质量好，夜晚成像灵敏度低，故在步骤d中，云台8通常可根据时间段选择执行第一目标识别跟踪模块3或第二目标识别跟踪模块6所发送的运动指令；在白天时段，云台8执行第二目标识别跟踪模块6所发送的运动指令，在夜晚时段，云台8执行第一目标识别跟踪模块3所发送的运动指令。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。