一种基于非制冷型红外探测器的红外跟瞄系统

本发明属于红外成像和图像处理，涉及一种基于非制冷型红外探测器的红外跟瞄系统。

背景技术：

1、红外成像技术具有出色的抗干扰能力，以及具备在非接触情况下和复杂天气条件下探测目标的能力，故它已被广泛用于军事武器装备、工业生产、辅助驾驶和安全监控。然而，随着红外技术的不断发展，对低成本、高灵敏度的红外成像系统和获取高分辨率的红外图像的需求在应用中变得越来越重要。例如，在军事武器领域，武器的灵敏度越低，输出图像的清晰度越低，越容易识别军事目标，降低打击精度；在工业生产领域，低灵敏度的系统和低清晰度的红外图像不能为工人提供准确的设备运行信息和识别故障源的准确位置，容易导致工人不能及时处理故障，从而造成重大安全事故。在辅助驾驶领域，在车船上安装红外成像系统，通过红外成像为驾驶员提供路况辅助信息，避免雾霾、烟尘、暴雨等交通安全隐患。由于其特殊的受众群体，提高其成像灵敏度和分辨率非常重要；在安防监控领域，当发生重大安全事件时，可在夜间使用红外摄像机对社区、仓库、重点部门进行红外成像。由此产生的红外图像的清晰度决定了能否及时发现事故原因和事故发生地的安全性，所以这将是未来安防监控领域技术的发展方向。提高系统灵敏度和图像清晰度最有效的方法是采用非制冷红外成像系统和图像处理技术，因为非制冷红外成像系统可以通过减少探测器的响应时间来提高系统灵敏度，并利用图像预处理技术减少非均匀性对红外图像的干扰，从而提高图像的清晰度。

2、随着红外探测器阵列数量的不断增加，红外图像数据量也随之增加，实时收集和处理红外图像数据的难度越来越大，然而关于小型阵列红外成像系统的设计以及红外图像处理技术是否能实时处理高分辨率非制冷红外图像的问题仍然存在。因此，图像处理技术如图像插值算法和伪彩色映射等需要深入研究，尤其是图像插值算法和伪彩色映射算法的研究具有重要意义和应用价值。

3、在军事武器装备、工业生产、辅助驾驶和安全监控等领域，对低成本、高灵敏度的系统和高清晰度的红外成像需求越来越迫切。采用非制冷红外焦平面阵列和图像处理算法是降低成像系统成本、提高系统灵敏度和图像清晰度的基本方法，因此非制冷红外成像技术的研究具有重要的研究意义和价值。

4、申请号为202110632890.8的中国专利公开了一种可精确瞄准的红外测温仪装置和其使用方法，即使用支架支撑测温仪装置使其固定于待测热源前，并在测温仪上配备了成像对准和激光测距装置以实现对静态热源的自动调焦与对准。但其主要存在以下几点问题：1)使用支架连接至红外测温系统，并将其放置在待测热源前，该设计方案无伺服系统从而无法改变成像系统的成像视野，只能测量单一固定目标，具有一定的局限性。2)该测温仪只配备了红外成像系统，故只能测得待测热源的温度信息并显示其红外图像，但其无法实现对物体类型的识别，若视野范围内热源发生变化，也无法通过其红外图像判定。

5、为此，我们提出一种基于非制冷型红外探测器的红外跟瞄系统，能够实时输出成像视野内的红外与可见光融合图像并识别出物体的类型，若被判定为跟瞄目标的物体发生移动时，可通过伺服系统使得目标物体中心始终处于成像系统视野的中心，从而实现实时跟瞄，同时该装置在昼夜皆可实现较高分辨率成像并且能应用于多种场景。

技术实现思路

1、本发明旨在解决以上现有技术的问题。提出了一种基于非制冷型红外探测器的红外跟瞄系统。本发明的技术方案如下：

2、一种基于非制冷型红外探测器的红外跟瞄系统，其包括：一个跟瞄系统，所述系统内设置有红外探测器模块、摄像头模块、控制模块、伺服系统、精密电源模块、驱动电源模块及能量单元，所述控制模块分别与红外探测器模块、摄像头模块、显示屏、伺服系统相连接，其中控制模块用于控制红外探测器模块实现红外成像，运行目标物体的yolov2模型，控制伺服系统实现对目标物体的高灵敏度跟踪瞄准，将红外图像和白光图像融合并在显示屏上显示。红外探测器模块不断采集环境与目标物体的温度，将温度数据转换为灰度值后进行插值和彩色编码，从而得到实时的红外图像。摄像头用于采集目标物体的图像并训练其yolov2模型，从而实现对目标物体类型的鉴别。伺服系统用于使目标物体始终在红外探测器和摄像头的视野内，从而实现跟瞄。驱动电源模块用于调变电压以增大负载能力，从而驱动伺服系统工作。精密电源模块用于低纹波直流电压实现，使得成像系统能稳定工作。

3、进一步的，所述控制模块是集成机器视觉与机器听觉能力的系统级芯片(soc)，所述控制模块具有卷积人工神经网络硬件加速器kpu，用于结合人工智能算法进行卷积人工神经网络运算，该控制模块同时进行可见光和红外成像并将所得图像融合，使得系统能实现白天和夜晚的高性能成像。

4、进一步的，所述红外探测器模块的核心器件为非制冷型长波红外探测器，其为较低像元的红外焦平面探测阵列；控制模块采集到探测器视野内的温度值后，将其转换为灰度值并运用双线性插值算法，增加红外成像的分辨率以满足显示屏的显示要求；对插值后的灰度值进行伪彩色编码，将其转换为rgb图像从而实现红外成像。

5、进一步的，所述双线性插值算法具体为：

6、双线性插值就是有两个变量的插值函数的线性插值扩展，算法核心就是在两个方向上分别进行线性插值；双线性插值是根据插值点邻近的四个数据点及其对插值点的影响比重来估算的，一个插值点需要进行三次线性插值；

7、点p(x，y)为插值点，数值待求；点q11、q21、q12和q22分别为插值点邻近的四个数据点，满足插值函数且数值已知；首先要在x方向上进行线性插值，分别求得r1、r2点的数值，然后在y方向上进行线性插值，得到点p(x，y)，r1(x，y1)点数值可表示为如式(1)所示：

8、

9、f(r1)表示x方向内插点r1的函数值、f(q11)表示点q11的函数值、f(q21)表示点q21的函数值，x表示插值点p(x，y)在x方向的坐标值、x1表示点q11在x方向的坐标值、x2表示点q21在x方向的坐标值。

10、同理，r2(x，y2)点数值如式2所示：

11、

12、点p(x，y)的数值由f(r1)和f(r2)两点确定，可以表示为如式(3)所示：

13、

14、f(p)表示插值点p(x，y)的函数值、f(r1)表示x方向内插点r1的函数值、f(r2)表示x方向内插点r2的函数值，y表示插值点p(x，y)在y方向的坐标值、y1表示内插点r1在y方向的坐标值、y2表示内插点r2在y方向的坐标值。

15、假设，p(x，y)为插值点，(x1，y1)为原点，临近点距离是单位长度，则临近4个像素的坐标分别是(0，0)，(0，1)，(1，0)，(1，1)。p(x，y)点值可由式(3)表示，即p(x，y)点将矩形区域分为四份，每块区域的面积占总面积的比例就是对应顶点的权值，p(x，y)点插值数据为四个顶点数值乘权重相加求和。整理双线性插值函数如式(4)所示：

16、

17、进一步的，所述摄像头模块对视野里的目标物体成像，将图片与红外探测器成像得到的目标物体的图片进行融合，控制模块使用由融合后的图片经过yolov2目标检测算法训练得到目标物体的模型，在控制平台上运行模型后便可识别出目标物体的类别并得到其中心的坐标值。

18、进一步的，所述yolov2目标检测算法具体包括：

19、yolov2目标检测算法是在yolov1算法的基础之上做出改进，yolov2目标检测算法在目标检测步骤上借鉴了faster r-cnn目标检测算法的图像处理步骤，在神经网络中添加了anchor方式，除此之外，神经网络还采用了k-mean聚类算法用来选取不同的anchor先验框，对anchor的数量进行了实验，并且去掉了yolov1算法模型中的网络结构中的全连接层，将之改为全卷积结构；在模型训练时引入了wordtree网络结构，将目标检测和目标分类两阶段任务合并为统一的框架，同时提出了图像的目标物体的检测任务和分类任务进行联合训练的方法，通过这种方法，将coco和imagenet数据集中使用算法模型同时进行训练。

20、进一步的，所述yolov2算法较yolov1具有如下改进：

21、批归一化；yolov2算法模型的目标检测神经网络通过在每一个卷积层后面增加批归一化预处理操作；

22、分类网络高分辨率预训练；yolov2目标检测算法选择直接使用高分辨率进行预训练，使得算法模型能够提前适应高分辨率图像的输入；

23、引入anchor先验框替换全连接层；为了引入先验框来预测图像中的候选框，yolov2算法模型去掉了全连接层和最后一个池化层；

24、细粒度特征；yolov2检测算法在网络结构中增加了passthrough层网络结构；

25、多尺寸训练；yolov2对于网络的输入大小，并没有限制，只要输入的特征图尺寸为32的倍数即可，使得神经网络中能够学习到不同比例大小尺寸的图像中目标物体的特征。

26、进一步的，所述伺服系统具有较大的扭矩且灵敏度较高；控制模块获取目标物体坐标后，实时计算视野中心和目标物体中心坐标的差值，运用一定的对应关系将x方向和y方向坐标值差值分别转换为水平方向和垂直方向舵机转动角度；同时运用pid算法，使得伺服系统的状态能够稳定地达到目标值或保持在一定的范围内，以实现对伺服系统的精确控制；通过伺服系统控制使得目标物体中心始终位于成像视野中心，从而实现对目标物体的高灵敏度和高精度跟踪瞄准。

27、进一步的，所述驱动电源模块采用dc-dc开关电源电路，能够将能量单元输入的12v电压转化为5v电压源，并且最大带载电流为3a；所述精密电源模块通过开关电源电路和线性稳压电路将能量单元输出的12v电压转换为高精度、低纹波的5v电压源对成像系统供电。

28、本发明的优点及有益效果如下：

29、1.本发明运用了较小数量像元的非制冷型长波红外探测阵列实现高分辨率的红外成像，较大程度地降低了系统的成本，从而更加适用于民用领域的多种高分辨率成像应用需求。

30、2.采用双线性插值算法和伪彩色编码对由探测器采集温度转化得到的灰度值进行处理，所得到的红外图像具有较高的成像分辨率，实现平滑成像，能够更好的观察温度变化趋势，从而使得成像系统具有较好的成像质量。

31、4.摄像头采集到目标物体的可见光图像后将其于红外图像融合，对融合后的图片运行yolov2目标检测算法从而训练出目标物体的模型，解决了摄像头在夜间成像效果差和小型红外探测阵列成像只能得到目标物体的轮廓的问题，同时使得本装置在昼夜均能实现对目标物体的高准确率识别。从而能够在伺服系统的控制下实现对目标物体的高精度和高灵敏度跟踪瞄准。