一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法与流程

本发明属于机器视觉处理，涉及一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法。

背景技术：

1、在军事预警、安全警戒等领域，随着探测距离的增加，目标在成像系统上的成像面积将逐渐变小，传感器接收的目标辐射强度也逐渐变弱，目标在图像中以弱小目标的形式存在，因此弱小目标的检测和跟踪具有极高的军事和民用价值。

2、在复杂背景中，弱小目标相比较于常规尺寸目标通常具有尺寸小、外观信息少等特点，普通算法很难将弱小目标与背景相似的干扰区分开。同时为了进行长时跟踪，防止目标超出视场范围，需要主动控制摄像头移动，进行移动跟踪。

技术实现思路

1、本发明的目的是提供一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法，解决了移动摄像头跟踪弱小目标的技术问题。

2、为实现上述目的，本发明采用如下技术方案：

3、一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法，包括如下步骤：

4、步骤1：数据处理模块从移动摄像头获取图像数据，判断图像数据是否为初始帧：是，则存储为参考帧；否，则通过基于交叉注意的图像对准器，得到图像数据中当前帧的对齐图像；

5、步骤2：将图像数据中的当前帧的对齐图像与参考帧像做灰度差的差分运算，当得到的结果的绝对值超过预设阈值时，判断为运动目标，并得到运动目标的位置信息；

6、步骤3：根据位置信息对运动目标做图像截取，得到运动目标图像并送入超分辨率图像重构模型中，进行高分辨率转换；在超分辨率图像重构模型的输出加入预测头，用于分类运动目标是否为疑似目标；

7、步骤4：采用卡尔曼滤波跟踪器对疑似目标进行跟踪、偏移更新和iou匹配，iou匹配输出包括匹配成功的检测目标、未匹配成功的检测目标和未匹配成功的跟踪对象；

8、步骤5：对iou匹配输出的结果分别进行处理，并根据处理结果完成卡尔曼滤波轨迹更新，根据卡尔曼滤波轨迹更新的轨迹方向，指导摄像头进行匀速移动。

9、优选的，在执行步骤1时，具体包括将图像数据中的当前帧与存储的参考帧进行对齐，生成对齐帧，再将对齐帧还原至原始分辨率后，送入基于像素注意的融合模块中融合对齐图像，得到图像数据中当前帧的对齐图像。

10、优选的，在执行步骤1时，将图像数据中的当前帧与参考帧均送入金字塔全局对齐块中进行对齐。

11、优选的，所述偏移更新具体包括当前帧的卡尔曼滤波器中第一个跟踪目标的预测并更新的位置送给移动摄像头，移动摄像头根据卡尔曼滤波器预测更新后的位置进行匀速移动，通过计算预测位置与实际位置的偏移量，判断当前帧的检测目标与下一帧预测目标是否为同一个id的跟踪对象。

12、优选的，在执行步骤2时，具体差分运算包括将相邻两帧对应的像素点相减，得到灰度差的绝对值，当绝对值超过一定阈值时，判断为运动目标。

13、优选的，所述超分辨率图像重构模型用于图像超分辨率sr的生成式对抗网络gan，超分辨图像重构模型将运动目标图像从低分辨率模糊的图像估计为具有更高分辨率的图像，同时消除噪声以及由有限检测器尺寸和光学元件产生的模糊；

14、在所述超分辨率图像重构模型的输出加入预测头，用于分类运动目标是否为疑似目标。

15、优选的，在执行步骤4时，具体包括如下步骤：

16、步骤4-1：根据图像数据中每一帧的帧号判断当前帧图像是否为初始帧：若是，则根据超分辨率图像重构模型检测到的当前帧的目标对象，使用卡尔曼滤波完成当前帧目标对象轨迹初始化并加入到跟踪队列，卡尔曼滤波器通过跟踪队列中保存的当前帧的运动轨迹预，测下一帧目标的位置，执行步骤4-2；若不是，则执行步骤4-2；

17、步骤4-2：根据卡尔曼滤波器更新的坐标信息以及自定义摄像头移动配置参数进行预测框位置校正；将当前帧的卡尔曼滤波预测得到的预测框与超分辨率图像重构模型检测得到的检测框进行iou匹配，计算当前帧的预测框与检测框的最小代价匹配组合，输出匹配成功的检测目标、未匹配成功的检测目标和未匹配成功的跟踪对象。

18、优选的，在执行步骤5时，具体包括对于未匹配成功的检测目标，将当前帧使用卡尔曼滤波完成轨迹预测并加入到跟踪队列；

19、对于未匹配成功的跟踪对象，先使用卡尔曼跟踪器跟踪轨迹，当超过预定帧数，且当前帧的预测框与检测框仍未匹配上时，将当前帧从跟踪队列中丢弃；

20、对于匹配成功的检测目标使用对应的当前帧目标检测信息进行跟踪信息的更新，并使用卡尔曼滤波完成轨迹的更新；

21、根据卡尔曼滤波更新的轨迹方向，指导摄像头进行匀速移动跟踪。

22、本发明所述的一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法，解决了移动摄像头跟踪弱小目标的技术问题，本发明基于交叉注意的图像对准器，通过金字塔块的对齐结构中处理块中的图像，将参考图像和目标图像划分为不重叠的子图像，从每个子图像中提取特征，并有效计算交叉注意矩阵，在特征级对齐子图像，并通过像素注意的融合模块融合对齐图像。本发明以最小的计算需求捕获局部关系，进一步提高图像配准的效率，保证目标跟踪的实时性，使用超分辨率图像重构模型，使目标图像从低分辨率估计为高分辨率，增强弱小目标的特征信息，削弱了大量噪声的干扰，提高模型对弱小目标的检测精度，本发明在超分辨率图像重构中的生成器模型后加入一个预测头模型，对生成图像进行分类，判别它是否是目标，提高弱小目标检测的准确性，并保证摄像头移动方向的准确性，通过卡尔曼滤波预测更新轨迹，匀速移动摄像头，节省大量的人力和时间成本。

技术特征：

1.一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法，其特征在于：包括如下步骤：

2.如权利要求1所述的一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法，其特征在于：在执行步骤1时，具体包括将图像数据中的当前帧与存储的参考帧进行对齐，生成对齐帧，再将对齐帧还原至原始分辨率后，送入基于像素注意的融合模块中融合对齐图像，得到图像数据中当前帧的对齐图像。

3.如权利要求2所述的一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法，其特征在于：在执行步骤1时，将图像数据中的当前帧与参考帧均送入金字塔全局对齐块中进行对齐。

4.如权利要求1所述的一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法，其特征在于：所述偏移更新具体包括当前帧的卡尔曼滤波器中第一个跟踪目标的预测并更新的位置送给移动摄像头，移动摄像头根据卡尔曼滤波器预测更新后的位置进行匀速移动，通过计算预测位置与实际位置的偏移量，判断当前帧的检测目标与下一帧预测目标是否为同一个id的跟踪对象。

5.如权利要求1所述的一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法，其特征在于：在执行步骤2时，具体差分运算包括将相邻两帧对应的像素点相减，得到灰度差的绝对值，当绝对值超过一定阈值时，判断为运动目标。

6.如权利要求1所述的一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法，其特征在于：所述超分辨率图像重构模型用于图像超分辨率sr的生成式对抗网络gan，超分辨图像重构模型将运动目标图像从低分辨率模糊的图像估计为具有更高分辨率的图像，同时消除噪声以及由有限检测器尺寸和光学元件产生的模糊；

7.如权利要求1所述的一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法，其特征在于：在执行步骤4时，具体包括如下步骤：

8.如权利要求7所述的一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法，其特征在于：在执行步骤5时，具体包括对于未匹配成功的检测目标，将当前帧使用卡尔曼滤波完成轨迹预测并加入到跟踪队列；

技术总结
本发明公开了一种配准和超分辅助移动摄像头跟踪弱小目标的识别方法，属于机器视觉处理技术领域，包括基于交叉注意的图像对准器的图像配准，帧差法获取运动目标，超分辨率图像重构去除无关目标，卡尔曼滤波跟踪器实时预测运动目标轨迹，解决了移动摄像头跟踪弱小目标的技术问题，本发明以最小的计算需求捕获局部关系，进一步提高图像配准的效率，保证目标跟踪的实时性，提高模型对弱小目标的检测精度，提高弱小目标检测的准确性，并保证摄像头移动方向的准确性，节省大量的人力和时间成本。

技术研发人员：丰国栋,陈梦香,田甜,顾先军
受保护的技术使用者：南京威翔科技有限公司
技术研发日：
技术公布日：2024/2/6