一种基于ROS的机载目标检测跟踪方法与流程

本发明属于无人机目标检测跟踪技术领域，具体涉及一种基于ros的机载目标检测跟踪方法。

技术背景

无人机具有造价低、隐蔽性好、操作灵活、可重复使用、降低人员伤亡等诸多优点，是一种技术含量高、使用效能好的空中飞行器，近年来得到迅猛发展。目前，无人机在军事侦查、抗震救灾、目标搜索、地区反恐、信息搜集、抢险救灾、电力巡查、交通监视等领域得到了广泛应用。无人机在减少人力、缩短工作周期的同时，提高了工作效率，极大地便利了人类的社会生产生活。

早期无人机的自动化程度不高，在各种场景的实际应用中多数都需要人工干预。在以视频图像数据为主的无人机目标侦查应用中，目前常用的方法为，无人机将侦查图像数据传送给地面站，再由监控人员及地面站目标检测系统进行识别任务。因此无人机的自动化程度是决定其能否在未来起到更大作用的决定性因素之一。

然而，尽管无人机系统平台已较为成熟，目标检测跟踪技术也具有一定基础，但是，无人机自主侦查的研究应用还较为薄弱，主要原因是高准确率的目标检测跟踪算法往往运算量较大，在资源受限的无人机终端平台上难以达到实时的要求。

技术实现要素：

本发明的目的在于克服上述现有技术的不足，提供一种基于ros的机载目标检测跟踪方法，该方法在无人机终端平台计算资源受限的情况下提供了一种可应用的目标检测跟踪方案，提高了目标检测跟踪算法的准确性和稳定性，可以实现在资源受限的终端平台上进行移植部署。

为了实现上述目的，本发明采用的技术方案为：

一种基于ros的机载目标检测跟踪方法，其包括以下步骤：

步骤1：在ros机器人操作系统中部署图像序列发布功能包；

步骤2：构建目标检测跟踪功能包并在ros机器人操作系统中部署；所述目标检测跟踪功能包基于yolov3和改进kcf进行目标跟踪；

步骤3：启动图像序列发布功能包和目标检测跟踪功能包，后者订阅前者发布的消息；

步骤4：目标检测跟踪功能包对图像序列发布功能包发布的消息进行接收，将接收到的第一帧图像作为检测帧进行特定目标搜索，在搜索过程中同时接收后续帧并进行保存；

步骤5：如果在检测帧中发现特定目标，则获取特定目标的位置及尺寸信息，并转到步骤6；否则，将最新接收到的图像作为新的检测帧重新进行特定目标搜索，在搜索过程中同时接收后续帧并进行保存，重复步骤5；

步骤6：将当前检测帧及特定目标的位置和尺寸信息作为输入，对目标检测跟踪功能包中的kcf目标跟踪器进行初始化，将当前检测帧的下一帧图像作为当前跟踪帧；

步骤7：使用kcf目标跟踪器对当前跟踪帧进行目标跟踪处理，根据响应峰值判断跟踪目标是否被遮挡，如果目标被严重遮挡，则转到步骤8，否则输出跟踪目标的位置及尺寸信息，转到步骤10；

步骤8：根据目标连续被遮挡的帧数，判断是否跟踪失败，如果失败，则将当前跟踪帧作为当前检测帧，转到步骤6，否则转到步骤9；

步骤9：根据历史目标位置，预测跟踪目标在当前跟踪帧中的位置，默认跟踪目标的尺寸信息不变，对预测位置进行标记，将下一帧图像作为新的当前跟踪帧，转到步骤7；

步骤10：根据目标跟踪器的最高响应峰值和平均峰相关能力测量值两个参数，判断是否训练kcf目标跟踪器；

步骤11：将下一帧图像作为新的当前跟踪帧，转到步骤7。

进一步的，所述步骤7中判断跟踪目标是否被遮挡的具体方式为：

在当前跟踪帧的检测区域提取hog特征，通过kcf目标跟踪器获取响应图及响应峰值fmax；

设定阈值a，当响应峰值fmax大于历史响应峰值平均值的a倍时，则判定跟踪目标未发生严重遮挡；否则，判定跟踪目标发生严重遮挡。

进一步的，所述平均峰相关能力测量值为：

式中，apce为平均峰相关能力测量值，fmax、fmin、fw,h分别为响应图中响应最高、最低和(w,h)位置上的响应值，(w,h)为跟踪目标的尺寸信息，mean(·)为求均值函数。

进一步的，所述步骤10中判断是否训练kcf目标跟踪器的方式为：

设定阈值c和d，若响应峰值fmax＞c且平均峰相关能力测量值apce大于历史apce均值的d倍，则使用当前目标特征训练并更新kcf目标跟踪器，否则不训练。

本发明相对于现有技术的有益效果在于：

1)本发明提出了一种三段式设计的目标检测跟踪系统实施方案，有利于在实施过程的三个阶段中充分验证和客观评价方法整体效果的构成因素影响，同时也便于明确目标检测方法与目标跟踪方法的改进。

2)本发明提出了一种间隔检测实时跟踪的目标检测跟踪系统实施方案，其综合考虑了图像序列中的信息冗余及目标检测算法的作用，在目标跟踪算法可以达到超实时的前提下，采用间断抽帧方式选定图像进行目标检测，在锁定特定目标后对当前检测帧的后续帧无差别依次进行目标跟踪处理，在短时间内，目标跟踪算法能够处理最新接收的图像，实现了间隔检测实时跟踪的目的，解决了目标跟踪初期丢帧的问题，充分发挥了检测算法的高准确率和跟踪算法的高实时性优势。

总之，本发明以ros(robotoperatingsystem，机器人操作系统)为基础，将深度学习yolov3目标检测算法与改进的相关滤波kcf目标跟踪算法相结合，提高了目标检测跟踪算法准确性和稳定性，可以实现在资源受限的终端平台上进行移植部署。

附图说明

图1是本发明实施例中目标检测和目标跟踪过程的流程图。

图2是本发明实施例中功能包之间的消息订阅示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种基于ros的机载目标检测跟踪方法，该方法利用无人机拍摄的视频图像数据，实现对特定目标的识别定位及跟踪。其包括以下步骤：

步骤1：模块部署阶段

1.1训练目标检测模型，使用vocdata数据集，并收集俯视角度的图片，对特定目标“人”进行标注，形成训练数据集，对深度学习目标检测算法yolov3进行训练，获得目标检测模型；

1.2对kcf算法进行改进，增加目标遮挡判定、目标轨迹预测及目标丢失判定等功能，实现对特定目标的跟踪及位置预测功能；

1.3在ros环境中，部署图像序列发布功能包；

1.4整合yolov3算法及改进kcf算法，形成目标检测跟踪功能包，其流程如图1所示；

1.5在ros环境中，部署目标检测跟踪功能包，并订阅图像序列发布功能包的消息，如图2所示；

1.6依次启动图像序列发布功能包、目标检测跟踪功能包，后者订阅前者发布的消息。接着进入步骤2目标检测阶段。

步骤2：目标检测阶段

2.1检测模块对图像序列发布节点发布的消息进行接收，对接收到的第一帧图像作为检测帧进行特定目标搜索，因检测模型耗时较长，同时接收后续帧并进行保存；如果在检测帧中发现特定目标，则转到步骤2.3，否则转到步骤2.2

2.2将最新接收到的图像作为新的检测帧重新进行特定目标搜索，因检测模型耗时较长，同时接收后续帧进行保存，如果在检测帧中发现特定目标，则转到步骤2.3，否则重复步骤2.2；

2.3获取特定目标的位置(x,y)及尺寸信息(w,h)，转到步骤3。

步骤3：目标跟踪阶段

3.1将当前检测帧及特定目标的位置(x,y)及尺寸信息(w,h)作为输入，对目标跟踪模块进行初始化，将当前检测帧的下一帧图像作为当前跟踪帧进行目标跟踪处理，转到步骤3.2；

3.2根据响应峰值判断跟踪目标是否被遮挡；使用目标跟踪器处理当前跟踪帧，获取响应图及响应峰值fmax；根据响应峰值fmax判断跟踪目标是否被遮挡，设定阈值a＝0.6，具体判定方式为：

若fmax＞a×mean(fmax)，则表示跟踪目标未发生严重遮挡，输出跟踪目标的位置及尺寸信息，转到步骤3.5；否则，表示跟踪目标发生严重遮挡，转到步骤3.3；

3.3判断是否跟踪失败；

记录目标被遮挡的帧数count，设定阈值b＝50；若count≤b，则表示位置预测方法寻找被遮挡目标进行中，转到步骤3.4；否则表示位置预测方法寻找被遮挡目标失败，将最新接收的一帧图像作为当前检测帧，转到步骤2.2；

3.4预测跟踪目标位置；

(1)计算跟踪目标的历史位置坐标差(δx,δy)的均值

(2)根据跟踪目标上一帧图像的位置坐标(xn-1,yn-1)预测目标当前位置(xn,yn)：

默认跟踪目标的尺寸信息不变，对预测位置进行输出，将下一帧图像作为新的当前跟踪帧，转到步骤3.2；

3.5判断是否训练跟踪器；

根据目标跟踪器的最高响应值fmax和apce(averagepeak-to-correlationenergymeasure，平均峰相关能力测量值)两个参数判断是否更新目标跟踪器；其中，参数apce的计算公式为：

式中，fmax、fmin、fw,h分别为响应图中响应最高、最低和(w,h)位置上的响应值，mean(·)为求均值函数；

设定阈值c＝0.45、d＝0.4，若响应峰值fmax＞c且apce值大于历史apce均值的d倍时，使用当前目标特征训练并更新跟踪器，否则不训练。

将下一帧图像作为新的当前跟踪帧，转到步骤3.2，继续进行目标跟踪。

总之，本发明将yolov3深度学习目标检测算法与改进的kcf相关滤波目标跟踪算法相结合，形成目标检测跟踪功能包，并综合考虑图像序列中的信息冗余及目标检测算法的作用，在目标跟踪算法可以达到超实时的前提下，采用间断抽帧方式选定图像进行目标检测，在锁定特定目标后对当前检测帧的后续帧无差别依次进行目标跟踪处理。在短时间内，目标跟踪算法能够处理最新接收的图像，实现了间隔检测实时跟踪的目的，解决了目标跟踪初期丢帧的问题，充分发挥了检测算法的高准确率和跟踪算法的高实时性优势，可以实现在资源受限的终端平台上进行移植部署。

需要说明的是，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，并非因此局限本发明的权利范围，凡运用本发明说明书及其附图内容所作的等效变化，均包含于本发明的权利范围之内。