一种鲁棒的图像目标锁定跟踪方法与流程

本发明涉及一种目标锁定跟踪方法，特别是一种鲁棒的图像目标锁定跟踪方法。

背景技术：

1、在某些特定的场景中，如交通监控、锁定、安防等，往往需要能够对某个目标进行搜寻以及画面持续锁定。在这类应用中，图像目标锁定跟踪技术成为重中之重。在不同的场景下，需要跟踪的目标有确定目标，也有不确定目标。鲁棒性好、适应性强、实时性高的目标锁定跟踪方法能够有效保证对于目标的画面锁定效果，从而成为一大研究热点。

2、目前，图像目标锁定跟踪算法常用的主要包括相关滤波类方法和深度学习类方法。相关滤波类方法，常用的主要有csk、kcf等经典算法及其改进方法，此类方法具有运算速度上的优势，但跟踪精度相对较低，尤其是对于目标形变、遮挡等情况效果不佳。深度学习类方法，常用的主要有基于卷积神经网络、基于孪生神经网络、基于循环神经网络等方法，此类方法跟踪精度较高，但是对硬件支持要求较高，会导致应用成本增加，应用受到一定限制。

3、现有技术中，目标锁定跟踪方法存在跟踪精度相对较低，尤其是对于目标形变、遮挡等情况效果不佳，或是对硬件支持要求较高，应用受到一定限制等缺点。

技术实现思路

1、发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种鲁棒的图像目标锁定跟踪方法。

2、为了解决上述技术问题，本发明公开了一种鲁棒的图像目标锁定跟踪方法，包括以下步骤：

3、步骤1，以视频图像中某一像素点位置作为输入，以该像素点位置为中心，在邻域内获取目标概率区域；

4、步骤2，采用双模型策略，在所述目标概率区域进行目标检测，找到目标，并对步骤1中作为输入的像素点位置进行修正，辅助获取目标跟踪起批位置；若未发现目标，则将目标跟踪起批位置按预设的默认尺寸和位置进行设置；

5、步骤3，采用改进的可变尺度核滤波方法，对所述目标跟踪起批位置进行跟踪，并在跟踪过程中，持续计算脱靶量信息；

6、步骤4，在所述跟踪过程中，若目标丢失，则在丢失点附近范围内，对丢失目标进行多帧找回处理；若成功找回，则将找回位置作为新的目标跟踪起批位置，执行步骤3；若未成功找回，则停止跟踪，等待新的像素点位置输入。

7、进一步的，步骤1中所述的获取目标概率区域，具体包括：

8、设所述的作为输入的像素点d位置坐标为(x，y)，以像素点d为中心，选取边长为l的正方形区域作为目标概率区域m；设置以像素点d为中心的默认跟踪起始框s为正方形，令其边长为r，且满足：l＝2.5r。

9、进一步的，步骤2中所述的在所述目标概率区域进行目标检测，具体包括：

10、截取视频图像的当前帧图片，即t0帧图片，输入至预训练的目标检测模型中，对所述目标概率区域进行目标检测；

11、所述的目标检测模型，即采用基于深度学习的方法，构建的目标检测模型。

12、进一步的，步骤2中所述的双模型，具体包括：

13、所述双模型通过预训练目标检测模型获取；其中，第一模型的预训练样本包括车辆、人员和预设的其他特定目标；第二模型的预训练样本为现有的数据集。

14、进一步的，步骤2中所述的采用双模型策略，具体包括：

15、步骤2-1，采用第一模型对t0帧图片中的目标概率区域m0进行目标检测，保留检测结果中覆盖像素点d的所有目标检测结果；设置第一目标检测阈值thresh1，对保留的所有目标检测结果的置信度进行比较，取置信度最高值作为第一比较结果cp1；

16、步骤2-2，进行判断，若满足cp1≥thresh1，则以置信度为cp1的目标位置作为跟踪起始位置，并将对应的目标分类信息作为该目标的分类信息，计为tp1；否则执行步骤2-3；

17、步骤2-3，采用第二模型对t0帧图片中的目标概率区域m0进行目标检测，保留检测结果中覆盖像素点d的所有目标检测结果；设置第二目标检测阈值thresh2，对保留的所有目标检测结果的置信度进行比较，取置信度最高值作为第二比较结果cp2；

18、步骤2-4，进行判断，若满足cp2≥thresh2，则以置信度为cp2的目标位置作为跟踪起始位置，将该目标的分类信息记为不确定；否则执行步骤2-5；

19、步骤2-5，采用默认跟踪起始框s作为跟踪起始位置，该目标的分类信息为无。

20、进一步的，步骤3中所述的采用改进的可变尺度核滤波方法，对所述目标跟踪起批位置进行跟踪，即对跟踪起始位置r0跟踪起批后，采用核相关滤波算法计算跟踪得分并对跟踪窗口进行更新，具体包括：

21、步骤3-1，采用可变尺度策略，分别对跟踪窗口的原始尺寸、第一预设倍尺寸及第二预设倍尺寸计算跟踪得分，分别记作原始尺寸跟踪得分s_ori、第一预设倍尺寸跟踪得分s_big及第二预设倍尺寸跟踪得分s_lit；

22、步骤3-2，设置矫正因子rho，比较s_ori+rho、s_big和s_lit的大小关系，若s_ori+rho最大，则维持原始尺寸继续下一帧跟踪；若第一预设倍尺寸跟踪得分s_big最大，则按第一预设倍尺寸进行下一帧跟踪；若第二预设倍尺寸跟踪得分s_lit最大，则按第二预设倍尺寸进行下一帧跟踪；

23、步骤3-3，设跟踪窗口r宽度为w，高度为h，则令采样区域mc宽度为widthc＝2*w，采样区域高度为heightc＝2*h；在第n帧，获得跟踪窗口rn，其中心位置计为cn(xn，yn)；计算第n帧与第n-1帧跟踪窗口中心位置的位置差，得到第n帧脱靶量如下：

24、tn(xnt，ynt)＝cn(xn，yn)-cn-1(xn-1，yn-1)＝tn(xn-xn-1，yn-yn-1)

25、其中，tn(xnt，ynt)表示第n帧的脱靶量。

26、进一步的，步骤4中所述的对丢失目标进行多帧找回处理，具体方法包括：

27、步骤4-1，若第i帧，步骤3-1中计算的跟踪得分均小于等于预设的阈值th_lost，则认为目标跟踪丢失；

28、若当前跟踪目标在第i帧丢失，则记录其丢失前一帧目标窗口位置ri-1，其窗口中心点位置计为ci-1(xi-1，yi-1)，以ci-1为中心设置搜索区域，根据该目标的类别信息进行目标搜索或找回；

29、步骤4-2，若该丢失目标起始分类信息确定，则将前一帧目标跟踪采样区域mcn-1宽高均扩大到原数值的预设倍数n1倍作为搜索区域，记作msearch；设前一帧目标跟踪采样区域mcn-1宽度为widthcn-1，高度为heightcn-1，则搜索区域msearch的宽度为widthsearch＝n1*widthcn-1，高度为heightsearch＝n1*heightcn-1；在预设时长内保持搜索动作，即采用第一模型对搜索区域进行目标检测，期间，若成功检测到与目标起始分类信息相同的目标，则在检测到的目标中选择置信度最高的一个，将该检测位置作为跟踪起始位置，记作r0，重新开始跟踪过程；否则停止此次跟踪，等待新的像素点位置输入；

30、步骤4-3，若该丢失目标起始分类信息不确定或无起始分类信息，则将前一帧目标跟踪采样区域mcn-1宽高均扩大到原数值的n1倍作为找回区域，记作mretrieve；设mcn-1宽度为widthcn-1，高度为heightcn-1，则找回区域mretrieve的宽度为widthretrieve＝n1*widthcn-1，高度为heightretrieve＝n1*heightcn-1；在预设时长内保持找回动作，即采用改进的可变尺度核滤波方法在采样区域mretrieve内计算跟踪得分，若得分大于预设阈值th_lost，则为成功找回；期间，若成功找回，则将找回位置作为跟踪起始位置记作r0，重新开始跟踪过程；否则停止此次跟踪，等待新的像素点位置输入。

31、进一步的，步骤2中所述的目标检测模型，以yolov4作为检测网络；

32、所述的第一目标检测阈值thresh1为0.3，第二目标检测阈值thresh2为0.4。

33、进一步的，步骤3中所述的第一预设倍尺寸为1.05倍尺寸，第二预设倍尺寸为0.95倍尺寸，矫正因子rho为0.05。

34、进一步的，步骤4中所述的预设倍数n1为2.5，预设时长为100帧。

35、有益效果：

36、本发明有机结合了跟踪与检测识别的方法，相对于现有技术，解决了能够在较低算力需求的条件下，有效提升目标锁定跟踪鲁棒性，降低目标丢失率。