基于运动补偿、联动的多目标循环检测跟踪方法及系统与流程

本发明涉及目标跟踪，特别涉及一种基于运动补偿、联动的多目标循环检测跟踪方法及系统。

背景技术：

1、目标实时跟踪在安防、渔政监管、交通等各个领域都有广泛的应用，但跟踪算法在复杂的应用环境存在诸多干扰，如背景相似干扰、光照条件变化、尺寸变化、遮挡、快速运动和运动模糊等，容易出现跟丢或跟错的情况。

2、目前的实时跟踪算法大多基于卡尔曼滤波预测运动状态，基于简单的卷积神经网络(cnn)来提取其外观特征。寻常的卡尔曼滤波容易受到光照、尺度、颜色、旋转等变化图像的影响，并且忽略了检测噪声尺度的信息，目标跟踪高度敏感与物体尺寸，当目标物远离相机，尺寸变小，导致目标检测算法无法正确检出目标位置信息，进而导致跟踪丢失；当目标物出视野，目标物视野丢失，未与相机进行有效的联动，也会导致跟踪丢失。如何联动相机对多目标进行实时高效的跟踪有着迫切的业务需求，相关技术也有待进一步研究。

技术实现思路

1、本发明的目的是针对现有技术的不足，提供一种基于运动补偿、联动的多目标循环检测跟踪方法及系统，提高跟踪效率、匹配质量，减少匹配时间。

2、本发明的技术方案是：

3、一种基于运动补偿、联动的多目标循环检测跟踪方法，包括如下步骤：

4、步骤s1:获取联动相机监测图像中检测框的目标位置；

5、步骤s2:先利用相机运动补偿对所述目标位置进行增强对齐，再通过帧与目标运动状态构建的运动预测模型输出新的预测目标区域

6、步骤s3:先通过外观特征提取器对所述目标位置进行特征提取，再通过指数平均移动ema更新策略输出当前帧i与第t个轨迹的外观特征状态

7、步骤s4:根据所述步骤2中预测目标区域和所述步骤1中检测框的马氏距离，得出运动成本as；根据所述步骤3中外观特征状态与历史帧的余弦距离，得出外观成本aa；

8、步骤s5:对所述外观成本aa和所述运动成本as进行加权和，得到成本矩阵c，使用成本矩阵c进行跟踪匹配，输出目标物的id、位置；

9、步骤s6：根据所述步骤5中目标物的位置信息判断目标大小是否符合预设临界值，若小于预设临界值，计算偏移量δβ，根据所述偏移量δβ控制所述联动相机进行实时调整倍数；否则再判断目标位置是否出视野，若即将出视野调用联动相机3d控制将目标物居中；重复步骤1至6。

10、进一步地，还包括步骤s7：根据所述步骤s4中目标物的id、位置进行实时渲染，并推送至流媒体平台。

11、进一步地，所述步骤7：根据所述步骤s4中目标物的id、位置进行实时渲染，并推送至流媒体平台，包括：

12、步骤7.1：所述步骤4中目标物的id、位置使用websocket将所述目标物id实时推送至客户端，所述客户端使用websocket接收数据，提供id显示界面供用户选择跟踪目标，选取所述跟踪目标后将选择的id发送至服务器，存取所述跟踪目标的id、位置；

13、步骤7.2：根据所述跟踪目标的id和位置进行补帧渲染；

14、其中，所述服务器根据id和检测框对帧进行实行渲染，将选取的所述跟踪目标id和检测框用不同颜色渲染区别；

15、步骤7.3：将渲染后的帧推送至流媒体平台，输出http-flv视频流。

16、进一步地，所述步骤7.2：根据所述跟踪目标的id和位置进行补帧渲染前，还包括：

17、判断补帧次数是否超过补帧的最大数量δt，如果补帧次数超过δt，清空当前数据，等待新的检测结果；

18、

19、式中：δt为补帧的最大数量，为一个常数，fps为相机每秒传输帧数。

20、进一步地，所述获取联动相机监测图像中检测框的目标位置，包括：

21、采用联动相机采集监测图像，所述监测图像根据图像多目标检测算法确定检测框及对应的目标位置，所述目标位置设为zi，zi包括左上位置[x0,y0]，宽度w，高度h。

22、进一步地，所述步骤s2:先利用相机运动补偿对所述目标位置进行增强对齐，再通过帧与目标运动状态构建的运动预测模型输出新的预测目标区域包括：

23、步骤2.1：使用增强相关系数算法ecc(enhanced correlation coefficient进行增强对齐对相机运动补偿，减少噪声的影响，纠正图形；

24、

25、步骤2.2：根据帧与目标运动状态关系，使用自适应计算噪声卡尔曼滤波算法建立运动预测模型，通过所述运动预测模型得到最优估计，输出新的预测目标区域

26、

27、其中，xi为常量噪音协方差值，ck为状态k时检测的置信度。

28、进一步地，所述步骤s3:先通过外观特征提取器对所述目标位置进行特征提取，再通过指数平均移动ema更新策略输出当前帧i与第t个轨迹的外观特征状态包括：

29、步骤s3.1：外观特征提取器获取所述目标位置zi，根据所述目标位置截取目标物图像；

30、步骤s3.2：根据所述目标物图像使用外观特征提取器获得目标的目标物特征，使用指数滑动平均ema更新策略输出当前帧i与第t个轨迹的外观特征状态

31、

32、式中表示动量项，取常量，表示当前匹配检测的外观融合。

33、进一步地，所述步骤s5:对所述外观成本aa和所述运动成本as进行加权和，得到成本矩阵c，使用成本矩阵c进行跟踪匹配，输出目标物的id、位置，包括：

34、将所述外观成本aa和所述运动成本as进行加权和得到成本矩阵c，使用匈牙利算法将成本矩阵c与历史成本矩阵进行匹配(初始状态下，每个目标物会从0开始自动分配id)，输出目标物id、位置，成本矩阵c计算方程为：

35、

36、式中：为权重因子。

37、进一步地，所述步骤s6：根据所述步骤5中目标物的位置信息先判断目标大小是否符合预设临界值，若小于预设临界值，计算偏移量δβ，根据所述偏移量δβ控制所述联动相机进行实时调整倍数，包括：

38、实时判断所述目标物大小，预设宽度临界值为δw，预设高度临界值为δh，目标宽度为w，目标高度为h，若(w<δw)|(h<δh)为真，则计算偏移量δβ，有以下三种情况：

39、第一种：若目标宽度w小于预设宽度临界值δw，即w<δw，则偏移量δβ采用以下公式：

40、δβ＝5*(δw-w)+2.5*z

41、第二种：若目标高度h小于预设高度临界值δh，即h<δh，则偏移量δβ采用以下公式：

42、δβ＝5*(δh-h)+2.5*z

43、第三种：若目标高度h小于预设高度临界值δh，且目标宽度w小于预设宽度临界值δw，即w<δw&h<δh

44、偏移量δβ采用以下公式：

45、δβ＝3*(δh-h)+3*(δw-w)+2.5*z

46、式中：z为相机当前倍数；

47、根据获得的所述偏移量δβ，将所述偏移量δβ带入所述联动相机的3d控制接口，控制所述联动相机调整倍数。

48、本发明的另一个技术方案是：

49、一种基于相机运动补偿、联动的多目标循环检测跟踪系统，包括：

50、信息采集模块：用于获取联动相机监测图像中检测框的目标位置；

51、预测目标区域模块：用于先利用相机运动补偿对所述目标位置进行增强对齐，再通过帧与目标运动状态构建的运动预测模型输出新的预测目标区域

52、外观特征提取模块：用于先通过外观特征提取器对所述目标位置进行特征提取，再通过指数平均移动ema更新策略输出当前帧i与第t个轨迹的外观特征状态

53、目标位置计算模块：用于根据预测目标区域和检测框的马氏距离，得出运动成本as；根据所述外观特征状态与历史帧的余弦距离，得出外观成本aa；对所述外观成本aa和所述运动成本as进行加权和，得到成本矩阵c，使用成本矩阵c进行跟踪匹配，输出目标物的id、位置；

54、联动相机控制模块：用于根据所述目标物的位置信息先判断目标大小是否符合预设临界值，若小于预设临界值，计算偏移量δβ，根据所述偏移量δβ控制所述联动相机进行实时调整倍数；再判断目标位置是否出视野，若即将出视野调用联动相机3d控制将目标物居中。

55、采用上述技术方案具有以下有益效果：

56、本发明通过相机运动补偿以及运动预测模型输出新的预测目标区域，解决了现有卡尔曼滤波容易受到光照、尺度、颜色、旋转等变化图像的影响及忽略检测噪声尺度信息的问题。

57、采用外观特征提取器对所述目标位置进行特征提取取代简单的卷积神经网络cnn对外观特征提取不具区分性，可以提取更具区分性的特征；再通过指数平均移动ema更新策略更新帧与轨迹的外观状态，该ema更新策略可显著提高匹配质量，减少时间的消耗。通过判断目标物大小和位置是否超出预设临界值，当目标物过小，实时调整联动相机倍数进行放大；当位置即将出视野，联动相机3d控制将目标物居中，即检测框居中，从而有效避免因物体移动，尺寸变小，导致跟丢或者跟错的情况，提高了跟踪效率。

58、与下面结合附图和具体实施方式作进一步的说明。