一种针对类内多样性遮挡情况下的目标轨迹的跟踪方法

本发明涉及深度学习，具体而言，涉及一种针对类内多样性遮挡情况下的目标轨迹的跟踪方法。

背景技术：

1、在深度学习技术领域中，基于检测的跟踪是一种常用的视频处理方法，如文献《基于深度学习的水下鱼体跟踪研究》，提出了一种基于tbd(track by detection)框架的实时鱼类跟踪方案,即先利用鱼类检测器在每一帧图像中对鱼体进行检测,再用跟踪算法对检测到的鱼体进行跨帧追踪。在检测阶段,提出yolov4-tiny rfb检测器进行鱼体检测。yolov4-tiny rfb检测器以yolov4-tiny网络为基础,并在网络中加入rfb(receptivefield block)模块,使得检测器能整合不同尺度的特征,兼顾了不同尺寸目标的检测,提高了检测性能。在匹配阶段,根据鱼类非线性运动的特点,优化了sort(simple online andrealtime tracking)算法,提升了追踪精度,将优化后的算法命名为simple-sort算法。最后,制作了带有目标框注释的真实养殖环境下的红友鱼检测和跟踪数据集,用于实验验证。

2、但是上述的方法仍然存在着问题，基于改基于深度学习的水下鱼体跟踪研究中，数据中目标较少，较少存在类内遮挡现象，在跟踪过程中容易出现目标错检漏检以及轨迹，不适用于乌鳢养殖场景，

3、乌鳢为营底栖性鱼类，躯体柔软纤细似蛇形，躯体较长，前部呈圆筒形，后部逐渐为侧扁形，在养殖中其身躯并非固定于长条形，极易产生类内多样性遮挡，即乌鳢之间以多种躯体姿态彼此相互遮挡，且因其细长的身躯，类内遮挡或彼此紧贴的乌鳢的锚框重合程度较大，对跟踪产生较大困难。在水产的养殖中，尤其是身躯灵活细长多样的乌鳢的养殖中，精准的在类内多样性遮挡情况下跟踪多尾乌鳢个体，是养殖中十分重要的事情。

4、现有技术中cn202210796234.6提到了一种基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法，其基于跨尺度分层特征融合模块实现了在类内遮挡情况下对于乌鳢进行检测的方法，但该技术方案并没有对乌鳢的运动轨迹进行追踪，仅仅是用于识别，而针对多尾乌鳢个体出现多样性遮挡的情况，现有技术并不能起到对每尾乌鳢个体实现运动追中，因此，如何提高多目标在类内多样性遮挡情况下的跟踪的准确度成为急需克服的现实问题。

技术实现思路

1、为了解决上述问题，本发明的目的是提供一种针对类内多样性遮挡情况下的目标轨迹的跟踪方法，用于在进行目标识别时出现类内多样性遮挡情况下对目标轨迹进行准确跟踪，实现在水产养殖时对养殖目标进行准确追踪，为水产的智能化养殖追中技术提供新的技术思路。

2、为了实现上述技术目的，本申请提供了一种针对类内多样性遮挡情况下的目标轨迹的跟踪方法，包括以下步骤：

3、采集水产养殖池中养殖目标的跟踪视频，进行标注和视频分帧后，生成待识别图片，其中，待识别图片中的养殖目标之间存在类内多样性遮挡情况；

4、将待识别图片，通过1×1卷积进行特征提取并进行整合后，输入到融合空间注意力机制的跨尺度特征融合模块进行特征融合，其中，跨尺度特征融合模块用于表示对res2net进行横向跨尺度残差连接后形成的模块；

5、对特征融合后的第一输出结果，采用养殖目标的运动位置信息对目标与轨迹进行数据关联匹配，生成养殖目标的目标轨迹。

6、优选地，在对跟踪视频进行标注的过程中，通过darklabel进行标注。

7、优选地，在进行特征融合的过程中，将通过1×1卷积进行特征提取并进行整合后的第二输出结果，经过空间注意力机制进行处理，使得网络更关注遮挡区域的学习；

8、将经过处理后的第二输出结果，通过跨尺度特征融合模块进行特征融合。

9、优选地，在进行数据关联匹配的过程中，基于养殖目标的运动位置信息，通过卡尔曼滤波器进行轨迹预测，将轨迹预测结果与第二输出结果，利用匈牙利算法进行两次匹配，生成目标轨迹。

10、优选地，在获取目标轨迹的过程中，基于卡尔曼滤波器，根据第t-1帧的轨迹，预测第t帧每个轨迹的位置，然后进行第一次匹配，将高分检测框与所有轨迹进行匹配，只依据运动位置相似度，利用iou进行检测框与轨迹预测框的相似度计算，最后利用匈牙利算法完成第一次匹配，对未匹配的轨迹进行保留；

11、将低分预测框与未匹配轨迹进行匹配，只靠运动位置相似度，利用iou进行检测框与轨迹预测框的相似度计算，再通过匈牙利算法完成第二次匹配，最后，对于在第一次匹配中未匹配的高分检测框，则视为新的目标轨迹，其中，在第二次匹配时，若30帧内的轨迹未被成功匹配则删除，同时删除未匹配的低分检测框。

12、优选地，用于实现跟踪方法的跟踪系统，包括：

13、数据采集模块，用于采集水产养殖池中养殖目标的跟踪视频；

14、数据处理模块，用于对跟踪视频，进行标注和视频分帧后，生成待识别图片，其中，待识别图片中的养殖目标之间存在类内多样性遮挡情况；

15、跨尺度融合模块，用于将待识别图片，通过1×1卷积进行特征提取并进行整合后，输入到融合空间注意力机制的跨尺度特征融合模块进行特征融合，其中，跨尺度特征融合模块用于表示对res2net进行横向跨尺度残差连接后形成的模块；

16、轨迹生成模块，用于对特征融合后的第一输出结果，采用养殖目标的运动位置信息对目标与轨迹进行数据关联匹配，生成养殖目标的目标轨迹。

17、优选地，数据处理模块，还用于通过darklabel进行标注。

18、优选地，轨迹生成模块还用于基于养殖目标的运动位置信息，通过卡尔曼滤波器进行轨迹预测，将轨迹预测结果与第二输出结果，利用匈牙利算法，只通过运动位置相似度，进行两次匹配，生成目标轨迹。

19、本发明公开了以下技术效果：

20、本发明提出的融合空间注意力的跨尺度特征融合模块，构建分层残差连接，以更细粒度表示多尺度特征，在计算负载量不增加的情况下，具备更强的特征提取能力，并有效增加每个网络层的感受野。经过跨尺度特征处理后，可有效提取目标的颜色、纹理等主要特征信息，准确快速的提取多样性遮挡情况下目标的特征，避免与背景混淆，提升了模型的泛化能力，有效提升类内多样性遮挡情况下对于目标的检测精度。

21、其次，本发明在多目标跟踪数据关联模块采用基于运动位置信息的iou相似度计算方法。更加重视运动轨迹上的匹配，而不再考虑外观相似度对跟踪的影响。在目标外观相似、姿态变频繁换及类内遮挡情况下，排除外观相似度的影响更有利于网络精确识别被遮挡的目标，从而生成更准确完整的轨迹。

技术特征：

1.一种针对类内多样性遮挡情况下的目标轨迹的跟踪方法，其特征在于，包括以下步骤：

2.根据权利要求1所述一种针对类内多样性遮挡情况下的目标轨迹的跟踪方法，其特征在于：

3.根据权利要求2所述一种针对类内多样性遮挡情况下的目标轨迹的跟踪方法，其特征在于：

4.根据权利要求3所述一种针对类内多样性遮挡情况下的目标轨迹的跟踪方法，其特征在于：

5.根据权利要求4所述一种针对类内多样性遮挡情况下的目标轨迹的跟踪方法，其特征在于：

6.根据权利要求5所述一种针对类内多样性遮挡情况下的目标轨迹的跟踪方法，其特征在于：

7.根据权利要求6所述一种针对类内多样性遮挡情况下的目标轨迹的跟踪方法，其特征在于：

8.根据权利要求7所述一种针对类内多样性遮挡情况下的目标轨迹的跟踪方法，其特征在于：

技术总结
本发明公开了一种针对类内多样性遮挡情况下的目标轨迹的跟踪方法，属于深度学习技术领域，包括以下步骤：采集水产养殖池中养殖目标的跟踪视频，进行标注和视频分帧后，生成存在类内多样性遮挡情况的待识别图片；通过1×1卷积进行特征提取并进行整合后，输入到融合空间注意力机制的跨尺度特征融合模块进行特征融合；对特征融合后的输出结果，采用养殖目标的运动位置信息对目标与轨迹进行数据关联匹配，生成养殖目标的目标轨迹；本发明在目标外观相似、姿态变频繁换及类内遮挡情况下，排除外观相似度的影响更有利于网络精确识别被遮挡的目标，从而生成更准确完整的轨迹。

技术研发人员：岳峻,张逸飞,张君,马正,寇光杰,李振波,贾世祥,孙浩
受保护的技术使用者：鲁东大学
技术研发日：
技术公布日：2024/1/15