一种时序相关的自适应信息融合鱼类群体跟踪方法

本发明涉及鱼类群体跟踪的，尤其涉及一种时序相关的自适应信息融合鱼类群体跟踪方法。

背景技术：

1、生物作为集体活动中的个体、或作为社会的一员活动时，往往表现出有利于集体和社会发展的特性。生物群体之间复杂的交互行为包含丰富的社会学信息，依托此发展而来的动物群体行为学研究日趋活跃。在众多的群体行为学研究目标中，提取鱼群的运动轨迹，并分析鱼群运动轨迹之间的关系，是研究群体行为的主要手段。如果能够实现鱼群的行为自动化的跟踪，将大幅提高研究的速度，减少实验的误差，甚至能够发现生物群体中更加丰富的群体特性、运动学特性。

2、现有文献“j.delcourt,c.becco,n.vandewalle,and p.poncin.a videomultitracking system for quantification of individual behavior in a largefish shoal:advantages and limits.behavioural brain research,41(1):228-235,2009.”中提出的自动跟踪算法框架，首先通过背景剪除方法提取鱼在图像上的区域，或者用划分的区域表示鱼，抑或直接用该区域的质心表示鱼，然后按序将每帧检测到的鱼关联成轨迹。此类算法较人工标记有了极大的效率提升，对鱼的群体行为研究起到了重要作用。但该方法本身仍存在缺陷，一方面，传统自动跟踪算法对实验环境要求高，背景需要较为简单，且与鱼的视觉效果差异较大；另一方面，鱼身为非刚体，在运动过程中特别是转弯时可能产生较大形变，因此无论是直接当作是对质点的跟踪，还是对整个区域的跟踪，都容易产生较大误差，且可能会丢失跟踪目标。并且，在对鱼类群体进行跟踪的过程中，可能会出现鱼群重叠的情况或者其他遮挡物遮挡了感知目标，对于目标跟踪中常见的遮挡问题，现有文献“s.kato,t.nakagawa,m.ohkawa,et al.a computer image processing system forquantification of zebrafish behavior.journal neuroscience methods，134(1):1-7,2004.”中提出的利用形态学腐蚀和膨胀算法分割存在重叠的鱼，但只对比较简单的交叠适用，跟踪的规模小，在对较大规模的鱼类群体跟踪过程中，存在跟踪轨迹不准确或不完整的情况，且对鱼类群体进行跟踪的过程中，工作量相对较大。

3、综上所述，在现有的鱼类群体跟踪的技术中，存在因跟踪目标重叠或者发生较大的形变而导致跟踪误差大或者丢失跟踪目标的情况，且跟踪工作量大。

技术实现思路

1、为解决现有鱼类群体跟踪技术存在跟踪误差大与跟踪工作量大的问题，本发明提出一种时序相关的自适应信息融合鱼类群体跟踪方法，通过此方法构建的时序相关的信息融合检测与跟踪模型对鱼类群体进行检测与跟踪，能有效的减小跟踪误差，并减少跟踪工作量。

2、为了实现本发明的目的，本发明采用如下技术方案实现：

3、一种时序相关的自适应信息融合鱼类群体跟踪方法，包括以下步骤：

4、s1：获取鱼类群体图像数据集，对鱼类群体图像数据集进行预处理；

5、s2：将预处理得到的鱼类群体图像数据集划分为训练集和测试集；

6、s3：搭建mixdla模型；

7、s4：利用训练集对mixdla模型进行训练，并利用测试集对训练后的mixdla模型进行测试，得到训练完成的mixdla模型；

8、s5：搭建时序相关的bf-tracking模型，将训练完成的mixdla模型与bf-tracking模型相连接，得到时序相关的信息融合检测与跟踪模型，并利用时序相关的信息融合检测与跟踪模型对鱼类群体进行检测与跟踪，输出检测与跟踪结果；

9、其中，mixdla模型表示联合检测跟踪模型，bf-tracking模型表示自适应决策融合跟踪模型。

10、在上述技术方案中，利用获取的鱼类群体图像数据集对搭建mixdla模型进行训练与测试，得到训练完成的mixdla模型，训练完成的mixdla模型能够对鱼类群体图像数据集中的图像特征进行提取，同时还能保留鱼类目标共有的深度外观特征，且能对鱼类目标个体间区分，还能对鱼类目标的运行进行预测，从而提升对鱼类群体图像数据集特征提取的全面性和鲁棒性，随后搭建用于接收mixdla模型输出结果的时序相关的bf-tracking模型，将mixdla模型的输出端与bf-tracking模型的输入端进行连接，所述bf-tracking模型能够根据mixdla模型对鱼类群体的运动预测结果进行前后对比，进而生成准确的鱼类群体运动轨迹，从而缩小鱼类目标个体快速游动和姿态变化的位置漂移，实现对跟踪目标的重定位，进而减小了对鱼类群体的跟踪误差，并减轻了跟踪工作量。

11、进一步地，步骤s1所述的对鱼类群体图像数据集进行预处理的过程为：

12、将采集的鱼类群体图像数据集中的图像进行区域裁剪与尺寸重置，得到预处理完成的鱼类群体图像数据集。

13、进一步地，将预处理完成的鱼类群体图像数据集划分为训练集t1与测试集t2；

14、对所述训练集t1内的鱼类群体图像数据进行类别标志、身份标志和检测框区域标注，并保存为通用检测数据集格式。

15、根据上述技术方案，对训练集t1内的鱼类群体图像数据集进行类别标志、身份标志和检测框区域标注，在对mixdla模型进行训练的过程中，能够使mixdla模型更好地对鱼类群体图像的特征进行提取，提高训练的效率，将进行类别标志、身份标志和检测框区域标注的训练集t1保存为通用检测数据集格式，更方便后续对训练集t1的提取。

16、进一步地，步骤s3中搭建的mixdla模型包括：

17、backbone网络层、neck网络层和head网络层；

18、其中，backbone网络层用于提取特征图并对特征图进行特征编码；neck网络层用于对backbone网络层编码后的特征图进行图像特征提取；head网络层用于对neck网络层提取的图像特征进行运动预测。

19、进一步地，步骤s4所述中采用随机梯度下降优化器sgd对mixdla模型进行训练。

20、对mixdla模型进行训练的具体过程为：

21、s41：将训练集t1输入mixdla模型的backbone网络层，利用backbone网络层提取训练集t1中的特征图，根据提取的特征图，利用迭代聚合函数i对整个mixdla模型网络进行连接，使用到的迭代聚合函数i表达式为：

22、

23、对提取的特征图进行特征编码，将特征编码后的特征图传输至neck网络层；

24、其中，n表示网络的深度层数，n表示聚合节点，x表示当前节点的特征参数；

25、s42：利用neck网络层对特征编码后的特征图进行解码，利用分层聚合函数对特征图中的浅层图像特征与深层图像特征进行提取，提取过程中使用到的分层聚合函数表达式为：

26、

27、其中，x表示当前节点的特征参数，n表示网络的深度层数，n表示聚合节点，v表示纵向聚合，h表示横向聚合；

28、引入自适应特征融合函数y，表达式为：

29、

30、其中，w表示自适应定义的权函数，y表示线性相加；

31、利用自适应特征融合函数以线性相加的方式将提取的浅层图像特征叠加至深层图像特征中，线性相加表达式满足：

32、y(a,b)＝f(w1x1(a,b)+w2x2(a,b)),(a,b)∈z；

33、将提取的浅层图像特征与深层图像特征传输至head网络层；

34、其中，f()表示融合特征的映射，(a,b)表示当前通道二维特征层上的某一点，x表示当前通道二维特征层上的某一点上的特征值，w表示自适应定义的权函数，z表示单一通道上特征层特征值的集合；

35、s43：利用head网络层对提取的浅层图像特征与深层图像特征进行鱼类目标的运动预测，并输出运动预测结果；

36、s44：设训练过程中的损失函数为losstrain，表达式为：

37、

38、其中，i表示鱼类目标，t表示鱼类目标的当前帧，t-1表示鱼类目标的过去帧，p表示鱼类目标的位置，g表示真值；

39、利用测试集t2对完成每轮次训练的mixdla模型进行测试，当损失函数losstrain输出的值收敛时，得到训练完成的mixdla模型，表达式为：

40、

41、在上述技术方案中，在对miixdla模型训练的过程中，利用mixdla模型的backbone网络层提取训练集t1内的特征图，并进行特征编码，方便对图像中的纹理、颜色以及形状等进行区分，能够在训练过程中不断提升mixdla模型对图像内容进行区分的精度，利用mixdla模型的neck网络层对特征编码后的特征图进行解码，并利用分层聚合函数对特征图中的浅层图像特征和深层图像特征进行提取，并利用自适应特征融合函数以线性相加的方式将提取的浅层图像特征叠加至深层图像特征中，能够使mixdla模型从纵向和横向对鱼类群体图像数据集中的图像特征进行读取，且分层聚合函数能够使特征信息跨越各个网络层，利用mixdla模型的head网络层对提取的浅层图像特征与深层图像特征进行鱼类目标的运动预测，并输出运动预测结果，能够使mixdla模型有效地预测出鱼类目标的运动特性，并得到鱼类目标的外观信息，在对mixdla模型进行训练的过程中，利用测试集t2对完成每轮次训练的mixdla模型进行测试，并设置损失函数losstrain对mixdla模型的训练效果进行验证，从而保证了对mixdla模型训练的有效性，且损失函数能够更好地从数据上体现出对mixdla模型的训练效果。

42、进一步地，步骤s5中搭建的时序相关的bf-tracking模型包括：

43、检测框匹配模块，用于接收mixdla模型输出的鱼类群体运动预测结果，并根据鱼类群体运动预测结果生成自适应历史信息融合结果；

44、轨迹关联模块，用于根据所述自适应历史信息融合结果生成鱼类群体的跟踪轨迹；

45、可视化模块，用于将检测框匹配模块与轨迹关联模块的信息融合，输出对鱼类群体目标的检查与跟踪结果。

46、根据上述技术方案，考虑现有鱼类群体跟踪技术存在任意丢失目标的问题，搭建时序相关的bf-tracking模型，所述bf-tracking模型能根据鱼类目标个体的运动位置进行前后位置信息对比，从而缩小鱼类目标个体快速游动和姿态变化的位置漂移，实现对跟踪目标的重定位，进而减小了对鱼类群体的跟踪误差。

47、进一步地，步骤s5所述的利用时序相关的信息融合检测与跟踪模型对鱼类群体进行检测与跟踪的具体过程为：

48、s51：利用训练完成的mixdla模型对待检测的鱼类群体图像数据集进行鱼类群体运动预测并输出预测结果；

49、s52：利用bf-tracking模型根据所述mixdla模型的鱼类群体运动预测结果，对鱼类群体进行检测与跟踪，并输出检测与跟踪结果。

50、步骤s51所述的利用训练完成的mixdla模型对待检测的鱼类群体图像数据集进行检测的具体过程为：

51、将待检测的鱼类群体图像数据集进行区域裁剪与尺寸重置预处理，并将预处理完成的鱼类群体图像数据集输入mixdla模型；

52、利用mixdla模型中的backbone网络层对鱼类群体图像数据集进行特征图提取，并对特征图进行特征编码；

53、利用mixdla模型中的neck网络层将特征编码后的特征图进行解码，并提取图像特征；

54、利用mixdla模型中的head网络层对提取的图像特征进行鱼类群体运动预测，生成鱼类目标的位置热点p(x,y)和运动预测向量v。

55、步骤s52所述的对鱼类群体进行检测与跟踪的具体过程为：

56、s521：利用bf-tracking模型中的检测框匹配模块接收mixdla模型中head网络层生成的鱼类目标的位置热点p(x,y)和运动预测向量v，并将位置热点p(x,y)和运动预测向量v进行回归，得到两组检测框；

57、将两组检测框进行融合，融合表达式满足：

58、lf,tf,rf,bf＝min[(pa,pb)]p for p in[l,t,r,b]；

59、在两组检测框融合的过程中，通过联结欧氏距离最小的鱼类目标位置热点点对，保证两组检测框融合的损失达到最小，表达式满足：

60、

61、其中，[l,t,r,b]是常用的表示矩形框的格式，分别指代了矩形框的左侧、顶部、右侧和底部位置，ra与rb分别表示两组检测框的检测结果；

62、引入前后向跟踪原理，求当前帧与过去帧的距离权重和方向权重，过程满足：

63、将过去帧t-1至当前帧t所有的鱼类目标跟踪运动预测向量的平均值vavg′作为群体运动向量，则距离权重的表达式满足：

64、

65、方向权重的表达式满足：

66、

67、其中，v′表示过去帧的移动预测向量；

68、利用距离权重与方向权重对当前帧t的运动预测向量v进行微调，过程满足：

69、|vbf|＝wd|v|；

70、∠vbf＝wo∠v；

71、其中，vbf表示自适应历史信息融合结果；

72、s522：利用轨迹关联模块将自适应历史信息融合结果vbf连接形成鱼类群体的跟踪轨迹，得到鱼类目标的身份序号，表达式满足：

73、idf＝min(id1,id2,…,idn)；

74、s523：利用可视化模块将检测框匹配模块与轨迹关联模块对鱼类群体目标的检测与跟踪信息进行融合，将信息融合结果以可视化图像的形式输出。

75、在上述技术方案中，在利用mixdla模型与bf-tracking模型对鱼类群体进行检测与跟踪的过程中，mixdla模型能够在保留鱼类目标共有的深度外观特征的同时，对预处理完成的鱼类群体图像数据集进行深度层次的图像特征提取，并能够根据提取的图像特征得到鱼类群体的位置热点p(x,y)和运动预测向量v，有效提升了对鱼类群体图像特征提取的全面性和鲁棒性，此外，bf-tracking模型能够将mixdla模型中得到的位置热点p(x,y)和运动预测向量v进行回归，结合引入的前后向跟踪原理，生成鱼类目标个体的跟踪轨迹，并基于得到的自适应历史信息融合结果vbf，生成鱼类群体的跟踪轨迹，有效的减小了对鱼类群体跟踪的跟踪误差，且bf-tracking模型能够实时的将检测与跟踪的结果以可视化形式输出，更直接的体现了mixdla模型与bf-tracking模型相连接形成的时序相关的信息融合检测与跟踪模型的跟踪性能。

76、相比现有技术，本发明的有益效果在于：

77、本发明提出一种时序相关的自适应信息融合鱼类群体跟踪方法，利用获取的鱼类群体图像数据集训练完成得到的mixdla模型，能够对鱼类群体图像数据集中的图像特征进行提取，同时还能保留鱼类目标共有的深度外观特征，且能对鱼类目标个体间区分，还能对鱼类目标的运行进行预测，从而提升对鱼类群体图像数据集特征提取的全面性和鲁棒性；搭建bf-tracking模型，并将bf-tracking模型的输入端与mixdla模型的输出端连接，所述bf-tracking模型能够根据mixdla模型对鱼类群体的运动预测结果进行前后对比，进而生成准确的鱼类群体运动轨迹，从而缩小鱼类目标个体快速游动和姿态变化的位置漂移，实现对跟踪目标的重定位，进而减小了对鱼类群体的跟踪误差，并减轻了跟踪工作量。