一种结合YOLO和GCN的海上目标追踪方法及其模型

本发明涉及海上目标追踪，具体是涉及一种结合yolo和gcn的海上目标追踪方法及其模型。

背景技术：

1、水运是我国一种重要的交通运输方式，随着海上运输、海洋矿产、海洋渔业、海上旅游、航海体育等多个行业领域的发展，海上交通管理需要加强，海上目标追踪是其中重要的一环。我国虽然制定了相对完善的海上交通安全法，但在目前的海上交通管理过程中仍然具有一定的困难性，人工监管不仅存在劳动强度大、工作效率低、人工成本高等缺陷，还会受不同人员经验、感官、主观评价等因素的影响，无法保证海上交通管理的客观性。并且，在无人船的研制中，目标检测和追踪也是智能化的重要一步。故海上目标追踪方法的研究具有重要的科研意义和实际应用价值。

2、随着图像类科学技术的发展逐步成熟，数字图像处理技术越来越多的应用到目标追踪中。传统的目标追踪方法是先通过提取图像的多种特征进行检测分类，而后还需要进行帧与帧之间的同目标关联，从而形成时空维度上的目标轨迹。一些传统方法对帧与帧之间的目标匹配，只考虑到了该目标的位置信息，比如简单设定成在一定范围的距离内视作为可能的匹配目标，即用当前帧的目标与下一帧的目标直接通过匈牙利算法进行匹配关联。后来出现一种方法是在此基础上加入卡尔曼滤波，先对目标进行状态估计，从而预测出目标在下一时刻会到达的位置，再用预测结果与下一帧检测出的真实目标进行小距离内匹配关联，但卡尔曼滤波在状态预测上也具有局限性，没有考虑到不同目标之间的空间关系，而且仅能对线性模型进行精确估计。

技术实现思路

1、本发明所要解决的技术问题是，克服上述背景技术的不足，提供一种结合yolo和gcn的海上目标追踪方法及其模型，考虑到不同目标之间的空间关系，目标追踪性能好。

2、本发明解决其技术问题采用的技术方案是，一种结合yolo和gcn的海上目标追踪方法，包括以下步骤：

3、步骤1：对海上船只数据进行实地采集，将采集的数据分为训练集和测试集；

4、步骤2：实验数据预处理，将训练集进行目标位置、类别标注，

5、步骤3：将训练集输入到检测模块，对图像目标进行特征提取，得到多帧目标识别数据，并计算检测模块的损失；

6、步骤4：根据计算的检测模块的损失，反向传播进行检测模块的yolo参数更新；

7、步骤5：将检测模块得到的多帧目标识别数据输入到关联模块，以检测目标为节点构建图结构，用gcn网络提取高级目标特征，再用gru网络进行下一时刻目标位置的预测，并根据预测结果和实际检测结果计算总的损失；

8、步骤6：根据计算的总的损失，通过梯度反向传播进行关联模块参数的更新，得到训练好的海上目标追踪模型；

9、步骤7：将待追踪的海上船只测试集输入训练好的海上目标追踪模型，输出检测追踪结果和概率。

10、进一步，步骤1中，对海上船只数据进行实地采集，将采集的数据分为训练集和测试集的具体方法为：在自然光照情况下对各类船舶进行录像采集，建立海上船只数据集boat，并将采集到的录像数据逐帧分解为图集；将图集分为训练集和测试集。

11、进一步，步骤3中，对图像目标进行特征提取，得到多帧目标识别数据，并计算检测模块的损失的具体方法为：对图像进行切片处理，通过卷积、池化和全连接层后得到实际目标位置、置信度和类别信息，输出多帧目标识别数据；根据实际目标位置、置信度、类别信息计算检测模块的损失，检测模块的损失由分类损失、定位损失和置信度损失共同构成。

12、进一步，步骤5中，以检测目标为节点构建图结构，用gcn网络提取高级目标特征，再用gru网络进行下一时刻目标位置的预测的具体方法为：首先以检测目标为节点构建图结构，其中从连续帧图像中检测到的同一个目标被视为一个节点，两个节点之间的连接被视为一个边缘；将多帧目标识别数据及所构图结构的邻接矩阵输入到gcn网络，通过聚合邻接节点信息，得到聚合特征，然后将聚合特征的属性值与当前节点属性值融合更新节点的状态，

13、gcn网络包括两层gcn层，每层gcn层包括节点聚合层和relu层，

14、gcn层定义如下：

15、，

16、其中，表示经过gcn层聚合邻接节点信息后的聚合特征，，表示邻接矩阵与单位矩阵的和；表示的度矩阵；表示第一层gcn层的输入特征，表示gcn网络的权重向量；

17、gcn网络的前向传播公式为：

18、，

19、其中，表示提取的高级目标特征，表示gcn网络的前向传播函数，表示对归一化处理，表示时刻图的空间特征；表示第一层gcn层的权重向量；表示第二层gcn层的权重矩阵；

20、经过两层gcn层后获得最终提取的高级目标特征，将高级目标特征输入gru网络，用表示上一个节点传递下来的隐藏状态，则gru网络用和来获取两个门控信号，得到复位门和更新门的公式如下：

21、，

22、，

23、其中，表示复位门训练时的权重矩阵，表示更新门训练时的权重矩阵，表示激活函数；

24、得到门控信号之后，首先使用复位门来得到复位之后的数据：

25、，

26、其中表示经复位门复位后的上一个节点传递下来的隐藏状态，表示矩阵元素相乘；

27、再将与进行拼接，然后通过一个tanh激活函数来将数据放缩到(-1,1)的范围内，即得到：

28、，

29、其中，表示矩阵元素相乘，表示gru网络在时刻的输出，表示与拼接时的权重矩阵；

30、使用更新门更新记忆，得到目标在下一时刻的位置预测：

31、之后根据预测结果和实际检测结果，对预测结果和实际检测结果进行关联匹配，匹配算法使用基于欧氏距离的匈牙利算法。

32、进一步，步骤5中，根据预测结果和实际检测结果计算总的损失，方法如下：

33、关联模块损失定义为：

34、，

35、其中，表示关联模块损失，表示实际值，表示预测值，表示l2正则化项，表示超参数；

36、总的损失由检测模块的损失、关联模块的损失构成：

37、，

38、其中，是损失的权重系数，是损失的权重系数。

39、一种结合yolo和gcn的海上目标追踪模型，包括检测模块和关联模块，检测模块与关联模块相连，检测模块用于对图像目标进行特征提取，得到多帧目标识别数据；关联模块用于对海上目标进行位置预测并关联。

40、进一步，所述检测模块使用yolo算法，采用一个单独的cnn模型实现end-to-end的目标检测，具体为对图像进行切片处理，通过卷积、池化和全连接层后得到实际目标位置、置信度和类别信息，输出多帧目标识别数据。

41、进一步，所述关联模块由gcn网络与gru网络组成，关联模块以检测目标为节点构建图结构，用gcn网络提取高级目标特征，再用gru网络进行下一时刻目标位置的预测，并根据预测结果和实际检测结果计算总的损失。

42、进一步，所述关联模块首先以检测目标为节点构建图结构，其中从连续帧图像中检测到的同一个目标被视为一个节点，两个节点之间的连接被视为一个边缘；将多帧目标识别数据及所构图结构的邻接矩阵输入到gcn网络，通过聚合邻接节点信息，得到聚合特征，然后将聚合特征的属性值与当前节点属性值融合更新节点的状态，

43、gcn网络包括两层gcn层，每层gcn层包括节点聚合层和relu层，gcn层定义如下：

44、，

45、其中，表示经过gcn层聚合邻接节点信息后的聚合特征，，表示邻接矩阵与单位矩阵的和；表示的度矩阵；表示第一层gcn层的输入特征，表示gcn网络的权重向量；

46、gcn网络的前向传播公式为：，

47、其中，表示提取的高级目标特征，表示gcn网络的前向传播函数，表示对归一化处理，表示时刻图的空间特征；表示第一层gcn层的权重向量；表示第二层gcn层的权重矩阵；

48、经过两层gcn层后获得最终提取的高级目标特征，将高级目标特征输入gru网络，用表示上一个节点传递下来的隐藏状态，则gru网络用和来获取两个门控信号，得到复位门和更新门的公式如下：

49、，

50、，

51、其中，表示复位门训练时的权重矩阵，表示更新门训练时的权重矩阵，表示激活函数；

52、得到门控信号之后，首先使用复位门来得到复位之后的数据：

53、,

54、其中，表示经复位门复位后的上一个节点传递下来的隐藏状态，表示矩阵元素相乘；

55、再将与进行拼接，然后通过一个tanh激活函数来将数据放缩到(-1,1)的范围内，即得到：

56、，

57、其中，表示矩阵元素相乘，表示gru网络在时刻的输出，表示与拼接时的权重矩阵；

58、使用更新门更新记忆，得到目标在下一时刻的位置预测：

59、之后根据预测结果和实际检测结果，对预测结果和实际检测结果进行关联匹配，匹配算法使用基于欧氏距离的匈牙利算法。

60、与现有技术相比，本发明的优点如下：

61、本发明模型分为检测模块和关联模块两个部分，检测模块由一个yolo算法完成，提取目标特征，用来检测每帧各目标信息。后面的关联模块使用检测模块得到的目标信息，建立时空无向图，考虑到不同目标之间的空间关系，利用前几帧的目标位置以及同时刻不同目标间关联，对目标特征进一步聚合，充分利用到图像数据的局部信息和全局信息，再通过gru网络预测下一时刻各目标位置，与实际检测结果作目标匹配，从而完成目标追踪，能对非线性模型进行精确估计。