一种非机动车微观轨迹数据挖掘方法

本发明属于智慧交通，具体涉及了一种非机动车微观轨迹数据挖掘方法。

背景技术：

1、视觉系统是人类同外界交互的主要感官系统之一，是人们获取信息，接受外界丰富资源的重要来源。视频中丰富的画面不仅能够人们带来各种视觉效果体验，还包含了大量的语义信息和特征内容，帮助人们理解视频所要传达的信息。在全球智能化及信息化的时代，视频数据的分析与处理技术一直是科学家们重点研究内容。人工智能技术的发展与硬件设备计算性能的提升，推动了计算机视觉领域图像处理、目标识别、视频分析等多项技术的深入研究。视频分析融合了计算机视觉领域的中层处理和高层处理阶段，即对图像进行处理，从而研究图像中物体目标的规律，或者为系统的决策提供语义或非语义的支持，包括运动检测、目标检测分类、目标跟踪、行为理解、事件监测等。

2、视频目标跟踪方法的研究与应用作为计算机视觉领域的一个重要分支，正日益广泛地应到人机交互、无人机设备、智能监控系统、无人驾驶等领域，因而目标跟踪方法成为热门研究的课题之一。目标跟踪是计算机视觉领域的一项重要任务。在计算机视觉领域，视觉跟踪一般是指对单目标的跟踪。具体来说，目标跟踪指的是，根据在第一帧图像中给定目标的回归框信息，实现预测后续每帧图像中目标的状态，对应目标的回归框信息。通过直观标注的目标信息，可以计算出目标物体的位置和尺度信息，生成持续不断的轨迹信息，方便后续的目标位置预测、轨迹预测、行为检测和异常分析等任务。目前城市安防系统中使用的智能监控系统中，目标跟踪技术正在被广泛应用，实现特定目标的追踪，特定目标的行为预测等任务。因此对目标跟踪技术展开研究是十分必要的。

3、无人机航拍作为一种新型的交通流数据获取手段，相比于如地磁感应线圈、视频监控、浮动车、毫米波雷达等其它数据采集方式，具有部署机动灵活、不受地面交通干扰、视角广阔等优势，可以高效率、低风险、低成本地获取从局部到广域的大范围地面交通图像信息。随着无人机航拍技术和图像处理算法的进一步发展与融合，无人机航拍正逐渐成为道路交通数据采集的热门工具，基于无人机航拍视频提取的车辆轨迹、车辆航向角等数据可用于交通流特性分析、驾驶行为建模、交通仿真、自动驾驶、设施安全评估等，为道路交通规划、设计、管理领域的相关研究和应用提供了有效的实验手段。

4、使用无人机采集交通流视频时，由于受到气流、电机震动、人为操纵等内外多种因素影响，相机会发生随机性扰动，具体表现为视频图像帧与帧之间不同程度的旋转、缩放与抖动，为高精度车辆轨迹数据的提取造成较大影响：一是视频图像随时间发生不规律的平移与旋转，导致无法准确获取由车辆自身运动发生的真实位移，若不将图像旋转与偏移导致的误差剔除，则可能导致无法依靠车辆坐标判断车辆的运动状态，也无法基于车辆轨迹数据计算准确的微观交通参数。二是由于无人机采集的视频图像中车辆目标往往较小，因相机镜头抖动产生的误差很容易影响车辆轨迹数据的精度。

5、近年来，电动自行车在社会保有量、年产量以及人们对它的依赖度上都有所上升。电动自行车成为了城市中短途出行的重要工具，同时也在环保出行、绿色交通等方面发挥了重要作用。然而，电动自行车的普及也带来了一些问题。

6、1.电动自行车具有行为随意多变、速度较快的特点，目前已成为城市交通安全的一大隐患，尤其是在信号交叉口处和行驶路段上发生的闯红灯、超速、逆行、侵占机动车道行驶等风险骑行行为，不但严重扰乱了交通秩序，也损害了驾驶员自身和其他交通参与者的生命安全。

7、2.对于城市交通中电动自行车流的管理与行为研究，目前所采集的基础数据大多来源于现场调查或固定摄像头拍摄到的画面，易于获取但准确性不高。另一种广泛应用的基础数据是共享单车/电单车的gps定位数据，但是其定位数据上传粒度较粗，并且难以全面反映电动自行车微观交通运行机理，为管理者和研究者准确把握电动自行车流交通特性带来了困难。

8、随着无人机的普及与图像识别技术的发展，已有许多研究使用无人机垂拍视频对机动车轨迹进行微观分析，部分学者也探索了在电动自行车轨迹分析上的可能性。但是在高空航拍视频中，电动自行车目标往往集聚出现，密度高且特征模糊导致其难以准确识别，并且实际道路环境复杂，绿化与各类交通设施会对画面造成遮挡，从而影响轨迹提取的精度。

技术实现思路

1、本发明的目的在于针对现有技术存在的不足，提供了一种高效、准确的非机动车微观轨迹数据挖掘方法。

2、为了实现上述目的，本发明采用的技术方案如下：

3、一种非机动车微观轨迹数据挖掘方法，包括以下步骤：

4、步骤一，数据准备；

5、11)获取由无人机空中垂直俯拍获得的视频；

6、12)将视频分为目标检测训练视频和轨迹提取待检测视频；

7、13)将目标检测训练视频以20帧频率进行抽帧转换为图像文件，并进行voc格式的数据标注；

8、数据标注是指在目标检测模型训练所需要的图像数据上，将真实目标框选出来并赋予正确的类别标签。类别标签包括两轮非机动车、小汽车、公交车、货车、三轮车和行人等。

9、14)将标注完成的数据以9:1的比例划分为训练集和验证集，获得目标检测器所需要的训练数据；

10、步骤二，训练目标检测模型并生成权重参数；

11、将训练集输入改进后的yolox目标检测模型进行迭代训练，当网络已经收敛、损失函数不再产生抖动时，模型训练完成，保存yolox模型的网络结构和权重参数；同时用验证集检验yolox模型性能；

12、步骤三，航拍视频稳定化处理；

13、31)读取轨迹提取待检测视频，获取多帧视频图像，确定图像特征点；

14、32)光流法图像特征点跟踪；

15、根据航拍视频中前后两帧图像特征点变化得到表示运动的仿射变化矩阵；

16、33)根据仿射变化矩阵计算运动轨迹，并且平滑运动轨迹；

17、34)根据平滑后的运动轨迹，生成平滑后的仿射变化矩阵；

18、35)最后经过平滑后的仿射变化矩阵输出稳定的视频图像；

19、步骤四，车辆目标检测；

20、41)将稳定化处理后的视频图像统一缩放为1280×1280大小，并进行灰度化处理；然后输入训练好的yolox模型中；yolox模型对当前读取的视频帧开始检测，得到当前图像中的所有预测框，获取预测框的中心坐标、预测框尺寸、预测框置信度和类别预测置信度；

21、42)逐个判断预测框置信度是否大于等于设定的阈值t，若大于等于阈值t，则认为该预测框内存在目标，保留该预测框；若小于阈值t，则认为该预测框内不存在目标，舍弃该预测框；

22、此处预测框置信度的阈值t由人工设定。

23、43)选取预测框内目标的类别预测置信度结果最高的类别作为预测框内目标的类别预测结果；

24、44)重复步骤42)～43)，直至当前图像中所有预测框均判断完成，得到当前读取的视频帧的检测识别结果，包括目标类别、目标坐标(x，y)和检测框长宽(l，w)；

25、步骤五，车辆目标跟踪定位；

26、51)读取上一步车辆目标检测识别完成的第一张图像作为初始帧图像，记为第1帧，利用各目标的检测框初始化卡尔曼滤波器并为第i个目标构件一个八维向量来表征目标信息，记为tracker1,i，同时赋予该目标一个唯一的id编号；重复本步骤直至第1帧中所有目标均被处理完毕；

27、其中，(u,v)为检测框中心点像素坐标，γ为检测框长宽比，h为检测框高度，分别为各变量的一阶导数，用于表征目标在图像坐标空间中的运动速率；

28、52)将id编号为i的目标对应的trackeri向量组输入卡尔曼滤波器，对目标i的运动状态进行预测，预测结果表示为(u,v,γ,h)i；

29、读取车辆目标检测识别完成后输出的下一帧作为当前帧，记为第n帧，为第n帧中第j个目标再次构建一个八维向量来表征目标信息，记为trackern,j；重复本步骤直至所有目标均被处理完毕；

30、53)将第n帧第j个目标的trackern,j与输出的目标i的预测结果(u,v,γ,h)i逐一进行关联性匹配，若关联性匹配结果cij大于等于关联性阈值tg，则认为第n帧第j个目标跟踪成功，将该目标trackern,j更新为trackern,i，继承目标i的id编号；

31、54)将关联性匹配均未能成功的预测结果(u,v,γ,h)i和目标j的trackern,j逐一进行iou匹配，若匹配成功，则认为第n帧第j个目标跟踪成功，将该目标trackern,j更新为trackern,i，继承目标i的id编号；若匹配失败，保留trackern,j进一步预测，若连续3帧均匹配到目标j，则认为该目标为新出现目标，为其创建新的trackerj并分配唯一的id编号，否则丢弃该目标；

32、重复上述操作直至未能匹配成功的预测结果(u,v,γ,h)i和目标j的trackern,j均被处理完毕；

33、55)经过以上操作仍然匹配失败的预测结果(u,v,γ,h)i，保留其trackeri向量组进一步预测，若30帧内重新匹配成功，则继续记录其轨迹，否则结束记录该轨迹；

34、重复执行上面的匹配跟踪过程，直到轨迹提取待检测视频读取至最后一帧，完成整个视频的目标跟踪；

35、步骤六，交通流参数提取；

36、通过上述步骤获得高精度轨迹，并提取目标车辆的围观交通流参数；

37、所述微观交通流参数包括车辆瞬时速度、车辆平均速度、车辆加速度、车头间距和车头时距，分别表示如下：

38、

39、

40、

41、

42、

43、其中，v表示车辆瞬时速度，δx为车辆第n-1帧与第n+1帧的实际距离，δt为车辆第n-1帧与第n+1帧的实际时间跨度；为车辆平均速度，s为车辆第1帧与最后一帧间的实际距离，t为车辆第1帧与最后一帧间的实际时间跨度；a为车辆加速度，δv为车辆第n-1帧与第n+1帧的瞬时速度差；h间表示车头间距，xj-1表示前车的纵向位置，lj-1表示前车车长，xj+1表示后车的纵向位置，lj+1表示后车车长，h时表示车头时距。

44、本发明进一步说明，以上所述步骤11)中所述视频应满足：无人机飞行高度应保持在40米至80米、无人机视频的分辨率应不低于2560×1440。

45、本发明进一步说明，以上所述步骤31)通过opencv库中的goodfeaturestotrack()函数实现；所述步骤32)通过opencv库中的calcopticalflowpyrlk()函数实现。

46、本发明进一步说明，以上所述步骤41)中所述类别预测置信度为电动自行车、小汽车、公交车、行人、货车和三轮车相应的预测概率值，由yolox模型计算得出。

47、本发明进一步说明，以上所述步骤53)中所述关联性匹配使用马氏距离和余弦距离进行度量；目标i的预测结果与目标j的检测结果的关联性匹配结果cij的计算公式为：

48、cij＝λd1,ij+(1-λ)d2,ij

49、式中，λ为权重，d1,ij为目标i的预测结果与目标j的检测结果之间的马氏距离，d2,ij为目标i的预测结果与目标j的检测结果之间的余弦距离；

50、其中，马氏距离和余弦距离的计算公式分别为：

51、

52、

53、式中，dj为目标j的检测结果的(u,v,γ,h)，yi为目标i的预测结果的(u,v,γ,h)，si为目标i的轨迹通过卡尔曼滤波器预测得到的在当前时刻观测空间的协方差矩阵，为目标j检测框的外观描述符，ri为目标i的轨迹近100帧的外观描述符向量组。

54、本发明进一步说明，以上所述步骤二中所述改进后的yolox目标检测模型包括基于中值池化的cbam注意力机制——m-cbam、在yolox目标检测模型中添加一个额外的小目标检测头、对yolox目标检测模型的损失函数进行优化。

55、本发明进一步说明，以上所述m-cbam包括一个通道注意力模块和一个空间注意力模块，卷积层的输出结果先进入通道注意力模块得到加权结果，然后再进入空间注意力模块，最后得到总体的加权结果，具体为：

56、通道注意力模块对所输入的特征图进行基于宽高的全局最大池化、全局平均池化及全局中值池化后，再输入到一个全连接神经网络得到输出特征，经过sigmoid函数激活，得到通道注意力特征，表示如下：

57、mc(f)＝σ(mlp(avgpool(f))+mlp(maxpool(f)+mlp(midpool(f))，

58、式中，mc表示通道注意力图；f表示中间特征图；σ表示sigmoid函数；mlp表示多层感知机；avgpool表示平均池化；maxpool表示最大池化；midpool表示中值池化；

59、空间注意力模块的输入由通道注意力特征和图像输入特征共同组成，首先对输入特征进行一个基于通道的最大池化、平均池化和中值池化，将三者池化后的特征进行堆叠之后再经过三层卷积操作降维，通过sigmoid函数激活生成特征，得到最终的空间注意力特征，表示如下：

60、ms(f)＝σ(f3×3(f3×3(f3×3([avgpool(f)；maxpool((f)；midpool(f)]))))，

61、式中，ms表示空间注意力图，f表示中间特征图，σ表示sigmoid函数，f3×3表示卷积核大小为3×3的卷积运算，avgpool表示平均池化，maxpool表示最大池化，midpool表示中值池化。

62、本发明提出的m-cbam在原来的基础上，在在通道注意力模块和空间注意力模块中加入了中值池化层，能够有效地提升网络学习目标边缘和纹理结构特性的能力，同时加强抗噪声能力；此外，在通道注意力模块，将原本的单层7×7卷积设计为3层3×3卷积，在目标感受野不变的情况下，减少了模型参量，节省了计算成本。

63、检测头解耦的设计使得yolox提高了预测框回归和目标分类的性能，但是对小目标的定位并不直接产生效益。此外，yolox在用于特征提取的下采样层作用下，会造成小目标对象的特征丢失。因此，本发明在特征提取主干网络中添加了一个额外的小目标检测头。该小目标检测头在更大的特征图上进行检测，有效保留了非机动车小目标的特征。

64、本发明进一步说明，以上优化后的损失函数的计算公式为：

65、

66、

67、

68、ciouloss＝1-ciou

69、其中，ρ为预测框和真实框中心点之间的欧氏距离，b为预测框的中心点坐标，bgt为真实框的中心点坐标，c为预测框与真实框所构成的最小包庇矩形的对角线距离，α为权重系数，v为计算预测框与真实框的长宽比相似性，w、h分别为预测框的宽度和高度，wgt、hgt分别为真实框的宽度和高度；iou为未优化的损失函数，a为预测框，b为真实框。

70、在未改进前的原yolox使用iou损失来衡量真实框和预测框之间的重合度，即二者的交并比，但是当预测框和真实框不相交，交并比为0，无法反映两个锚框之间的距离，此时损失函数就不可导，造成梯度消失，使神经网络无法继续学习。基于上述iou损失存在的问题，本文中使用ciou损失来代替iou损失对模型进行改进，其在考虑预测框和真实框重叠面积的同时，还加入了对两个中心点距离和长宽比的惩罚项能够增强对预测框的回归性能。

71、在本发明中，还提供了实现所述方法的模块，包括：

72、航拍视频稳定模块，该模块使用光流法对无人机航拍视频进行基于特征点的稳定化处理以消除连续帧之间的相对偏移，并基于opencv开源库实现，得到稳定的待检测视频；

73、交通目标检测模块，该模块使用改进后的yolox目标检测模型进行视频中交通目标的分类和定位，即该模块识别视频场景中的非机动车、小汽车、公交车、货车、三轮车以及行人，并基于被识别目标的最小外接矩形框来实现目标在视频中的定位；

74、交通目标跟踪模块，该模块的功能由多目标跟踪算法deep sort实现；

75、交通流参数提取模块，该模块用于计算轨迹数据中所表征的交通流参数信息。

76、交通目标检测模块首先输出交通目标的类别和初始坐标，然后由交通目标跟踪模块对交通目标进行id编号分配，每一个交通目标有且仅有唯一的id编号，同时通过卡尔曼滤波来对交通目标的运动进行预测，通过级联匹配方法对卡尔曼滤波的预测结果进行匹配。

77、本发明进一步说明，以上所述多目标跟踪算法deep sort的具体实现流程包括：

78、(1)目标检测：

79、基于视频第1帧图像在yolox模型的检测结果创建对应初始轨迹(tracks)并通过卡尔曼滤波(kalman filter)预测第2帧图像中车辆目标可能存在的位置，即预测轨迹；

80、(2)级联匹配：

81、在第2帧图像中，预测轨迹分为确定(confirmed state,cs)和不确定(unconfirmed state,us)两种状态，用cs表示被确定是车辆目标，us表示不确定是否为车辆目标；而cs将与第2帧的检测结果进行关联，即考虑cs与检测框运动状态和外观形貌是否匹配，关联方法采用级联匹配，得到第2帧初步的匹配轨迹(matched tracks)、未匹配轨迹框(unmatched tracks)和未匹配检测框(unmatched detections)三种结果；其中匹配轨迹直接进行卡尔曼滤波更新至车辆目标轨迹中，未匹配轨迹框和未匹配检测框则代表匹配失败等待后续处理；

82、(3)交并比匹配：

83、上述未匹配轨迹框和未匹配检测框继续进行关联，即采用iou匹配，两者的iou值越大说明两者越接近，同一车辆目标的可能性越大，通过设定iou阈值继续筛选出匹配轨迹、未匹配轨迹框和未匹配检测框三种结果；其中，匹配轨迹与步骤(2)中相同，通过卡尔曼滤波更新至车辆目标轨迹中；进一步筛选后的未匹配轨迹框和未匹配检测框等待后续处理；

84、(4)未匹配检测框处理：

85、对于仍未匹配检测框需要重新建立新轨迹，同时对建立的新轨迹进行确认，若是车辆目标而非其他物体则同样将新轨迹更新至原车辆目标轨迹中；

86、(5)未匹配轨迹框处理：

87、由于检测阶段的漏检会导致未匹配轨迹框情况的发生，需要对未匹配轨迹框进行确认，若非车辆目标则进行删除；若是车辆目标，则先进行保留，在30帧内如成功与后续帧检测框匹配，则更新至车辆目标轨迹中，若未成功匹配则进行删除，重复上述步骤实现视频流多目标跟踪。

88、本发明的优点：

89、(1)本发明在对yolox目标检测模型改进时，提出了基于中值池化的cbam注意力机制——m-cbam，在通道注意力模块和空间注意力模块中加入了中值池化层，能够有效地提升网络学习目标边缘和纹理结构特性的能力，同时加强抗噪声能力；此外，在通道注意力模块，将原本的单层7×7卷积设计为3层3×3卷积，在目标感受野不变的情况下，减少了模型参量，节省了计算成本。

90、(2)本发明额外添加了一个小目标检测头连接在特征提取主干网络上，在较大的特征图上预测非机动车小目标车辆，能够有效保留小目标的特征信息，提高对非机动车的检测性能。

91、(3)本发明在对yolox目标检测模型改进时，使用ciou损失来代替iou损失对模型进行改进，其在考虑预测框和真实框重叠面积的同时，还加入了对两个中心点距离和长宽比的惩罚项能够增强对预测框的回归性能。

92、(4)本发明中使用deep sort多目标跟踪算法来实现移动目标的连续跟踪，能够有效解决由路侧建筑于道路绿化造成遮挡造成的目标丢失情况，并且基于deep sort级联匹配操作，极大地抑制了目标跟踪中的id switch(id交换)现象。

93、(5)本发明在航拍视频稳定模块中使用光流法对无人机航拍视频进行基于特征点的稳定化处理，得到稳定的待检测视频，有效解决了无人机在高空拍摄视频时，由于桨叶和外界风力的作用，会对机身的稳定性造成破坏，导致视频成像产生抖动，进而导致被跟踪车辆的相对位置产生飘移，加大生成轨迹的误差的技术问题。