车流量实时统计方法、装置、电子设备以及存储介质

1.本发明涉及目标跟踪检测技术领域，尤其涉及一种车流量实时统计 方法、装置、电子设备以及存储介质。


背景技术：

2.交通拥堵是困扰当前城市交通的重要难题，随着国民经济的快速发 展和城市化进程的不断加快，日益增长的交通需求和城市道路基础设施 建设将会成为当前城市交通的主要矛盾，交通拥挤和阻塞现象必然会频 繁发生，导致影响人们的工作和生活质量。
3.目前，为了减少交通拥堵现象，主要是根据传统的交通拥堵传播分 析方法，一般利用交通专家的经验，根据道路网络的结构，分析提取预 判可能发生的交通拥堵。由于主要是依赖于人的主观经验，交通拥堵分 析结果不准确，而且是只能实行小范围面积内的拥堵获取分析，交通拥 堵获取效率低，车主出行时间增长，出行成本高。
4.因此，现有技术中对车流量的判断主要是人为的直观判断，存在无 法精准地实时获取道路车流量的问题。


技术实现要素：

5.有鉴于此，有必要提供一种车流量实时统计方法、装置、电子设备 以及存储介质，用以解决现有技术中无法精准地实时获取道路车流量的 问题。
6.为了解决上述问题，本发明提供一种车流量实时统计方法，包括：
7.获取道路视频，并基于车辆检测模型，确定道路视频中的车辆位置 框；
8.根据车辆位置框，基于卷积神经网络，确定车辆位置框的特征向量；
9.根据车辆位置框，基于卡尔曼滤波算法，确定车辆位置框的可能位 置框；
10.根据特征向量和可能位置框，基于匈牙利算法，确定车辆位置框的 id编号；
11.根据id编号，确定道路视频中的车辆流量。
12.进一步地，获取道路视频，并基于车辆检测模型，确定道路视频中 的车辆位置框，包括：
13.获取多个道路视频样本；
14.建立初始车辆检测模型，初始车辆检测模型包括支柱网络层、颈部 结构层及头部输出层；
15.将多个道路视频样本输入至初始车辆检测模型，输出多个道路视频 样本对应的多个车辆位置框样本，训练初始车辆检测模型，得到训练完 备的车辆检测模型；
16.将道路视频输入至训练完备的车辆检测模型，确定道路视频中的车 辆位置框。
17.进一步地，将多个道路视频样本输入至初始车辆检测模型，输出多 个道路视频样本对应的多个车辆位置框样本，包括：
18.根据多个道路视频样本，进行分帧处理，得到对应的多组车辆图片 样本；
19.将多组车辆图片样本输入至支柱网络层，通过focus切片处理，提 取多组车辆图
片样本的多组图片特征；
20.将多组图片特征输入至颈部结构层，将多组图片特征中的高层特征 上采样和低层特征，分别进行拼接融合，得到多组新尺度特征；
21.将多组新尺度特征输入至头部输出层，得到多个道路视频样本对应 的多个车辆位置框样本。
22.进一步地，训练初始车辆检测模型，得到训练完备的车辆检测模型， 之后还包括：
23.获取训练完备的车辆检测模型的置信度损失、定位损失及分类损失；
24.根据置信度损失、定位损失及分类损失，确定训练完备的车辆检测 模型的总损失函数。
25.进一步地，根据车辆位置框，基于卡尔曼滤波算法，确定车辆位置 框的可能位置框，包括：
26.根据上一帧图像中的车辆位置框，基于卡尔曼滤波方程，确定当前 车辆位置框的可能位置框；
27.根据可能位置框和当前帧图像中的车辆位置框，更新确定卡尔曼滤 波公式；
28.根据卡尔曼滤波公式，确定车辆位置框的可能位置框。
29.进一步地，根据特征向量和可能位置框，基于匈牙利算法，确定车 辆位置框的id编号，包括：
30.获取上一帧图像中的车辆位置框的第一id编号；
31.根据特征向量和可能位置框，基于匈牙利算法，确定当前帧图像中 的车辆位置框的第二id编号；其中，若第二id编号与第一id编号对应 同一车辆位置框，则第二id编号与第一id编号对应相同；若第二id编 号与第一id编号对应不同的车辆位置框，则第二id编号与所有第一id 编号都不相同。
32.进一步地，根据id编号，确定道路视频中的车辆流量，包括：
33.根据id编号中不同编号的数量，确定道路视频中的车辆数量；
34.根据车辆数量和道路视频的时常，通过作商，确定道路视频中的车 辆流量。
35.为了解决上述问题，本发明还提供一种车流量获取装置，包括：
36.车辆位置框获取模块，用于获取道路视频，并基于车辆检测模型， 确定道路视频中的车辆位置框；
37.特征向量获取模块，用于根据车辆位置框，基于卷积神经网络，确 定车辆位置框的特征向量；
38.可能位置框获取模块，用于根据车辆位置框，基于卡尔曼滤波算法， 确定车辆位置框的可能位置框；
39.id编号确定模块，用于根据特征向量和可能位置框，基于匈牙利算 法，确定车辆位置框的id编号；
40.车辆流量确定模块，用于根据id编号，确定道路视频中的车辆流量。
41.本发明还提供一种电子设备，包括处理器以及存储器，存储器上存 储有计算机程序，计算机程序被处理器执行时，实现如上述任一技术方 案的车流量实时统计方法。
42.本发明还提供一种计算机可读存储介质，程序介质存储有计算机程 序指令，当计算机程序指令被计算机执行时，实现如上述任一技术方案 的车流量实时统计方法。
43.采用上述实施例的有益效果是：本发明提供一种车流量实时统计方 法、装置、电子设备以及存储介质，该方法包括：获取道路视频，并基 于车辆检测模型，确定道路视频中的车辆位置框；根据车辆位置框，基 于卷积神经网络，确定车辆位置框的特征向量；根据车辆位置框，基于 卡尔曼滤波算法，确定车辆位置框的可能位置框；根据特征向量和可能 位置框，基于匈牙利算法，确定车辆位置框的id编号；根据id编号， 确定道路视频中的车辆流量。通过车辆检测模型对道路视频中的车辆进 行初步识别，排除了环境等外部参数的影响；通过卷积神经网络进一步 获取车辆的特征，能够有效保证车辆位置框的准确性，提高统计车辆流 量的准确性；通过卡尔曼滤波算法和匈牙利算法对车辆位置框进行匹配 和编号，能够有效保证同一车辆在所有图像中的唯一性，保证编号的准 确性，从而有效保证最终得到的车辆流量的精确度。
附图说明
44.图1为本发明提供的车流量实时统计方法一实施例的流程示意图；
45.图2为本发明提供的确定道路视频中的车辆位置框一实施例的流程 示意图；
46.图3为本发明提供的获取车辆位置框样本一实施例的流程示意图；
47.图4为本发明提供的确定车辆位置框的可能位置框一实施例的流程 示意图；
48.图5为本发明提供的确定车辆位置框的id编号一实施例的流程示意 图；
49.图6为本发明提供的车流量获取装置一实施例的结构框图；
50.图7为本发明提供的电子设备一实施例的结构框图。
具体实施方式
51.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本 申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用 于限定本发明的范围。
52.在陈述实施例之前，先对关于交通流量进行阐述：
53.交通流量是指在选定时间段内通过道路某一地点、某一断面或某一 车道的交通实体数。
54.目前，为了减少交通拥堵现象，避免交通流量过大，主要是根据经 验分析提取预判可能发生的交通拥堵，主观性较强，预判结果的精确度 不高。因此，现有技术中对车流量的判断时，存在无法精准地实时获取 道路车流量的问题。
55.为了精准地实时获取道路车流量，本发明提供了一种车流量实时统 计方法、装置、电子设备以及存储介质，以下分别进行详细说明。
56.如图1所示，图1为本发明提供的车流量实时统计方法一实施例的 流程示意图，车流量实时统计方法包括：
57.步骤s101：获取道路视频，并基于车辆检测模型，确定道路视频中 的车辆位置框。
58.步骤s102：根据车辆位置框，基于卷积神经网络，确定车辆位置框 的特征向量。
59.步骤s103：根据车辆位置框，基于卡尔曼滤波算法，确定车辆位置 框的可能位置框。
60.步骤s104：根据特征向量和可能位置框，基于匈牙利算法，确定车 辆位置框的id编号。
61.步骤s105：根据id编号，确定道路视频中的车辆流量。
62.本实施例中，首先，利用车辆检测模型对道路视频中的每一帧图像 进行处理，提取到每一帧图像的车辆位置框；其次，利用卷积神经网络 提取车辆位置框中的特征向量，能够有效地提高对车辆位置框中的车辆 信息的识别精度；然后，基于卡尔曼滤波算法，对上一帧图像中的车辆 位置框在其相邻的后一帧图像中的可能位置框进行预判；并根据匈牙利 算法，将上一帧图像中的车辆位置框和其相邻的后一帧图像中的车辆位 置框进行一一对应识别并编号，使得同一辆车在所有的车辆位置框中的 编号一致，对新出现的车辆位置框赋予新的编号，即，获取到所有车辆 位置框的id编号；最后，基于所有的id编号确定道路视频中出现的车 辆数量，并根据车辆数量和道路视频的时长，确定道路视频中的车辆流 量。
63.本实施例中，通过车辆检测模型对道路视频中的车辆进行初步识别， 排除了环境等外部参数的影响；通过卷积神经网络进一步获取车辆的特 征，能够有效保证车辆位置框的准确性，提高统计车辆流量的准确性； 通过卡尔曼滤波算法和匈牙利算法对车辆位置框进行匹配和编号，能够 有效保证同一车辆在所有图像中的唯一性，保证编号的准确性，从而有 效保证最终得到的车辆流量的精确度。
64.作为优选的实施例，在步骤s101中，为了确定道路视频中的车辆位 置框，如图2所示，图2为本发明提供的确定道路视频中的车辆位置框 一实施例的流程示意图，确定多个车辆图片系列包括：
65.步骤s111：获取多个道路视频样本。
66.步骤s112：建立初始车辆检测模型，初始车辆检测模型包括支柱网 络层、颈部结构层及头部输出层。
67.步骤s113：将多个道路视频样本输入至初始车辆检测模型，输出多 个道路视频样本对应的多个车辆位置框样本，训练初始车辆检测模型， 得到训练完备的车辆检测模型。
68.步骤s114：将多个道路视频输入至训练完备的车辆检测模型，确定 道路视频中的车辆位置框。
69.本实施例中，通过在初始车辆检测模型中输入多个道路视频样本， 输出对应的多个车辆位置框样本，迭代训练初始车辆检测模型，得到训 练完备的车辆检测模型，从而实现得到的道路视频中的车辆位置框。
70.作为优选的实施例，在步骤s111中，为了提高道路视频样本中的数 据的丰富性，通过mosaic数据增强操作对已有的道路视频样本进行处理。
71.作为优选的实施例，在步骤s113中，为了明确根据初始车辆检测模 型得到的车辆位置框样本的步骤，如图3所示，图3为本发明提供的获 取车辆位置框样本一实施例的流程示意图，获取车辆位置框样本包括：
72.步骤s1131：根据多个道路视频样本，进行分帧处理，得到对应的多 组车辆图片样本。
73.步骤s1132：将多组车辆图片样本输入至支柱网络层，通过focus切 片处理，提取多组车辆图片样本的多组图片特征。
74.步骤s1133：将多组图片特征输入至颈部结构层，将多组图片特征中 的高层特征上采样和低层特征，分别进行拼接融合，得到多组新尺度特 征。
75.步骤s1134：将多组新尺度特征输入至头部输出层，得到多个道路视 频样本对应的多个车辆位置框样本。
76.本实施例中，首先，将多个道路视频样本进行分解，得到对应的多 组车辆图片样本；其次，基于初始车辆检测模型中的支柱网络层，提取 出多组图片特征；然后，基于初始车辆检测模型中的颈部结构层，将图 片特征中的高层特征上采样和低层特征进行拼接融合，得到多组新尺度 特征；最后，基于初始车辆检测模型中的头部输出层，根据多组新尺度 特征确定多个车辆位置框样本。
77.本实施例中，通过将道路视频分解成一帧一帧的图片，然后再对图 片进行特征提取，并根据图片特征确定对应的车辆位置框；将视频转化 成图片进行处理，能够充分地利用初始车辆检测模型，实现根据道路视 频确定对应的车辆位置框。
78.在一个具体的实施例中，focus结构对图片进行切片操作，输出 304*304*12的特征图并进行卷积操作，然后，支柱网络层采集图片特征； 颈部结构层采用特征图金字塔网络fpn，将高层特征上采样和低层特征 拼接融合为一个新尺度的特征；头部输出层完成对目标检测结果的输出。
79.作为优选的实施例，在步骤s113中，为了对得到的训练完备的车辆 检测模型，进行有效度检测，即，判断训练完备的车辆检测模型的效果， 还设置了总损失函数进行评判。
80.在一个具体的实施例中，总损失函数中包括的参数有：训练完备的 车辆检测模型的置信度损失、定位损失及分类损失。
81.进一步地，根据置信度损失、定位损失及分类损失，确定训练完备 的车辆检测模型的总损失函数的计算公式为：
82.loss＝a*lossobj+b*lossbox+c*losscls
83.其中，loss为车辆检测模型的总损失，lossobj为车辆检测模型的置 信度损失，lossbox为车辆检测模型的定位损失，losscls为车辆检测模型 的分类损失。
84.在一个具体的实施例中，使用ciou loss计算车辆检测模型的边界框 损失，用bce loss计算车辆检测模型的置信度损失和分类损失。
85.在一个具体的实施例中，为了更加简洁明了地展示出车辆检测模型 的训练成果，还通过colab平台上tensorboard工具将训练结果进行可视 化显示。其中，可视化显示的内容包括总损失函数的计算结果。
86.通过上述方式，对车辆检测模型的训练效果从多个维度进行评判并 及时展示，不仅便于及时获取到车辆检测模型的有效度，还能根据评判 结果调整车辆检测模型中的参数，提高车辆检测模型的有效度。
87.作为优选的实施例，在步骤s102中，卷积神经网络包括但不限于10 层的卷积神经网络。
88.作为优选的实施例，在步骤s103中，为了确定车辆位置框的可能位 置框，如图4所示，图4为本发明提供的确定车辆位置框的可能位置框 一实施例的流程示意图，确定车辆位置框的可能位置框包括：
89.步骤s131：根据上一帧图像中的车辆位置框，基于卡尔曼滤波方程， 确定当前车辆位置框的可能位置框。
90.步骤s132：根据可能位置框和当前帧图像中的车辆位置框，更新确 定卡尔曼滤波
公式。
91.步骤s133：根据卡尔曼滤波公式，确定车辆位置框的可能位置框。
92.本实施例中，通过已存在的较为成熟的卡尔曼滤波方程对车辆位置 框进行处理，预测相邻图像中的前一帧图像的车辆位置框在后一帧图像 中的可能位置框；然后，根据后一帧图像中的实际车辆位置框，对卡尔 曼滤波方程进行进一步优化更新，得到卡尔曼滤波公式；最后，根据卡 尔曼滤波公式，确定车辆位置框的可能位置框。
93.本实施例中，通过对卡尔曼滤波方程进行优化更新确定卡尔曼滤波 公式，能够有效提高得到的车辆位置框的可能位置框的精度。
94.在一具体实施例中，卡尔曼滤波算法中的卡尔曼滤波方程为：其中，x
k-1
表示上一时刻系统状态的最优估计，xk为当前时刻系统状态的最优估计。p
k-1
为上一时刻的估计误差的协方差矩阵。pk为当前时刻的估计误差的协方差阵。fk为状态迁移矩阵，bk控制输入矩阵，uk为系统的控制输入，qk为系统噪声的协方差矩阵。
95.在一个具体的实施例中，优化更新后的卡尔曼滤波公式为：优化更新后的卡尔曼滤波公式为：优化更新后的卡尔曼滤波公式为：其中，zk为当前时刻系统的观测值，hk为状态迁移矩阵，将当前系统状态映射到观测空间，统一获取值和观测值两者的度量单位。rk为观测值噪声的协方差矩阵，k为卡尔曼增益。
[0096][0097][0098][0099][0100][0101][0102][0103]
作为优选的实施例，在步骤s104中，为了确定车辆位置框的id编 号，如图5所示，图5为本发明提供的确定车辆位置框的id编号一实施 例的流程示意图，确定车辆位置框的id编号包括：
[0104]
步骤s141：获取上一帧图像中的车辆位置框的第一id编号。
[0105]
步骤s142：根据特征向量和可能位置框，基于匈牙利算法，确定当 前帧图像中的车辆位置框的第二id编号；其中，若第二id编号与第一 id编号对应同一车辆位置框，则第二id编号与第一id编号对应相同； 若第二id编号与第一id编号对应不同的车辆位置框，则第二id编号与 所有第一id编号都不相同。
[0106]
本实施例中，先对上一帧图像中的多个车辆位置框进行编号，得到 第一id编号，
然后通过对匈牙利算法，对当前帧图像中的车辆位置框与 第一id编号对应的车辆位置框进行一一匹配，确定当前帧图像中的车辆 位置框对应的第二id编号，由于匈牙利算法能够最大限度地保证匹配的 精度，因此，上述方式能够保证最终得到的id编号的准确性。
[0107]
在一个具体的实施例中，为了保证第一id编号与第二id编号的匹 配精度，需要进行以下步骤：
[0108]
步骤一：初始化二分图集合u和v，设定集合u和v中的id编号， u为可能位置框，v为当前帧的检测框，画出两集合元素之间所有可能 的匹配关系。
[0109]
步骤二：按照id的顺序依次进行匹配，首先将可能位置框集合u中 目标id为1与当前帧的检测框集合v中id为1的进行匹配，接着对集 合u中的id为2的可能位置框进行匹配。
[0110]
步骤三：然后对集合u中的id为3的进行匹配，但此时虽然v中 的id为1和2的检测框可以与id为3的可能位置框匹配，但是这两个 在之前就已经匹配过，为了使得集合u中的id＝3可以匹配到v中的目 标，需将之前集合u中的id为1的可能位置框匹配另一个目标。
[0111]
步骤四：此时集合u中id为1的可能位置框可以匹配集合v中id 为2的检测框，但这个检测框已经被集合u中id为2的可能位置框匹配， 因此向步骤三一样取消这个匹配，给它匹配集合v中的另一个id为3 检测框。
[0112]
步骤五：返回步骤三，对u集合中id为1和2的可能位置框进行匹 配，id为1、2、3的可能位置框都得到匹配。
[0113]
步骤六：最后对集合u中id为4的目标框进行匹配，与上述步骤相 同，但未能得到更大匹配数(大于已有匹配数3)，也就是不存在增广路 径。所以u集合中id为4的可能位置框未能匹配，在当前帧中消失，同 时v集合中id为4的检测框包含的车辆为新出现的车辆目标。
[0114]
作为优选的实施例，在步骤s105中，在得到道路视频中的图像对应 的所有id编号后，还需要对所有id编号的数量进行统计，然后根据道 路视频的时长，将id编号的数量与时长进行作商，从而最终确定道路视 频中的车辆流量。
[0115]
当道路视频的时长靠近无限小时，车辆流量就越能代表某一时刻的 车流量。
[0116]
根据上述方式，通过车辆检测模型对道路视频中的车辆进行初步识 别，排除了环境等外部参数的影响；通过卷积神经网络进一步获取车辆 的特征，能够有效保证车辆位置框的准确性，提高统计车辆流量的准确 性；通过卡尔曼滤波算法和匈牙利算法对车辆位置框进行匹配和编号， 能够有效保证同一车辆在所有图像中的唯一性，保证编号的准确性，从 而有效保证最终得到的车辆流量的精确度。
[0117]
本发明实施例提供了一种车流量获取装置，如图6所示，图6为本 发明提供的车流量获取装置一实施例的结构框图，车流量获取装置600 包括：
[0118]
车辆位置框获取模块601，用于获取道路视频，并基于车辆检测模型， 确定道路视频中的车辆位置框；
[0119]
特征向量获取模块602，用于根据车辆位置框，基于卷积神经网络， 确定车辆位置框的特征向量；
[0120]
可能位置框获取模块603，用于根据车辆位置框，基于卡尔曼滤波算 法，确定车辆位置框的可能位置框；
[0121]
id编号确定模块604，用于根据特征向量和可能位置框，基于匈牙 利算法，确定车
辆位置框的id编号；
[0122]
车辆流量确定模块605，用于根据id编号，确定道路视频中的车辆 流量。
[0123]
本发明还相应提供了一种电子设备，如图7所示，图7为本发明提 供的电子设备一实施例的结构框图。电子设备700可以是移动终端、桌 上型计算机、笔记本、掌上电脑及服务器等计算设备。电子设备700包 括处理器701以及存储器702，其中，存储器702上存储有车流量实时统 计程序703。
[0124]
存储器702在一些实施例中可以是计算机设备的内部存储单元，例 如计算机设备的硬盘或内存。存储器702在另一些实施例中也可以是计 算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能 存储卡(smart media card，smc)，安全数字(secure digital，sd) 卡，闪存卡(flash card)等。进一步地，存储器702还可以既包括计算 机设备的内部存储单元也包括外部存储设备。存储器702用于存储安装 于计算机设备的应用软件及各类数据，例如安装计算机设备的程序代码 等。存储器702还可以用于暂时地存储已经输出或者将要输出的数据。 在一实施例中，车流量实时统计程序703可被处理器701所执行，从而 实现本发明各实施例的车流量实时统计方法。
[0125]
处理器701在一些实施例中可以是一中央处理器(central processingunit，cpu)，微处理器或其他数据处理芯片，用于运行存储器702中 存储的程序代码或处理数据，例如执行车流量实时统计程序等。
[0126]
本实施例还提供了一种计算机可读存储介质，其上存储有车流量实 时统计程序，计算机该程序被处理器执行时，实现如上述任一技术方案 所述的车流量实时统计方法。
[0127]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分 流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机 程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执 行时，可包括如上述各方法的实施例的流程。本技术所提供的各实施例 中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括 非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、 可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程 rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram) 或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得， 诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、 双数据率sdram(ddrsdram)、增强型sdram(esdram)、同 步链路(synchlink)dram(sldram)、存储器总线(rambus)直 接ram(rdram)、直接存储器总线动态ram(drdram)、以及 存储器总线动态ram(rdram)等。
[0128]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围 并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范 围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。