准实时数字孪生显示的车辆检测追踪方法、装置及设备

1.本发明属于智慧交通数字孪生技术领域，特别是涉及一种准实时数字孪生显示的车辆检测追踪方法、装置及设备。


背景技术：

2.在智慧交通领域，数字孪生的主要目的是，充分利用道路上部署的交通数据设备，采集并分析交通参与者的行为，并在映射到虚拟的孪生场景中，重现其全生命周期过程。此外，交通流的预测、异常行为捕获报警等，也是智慧交通的痛点和难点，而数字孪生作为基础，提供了实现上述功能必要的场景和海量真实数据。在交通数字孪生中，基于路侧相机的车辆追踪，是其功能的重要组成部分。
3.现有的车辆追踪方法，通常先由车辆检测器提取车辆的检测框，再由追踪算法利用检测器提取出的车辆检测框，结合特征和图像数据，分析并绘制出车辆的行驶路径。
4.数字孪生既要求检测追踪具有良好的精度，能对真实场景有较好的复现能力，又要求全天24小时不间断处理采集到的数据。受限于检测器、追踪模块的性能，现有的多数方法难以满足数字孪生大规模长时间开展的需要。基于iout的追踪器能实时快速追踪车辆轨迹，但是这些追踪算法严重依赖于检测器的精度，当检测器产生噪声时，基于iout的追踪器容易发生中断，导致碎片化的轨迹。基于sort的追踪方式利用了卡尔曼滤波预测，结合匈牙利算法匹配车辆轨迹，该方法适用于行人的追踪，但对于快速移动的车辆，由于相机的透视产生的速度差，车辆的追踪序号容易产生跳变。利用图像特征的追踪算法，往往需要借助深度神经网络，运行效率不高；同时因为过度依赖图像特征，车辆的错误匹配概率较大，不适合应用于交通数字孪生系统。
5.此外，大部分实时追踪方法没有采用数据缓冲，执行时会有明显的丢失追踪和重新识别的过程，主要表现为目标车辆的突然消失和出现，对显示效果具有不利影响，对于数字孪生显示系统而言，亟需一种可行的新方法。


技术实现要素：

6.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种准实时数字孪生显示的车辆检测追踪方法、装置及设备，用于解决现有技术中车辆检测追踪效果差的技术问题。
7.为实现上述目的及其他相关目的，本发明的实施例提供一种准实时数字孪生显示的车辆检测追踪方法，包括：车辆检测分类：从交通相机采集视频流，利用检测分类神经网络实时检测所述视频流中每一帧画面车辆的检测框，同时获得车型颜色分类；实时局部匹配追踪：基于车辆的检测框信息，匹配不同视频帧之间的车辆位置，以追踪车辆的路径序列，并记录车辆识别序号；轨迹的全局匹配：基于相机的内外参数，将获取的所述路径序列的坐标投影转换至虚拟孪生空间，匹配所投影的轨迹，并设定统一的车辆识别序号；延时输出：对所述虚拟孪生空间中的轨迹进行平滑滤波、补全，以恒定延迟输出车辆的三位轨迹、车型、颜色、车辆序号，以供孪生场景的车辆动画显示。
8.于本发明的一实施例中，于所述车辆检测分类中，所述检测分类神经网络实时检测所述视频流中每一帧画面出现的所有的车辆的检测框、目标可信度和特征向量；基于所述特征向量获得车辆的车型、颜色的语义信息。
9.于本发明的一实施例中，于所述实时局部匹配追踪中：将每一帧的检测结果作为所述检测分类神经网络的输入，利用检测框和路径序列之间的连续性信息实时匹配检测框，并将其加入路径序列；其余未被匹配上的检测框会被初始化为一条路径序列，并配置唯一的车辆识别序号；在局部匹配中未匹配上的路径序列，采用速度预测和更新车辆检测框的位置，在下一帧继续上述匹配过程。
10.于本发明的一实施例中，于所述轨迹的全局匹配中：利用逆投影方法将所述路径序列转换至虚拟孪生空间，基于轨迹在虚拟孪生空间坐标系下的连续性和车辆特征的一致性，检测在轨迹中断后一定的时间内，每一条可能的路径序列；如果有路径序列满足上述连续性一致性检验，则认为这两条轨迹属于同一辆车，并赋予相同的车辆识别号。
11.于本发明的一实施例中，于所述延时输出中：延时输出与匹配过程同时进行，检测一个最长全局匹配时间之前的路径序列的缓冲，读取、计算并输出孪生世界坐标系下的轨迹和特征向量；延时输出对路径序列使用平滑滤波，并以插值的方式补全缺失轨迹；所输出的特征向经过追踪过程中增量式计算。
12.本发明的实施例还提供一种准实时数字孪生显示的车辆检测追踪装置，包括：车辆检测分类模块，用于从交通相机采集视频流，利用检测分类神经网络实时检测所述视频流中每一帧画面车辆的检测框，同时获得车型颜色分类；实时局部匹配追踪模块，用于基于车辆的检测框信息，匹配不同视频帧之间的车辆位置，以追踪车辆的路径序列，并记录车辆识别序号；轨迹的全局匹配模块，用于基于相机的内外参数，将获取的所述路径序列的坐标投影转换至虚拟孪生空间，匹配所投影的轨迹，并设定统一的车辆识别序号；延时输出模块，用于对所述虚拟孪生空间中的轨迹进行平滑滤波、补全，以恒定延迟输出车辆的三位轨迹、车型、颜色、车辆序号，以供孪生场景的车辆动画显示。
13.于本发明的一实施例中，于所述实时局部匹配追踪模块中，将每一帧的检测结果作为所述检测分类神经网络的输入，利用检测框和路径序列之间的连续性信息实时匹配检测框，并将其加入路径序列，其余未被匹配上的检测框会被初始化为一条路径序列，并配置唯一的车辆识别序号，在局部匹配中未匹配上的路径序列，采用速度预测和更新车辆检测框的位置，在下一帧继续上述匹配过程。
14.于本发明的一实施例中，于所述轨迹的全局匹配模块中：利用逆投影方法将所述路径序列转换至虚拟孪生空间，基于轨迹在虚拟孪生空间坐标系下的连续性和车辆特征的一致性，检测在轨迹中断后一定的时间内，每一条可能的路径序列；如果有路径序列满足上述连续性一致性检验，则认为这两条轨迹属于同一辆车，并赋予相同的车辆识别号。
15.于本发明的一实施例中，于所述延时输出模块中：延时输出与匹配过程同时进行，检测一个最长全局匹配时间之前的路径序列的缓冲，读取、计算并输出孪生世界坐标系下的轨迹和特征向量；延时输出对路径序列使用平滑滤波，并以插值的方式补全缺失轨迹；所输出的特征向经过追踪过程中增量式计算。
16.本发明的实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有程序指令；所述处理器运行程序指令实现如上所述的准实时数字孪生显示的车辆检测追踪
方法。
17.如上所述，本发明的准实时数字孪生显示的车辆检测追踪方法、装置及设备，具有以下有益效果：
18.本发明以亚秒级延时向数字孪生系统提供追踪数据，并且获得的车辆行驶轨迹连续、稳定，同一轨迹车辆的外观一致性较好。
附图说明
19.图1显示为本发明的准实时数字孪生显示的车辆检测追踪方法的流程示意图。
20.图2显示为本发明的准实时数字孪生显示的车辆检测追踪方法中图轨迹局部匹配的数据流图。
21.图3显示为本发明的准实时数字孪生显示的车辆检测追踪方法中轨迹全局匹配的数据流图。
22.图4显示为本发明的准实时数字孪生显示的车辆检测追踪方法中交通相机的三维投影示意图。
23.图5显示为本发明的准实时数字孪生显示的车辆检测追踪方法中局部匹配的空间连续性示意图。
24.图6显示为本发明的准实时数字孪生显示的车辆检测追踪装置的原理结构示意图。
25.图7显示为本技术一实施例中的电子设备的结构示意图。
26.元件标号说明
27.10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
电子设备
28.1101
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
29.1102
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
30.100
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
准实时数字孪生显示的车辆检测追踪装置
31.110
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
车辆检测分类模块
32.120
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
实时局部匹配追踪模块
33.130
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
轨迹的全局匹配模块
34.140
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
延时输出模块
35.s100～s400
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
步骤
具体实施方式
36.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
37.本实施例的目的在于提供一种准实时数字孪生显示的车辆检测追踪方法、装置及设备，用于解决现有技术中车辆检测追踪效果差的技术问题。
38.以下将详细阐述本实施例的准实时数字孪生显示的车辆检测追踪方法、装置及设
备的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的准实时数字孪生显示的车辆检测追踪方法、装置及设备。
39.实施例1
40.如图1所示，本实施例提供一种准实时数字孪生显示的车辆检测追踪方法，包括：
41.步骤s100：车辆检测分类：从交通相机采集视频流，利用检测分类神经网络实时检测所述视频流中每一帧画面车辆的检测框，同时获得车型颜色分类；
42.步骤s200：实时局部匹配追踪：基于车辆的检测框信息，匹配不同视频帧之间的车辆位置，以追踪车辆的路径序列，并记录车辆识别序号；
43.步骤s300：轨迹的全局匹配：基于相机的内外参数，将获取的所述路径序列的坐标投影转换至虚拟孪生空间，匹配所投影的轨迹，并设定统一的车辆识别序号；
44.步骤s400：延时输出：对所述虚拟孪生空间中的轨迹进行平滑滤波、补全，以恒定延迟输出车辆的三位轨迹、车型、颜色、车辆序号，以供孪生场景的车辆动画显示。
45.以下对本实施例准实时数字孪生显示的车辆检测追踪方法的步骤s100至步骤s400进行详细说明。
46.步骤s100：车辆检测分类：从交通相机采集视频流，利用检测分类神经网络实时检测所述视频流中每一帧画面车辆的检测框，同时获得车型颜色分类。
47.其中，于步骤s100中，检测分类神经网络包括但不限于yolo、ssd等结构的皆能用于车辆的分类检测的网络，优先选择能在硬件设备上提供运算速率为至少每秒25帧的神经网络，这个速率与交通摄像头的拍摄速率相当，可以提供实时检测服务。
48.例如，在本实施例中选用yolo作为车辆检测神经网络，yolo的原始版本使用独热编码(one-hot)对目标物体的类型进行描述，利用sigmoid函数计算网络的类型输出。通过将独热编码改为多热编码(multi-hot)，可以让一个物体同时属于多个类别。
49.经过公开数据集以及补充数据集的训练，检测分类神经网络对每一帧的画面输出数个检测框，每个检测框包含其位置、高宽、可信度、以及每个车型颜色分类的评分。
50.于所述车辆检测分类中，所述检测分类神经网络实时检测所述视频流中每一帧画面出现的所有的车辆的检测框、目标可信度和特征向量；基于所述特征向量获得车辆的车型、颜色的语义信息。
51.在步骤s100中，使用交通相机图像和标注数据集训练多任务深度神经网络，经过训练的该网络能提供车辆的实时检测分类任务。
52.所述神经网络的作用之一是对交通相机画面中每一个可能的车辆位置进行预测，当预测的车辆框的可信度超过一定的设定阈值，就判定画面中出现了车辆。
53.该神经网络的作用之二是提取所述检测框内车辆的特征，获取到的车辆特征向量的每一维度都是对某一车型或颜色可能性的评分，对于同一视频的相同车辆，神经网络输出的特征向量具有宏观一致性。
54.检测分类模块的从交通相机获取图像后，检测和输出车辆检测框、车型和颜色。
55.具体地，实时捕获交通相机的每一个视频帧，然后交由所述网络分类检测，该网络对交通相机视频画面预测其中出现的所有的车辆的检测框、目标可信度和特征向量。所述特征向量可以通过计算获得车辆的车型、颜色的语义信息。所述的神经网络经过交通相机图像和标注数据集的训练，具有提供实时检测服务的能力。对同一视频的相同车辆，所预测
的特征向量具有宏观一致性。
56.步骤s200：实时局部匹配追踪：基于车辆的检测框信息，匹配不同视频帧之间的车辆位置，以追踪车辆的路径序列，并记录车辆识别序号。
57.于本实施例中，于所述实时局部匹配追踪中：
58.将每一帧的检测结果作为所述检测分类神经网络的输入，利用检测框和路径序列之间的连续性信息实时匹配检测框，并将其加入路径序列；
59.其余未被匹配上的检测框会被初始化为一条路径序列，并配置唯一的车辆识别序号；
60.在局部匹配中未匹配上的路径序列，采用速度预测和更新车辆检测框的位置，在下一帧继续上述匹配过程。
61.具体地，于本实施例中，使用所述检测分类神经网络在每一帧的检测结果作为输入，利用检测框和路径序列之间的连续性信息实时匹配检测框，并将其加入路径序列。其余未被匹配上的检测框会被初始化为一条路径序列，并附上唯一的车辆识别序号。对于在局部匹配中未匹配上的路径序列，采用速度预测和更新车辆检测框的位置，在下一帧继续上述匹配过程。所述对路径序列持续预测只会持续一小段的时间，持续预测因为超时而停止后，根据这条路径序列的长度选择抛弃，或是进入全局匹配流程。
62.于本实施例中，所述s200步骤的匹配算法的输入是检测分类网络输出的检测结果，目的是将车辆检测框连接为路径序列，也可称为局部匹配算法。
63.所述的局部匹配利用了车辆的路径与检测框之间的连续性信息。通过对检测框之间的大小、距离等参数进行评分，并找到使得评分较优的匹配结果，并加入路径序列中，即获得了连续的路径序列。其余未被匹配上的检测框会被初始化为一条路径序列，并附上唯一的车辆识别序号(以下简称车辆id)。
64.局部匹配的每一帧都可能需要同时追踪一条至多条路径序列，局部匹配算法支持同时匹配多条路径。
65.当上述路径序列由于丢失检测或匹配失败发生中断，算法则根据中断时的速度预测路径的行驶方向，并实时更新车辆框的位置，与下一帧数据继续上述匹配过程。
66.所述的预测过程将持续短暂的时间，以避免过大的误差，如果路径序列由于持续预测超时而停止追踪，并且路径长度超过一定阈值，则认为其是一条真实存在的路径，它就进入了s400，记为第一轨迹，否则抛弃这条路径。
67.具体地，于本实施例的所述实时局部匹配追踪中，使用diou(距离-交并比)作为实时局部匹配的连续性的一个重要指标，如图2所示，diou计算的是两个检测框之间的重合度和归一化距离平方之差，计算公式为a和b为两个检测框，它们的中心点分别为ca和cb，c代表的是能够同时包含a和b的最小矩形区域的对角线距离。通过贪心算法或匈牙利算法可以对多条路径和检测框做连续性匹配，获得连续的路径序列。当连续性高于一定的阈值，才认为该检测框和某一条路径相对应，并将其加入路径序列。
68.在丢失追踪后，一种优选的方式是采用线性卡尔曼滤波对路径进行持续预测，卡尔曼滤波通过假设检测框中心点做匀速运动，利用线性方程持续更新检测框的位置，每次局部匹配使用的是更新后的检测框和当前帧的新检测框。
69.预测中的路径在局部匹配中具有较低的优先级，具体实现方式是匹配过程会分为三个阶段，第一个阶段会先对追踪中的路径和当前帧的新检测框使用局部匹配，第二个阶段是对预测中的路径和剩余的检测框使用局部匹配，最后一个阶段是将前两步剩余的孤立检测框初始化为新路径并附上一个车辆识别序号(以下简称车辆id)。这样做的原因是预测中的路径会更不稳定，更容易引起错误匹配和中断。
70.在本实施例中步骤s200的预测过程续0.5秒左右的时间，终止预测的路径序列的长度如果不大于阈值，则认为是不稳定路径而被抛弃，其余的进入s300全局匹配阶段，记为第一轨迹。
71.步骤s300：轨迹的全局匹配：基于相机的内外参数，将获取的所述路径序列的坐标投影转换至虚拟孪生空间，匹配所投影的轨迹，并设定统一的车辆识别序号。
72.于本实施例中，于所述轨迹的全局匹配中：
73.利用逆投影方法将所述路径序列转换至虚拟孪生空间，基于轨迹在虚拟孪生空间坐标系下的连续性和车辆特征的一致性，检测在轨迹中断后一定的时间内，每一条可能的路径序列；
74.如果有路径序列满足上述连续性一致性检验，则认为这两条轨迹属于同一辆车，并赋予相同的车辆识别号。
75.在全局匹配中会将路径序列利用逆投影方法转换至虚拟孪生空间，根据轨迹在虚拟孪生空间坐标系下的连续性和车辆特征的一致性，检查在轨迹中断后一定的时间内，每一条可能的路径序列。如果有路径序列满足上述连续性一致性检验，则认为这两条轨迹属于同一辆车。并赋予相同的车辆识别号。全局匹配不会影响第二轨迹所处的阶段，其将继续进行局部或全局匹配，并连接为更长的路径。
76.步骤s300的目的是连接两段可能的路径序列，也可称为全局匹配阶段，除了利用上路径内的车辆的检测框和轨迹等信息，算法还利用车辆的特征做进一步判别。
77.全局匹配阶段也是实时进行的，对于在s300步骤停止追踪的第一轨迹，全局匹配会根据交通相机和真实世界的映射关系，将屏幕轨迹转换到孪生空间坐标系，检查在轨迹中断后一定的时间内，每一条可能的路径序列的轨迹连续性和车辆特征的一致性。
78.如果有路径序列满足上述连续性一致性检验，记为第二轨迹，则认为这两条轨迹属于同一辆车。第二轨迹的车辆id会被修改为与第一轨迹一致，全局匹配不会影响第二轨迹所处的阶段，其将继续进行局部或全局匹配，并连接为更长的路径。
79.具体地，于本实施例的所述轨迹的全局匹配中：第一轨迹停止追踪后的几秒时间内，长度达到阈值的路径都会被纳入与第一轨迹全局匹配的计算。全局匹配利用了空间连续性和车辆特征的一致性信息，如图3所示，空间连续性和车辆特征的一致性有各自的计算方式，之后以它们的概率乘积作为匹配标准。
80.为了避免相机透视引起的画面速度变化，应先将路径序列逆投影至虚拟空间坐标系下再进行空间连续性的计算。实施例假设相机的三维投影方式如图4所示，取车辆检测框的中点p
′
＝[u v]
t
，可以通过相机的标定参数，获得逆投影映射，进而推算出车辆的近似的虚拟场景坐标p＝[x y z]
t
。
[0081]
空间连续性要求车辆在断开点附近的距离和速度的比值近似等于中断时间，这个假设是基于车辆速度基本保持不变。通过路径序列中检测框的位置，可以大致计算出尾速
度和头速度，可以使用前一条轨迹的尾速度和后一条轨迹的头速度分别预估路径中的某一点的位置，利用预估出的两点的正态分布概率表示这两段轨迹的空间连续性，如图5所示。
[0082]
同时，由于一个点的位置无法反映路径的方向性，实施例采用两端速度方向的点积d作为方向判断的另一项指标，以作为其概率分布密度函数。
[0083]
此外，实施例还利用车辆特征向量间欧氏距离的正态分布概率来计算轨迹间的车辆特征一致性，在追踪车辆检测框的同时，可以将每条轨迹的特征向量用识别可信度作为权重累加起来，用这个持续增量更新的特征向量参与路径序列之间的欧式距离计算。当认为两条轨迹匹配时，根据记录的权重对两条轨迹的特征向量做进一步融合，继续追踪的过程。加权平均的过程是不可省略的，因为分类网络输出的特征向量具有明显的噪声，加权平均的过程使得算法输出的车型和颜色相对稳定，保证了准实时显示的效果。
[0084]
通过全局匹配的第二轨迹会被附上与第一轨迹相同的车辆id。
[0085]
步骤s400：延时输出：对所述虚拟孪生空间中的轨迹进行平滑滤波、补全，以恒定延迟输出车辆的三位轨迹、车型、颜色、车辆序号，以供孪生场景的车辆动画显示。
[0086]
于本实施例中，于所述延时输出中：
[0087]
延时输出与匹配过程同时进行，检测一个最长全局匹配时间之前的路径序列的缓冲，读取、计算并输出孪生世界坐标系下的轨迹和特征向量；
[0088]
延时输出对路径序列使用平滑滤波，并以插值的方式补全缺失轨迹；
[0089]
所输出的特征向经过追踪过程中增量式计算。
[0090]
也就是说，于本实施例中，延时输出与匹配过程同时进行，算法将检查一个最长全局匹配时间之前的路径序列的缓冲，读取、计算并输出孪生世界坐标系下的轨迹和特征向量，对于用户来说，所述延时输出让路径中断时的匹配过程变得不可见。延时输出对路径序列使用平滑滤波，并以插值的方式补全缺失轨迹，所输出的特征特征向量经过量式计算，减少了该步骤输时车型和颜色的跳变。上述延迟输出的方式能为虚拟孪生显示系统实时提供显示所需的数据，包括车辆的三维孪生空间坐标、车辆识别序号、车型和颜色。
[0091]
步骤s400是和轨迹匹配同时进行的。由匹配算法的特性可知，轨迹在被赋予车辆识别序号前、被实时预测中或被全局延迟匹配时，都会有一定的中断时间，这部分时间内的车辆轨迹或特征是不稳定的，因此不能用于孪生显示，延时输出的目的是为了掩盖追踪算法的不稳定性，达到最佳的显示效果。根据设定的参数的大小，一般来说，全局延迟匹配是延时最长的，在以相同的时间差延后输出车辆轨迹，即能让用户无法察觉路径中断时的匹配过程。
[0092]
由于步骤s400的输出要求，需要将追踪的结果先暂存到缓冲区，再由输出模块从缓区中读取、计算，并输出孪生世界坐标系下的轨迹和特征向量。所输出的轨迹经过了平滑滤波、插值，较为稳定；所输出的特征向经过追踪过程中增量式计算，不容易产生跳变。
[0093]
于本实施例中，步骤s400步骤和步骤s200和步骤s300是同步进行的，优选地，本实施例的所有轨迹序列都在内部维护了一个先进先出缓冲队列，输出模块在每一帧检查每一个缓冲队列尾部的数据，并找到一个全局匹配时间之前的路径序列，提取出经过了逆投影、滤波和插值的车辆位置信息、车型、颜色和车辆id。由于算法保证在一个全局匹配时间结束后，路径的追踪结果已经确定，上述延时输出的路径和离线处理的结果应当是相同的。车辆
的语义特征(车型，颜色)，由增量式计算特征向量得到，中途产生跳变的可能性也较小。
[0094]
本实例追踪系统是以发送tcp包的形式和孪生显示系统进行通讯的，需要以恒定的频率向孪生系统发送包含该时间段内所有车辆信息数据包，发送和接收数据包的过程会引入几十到几百毫秒级的延迟。但总体而言，可以认为该系统的输出延时相对于真实时间在亚秒级。
[0095]
实施例2
[0096]
如图6所示，本实施例一种准实时数字孪生显示的车辆检测追踪装置100，所述准实时数字孪生显示的车辆检测追踪装置100包括：车辆检测分类模块110，实时局部匹配追踪模块120，轨迹的全局匹配模块130以及延时输出模块140。
[0097]
于本实施例中，所述车辆检测分类模块110用于从交通相机采集视频流，利用检测分类神经网络实时检测所述视频流中每一帧画面车辆的检测框，同时获得车型颜色分类。
[0098]
所述车辆检测分类模块110的具体实现的技术特征与实施例1中的准实时数字孪生显示的车辆检测追踪方法中步骤s100基本相同，实施例间可以通用的技术内容不作重复赘述。
[0099]
于本实施例中，所述实时局部匹配追踪模块120用于基于车辆的检测框信息，匹配不同视频帧之间的车辆位置，以追踪车辆的路径序列，并记录车辆识别序号。
[0100]
所述实时局部匹配追踪模块120的具体实现的技术特征与实施例1中的准实时数字孪生显示的车辆检测追踪方法中步骤s200基本相同，实施例间可以通用的技术内容不作重复赘述。
[0101]
于本实施例中，所述轨迹的全局匹配模块130用于基于相机的内外参数，将获取的所述路径序列的坐标投影转换至虚拟孪生空间，匹配所投影的轨迹，并设定统一的车辆识别序号。
[0102]
所述轨迹的全局匹配模块130的具体实现的技术特征与实施例1中的准实时数字孪生显示的车辆检测追踪方法中步骤s300基本相同，实施例间可以通用的技术内容不作重复赘述。
[0103]
于本实施例中，所述延时输出模块140用于对所述虚拟孪生空间中的轨迹进行平滑滤波、补全，以恒定延迟输出车辆的三位轨迹、车型、颜色、车辆序号，以供孪生场景的车辆动画显示。
[0104]
所述延时输出模块140的具体实现的技术特征与实施例1中的准实时数字孪生显示的车辆检测追踪方法中步骤s400基本相同，实施例间可以通用的技术内容不作重复赘述。
[0105]
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，所述车辆检测分类模块110可以为单独设立的处理元件，也可以集成在电子终端的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述终端的存储器中，由上述终端的某一个处理元件调用并执行以上追踪计算模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号
的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
[0106]
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微处理器(digital singnal processor，简称dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
[0107]
实施例3
[0108]
如图4所示，本实施例还提供一种电子设备10，所述电子设备10包括处理器1101、存储器1102。
[0109]
所述电子装置100可以例如固定终端，例如服务器、台式机等；也可以是移动终端，例如笔记型电脑、智能手机或平板电脑等，也可以是车载终端等。
[0110]
存储器1102通过系统总线与处理器1101连接并完成相互间的通信，存储器1102用于存储计算机程序，处理器1101耦接于所述显示器1003及存储器1002，处理器1101用于运行计算机程序，以使所述电子设备10执行实施例1所述的准实时数字孪生显示的车辆检测追踪方法。实施例1已经对所述准实时数字孪生显示的车辆检测追踪方法进行了详细说明，在此不再赘述。
[0111]
所述的准实时数字孪生显示的车辆检测追踪方法可应用于多种类型的电子设备10。在示例性实施例中，所述电子设备10可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器、摄像头或其他电子元件实现，用于执行上述准实时数字孪生显示的车辆检测追踪方法。
[0112]
存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0113]
上述的处理器1101可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0114]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0115]
综上所述，本发明可以直接对交通监控视频进行车辆再识别，有效提高车辆再识别的准确率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0116]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因
此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。