一种数据处理方法、装置、电子设备及存储介质与流程

1.本发明涉及智能驾驶技术领域，特别涉及一种数据处理方法、装置、电子设备及存储介质。


背景技术：

2.自动驾驶汽车是利用车载传感器来感知车辆周围环境，并根据感知所获得的道路、车辆位置和障碍物信息，控制车辆的转向和速度，从而使车辆能够安全、可靠地在道路上行驶。自动驾驶汽车要求对一定距离以外的物体仍然需要一定的识别能力，以保证有足够的时间进行紧急制动等安全保障措施，因此动态对象的识别与跟踪是自动驾驶技术的关键问题。
3.现有技术中，对象识别及追踪主要基于深度学习模型检测对象，进而通过匈牙利匹配、卡尔曼滤波等追踪技术跟踪检测对象并形成轨迹，但深度学习模型往往存在局限性，对于训练样本中出现频率较少的对象类型，存在漏检的现象，仅通过深度学习模型的检测结果进行对象轨迹追踪，不可避免的会出现轨迹丢失的问题。


技术实现要素：

4.针对现有技术的上述问题，本发明公开提供一种数据处理方法、装置、电子设备及存储介质，能够有效解决非检测对象轨迹丢失难以追踪的问题，提升对象轨迹追踪的全面性、准确性和鲁棒性。本发明公开的技术方案如下：
5.根据本发明公开的实施例的一方面，提供一种数据处理方法，包括：
6.获取对象运动视频中的每一帧图像；
7.在遍历到任一帧图像的情况下，获取检测对象在当前帧图像中的第一当前位姿信息和非检测对象在所述当前帧图像中的第一对象点云数据；
8.从所述对象运动视频对应的当前对象轨迹数据中获取所述非检测对象在所述当前帧图像的上一帧图像中的历史位姿信息和所述非检测对象在所述上一帧图像中的第二对象点云数据；
9.基于所述非检测对象的所述第一对象点云数据与所述非检测对象的所述第二对象点云数据进行匹配，得到所述非检测对象的目标偏移量；
10.基于所述非检测对象的所述历史位姿信息及所述目标偏移量，得到所述非检测对象在所述当前帧图像中的第二当前位姿信息；
11.基于所述检测对象的所述第一当前位姿信息和所述非检测对象的所述第二当前位姿信息，对所述当前对象轨迹数据进行更新；
12.在遍历结束的情况下，将所述当前对象轨迹数据，作为目标对象轨迹数据。
13.可选的，所述基于所述非检测对象的所述第一对象点云数据与所述非检测对象的所述第二对象点云数据进行匹配，得到所述非检测对象的目标偏移量包括：
14.获取预设偏移量；
15.基于所述第二对象点云数据与所述预设偏移量，确定所述非检测对象在所述当前帧图像中的预测点云数据；
16.基于所述预测点云数据及所述第一对象点云数据，生成距离损失信息；
17.在所述距离损失信息满足预设条件的情况下，基于所述距离损失信息，得到所述目标偏移量。
18.可选的，所述获取当前帧图像中检测对象的第一当前位姿信息和所述当前帧图像中非检测对象的第一对象点云数据包括：
19.获取当前帧图像的当前点云数据；
20.对所述当前点云数据进行对象检测，确定所述检测对象在所述当前帧图像中的第一对象位置信息和所述第一当前位姿信息；
21.对所述当前点云数据进行聚类处理，得到至少一个聚类对象在所述当前帧图像中的第二对象位置信息；
22.基于所述第一对象位置信息和所述第二对象位置信息，对所述检测对象及所述至少一个聚类对象进行关联，得到对象关联信息；
23.根据所述对象关联信息，从所述至少一个聚类对象中，确定所述非检测对象；
24.基于所述第二对象位置信息，从所述当前帧图像中获取所述第一对象点云数据。
25.可选的，所述方法还包括：
26.获取所述检测对象在所述上一帧图像中的第一历史位置信息及所述非检测对象在所述上一帧图像中的第二历史位置信息；
27.基于所述第一历史位置信息进行预测，得到所述检测对象在所述当前帧图像中的第一预测位置信息；
28.基于所述第二历史位置信息进行预测，得到所述非检测对象在所述当前帧图像中的第二预测位置信息；
29.相应的，所述基于所述检测对象的所述第一当前位姿信息和所述非检测对象的所述第二当前位姿信息，对所述当前对象轨迹数据进行更新包括：
30.在所述第一预测位置信息与所述第一对象位置信息匹配，且所述第二预测位置信息与所述第二对象位置信息匹配的情况下，基于所述第一当前位姿信息和所述第二当前位姿信息，对所述当前对象轨迹数据进行更新。
31.可选的，所述方法还包括：
32.在所述第一预测位置信息与所述第一对象位置信息不匹配，且所述第二预测位置信息与所述第二对象位置信息匹配的情况下，创建所述检测对象的新的轨迹数据，基于所述第二当前位姿信息，对所述当前对象轨迹数据进行更新；
33.将新创建的对象轨迹数据加入到所述当前对象轨迹数据中。
34.可选的，所述方法还包括：
35.在所述第一预测位置信息与所述第一对象位置信息匹配，且所述第二预测位置信息与所述第二对象位置信息不匹配的情况下，创建所述非检测对象的新的对象轨迹数据，基于所述第一当前位姿信息，对所述当前对象轨迹数据进行更新；
36.将新创建的对象轨迹数据加入到所述当前对象轨迹数据中。
37.可选的，在基于所述非检测对象的所述第一对象点云数据与所述非检测对象的所
述第二对象点云数据进行匹配，得到所述非检测对象的目标偏移量之前，所述方法还包括：
38.对所述第一对象点云数据进行关键点检测，得到第一对象关键点云数据；
39.对所述第二对象点云数据进行关键点检测，得到第二对象关键点云数据；
40.相应的，所述基于所述非检测对象的所述第一对象点云数据与所述非检测对象的所述第二对象点云数据进行匹配，得到所述非检测对象的目标偏移量包括：
41.基于所述第一对象关键点云数据与所述第二对象关键点云数据进行匹配，得到所述目标偏移量。
42.根据本发明公开实施例的另一方面，提供一种数据处理装置，包括：
43.图像获取模块，用于获取对象运动视频中的每一帧图像；
44.第一信息获取模块，用于在遍历到任一帧图像的情况下，获取检测对象在当前帧图像中的第一当前位姿信息和非检测对象在所述当前帧图像中的第一对象点云数据；
45.第二信息获取模块，用于从所述对象运动视频对应的当前对象轨迹数据中获取所述非检测对象在所述当前帧图像的上一帧图像中的历史位姿信息和所述非检测对象在所述上一帧图像中的第二对象点云数据；
46.目标偏移量确定模块，用于基于所述非检测对象的所述第一对象点云数据与所述非检测对象的所述第二对象点云数据进行匹配，得到所述非检测对象的目标偏移量；
47.第二当前位姿信息确定模块，用于基于所述非检测对象的所述历史位姿信息及所述目标偏移量，得到所述非检测对象在所述当前帧图像中的第二当前位姿信息；
48.第一轨迹数据更新模块，用于基于所述检测对象的所述第一当前位姿信息和所述非检测对象的所述第二当前位姿信息，对所述当前对象轨迹数据进行更新；
49.目标对象轨迹数据确定模块，用于在遍历结束的情况下，将所述当前对象轨迹数据，作为目标对象轨迹数据。
50.根据本发明公开实施例的另一方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述任一项所述的数据处理方法。
51.根据本发明公开实施例的另一方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本发明公开实施例的任一项所述的数据处理方法。
52.根据本发明公开实施例的另一方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本发明公开实施例的任一项所述的数据处理方法。
53.本发明公开的实施例提供的技术方案至少带来以下有益效果：
54.本发明提供的数据处理方法在遍历到对象运动视频中任一帧图像的情况下，基于非检测对象分别在当前帧图像中和上一帧图像中的两个对象点云数据进行匹配，确定目标偏移量，并基于其历史位姿信息及目标偏移量得到非检测对象的当前位姿信息，进而基于获取的检测对象的当前位姿信息和非检测对象的当前位姿信息进行对象轨迹数据的更新，能够有效解决非检测对象轨迹丢失难以追踪的问题，提升对象轨迹追踪的全面性、准确性和鲁棒性。
55.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
56.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本发明公开的不当限定。
57.图1是根据一示例性实施例示出的一种数据处理方法的流程图；
58.图2是根据一示例性实施例示出的一种第一对象点云数据获取方法的流程图；
59.图3是根据一示例性实施例示出的一种数据处理装置框图；
60.图4是根据一示例性实施例示出的一种用于数据处理的终端电子设备的框图；
61.图5是根据一示例性实施例示出的一种用于数据处理的服务器电子设备的框图。
具体实施方式
62.为了使本领域普通人员更好地理解本发明公开的技术方案，下面将结合附图，对本发明公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
63.需要说明的是，本发明公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
64.本发明提供的一种数据处理方法，该方法可以应用于对象轨迹数据的生成更新。
65.图1是根据一示例性实施例示出的一种数据处理方法的流程图，如图1所示，该数据处理方法包括以下步骤。
66.s101：获取对象运动视频中的每一帧图像。
67.在一个具体实施例中，对象运动视频可以为按照时间顺序排列的至少一个对象运动过程中的若干帧图像集合，具体的，对象可以包括车辆、行人等，每一帧图像可以为激光雷达采集的三维点云图像，每一帧图像可以包括任一对象在该帧图像中的轨迹数据及任一对象对应的三维点云数据；点云数据可以包括点云位置信息，具体的，点云位置信息可以为点云在地球坐标系下的三维坐标信息。
68.s103：在遍历到任一帧图像的情况下，获取检测对象在当前帧图像中的第一当前位姿信息和非检测对象在所述当前帧图像中的第一对象点云数据。
69.在一个具体实施例中，基于对象运动视频的时序顺序，遍历每一帧图像。
70.在一个可选的实施例中，图2是根据一示例性实施例示出的一种第一对象点云数据获取方法的流程图，如图2所示，所述获取当前帧图像中检测对象的第一当前位姿信息和所述当前帧图像中非检测对象的第一对象点云数据包括：
71.s201：获取当前帧图像的当前点云数据。
72.s203：对所述当前点云数据进行对象检测，确定所述检测对象在所述当前帧图像中的第一对象位置信息和所述第一当前位姿信息。
73.在一个具体实施例中，检测对象可以为通过目标检测模型对点云数据进行对象检测所确定的对象，具体的，上述目标检测模型可以预先基于训练数据对预设深度学习模型进行对象检测训练得到；结合目标检测模型对点云数据进行对象检测，具体的，上述训练数据可以包括样本视频中每一帧图像的点云数据、样本视频中每一帧图像的样本对象位置信息和样本位姿信息。
74.在一个具体实施例中，目标检测模型的输出信息可以包括当前点云数据中对象(检测对象)的位姿信息、度量信息、类别信息及检测置信度等，具体的，位姿信息可以包括位置信息及朝向信息，位置信息可以为检测对象在地球坐标系下的三维坐标信息，度量信息可以包括检测对象的长度信息、宽度信息及高度信息，类别信息可以指示上述检测对象对应的类别，具体的，类别可以包括车辆、行人等，检测置信度可以指示当前帧图像中包括上述检测对象的概率。
75.s205：对所述当前点云数据进行聚类处理，得到至少一个聚类对象在所述当前帧图像中的第二对象位置信息。
76.在一个具体实施例中，聚类对象可以为通过聚类方法对点云数据进行聚类处理所确定的对象，聚类处理的输出信息可以包括当前点云数据中对象(聚类对象)对应的点云数据的位置信息及点云数据的凸包，具体的，聚类方法可以包括基于体素滤波、range image(深度图像)等的聚类方法，凸包可以为包含点云数据的最小外接多边形；聚类对象的位置信息可以为聚类对象对应的点云数据的位置信息。
77.s207：基于所述第一对象位置信息和所述第二对象位置信息，对所述检测对象及所述至少一个聚类对象进行关联，得到对象关联信息。
78.在一个具体实施例中，对象关联信息可以指示检测对象与聚类对象是否关联，检测对象与聚类对象关联可以为检测对象与聚类对象是同一个对象，具体的，基于第一对象位置信息及检测对象的度量信息确定检测对象的二维投影，基于第二对象位置信息确定聚类对象对应的点云数据的凸包；在检测对象的二维投影与聚类对象的点云数据凸包存在重叠区域的情况下，检测对象与聚类对象为同一个对象，否则检测对象与聚类对象不是同一个对象。
79.s209：根据所述对象关联信息，从所述至少一个聚类对象中，确定所述非检测对象。
80.在一个具体实施例中，非检测对象可以为未与任一检测对象关联的聚类对象。
81.s211：基于所述第二对象位置信息，从所述当前帧图像中获取所述第一对象点云数据。
82.在一个具体实施例中，将第二对象位置信息在当前帧图像中对应区域的点云数据作为第一对象点云数据。
83.上述实施例中，对检测对象及聚类对象进行关联，进而从聚类对象中确定非检测对象，能够有效地识别检测模型未检测出的对象，解决非检测对象轨迹丢失难以追踪的问题，从而提升对象轨迹追踪的全面性。
84.s105：从所述对象运动视频对应的当前对象轨迹数据中获取所述非检测对象在所述当前帧图像的上一帧图像中的历史位姿信息和所述非检测对象在所述上一帧图像中的第二对象点云数据。
85.在一个具体实施例中，当前对象轨迹数据可以携带非检测对象在上一帧图像中的第二对象点云数据。
86.s107：基于所述非检测对象的所述第一对象点云数据与所述非检测对象的所述第二对象点云数据进行匹配，得到所述非检测对象的目标偏移量。
87.在一个可选的实施例中，所述基于所述第一对象点云数据与所述第二对象点云数据进行匹配，得到所述目标偏移量可以包括：
88.获取预设偏移量；
89.基于所述第二对象点云数据与所述预设偏移量，确定所述非检测对象在所述当前帧图像中的预测点云数据；
90.基于所述预测点云数据及所述第一对象点云数据，生成距离损失信息；
91.在所述距离损失信息满足预设条件的情况下，基于所述距离损失信息，得到所述目标偏移量。
92.在一个具体实施例中，预设偏移量可以表征第一对象点云数据与第二对象点云数据在水平方向上的偏移程度，预设偏移量可以为相邻两帧点云间水平方向上的偏移量，具体的，偏移量可以包括相邻两帧点云间在地球坐标系x轴方向上的横向偏移量，相邻两帧点云间在地球坐标系y轴方向上的纵向偏移量，相邻两帧点云间的旋转角度，预设偏移量的初始取值可以为上述历史位姿信息与上述非检测对象在所述当前帧图像的预测位姿信息间的偏移量。
93.在一个具体实施例中，预测位姿信息可以通过对上述历史位姿信息进行预测处理得到，具体的，上述预测位姿信息可以通过以下预测公式得到：
94.x
′
(k)＝a*x(k-1)+b*u(k)
95.p
′
(k)＝a*p(k-1)*a
t
+q
96.其中，x
′
(k)表示任一对象在k时刻的预测状态信息，x(k-1)表示任一对象的在k-1时刻的历史状态信息，p
′
(k)表示k时刻的预测状态协方差矩阵，p(k-1)表示k-1时刻的历史状态协方差矩阵，u(k)表示k时刻的波动，b表示波动对预测的影响程度，a表示状态转移矩阵，q表示过程噪声矩阵。
97.在一个具体实施例中，预测状态信息可以包括预测位姿信息、预测速度信息及预测度量信息，相应的，历史状态信息可以包括历史位姿信息、历史速度信息及历史度量信息，具体的，任一对象的预测度量信息可以保留该对象的历史度量信息，例如对象的长度信息、宽度信息、高度信息等。
98.在一个具体实施例中，预测点云数据中任一预测点的坐标可以表示为
99.(x
pre
，y
pre
)＝(x
′
+δx，y
′
+δy)，
100.其中，x
′
＝(x
1-xo)*cos(δθ)-(y
1-yo)*sin(δθ)，y
′
＝(x
1-xo)*sin(δθ)+(y
1-y0)*cos(δθ)。
101.其中，δx表示相邻两帧点云间在地球坐标系x轴方向上的偏移量，δy表示相邻两帧点云间在地球坐标系y轴方向上的偏移量，δθ表示相邻两帧点云间的旋转角度，(x0，y0)表示第二对象点云数据的中心点坐标，(x1，y1)表示第二对象点云数据中任一点的坐标。
102.在一个具体实施例中，距离损失信息可以为第一对象点云数据与预测点云数据的最近距离，具体的，距离损失信息可以表示为
[0103][0104]
其中，lost表示距离损失信息，(x2，y2)表示第一对象点云数据中任一点的坐标。
[0105]
在一个具体实施例中，在所述距离损失信息满足预设条件的情况下，基于所述距离损失信息，得到所述目标偏移量可以包括：基于预设偏移量及预设偏移量对应的距离损失信息对预设偏移量进行调整；将调整后的预设偏移量作为新的预设偏移量，重复上述步骤，直至距离损失信息满足预设条件，将距离损失信息对应的预设偏移量作为目标偏移量。上述预设条件可以根据实际应用情况进行设置。
[0106]
在一个具体实施例中，距离损失信息可以设计为残差模块，在点云数据噪声过大的情况下，还可以添加其他残差模块作为正则项。
[0107]
上述实施例中，基于非检测对象分别在当前帧图像中和上一帧图像中的两个对象点云数据进行匹配得到的偏移量，后续结合非检测对象的历史位姿信息确定其当前位姿信息，能够保证非检测对象当前位姿信息的准确性，进而提升非检测对象轨迹追踪的准确性。
[0108]
在一个可选的实施例中，在基于所述非检测对象的所述第一对象点云数据与所述非检测对象的所述第二对象点云数据进行匹配，得到所述非检测对象的目标偏移量之前，上述方法还可以包括：
[0109]
对所述第一对象点云数据进行关键点检测，得到第一对象关键点云数据；
[0110]
对所述第二对象点云数据进行关键点检测，得到第二对象关键点云数据。
[0111]
相应的，所述基于所述非检测对象的所述第一对象点云数据与所述非检测对象的所述第二对象点云数据进行匹配，得到所述非检测对象的目标偏移量还可以包括：
[0112]
基于所述第一对象关键点云数据与所述第二对象关键点云数据进行匹配，得到所述目标偏移量。
[0113]
在一个具体实施例中，第一对象关键点云数据可以为第一对象点云数据中的关键点云数据，具体的，第一对象关键点云数据可以为第一对象点云数据中靠近激光雷达中心的边界曲线上的点云数据；相应的，第二对象关键点云数据可以为第二对象点云数据中靠近激光雷达中心的边界曲线上的点云数据。
[0114]
上述实施例中，基于第一对象关键点云数据与第二对象关键点云数据，能够实现两个对象点云数据的快速匹配，进而提升对象轨迹数据追踪效率。
[0115]
s109：基于所述非检测对象的所述历史位姿信息及所述目标偏移量，得到所述非检测对象在所述当前帧图像中的第二当前位姿信息。
[0116]
在一个具体实施例中，基于目标偏移量，对历史位姿信息进行位姿变换，得到第二当前位姿信息。
[0117]
在一个具体实施例中，目标偏移量可以包括目标位置偏移量和目标旋转角度，具体的，目标位置偏移量可以包括在地球坐标系x轴方向上的横向目标偏移量及在地球坐标系y轴方向上的纵向目标偏移量，历史位姿信息可以包括历史位置信息及历史朝向信息，具体的，历史位置信息可以为非检测对象在地球坐标系下的历史坐标信息。
[0118]
在一个具体实施例中，基于目标偏移量，对历史位姿信息进行位姿变换，得到第二当前位姿信息可以包括：基于上述横向目标偏移量和纵向目标偏移量对上述非检测对象的历史坐标信息进行位置变换，得到当前位置信息；基于上述目标旋转角度对上述历史朝向
信息进行旋转变换，得到当前朝向信息；将当前位置信息及当前朝向信息作为第二当前位姿信息。
[0119]
上述实施例中，基于非检测对象分别在当前帧图像中和上一帧图像中的两个对象点云数据进行匹配，确定目标偏移量，并基于其历史位姿信息及目标偏移量得到非检测对象的当前位姿信息，进而能够基于获取的检测对象的当前位姿信息和非检测对象的当前位姿信息进行对象轨迹数据的更新，有效解决非检测对象轨迹丢失难以追踪的问题，提升对象轨迹追踪的全面性、准确性和鲁棒性。
[0120]
s111：基于所述检测对象的所述第一当前位姿信息和所述非检测对象的所述第二当前位姿信息，对所述当前对象轨迹数据进行更新。
[0121]
在一个具体实施例中，所述基于所述第一当前位姿信息和所述第二当前位姿信息，对所述当前对象轨迹数据进行更新可以包括：将第一当前位姿信息和第二当前位姿信息作为新的观测量，基于新的观测量更新卡尔曼滤波器。
[0122]
在一个具体实施例中，轨迹更新公式可以为：
[0123]
x(k)＝x
′
(k)+k(k)*(z(k)-h*x
′
(k))
[0124]
p(k)＝(i-k(k)*h)*p
′
(k)
[0125]
k(k)＝p
′
(k)*h
t
*(h*p
′
(k)*h
t
+r)-1
[0126]
其中，x(k)表示任一对象在k时刻的当前状态信息，x
′
(k)表示任一对象在k时刻的预测状态信息，k(k)表示k时刻的卡尔曼增益，z(k)表示k时刻的观测值，p(k)表示k时刻的当前状态协方差矩阵，p
′
(k)表示k时刻的预测状态协方差矩阵，h表示观测矩阵，r表示观测噪声矩阵，i表示单位矩阵。
[0127]
在一个可选的实施例中，上述方法还可以包括：
[0128]
获取所述检测对象在所述上一帧图像中的第一历史位置信息及所述非检测对象在所述上一帧图像中的第二历史位置信息；
[0129]
基于所述第一历史位置信息进行预测，得到所述检测对象在所述当前帧图像中的第一预测位置信息；
[0130]
基于所述第二历史位置信息进行预测，得到所述非检测对象在所述当前帧图像中的第二预测位置信息。
[0131]
在一个具体实施例中，预测位置信息可以通过历史位置信息及上述预测公式得到。
[0132]
相应的，所述基于所述检测对象的所述第一当前位姿信息和所述非检测对象的所述第二当前位姿信息，对所述当前对象轨迹数据进行更新还可以包括：
[0133]
在所述第一预测位置信息与所述第一对象位置信息匹配，且所述第二预测位置信息与所述第二对象位置信息匹配的情况下，基于所述第一当前位姿信息和所述第二当前位姿信息，对所述当前对象轨迹数据进行更新。
[0134]
在一个具体实施例中，第一预测位置信息与第一对象位置信息匹配可以表征在当前对象轨迹数据中存在上述检测对象所对应的对象轨迹数据，第二预测位置信息与所述第二对象位置信息匹配可以表征在当前对象轨迹数据中存在上述非检测对象所对应的对象轨迹数据；相应的，第一预测位置信息与第一对象位置信息不匹配可以表征在当前对象轨迹数据中不存在上述检测对象所对应的对象轨迹数据，第二预测位置信息与所述第二对象
位置信息不匹配可以表征在当前对象轨迹数据中不存在上述非检测对象所对应的对象轨迹数据。
[0135]
在一个具体实施例中，判断第一预测位置信息与第一对象位置信息是否匹配可以包括：基于预设匹配算法，确定第一预测位置信息与第一对象位置信息的位置匹配信息，位置匹配信息指示第一预测位置信息与第一对象位置信息是否匹配；在位置匹配信息满足预设匹配算法对应的匹配条件的情况下，则第一预测位置信息与第一对象位置信息匹配，否则不匹配。具体的，预设匹配算法可以包括iou匹配算法、km(kuhn-munkras)匹配算法等。
[0136]
相应的，判断第二预测位置信息与第二对象位置信息是否匹配可以参见上述细化步骤，在此不再赘述。
[0137]
在一个可选的实施例中，上述方法还可以包括：
[0138]
在所述第一预测位置信息与所述第一对象位置信息不匹配，且所述第二预测位置信息与所述第二对象位置信息匹配的情况下，创建所述检测对象的新的轨迹数据，基于所述第二当前位姿信息，对所述当前对象轨迹数据进行更新；
[0139]
将新创建的对象轨迹数据加入到所述当前对象轨迹数据中。
[0140]
在一个可选的实施例中，上述方法还可以包括：
[0141]
在所述第一预测位置信息与所述第一对象位置信息匹配，且所述第二预测位置信息与所述第二对象位置信息不匹配的情况下，创建所述非检测对象的新的对象轨迹数据，基于所述第一当前位姿信息，对所述当前对象轨迹数据进行更新；
[0142]
将新创建的对象轨迹数据加入到所述当前对象轨迹数据中。
[0143]
在一个可选的实施例中，上述方法还可以包括：
[0144]
在所述第一预测位置信息与所述第一对象位置信息不匹配，且所述第二预测位置信息与所述第二对象位置信息不匹配的情况下，创建所述检测对象与所述非检测对象的新的对象轨迹数据；
[0145]
将新创建的对象轨迹数据加入到所述当前对象轨迹数据中。
[0146]
上述实施例中，基于任一对象的预测位置信息与当前对象位置信息是否匹配来确定在当前对象轨迹数据中是否存在该对象所对应的对象轨迹数据，在当前对象轨迹数据中存在该对象所对应的对象轨迹数据的情况下，基于该对象的当前位姿信息更新对应的对象轨迹数据，在当前对象轨迹数据中不存在该对象所对应的对象轨迹数据的情况下，创建该对象的新的对象轨迹数据在后续进行轨迹更新，提升对象轨迹追踪的全面性和准确性。
[0147]
在一个可选的实施例中，上述方法还可以包括：
[0148]
在预设帧数内，所述第一预测位置信息与所述第一对象位置信息均不匹配，或所述第二预测位置信息与所述第二对象位置信息均不匹配的情况下，对检测对象或非检测对象的当前对象轨迹数据进行删除处理。
[0149]
在一个具体实施例中，预设帧数可以根据实际应用情况进行设置，例如，预设帧数可以为3帧。
[0150]
由以上本说明书实施例提供的技术方案可见，本说明书中在遍历到对象运动视频中任一帧图像的情况下，基于非检测对象分别在当前帧图像中和上一帧图像中的两个对象点云数据进行匹配，确定目标偏移量，并基于其历史位姿信息及目标偏移量得到非检测对象的当前位姿信息，保证非检测对象当前位姿信息的准确性，进而基于获取的检测对象的
当前位姿信息和非检测对象的当前位姿信息进行对象轨迹数据的更新，有效解决非检测对象轨迹丢失难以追踪的问题，提升对象轨迹追踪的全面性、准确性和鲁棒性。另外，对检测对象及聚类对象进行关联，进而从聚类对象中确定非检测对象，能够有效地识别检测模型未检测出的对象，从而提升对象轨迹追踪的全面性。同时，基于第一对象关键点云数据与第二对象关键点云数据，能够实现两个对象点云数据的快速匹配，进而提升对象轨迹数据追踪效率。
[0151]
图3是根据一示例性实施例示出的一种数据处理装置框图。参照图3，该装置包括：
[0152]
图像获取模块310，用于获取对象运动视频中的每一帧图像；
[0153]
第一信息获取模块320，用于在遍历到任一帧图像的情况下，获取检测对象在当前帧图像中的第一当前位姿信息和非检测对象在所述当前帧图像中的第一对象点云数据；
[0154]
第二信息获取模块330，用于从所述对象运动视频对应的当前对象轨迹数据中获取所述非检测对象在所述当前帧图像的上一帧图像中的历史位姿信息和所述非检测对象在所述上一帧图像中的第二对象点云数据；
[0155]
目标偏移量确定模块340，用于基于所述非检测对象的所述第一对象点云数据与所述非检测对象的所述第二对象点云数据进行匹配，得到所述非检测对象的目标偏移量；
[0156]
第二当前位姿信息确定模块350，用于基于所述非检测对象的所述历史位姿信息及所述目标偏移量，得到所述非检测对象在所述当前帧图像中的第二当前位姿信息；
[0157]
第一轨迹数据更新模块360，用于基于所述检测对象的所述第一当前位姿信息和所述非检测对象的所述第二当前位姿信息，对所述当前对象轨迹数据进行更新；
[0158]
目标对象轨迹数据确定模块370，用于在遍历结束的情况下，将所述当前对象轨迹数据，作为目标对象轨迹数据。
[0159]
可选的，目标偏移量确定模块340可以包括：
[0160]
预设偏移量获取单元，用于获取预设偏移量；
[0161]
预测点云数据确定单元，用于基于所述第二对象点云数据与所述预设偏移量，确定所述非检测对象在所述当前帧图像中的预测点云数据；
[0162]
距离损失信息生成单元，用于基于所述预测点云数据及所述第一对象点云数据，生成距离损失信息；
[0163]
目标偏移量确定单元，用于在所述距离损失信息满足预设条件的情况下，基于所述距离损失信息，得到所述目标偏移量。
[0164]
可选的，第一信息获取模块320可以包括：
[0165]
当前点云数据获取单元，用于获取当前帧图像的当前点云数据；
[0166]
对象检测单元，用于对所述当前点云数据进行对象检测，确定所述检测对象在所述当前帧图像中的第一对象位置信息和所述第一当前位姿信息；
[0167]
聚类处理单元，用于对所述当前点云数据进行聚类处理，得到至少一个聚类对象在所述当前帧图像中的第二对象位置信息；
[0168]
关联单元，用于基于所述第一对象位置信息和所述第二对象位置信息，对所述检测对象及所述至少一个聚类对象进行关联，得到对象关联信息；
[0169]
非检测对象确定单元，用于根据所述对象关联信息，从所述至少一个聚类对象中，确定所述非检测对象；
[0170]
第一对象点云数据获取单元，用于基于所述第二对象位置信息，从所述当前帧图像中获取所述第一对象点云数据。
[0171]
可选的，所述装置还可以包括：
[0172]
历史位置信息获取模块，用于获取所述检测对象在所述上一帧图像中的第一历史位置信息及所述非检测对象在所述上一帧图像中的第二历史位置信息；
[0173]
第一预测模块，用于基于所述第一历史位置信息进行预测，得到所述检测对象在所述当前帧图像中的第一预测位置信息；
[0174]
第二预测模块，用于基于所述第二历史位置信息进行预测，得到所述非检测对象在所述当前帧图像中的第二预测位置信息；
[0175]
相应的，第一轨迹数据更新模块360包括：
[0176]
第一轨迹数据更新单元，用于在所述第一预测位置信息与所述第一对象位置信息匹配，且所述第二预测位置信息与所述第二对象位置信息匹配的情况下，基于所述第一当前位姿信息和所述第二当前位姿信息，对所述当前对象轨迹数据进行更新。
[0177]
可选的，所述装置还可以包括：
[0178]
第二轨迹数据更新模块，用于在所述第一预测位置信息与所述第一对象位置信息不匹配，且所述第二预测位置信息与所述第二对象位置信息匹配的情况下，创建所述检测对象的新的轨迹数据，基于所述第二当前位姿信息，对所述当前对象轨迹数据进行更新；
[0179]
第一轨迹数据新增模块，用于将新创建的对象轨迹数据加入到所述当前对象轨迹数据中。
[0180]
可选的，所述装置还可以包括：
[0181]
第三轨迹数据更新模块，用于在所述第一预测位置信息与所述第一对象位置信息匹配，且所述第二预测位置信息与所述第二对象位置信息不匹配的情况下，创建所述非检测对象的新的对象轨迹数据，基于所述第一当前位姿信息，对所述当前对象轨迹数据进行更新；
[0182]
第二轨迹数据新增模块，用于将新创建的对象轨迹数据加入到所述当前对象轨迹数据中。
[0183]
可选的，所述装置还可以包括：
[0184]
第一关键点检测模块，用于对所述第一对象点云数据进行关键点检测，得到第一对象关键点云数据；
[0185]
第二关键点检测模块，用于对所述第二对象点云数据进行关键点检测，得到第二对象关键点云数据；
[0186]
相应的，目标偏移量确定模块340包括：
[0187]
目标偏移量确定单元，用于基于所述第一对象关键点云数据与所述第二对象关键点云数据进行匹配，得到所述目标偏移量。
[0188]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0189]
图4是根据一示例性实施例示出的一种用于数据处理的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图4所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制
能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0190]
图5是根据一示例性实施例示出的一种用于数据处理的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图5所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。
[0191]
本领域技术人员可以理解，图4或图5中示出的结构，仅仅是与本发明公开方案相关的部分结构的框图，并不构成对本发明公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0192]
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本发明公开实施例中的数据处理方法。
[0193]
在示例性实施例中，还提供了一种计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本发明公开实施例中的数据处理方法。
[0194]
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本发明公开实施例中的数据处理方法。
[0195]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0196]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明公开的其它实施方案。本发明旨在涵盖本发明公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明公开的一般性原理并包括本发明公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明公开的真
正范围和精神由下面的权利要求指出。
[0197]
应当理解的是，本发明公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明公开的范围仅由所附的权利要求来限制。