数据标注方法、装置、设备及存储介质与流程

1.本发明涉及人工智能领域，尤其涉及一种数据标注方法、装置、设备及存储介质。


背景技术：

2.无人车的感知任务通常使用多种传感器输入，如图像、激光点云等。这些输入信息经过标注后用于下游目标检测，语义分割等模型的训练，完成感知模块的多种目标，如障碍物检测，目标跟踪，速度估计，可行驶区域预测等。由于数据标注需求及标注成本的限制，不同任务会针对相关有价值数据进行单帧标注，标注规范也有区别，导致拥有不同标注的数据集大小各异，覆盖范围互不相同。


技术实现要素：

3.本发明的主要目的在于解决现有的标注任务单独进行无法相互验证补全的技术问题。
4.本发明第一方面提供了一种数据标注方法，所述数据标注方法包括：将待标注数据集输入预设的自动标注模型，得到第一数据集，其中，所述第一数据集包括至少一帧标注数据，所述标注数据包含一个或多个标注；将所述第一数据集中相同帧的标注数据进行标注之间的融合补全，得到第二数据集；确定所述第二数据集中存在冗余标注的标注数据，并根据所述存在冗余标注的标注数据对所述第二数据集进行交叉验证整合，得到补全数据集。
5.可选的，在本发明第一方面的第一种实现方式中，所述标注包括目标检测标注，所述目标检测标注包括点云目标检测标注和图像目标检测标注，所述将所述第一数据集中相同帧的标注数据进行标注之间的融合补全，得到第二数据集，包括：判断相同帧的标注数据中是否同时存在点云目标检测标注和图像目标检测标注；若是，则基于预设的坐标系将相同帧的标注数据包含的点云目标检测标注转化为2d检测框；判断所述2d检测框与所述图像目标检测标注的重叠率是否高于预设阈值；若高于，则将所述点云目标检测标注检测的物体与所述像目标检测标注检测的目标标记为同一目标，得到所述第二数据集。
6.可选的，在本发明第一方面的第二种实现方式中，所述坐标系包括三维坐标系和平面坐标系；所述基于预设的坐标系将相同帧的标注数据包含的点云目标检测标注转化为2d检测框，包括：获取所述第一数据集中每一帧标注数据对应的相机位姿信息、激光雷达位姿信息和所述点云目标检测标注中的一个或多个3d检测框；根据所述相机位姿信息和所述激光雷达位姿信息，构建相同帧中三维坐标系和平面坐标系之间的立体平面映射关系；根据所述立体平面映射关系将所述3d检测框转化为对应的所述2d检测框。
7.可选的，在本发明第一方面的第三种实现方式中，所述标注还包括语义分割标注，所述语义分割标注至少包括点云语义分割标注、点云语义地图标注和图像语义分割标注，所述将所述第一数据集中相同帧的标注数据进行标注之间的融合补全，得到第二数据集，还包括：判断相同帧的标注数据中是否同时存在点云语义分割标注或点云语义地图标注或
图像语义分割标注中的至少两个标注；若同时存在点云语义分割标注和图像语义分割标注，则根据所述立体平面映射关系构建所述点云语义分割标注对应的点云激光点和所述图像语义分割标注对应的相机像素之间的映射关系；根据所述映射关系对所述点云激光点与所述相机像素之间进行标注补全，得到第二数据集；若同时存在点云语义分割标注和点云语义地图标注，则根据所述点云语义分割标注对所述语义地图标注进行优化，得到第二数据集。
8.可选的，在本发明第一方面的第四种实现方式中，所述标注数据还包括运动标注，在所述确定所述第二数据集中存在冗余标注的标注数据，并根据所述存在冗余标注的标注数据对所述第二数据集进行交叉验证整合，得到补全数据集之前，包括：逐帧对至少包含所述点云目标检测标注和所述图像目标检测标注的所述第一数据集构建对应于目标的时序信息；结合逐帧的时序信息，融合得到目标的离散轨迹；通过对离散轨迹进行差分计算，得到目标的运动标注。
9.可选的，在本发明第一方面的第五种实现方式中，所述确定所述第二数据集中存在冗余标注的标注数据，并根据所述存在冗余标注的标注数据对所述第二数据集进行交叉验证整合，得到补全数据集，包括：将所述第一数据集中的所述标注基于上下帧之间的连接关系和标注规范进行交叉验证，得到点云类验证信息和图像类验证信息；通过所述点云类验证信息和所述图像类验证信息采取加权算法对连续帧中的所述标注数据进行平滑处理，得到处理标注；通过采用平滑处理后的所述处理标注逐帧遍历补全第二数据集中缺失的所述标注数据，得到补全数据集。
10.可选的，在本发明第一方面的第六种实现方式中，在所述确定所述第二数据集中存在冗余标注的标注数据，并根据所述存在冗余标注的标注数据对所述第二数据集进行交叉验证整合，得到补全数据集之后，包括：收集预处理后的样本数据集，将所述样本数据集随机屏蔽部分样本语义分割标注和/或样本目标检测标注和/或样本目标跟踪标注输入至所述待训练自动标注模型，得到所述待训练筛选模型的预测标注数据，其中，所述预测标注数据包括预测语义分割标注和/或预测目标检测标注和/或预测目标跟踪标注，所述样本数据集还包括当次执行完补全方法的所述补全数据集；所述待训练自动标注模型还包括当次执行完补全方法的所述自动标注模型；基于所述预测语义分割标注与所述样本语义分割标注计算预设的语义分割交叉熵损失函数，得到语义分割交叉熵损失函数值；基于所述预测目标检测标注和/或所述预测目标跟踪标注与所述样本目标检测标注和/或所述样本目标跟踪标注计算预设的目标检测交叉熵损失函数，得到目标检测交叉熵损失函数值；判断所述语义分割交叉熵损失函数值和/或所述目标检测交叉熵损失函数值是否小于预设阈值；若否，则基于所述语义分割交叉熵损失函数值和/或所述目标检测交叉熵损失函数值调整所述待训练自动标注模型的模型参数，并给予随机屏蔽部分样本语义分割标注和/或样本目标检测标注和/或样本目标跟踪标注的所述样本数据集重新进行模型训练，直至所述语义分割交叉熵损失函数值和/或所述目标检测交叉熵损失函数值小于预设阈值；若是，则将所述待训练筛选模型更新为自动标注模型。
11.本发明第二方面提供了一种数据标注装置，包括：自动标注模块，用于将待标注数据集输入预设的自动标注模型，得到第一数据集，其中，所述第一数据集包括至少一帧标注数据，所述标注数据包含一个或多个标注；标注融合补全模块，用于将所述第一数据集中相
同帧的标注数据进行标注之间的融合补全，得到第二数据集；标注验证整合模块，用于确定所述第二数据集中存在冗余标注的标注数据，并根据所述存在冗余标注的标注数据对所述第二数据集进行交叉验证整合，得到补全数据集。
12.可选的，在本发明第二方面的第一种实现方式中，所述标注融合补全模块具体用于：目标检测判断单元，判断相同帧的标注数据中是否同时存在点云目标检测标注和图像目标检测标注；平面检测框转化单元，若是，则基于预设的坐标系将相同帧的标注数据包含的点云目标检测标注转化为2d检测框；重叠率判断单元，判断所述2d检测框与所述图像目标检测标注的重叠率是否高于预设阈值；第二数据集获取单元，若高于，则将所述点云目标检测标注检测的物体与所述像目标检测标注检测的目标标记为同一目标，得到所述第二数据集。
13.可选的，在本发明第二方面的第二种实现方式中，所述平面检测框转化单元具体用于：获取所述第一数据集中每一帧标注数据对应的相机位姿信息、激光雷达位姿信息和所述点云目标检测标注中的一个或多个3d检测框；根据所述相机位姿信息和所述激光雷达位姿信息，构建相同帧中三维坐标系和平面坐标系之间的立体平面映射关系；根据所述立体平面映射关系将所述3d检测框转化为对应的所述2d检测框。
14.可选的，在本发明第二方面的第三种实现方式中，所述标注融合补全模块具体还用于：判断相同帧的标注数据中是否同时存在点云语义分割标注或点云语义地图标注或图像语义分割标注中的至少两个标注；若同时存在点云语义分割标注和图像语义分割标注，则根据所述立体平面映射关系构建所述点云语义分割标注对应的点云激光点和所述图像语义分割标注对应的相机像素之间的映射关系；根据所述映射关系对所述点云激光点与所述相机像素之间进行标注补全，得到第二数据集；若同时存在点云语义分割标注和点云语义地图标注，则根据所述点云语义分割标注对所述语义地图标注进行优化，得到第二数据集。
15.可选的，在本发明第二方面的第四种实现方式中，所述数据标注装置还包括运动标注获取模块，所述运动标注获取模块具体用于：逐帧对至少包含所述点云目标检测标注和所述图像目标检测标注的所述第一数据集构建对应于目标的时序信息；结合逐帧的时序信息，融合得到目标的离散轨迹；通过对离散轨迹进行差分计算，得到目标的运动标注。
16.可选的，在本发明第二方面的第五种实现方式中，所述标注验证整合模块具体用于：将所述第一数据集中的所述标注基于上下帧之间的连接关系和标注规范进行交叉验证，得到点云类验证信息和图像类验证信息；通过所述点云类验证信息和所述图像类验证信息采取加权算法对连续帧中的所述标注数据进行平滑处理，得到处理标注；通过采用平滑处理后的所述处理标注逐帧遍历补全第二数据集中缺失的所述标注数据，得到补全数据集。
17.可选的，在本发明第二方面的第六种实现方式中，所述数据标注装置还包括模型训练模块，所述模型训练模块具体用于：收集预处理后的样本数据集，将所述样本数据集随机屏蔽部分样本语义分割标注和/或样本目标检测标注和/或样本目标跟踪标注输入至所述待训练自动标注模型，得到所述待训练筛选模型的预测标注数据，其中，所述预测标注数据包括预测语义分割标注和/或预测目标检测标注和/或预测目标跟踪标注，所述样本数据集还包括当次执行完补全方法的所述补全数据集；所述待训练自动标注模型还包括当次执
行完补全方法的所述自动标注模型；基于所述预测语义分割标注与所述样本语义分割标注计算预设的语义分割交叉熵损失函数，得到语义分割交叉熵损失函数值；基于所述预测目标检测标注和/或所述预测目标跟踪标注与所述样本目标检测标注和/或所述样本目标跟踪标注计算预设的目标检测交叉熵损失函数，得到目标检测交叉熵损失函数值；判断所述语义分割交叉熵损失函数值和/或所述目标检测交叉熵损失函数值是否小于预设阈值；若否，则基于所述语义分割交叉熵损失函数值和/或所述目标检测交叉熵损失函数值调整所述待训练自动标注模型的模型参数，并给予随机屏蔽部分样本语义分割标注和/或样本目标检测标注和/或样本目标跟踪标注的所述样本数据集重新进行模型训练，直至所述语义分割交叉熵损失函数值和/或所述目标检测交叉熵损失函数值小于预设阈值；若是，则将所述待训练筛选模型更新为自动标注模型。
18.本发明第三方面提供了一种数据标注设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述数据标注设备执行上述的数据标注方法的步骤。
19.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的数据标注方法的步骤。
20.本发明的技术方案中，将待标注数据集输入预设的自动标注模型，得到第一数据集，其中，所述第一数据集包括至少一帧标注数据，所述标注数据包含一个或多个标注；将所述第一数据集中相同帧的标注数据进行标注之间的融合补全，得到第二数据集；确定所述第二数据集中存在冗余标注的标注数据，并根据所述存在冗余标注的标注数据对所述第二数据集进行交叉验证整合，得到补全数据集。本方法中针对标注数据存在关联性的方式，通过采集器获取点云和图像数据，使用多模态标注交叉验证并丰富语义信息，生成目标速度，加速度等时序信息，并将多模态标注融合，在平滑标注且增加标注精确度的同时丰富标注语义信息。
附图说明
21.图1为本发明实施例中数据标注方法的第一个实施例示意图；
22.图2为本发明实施例中数据标注方法的第二个实施例示意图；
23.图3为本发明实施例中数据标注方法的第三个实施例示意图；
24.图4为本发明实施例中数据标注方法的第四个实施例示意图；
25.图5为本发明实施例中数据标注装置的一个实施例示意图；
26.图6为本发明实施例中数据标注装置的另一个实施例示意图；
27.图7为本发明实施例中数据标注设备的一个实施例示意图。
具体实施方式
28.本发明的技术方案中，将待标注数据集输入预设的自动标注模型，得到第一数据集，其中，所述第一数据集包括至少一帧标注数据，所述标注数据包含一个或多个标注；将所述第一数据集中相同帧的标注数据进行标注之间的融合补全，得到第二数据集；确定所述第二数据集中存在冗余标注的标注数据，并根据所述存在冗余标注的标注数据对所述第
二数据集进行交叉验证整合，得到补全数据集。本方法中针对标注数据存在关联性的方式，通过采集器获取点云和图像数据，使用多模态标注交叉验证并丰富语义信息，生成目标速度，加速度等时序信息，并将多模态标注融合，在平滑标注且增加标注精确度的同时丰富标注语义信息。
29.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中数据标注方法的第一个实施例包括：
31.101，将待标注数据集输入预设的自动标注模型，得到第一数据集；
32.在本实施例中，待标注数据集至少包括一帧的标注数据，所述标注数据包括原有标注数据和自动标注数据，所述原有标注数据包括至少任意一个点云目标检测标注、点云目标跟踪标注、点云语义分割标注、点云语义地图标注、图像目标检测标注、图像目标跟踪标注、图像语义分割标注；
33.具体的，在将待标注数据集输入至预设的自动标注模型之前，应当对待标注数据集进行筛选，使得待标注数据集必须包含激光雷达位姿、激光雷达点云、相机位姿和相机图像。
34.具体的，自动标注模型为已经训练完成的神经网络模型，因对自动标注的时间和多任务平衡没有要求，主要的优化点偏向于自动标注模型的预测准确度。例如预测待标注数据集的2d目标检测标注，对原始图片进行目标检测后，其输出可以和图像目标检测标注一同作为模型的监督信号，直接用于模型训练或用于后续的融合补全流程。其中自动标注的可靠性可以通过模型的不确定性预测获得，或者通过人工筛选输入数据场景获得。
35.102，将第一数据集中相同帧的标注数据进行标注之间的融合补全，得到第二数据集；
36.在本实施例中，通过融合补全语义分割信息、融合补全目标检测信息和采用时序信息补全运动标注的方式，对标注数据进行融合补全。
37.具体的，在针对目标的速度标注上，例如在目标检测信息上通过计算目标在单位时间内的位移距离，并通过点云和图像两种方式进行融合，可以得到目标在任意一帧的速度标注，其中，在目标检测信息的融合补全中，因数据源的不同(图像和点云)，可以通过两者间的相互验证，将任意一方缺失的、错误的数据进行修正，得到准确的速度标注。同理，在融合补全语义分割信息、融合补全目标检测信息和采用时序信息补全的过程中，均会产生大量的冗余数据，用以交叉验证，从而获得更准确的标注数据。
38.103，确定第二数据集中存在冗余标注的标注数据，并根据存在冗余标注的标注数据对第二数据集进行交叉验证整合，得到补全数据集。
39.在本实施例中，通过自动标注模型得到的第二数据集中得到的标注数据、通过融
合补全之后的标注数据和待标注数据集中原有的标注数据间，均存在冗余信息可以被用于连续帧之间和不同的标注之间用以交叉验证，其中，冗余标注为在融合补全的过程中，生成的重复、或存在错误的标注数据。其中，错误可以是基于原始数据集中随机出现的错误数值，例如，速度传感器采集到的速度信息集在某一帧中得到100km/h的数据，但是结合上下帧信息如60km/h，可将其中的错误数据进行交叉验证并补全。
40.具体的，在目标检测信息方面，针对同一个目标在第二数据集内不同帧的标注中，均存在点云标注的类别信息以及图像标注的类别信息，通过对点云标注的类别信息和图像标注的类别信息进行加权，对不同帧间的标注进行平滑处理，修正补全其中可能存在的错误标注或者是缺失的标注。例如，在一段连续帧中，一个目标在某一帧拥有图像标注，但在部分帧中由于遮挡或其他原因导致失去详细的语义信息标注或由于模糊，导致标注错误，可通过交叉验证整合的方式对部分帧中存在缺失标注或错误标注的情况进行修正。
41.其中，在目标检测信息方面，并不限定目标的数量，在此仅针对单一的目标进行说明，同理可运用在一个或以上个目标上，进行上述的修正过程。
42.在本实施例中，将待标注数据集输入预设的自动标注模型，得到第一数据集，其中，所述第一数据集包括至少一帧标注数据，所述标注数据包含一个或多个标注；将所述第一数据集中相同帧的标注数据进行标注之间的融合补全，得到第二数据集；确定所述第二数据集中存在冗余标注的标注数据，并根据所述存在冗余标注的标注数据对所述第二数据集进行交叉验证整合，得到补全数据集。本方法中针对标注数据存在关联性的方式，通过采集器获取点云和图像数据，使用多模态标注交叉验证并丰富语义信息，生成目标速度，加速度等时序信息，并将多模态标注融合，在平滑标注且增加标注精确度的同时丰富标注语义信息。
43.请参阅图2，本发明实施例中数据标注方法的第二个实施例包括：
44.201，将待标注数据集输入预设的自动标注模型，得到第一数据集；
45.202，判断相同帧的标注数据中是否同时存在点云目标检测标注和图像目标检测标注；
46.203，若是，则获取第一数据集中每一帧标注数据对应的相机位姿信息、激光雷达位姿信息和点云目标检测标注中的一个或多个3d检测框；
47.204，根据相机位姿信息和激光雷达位姿信息，构建相同帧中三维坐标系和平面坐标系之间的立体平面映射关系；
48.在本实施例中，通过提取点云目标检测信息中的点云目标检测标注中，针对目标的3d检测框的三维坐标，通过坐标点之间的映射公式，得到目标在图像平面的2d检测框。
49.具体的，坐标之间的映射公式为：
50.x
max
＝max(p
1x
，p
2x
，...p
8x
)
51.x
min
＝min(p
1x
，p
2x
，...p
8x
)
52.y
max
＝max(p
1y
，p
2y
，...p
8y
)
53.y
min
＝min(p
1y
，p
2y
，...p
8y
)
54.通过上述映射公式得到基于点云对目标构建3d检测框映射而来的2d检测框坐标。
55.205，根据立体平面映射关系将3d检测框转化为对应的2d检测框；
56.206，判断2d检测框与图像目标检测标注的重叠率是否高于预设阈值；
57.在本实施例中，重叠率的计算可以是通过计算映射后的坐标与图像目标检测标注中对应目标的坐标，通过计算对应各个坐标点之差，划分容许存在的预设的重叠率阈值；又或者通过计算2d检测框与图像目标检测标注的重叠面积之比和图像目标检测标注与2d检测框的重叠面积之比，通过校验两者相互之比，防止出现其中一方被包含于另一方，且任意一方未能框选完整目标或框选面积远大于目标面积的特殊情况。
58.207，若高于，则将点云目标检测标注检测的物体与图像目标检测标注检测的目标标记为同一目标，得到第二数据集；
59.在本实施例中，若计算重叠率高于预设阈值时，可认定点云目标检测标注的目标与图像目标检测标注的目标为同一个目标，在后续步骤中，将对该同一个目标共用点云目标检测标注和图像目标检测标注。
60.208，确定第二数据集中存在冗余标注的标注数据，并根据存在冗余标注的标注数据对第二数据集进行交叉验证整合，得到补全数据集。
61.本实施例在前实施例的基础上，详细描述了判断相同帧的标注数据中是否同时存在点云目标检测标注和图像目标检测标注；若是，则基于预设的坐标系将相同帧的标注数据包含的点云目标检测标注转化为2d检测框；判断所述2d检测框与所述图像目标检测标注的重叠率是否高于预设阈值；若高于，则将所述点云目标检测标注检测的物体与所述像目标检测标注检测的目标标记为同一目标，得到所述第二数据集的过程。通过本实施例相较于传统方法，在通过计算对应各个坐标点之差，划分容许存在的预设的重叠率阈值；又或者通过计算2d检测框与图像目标检测标注的重叠面积之比和图像目标检测标注与2d检测框的重叠面积之比，通过校验两者相互之比，防止出现其中一方被包含于另一方，且任意一方未能框选完整目标或框选面积远大于目标面积的特殊情况。
62.请参阅图3，本发明实施例中数据标注方法的第三个实施例包括：
63.301，将待标注数据集输入预设的自动标注模型，得到第一数据集；
64.302，判断相同帧的标注数据中是否同时存在点云语义分割标注或点云语义地图标注或图像语义分割标注中的至少两个标注；
65.在本实施例中，当第一数据集中的任意一帧内，同时存在点云语义分割标注或点云语义地图标注或图像语义分割标注其中任意两类标注，则可以通过采用对应于当前帧的相机位姿和激光雷达位姿，得到点云的坐标系和图像的坐标系之间的投影关系。具体的投影关系公式如下：
66.pt(x,y,z)＝img(u,v)
67.303，若同时存在点云语义分割标注和图像语义分割标注，则根据立体平面映射关系构建点云语义分割标注对应的点云激光点和图像语义分割标注对应的相机像素之间的映射关系；
68.具体的，通过每个激光点在3d空间的位置(x,y,z)可以计算出投影在相机平面后最接近的图像像素坐标(u,v)。通过该对应关系，可以将激光点和像素进行匹配，将图像对应像素点(u，v)的语义分割标注赋予对应激光点。同样，点云语义分割标注可以通过语义地图标注进行优化，例如通过路沿标注优化车道/人行道的点云分割结果。
69.融合后在俯视图中以自车为起点，以一定角度间隔发出射线进行扫描，当遇到运动物体标注框时设置为被遮挡区域，如行人/车辆等。其他情况下遇到语义分割标注的不可
行驶区域或静止物体标注时设置为不可行驶区域，如路沿，交通锥等。其中，语义分割标注包含点云语义分割标注和图像语义分割标注。
70.304，根据映射关系对点云激光点与相机像素之间进行标注补全，得到第二数据集；
71.具体的，通过点云目标检测标注和图像目标检测标注中共同确认任意的目标，则可以将被确定的目标对应的点云目标检测标注和图像目标检测标注，以被确定的目标为连接关系，进行对被确定的目标进行标注补全。
72.305，若同时存在点云语义分割标注和点云语义地图标注，则根据点云语义分割标注对语义地图标注进行优化，得到第二数据集；
73.306，将第一数据集中的标注基于上下帧之间的连接关系和标注规范进行交叉验证，得到点云类验证信息和图像类验证信息；
74.具体的，使用逐帧标注及时间戳，计算物体运动学信息(速度，加速度等) 作为监督数据，通过帧与帧之间的连接关系，通过时间戳的补充，可以采用得到的点云类验证信息和图像类验证信息对缺失部分的标注数据进行补全。
75.307，通过点云类验证信息和图像类验证信息采取加权算法对连续帧中的标注数据进行平滑处理，得到处理标注；
76.308，通过采用平滑处理后的处理标注逐帧遍历补全第二数据集中缺失的标注数据，得到补全数据集。
77.具体的，例如存在10帧连续帧，当中对运动物体在速度上的标注，每一帧分别为{60,61,59，0，62，0，0,60,58,60}的情况下，其中0可以意为对应帧中的运动物体对应的速度标注缺失，通过对这组数据进行平滑处理，处理后得到的处理标注可以为{60,60,60,60,60,60,60,60,60,60}。
78.本实施例在前实施例的基础上，详细描述了将所述第一数据集中的所述标注基于上下帧之间的连接关系和标注规范进行交叉验证，得到点云类验证信息和图像类验证信息；通过所述点云类验证信息和所述图像类验证信息采取加权算法对连续帧中的所述标注数据进行平滑处理，得到处理标注；通过采用平滑处理后的所述处理标注逐帧遍历补全第二数据集中缺失的所述标注数据，得到补全数据集的过程。通过本实施例相较于传统方法，细化了同一目标在不同帧的标注中均存在点云标注的类别信息及图像标注的类别信息，进行加权即可对标注进行平滑统一，同时修正可能存在的错误标注的具体方法。
79.请参阅图4，本发明实施例中数据标注方法的第四个实施例包括：
80.401，将待标注数据集输入预设的自动标注模型，得到第一数据集；
81.402，将第一数据集中相同帧的标注数据进行标注之间的融合补全，得到第二数据集；
82.403，逐帧对至少包含点云目标检测标注和图像目标检测标注的第一数据集构建对应于目标的时序信息；
83.在本实施例中，当存在多帧时序相关的标注时，通过建模完成对物体运动状态的标注。使用匹配算法或者已有的目标跟踪标注数据，可以得到同一物体在每一帧的时序信息(x,y,z,t)即物体在时刻t的空间坐标，多帧信息使用线性插值等方式进行融合即可得到物体的离散轨迹。通过对轨迹进行差分计算即可得到物体的速度，角速度，加速度等运动信
息。
84.404，结合逐帧的时序信息，融合得到目标的离散轨迹；
85.在本实施例中，通过逐帧间的时序信息，可以将逐个帧内的目标数据联系起来，得到包含时间的离散型数据轨迹，即针对任意目标的离散轨迹。
86.在另一方面，目标运动轨迹的补全不仅可以使用线性插值，也可以加入车辆模型进行计算融合得到目标的离散轨迹。
87.具体的，线性内插法是指两个量之间如果存在线性关系，若a(x1，y1),b (x2，y2)为这条直线上的两个点，已知另一点p的y0值，那么利用他们的线性关系即可求得p点的对应值x0。
88.405，通过对离散轨迹进行差分计算，得到目标的运动标注；
89.在本实施例中，实际采集得到的逐帧标注数据因设备上的误差、干扰等因素，所得到的的目标的轨迹信息呈现离散状态，通过对得到的离散轨迹进行差分运算，在不妨碍结果有效性的前提下，转换成理想状态下的计算方式，得到近似且平滑的数值。
90.406，确定第二数据集中存在冗余标注的标注数据，并根据存在冗余标注的标注数据对第二数据集进行交叉验证整合，得到补全数据集；
91.407，收集预处理后的样本数据集，将样本数据集随机屏蔽部分样本语义分割标注和/或样本目标检测标注和/或样本目标跟踪标注输入至待训练自动标注模型，得到待训练筛选模型的预测标注数据；
92.408，基于预测语义分割标注与样本语义分割标注计算预设的语义分割交叉熵损失函数，得到语义分割交叉熵损失函数值；
93.在本实施例中，目标检测交叉熵损失函数的计算公式为：
[0094][0095]
409，基于预测目标检测标注和/或预测目标跟踪标注与样本目标检测标注和/ 或样本目标跟踪标注计算预设的目标检测交叉熵损失函数，得到目标检测交叉熵损失函数值；
[0096]
在本实施例中，语义分割交叉熵损失函数的计算公式为：
[0097][0098]
410，判断语义分割交叉熵损失函数值和/或目标检测交叉熵损失函数值是否小于预设阈值；
[0099]
411，若否，则基于语义分割交叉熵损失函数值和/或目标检测交叉熵损失函数值调整待训练自动标注模型的模型参数，并给予随机屏蔽部分样本语义分割标注和/或样本目标检测标注和/或样本目标跟踪标注的样本数据集重新进行模型训练，直至语义分割交叉熵损失函数值和/或目标检测交叉熵损失函数值小于预设阈值；
[0100]
412，若是，则将待训练筛选模型更新为自动标注模型。
[0101]
本实施例在前实施例的基础上，详细描述了收集预处理后的样本数据集，将所述样本数据集随机屏蔽部分样本语义分割标注和/或样本目标检测标注和/或样本目标跟踪标注输入至所述待训练自动标注模型，得到所述待训练筛选模型的预测标注数据，其中，所述预测标注数据包括预测语义分割标注和/或预测目标检测标注和/或预测目标跟踪标注，
所述样本数据集还包括当次执行完补全方法的所述补全数据集；所述待训练自动标注模型还包括当次执行完补全方法的所述自动标注模型；基于所述预测语义分割标注与所述样本语义分割标注计算预设的语义分割交叉熵损失函数，得到语义分割交叉熵损失函数值；基于所述预测目标检测标注和/或所述预测目标跟踪标注与所述样本目标检测标注和/或所述样本目标跟踪标注计算预设的目标检测交叉熵损失函数，得到目标检测交叉熵损失函数值；判断所述语义分割交叉熵损失函数值和/或所述目标检测交叉熵损失函数值是否小于预设阈值；若否，则基于所述语义分割交叉熵损失函数值和/或所述目标检测交叉熵损失函数值调整所述待训练自动标注模型的模型参数，并给予随机屏蔽部分样本语义分割标注和/或样本目标检测标注和/或样本目标跟踪标注的所述样本数据集重新进行模型训练，直至所述语义分割交叉熵损失函数值和/或所述目标检测交叉熵损失函数值小于预设阈值；若是，则将所述待训练筛选模型更新为自动标注模型的过程。通过阐明自动标注模型的训练过程，明确了训练中调整损失函数的具体细节，提升模型的准确性。
[0102]
上面对本发明实施例中数据标注方法进行了描述，下面对本发明实施例中数据标注装置进行描述，请参阅图5，本发明实施例中数据标注装置一个实施例包括：
[0103]
自动标注模块501，用于将待标注数据集输入预设的自动标注模型，得到第一数据集，其中，所述第一数据集包括至少一帧标注数据，所述标注数据包含一个或多个标注；
[0104]
标注融合补全模块502，用于将所述第一数据集中相同帧的标注数据进行标注之间的融合补全，得到第二数据集；
[0105]
标注验证整合模块503，用于确定所述第二数据集中存在冗余标注的标注数据，并根据所述存在冗余标注的标注数据对所述第二数据集进行交叉验证整合，得到补全数据集。
[0106]
本发明实施例中，数据标注装置运行上述数据标注方法，包括，获取包含节点的图结构，其中，所述节点包含待预测节点和已知节点；基于所述图结构构建对应的图卷积网络模型，并将所述节点输入至所述图卷积网络模型，计算得到所述图结构中各所述节点的节点注意力；基于所述节点注意力构造各所述节点对应的衰减因子；基于所述衰减因子将所有所述节点进行消息聚合，得到所述待预测节点的第一标签。本方法通过获取包含待预测节点的图结构，输入至预先训练好的图卷积网络模型得到节点注意力，并基于节点注意力计算衰减因子，在通过确定衰减因子的数值对节点进行消息聚合得到待预测节点的第一标签，整个过程有了更好的推理性能和更通用的预训练嵌入表示，可有效用于多种下游任务，是原来极大以来手工调参的过程转变为可大规模、可复制的工业生产模式。
[0107]
请参阅图6，本发明实施例中数据标注装置的第二个实施例包括：
[0108]
自动标注模块501，用于将待标注数据集输入预设的自动标注模型，得到第一数据集，其中，所述第一数据集包括至少一帧标注数据，所述标注数据包含一个或多个标注；
[0109]
标注融合补全模块502，用于将所述第一数据集中相同帧的标注数据进行标注之间的融合补全，得到第二数据集；
[0110]
标注验证整合模块503，用于确定所述第二数据集中存在冗余标注的标注数据，并根据所述存在冗余标注的标注数据对所述第二数据集进行交叉验证整合，得到补全数据集。
[0111]
在本实施例中，所述标注融合补全模块502具体用于：
[0112]
目标检测判断单元5021，判断相同帧的标注数据中是否同时存在点云目标检测标注和图像目标检测标注；平面检测框转化单元5022，若是，则基于预设的坐标系将相同帧的标注数据包含的点云目标检测标注转化为2d检测框；重叠率判断单元5023，判断所述2d检测框与所述图像目标检测标注的重叠率是否高于预设阈值；第二数据集获取单元5024，若高于，则将所述点云目标检测标注检测的物体与所述像目标检测标注检测的目标标记为同一目标，得到所述第二数据集。
[0113]
在本实施例中，所述平面检测框转化单元5022具体用于：
[0114]
获取所述第一数据集中每一帧标注数据对应的相机位姿信息、激光雷达位姿信息和所述点云目标检测标注中的一个或多个3d检测框；根据所述相机位姿信息和所述激光雷达位姿信息，构建相同帧中三维坐标系和平面坐标系之间的立体平面映射关系；根据所述立体平面映射关系将所述3d检测框转化为对应的所述2d 检测框。
[0115]
在本实施例中，所述标注融合补全模块502具体还用于：
[0116]
判断相同帧的标注数据中是否同时存在点云语义分割标注或点云语义地图标注或图像语义分割标注中的至少两个标注；若同时存在点云语义分割标注和图像语义分割标注，则根据所述立体平面映射关系构建所述点云语义分割标注对应的点云激光点和所述图像语义分割标注对应的相机像素之间的映射关系；根据所述映射关系对所述点云激光点与所述相机像素之间进行标注补全，得到第二数据集；若同时存在点云语义分割标注和点云语义地图标注，则根据所述点云语义分割标注对所述语义地图标注进行优化，得到第二数据集。
[0117]
在本实施例中，所述数据标注装置还包括运动标注获取模块504，所述运动标注获取模块504具体用于：
[0118]
逐帧对至少包含所述点云目标检测标注和所述图像目标检测标注的所述第一数据集构建对应于目标的时序信息；结合逐帧的时序信息，融合得到目标的离散轨迹；通过对离散轨迹进行差分计算，得到目标的运动标注。
[0119]
在本实施例中，所述数据标注装置还包括模型训练模块505，所述模型训练模块505具体用于：
[0120]
收集预处理后的样本数据集，将所述样本数据集随机屏蔽部分样本语义分割标注和/或样本目标检测标注和/或样本目标跟踪标注输入至所述待训练自动标注模型，得到所述待训练筛选模型的预测标注数据，其中，所述预测标注数据包括预测语义分割标注和/或预测目标检测标注和/或预测目标跟踪标注，所述样本数据集还包括当次执行完补全方法的所述补全数据集；所述待训练自动标注模型还包括当次执行完补全方法的所述自动标注模型；基于所述预测语义分割标注与所述样本语义分割标注计算预设的语义分割交叉熵损失函数，得到语义分割交叉熵损失函数值；基于所述预测目标检测标注和/或所述预测目标跟踪标注与所述样本目标检测标注和/或所述样本目标跟踪标注计算预设的目标检测交叉熵损失函数，得到目标检测交叉熵损失函数值；判断所述语义分割交叉熵损失函数值和/或所述目标检测交叉熵损失函数值是否小于预设阈值；若否，则基于所述语义分割交叉熵损失函数值和/或所述目标检测交叉熵损失函数值调整所述待训练自动标注模型的模型参数，并给予随机屏蔽部分样本语义分割标注和/或样本目标检测标注和/或样本目标跟踪标注的所述样本数据集重新进行模型训练，直至所述语义分割交叉熵损失函数值和/或所述
目标检测交叉熵损失函数值小于预设阈值；若是，则将所述待训练筛选模型更新为自动标注模型。
[0121]
本实施例在上一实施例的基础上，详细描述了各个模块的具体功能以及部分模块的单元构成，通过上述模块并细化了原有模块的具体作用，完善了数据标注装置的运行，提高了其运行时的可靠性以及明确了各个步骤间的实际逻辑，提高了装置的实用性。
[0122]
上面图5和图6从模块化功能实体的角度对本发明实施例中的数据标注装置进行详细描述，下面从硬件处理的角度对本发明实施例中数据标注设备进行详细描述。
[0123]
图7是本发明实施例提供的一种数据标注设备的结构示意图，该数据标注设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)710(例如，一个或一个以上处理器)和存储器 720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据标注设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在数据标注设备700上执行存储介质730中的一系列指令操作，以实现上述数据标注方法的步骤。
[0124]
数据标注设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图7示出的数据标注设备结构并不构成对本技术提供的数据标注设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0125]
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述的数据标注方法的步骤。
[0126]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0127]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括： u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(randomaccess memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0128]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。