本申请涉及自动驾驶领域,尤其涉及一种模型训练方法和基于模型的场景流估计方法。
背景技术:
1、随着自动驾驶的发展,利用神经网络模型和点云预测三维(three-dimensional,简称3d)场景流,以进行真实动态场景的模拟,已经成为优化自动驾驶技术的新思路。神经网络模型需要基于大量的3d场景流标签作为训练样本进行训练。然而,目前使用的训练样本存在质量差、获取成本高等问题,从而限制神经网络模型的训练效果。因此,如何优化训练样本,以提高用于预测3d场景流的神经网络模型的训练效果,仍然是需要解决的。
技术实现思路
1、本申请实施例提供一种模型训练方法和基于模型的场景流估计方法,用以达到优化训练样本,提高用于预测3d场景流的神经网络模型的训练效果的效果。
2、第一方面,本申请提供一种模型训练方法,应用于交通工具,所述交通工具上安装有能够采集点云的传感器,包括:
3、获取所述传感器在第n帧采集的点云为源点云,获取所述传感器在实际第n+1帧采集的点云为目标点云,n为大于零的自然数;
4、生成所述源点云的第一锚框和所述目标点云的第二锚框,并获取所述第一锚框变换至所述第二锚框所在位置时的运动参数;
5、根据所述运动参数变换所述源点云中的点,得到模拟目标点云;
6、根据所述模拟目标点云中点的位置和所述目标点云中点的位置生成运动向量,以所述运动向量为伪三维场景流标签;
7、基于所述三维场景流标签训练得到场景流估计模型。
8、在一种可能的实施方式中,所述获取所述第一锚框变换至所述第二锚框所在位置时的运动参数包括:
9、获取所述第一锚框的运动概率;
10、所述方法还包括:
11、若根据所述运动概率确定所述第一锚框为动态锚框时,将动态锚框对应的伪三维场景流标签标记为真值;
12、若根据所述运动概率确定所述第一锚框为静态锚框时,将静态锚框对应的伪三维场景流标签标记为伪值;
13、其中,仅所述真值用于训练场景流估计模型。
14、在一种可能的实施方式中,所述获取所述运动参数后,所述方法还包括:
15、对所述运动参数进行数据增强处理,所述数据增强处理包括以下一种或多种:旋转处理、平移处理、缩放处理、添加噪声处理。
16、在一种可能的实施方式中,所述获取所述运动参数后,所述方法还包括:
17、将所述传感器的噪声数据添加至所述运动参数。
18、在一种可能的实施方式中,所述获取所述传感器在第n帧采集的点云为源点云,获取所述传感器在实际第n+1帧采集的点云为目标点云后,所述方法还包括:
19、将所述源点云所在坐标系和所述目标点云所在坐标系均更换为交通工具坐标系或均转换至世界坐标系。
20、在一种可能的实施方式中,所述获取所述第一锚框变换至所述第二锚框所在位置时的运动参数包括:
21、获取所述第一锚框变换至所述第二锚框所在位置时的全局运动参数和局部运动参数;
22、所述全局运动参数至少包括锚框的旋转矩阵和平移向量;
23、所述局部运动参数至少包括锚框内点的旋转矩阵和平移向量。
24、在一种可能的实施方式中,所述方法还包括:
25、每完成一次所述场景流估计模型的训练后,均执行一次以下步骤,直到达到截止条件:
26、获取所述场景流估计模型中的损失函数的输出值;
27、以所述输出值最小化为条件,调整所述运动参数;
28、根据调整后的运动参数生成新的伪三维场景流标签;
29、基于新的伪三维场景流标签再次训练所述场景流估计模型。
30、第二方面,本申请提供一种模型训练方法,包括:
31、基于如第一方面所述的模型训练方法训练得到的场景流估计模型,对场景流进行估计。
32、第三方面,本申请提供一种模型训练装置,应用于交通工具,所述交通工具上安装有能够采集点云的传感器,包括:
33、获取模块,用于获取传感器在第n帧采集的点云为源点云,获取传感器在实际第n+1帧采集的点云为目标点云,n为大于零的自然数;
34、处理模块,用于生成源点云的第一锚框和目标点云的第二锚框,并获取所述第一锚框变换至所述第二锚框所在位置时的运动参数;
35、所述处理模块,还用于根据所述运动参数变换源点云中的点,得到模拟目标点云;
36、所述处理模块,还用于根据模拟目标点云中点的位置和目标点云中点的位置生成运动向量,以所述运动向量为伪三维场景流标签;
37、训练模型,用于基于所述三维场景流标签训练得到场景流估计模型。
38、第四方面,本申请提供一种模型训练装置,包括:
39、场景流估计模块,用于基于如第一方面所述的模型训练方法训练得到的场景流估计模型,对场景流进行估计。
40、第五方面,本申请提供一种电子设备,包括:存储器,处理器;
41、所述存储器存储计算机执行指令;
42、所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行如第一方面所述的模型训练方法,或,执行如第二方面所述的基于模型的场景流估计方法。
43、第六方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面所述的模型训练方法,或,实现如第二方面所述的基于模型的场景流估计方法。
44、第七方面,本申请提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面所述的模型训练方法,或,实现第二方面所述的基于模型的场景流估计方法。
45、本申请的实施例提供一种模型训练方法。该方法首先采样获取源点云和目标点云,生成源点云的第一锚框和目标点云的第二锚框,并估计该第一锚框变换位置时的运动参数。根据估计的该运动参数,再变换该源点云中的点,可以得到模拟目标点云。再根据模拟目标点云中点的位置和真实的目标点云中点的位置生成运动向量,该运动向量作为伪三维场景流标签用来训练场景流估计模型。
46、如此,当在真实世界采集的点云是稀疏、不完整的,无法用于训练场景流估计模型时,就可以通过有效利用真实世界采集的点云来生成伪3d场景流标签,并用伪3d场景流标签训练场景流估计模型。相较于在真实世界采集的点云,伪3d场景流标签的获取成本更低,且不存在稀疏和不完整的问题。除此之外,通过多样化的3d场景流标签,还可以提高场景的多样性,使得场景流估计模型可以预测更多样的场景。
47、除此之外,本实施例提供的自监督学习框架实现了端到端的学习框架,即允许直接从点云数据中学习到运动参数,无需中间的标注步骤,降低了伪3d场景流标签的获取成本。
1.一种模型训练方法,其特征在于,应用于交通工具,所述交通工具上安装有能够采集点云的传感器,包括:
2.根据权利要求1所述的模型训练方法,其特征在于,所述获取所述运动参数后,所述方法还包括:
3.根据权利要求1或2所述的模型训练方法,其特征在于,所述获取所述第一锚框变换至所述第二锚框所在位置时的运动参数包括:
4.根据权利要求1或2所述的模型训练方法,其特征在于,所述方法还包括:
5.一种基于模型的场景流估计方法,其特征在于,包括:
6.一种模型训练装置,其特征在于,应用于交通工具,所述交通工具上安装有能够采集点云的传感器,包括:
7.一种基于模型的场景流估计装置,其特征在于,包括:
8.一种电子设备,其特征在于,包括:存储器,处理器;
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1-4中任一项所述的模型训练方法,或,实现如权利要求5所述的基于模型的场景流估计方法。
10.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的模型训练方法,或,实现如权利要求5所述的基于模型的场景流估计方法。