点云数据均衡重采样方法、装置、目标检测设备及终端与流程

本发明涉及点云数据重采样，尤其涉及的是一种点云数据均衡重采样方法、装置、目标检测设备及终端。

背景技术：

1、目标检测感知模型大量应用于自动驾驶中，其准确性直接影响到后续算法，如跟踪，规控等的效果。而目标检测感知模型的训练效果依赖于点云数据训练集的质量。

2、由于数据采集的局限性，直接采集的点云数据中存在较为严重的长尾现象。因此需要对点云数据进行重采样。

3、现有的重采样方法通过随机采样虽然可以一定程度上增加尾部样本的数量，但总样本数增加得更多，并不能有效地降低长尾现象，且重采样数据分布更加不均衡。

技术实现思路

1、本发明的主要目的在于提供一种点云数据均衡重采样方法、装置、目标检测设备、智能终端及计算机可读存储介质，能够解决不能有效地降低长尾现象，且重采样数据分布更加不均衡的问题。

2、本发明第一方面提供一种点云数据均衡重采样方法，所述方法包括：

3、计算点云数据的用于表征数据均匀分布程度的第一均衡度；

4、基于所述点云数据，计算预设目标类集合中每个目标类的第一权重值；

5、按照所述第一权重值降序排列的顺序遍历所述预设目标类集合，获得第一当前的目标类，根据所述第一当前的目标类在所述点云数据中进行采样，获得类样本池，计算所述类样本池中每个数据帧的第二权重值，将所述第二权重值作为采样概率在所述类样本池中采样，获得所述第一当前的目标类的重采样数据并保存至样本集，所述样本集中包括所述预设目标类集合中每一目标类的重采样数据；

6、计算所述样本集的用于表征数据均匀分布程度的第二均衡度；

7、当所述第二均衡度大于所述第一均衡度时，重新执行上述遍历操作以重新获取所述样本集；

8、当所述第二均衡度小于或等于所述第一均衡度时，根据所述样本集获得重采样结果。

9、根据上述技术手段，计算了目标类的第一权重值和数据帧的第二权重值，在随机采样目标类的数据帧时，提高了重要类及重要帧的采样概率，降低长尾分布现象；还根据均衡度对比了重采样前后的数据分布情况，保证重采样结果的均衡程度，提高目标检测感知模型的训练效果。

10、可选地，计算目标数据的均衡度，包括：

11、遍历所述预设目标类集合，获得第二当前的目标类，在所述目标数据的每一帧中查找所述第二当前的目标类，累计找到所述第二当前的目标类的帧数，获得所述第二当前的目标类的类帧数，所述目标数据为所述点云数据或所述样本集；

12、根据所述预设目标类集合中所有目标类的类帧数，计算所述预设目标类集合中每一个目标类的概率；

13、基于所有的所述概率，获得所述预设目标类集合的概率分布；

14、计算所述概率分布的方差，当所述目标数据为所述点云数据时，获得所述第一均衡度，当所述目标数据为所述样本集时，获得所述第二均衡度。

15、根据上述技术手段，通过计算目标类的概率，根据所有的概率计算均衡度，相较于直接采用方差，能够在同一标准下比较重采样前后的数据分布程度，不会受到重采样前后样本数据量大小的影响，比对结果更加可靠。

16、可选地，基于所述点云数据，计算目标类的第一权重值，包括：

17、遍历所述预设目标类集合，获得第三当前的目标类，在所述点云数据的每一帧中查找所述第三当前的目标类，累计找到所述第三当前的目标类的帧数，获得所述第三当前的目标类的类帧数；

18、根据所述预设目标类集合中所有目标类的类帧数，计算所述预设目标类集合中每一个目标类的重要性评估值，所述重要性评估值与所述类帧数之间反相关；

19、根据所述目标类的重要性评估值，获得所述第一权重值。

20、根据上述技术手段，采用各个目标类的类帧数来计算每一个目标类的第一权重值，适用于点云数据，能够准确地评估点云数据中各个目标类的权重。

21、可选地，所述根据所述目标类的重要性评估值，获得所述第一权重值，包括：

22、根据所述预设目标类集合中所有目标类的重要性评估值，对所述目标类的重要性评估值进行归一化，获得所述第一权重值。

23、根据上述技术手段，归一化处理后，使得目标类的第一权重值更加标准，有利于比较。

24、可选地，计算所述类样本池中的数据帧的第二权重值，包括：

25、枚举所述数据帧中出现的目标类，获得类目标集合；

26、从所述类目标集合中剔除所述第一当前的目标类；

27、累计所述类目标集合中每个目标类的所述第一权重值，获得所述数据帧的第二权重值并进行归一化处理。

28、根据上述技术手段，通过数据帧中其他目标类的第一权重值来计算数据帧的第二权重值，能够准确客观地衡量数据帧的重要性。

29、可选地，在所述类样本池中采样，获得所述第一当前的目标类的重采样数据，包括：

30、根据所述样本集中包含所述第一当前的目标类的帧数，确定采样数量；

31、基于所述采样数量，在所述类样本池中采样，获得所述第一当前的目标类的重采样数据。

32、根据上述技术手段，通过动态确定采样数量，能够减少目标类的样本数量，避免重采样后的样本数据量激增的情形。

33、可选地，所述根据所述样本集中包含所述第一当前的目标类的帧数，确定采样数量，包括：

34、当所述样本集中的数据帧的总数小于预设的平均帧数时，将预设的平均帧数设为所述采样数量；

35、否则，累计所述样本集中包含所述第一当前的目标类的帧数，获得已采帧数，当所述已采帧数小于预设的平均帧数时，将预设的平均帧数与所述已采帧数的差值设为所述采样数量。

36、根据上述技术手段，根据预设的平均帧数和样本集中包含第一当前的目标类的帧数来动态确定采样数量，既能确保样本集中各个目标类的帧数满足重采样的要求，又能避免重采样后的样本数据量激增的情形。

37、可选地，所述根据所述样本集获得重采样结果，包括：

38、将所述样本集保存至采样池；

39、重新执行上述遍历操作，获取到下一个样本集，计算所述下一个样本集的均衡度，获得第三均衡度，当所述第三均衡度小于所述第一均衡度时，将所述下一个样本集保存至所述采样池，直至所述采样池中的样本集的数量等于预设方案数；

40、将所述采样池中均衡度最小的样本集设为所述重采样结果。

41、根据上述技术手段，通过重采样出多个样本集，然后选择均衡度最小的样本集，进一步保证了重采样结果分布均衡，提高目标检测感知模型的训练效果。

42、本发明第二方面提供一种点云数据均衡重采样装置，其中，上述装置包括：

43、均衡度计算模块，用于计算点云数据的第一均衡度以及计算所述样本集的第二均衡度，所述第一均衡度和所述第二均衡度均用于表征数据均匀分布程度；

44、类重要性模块，用于基于所述点云数据，计算预设目标类集合中每个目标类的第一权重值；

45、样本集模块，用于按照所述第一权重值降序排列的顺序遍历所述预设目标类集合，获得第一当前的目标类，根据所述第一当前的目标类在所述点云数据中进行采样，获得类样本池，计算所述类样本池中每个数据帧的第二权重值，将所述第二权重值作为采样概率在所述类样本池中采样，获得所述第一当前的目标类的重采样数据并保存至样本集，所述样本集中包括所述预设目标类集合中每一目标类的重采样数据；

46、结果模块，用于当所述第二均衡度大于所述第一均衡度时，重新执行上述遍历操作以重新获取所述样本集；当所述第二均衡度小于或等于所述第一均衡度时，根据所述样本集获得重采样结果。

47、可选的，所述均衡度计算模块包括遍历单元和均衡度单元，所述遍历单元用于遍历所述预设目标类集合，获得第二当前的目标类，在所述点云数据或所述样本集的每一帧中查找所述第二当前的目标类，累计找到所述第二当前的目标类的帧数，获得所述第二当前的目标类的类帧数；所述均衡度单元用于根据所述预设目标类集合中所有目标类的类帧数，计算所述预设目标类集合中每一个目标类的概率，基于所有的所述概率，获得所述预设目标类集合的概率分布，计算所述概率分布的方差，获得所述均衡度。

48、可选的，所述类重要性模块包括遍历单元和权重值单元，所述遍历单元用于遍历所述预设目标类集合，获得第三当前的目标类，在所述点云数据的每一帧中查找所述第三当前的目标类，累计找到所述第三当前的目标类的帧数，获得所述第三当前的目标类的类帧数；所述权重值单元用于根据所述预设目标类集合中所有目标类的类帧数，计算所述预设目标类集合中每一个目标类的重要性评估值，所述重要性评估值与所述类帧数之间反相关，根据所述目标类的重要性评估值，获得所述第一权重值。

49、可选的，所述样本集模块包括帧重要性单元，所述帧重要性单元用于枚举所述类样本池中的数据帧中出现的目标类，获得类目标集合，从所述类目标集合中剔除所述第一当前的目标类，累计所述类目标集合中每个目标类的所述第一权重值，获得所述数据帧的第二权重值并进行归一化处理。

50、可选的，所述样本集模块包括采样数量单元，所述采样数量单元用于当所述样本集中的数据帧的总数小于预设的平均帧数时，将预设的平均帧数设为所述采样数量；否则，累计所述样本集中包含所述第一当前的目标类的帧数，获得已采帧数，当所述已采帧数小于预设的平均帧数时，将预设的平均帧数与所述已采帧数的差值设为所述采样数量。

51、可选的，还包括采样池模块，所述采样池模块用于保存所述样本集，当所述采样池中的样本集的数量小于预设方案数时，重新执行上述遍历操作，获取到下一个样本集，计算所述下一个样本集的均衡度，获得第三均衡度，当所述第三均衡度小于所述第一均衡度时，将所述下一个样本集保存至所述采样池，直至所述采样池中的样本集的数量等于预设方案数，将所述采样池中均衡度最小的样本集设为所述重采样结果。

52、本发明第三方面提供一种用于自动驾驶的目标检测设备，所述目标检测设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的目标检测感知模型，所述目标检测感知模型训练时采用的训练样本为执行上述任意一项所述点云数据均衡重采样方法获得的样本数据。

53、本发明第四方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的点云数据均衡重采样程序，上述点云数据均衡重采样程序被上述处理器执行时实现任意一项上述点云数据均衡重采样方法的步骤。

54、本发明第五方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有点云数据均衡重采样程序，上述点云数据均衡重采样程序被处理器执行时实现任意一项上述点云数据均衡重采样方法的步骤。

55、由上可见，本发明的点云数据均衡重采样方法、装置、目标检测设备、智能终端及计算机可读存储介质，通过计算目标类的权重值和数据帧的权重值，在随机采样目标类的数据帧时，提高了重要类及重要帧的采样概率，降低长尾分布现象，并能减少目标类的样本数量，避免重采样的样本数据量激增的情形；还根据针对重采样数据专门设计的均衡度指标对比了重采样前后的数据分布情况，确保重采样的样本数据的均衡程度，提高目标检测感知模型的训练效果。