一种基于多源数据集解析的智能汽车场景要素库构建方法

本发明属于自动驾驶测试，具体的说是一种基于多源数据集解析的智能汽车场景要素库构建方法。

背景技术：

1、目前基于场景的测试已经是自动驾驶汽车虚拟测试的主流方向，更完备的边缘场景能使自动驾驶汽车更好地面对难以预测、无限丰富的真实世界。在生成测试场景的流程中，明确场景要素是其中的重要一环。目前针对场景要素种类的研究较为完善，从道路、交通参与者、环境各方面的动态和静态进行了详细说明，整套体系可以描述典型场景所能包含的场景要素。但现有研究中没有考虑语义类要素，测试场景主要针对轨迹和气象要素，一方面，这些方法忽略了部分关键的语义要素，从而无法描述真实世界中存在的部分场景；另一方面，它们对无需细致量化的要素进行盲目表述，增加了整体测试空间的大小。

2、可见，有关边缘场景的构建仍然缺少较为完整的理论基础，缺乏针对语义要素的细致研究，无法满足测试的效率和数量的需求，构建系统的场景要素库可以一定程度解决这一问题。因此，亟需一种从多源数据集中提取语义和参数要素的方法架构，从而获得一种基于多源数据集解析的智能汽车场景要素库构建方法。

技术实现思路

1、为解决上述问题，本发明提供了一种基于多源数据集解析的智能汽车场景要素库构建方法，能够为测试提供全面、高效、精准的测试场景。

2、本发明技术方案结合附图说明如下：

3、一种基于多源数据集解析的智能汽车场景要素库构建方法，包括以下步骤：

4、步骤一、对现有的数据集进行分析，得到语义要素数据集，筛选的数据集包含全天候的测试时间、不同测试地点和驾驶场景；将筛选得到的自然驾驶数据集根据内容不同分为参数描述数据集和影像描述数据集两类；

5、步骤二、明确语义要素范围，对语义要素进行分类；

6、步骤三、基于目标检测方法对影像描述数据集中语义要素进行提取与解析，包含对单帧图像和连续帧视频的语义要素提取；

7、步骤四、基于统计学方法对参数描述数据集中参数要素进行提取与解析，得到数据的参数空间以及分布情况；

8、步骤五、构建本体框架，基于uml构建要素本体，本体构成基于五层结构结合语义要素特性进行改进；

9、步骤六、面向自动驾驶汽车待测试功能匹配本体中的要素，进行要素组合，从而构建出智能汽车场景要素库。

10、进一步的，所述步骤一的具体方法如下：

11、11)对现有数据集进行筛选，筛选出的数据集包含不同类别车辆的运动状态、不同测试地点和驾驶场景；其中，所述运动状态的车辆主体类型大于3种所述测试地点包括城市和乡镇；所述驾驶场景包括高速和城市快速路；

12、12)处理上述自然驾驶数据集，对自然驾驶数据集做出分类划分，将图像类数据集归为影像描述数据集，将轨迹类数据集归为参数描述数据集。

13、进一步的，所述步骤二的具体方法如下：

14、21)明确语义要素的范围，语义要素为表达场景要素中非参数化的部分，包括基础语义即测试场景中的静态结构要素和动态运动要素和特殊语义即现有场景要素无法直接描述但真实世界客观存在的对象；所述测试场景中的静态结构要素包括交通基础设施、道路基础设施和道路类型；所述测试场景中的动态运动要素包括动态对象的属性和对象与对象之间的关系属性；

15、22)通过对数据集中的语义要素进行统计分析，包含要素类型出现概率a、该要素状态出现概率b和该要素动作行为出现概率c，据此将场景特殊语义要素分为如下四类：罕见对象、常规对象异常状态、常规对象异常行为和常规对象低价值行为；所述罕见对象为在道路环境中不常见或出现频率较低的实体，具体表现为数据集中出现概率a小于5％的实体元素；所述常规对象异常状态为由于自身或外部因素，状态发生改变难以被感知系统准确识别的且出现频率较高的实体，该实体出现概率a高于5％，但实体所处状态出现概率b小于20％，表示该实体处于非常规状态；所述常规对象异常行为为表现出规则性行为的实体做出不符合常规模式的行为，即对象实体出现概率a大于5％，但该实体的动作出现概率c小于20％；所述常规对象低价值行为表现为该要素空间对测试结果无影响的行为，整体测试场景风险性较低，具体表现为瞬时的碰撞时间ttc大于10s；

16、将语义要素抽象成集合，不同类别的语义要素作为子集合；

17、a＝{a|a是所有语义要素总集合}

18、h＝{h|h是特殊语义要素中罕见对象}

19、k＝{k|k是特殊语义要素中常规对象异常状态}

20、m＝{m|m是特殊语义要素中常规对象异常行为}

21、z＝{z|z特殊语义要素中常规对象异常状态}

22、a＝h∪k∪m∪z。

23、进一步的，所述对象与对象之间的关系属包括相对位置关系和时序属性。

24、进一步的，所述步骤三的具体方法如下：

25、31)分析影像描述数据集中场景要素；基于深度学习的目标检测算法对图像进行定位和识别；采用带有特殊语义要素数据，将数据集中相关数据即特殊语义要素提取出来并进行人工语义标注，对yolov5算法进行训练和测试，提取场景中罕见对象及常规对象异常状态；

26、32)继续提取影像描述数据集中语义要素，场景是一个动态描述的过程，对常规对象异常行为进行解构。

27、进一步的，所述提取场景中罕见对象及常规对象异常状态的具体方法如下：

28、311)挑选影像数据集中罕见对象、常规对象异常状态、常规对象异常行为数据，对图像中的类别、位置、大小进行标注，标签设定为：是否为罕见对象、常规对象异常状态、常规对象异常行为数据；

29、312)将数据集划分为训练集和测试集，选取十折交叉验证方法确定测试集数量；

30、313)综合检测精度、模型大小和检测速度，选择yolov5m或yolov5l中等模型；其中，损失函数分为矩形框损失、置信度损失和分类损失，在网络的输出端进行加权求和，即得到总的损失函数；

31、矩形框损失采用ciou loss，计算公式如下：

32、

33、式中，v为衡量两个矩形框相对比例的一致性；w、h和wgt、hgt分别为预测框和真实框的宽高；

34、

35、式中，α为权重系数；iou为预测框和真实框的交并比；

36、

37、式中，ρ2(b,bgt)为预测框和真实框两中心点间的欧式距离；c为两目标框最小外接矩形的对角线长度；ciou loss＝1-ciou；式中，ciou loss为矩形框损失；ciou为完全交并比；

38、314)分类损失采用二元交叉熵损失函数bce loss，原理公式如下：

39、

40、式中，y为输入样本的标签，正样本为1，负样本为0；p为模型预测该输入样本为正样本的概率；l为bce loss；

41、315)置信度损失采用二元交叉熵损失函数bce loss，根据网格对应的预测框与真实框的ciou作为该预测框的置信度标签。

42、进一步的，所述步骤32)中，对常规对象异常行为进行解构的具体方法如下：

43、321)提取某一帧图像作为识别事件的触发条件；

44、322)把触发条件的前几帧归入事件中；

45、323)完成事件的识别后根据事件的不同内容做下一步分析，分析对象的行为特征、外形属性。

46、进一步的，所述步骤四的具体方法如下：

47、41)分析参数描述数据集中场景要素，车辆信息包括位置、速度、加速度、车长、车宽、车道；交通参与者信息包括位置、速度、方向，同时包含道路层和环境信息；其中除包含参数要素外，还包含基本语义要素；采用核密度估计方法估计其中各个参数要素的概率密度函数，核密度估计量如下：

48、

49、式中，为估计的分布密度函数；k(x)为高斯核函数；n为样本数量；h为带宽；

50、42)对参数要素空间进行优化，识别常规对象低价值行为；明确与主车相关的交通参与者，构建主车与相关交通参与者的运动学模型，计算安全距离范围，跟车场景下安全距离计算公式如下：

51、ds＝dr+(db1-db2)

52、式中，ds为主车与前车间安全距离；dr为自动驾驶汽车识别并做出反应所需的距离；db1为主车减速停止所需的距离；db2为前车减速停止所需的距离；

53、避让行人场景安全距离计算公式如下：

54、

55、式中，dp为行人和车辆两中心点间的安全距离；vp为行人速度；a为车辆减速度；tr为自动驾驶汽车识别并做出反应所需的时间；db为车辆减速停止所需的距离；l和w为车辆的长和宽；

56、如果该要素空间对测试结果无影响，即碰撞时间大于20s，则语义化描述运动状态，优化参数要素空间，相反如果对测试结果有影响，则进行正常解析过程。

57、进一步的，所述步骤五的具体方法如下：

58、51)将参数要素和语义要素合并整理实现要素的预分类；

59、52)确定本体采用基于uml自上而下的结构，本体构成道路信息层、道路基础设施层、道路信息层与道路设施层的动态变化、动态目标、环境状况五层架构进行改进，为完整表达语义要素，细化为车辆、交通设施、道路、其他交通参与者、罕见对象、环境六部分本体构成内容；

60、53)构建本体采用七步法，确定本体的领域和范围；综合现有本体概念；列出本体中相关术语；定义类及其层次结构；定义类的属性；定义属性的限制；创造实例。

61、进一步的，所述步骤六的具体方法如下：

62、61)针对不同待测功能，进行需求分析；其中自动驾驶车辆待测功能从感知、决策、控制三方面选取，考虑测试场景对待测功能的影响选取测试场景，得到基础测试场景；

63、感知功能应全面地测试传感器理解车辆周围环境的能力；决策功能应在各种情况下做出准确、安全的驾驶决策；控制功能功能涉及车辆的实际操控，包括转向、加速和制动；

64、62)分析与解构基础测试场景，匹配场景要素，基于步骤三的本体结构构建基本框架；要素本体框架层次清晰、内容完整、描述全面，对语义要素和参数要素进行了系统地说明阐述；基于要素本体内容和要素自身属性，扩充与组合语义要素，选取罕见对象、常规对象异常状态、常规对象异常行为三类语义要素；

65、63)基于对象特征属性和要素间关联匹配选取参数要素，进行参数泛化得到更多的测试场景，泛化过程排除常规对象低价值行为，最终完成要素本体实例创建。

66、本发明的有益效果为：

67、1)本发明考虑了现有测试场景中的语义要素，提出了一种从数据集分析到实际应用阶段的参数与语义要素组合测试流程，可以全面降低测试成本，提升测试效率；

68、2)本发明提供了一种智能汽车测试数据集需求定义与分析流程，通过此流程，可以快速识别该数据集对于智能汽车测试要素库构建的价值，包括提供参数要素、提供语义要素等；

69、3)本发明提供了一种针对智能汽车影像数据集的视觉分析方法，对现有yolo框架进行改进，通过设定规则，结合多帧连续识别与语义判断，可以自动识别数据集中的部分语义要素，从而有效降低要素提取难度；

70、4)本发明提供了一种考虑语义要素的uml本体构建框架，将语义要素进行关联性编码，提出罕见要素和异常行为状态特征、要素参数与语义耦合特征(与测试结果是否有影响)即常规对象低价值行为，可以对现有语义要素进行全面概括。