一种弱势目标检测的方法、系统及车辆与流程

本发明涉及自动驾驶感知，特别是涉及一种弱势目标检测的方法、系统及车辆。

背景技术：

1、随着科技的发展，汽车智能化成为关注的焦点。环境感知作为智能驾驶领域的核心技术之一，是汽车实现智能化的必经之路。感知在对周围世界建模的过程中，需要知道其他物体的地理位置、速度、运动方向、加速度等各种各样的信息，自动驾驶系统接收这些信息之后，再通过后续的规划和控制模块来对车的运动做真正的调节。其中，道路交通环境下的弱势目标检测，是车辆智能驾驶系统中环境感知的一项重要任务，也是下游进行路径规划，决策，控制的依据。

2、行人和自行车、摩托车、三轮车这一类低速行驶的交通工具所表现出的行为特点具有一定的危险性，主要包括：中途停驻型，前方车辆较多，停顿不前或犹豫不决；中途加快型，这类多半是走到马路中线后，看到汽车急速驶来，或绿灯闪烁时，加速通过；中途放慢型，这类通常先加速抢行穿越，待到达中线后发现路上没有汽车来往，于是减速稳步行进。因为其后续行为变化较大，难以准确预测和估计，且通过传感器让自动驾驶系统判断弱势群体的运动趋势并不容易。

技术实现思路

1、有鉴于此，本发明提供一种弱势目标检测的方法、系统及车辆。通过添加新的属性约束，对弱势目标添加这类新的属性约束后不仅可以更好地检测弱势目标，还能精准测距，使自动驾驶车辆可以准确识别小目标障碍物，预测估计运动趋势，更好地避障，绕障。解决了遮挡、拥挤等复杂度高，难度大的场景下，弱势目标难以精准识别的问题，极大地提升了检测精度，拥有了在复杂场景下的自动驾驶能力。

2、第一方面，本申请提供一种弱势目标检测的方法，所述方法包括：

3、采集自车周围的图像数据；

4、对采集的所述图像数据进行预处理，获得目标图像数据；

5、将所述目标图像数据输入第一预设模型，获得2d弱势目标和与所述2d弱势目标对应的属性约束；

6、将包括所述2d弱势目标和与所述2d弱势目标对应的属性约束的所述目标图像数据输入第二预设模型，获得与所述2d弱势目标对应的3d弱势目标。

7、可选地，所述方法还包括：

8、根据所述3d弱势目标，预测所述3d弱势目标与所述自车的距离，以及预测所述3d弱势目标的驾驶行为，获得预测结果；

9、根据所述预测结果，控制所述自车执行相应的控制策略。

10、可选地，所述将所述目标图像数据输入第一预设模型，获得2d弱势目标和与所述2d弱势目标对应的属性约束，包括：

11、将所述目标图像数据输入第一预设模型，获得2d弱势目标及对应的目标标识；

12、在2d弱势目标的目标标识为第一类目标标识的情况下，获得与所述第一类目标标识对应的拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束和姿态属性约束；

13、在2d弱势目标的目标标识为第二类目标标识的情况下，获得与所述第二类目标标识对应的拥挤属性约束、遮挡属性约束、截断属性约束、位置属性约束。

14、可选地，所述第一预设模型的训练过程，如下步骤：

15、获取第一预设数量的训练集和第二预设数量的测试集；

16、通过所述训练集对初始预设模型进行训练，以标注所述训练集中样本的目标标识，以及与样本的目标标识对应的属性约束；

17、通过所述测试集对训练后的所述初始预测模型进行测试，获取训练后的所述初始预测模型的准确度；

18、在所述准确度超过预设阈值时，获得所述第一预设模型；

19、其中，所述测试集中的每个样本标注有所属于的目标标识，以及与目标标识对应的属性约束。

20、可选地，所述对采集的所述图像数据进行预处理，获得目标图像数据，包括：

21、对采集的所述图像数据进行预处理，获得第一目标图像数据；

22、对所述第一目标图像数据进行图像增强处理，获得目标图像数据。

23、可选地，所述拥挤属性约束为2d弱势目标是否被障碍物所遮挡，其中所述障碍物包括：行人、骑行者、自行车、三轮车；所述遮挡属性约束为2d弱势目标是否被非障碍物所遮挡；所述截断属性约束为2d弱势目标是否被图像截断；所述位置属性约束为2d弱势目标和所述自车是否在同一高度；所述姿态属性约束为2d弱势目标的姿态。

24、可选地，采集自车周围的图像数据的图像采集设备包括多个视角的图像采集设备；

25、所述多个视角的图像采集设备，包括：前广角相机、后广角相机、前鱼眼相机、后鱼眼相机、左侧向鱼眼相机、右侧向鱼眼相机。

26、本申请提供了一种弱势目标检测的方法。通过为检测到的弱势目标添加新的属性约束，通过这类属性约束不仅可以更好地检测弱势群体，还能精准测距，使自动驾驶车辆可以准确识别小目标障碍物，预测估计运动趋势，更好地避障，绕障。解决了遮挡、拥挤等复杂度高，难度大的场景下，弱势群体难以精准识别的问题，极大地提升了检测精度，拥有了在复杂场景下的自动驾驶能力。

27、另一方面，本申请提供一种弱势目标检测的系统，所述系统包括：

28、数据获取模块，用于采集自车周围的图像数据；

29、图像预处理模块，用于对采集的所述图像数据进行预处理，获得目标图像数据；

30、第一图像识别模块，用于将所述目标图像数据输入第一预设模型，获得2d弱势目标和与所述2d弱势目标对应的属性约束；

31、第二图像识别模块，用于将包括所述2d弱势目标和与所述2d弱势目标对应的属性约束的所述目标图像数据输入第二预设模型，获得与所述2d弱势目标对应的3d弱势目标。

32、另一方面，本申请提供一种车辆，所述车辆包括如上述的弱势目标检测的系统，用于执行如上述第一第一方面提供的方法中的步骤。

技术特征：

1.一种弱势目标检测的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述目标图像数据输入第一预设模型，获得2d弱势目标和与所述2d弱势目标对应的属性约束，包括：

4.根据权利要求1所述的方法，其特征在于，所述第一预设模型的训练过程，如下步骤：

5.根据权利要求1所述的方法，其特征在于，所述对采集的所述图像数据进行预处理，获得目标图像数据，包括：

6.根据权利要求1所述的方法，其特征在于，所述拥挤属性约束为2d弱势目标是否被障碍物所遮挡，其中所述障碍物包括：行人、骑行者、自行车、三轮车；所述遮挡属性约束为2d弱势目标是否被非障碍物所遮挡；所述截断属性约束为2d弱势目标是否被图像截断；所述位置属性约束为2d弱势目标和所述自车是否在同一高度；所述姿态属性约束为2d弱势目标的姿态。

7.根据权利要求1所述的方法，其特征在于，采集自车周围的图像数据的图像采集设备包括多个视角的图像采集设备；

8.一种弱势目标检测的系统，其特征在于，所述系统包括：

9.一种车辆，其特征在于，所述车辆包括如权利要求8所述的弱势目标检测的系统，用于执行如权利要求1-7任一所述方法中的步骤。

技术总结
本申请提供一种弱势目标检测的方法、系统及车辆，所述方法包括：采集自车周围的图像数据；对采集的所述图像数据进行预处理，获得目标图像数据；将所述目标图像数据输入第一预设模型，获得2D弱势目标和与所述2D弱势目标对应的属性约束；将包括所述2D弱势目标和与所述2D弱势目标对应的属性约束的所述目标图像数据输入第二预设模型，获得与所述2D弱势目标对应的3D弱势目标。旨在通过添加新的属性约束，实现对弱势目标更为准确地检测识别。

技术研发人员：赵亚培,徐振南,秦暕,王冬林
受保护的技术使用者：毫末智行科技有限公司
技术研发日：
技术公布日：2024/1/15