一种障碍物的光流测速方法、系统、车辆及存储介质与流程

本发明涉及自动驾驶，具体涉及一种障碍物的光流测速方法、系统、车辆及存储介质。

背景技术：

1、在自动驾驶领域，障碍物的速度信息对于自动驾驶系统来说至关重要。通过准确测量障碍物的速度，自动驾驶系统可以预测障碍物未来的位置和轨迹，从而避免碰撞和事故，光流是计算机视觉中用于描述图像序列中像素运动的概念，可以用于估计物体或场景中的运动速度。

2、然而，现有的光流测速常常计算的是自车的速度，通过自车的前视车载摄像头拍摄静态目标，利用静态目标的光流来计算自车的位移和速度等信息，对于目标车辆的速度并未深入研究。此外，即使有对目标车辆的光流测速，其计算出来的速度也是目标车辆相对自车的相对速度，为了获得其绝对速度，需要将该相对速度与自车的速度求矢量和，这会使目标车辆的绝对速度计算依赖自车速度的速度值，进而导致目标车辆的绝对速度受到自车速度累计误差的影响；并且计算得到的该速度为像素速度，对于后续目标车辆的使用模块来说并不直观。

3、综上，现有光流测速存在计算误差，不能实现目标车辆绝对速度的高效计算，以及测速结果的解释性和可用性较差。

技术实现思路

1、有鉴于此，本发明提供了一种障碍物的光流测速方法、系统、车辆及存储介质，以解决上述技术背景中提出现有技术中存在计算误差，不能实现目标车辆绝对速度的高效计算，以及测速结果的解释性和可用性较差的问题。

2、第一方面，本发明提供了一种障碍物的光流测速方法，方法包括：

3、获取自车周围包含目标障碍物的相邻两帧图像；

4、分别从相邻两帧图像中提取车道线数据和目标障碍物接地点数据；

5、对相邻两帧图像进行光流估计，并分别提取车道线数据对应的第一光流和目标障碍物接地点数据对应的第二光流；

6、基于车道线数据和第一光流确定单应矩阵，单应矩阵表示相邻两帧图像的地面转换关系；

7、基于目标障碍物接地点数据、第二光流和单应矩阵，确定目标障碍物接地点数据对应的绝对光流，绝对光流为目标障碍物在相邻两帧图像上的位移；

8、对绝对光流进行坐标转换，并基于相邻两帧图像的采样时间确定目标障碍物的绝对速度。

9、本发明通过自车运动光流值获取自车位姿进而计算目标位姿，从而转到对目标障碍物速度的求解，结合障碍物上有效特征点的光流值，求解出目标障碍物的绝对光流值，并基于坐标转换关系最终计算出目标障碍物的绝对速度。该方法能够降低光流测速的计算误差，实现了目标障碍物绝对速度的高效计算，保障了光流测速结果的准确性、解释性和可用性。

10、在一种可选的实施方式中，相邻两帧图像包括当前帧图像和下一帧图像；从相邻两帧图像中提取目标障碍物接地点数据，包括：

11、对当前帧图像和下一帧图像分别进行目标检测，得到目标障碍物对应的检测框数据，记为第一检测框和第二检测框；

12、在第一检测框和第二检测框中分别提取与路面交接边对应的数据点，对应得到第一接地点集和第二接地点集；

13、判断第一接地点集中各数据点是否满足第一预设阈值范围，并在数据点满足第一预设阈值范围时，将数据点确定为当前帧图像对应的目标障碍物接地点数据；

14、判断第二接地点集中各数据点是否满足第二预设阈值范围，并在数据点满足第二预设阈值范围时，将数据点确定为下一帧图像对应的目标障碍物接地点数据。

15、本发明通过对相邻两帧图像进行目标检测，并基于检测结果与路面交接边确定对应的接地点，并将该接地点与预设阈值范围进行判断来获取目标障碍物接地点数据，能够提高目标障碍物接地点数据的精度和质量，有助于提高光流测速的计算精度。

16、在一种可选的实施方式中，从相邻两帧图像中提取车道线数据，包括：

17、对当前帧图像和下一帧图像分别进行目标分割，对应得到第一车道线点集和第二车道线点集；

18、从第一车道线点集中提取车道线相交位置对应的第一数据，并基于第一数据从第一车道线点集中提取当前帧图像对应的车道线数据；

19、从第二车道线点集中提取车道线相交位置对应的第二数据，并基于第二数据从第二车道线点集中提取下一帧图像对应的车道线数据。

20、本发明对相邻两帧图像进行目标分割，并基于分割结果与车道线相交确定对应的车道线数据，保障了车道线数据的精度和质量，一定程度上提高了目标障碍物绝对速度的精度和效率。

21、在一种可选的实施方式中，相邻两帧图像包括当前帧图像和下一帧图像；对相邻两帧图像进行光流估计，并分别提取车道线数据对应的第一光流和目标障碍物接地点数据对应的第二光流，包括：

22、对当前帧图像和下一帧图像中车道线数据和目标障碍物接地点数据分别进行角点检测，对应得到第一角点数据和第二角点数据；

23、对第一角点数据进行光流计算，得到车道线数据对应的第一光流；

24、对第二角点数据进行光流计算，得到目标障碍物接地点数据对应的第二光流。

25、本发明通过对车道线数据和目标障碍物接地点数据进行角点检测，能够获取精度更高的稀疏数据，有助于提升光流计算的效率，大大保障了光流测速结果的准确性。

26、在一种可选的实施方式中，基于车道线数据和第一光流确定单应矩阵，包括：

27、从当前帧图像对应的第一角点数据中提取预设数量的数据，得到第一车道点集；

28、在下一帧图像对应的第一角点数据中，基于第一车道点集中各数据进行匹配，对应得到第二车道点集；

29、将第一车道点集和第二车道点集中各数据分别与第一光流进行匹配，对应得到第三光流和第四光流；

30、基于第三光流和第四光流之间的映射关系，确定单应矩阵。

31、本发明根据车道线数据对应光流数据确定单应矩阵，能够获得两帧图像之间的映射关系，为后续目标障碍物绝对速度的计算提供理论依据。

32、在一种可选的实施方式中，基于目标障碍物接地点数据、第二光流和单应矩阵，确定目标障碍物接地点数据对应的绝对光流，包括：

33、从目标障碍物接地点数据中提取当前帧图像对应的任一目标接地点；

34、基于目标接地点和单应矩阵，得到目标障碍物在静止状态下目标接地点对应的静止光流；

35、将第二光流减去静止光流，得到目标障碍物在运动状态下目标接地点对应的绝对光流。

36、本发明通过两帧图像得到的总光流减去目标障碍物的静止光流对应得到目标障碍物的绝对光流，为后续目标障碍物绝对速度的计算提供了数据支撑。

37、在一种可选的实施方式中，对绝对光流进行坐标转换，并基于相邻两帧图像的采样时间确定目标障碍物的绝对速度，包括：

38、获取图像坐标系到相机坐标系的坐标转换关系；

39、基于坐标转换关系确定相机坐标系下绝对光流对应的目标光流；

40、基于相邻两帧图像的采样时间和目标光流，确定目标障碍物的绝对速度。

41、本发明通过坐标的空间转换以及目标障碍物的绝对光流获取该目标障碍物对应的绝对速度，保障了光流测速结果的解释性和可用性。

42、在一种可选的实施方式中，障碍物的光流测速方法还包括：

43、获取由多组包含目标障碍物的相邻两帧图像计算得到的多个绝对速度；

44、对多个绝对速度进行均值计算，得到绝对速度均值，并将绝对速度均值作为目标障碍物最终的绝对速度。

45、本发明通过对获取的多个目标障碍物绝对速度求均值操作，并将绝对速度均值作为目标障碍物最终的绝对速度，能够保障绝对速度的计算精度。

46、第二方面，本发明提供了一种障碍物的光流测速系统，系统包括：

47、数据获取模块，用于获取自车周围包含目标障碍物的相邻两帧图像；

48、特征提取模块，用于从相邻两帧图像中分别提取车道线数据和目标障碍物接地点数据；

49、光流计算模块，用于对相邻两帧图像进行光流估计，并分别提取车道线数据对应的第一光流和目标障碍物接地点数据对应的第二光流；

50、第一确定模块，用于基于车道线数据和第一光流确定单应矩阵，单应矩阵表示相邻两帧图像的地面转换关系；

51、第二确定模块，用于基于目标障碍物接地点数据、第二光流和单应矩阵，确定目标障碍物接地点数据对应的绝对光流，绝对光流为目标障碍物在相邻两帧图像上的位移；

52、第三确定模块，用于对绝对光流进行坐标转换，并基于相邻两帧图像的采样时间确定目标障碍物的绝对速度。

53、本发明的障碍物的光流测速系统，能够降低光流测速的计算误差，实现障碍物绝对速度的高效计算，一定程度上保障了光流测速结果的准确性、解释性和可用性。

54、第三方面，本发明提供了一种车辆，车辆包括控制器，控制器包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的一种障碍物的光流测速方法。

55、第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的一种障碍物的光流测速方法。

56、本发明障碍物的光流测速方法，通过对自车周围包含目标障碍物的相邻两帧图像中提取车道线数据和目标障碍物接地点数据，进行光流估计，得到车道线数据对应的第一光流和目标障碍物接地点数据对应的第二光流；基于车道线数据和第一光流确定单应矩阵，并将其与目标障碍物接地点数据和第二光流确定目标障碍物接地点数据对应的绝对光流，并对绝对光流进行坐标转换，基于相邻两帧图像的采样时间确定目标障碍物的绝对速度。本发明能够降低光流测速的计算误差，实现障碍物绝对速度的高效计算，保障了光流测速结果的准确性、解释性和可用性。