基于背景流的车辆运动状态判断方法及系统与流程

本发明属于自动驾驶，具体涉及一种基于图像的车辆运动状态判断方法及系统。

背景技术：

1、在获取不到速度或得到的速度不准确的场景，如何准确的获取本车运动状态对于某些自动驾驶功能的实施是非常关键的。比如自动驾驶过程中，当车载传感器出现故障时或者经过隧道等gps信号被遮挡区域时，易导致无法获取车辆运动状态，此时需要及时、准确地判断车辆当前的运动状态，从而快速进行下一步决策。而现代交通环境复杂多变，在车辆周围存在大量运动目标的动态场景情况下，常规的动状态判断方式可能不能及时判断出车辆当前运动状态。比如专利cn102999759a公开了一种基于光流的车辆运动状态估计方法，其基于多帧图像进行角点检测和光流跟踪，实现车辆运动状态估计但是该方法还需要相机内参标定，依赖参数过多，计算过程也比较能复杂，不能进行辆运动状态快速计算。

技术实现思路

1、有鉴于此，本发明提出了一种基于背景流的车辆运动状态判断方法及系统，用于解决现有的车辆运动状态判断的实时性不高的问题。

2、本发明第一方面，公开一种基于背景流的车辆运动状态判断方法，所述方法包括：

3、实时采集车辆周围的图像形成帧图像序列，并进行预处理；

4、通过目标检测剔除帧图像序列的各帧图像中的运动目标；

5、对于当前帧和前一帧图像，采用光流跟踪法进行特征匹配，并剔除光流反向跟踪不合格的点对，分别得到当前帧和前一帧的匹配点集；

6、根据当前帧和前一帧的匹配点集计算基础矩阵f和单应性矩阵h，分别计算基础矩阵f和单应性矩阵h的gric值；

7、根据基础矩阵f的gric值和单应性矩阵h的gric值的比较结果判断车辆处于运动状态还是静止状态；

8、当车辆处于运动状态时，根据当前帧和前一帧的匹配点集计算背景光流的foe点，根据foe点与匹配点对之间的距离大小判断车辆处于前进状态还是后退状态。

9、在以上技术方案的基础上，优选的，所述预处理包括：

10、提取实时采集的帧图像的gft特征点，判断gft特征点的数量是否大于预设数量阈值，若否，通过网格将各帧图像划分成图像块，对每个图像块均提取设定数量的gft特征点，如果无法提取指定数量的gft特征点，降低设定的gft特征检测阈值，重新提取，并使用目标检测产生的mask过滤掉处于mask内的gft特征点；

11、所述目标检测的检测目标包括行人和车辆。

12、在以上技术方案的基础上，优选的，所述剔除光流反向跟踪不合格的点对具体包括：

13、设前一帧检测到的gft特征点集为p0，基于特征点集p0进行光流正向跟踪，得到当前帧的特征点集pc1；

14、基于当前帧的特征点集pc1进行光流反向跟踪，得到前一帧的特征点集pc0；

15、计算特征点集p0和pc0的特征点之间距离，剔除距离大于预设距离阈值的特征点。

16、在以上技术方案的基础上，优选的，所述分别计算基础矩阵f和单应性矩阵h的gric值具体包括：

17、令m代表f或h，通过如下公式分別计算基础矩阵f的gric值gricf以及单应性矩阵h的gric值grich：

18、

19、

20、

21、λ1＝log(r)

22、λ2＝log(r*n)

23、其中，n为匹配点对的数量，i＝1,2,…,n，代表第i个匹配点对应的概率分布，σ为所述概率分布为正态分布时的标准差，λ1、λ2、λ3均为系数，k、d、r均为常数；m0为前一帧图像中的特征点的坐标矩阵，m1为当前帧图像中的特征点的坐标矩阵。

24、在以上技术方案的基础上，优选的，所述根据基础矩阵f的gric值和单应性矩阵h的gric值的比较结果判断车辆处于运动状态还是静止状态具体包括：

25、若grich>gricf，判断车辆当前运动状态为运动，否则判断车辆当前运动状态为静止。

26、在以上技术方案的基础上，优选的，所述根据当前帧和前一帧的匹配点集计算背景光流的foe点，根据foe点与匹配点对之间的距离大小判断车辆处于前进状态还是后退状态具体包括：

27、计算foe点到每个匹配点对组成的直线的距离，如果距离小于预设的距离阈值，计算当前匹配点对中前一帧的点到foe的距离d_previous和当前帧的点到foe的距离d_current；

28、若d_current>d_previous，判断当前匹配点对对应的运动状态为后退状态，否则是前进状态；

29、统计所有的前进状态和后退状态对应的匹配点对的数量，如果前进状态的匹配点对数量超过总体的一半，判定车辆的最终运动状态为前进状态；如果后退状态的匹配点对数量超过总体的一半，判定车辆的最终运动状态为前进状态。

30、在以上技术方案的基础上，优选的，所述方法还包括：

31、如果当前匹配点对对应的运动状态为后退状态，则对应的后退速度为(d_current-d_previous)/d_current；

32、如果当前匹配点对对应的运动状态为前进状态，则对应的前进速度为(d_previous-d_current)/d_previous；

33、计算每一个匹配点对对应的速度并组成速度集合，对速度集合进行排序，取速度集合的中值作为车辆的最终速度。

34、本发明第二方面，公开一种基于背景流的车辆运动状态判断系统，所述系统包括：

35、前处理模块：用于实时采集车辆周围的图像形成帧图像序列，并进行预处理；通过目标检测剔除帧图像序列的各帧图像中的运动目标；

36、特征计算模块：用于对于当前帧和前一帧图像，采用光流跟踪法进行特征匹配，并剔除光流反向跟踪不合格的点对，分别得到当前帧和前一帧的匹配点集；根据当前帧和前一帧的匹配点集计算基础矩阵f和单应性矩阵h，分别计算基础矩阵f和单应性矩阵h的gric值；

37、状态判断模块：用于根据基础矩阵f的gric值和单应性矩阵h的gric值的比较结果判断车辆处于运动状态还是静止状态；当车辆处于运动状态时，根据当前帧和前一帧的匹配点集计算背景光流的foe点，根据foe点与匹配点对之间的距离大小判断车辆处于前进状态还是后退状态。

38、本发明第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；

39、其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

40、所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如本发明第一方面所述的方法。

41、本发明第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机实现如本发明第一方面所述的方法。

42、本发明相对于现有技术具有以下有益效果：

43、1)本发明采用采用光流跟踪法进行背景特征匹配，通过比较基础矩阵f和单应性矩阵h的gric值即可实现初步运动状态判断，通过背景光流的foe点即可进一步判断前进或后退，即本发明只需要图像本身的信息即可实现车辆运动状态判断，不需要相机内参等其他信息，依赖较少，算法执行快，实验表明本发明的方法在边缘设备arma53上能做到6fps以上，因此实时性较高；

44、2)本发明在计算基础矩阵f和单应性矩阵h的gric值时，综合考虑了判断结果准车辆直行和车辆转弯时图像中背景点的概率分布上的不同，能确保判断准确且稳定；

45、3)本发明计算了每一个匹配点对对应的运动状态和速度，组成速度集合，对速度集合进行排序，取速度集合的中值作为车辆的最终速度，从而在判断前进后退状态后能客观评估前进或后退速度，提高判断的准确度。