基于司机脚部动作识别的告警方法、装置和电子设备与流程

本发明涉及车辆驾驶安全，具体涉及一种基于司机脚部动作识别的告警方法、装置和电子设备。

背景技术：

1、司机的驾驶行为对安全的影响非常重要，现有的技术方案中很多都是关注司机上半身的检测和判断，包括疲劳检测，是否手离方向盘的判断等，然而，对于脚部的油门和刹车的操作行为的监控，现在还没有提出有效的方案。举例来说，无指示灯的路口需要提前减速，还有学校附近或转弯的时候也应该减速等，目前都是靠司机自觉，并没有对其进行有效的监控和提醒。

技术实现思路

1、有鉴于此，本发明实施例提供了一种基于司机脚部动作识别的告警方法、装置和电子设备，以解决目前未对司机脚部操作行为进行有效监控和提醒的问题。

2、根据第一方面，本发明实施例提供了一种基于司机脚部动作识别的告警方法，该方法包括：

3、获取图像采集装置采集得到的第一图像，车辆的刹车踏板和油门踏板均在所述图像采集装置的视野范围内；

4、基于所述第一图像识别司机的脚部动作，所述脚部动作包括踩刹车、踩油门、放在歇脚区域；

5、获取车辆当前所处位置对应的地图信息，并基于所述地图信息判断司机当前应当执行的脚部操作；

6、若基于所述第一图像识别出的所述脚部动作与所述脚部操作不匹配，则发出对应的告警信息。

7、一些可选的实施方式中，所述获取图像采集装置采集得到的第一图像之前，还包括：

8、获取所述图像采集装置采集得到的第二图像；

9、判断所述刹车踏板是否在所述第二图像的第一区域中、所述油门踏板是否在所述第二图像的第二区域中、司机的歇脚区域是否在所述第二图像的第三区域中；

10、若所述刹车踏板不在所述第一区域中或所述油门踏板不在所述第二区域中或所述歇脚区域不在所述第三区域中，则发出调整所述图像采集装置的提示信息。

11、一些可选的实施方式中，

12、所述判断所述刹车踏板是否在所述第二图像的第一区域中、所述油门踏板是否在所述第二图像的第二区域中、司机的歇脚区域是否在所述第二图像的第三区域中之后，还包括：

13、若所述刹车踏板在所述第一区域中、所述油门踏板在所述第二区域中且所述歇脚区域在所述第三区域中，则分别识别出所述刹车踏板、所述油门踏板和所述歇脚区域；

14、分别获取并保存所述刹车踏板、所述油门踏板和所述歇脚区域在所述第二图像中的相对位置信息；

15、所述基于所述第一图像识别司机的脚部动作，包括：

16、基于所述相对位置信息和所述第一图像判断司机的脚部是位于所述刹车踏板上、位于所述油门踏板上还是位于所述歇脚区域。

17、一些可选的实施方式中，所述判断所述刹车踏板是否在所述第二图像的第一区域中、所述油门踏板是否在所述第二图像的第二区域中、司机的歇脚区域是否在所述第二图像的第三区域中，包括：

18、获取安装于车辆驾驶位下方的红外传感器采集的信息；

19、基于所述红外传感器采集的信息判断所述图像采集装置采集得到所述第二图像时，车辆的脚部活动空间内是否有脚或腿；

20、若判断车辆驾驶位下方没有脚或腿，则判断所述刹车踏板是否在所述第二图像的第一区域中、所述油门踏板是否在所述第二图像的第二区域中、司机的歇脚区域是否在所述第二图像的第三区域中。

21、一些可选的实施方式中，所述基于所述相对位置信息和所述第一图像判断司机的脚部是位于所述刹车踏板上、位于所述油门踏板上还是位于所述歇脚区域，包括：

22、按照第一目标映射关系对所述第一图像进行弱透视变换处理得到弱透视变换后的第一子图像，所述第一目标映射关系是基于所述刹车踏板的四个角点在所述第二图像中的相对位置信息得到；

23、按照第二目标映射关系对所述第一图像进行弱透视变换处理得到弱透视变换后的第二子图像，所述第二目标映射关系是基于所述油门踏板的四个角点在所述第二图像中的相对位置信息得到；

24、按照第三目标映射关系对所述第一图像进行弱透视变换处理得到弱透视变换后的第三子图像，所述第三目标映射关系是基于所述歇脚区域的四个角点在所述第二图像中的相对位置信息得到；

25、将所述第一子图像、所述第二子图像和所述第三子图像输入至深度学习模型的分类分支；

26、获取所述分类分支输出的位置概率，所述位置概率包括基于所述第一子图像得到的司机的脚部位于所述刹车踏板上的概率、基于所述第二子图像得到的司机的脚部位于所述油门踏板上的概率以及基于所述第三子图像得到的司机的脚部位于所述歇脚区域的概率；

27、基于所述位置概率确定司机的脚部是位于所述刹车踏板上、位于所述油门踏板上还是位于所述歇脚区域，得到第一判断结果。

28、一些可选的实施方式中，所述基于所述相对位置信息和所述第一图像判断司机的脚部是位于所述刹车踏板上、位于所述油门踏板上还是位于所述歇脚区域，还包括：

29、将所述第一图像输入至所述深度学习模型的语义分割分支；

30、获取所述语义分割分支输出的司机脚部的边界信息；

31、基于所述边界信息和所述相对位置信息判断司机的脚部是位于所述刹车踏板上、位于所述油门踏板上还是位于所述歇脚区域，得到第二判断结果；

32、结合所述第一判断结果和所述第二判断结果得到最终的判断结果。

33、一些可选的实施方式中，所述获取图像采集装置采集得到的第一图像之后，还包括：

34、将所述第一图像发送至显示装置和/或存储装置和/或远程监控平台。

35、根据第二方面，本发明实施例提供了一种基于司机脚部动作识别的告警装置，包括：

36、获取模块，用于获取图像采集装置采集得到的第一图像，车辆的刹车踏板和油门踏板均在所述图像采集装置的视野范围内；

37、识别模块，用于基于所述第一图像识别司机的脚部动作，所述脚部动作包括踩刹车、踩油门、放在歇脚区域；

38、判断模块，用于获取车辆当前所处位置对应的地图信息，并基于所述地图信息判断司机当前应当执行的脚部操作；

39、告警模块，用于在基于所述第一图像识别出的所述脚部动作与所述脚部操作不匹配的情况下，发出对应的告警信息。

40、根据第三方面，本发明实施例提供了一种电子设备，包括：

41、存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述第一方面所述的任一种基于司机脚部动作识别的告警方法。

42、根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述第一方面所述的任一种基于司机脚部动作识别的告警方法。

43、本发明实施例提供了一种基于视觉的司机脚部操作识别的方案，所需的图像采集装置等设备安装简单，图像采集装置以及图像处理和图像识别等相关技术都比较成熟，而且图像可以留存作为直观的判断依据。本发明实施例还提供了一种基于司机脚部操作识别的告警方案，该方案结合地图信息判断车辆当前所处的位置应当执行的操作，并在实际识别到的司机脚部操作与当前应当执行的操作不匹配时发出对应的告警信息，从而可以规范司机的驾驶行为，比如公交车即将到站时，需要提前减速，如果在公交站点前一定距离基于图像识别到司机并未踩刹车踏板，就发出告警信息，车辆即将进入匝道或转弯区域或学校附近时，也是同样如此，如果在一定距离的位置识别到司机并未踩刹车踏板，就发出告警信息，进而为交通安全更添一份保障。