驾驶员多部位检测方法、装置、电子控制单元及车辆与流程

本技术涉及智能交通安全，具体涉及一种驾驶员多部位检测方法、装置、电子控制单元及车辆。

背景技术：

1、随着汽车技术的不断发展，汽车座舱越来越智能化。驾驶员监测系统(drivermonitor system，简称dms)可对驾驶员属性和行为进行分析，对驾驶员进行疲劳监测、分心监测和危险行为监测。

2、dms在对驾驶员进行疲劳监测和分心监测时，需要对驾驶员进行人脸检测来判断驾驶员是否疲劳或分心，在对驾驶员进行危险行为监测时，需要对驾驶员进行手部检测来判断驾驶员是否存在危险行为，上述人脸检测和手部检测简称为多部位检测。

3、然而，由于dms检测器的不稳定性，容易导致人脸检测和手部检测出现干涉现象，即人脸检测器将手部检测为人脸，或手部检测器将人脸检测为手部，导致人脸或手部误检或检测不准确的问题。

技术实现思路

1、本技术实施例提供了一种驾驶员多部位检测方法、装置、电子控制单元及车辆，能够避免人脸或手部误检或检测不准确的问题，提高多部位检测的检测精度。

2、本技术是通过如下技术方案实现的：

3、第一方面，本技术实施例提供了一种驾驶员多部位检测方法，包括：

4、获取驾驶员图像；

5、对驾驶员图像进行目标部位检测，确定目标区域，其中，目标部位检测包括人脸检测和手部检测，目标区域包括人脸区域和手部区域中的任意一个或多个；

6、根据目标区域确定上半身检测区域，并基于通过上半身检测区域检测到的驾驶员上半身确定驾驶员的上半身姿态；

7、根据上半身姿态与目标区域，确定最优目标区域，并基于最优目标区域对驾驶员的目标部位进行检测，目标部位包括人脸和手部中的任意一个或多个。

8、在第一方面的一种可能的实施方式中，根据目标区域确定上半身检测区域，包括：

9、若存在人脸区域，则根据人脸区域与预设头身比例系数确定上半身检测区域；若不存在人脸区域，则将驾驶员图像作为上半身检测区域。

10、在第一方面的一种可能的实施方式中，采用dbface网络模型对驾驶员图像进行目标部位检测，确定目标区域，以及对驾驶员图像进行人头朝向检测，确定人头朝向；

11、根据人脸区域与预设头身比例系数确定上半身检测区域，包括：

12、根据人头朝向对人脸区域进行旋转，以使人脸区域中的人头朝向为正向；

13、根据旋转后的人脸区域与预设头身比例系数确定上半身检测区域。

14、在第一方面的一种可能的实施方式中，dbface网络模型对驾驶员图像进行人头朝向检测，确定人头朝向，包括：

15、基于多头注意力机制，在dbface网络模型的特征提取层后增加人头朝向检测分支，进行人头朝向检测，确定人头朝向；人头朝向包括正向、反向、左侧向和右侧向。

16、在第一方面的一种可能的实施方式中，根据旋转后的人脸区域与预设头身比例系数确定上半身检测区域，包括：

17、根据旋转后的人脸区域的宽度和高度与预设头身比例系数，确定上半身检测区域的宽度和高度；

18、上半身检测区域的宽度和高度为：

19、widthhalf-body＝8×widthface+0.1×widthface

20、heighthalf-body＝4×heightface+0.1×heightface

21、其中，widthhalf-body为上半身检测区域的宽度，heighthalf-body为上半身检测区域的高度，widthface为旋转后的人脸区域的宽度，heightface为旋转后的人脸区域的高度。

22、在第一方面的一种可能的实施方式中，基于通过上半身检测区域检测到的驾驶员上半身确定驾驶员的上半身姿态，包括：

23、采用yolox-s网络模型对上半身检测区域进行驾驶员上半身检测；

24、在检测到驾驶员上半身时，采用openpose网络模型对驾驶员上半身进行姿态估计，确定上半身骨架点；上半身骨架点包括目标部位中心点，目标部位中心点包括人脸中心点和手部中心点中的任意一个或多个。

25、在第一方面的一种可能的实施方式中，根据上半身姿态与目标区域，确定最优目标区域，并基于最优目标区域对驾驶员的目标部位进行检测，包括：

26、根据旋转后的人脸区域确定人脸区域中心点，根据手部区域确定手部区域中心点；

27、根据人脸中心点与人脸区域中心点确定最优人脸中心点，根据最优人脸中心点与人脸区域确定最优人脸区域；

28、和/或，根据手部中心点与手部区域中心点确定最优手部中心点，根据最优手部中心点与手部区域确定最优手部区域；

29、基于最优人脸区域对驾驶员的人脸进行检测，和/或，基于最优手部区域对驾驶员的手部进行检测。

30、在第一方面的一种可能的实施方式中，驾驶员多部位检测方法还包括：

31、若未检测到人脸区域与手部区域，或，未检测到上半身，则重新获取驾驶员图像并进行检测。

32、第二方面，本技术实施例提供了一种驾驶员异常驾驶行为检测方法，包括：

33、根据第一方面任一项所述的驾驶员多部位检测方法确定多组最优目标区域，最优目标区域包括最优人脸区域和最优手部区域中的任意一个或多个；

34、采用第一深度学习模型，判断多组最优人脸区域中包括的人脸轮廓点变化趋势是否符合拟合样本且持续时间是否达到预设时间，若是，则输出疲劳驾驶信号与警报信号；根据多组最优人脸区域中包括的人脸轮廓点变化趋势计算人脸姿态角度，并判断人脸姿态角度是否超出预设角度阈值，若是，则输出分心驾驶信号与警报信号；

35、和/或，采用第二深度学习模型判断多组最优手部区域是否存在目标物体，并在存在目标物体时对目标物体的类别进行判断；根据目标物体的类别输出危险行为类别以及警报信号。

36、第三方面，本技术实施例提供了一种驾驶员多部位检测装置，包括：

37、获取模块，用于获取驾驶员图像；

38、检测模块，用于对驾驶员图像进行目标部位检测，确定目标区域，其中，目标部位检测包括人脸检测和手部检测，目标区域包括人脸区域和手部区域中的任意一个或多个；

39、第一确定模块，用于根据目标区域确定上半身检测区域，并基于通过上半身检测区域检测到的驾驶员上半身确定驾驶员的上半身姿态；

40、输出模块，用于根据上半身姿态与目标区域，确定最优目标区域，并基于最优目标区域对驾驶员的目标部位进行检测，目标部位包括人脸和手部中的任意一个或多个。

41、第四方面，本技术实施例提供了一种驾驶员异常驾驶行为检测装置，包括：

42、第二确定模块，用于根据第一方面任一项所述的驾驶员多部位检测方法确定多组最优目标区域，最优目标区域包括最优人脸区域和最优手部区域中的任意一个或多个；

43、执行模块，用于采用第一深度学习模型，判断多组最优人脸区域中包括的人脸轮廓点变化趋势是否符合拟合样本且持续时间是否达到预设时间，并在符合拟合样本且持续时间达到预设时间时输出疲劳驾驶信号与警报信号；根据多组最优人脸区域中包括的人脸轮廓点变化趋势计算人脸姿态角度，并判断人脸姿态角度是否超出预设角度阈值，并在超出预设角度阈值时输出分心驾驶信号与警报信号；和/或，采用第二深度学习模型判断多组最优手部区域是否存在目标物体，并在存在目标物体时对目标物体的类别进行判断；根据目标物体的类别输出危险行为类别以及警报信号。

44、第五方面，本技术实施例提供了一种电子控制单元，包括存储器和处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面任一项所述的驾驶员多部位检测方法的步骤，和/或，如第二方面所述的驾驶员异常驾驶行为检测方法的步骤。

45、第六方面，本技术实施例提供了一种车辆，包括如第五方面所述的电子控制单元。

46、第七方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项所述的驾驶员多部位检测方法的步骤，和/或，如第二方面所述的驾驶员异常驾驶行为检测方法的步骤。

47、第八方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在电子控制单元上运行时，使得电子控制单元执行上述第一方面任一项所述的驾驶员多部位检测方法的步骤，和/或，如第二方面所述的驾驶员异常驾驶行为检测方法的步骤。

48、可以理解的是，上述第二方面至第八方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

49、本技术实施例提供的驾驶员多部位检测方法、装置、电子控制单元及车辆，通过获取驾驶员图像，对驾驶员图像进行目标部位检测，确定目标区域，其中，目标部位检测包括人脸检测和手部检测，目标区域包括人脸区域和手部区域中的任意一个或多个，并根据目标区域确定上半身检测区域，基于通过上半身检测区域检测到的驾驶员上半身确定驾驶员的上半身姿态，根据上述上半身姿态与目标区域，确定最优目标区域，并基于最优目标区域对驾驶员的目标部位进行检测，目标部位包括人脸和手部中的任意一个或多个，能够避免人脸或手部误检或检测不准确的问题，提高多部位检测的检测精度。

50、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。