L3级自动驾驶车辆驾驶员非驾驶姿态识别方法与系统

本发明属于交通安全领域，具体涉及一种l3级自动驾驶车辆驾驶员非驾驶姿态识别方法与系统。

背景技术：

1、自动驾驶技术的蓬勃发展有效缓解了驾驶员的驾驶压力，在l3级自动驾驶中，驾驶员可在车辆运行过程中执行非驾驶相关任务，处于不同的非驾驶姿态。然而，这也会影响驾驶员接管自动驾驶车辆，因此有必要对驾驶员的非驾驶姿态进行识别，以提高自动驾驶车辆的安全性和可靠性。

2、现阶段针对驾驶员行为识别主要集中在非自动驾驶车辆驾驶状态识别，自动驾驶时驾驶员的姿态与非自动驾驶车辆驾驶员有很大不同。现有的驾驶员姿态识别多采用强化学习、深度学习以及图卷积神经网络等方法，实时性弱且精度有待提高。

技术实现思路

1、本发明的目的在于解决上述问题，进而提出一种l3级自动驾驶车辆驾驶员非驾驶姿态识别方法与系统。

2、本发明所采用的技术方案是：一种l3级自动驾驶车辆驾驶员非驾驶姿态识别方法，包括以下步骤：

3、步骤一、实时监测并采集驾驶员的非驾驶姿态视频数据；

4、步骤二、提取非驾驶姿态局部特征数据；

5、步骤三、对非驾驶姿态全局特征进行分类；

6、步骤四、对非驾驶姿态全局特征进行识别。

7、进一步地，步骤一中，对驾驶员非驾驶姿态进行实时记录，记录驾驶员的上半身姿态，以及记录驾驶员在车辆行驶过程中脚距离踏板的距离。

8、进一步地，步骤二中，根据采集到的数据进行非驾驶姿态局部特征提取，对头部姿态提取方法如下：

9、首先进行面部关键点检测，选择人脸关键点作为研究对象；

10、图像坐标系和世界坐标系的关系如式(1)所示：

11、

12、式中，r为旋转矩阵，t为平移矩阵，(x，y，z)为世界坐标系中的点，(u，v，w)为图像坐标系中的点，s为深度，为目标点在相机坐标系z方向的值；

13、相机坐标系转换到图像中心坐标系如式(2)所示：

14、

15、式中，(x，y，z)为相机坐标系中的点，(u，v)为图像坐标系中的点；

16、图像中心坐标系转换到图像坐标系如式(3)所示：

17、

18、式中，(x，y)为图像中心坐标系中的点，(u，v)为图像坐标系中的点；

19、利用3d morphable model拟合3d脸部模型，通过opencv得到旋转矩阵，利用罗德里格旋转公式求解出相应的旋转角度；绕y轴旋转运动角度为α，绕z轴旋转运动角度为β，绕x轴旋转运动角度为γ；

20、将(α:-3～0，β:-3～1，γ:-1～1)范围内的头部姿态归集为正前方；

21、将(α:-10～-5，β:-15～-5，γ:8～15)范围内的头部姿态归集为朝向右下方；

22、将(α:5～15，β:10～25，γ:-2～11)范围内的头部姿态归集为左方。

23、进一步地，步骤二中，根据采集到的数据进行非驾驶姿态局部特征提取，对眼部特征提取方法如下：

24、首先，连接相机源点与瞳孔中心，得到直线与眼球球面的交点。直线的表达方程如式(4)所示：

25、

26、式中，相机源点为oc，瞳孔中心为t，眼球中心点为e，眼球半径为r，中心凹为点p，眼睛特征点都可以由3d模型得到；

27、中心凹点p的约束方程如式(5)所示：

28、(x-xe)2+(y-ye)2+(z-ze)2＝r2 (5)

29、由中心凹发出的射线经过瞳孔中心就是视轴的估计方向；

30、对眼睛的开合度进行检测，对检测到的眼睛关键节点进行高宽比计算；

31、眼睛高宽比的计算公式如式(6)所示：

32、

33、ear小于80％就算一次眼睛闭合，眨眼频率如式(7)所示：

34、

35、式中，f表示眨眼频率，fclose表示单位时间里面眨眼的帧数，f表示为单位时间里面的总帧数；

36、计算判断眼睛闭合的眼睛纵横比阈值如式(8)所示：

37、earclose＝(earmax-earmin)×(1-x)+earmin (8)

38、式中，earclose是判断眼睛闭合的眼睛纵横比阈值；earmax是最大张度；earmin是最小张度，x是眼睛睁开程度；

39、根据检测到的ear值可以判定连续3帧低于0.18则可以判定为一次眨眼。

40、进一步地，步骤二中，根据采集到的数据进行非驾驶姿态局部特征提取，手部姿态提取方法如下：

41、在openpose中，将原始图像作为分支第一阶段输入的特征图f；第一阶段有两个分支，第一个分支会输出关键点置信图s1＝ρ1(f)，第二分支输出关节矢量场集合l1＝φ1(f)，输出如式(9)和式(10)所示：

42、

43、

44、式中，ρ1和φ1表示第一阶段的cnn网络，t为阶段数，输出关键点置信图s中包含j个置信图，代表j个关键点，关节矢量场集合l中包含c个矢量场，代表c个肢干；

45、第t阶段的两个损失函数如式(11)和式(12)所示：

46、

47、

48、式中，s*j、l*c分别表示两个分支中真实的关键点置信图和关键点连接向量，w(p)是布尔值，当位置p在图像中没有标注时，布尔值为0，否则为1；整个模型的损失函数f如式(13)所示：

49、

50、对于图像中每个像素点p，其真实的置信度s*j，k(p)如式(14)所示：

51、

52、式中，xj，k为第k个人的第j个关节点的真实位置，σ是模型参数，设定置信度的峰值范围。当不同关节点的置信度峰值在像素点p上存在重复和交叉时，取最大的关键节点置信度值，如式(15)所示：

53、

54、式中，s*j(p)表示图像真实的置信度，维度为w*h*j，w、h为输入图像的大小；

55、对于关节点dj2和dj1的相关性如式(16)和式(17)所示：

56、

57、p(u)＝(1-u)dj1+udj2   (17)

58、式中，p(u)表示关节点dj1和dj2之间的点采样，lc(p(u))表示肢体c在p(u)的paf值，u表示比例系数。当lc(p(u))和单位向量的夹角越小，其相关性越大；

59、最后得到包含关节点置信图、亲和域和关节点的相关性集合，将最终的关节连接问题看作二分图问题，利用匈牙利算法完成二分类，最终构成姿态估计图；

60、根据openpose识别的人体关键点坐标，构建投影欧氏距离并计算，如式(18)所示：

61、

62、式中，li为关键点之间的投影欧式距离，i＝[1，2]，(xj，yj)分别为关键节点坐标；

63、若检测不到右手坐标，则认为该右手手部姿态为右下方；

64、若计算出手腕到颈部距离在(500，700)范围内，则认为手部姿态为身前；

65、若计算出手腕到颈部距离在(200，300)范围内，则认为手部姿态为头部右侧或左侧。

66、进一步地，步骤三中，对非驾驶姿态进行全局特征分类，最后确定的非驾驶姿态种类。根据头部姿态(α，β，γ)的取值范围、眼睛注视方向(正前方、左方、右下方)、左、右手姿态(手腕到颈部的距离)取值范围和右脚姿态(踏板上、踏板前方)的组合情况将非驾驶姿态分为a～j类。

67、进一步地，步骤四中，利用openpose提取驾驶员的骨骼架构图，利用图卷积神经网络对图像逐帧处理，提取非驾驶姿态的空间特征，并输入到各时段的lstm网络，最后加上注意力机制，自动将lstm网络的输出进行加权融合，获得最终的非驾驶姿态特征的特征，通过全连接层和添加的softmax函数作为分类器，给出对应的非驾驶姿态分类。

68、进一步地，步骤四中，采用并行运算逻辑将openpsoe算法获得的骨骼架构图送入图卷积神经网络，得到人体骨架的空间结构特征输出依次可以得到空间特征序列其中t为序列长度；

69、由图卷积神经网络的输出v作为lstm的输入，经过单层lstm网络计算输出各个时刻非驾驶姿态特征h＝(h1，h2，h3，ht)；

70、其一遗忘门决定上一时刻的记忆细胞ct-1中可以保留到当前时刻ct的信息量；计算公式如式(19)所示：

71、fi＝σ(wf·[ht-1,xt]+bf)    (19)

72、式中，wf是遗忘门的权重矩阵，[ht-1，xt]表示将两个向量首尾合并成一个向量，bf表示遗忘门的偏置项，σ表示sigmoid函数；

73、其二输入门决定当前时刻网络的输入xt能够保存到当前时刻记忆细胞ct的信息量。计算公式如式(20)和式(21)所示：

74、it＝σ(wi·[ht-1,xt]+bi)   (20)

75、ct’＝tanh(wc·[ht-1,xt]+bc)   (21)

76、式中，it是输入门的输出，表示当前时刻应该更新到记忆细胞的信息量，it∈(0，1)；wi为输入门的权重矩阵，σ为sigmoid激活函数，wc表示输入门另一部分的权重矩阵，bi表示输出门的偏置项，bc表示输入门另一部分的偏置项，ct’表示t时刻的记忆细胞输入状态；

77、则当前时刻的记忆细胞ct的计算方式如式(22)所示：

78、ct＝ft⊙ct-1+it⊙ct’    (22)

79、式中，ft为遗忘门的输出，⊙表示矩阵对应元素相乘；

80、其三输出门决定当前时刻记忆细胞ct能够有多少部分输出到当前隐藏状态ht。计算公式如式(23)和式(24)所示：

81、ot＝σ(wo·[ht-1,xt]+bo)   (23)

82、ht＝ot⊙tanh(ct)   (24)

83、式中，ot是输出门的输出，wo是输出门的权重矩阵，bo表示遗忘门的偏置项，ht表示t时刻的隐藏状态；

84、并且在lstm末端加入注意力机制，注意力机制的计算公式如式(25)所示：

85、

86、式中，h是lstm结构的输出序列，r是可学习权重矩阵；

87、softmax将lstm的输出转换成各个时刻的权重，权重与lstm的输出相乘得到网络输出的非驾驶姿态空间特征，经过最后的全连接层和softmax函数的运算，获得识别种类。

88、本发明还涉及一种l3级自动驾驶车辆驾驶员非驾驶姿态识别方法的系统，该系统包括信息采集装置、非驾驶姿态局部特征提取装置和驾驶员非驾驶姿态全局特征分类与识别装置。

89、进一步地，信息采集装置，包括无线发射器和两部摄像机；

90、非驾驶姿态局部特征提取装置，包括无线接收器、骨架识别模块、头部姿态特征提取模块、眼部姿态特征提取模块、手部姿态特征提取模块、脚部姿态特征提取模块和无线发射器；无线接收器用于接收信息采集模块发送的非驾驶姿态，无线发射器将提取到的非驾驶姿态局部特征发送至非驾驶姿态全局特征分类与识别装置；

91、非驾驶姿态全局特征分类与识别装置，包括无线接收器、非驾驶姿态空间特征提取模块和非驾驶姿态分类模块。无线接收器用于接收非驾驶姿态局部特征提取装置发送的非驾驶姿态局部特征，非驾驶姿态空间特征提取模块利用lstm网络配合注意力机制识别非驾驶姿态的种类。