基于姿态估计的驾驶员异常动作检测方法

本发明涉及一种基于姿态估计的驾驶员异常动作检测方法，属于异常动作检测。

背景技术：

1、分心驾驶是引发交通事故的常见原因之一。分心驾驶是指驾驶员在驾驶时将注意力集中在与正常驾驶不相关的活动上，导致对突发事件的反应速度下降。即使是短暂的分心都潜藏着极大的交通安全隐患，随之很可能就是引发追尾、偏离轨迹等道路交通事故。驾驶机动车时不得出现拨打接听手持电话、观看电视等妨碍安全驾驶的行为。对驾驶员进行异常动作检测，是保障交通安全和驾乘人员生命和财产安全的重要环节。

2、目前对驾驶员异常动作检测的方法主要包括使用可穿戴设备的异常动作检测方法与使用计算机视觉图像处理的异常动作检测方法。其中，使用可穿戴设备的异常动作检测方法，需要给驾驶员穿戴额外的传感器或光学标志，可能会影响驾驶员的正常驾驶行为，导致实用性和安全性不足。使用计算机视觉图像处理的异常动作检测方法，不需额外的可穿戴设备，主要通过深度卷积神经网络实现，而卷积神经网络的前向传播需要大量的计算资源，往往需要高性能图形处理器的支持，计算开销大，异常动作检测效率和精度较低，且基于图像特征的检测很容易受到环境、驾驶员坐姿、相机部署位置影响，模型的泛化能力较差。

3、例如，中国专利zl202010384258.1公开的一种驾驶员异常姿态检测方法，同样存在检测效率和精度较低，模型的泛化能力较差的问题。

4、上述问题是在基于姿态估计的驾驶员异常动作检测过程中应当予以考虑并解决的问题。

技术实现思路

1、本发明的目的是提供一种基于姿态估计的驾驶员异常动作检测方法解决现有技术中存在的异常动作检测效率和精度较低，模型的泛化能力有待提高的问题。

2、本发明的技术解决方案是：

3、一种基于姿态估计的驾驶员异常动作检测方法，包括以下步骤，

4、s1、基于驾驶行为数据构建训练数据集，训练数据集包含各种驾驶行为图像和行为标签；

5、s2、利用目标检测算法yolov3和自顶向下的姿态估计算法alphapose处理训练数据集，从驾驶行为图像中提取驾驶员膝盖以上的s个关键点的位置数据(xi,yi)，i＝1,2,…,s；

6、s3、利用任意2个关键点之间的欧式距离和任意3个关键点构成的三角形中的三个角的余弦值，构建特征向量m作为备选姿态特征；

7、s4、通过fisher准则函数从步骤s3中得到的备选姿态特征中，筛选出动作分类特征，用于驾驶员动作分类；

8、s5、基于步骤s4中得到的动作分类特征，训练随机森林检测模型，在此基础上基于谱聚类优化随机森林检测模型后，得到轻量级的驾驶动作检测模型；

9、s6、通过图像采集设备无遮挡地获取到驾驶员膝盖以上的实时采集图像，由目标检测识别算法确定实时采集图像中驾驶员位置，并提取驾驶员的有效姿态特征；

10、s7、将步骤s6得到的有效姿态特征，输入到步骤s5中得到的驾驶动作检测模型中，获得驾驶员的当前动作，根据当前动作的类型判定是否为异常动作。

11、进一步地，步骤s1中，行为标签包括正常驾驶动作、发短信动作、打电话动作、调收音机动作、喝水动作、化妆动作、伸手到后排动作、与乘客交谈动作。

12、进一步地，步骤s2中，关键点包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左手腕、右手腕、左髋部、右髋部、左膝和右膝。

13、进一步地，步骤s3中，利用任意2个关键点之间的欧式距离和任意3个关键点构成的三角形中的三个角的余弦值，构建特征向量m作为备选姿态特征，具体为，

14、s31、计算每个关键点与其他关键点之间的欧式距离ρi,j，且i≠j，得到一个维的向量ρ＝[ρ1,2,ρ1,2,…,ρi,j,…,ρs-1,s]作为距离特征：

15、

16、s32、根据余弦定理并利用步骤s31中得到的任意两个关键点之间的欧式距离ρi,j，计算任意3个关键点构成的三角形中的三个角的余弦值，得到一个维的向量θ作为角度特征；

17、s33、将步骤s31和步骤s32中构建的距离特征和角度特征合并，得到一个维的特征向量m＝[m1,m2,...,mr]作为备选姿态特征，其中，m1,m2,...,mr为表示距离或角度的特征值。

18、进一步地，步骤s4中，通过fisher准则函数从步骤s3中得到的备选姿态特征中，筛选出动作分类特征，具体为，

19、s41、针对步骤s3中的特征向量m中的每一维特征，计算fisher函数值：

20、

21、其中，k表示数据集中驾驶员动作类别的数量，￡k表示数据集中第k个动作类别中包含的样本集合，nk表示数据集中第k个动作类别中的样本数量，表示￡k中的第n个样本的第l维特征，表示第k个动作类别中所有样本的特征向量中的r维特征的均值，表示数据集中所有样本的特征向量中的r维特征的均值；

22、s42、将步骤s41中计算得到的fisher函数值jf(l),l＝1,2,…,r，从大到小排序，并选择fisher函数值最大的设定数量的特征，作为动作分类特征。

23、进一步地，步骤s5中，基于步骤s4中得到的动作分类特征，训练随机森林检测模型，在此基础上基于谱聚类优化随机森林检测模型后，得到驾驶动作检测模型，具体为，

24、s51、基于训练数据集中的行为标签以及步骤s4中得到的动作分类特征，构建包含n棵决策树的随机森林，并从随机森林中筛选出分类精度不低于设定阈值且相互之间的相似度低于设定阈值的子树集合构建新的随机森林，用于驾驶员动作分类；

25、s52、利用卡巴统计量计算步骤s51中的随机森林分类器中各决策树之间相似度矩阵a；

26、s53、根据随机森林分类器中各决策树之间相似度矩阵a，令ai＝[ai,1,ai,2,…,ai,n]表示第i棵决策树与其他决策树相似度构成的向量，计算任意两向量ai和向量aj的高斯核构造样本空间的相似度矩阵s＝{sij}n×n，其中，σ为高斯核函数的带宽；

27、s54、根据k近邻原则，将与向量ai的欧式距离最近的k个向量作为ai的近邻knn(ai)，其余则不认为在ai的邻域，并基于此构建邻接矩阵w＝{wij}n×n，其中，

28、s55、计算邻接矩阵w对应的拉普拉斯矩阵l：

29、l＝d-w

30、其中，矩阵d是一个对角矩阵，对角元素

31、s56、根据步骤s54中的邻接矩阵w将n棵决策树构建成一个无向图g(v，e)，其中，v表示节点，e表示节点之间的边，每棵决策树都是图中的一个节点，节点i和节点j之间的边的权重设置为wij，利用归一化分割切图方法最小化标准化拉普拉斯矩阵的迹，将无向图g(v，e)切为设定数量个子图，每个子图中的节点集合表示一个类簇，其中的决策树具有高相似性，不同的类簇中的决策树具有低相似性；

32、s57、从步骤s56中聚类得到的每个类簇中选择分类精度最高的决策树构造一个新的包含n′棵随机树的随机森林作为驾驶动作检测模型。

33、进一步地，步骤s52中，利用卡巴统计量计算步骤s51中的随机森林分类器中各决策树之间相似度矩阵a：

34、

35、其中，表示随机森林中的两棵决策树ti和tj之间的卡巴统计量，p0表示决策树ti和tj在给定样本上实际一致性的概率，即对于数据集中的所有样本决策树ti和tj输出的动作分类相同的样本数量占总样本数的比例，pe表示决策树ti和tj在给定样本上随机一致性的概率，即对于数据集中的所有样本决策树ti预测样本为某类别的个数与决策树tj预测样本为同样类别的个数乘积之和除以总样本数的平方。

36、进一步地，步骤s6中，通过图像采集设备无遮挡地获取到驾驶员膝盖以上的实时采集图像，由目标检测识别算法确定实时采集图像中驾驶员位置，并从中提取驾驶员的有效姿态特征，具体为，

37、s61、利用目标检测识别算法处理实时采集图像中的人类目标，根据包围框顶点坐标计算目标包围框的大小，并对所有人类目标的包围框按大小排序；

38、s62、选择步骤s61中包围框最大的人类目标，确定为车辆驾驶员，并根据包围框的坐标从原始图片中裁剪出来，得到驾驶员目标子图；

39、s63、通过姿态估计算法提取步骤s62中驾驶员目标子图中的驾驶员目标膝盖以上的关键点的位置数据，通过步骤s3得到实时采集图像的备选姿态特征，由步骤s4得到驾驶员的有效姿态特征。

40、本发明的有益效果是：

41、一、该种基于姿态估计的驾驶员异常动作检测方法，与现有方法相比，能够实现更高准确性的异常动作的实时检测，能够降低计算复杂度，能够提高检测效率与检测精度，同时，模型的泛化能力更高。

42、二、本发明通过在随机森林检测模型进行训练后，基于谱聚类优化随机森林检测模型后，得到驾驶动作检测模型，并对实时采集图像获得驾驶员的有效姿态特征，能够实现对驾驶员的异常动作的实时检测，能够提高异常动作检测效率，提高检测精度。

43、三、该种基于姿态估计的驾驶员异常动作检测方法，根据消除纲量后的距离和角度特征来检测行为，用这些特征训练得到的模型不会受到图像像素值大小影响，也不容易受到位置远近和拍摄角度等影响，因此训练得到的模型具有更好的泛化能力。