一种建筑起重机械驾驶员视野偏离估计方法与流程

1.本发明涉及安全驾驶领域，具体涉及一种建筑起重机械驾驶员视野偏离估计方法。


背景技术：

2.近年来，我国建筑业飞速发展。在建筑工地中，建筑起重机械应用已经相当普遍。建筑起重机械是指用于垂直升降或者垂直升降并水平移动重物的机电设备。然而，建筑起重机械相关的事故却频发不断，其中驾驶员操作状态也是诱发事故发生的因素之一。起重设备对驾驶员有着较高操作要求，驾驶员在操作建筑起重机械时，视野若偏离起重机械的吊钩的操作范围时，存在较大的安全隐患，现有的起重机械操作管理系统不能很好的对驾驶员视野偏离进行估计，不便于对驾驶员进行安全管理。


技术实现要素：

3.本发明所要克服的是现有技术中的不足，目的是提供一种建筑起重机械驾驶员视野偏离估计方法。
4.本发明所要解决的技术问题采用以下的技术方案来实现：
5.一种建筑起重机械驾驶员视野偏离估计方法，步骤如下：
6.(1)获取起重机械的运行状态，通过传感器获取吊钩的运动状态、起重臂运动状态以及小车的运动状态；
7.(2)2d人脸关键点检测：通过采集人脸区域图片，提取左眼中点、右眼中点、鼻尖点、左嘴角点和右嘴角点坐标信息；
8.(3)3d人脸模型匹配：利用3d人脸模型对左眼中点、右眼中点、鼻尖点、左嘴角点和右嘴角点的空间位置进行标记，作为真实脸的空间位置，拟出相应的3d人脸模型；
9.(4)求解3d人脸模型中的空间位置标记点与对应2d人脸关键点检测中的坐标点之间的转换关系；
10.(5)利用旋转矩阵求解欧拉角，即得出俯仰角、偏航角和滚转角；
11.(6)视野偏离判定：根据吊钩运动状态，判断此时驾驶员头部姿态角是否处于安全驾驶范围，超出安全驾驶范围则判定为视野偏离；根据起重臂左右回转运动状态，判断此时驾驶员头部姿态角是否处于安全驾驶范围，超出安全驾驶范围则判定为视野偏离。
12.进一步的，步骤(1)中吊钩的运动状态通过高度传感器获取，起重臂运动状态通过回转传感器获取，小车的运动状态通过幅度传感器获取。
13.进一步的，步骤(2)中采集人脸图片，利用摄像头实时采集驾驶室图像，将驾驶室图像输入到改进的mtcnn网络中，利用改进的mtcnn网络完成驾驶员人脸检测及关键点定位。
14.进一步的，所述改进的mtcnn网络在于对mtcnn网络生成图像金字塔的方式进行改进，通过将原图按照一定比例进行压缩，根据驾驶人面部在图像中的比例，将压缩后图片的
最小尺寸放大为视频帧长边的1/8，降低固定缩小比例为0.68，使用固定尺寸的候选框遍历图片，循环往复，略过第一次缩小与遍历过程，直到缩小后的图片长或宽小于视频帧长边的1/8的边长时停止。
15.进一步的，步骤(3)中，对左眼中点、右眼中点、鼻尖点、左嘴角点和右嘴角点的空间位置采用dlib算法中内置的3d人脸模型进行标记。
16.进一步的，步骤(4)中，根据3d脸模型中的空间位置标记点与对应2d人脸关键点检测中的坐标点并结合世界坐标系、相机坐标系、图像中心坐标系、像素坐标系计算得出旋转矩阵与平移矩阵。
17.本发明的有益效果是：
18.本发明结构简单，利用驾驶员头部姿态俯仰角、偏航角以及滚转角结合起重机械的运行状态判断驾驶员视野是否偏离，能够准确判定驾驶员在操作起重机械使得视野状态，便于对驾驶员进行安全管理。
附图说明
19.图1为本发明的监测方法流程图；
具体实施方式
20.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，进一步阐述本发明。
21.如图1所示，一种建筑起重机械驾驶员视野偏离估计方法，步骤如下：
22.(1)获取起重机械的运行状态，通过传感器获取吊钩的运动状态、起重臂运动状态以及小车的运动状态；吊钩的运动状态通过高度传感器获取，起重臂运动状态通过回转传感器获取，小车的运动状态通过幅度传感器获取；
23.(2)2d人脸关键点检测：通过采集人脸区域图片，提取左眼中点、右眼中点、鼻尖点、左嘴角点、右嘴角点坐标信息；利用摄像头实时采集驾驶室图像，将驾驶室图像输入到改进的mtcnn网络中，输出驾驶员人脸关键点定位；
24.(3)3d人脸模型匹配：利用3d人脸模型对左眼中点、右眼中点、鼻尖点、左嘴角点、右嘴角点的空间位置进行标记，作为真实脸的空间位置，拟出相应的3d人脸模型；采用dlib算法中内置的3d人脸模型对左眼中点、右眼中点、鼻尖点、左嘴角点、右嘴角点的空间位置进行标记；
25.(4)求解3d人脸模型中的空间位置标记点与对应2d人脸关键点检测中的坐标点之间的转换关系；
26.(5)利用旋转矩阵求解欧拉角，即得出俯仰角、偏航角和滚转角；
27.根据3d人脸模型中的空间位置标记点与对应2d人脸关键点检测中的坐标点并结合世界坐标系、相机坐标系、图像中心坐标系、像素坐标系计算得出旋转矩阵与平移矩阵。
28.为了使现实空间的坐标能够和图片中像素的坐标形成映射，需要引入世界坐标系(x
wywzw
)、相机坐标系(xcyczc)、图像中心坐标系(xy)和像素坐标系(uv)，转换关系如下；
29.世界坐标系到相机坐标系：
[0030][0031]
相机坐标系到理想图像坐标系的转换：
[0032]
相机坐标系与理想图像坐标系的转换关系可以表示为：
[0033]
xu＝fxc/zc[0034]yu
＝fyc/zc[0035]
将上式变换为矩阵形式：
[0036][0037]
理想图像坐标系到像素坐标系：
[0038]
假设相机感光器件的每个像素的物理尺寸分别d
x
,dy，那么特征点的理想图像坐标与像素坐标之间的关系为：
[0039]
v＝yu/dy+v0[0040][0041]
因此，像素坐标系和世界坐标系的关系如下：
[0042][0043]
如此，得到世界坐标系中点的位置、像素坐标位置和相机参数便可以知道旋转和平移矩阵；
[0044]
根据旋转矩阵求解欧拉角：
[0045][0046][0047]
这3个角是上述提到的俯仰角、偏航角和滚转角了。
[0048]
(6)视野偏离判定：根据吊钩运动状态，判断此时驾驶员头部姿态角是否处于安全驾驶范围，超出安全驾驶范围则判定为视野偏离；根据起重臂左右回转运动状态，判断此时驾驶员头部姿态角是否处于安全驾驶范围，超出安全驾驶范围则判定为视野偏离。
[0049]
实施例2
[0050]
在实施例1的基础上，根据欧拉角判定视野偏离具体步骤如下：
[0051]
(1)计算单人次欧拉角情况：结合起重机械的运行状态，选取n帧的安全驾驶连续视频帧欧拉角(ψ，γ),计算该组n个欧拉角的平均值(ψi，φi，γi)，将其记为aj(j＝0,
…
,m)；
[0052]
(2)重复步骤(1)m次，共计得到m人次安全驾驶基点集α(a1,a2,
…
,am),计算集合α的均值，得到安全驾驶基点α，对m*n个点进行统计分析，去除极值点，使之成为特定空间β，即为安全驾驶范围。
[0053]
(3)驾驶员某时间段内头部欧拉角不在上述安全驾驶范围内，即视为视线偏移。
[0054]
实施例3
[0055]
在实施例1的基础上，2d人脸关键点检测，是利用摄像头实时采集驾驶室图像，将驾驶室图像输入到改进的mtcnn网络中，利用改进的mtcnn网络完成驾驶员人脸检测及关键点定位，并输出驾驶员人脸区域及关键点定位。
[0056]
改进的mtcnn网络在于对mtcnn网络生成图像金字塔的方式进行改进，通过将原图480像素
×
360像素按照一定比例进行压缩，根据驾驶人面部在图像中的比例，将压缩后图片的最小尺寸放大为视频帧长边的1/8，降低固定缩小比例为0.68，使用固定尺寸12像素
×
12像素的候选框遍历图片，循环往复，略过第一次缩小与遍历过程，直到缩小后的图片长或宽小于视频帧长边的1/8的边长时停止；此时得到最小尺寸为60像素
×
45像素、通道数为3的图片,这些不同大小堆叠起来的图片，简单称为图像金字塔，将这些图像金字塔作为p-net的输入，p-net利用大小为3
×
3的卷积核通过卷积操作(conv)提取图像特征，采用最大池化操作(mp)去除冗余，通过人脸分类器判断该区域是否为人脸，并使用边框回归及一个面部关键点的定位器初步定位人脸区域，并将这些区域输入r-net。r-net将重复p-net的操作，滤除大部分干扰、保留较为可靠的人脸区域并将其输入到o-net。对比p-net利用全卷积输出尺寸为1像素
×
1像素、通道数为32的特征，r-net在最后一个卷积层后使用一个128维的全连接层(fc)，保留了更多的图像特征，0-net进行更精细的人脸判别、边框回归及关键点定位，最终输出人脸区域的坐标与5个特征点，其中5个特征点分别为左眼中点、右眼中
点、鼻尖点、左嘴角点和右嘴角点。
[0057]
在司机驾驶行为监测场景中，由于需要排除多余人脸的干扰，精确定位驾驶人面部，因此对mtcnn网络生成图像金字塔的方式进行改进；考虑到驾驶人面部区域在视频帧中所占像素比例为1/16～1/3，本技术根据驾驶人面部在图像中的比例，对mtcnn网络中最小人脸尺寸放大为视频帧长边的1/8，降低固定缩小比例为0.68，并略过第一次缩小与遍历过程，使得改进的mtcnn网络在准确定位出驾驶人面部区域的同时，能滤除背景中无关的人脸，并大幅缩减人脸检测时间；摄像头实时采集驾驶室图像，将图像输入到改进的mtcnn网络中，最终输出人脸区域的坐标与5个特征点，其中5个特征点分别为左眼中点、右眼中点、鼻尖点、左嘴角点和右嘴角点。
[0058]
人脸检测神经网络(改进的mtcnn网络)模型的具体训练过程：离线采集建筑起重机械司机图像，制作自定义数据集共20000张图片，将数据库分成分别划分为训练集、测试集两部分，对应的比例设置为7:3；将训练数据集中所有图像尺寸从480像素
×
360像素缩小至60像素
×
45像素作为人脸检测神经网络模型训练的输入，初始学习率为0.04，每次训练输入24张图像，网络经过30000次迭代完成训练。
[0059]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。