融合关键点定位及图像分类的驾驶员疲劳驾驶检测方法、设备、介质与流程

[0001]
本发明涉及主动安全防御性驾驶技术领域，尤其涉及融合关键点定位及图像分类的驾驶员疲劳驾驶检测方法、设备、介质。


背景技术：

[0002]
疲劳驾驶检测包括闭眼与打哈欠两个行为检测，现有技术主要采用关键点定位技术结合距离或椭圆曲率进行判断。一般流程为对图像中人脸进行人脸关键点定位，获取眼睛部位关键点，采用上下关键点距离或采用多个关键点计算椭圆曲率来判断眼睛的开合程度，大于设定阈值则为睁眼，小于为闭眼。对于哈欠采用类似的方法进行判断，首先获取嘴巴处关键点，采用内唇上下关键点距离或环内唇一周关键点计算椭圆曲率进行哈欠判断。上述方法对关键点定位精准度要求十分高，由于现实环境图像变化差异大、司机可能佩戴眼镜口罩以及模型估计波动所带来的误差等原因，关键点尤其是眼睛部位关键点无法做到无偏差定位，因此会导致疲劳检测误判或漏判率上升。


技术实现要素：

[0003]
为了克服现有技术的不足，本发明的目的在于提供融合关键点定位及图像分类的驾驶员疲劳驾驶检测方法，解决了现有技术对关键点定位精准度要求高，导致疲劳检测误判或漏判率上升的问题。
[0004]
本发明提供融合关键点定位及图像分类的驾驶员疲劳驾驶检测方法，包括以下步骤：
[0005]
人脸识别，检测采集的驾驶员图像中的人脸，抠取人脸区域；
[0006]
人脸关键点定位，对所述人脸区域进行关键点定位；
[0007]
疲劳行为检测，根据获取的关键点计算关键点最小外接矩形，从原图中裁剪矩形区域，得到关键点部位图片，对所述关键点部位图片进行分类；
[0008]
疲劳预警，若连续第一预设数量帧图像中出现第二预设数量帧以上疲劳动作则判断出现疲劳动作，触发疲劳预警，提示司机。
[0009]
进一步地，所述人脸识别步骤中，采用mobile-ssd目标检测神经网络检测所述驾驶员图像中的人脸。
[0010]
进一步地，所述采用mobile-ssd目标检测神经网络检测采集的驾驶员图像中的人脸包括对所述驾驶员图像采用双线性插值进行缩放和归一化处理，将归一化处理结果输入mobile-ssd目标检测神经网络进行推理，若检测到人脸，则抠取人脸区域，若未检测到人脸，则结束本次疲劳检测。
[0011]
进一步地，所述人脸关键点定位步骤中，采用spf神经网络进行关键点定位对所述人脸区域进行关键点定位。
[0012]
进一步地，采用spf神经网络进行关键点定位对所述人脸区域进行关键点定位包
括将所述人脸区域图像进行缩放和归一化处理，将归一化处理结果输入spf神经网络进行处理，获得人脸关键点图像坐标。
[0013]
进一步地，所述疲劳行为检测步骤包括获取环眼睛关键点，根据所述环眼睛关键点计算得到左眼或右眼的最小外接矩形，从原图中裁剪左眼或右眼的最小外接矩形区域得到左眼或右眼图片，将待分类的左眼或右眼图片输入分类神经网络，判断得到睁眼、闭眼、其他三类其中之一。
[0014]
进一步地，所述疲劳行为检测步骤中还包括获取环嘴唇关键点，根据所述环嘴唇关键点计算得到嘴巴的最小外接矩形，从原图中裁剪嘴巴的最小外接矩形区域得到嘴巴图片，将待分类的嘴巴图片输入分类神经网络，判断得到哈欠、正常、其他三类结果其中之一。
[0015]
进一步地，所述疲劳预警步骤中，若连续第一预设数量帧图像中出现第二预设数量帧以上闭眼或哈欠则判断为闭眼或哈欠，触发疲劳预警，提示司机。
[0016]
一种电子设备，包括：处理器；
[0017]
存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行融合关键点定位及图像分类的驾驶员疲劳驾驶检测方法。
[0018]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行融合关键点定位及图像分类的驾驶员疲劳驾驶检测方法。
[0019]
相比现有技术，本发明的有益效果在于：
[0020]
本发明提供融合关键点定位及图像分类的驾驶员疲劳驾驶检测方法，包括以下步骤：人脸识别，检测采集的驾驶员图像中的人脸，抠取人脸区域；人脸关键点定位，对人脸区域进行关键点定位；疲劳行为检测，根据获取的关键点计算关键点最小外接矩形，从原图中裁剪矩形区域，得到关键点部位图片，对关键点部位图片进行分类；疲劳预警，若连续第一预设数量帧图像中出现第二预设数量帧以上疲劳动作则判断出现疲劳动作，触发疲劳预警，提示司机。本发明涉及一种电子设备和存储介质，用于执行融合关键点定位及图像分类的驾驶员疲劳驾驶检测方法。本发明在获取人脸关键点后，取环眼睛一周和环嘴唇一周关键点，计算最小外接矩形，抠取眼睛和嘴巴部位图像，采用神经网络进行分类，判断是否闭眼和打哈欠。由于神经网络具有很强的特征挖掘能力与鲁棒性，因此对关键点定位要求不高，同时能够极大提高闭眼与哈欠判别的准确度。
[0021]
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
[0022]
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0023]
图1为本发明的融合关键点定位及图像分类的驾驶员疲劳驾驶检测方法流程图。
具体实施方式
[0024]
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施
例。
[0025]
融合关键点定位及图像分类的驾驶员疲劳驾驶检测方法，如图1所示，包括以下步骤：
[0026]
人脸识别，检测采集的驾驶员图像中的人脸，抠取人脸区域；本实施例中，采用mobile-ssd目标检测神经网络检测驾驶员图像中的人脸，具体的包括：对驾驶员图像采用双线性插值缩放至宽高为300*300，再除以255进行像素值归一化，将归一化处理结果输入mobile-ssd目标检测神经网络进行推理，若检测到人脸，则抠取人脸区域，若未检测到人脸，则结束本次疲劳检测。
[0027]
人脸关键点定位，对人脸区域进行关键点定位；本实施例中，采用spf神经网络进行关键点定位对人脸区域进行关键点定位，具体的包括：将人脸区域图像缩放至112*112，同时所有像素值减去127.5并除以127.5进行归一化处理，将归一化处理结果输入spf神经网络进行处理，获得人脸68个关键点图像坐标。
[0028]
疲劳行为检测，根据获取的关键点计算关键点最小外接矩形，从原图中裁剪矩形区域，得到关键点部位图片，对关键点部位图片进行分类。本实施例中，对闭眼、哈欠行为进行识别判断，具体的包括：获取环眼睛关键点，根据环眼睛关键点计算得到左眼或右眼的最小外接矩形ldmarkbox，从原图中裁剪左眼或右眼的最小外接矩形ldmarkbox区域得到左眼或右眼图片，将待分类的左眼或右眼图片输入分类神经网络，判断得到睁眼、闭眼、其他三类其中之一。
[0029]
优选的，疲劳行为检测步骤中还包括获取环嘴唇关键点，根据环嘴唇关键点计算得到嘴巴的最小外接矩形mouthbox，从原图中裁剪嘴巴的最小外接矩形mouthbox区域得到嘴巴图片，将待分类的嘴巴图片输入分类神经网络，判断得到哈欠、正常、其他三类结果其中之一。
[0030]
疲劳预警，若连续第一预设数量帧图像中出现第二预设数量帧以上疲劳动作则判断出现疲劳动作，触发疲劳预警，提示司机。具体的，若连续5帧图像中出现3帧以上闭眼，则判断为闭眼，触发疲劳预警，提示司机；若连续5帧图像中出现3帧以上哈欠，则判断为哈欠，触发疲劳预警，提示司机。
[0031]
应当理解的是，人脸识别步骤、人脸关键点定位步骤和疲劳行为检测步骤均采用cnn神经网络，不同步骤采用的神经网络技术不唯一，可采用其他神经网络进行替代。
[0032]
一种电子设备，包括：处理器；
[0033]
存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行融合关键点定位及图像分类的驾驶员疲劳驾驶检测方法。
[0034]
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行融合关键点定位及图像分类的驾驶员疲劳驾驶检测方法。
[0035]
本发明提供融合关键点定位及图像分类的驾驶员疲劳驾驶检测方法，包括以下步骤：人脸识别，检测采集的驾驶员图像中的人脸，抠取人脸区域；人脸关键点定位，对人脸区域进行关键点定位；疲劳行为检测，根据获取的关键点计算关键点最小外接矩形，从原图中裁剪矩形区域，得到关键点部位图片，对关键点部位图片进行分类；疲劳预警，若连续第一预设数量帧图像中出现第二预设数量帧以上疲劳动作则判断出现疲劳动作，触发疲劳预警，提示司机。本发明涉及一种电子设备和存储介质，用于执行融合关键点定位及图像分类
的驾驶员疲劳驾驶检测方法。本发明在获取人脸关键点后，取环眼睛一周和环嘴唇一周关键点，计算最小外接矩形，抠取眼睛和嘴巴部位图像，采用神经网络进行分类，判断是否闭眼和打哈欠。由于神经网络具有很强的特征挖掘能力与鲁棒性，因此对关键点定位要求不高，同时能够极大提高闭眼与哈欠判别的准确度。
[0036]
以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。