一种基于人脸疲劳度检测的车载音乐控制系统

1.本实用新型涉及车载音乐控制技术领域，具体涉及一种基于人脸疲劳度检测的车载音乐控制系统。


背景技术：

2.人脸的疲劳度作为一个可以反映人当前生理机能的有效指标，能够体现个体的精神状态。从事需要高度注意力集中的工作需要具备较低的疲劳度，以提高工作的效率和防止意外的发生。特别是在长时间驾驶的环境中，注意力的集中和较低的疲劳度就显得格外重要。疲劳驾驶极易引起交通事故。
3.此外，当前市场上疲劳度检测装置对设备的要求较高。


技术实现要素：

4.本实用新型的目的在于，提供一种基于人脸疲劳度检测的车载音乐控制系统，克服疲劳度检测装置对设备的高要求以及高成本，仅以摄像头的图像数据作为输入，检测人脸当前的疲劳度，并对表现一定疲劳状态的个体予以车载音乐风格的转换及音量的调整从而进行简单的反馈与提醒。
5.为了解决上述技术问题，本实用新型所采用的技术方案是：
6.一种基于人脸疲劳度检测的车载音乐控制系统，包括：用于实时获取人脸图像的摄像头、用于根据人脸图像检测疲劳度的处理器、用于传输疲劳度参数的蓝牙模块、用于依据疲劳度参数进行车载音乐风格转换和音量调整的多媒体播放模块、以及电源；
7.摄像头、处理器和蓝牙模块依次连接，蓝牙模块和多媒体播放模块蓝牙连接，电源给摄像头、处理器、蓝牙模块和多媒体播放模块供电。
8.进一步地，摄像头和处理器一体化集成。
9.进一步地，多媒体播放模块和处理器闭环反馈连接。
10.进一步地，摄像头模块采用ov2460。
11.进一步地，处理器采用esp32。
12.进一步地，蓝牙模块采用bt401。
13.进一步地，多媒体播放模块采用attiny
‑
45单片机带sd卡的音频播放器。
14.进一步地，音乐风格包括舒缓型、适中型和偏摇滚型。
15.本实用新型的有益效果是：本实用新型的基于人脸疲劳度检测的车载音乐控制系统，通过简单摄像头的实时拍摄获取人脸图像，利用处理器根据获取的人脸图像检测疲劳度，通过蓝牙模块将疲劳度参数传输给多媒体播放模块，多媒体播放模块依据疲劳度参数进行车载音乐风格转换和音量调整，提高驾驶员的注意力，提高驾驶规范，减少意外风险。
附图说明
16.图1是基于人脸疲劳度检测的车载音乐控制系统的控制流程框图。
17.图2是基于人脸疲劳度检测的车载音乐控制系统的结构示意图。
18.图3是本实用新型的人脸模型识别处理图。
19.图4是本实用新型的处理器芯片电路图。
20.图5是本实用新型的蓝牙模块电路图。
21.图6是本实用新型的多媒体播放模块内置电路图。
22.图中，1
‑
摄像头，2
‑
处理器，3
‑
蓝牙模块，4
‑
多媒体播放模块，5
‑
左眼，6
‑
右眼，7
‑
嘴巴。
具体实施方式
23.下面将结合附图对本实用新型作进一步的说明：
24.本实用新型的基于人脸疲劳度检测的车载音乐控制系统，通过对人脸的分析进行实时疲劳度状态的分析获得反馈结果，并依据疲劳度参数对处于一定状态下的疲劳度个体进行车载音乐风格转换、音量调整，而达到提高驾驶员的注意力的目的。
25.本实用新型实施例的基于人脸疲劳度检测的车载音乐控制系统，如图1和图2所示，包括摄像头1、处理器2、蓝牙模块3、多媒体播放模块4和电源。摄像头1、处理器2和蓝牙模块3依次连接，蓝牙模块3和多媒体播放模块4蓝牙连接，电源分别为摄像头1、处理器2、蓝牙模块3和多媒体播放模块4供电。
26.其中，摄像头1用于实时获取人脸图像，其型号是ov2460，通过与处理器直接相连接进行视频流数据的实时传输。摄像头1和处理器2可以一体化集成，即处理器采用携带摄像头的esp32 cam开发板，如图4所示。如图5所示，蓝牙模块采用的是bt401，通过无线的蓝牙数据传输实现利用经过处理器判断的疲劳度状态对多媒体音乐播放模块的控制。多媒体播放模块内置连接电路采用的是attiny
‑
45带sd卡的音频播放器，实现接收蓝牙传输的数据从而进行音乐的播放，通过疲劳度的程度调整播放音乐的音乐类型(舒缓型、适中型、偏摇滚)，并且实时根据疲劳度的值平滑调整播放音乐的音量大小。
27.处理器2利用疲劳度评估模型进行疲劳度的检测，如图3所示，利用基于dlib深度学习模型对人脸进行68特征点的提取检测，利用双眼和嘴巴部分相关的特征点进行一个线性的拟合，其中，眼睛分为左眼和右眼。疲劳度的评估具体过程如下：
28.(1)对于左眼，由37、38、39、40、41、42特征点勾勒轮廓，利用(38，42)和(39，41)这两组特征点，取平均求取眼睛的宽度。利用(37，40)求取眼睛的长度，从而测定左眼的长宽比。
29.(2)对于右眼，43、44、45、46、47、48特征点，采用与左眼一样的测定原则，测定右眼的长宽比。
30.(3)对于两只眼睛的长宽比，求其平均值。考虑到正常情况下疲劳度的表现能够稳定并持续一段时间，于是测定基于时间序列的当前时间节点前后10帧(即前后各一秒)的人脸图像。
31.记录10帧内的长宽比为e
10
，而当前的长宽比值为e。
32.(4)对于嘴巴部分的特征点，提取49、51、52、53、55、57、58、59特征点勾勒轮廓。由(49，55)计算嘴巴的长度，利用(51,58)、(52,57)、(53，55)三组特征点，求取平均值作为嘴巴部分的宽度。同样，记录基于时间序列的当前时间节点前后10帧人脸图像的嘴巴长宽比
m
10
，当前值为m。
33.设定单限阈值f1为0.9，若测定并且持续时间为达到10帧，则判定为闭眼行为，即“困倦”。设定单限阈值f2为0.8，若测定并且持续时间为达到10帧，则判定为哈欠行为，即“不专注”。此时这两种均归类为重度疲劳。
34.若无哈欠或者闭眼行为的产生，则代入到疲劳度评估模型：
35.x＝y1*(m
‑
m
10
)/m
10
+y2*(e
‑
e
10
)/e
10
36.其中，y1和y2为模型中的权重因子，考虑到实际驾驶情况中，疲劳状态下闭眼较哈欠更易产生且具有较强的持续性，故设定y1＝0.6，y2＝0.4。
37.x<
‑
0.25，则判定为重度疲劳；
‑
0.25<x<
‑
0.15，则为轻度疲劳；
‑
0.15<x，则为无疲劳。
38.多媒体播放模块是通过利用蓝牙模块无线连接自带的音乐播放装置进行播放音乐(也可以通过车内自带的蓝牙接收模块或者与手机app相连接，进行播放音乐的切换和音量的调整)。如图6所示，多媒体音乐播放模块内置电路是利用attiny
‑
45单片机加以sd卡实现的音频播放器，接受蓝牙传输的数据从而实现接近无损音乐的播放。
39.该系统的工作流程为：摄像头进行视频图像数据流的输入，处理器利用dlib深度学习模型对人脸68个特征点进行检测，选取双眼和嘴巴部分的关键点，代入疲劳度评估模型，对疲劳度进行一个实时监测，并将检测结果分为三类：重度疲劳、轻度疲劳、无疲劳，并根据疲劳度的程度种类将多媒体播放的音乐从对应的三个音乐分类中随机选取(分别是舒缓型、适中型、偏摇滚)，并通过蓝牙模块bt401将结果传输给多媒体播放模块进行播放，并实时根据疲劳度值对播放的音乐音量进行适度的调整，从而整体实现基于疲劳度的车载音乐播放控制。
40.此外，多媒体播放模块和处理器还可以闭环反馈连接。
41.综上所述，本实用新型鉴于当前市场上疲劳度检测装置对设备的要求较高，设计一种车载音乐控制系统，基于简单的摄像头作为数据的输入，利用面部行为评估整体的疲劳度并从而改变车载音乐的播放行为的，达到集中司机注意力的目的，具有重要的现实意义与市场价值。本实用新型能够准确地获取当前的疲劳度程度，并对表现一定疲劳状态的个体予以车载音乐风格的转换及音量的调整从而进行简单的反馈与提醒。
42.以上实施例以及原理仅用于说明本实用新型的设计思想和特点，其目的在于使本领域内的技术人员能够了解本实用新型的内容并据以实施，本实用新型的保护范围不限于上述实施例。所以，凡是依据本实用新型的技术实质所做的任何简单修改，等同变化与修饰，均属于本实用新型技术方案的范围内。