一种基于神经网络的疲劳驾驶检测方法及相关设备与流程
本发明涉及图像检测领域，特别是涉及一种基于神经网络的疲劳驾驶检测方法及相关设备。
背景技术：
随着人们生活水平的逐渐提升，汽车已成为人们日常出行的主要交通工具，汽车给人们的工作、生活带来了翻天覆地的变化，但是随之而来的是大量的汽车出现在马路上，也逐渐引发了很多交通问题，尤其是人为因素已成为目前引发交通事故的主要原因。
现有的检测技术多集中于酒精检测方面，针对疲劳驾驶目前没有很精确的判别标准，而且采用的检测技术相对比较保守，只通过简单的人脸识别便做出最终结果的判断，不仅识别方法精确度低，而且很容易造成检测失误，给驾驶员带来困扰，造成不必要的麻烦。
技术实现要素：
基于此，有必要针对检测技术保守，不能精确识别人脸疲劳程度的问题，提供一种基于神经网络的疲劳驾驶检测方法及相关设备。
一种基于神经网络的疲劳驾驶检测方法，包括：
采集多张疲劳人脸图像，将多张所述疲劳人脸图像输入卷积神经网络中进行深度学习，计算多张所述疲劳人脸图像的特征值组并存储至疲劳预测数据库；
当主驾驶位置存在驾驶员时，采集驾驶员的待识别人脸图像，将所述待识别人脸图像输入所述卷积神经网络，计算所述待识别人脸图像的特征值组并比对所述疲劳预测数据库中的特征值组获取疲劳预测值；
当所述疲劳预测值大于预测阈值时，通过预设的语音问答系统询问所述驾驶员多个问题并统计所述驾驶员回答多个所述问题的错误数量及反应时间；
计算平均反应时间，依据所述疲劳预测值、平均反应时间、错误数量计算所述驾驶员的疲劳权重，当所述疲劳权重超过权重阈值时，判断所述驾驶员为疲劳状态并发出语音警告。
在一种可能的设计中，所述采集多张疲劳人脸图像，将多张所述疲劳人脸图像输入卷积神经网络中进行深度学习，计算多张所述疲劳人脸图像的特征值组并存储至疲劳预测数据库，包括：
通过图像输入设备采集多张使用车辆的驾驶员的疲劳人脸图像；
将所述多张疲劳人脸图像进行分割，去除多张所述疲劳人脸图像中人脸以外的干扰部分；
将分割后的多张所述疲劳人脸图像依次输入卷积神经网络，通过卷积神经网络提取多张所述疲劳人脸图像的多个特征值组并存储至疲劳预测数据库。
在一种可能的设计中，所述所述将所述多张疲劳人脸图像进行分割，去除多张所述疲劳人脸图像中人脸以外的干扰部分，包括：
通过预设的几何形状识别方法定位疲劳人脸图像中人脸的九个侦测点，所述几何形状识别方法通过识别预设的几何形状定位侦测点，所述预设的几何形状包括嘴唇形状、眼睛形状、鼻子形状、下巴形状、额头形状，获取的九个侦测点分别为左右耳尖的两个侦测点、左右眼角的两个侦测点、鼻尖的一个侦测点、嘴角的两个侦测点、额头的一个侦测点、下巴的一个侦测点；
依据九个侦测点定位人脸位置和大小，将人脸以外部分去除。
在一种可能的设计中，所述通过卷积神经网络提取多张所述疲劳人脸图像的多个特征值组并存储至疲劳预测数据库，包括：
通过卷积神经网络的卷积层读取分割后的所述疲劳人脸图像的二维数据，利用卷积神经网络的卷积核对所述二维数据进行计算，得到疲劳人脸图像的特征图，所述特征图的计算公式如下：
其中，r、g、b为所述疲劳人脸图像的三原色数值，wi1、wi2、wi3为卷积核、
通过卷积神经网络的池化层提取每个特征图中的最大值作为卷积神经网络的特征值，卷积神经网络的输出层输出所有特征值生成特征值组，存储至疲劳预测数据库。
在一种可能的设计中，所述所述当主驾驶位置存在驾驶员时，采集驾驶员的待识别人脸图像，将所述待识别人脸图像输入所述卷积神经网络，计算所述待识别人脸图像的特征值组并比对所述疲劳预测数据库中的特征值组获取疲劳预测值，包括：
定时对所述主驾驶位置进行一次人脸扫描，当所述主驾驶位置存在驾驶员时，采集所述驾驶员最近一次人脸图像；
将驾驶员的待识别人脸图像输入到卷积神经网络中，计算所述待识别图像的特征值组；
将所述特征值组与疲劳预测数据库中的特征值组比对，获取特征值组中特征值相同数量的最大值，将所述最大值定义为疲劳预测值。
在一种可能的设计中，所述当所述疲劳预测值大于预测阈值时，通过预设的语音问答系统询问所述驾驶员多个问题并统计所述驾驶员回答多个所述问题的错误数量及反应时间，包括：
将所述疲劳预测值与预设的预测阈值比较，当所述疲劳预测值大于所述预测阈值时，触发语音问答系统，通过所述语音问答系统调取预设的问题库，抽取多个问题，依据问题询问所述驾驶员，并调用预设的计时器进行计时；
获取所述驾驶员回答的答案，与预设的问题答案对比，统计所述驾驶员回答多个所述问题的错题数量；
获取所述计时器中所述驾驶员回答每个问题的反应时间，所述反应时间为所述语音问答系统读完问题到接收到所述答案的计时时间。
在一种可能的设计中，所述计算平均反应时间，依据所述疲劳预测值、平均反应时间、错误数量计算所述驾驶员的疲劳权重，包括：
依据所述反应时间计算平均反应时间，所述反应时间均以秒计算，以下为平均反应时间的计算公式：
其中，n为问题数量，sn为第n个问题的反应时间，
将平均反应时间
f1+f2+f3＝1
其中f1为时间权重系数、f2为预测权重系数、f3为答题权重系数，a为待识别人脸图像的疲劳权重。
基于相同的技术构思，本发明还提供了一种基于神经网络的疲劳驾驶检测装置，所述一种基于神经网络的疲劳驾驶检测装置，包括：
网络学习模块，设置为采集多张疲劳人脸图像，将多张所述疲劳人脸图像输入卷积神经网络中进行深度学习，计算多张所述疲劳人脸图像的特征值组并存储至疲劳预测数据库；
图像计算模块，设置为当主驾驶位置存在驾驶员时，采集驾驶员的待识别人脸图像，将所述待识别人脸图像输入所述卷积神经网络，计算所述待识别人脸图像的特征值组并比对所述疲劳预测数据库中的特征值组获取疲劳预测值；
语音问答模块，设置为当所述疲劳预测值大于预测阈值时，通过预设的语音问答系统询问所述驾驶员多个问题并统计所述驾驶员回答多个所述问题的错误数量及反应时间；
疲劳判断模块，设置为计算平均反应时间，依据所述疲劳预测值、平均反应时间、错误数量计算所述驾驶员的疲劳权重，当所述疲劳权重超过权重阈值时，判断所述驾驶员为疲劳状态并发出语音警告。
基于相同的构思，本申请提出一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行上述所述一种基于神经网络的疲劳驾驶检测方法的步骤。
基于相同的构思，本申请提出一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述一种基于神经网络的疲劳驾驶检测方法的步骤。
上述一种基于神经网络的疲劳驾驶检测方法及相关设备，通过采集多张疲劳人脸图像，将多张所述疲劳人脸图像输入卷积神经网络中进行深度学习，计算多张所述疲劳人脸图像的特征值组并存储至疲劳预测数据库；当主驾驶位置存在驾驶员时，采集驾驶员的待识别人脸图像，将所述待识别人脸图像输入所述卷积神经网络，计算所述待识别人脸图像的特征值组并比对所述疲劳预测数据库中的特征值组获取疲劳预测值；当所述疲劳预测值大于预测阈值时，通过预设的语音问答系统询问所述驾驶员多个问题并统计所述驾驶员回答多个所述问题的错误数量及反应时间；计算平均反应时间，依据所述疲劳预测值、平均反应时间、错误数量计算所述驾驶员的疲劳权重，当所述疲劳权重超过权重阈值时，判断所述驾驶员为疲劳状态并发出语音警告。本发明通过人脸识别技术初步获取到驾驶员的精神状态，避免针对未出现疲劳驾驶状态的驾驶员进行精准检测，降低检测成本；针对初步判断为疲劳驾驶状态的驾驶员进行精确判断，避免检测失误，给驾驶员造成不必要的困扰；采用人脸识别技术和语音识别技术，提高疲劳驾驶检测的效率，避免错过最佳安全保护时间，造成重大交通事故。
附图说明
图1为本发明一个实施例中一种基于神经网络的疲劳驾驶检测方法的流程图；
图2为本发明一个实施例中步骤s1网络学习的流程图；
图3为本发明一个实施例中步骤s2图像计算的流程图；
图4为本发明一个实施例中步骤s3语音问答的流程图；
图5为本发明一个实施例中一种基于神经网络的疲劳驾驶检测装置的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
图1为本发明实施例一种基于神经网络的疲劳驾驶检测方法的流程图，如图1所示，一种基于神经网络的疲劳驾驶检测方法，包括以下步骤：
步骤s1，网络学习：采集多张疲劳人脸图像，将多张所述疲劳人脸图像输入卷积神经网络中进行深度学习，计算多张所述疲劳人脸图像的特征值组并存储至疲劳预测数据库。
本步骤通过采集多张疲劳人脸图像，丰富卷积神经网络深度学习的素材库，提升疲劳人脸图像判断的精度。
图2为本发明一个实施例中步骤s1网络学习的流程图，如图2所示，在一个实施例中，步骤s1，包括如下具体步骤：
本实施例通过采集疲劳人脸图像并对疲劳人脸图像进行处理，获取丰富的疲劳人脸测试参考数据，提升疲劳人脸图像判断的精度。
步骤s101，人脸图像采集：通过图像输入设备采集多张使用车辆的驾驶员的疲劳人脸图像。
本步骤通过采集多张使用车辆的驾驶员的疲劳人脸图像，丰富人脸识别的素材库，提高人脸识别的精准度。
例如：某公司有甲、乙、丙、丁四个司机，常用车辆有大型商务车a、小型商务车b、c，轿车d、e，则采集以上车辆的疲劳人脸图像的过程中，需要采集甲、乙、丙、丁四个司机在不同环境、时间条件下的多张疲劳人脸图像。
步骤s102，干扰部分去除：将所述多张疲劳人脸图像进行分割，去除多张所述疲劳人脸图像中人脸以外的干扰部分。
本步骤通过去除多余部分，提高关键点识别的精度，避免多余部分图像对关键点的干扰，提升预测的精确度，也提升判断结果的准确性。
在一个实施例中，步骤s102，包括：
通过预设的几何形状识别方法定位疲劳人脸图像中人脸的九个侦测点，所述几何形状识别方法通过识别预设的几何形状定位侦测点，所述预设的几何形状包括嘴唇形状、眼睛形状、鼻子形状、下巴形状、额头形状，获取的九个侦测点分别为左右耳尖的两个侦测点、左右眼角的两个侦测点、鼻尖的一个侦测点、嘴角的两个侦测点、额头的一个侦测点、下巴的一个侦测点；依据九个侦测点定位人脸位置和大小，将人脸以外部分去除。
本实施例通过对疲劳人脸图像进行分割，减少人脸以外图像背景影响识别效果的概率，提高识别的精度。
例如：步骤s101中，采集了甲司机六张不同环境下的疲劳人脸图像，通过预设的嘴唇形状、眼睛形状、鼻子形状、下巴形状、额头形状，分别获取到六张疲劳人脸图像中的九个侦测点，将人脸以外的背景，类似车座、街景等分割去除，使得最终疲劳人脸图像识别的精度更加准确。
步骤s103，特征值组提取：将分割后的多张所述疲劳人脸图像依次输入卷积神经网络，通过卷积神经网络提取多张所述疲劳人脸图像的多个特征值组并存储至疲劳预测数据库。
本步骤通过提取每张疲劳人脸图像中的特征值组，锁定每张图像的唯一特征，丰富最终疲劳预测数据库的资料，便于精确识别待识别人脸图像。
在一个实施例中，步骤s103，包括：
通过卷积神经网络的卷积层读取分割后的所述疲劳人脸图像的二维数据，利用卷积神经网络的卷积核对所述二维数据进行计算，得到疲劳人脸图像的特征图，所述特征图的计算公式如下：
其中，r、g、b为所述疲劳人脸图像的三原色数值，wi1、wi2、wi3为卷积核、
本实施例通过详细阐释特征值组的计算过程，给出整个方案的理论依据，便于采集多张疲劳人脸图像的数据信息，用于作为判断疲劳人脸图像的依据。
例如：将步骤s102中分割后的甲司机的六张疲劳人脸图像输入卷积神经网络，最终卷积神经网络的输出层输出六张疲劳人脸图像的特征值组，分别为t1、t2、t3、t4、t5、t6，每个特征值组中包含w个特征值，将t1、t2、t3、t4、t5、t6存储到疲劳预测数据库。
步骤s2，图像计算：当主驾驶位置存在驾驶员时，采集驾驶员的待识别人脸图像，将所述待识别人脸图像输入所述卷积神经网络，计算所述待识别人脸图像的特征值组并比对所述疲劳预测数据库中的特征值组获取疲劳预测值。
本步骤通过采用同样的计算过程，将待识别人脸图像经过计算得到与预测数据库中类似的特征值组，通过对比两者获取特征值相同的数量，记为最终的疲劳预测值，用于判断待识别人脸图像的状态。
图3为本发明一个实施例中步骤s2图像计算的流程图，如图3所示，在一个实施例中，步骤s2，包括如下具体步骤：
本实施例通过定时获取待识别人脸图像，持续判断主驾驶位置驾驶员是否处于疲劳状态，避免驾驶员疲劳驾驶，防止引发交通事故。
步骤s201，待识别图像采集：定时对所述主驾驶位置进行一次人脸扫描，当所述主驾驶位置存在驾驶员时，采集所述驾驶员最近一次人脸图像。
本步骤定时扫描主驾驶位置，优选为每20秒扫描一次，判断所述主驾驶位置是否存在驾驶员，当所述主驾驶位置存在驾驶员时，通过预设在方向盘或主驾驶的挡风玻璃上的图像采集器获取到驾驶员最近一次人脸图像，用于及时获取最新的人脸状态，防止驾驶员处于疲劳驾驶，引发交通事故。
例如：在步骤s103中的案例中，客户戊到公司所在城市访问，甲司机开车去机场接机，在甲司机开车前往机场的过程中，预设在挡风玻璃上的图像采集器每20秒扫描一次，采集甲司机最近的一次面部图像，假设某一时刻采集的人脸图像为图像p。
步骤s202，特征值组计算：将驾驶员的待识别人脸图像输入到卷积神经网络中，计算所述待识别图像的特征值组。
本步骤通过计算获取到待识别人脸图像的特征值组用于判断疲劳预测值，采用与疲劳预测数据库中特征值组相同的计算过程，提升最终判断的准确度。
例如：将步骤s201中采集的图像p输入到卷积神经网络后，经过计算，获取到图像p的特征值组为tp。
步骤s203，疲劳预测值获取：将所述特征值组与疲劳预测数据库中的特征值组比对，获取特征值组中特征值相同数量的最大值，将所述最大值定义为疲劳预测值。
本步骤通过利用疲劳预测数据库中的特征值组与获取的待识别人脸图像的特征值组进行比对，判断最终的疲劳预测值，每张人脸疲劳图像的多个特征值组成一个特征值组，将待识别人脸图像的特征值组与疲劳预测数据库中的特征值组比对过程中相同数量最大的值记为疲劳预测值，当所述疲劳预测值大于预测阈值时，判断待识别人脸图像为疲劳人脸图像。
例如：步骤s202中获取的图像p的特征值组tp中的w个特征值分别与t1、t2、t3、t4、t5、t6中的w个特征值进行比对，假设分别获取到特征值相同的数量为2、6、4、7、5、3，其中7最大，则最终的疲劳预测值为7，假设预测阈值为5，则初步判断甲司机处于疲劳驾驶状态。
步骤s3，语音问答：当所述疲劳预测值大于预测阈值时，通过预设的语音问答系统询问所述驾驶员多个问题并统计所述驾驶员回答多个所述问题的错误数量及反应时间。
本步骤通过二次判断，采用预设的问题进行提问，进一步采集判断驾驶员疲劳状态的数据，提升判断的精度。
图4为本发明一个实施例中步骤s3语音问答的流程图，如图4所示，在一个实施例中，步骤s3，包括如下具体步骤：
本实施例详细说明进一步判断驾驶员疲劳状态的过程，将问答过程展开，提供了判断依据和数据获取的参照方案。
步骤s301，预设问题询问：将所述疲劳预测值与预设的预测阈值比较，当所述疲劳预测值大于所述预测阈值时，触发语音问答系统，通过所述语音问答系统调取预设的问题库，抽取多个问题，依据问题询问所述驾驶员，并调用预设的计时器进行计时。
本步骤通过抽取题库中预设的问题来进行问题的询问，具体优选为5个问题，抽取的问题为常识性的问题，类似8×8＝64、中国的首都是哪里的问题，预设的问题还包括提示驾驶员跟读，当驾驶员疲劳状况下注意力无法集中、无法跟读，反应时间超过设置的时间阈值时，则判断为问题回答错误。
例如：步骤s203中初步判断甲司机为疲劳驾驶后，此时触发语音问答系统，抽取5个问题，询问甲司机，并语音提醒甲司机回答问题的答案。
步骤s302，错题数量统计：获取所述驾驶员回答的答案，与预设的问题答案对比，统计所述驾驶员回答多个所述问题的错题数量。
本步骤直接通过语音问答系统获取甲司机回答的语音，并判断语音中的答案，同时统计错题数量。
例如：假设步骤s301中，甲司机回答了4个问题，1个未回答，其中2个回答错误，则统计错题数量为3。
步骤s303，计时时间获取：获取所述计时器中所述驾驶员回答每个问题的反应时间，所述反应时间为所述语音问答系统读完问题到接收到所述答案的计时时间。
本步骤利用计时器获取驾驶员回答问题的反应时间，防止驾驶员因为疲劳驾驶最终模糊回答正确的情况发生，利用时间分担计算的权重，减少这种情况发生影响判断结果的概率。
例如：假设步骤s302中甲司机回答4个问题的时间为10秒，7秒，5秒，6秒，其中未回答问题的反应时间不计算在内。
步骤s4，疲劳判断：计算平均反应时间，依据所述疲劳预测值、平均反应时间、错误数量计算所述驾驶员的疲劳权重，当所述疲劳权重超过权重阈值时，判断所述驾驶员为疲劳状态并发出语音警告。
本步骤中通过权重计算，考量各类因素，获取最终判断驾驶员的驾驶状态的判断依据，减少误判情况发生的概率，并通过语音警告，提醒司机所处的驾驶状态，减少交通事故发生的概率。
在一个实施例中，步骤s4，包括：
依据所述反应时间计算平均反应时间，所述反应时间均以秒计算，以下为平均反应时间的计算公式：
其中，n为问题数量，sn为第n个问题的反应时间，
将平均反应时间
f1+f2+f3＝1
其中f1为时间权重系数、f2为预测权重系数、f3为答题权重系数，a为待识别人脸图像的疲劳权重。
本实施例中通过详细计算，提高了疲劳驾驶检测精度，也提升了检测的效率，避免了错过最佳安全保护时间，造成重大交通事故。
例如：步骤s303中的平均反应时间最终通过计算得到
本发明实施例采用人脸识别技术和语音识别技术，提高疲劳驾驶检测的效率，避免错过最佳安全保护时间，造成重大交通事故。
在一个实施例中，提出了一种基于神经网络的疲劳驾驶检测装置，如图5所述，其包括：
网络学习模块，设置为采集多张疲劳人脸图像，将多张所述疲劳人脸图像输入卷积神经网络中进行深度学习，计算多张所述疲劳人脸图像的特征值组并存储至疲劳预测数据库；
图像计算模块，设置为当主驾驶位置存在驾驶员时，采集驾驶员的待识别人脸图像，将所述待识别人脸图像输入所述卷积神经网络，计算所述待识别人脸图像的特征值组并比对所述疲劳预测数据库中的特征值组获取疲劳预测值；
语音问答模块，设置为当所述疲劳预测值大于预测阈值时，通过预设的语音问答系统询问所述驾驶员多个问题并统计所述驾驶员回答多个所述问题的错误数量及反应时间；
疲劳判断模块，设置为计算平均反应时间，依据所述疲劳预测值、平均反应时间、错误数量计算所述驾驶员的疲劳权重，当所述疲劳权重超过权重阈值时，判断所述驾驶员为疲劳状态并发出语音警告。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行计算机可读指令时实现上述各实施例里一种基于神经网络的疲劳驾驶检测方法中的步骤。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例里一种基于神经网络的疲劳驾驶检测方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)等非易失性存储介质，或随机存储记忆体(randomaccessmemory，ram)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
- 还没有人留言评论。精彩留言会获得点赞！