一种疲劳状态预警方法、装置、设备及存储介质与流程

本申请涉及互联网应用技术领域，尤其涉及一种疲劳状态预警方法、装置、设备及存储介质。

背景技术：

日常生活中，用户如果长时间使用手机或电脑等电子产品阅读电子书籍、观看长短视频或玩游戏，就会容易产生疲劳感。而对于自制能力较差的青少年而言，在使用电子产品时更容易发生这种现象。

对此，现有技术提出了通过控制电子产品的使用时长来对用户进行提醒，从而避免用户处于疲劳状态。比如，在游戏app中，当用户持续使用app的时间超过设定时长时，则对用户发出休息提醒。但是以计时为主的方案的设定时长可以修改，并且由于不同年龄段的用户在不同场合、不同时间节点使用电子产品后产生疲劳感的时长不固定，所以通过设定时长对用户的疲劳状态进行预警显然是不准确的。

因此，有必要提供一种疲劳状态预警方法、装置、设备及存储介质，从而准确地判断出用户是否处于疲劳状态，并进行预警控制。

技术实现要素：

针对现有技术方案的缺陷，本申请提供了一种疲劳状态预警方法、装置、设备及存储介质，可以准确地判断出用户是否处于疲劳状态，并进行预警控制。

一方面，本申请提供了一种疲劳状态预警方法，所述方法包括：

获取目标对象在预设时间段内的多个图像；

确定所述多个图像中目标对象的脸部关键点特征信息；所述脸部关键点特征信息表征所述目标对象在所述预设时间段内的脸部状态信息以及脸部动作信息；

将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果；

基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制。

另一方面提供了一种疲劳状态预警装置，所述装置包括：

图像获取模块，用于获取目标对象在预设时间段内的多个图像；

特征信息确定模块，用于确定所述多个图像中目标对象的脸部关键点特征信息；所述多个图像对应的所述脸部关键点特征信息表征所述目标对象在所述预设时间段内的脸部状态信息以及脸部动作信息；

疲劳状态确定模块，用于将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果；

预警控制模块，用于基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制。

另一方面提供了一种疲劳状态预警设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的疲劳状态预警方法。

另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的疲劳状态预警方法。

本申请提供的疲劳状态预警方法、装置、设备及存储介质，具有如下技术效果：

本申请通过获取目标对象在预设时间段内的多个图像；并确定所述多个图像中表征目标对象脸部状态信息以及脸部动作信息的脸部关键点特征信息；将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，从而准确得到所述目标对象的疲劳状态判断结果；并基于判断结果，对所述目标对象进行准确地预警控制。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种疲劳状态预警系统的示意图；

图2是本申请实施例提供的一种疲劳状态预警方法的流程示意图；

图3是本申请实施例提供的当确定用户处于疲劳状态时，用户所使用手机的提示信息显示界面；

图4是本申请实施例提供的疲劳状态确定模型的一种确定方法的流程示意图；

图5是本申请实施例提供的疲劳状态确定模型的另一种确定方法的流程示意图；

图6是本申请实施例提供的疲劳状态确定模型的另一种确定方法的流程示意图；

图7是本申请实施例提供的一种疲劳状态预警装置的结构示意图；

图8是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本申请实施例提供的一种疲劳状态预警系统的示意图，如图1所示，该疲劳状态预警系统可以至少包括服务器01和客户端02。

具体的，本说明书实施例中，所述服务器01可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器01可以包括有网络通信单元、处理器和存储器等等。具体的，所述服务器01可以用于判断目标对象的疲劳状态。

具体的，本说明书实施例中，所述客户端02可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。具体的，所述客户端02可以用于获取目标对象在预设时间段内的多个图像。

以下介绍本申请的一种疲劳状态预警方法，图2是本申请实施例提供的一种疲劳状态预警方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：

s201：获取目标对象在预设时间段内的多个图像；

在本说明书实施例中，所述目标对象可以为使用手机、电脑等电子产品的不同年龄段的用户，例如所述目标对象可以为正在使用手机看小说或玩游戏的青少年。

在本说明书实施例中，可以通过目标对象所使用电子产品的摄像头获取目标对象在预设时间段内的视频，从而根据视频获取目标对象在预设时间段内的每一帧图像或间隔特定时间的多个图像。

s203：确定所述多个图像中目标对象的脸部关键点特征信息；所述脸部关键点特征信息表征所述目标对象在所述预设时间段内的脸部状态信息以及脸部动作信息。

在本说明书实施例中，所述脸部状态信息可以包括脸部的油光度、眼神呆滞等状态信息，所述脸部动作信息可以包括打哈欠、眼睛睁闭、点头等动作信息，所述眼睛睁闭不同于眨眼动作，当眼睛闭合超过预设时间时，确定眼睛为闭合状态。

在本说明书实施例中，所述确定所述多个图像中目标对象的脸部关键点特征信息可以包括：

获取每个图像中所述目标对象的静态特征信息和表情特征信息；所述静态特征信息可以包括脸部的油光度、眼神呆滞、瞳孔大小等信息；所述表情特征信息可以包括打哈欠、眼睛睁闭、点头等动作的频率信息。

基于所述目标对象在同一区域的表情特征信息确定所述目标对象的动态特征信息；

将所述多个图像的静态特征信息以及所述动态特征信息确定为所述脸部关键点特征信息。

在本说明书实施例中，所述脸部关键点特征信息可以包括眼部特征信息，所述确定所述多个图像中目标对象的脸部关键点特征信息可以包括：

获取所述多个图像中目标对象的眼部位置信息；

基于所述目标对象的眼部位置信息，确定所述目标对象眼部的静态特征信息和表情特征信息；所述眼部的静态特征信息可以包括眼部的黑眼圈、单次闭眼时间、瞳孔大小等信息，所述眼部的表情特征信息可以包括眼睛的睁闭次数。

基于所述目标对象在眼部的表情特征信息确定所述目标对象的眼部动态特征信息；

将所述多个图像的眼部静态特征信息以及动态特征信息确定为所述脸部关键点特征信息。

在本说明书实施例中，可以提取多个图像中目标对象的眼部特征信息，并将其确定为所述脸部关键点特征信息，从而后续可根据目标对象的眼部特征信息判断所述目标对象是否处于疲劳状态。

在本说明书实施例中，所述脸部关键点特征信息可以包括嘴部特征信息，所述确定所述多个图像中目标对象的脸部关键点特征信息可以包括：

获取所述多个图像中目标对象的嘴部位置信息；

基于所述目标对象的嘴部位置信息，确定所述目标对象嘴部的静态特征信息和表情特征信息；所述嘴部的静态特征信息可以包括嘴巴周围皮肤的油光等信息，所述嘴部的表情特征信息可以包括打哈欠的次数。

基于所述目标对象在嘴部的表情特征信息确定所述目标对象的嘴部动态特征信息；

将所述多个图像的嘴部静态特征信息以及动态特征信息确定为所述脸部关键点特征信息。

在本说明书实施例中，可以提取多个图像中目标对象的嘴部特征信息，并将其确定为所述脸部关键点特征信息，从而后续可根据目标对象的嘴部特征信息判断所述目标对象是否处于疲劳状态。

在本说明书实施例中，所述脸部关键点特征信息可以包括头部特征信息，所述确定所述多个图像中目标对象的脸部关键点特征信息可以包括：

获取所述多个图像中目标对象的头部位置信息；

基于所述目标对象的头部位置信息，确定所述目标对象头部的静态特征信息和表情特征信息；所述头部的静态特征信息可以包括额头皮肤油光度、头部倾斜度等信息，所述头部的表情特征信息可以包括点头的频率信息。

基于所述目标对象在头部的表情特征信息确定所述目标对象的头部动态特征信息；

将所述多个图像的头部静态特征信息以及动态特征信息确定为所述脸部关键点特征信息。

在本说明书实施例中，可以提取多个图像中目标对象的头部特征信息，并将其确定为所述脸部关键点特征信息，从而后续可根据目标对象的头部特征信息判断所述目标对象是否处于疲劳状态。

s205：将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果；

在本说明书实施例中，所述将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果可以包括：

将所述目标对象的脸部关键点特征信息输入所述疲劳状态确定模型，得到所述目标对象处于疲劳状态的概率；

当所述目标对象处于疲劳状态的概率大于预设概率阈值时，确定所述目标对象处于疲劳状态。

当所述目标对象处于疲劳状态的概率小于等于预设概率阈值时，确定所述目标对象处于正常状态。

在本说明书实施例中，所述方法还可以包括：

确定所述多个图像中目标对象的姿态信息；所述姿态信息表征所述目标对象在所述预设时间段内的肢体动作；

在本说明书实施例中，所述姿态信息可以包括用手揉眼睛的动作、频率等信息。

相应的，所述将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果可以包括：

将所述目标对象的脸部关键点特征信息与姿态信息输入所述疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果。

相应的，所述将所述目标对象的脸部关键点特征信息输入所述疲劳状态确定模型，得到所述目标对象处于疲劳状态的概率可以包括：

将所述目标对象的脸部关键点特征信息与所述姿态信息输入所述疲劳状态确定模型，得到所述目标对象处于疲劳状态的概率。

在本说明书实施例中，结合用户的脸部关键点特征信息与姿态信息判断用户的疲劳状态，提高了疲劳状态的判断准确率。

s207：基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制。

在本说明书实施例中，所述基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制可以包括：

当所述目标对象处于疲劳状态时，向所述目标对象发送预警提示信息。

在本说明书实施例中，所述预警提示信息可以包括目标对象使用电子产品的时长、休息提示信息等。向所述目标对象发送预警提示信息的同时，还可以控制目标对象当前所使用的电子产品屏幕自动关闭。例如，如图3所示，当用户正在使用手机看新闻且手机中的疲劳状态确定模型判断出用户处于疲劳状态时，在新闻的显示界面弹出提示信息“休息一下吧”，或者直接关闭手机屏幕，从而防止用户长时间处于疲劳状态。

在本说明书实施例中，所述疲劳状态确定模型可以包括机器学习的二分类模型，可以选择的模型包括线性分类器(例如：逻辑回归模型)、支持向量机(svm)、朴素贝叶斯(nb)、决策树(dt)等。训练过程中将正负样本照片输入给疲劳判断模型，通过模型评估指标(精确率和召回率、auc)进行多次迭代训练得到模型。auc(areaundercurve)被定义为roc曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于roc曲线一般都处于y＝x这条直线的上方，所以auc的取值范围在0.5和1之间。使用auc值作为评价标准是因为很多时候roc曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应auc更大的分类器效果更好。roc(receiveroperatingcharacteristic，接收者操作特征)，其主要分析工具是一个画在二维平面上的曲线——roccurve。平面的横坐标是负正类率(falsepositiverate，fpr)，纵坐标是真正类率(truepositiverate，tpr)。对某个分类器而言，我们可以根据其在测试样本上的表现得到一个tpr和fpr点对。这样，此分类器就可以映射成roc平面上的一个点。调整这个分类器分类时候使用的阈值，我们就可以得到一个经过(0，0)，(1，1)的曲线，这就是此分类器的roc曲线。一般情况下，这个曲线都应该处于(0，0)和(1，1)连线的上方。因为(0，0)和(1，1)连线形成的roc曲线实际上代表的是一个随机分类器。

在本说明书实施例中，如图4所示，所述疲劳状态确定模型包括采用下述方法确定：

s401：获取样本图像集，每个样本图像包括至少一个脸部关键点特征信息；

在本说明书实施例中，通过众测、众包、专业采集和标注得到正负样本，正样本是用户短时间正常使用手机时的脸容照片，脸容包括没有眨眼、没有闭眼、没有打哈欠、脸部干净。负样本是用户长时间使用手机后的脸容照片，脸容包括频繁眨眼、间隔闭眼、打哈欠、脸部泛油。正负样本比例可以根据实际情况进行设置，例如可以设置为1：1。

在标注正负样本的过程中，还可以结合图像中的姿态信息进行标注，例如用户用手揉眼睛的姿态可表明用户处于疲劳状态。

s403：将所述样本图像集按照第一预设比例划分成训练数据集和验证数据集；

在本说明书实施例中，所述将所述样本图像集按照第一预设比例划分成训练数据集和验证数据集可以包括：

将所述样本图像集按照第二预设比例划分成训练数据集、验证数据集和测试数据集。

在数据分析中，有些算法需要利用现有的数据构建模型，比如贝叶斯分类器，决策树，线性回归等，这类算法统称为监督学习(supervisiedlearning)算法。构建模型需要的数据称之为训练数据(traindata)。

模型构建完后，需要利用数据验证模型的正确性，这部分数据被称为测试数据(testdata)。测试数据不能用于模型构建之中，只能用于最后检验模型的准确性。

一般做预测分析时，会将数据分为两大部分。一部分是训练数据，用于构建模型，一部分是测试数据，用于检验模型。但是，有时候模型的构建过程中也需要检验模型，辅助模型构建，所以会将训练数据再分为两个部分：

1)训练数据；2)验证数据(validationdata)。

验证数据用于负责模型的构建。典型的例子是用裁剪决策树，求出最优叶节点数，防止过渡拟合(overfitting)。

训练数据(testdata)：用于模型构建。

验证数据(validationdata)：可选，用于辅助模型构建，可以重复使用。

测试数据(testdata)：用于检测模型构建，此数据只在模型检验时使用，用于评估模型的准确率。绝对不允许用于模型构建过程，否则会导致过渡拟合。

s405：基于机器学习算法对所述训练数据集进行疲劳状态预测训练；

s407：基于所述训练数据集与所述验证数据集确定所述机器学习算法的模型参数；

在本说明书实施例中，当通过所述训练数据集训练预设次数或预设时间时，暂停训练，通过验证数据判断训练模型是否训练完毕，若否，则继续采用训练数据集进行训练，直至验证数据验证所述训练模型训练通过为止。

s409：基于所述机器学习算法的模型参数构建所述疲劳状态确定模型。

在本说明书实施例中，当所述机器学习算法为一个时，所述方法还可以包括：

基于所述测试数据集确定所述疲劳状态确定模型的疲劳状态预测准确率。

在本说明书实施例中，在确定疲劳状态确定模型之后，还可以对其准确率进行计算，从而可使用户预期模型确定疲劳状态的准确度。

在本说明书实施例中，如图5所示，当所述机器学习算法为多个时，所述基于所述机器学习算法的模型参数构建所述疲劳状态确定模型可以包括：

s4091：基于多个机器学习算法的模型参数构建与所述多个机器学习算法对应的机器学习模型；

s4093：基于所述测试数据集确定多个机器学习模型的疲劳状态预测准确率；

s4095：将多个疲劳状态预测准确率由高到低进行排序；

s4097：将排序最前的疲劳状态预测准确率对应的机器学习模型确定为所述疲劳状态确定模型。

在本说明书实施例中，可以通过将多个模型进行对比训练，确定出准确率最高的模型作为所述疲劳状态确定模型，从而提高了目标对象的疲劳状态预测准确率。

如图6所示，当所述机器学习算法为多个时，疲劳状态确定模型的构建方法如下：

获取样本图像集，所述样本图像集包括多个样本图像，每个样本图像包括至少一个脸部关键点特征信息；

将所述样本图像集按照第一预设比例划分成训练数据集、验证数据集和测试数据；其中，所述训练数据集、验证数据集用于构建多个算法对应的训练模型；模型构建过程中，采用验证数据对其进行交叉验证，从而使其符合要求，得到每个模型的最佳参数；

基于每个模型的最佳参数，构建多个模型；

基于所述测试数据，计算多个模型的准确率；

将准确率最高的模型作为最终模型，即疲劳状态确定模型。

在本说明书实施例中，交叉验证可以包括k层交叉检验，k层交叉检验就是把原始的数据随机分成k个部分。在这k个部分中，选择一个作为测试数据，剩下的k-1个作为训练数据。

交叉检验的过程实际上是把实验重复做k次，每次实验都从k个部分中选择一个不同的部分作为测试数据(保证k个部分的数据都分别做过测试数据)，剩下的k-1个当作训练数据进行实验，最后把得到的k个实验结果平均。

由以上本说明书实施例提供的技术方案可见，本说明书实施例通过获取目标对象在预设时间段内的多个图像；并确定所述多个图像中表征目标对象脸部状态信息以及脸部动作信息的脸部关键点特征信息；将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，从而准确得到所述目标对象的疲劳状态判断结果；并基于判断结果，对所述目标对象进行准确地预警控制。

本申请实施例还提供了一种疲劳状态预警装置，如图7所示，所述装置包括：

图像获取模块710，用于获取目标对象在预设时间段内的多个图像；

特征信息确定模块720，用于确定所述多个图像中目标对象的脸部关键点特征信息；所述多个图像对应的所述脸部关键点特征信息表征所述目标对象在所述预设时间段内的脸部状态信息以及脸部动作信息；

疲劳状态确定模块730，用于将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果；

预警控制模块740，用于基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制。

在一些实施例中，所述特征信息确定模块还可以包括：

特征信息获取单元，用于获取每个图像中所述目标对象的静态特征信息和表情特征信息；

动态特征信息确定单元，用于基于所述目标对象在同一区域的表情特征信息确定所述目标对象的动态特征信息；

脸部关键点特征信息确定单元，用于将所述多个图像的静态特征信息以及所述动态特征信息确定为所述脸部关键点特征信息。

在一些实施例中，所述装置还可以包括：

姿态信息确定模块，用于确定所述多个图像中目标对象的姿态信息；所述姿态信息表征所述目标对象在所述预设时间段内的肢体动作；

在一些实施例中，所述疲劳状态确定模块可以包括：

疲劳状态确定单元，将所述目标对象的脸部关键点特征信息与姿态信息输入所述疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果。

在一些实施例中，所述疲劳状态确定模块可以包括：

概率确定子单元，用于将所述目标对象的脸部关键点特征信息输入所述疲劳状态确定模型，得到所述目标对象处于疲劳状态的概率；

疲劳状态确定子单元，用于当所述目标对象处于疲劳状态的概率大于预设概率阈值时，确定所述目标对象处于疲劳状态。

在一些实施例中，所述预警控制模块可以包括：

信息发送单元，用于当所述目标对象处于疲劳状态时，向所述目标对象发送预警提示信息。

在一些实施例中，所述装置还包括疲劳状态确定模型构建模块，所述模块包括：

样本图像集获取单元，用于获取样本图像集，每个样本图像包括至少一个脸部关键点特征信息；

数据集划分单元，用于将所述样本图像集按照第一预设比例划分成训练数据集和验证数据集；

预测训练单元，用于基于机器学习算法对所述训练数据集进行疲劳状态预测训练；

模型参数确定单元，用于基于所述训练数据集与所述验证数据集确定所述机器学习算法的模型参数；

疲劳状态确定模型构建单元，用于基于所述机器学习算法的模型参数构建所述疲劳状态确定模型。

在一些实施例中，所述数据集划分单元还包括：

数据集划分子单元，用于将所述样本图像集按照第二预设比例划分成训练数据集、验证数据集和测试数据集。

当所述机器学习算法为一个时，所述装置还可以包括：

预测准确率确定模块，用于基于所述测试数据集确定所述疲劳状态确定模型的疲劳状态预测准确率。

当所述机器学习算法为多个时，所述疲劳状态确定模型构建单元可以包括：

模型构建子单元，用于基于多个机器学习算法的模型参数构建与所述多个机器学习算法对应的机器学习模型；

准确率确定子单元，用于基于所述测试数据集确定多个机器学习模型的疲劳状态预测准确率；

排序子单元，用于将多个疲劳状态预测准确率由高到低进行排序；

确定疲劳状态确定模型子单元，用于将排序最前的疲劳状态预测准确率对应的机器学习模型确定为所述疲劳状态确定模型。

所述的装置实施例中的装置与方法实施例基于同样地发明构思。

本申请实施例提供了一种疲劳状态预警设备，该设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的疲劳状态预警方法。

本申请的实施例还提供了一种存储介质，所述存储介质可设置于终端之中以保存用于实现方法实施例中一种疲劳状态预警方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的疲劳状态预警方法。

可选地，在本说明书实施例中，存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书实施例所述存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本申请实施例所提供的疲劳状态预警方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图8是本申请实施例提供的一种疲劳状态预警方法的服务器的硬件结构框图。如图8所示，该服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessingunits，cpu)810(处理器810可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器830，一个或一个以上存储应用程序823或数据822的存储介质820(例如一个或一个以上海量存储设备)。其中，存储器830和存储介质820可以是短暂存储或持久存储。存储在存储介质820的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器810可以设置为与存储介质820通信，在服务器800上执行存储介质820中的一系列指令操作。服务器800还可以包括一个或一个以上电源860，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口840，和/或，一个或一个以上操作系统821，例如windowsservertm，macosxtm，unixtm，linuxtm，freebsdtm等等。

输入输出接口840可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器800的通信供应商提供的无线网络。在一个实例中，输入输出接口840包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口840可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器800还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。

由上述本申请提供的疲劳状态预警方法、装置、设备或存储介质的实施例可见，本申请通过获取目标对象在预设时间段内的多个图像；并确定所述多个图像中表征目标对象脸部状态信息以及脸部动作信息的脸部关键点特征信息；将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，从而准确得到所述目标对象的疲劳状态判断结果；并基于判断结果，对所述目标对象进行准确地预警控制。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。