一种疲劳检测方法及移动终端的制作方法

一种疲劳检测方法及移动终端的制作方法
【专利摘要】本发明实施例提供了一种疲劳检测方法及移动终端，其中，该疲劳检测方法应用于具有摄像头的移动终端，包括：获取所述摄像头连续采集的包括所述移动终端用户人脸的多帧预览图像；对所述多帧预览图像进行过渡点检测；当检测到存在从正常状态到疲劳状态的过渡点时，获取所述移动终端用户的人脸特征变化信息；基于所述人脸特征变化信息，确定所述移动终端用户处于疲劳状态；向所述移动终端用户发送疲劳状态提示信息。本发明实施例提供的疲劳检测方法，在检测出用户的疲劳状态后，能发出提示信息，提高移动终端用户驾车的安全性。
【专利说明】
一种疲劳检测方法及移动终端
技术领域
[0001] 本发明涉及移动通信技术领域，尤其涉及一种疲劳检测方法及移动终端。
【背景技术】
[0002] 随着经济的迅速发展，机动车的数量在不断增加。机动车在给人类带来交通快捷 方便的同时，也为交通安全埋下了隐患。驾驶员的疲劳驾驶是影响机动车驾驶安全的重要 因素，对驾驶员进行疲劳驾驶检测以防止疲劳驾驶对防止交通事故具有重大意义。
[0003] 目前，常用的疲劳检测方法有多种，例如，根据驾驶员对方向盘握力的变化来判断 驾驶员是否疲劳，但是检测不准确，误报多；或通过检测驾驶员的头部是否处于预设状态， 要求驾驶员的头部一直处于相同的状态，该方法不实用，可见，现有的疲劳检测方法存在检 测不准确、误报多以及不实用的问题。

【发明内容】

[0004] 本发明实施例提供一种疲劳检测方法，以解决现有的疲劳检测方法存在检测不准 确、误报多以及不实用的问题。
[0005] 第一方面，本发明实施例提供了一种疲劳检测方法，应用于具有摄像头的移动终 端，所述方法包括：
[0006] 获取所述摄像头连续采集的包括所述移动终端用户人脸的多帧预览图像；
[0007] 对所述多帧预览图像进行过渡点检测；
[0008] 当检测到存在从正常状态到疲劳状态的过渡点时，获取所述移动终端用户的人脸 特征变化信息；
[0009] 基于所述人脸特征变化信息，确定所述移动终端用户处于疲劳状态；
[0010] 向所述移动终端用户发送疲劳状态提示信息。
[0011] 第二方面，本发明实施例还提供了一种移动终端，包括摄像头，所述移动终端还包 括：
[0012] 图像获取模块，用于获取所述摄像头连续采集的包括所述移动终端用户人脸的多 帧预览图像；
[0013] 过渡点检测模块，用于对所述图像获取模块获取的多帧预览图像进行过渡点检 测；
[0014] 人脸特征变化获取模块，用于当所述过渡点检测模块检测到存在从正常状态到疲 劳状态的过渡点时，获取所述移动终端用户的人脸特征变化信息；
[0015] 疲劳判定模块，用于基于所述人脸特征变化获取模块获取的人脸特征变化信息， 确定所述移动终端用户处于疲劳状态；
[0016] 提示模块，用于在所述疲劳判定模块确定所述移动终端用户处于疲劳状态时，向 所述移动终端用户发送疲劳状态提示信息。
[0017] 这样，本发明实施例的疲劳检测方法和移动终端，在检测到从正常状态到疲劳状 态的过渡点时、开始获取所述移动终端用户的人脸特征变化信息；由于在未检测到从正常 状态到疲劳状态的过渡点时，表明用户尚未进入疲劳状态，故此种情况下多帧预览图像对 应的人脸特征变化信息的获取等处理操作是多余的，故本发明实施例在此种情况下可以不 进行所述多帧预览图像的后续处理，因此可以避免和节省所述多帧预览图像对应的人脸特 征变化信息的获取等耗时的处理操作，进而可以节省移动终端的内存、CPU等资源，且可以 提高移动终端的待机时间、响应速度等性能。
【附图说明】
[0018] 为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图 获得其他的附图。
[0019] 图1是本发明的一种疲劳检测方法实施例一的流程图；
[0020] 图2是本发明的一种疲劳检测方法实施例二的流程图；
[0021] 图3是本发明的一种灰度差平均值f随时间t变化的过程图；
[0022] 图4是本发明的一种疲劳检测方法实施例三的流程图；
[0023]图5是本发明的三种口型信息的示意；
[0024] 图6是本发明的一种移动终端实施例的结构框图；
[0025] 图7是本发明的一种过渡点检测模块602的结构框图；
[0026]图8是本发明的一种确定子模块623的结构框图；
[0027]图9是本发明的另一种确定子模块623的结构框图；
[0028]图10是本发明的再一种确定子模块623的结构框图；
[0029] 图11是本发明的另一种移动终端实施例的结构框图；
[0030] 图12是本发明的再一种移动终端实施例的结构框图；
[0031] 图13是本发明的一种移动终端1500的结构示意图。
【具体实施方式】
[0032]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施 例，都属于本发明保护的范围。
[0033]方法实施例一
[0034] 参照图1，示出了本发明的一种疲劳检测方法实施例一的流程图，应用于具有摄像 头的移动终端，具体可以包括如下步骤：
[0035] 步骤101、获取所述摄像头连续采集的包括所述移动终端用户人脸的多帧预览图 像。
[0036] 本发明实施例可以应用于具有摄像头的移动终端中。上述移动终端具体可以包括 但不限：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3， Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准 音频层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算 机、车载电脑、台式计算机、机顶盒、智能电视机、穿戴式设备等等。
[0037] 本发明实施例可用于检测用户的疲劳状态，可以理解，本发明实施例可以应用于 任意的应用场景。例如，该应用场景可以包括:驾驶场景，也即可以检测驾驶场景下驾驶员 用户的疲劳状态，以防止疲劳驾驶及其引起的交通事故。又如，该应用场景还可以包括:移 动终端的使用场景，也即可以检测移动终端的使用场景下用户长时间玩手机引起的疲劳， 以避免眼睛疾病及促进眼睛健康。再如，该应用场景还可以包括:车间场景，也即可以检测 车间场景下工人用户的疲劳状态，以防止疲劳作业及其引起的作业事故。可以理解，本发明 实施例对于具体的应用场景不加以限制，为方便起见，本发明实施例主要以驾驶场景为例 进行说明，其他应用场景相互参照即可。
[0038] 在本发明的一种可选实施例中，移动终端可以设置（内置或者外置)有摄像头，则 可以利用该摄像头连续采集包括所述移动终端用户人脸的多帧预览图像。例如，在驾驶场 景下，车载电脑可以通过外置的摄像头连续采集多帧预览图像。
[0039] 在实际应用中，多帧预览图像具体可以包括:至少两帧预览图像(例如，当前帧预 览图像和前一帧预览图像），可以理解，本发明实施例对于具体的多帧预览图像及其所包含 图像帧的具体数量不加以限制。
[0040] 在实际应用中，在采集预览图像的过程中，室外的光线或噪声会不断的变化，这样 容易导致采集到包括所述移动终端用户人脸的多帧预览图像的图像质量比较差，进而影响 疲劳检测的准确度。
[0041] 针对上述图像质量较差的问题，在本发明的一种可选实施例中，可以依据预置方 式对所采集的包括所述移动终端用户人脸的多帧预览图像进行预处理，上述预置方式可以 为用于增强图像质量的任意方式，如滤波、光照补偿、移动终端系统中自带的3A方法（SPAF (自动聚焦，Automatic Focus)、AWB(自动白平衡，Automatic White Balance)、AE(自动曝 光，Automatic Exposure))等来改善图片质量。
[0042]例如，在检测到室外光线发生变化时，可以调用3A方法来进行包括所述移动终端 用户人脸的多帧预览图像的调整，以增加包括所述移动终端用户人脸的多帧预览图像的清 晰度。又如，还可以对包括所述移动终端用户人脸的多帧预览图像进行滤波来减少噪声的 影响，或者，采用光照补偿方式增加包括所述移动终端用户人脸的多帧预览图像的细节，提 高人脸检测的准确度等。可以理解，本领域技术人员可以根据实际应用需求，采用所需的预 置方式，本发明实施例对于具体的预置方式不加以限制。
[0043] 步骤102、对所述多帧预览图像进行过渡点检测。
[0044] 本发明实施例经研究发现，用户在正常状态和疲劳状态下出现的面部特征往往是 不同的。以驾驶员用户为例，其在正常状态下嘴巴通常是闭合的，眼睛闭合状态的持续时间 往往比较短;而其在疲劳状态下通常会打哈欠张嘴、低头，眼睛闭合状态的持续时间也会长 一些。进一步，本发明实施例经研究发现，正常状态和疲劳状态之间将存在过渡点，该过渡 点具体包括:从正常状态到疲劳状态的过渡点。
[0045] 步骤103、当检测到存在从正常状态到疲劳状态的过渡点时，获取所述移动终端用 户的人脸特征变化信息。
[0046] 本发明实施例依据所述多帧预览图像，检测用户状态从正常状态到疲劳状态的过 渡点，并在检测到所述从正常状态到疲劳状态的过渡点时、开始获取所述移动终端用户的 人脸特征变化信息。
[0047] 由于在未检测到从正常状态到疲劳状态的过渡点时，表明用户尚未进入疲劳状 态，故此种情况下多帧预览图像对应的人脸特征变化信息的获取等处理操作是多余的，故 本发明实施例在未检测到从正常状态到疲劳状态的过渡点时不进行对于所述多帧预览图 像的后续处理，可以避免和节省所述多帧预览图像对应的人脸特征变化信息的获取等耗时 的处理操作，因此可以节省移动终端的内存、CPU等资源，且可以提高移动终端的待机时间、 响应速度等性能。
[0048] 需要说明的是，现有技术中常用的疲劳检测方法，通常针对每帧人脸图像进行如 下的较为耗时的处理操作:提取对应眼睛和嘴巴的特征，并依据所提取的特征判断眼睛和 嘴巴的状态，进而依据眼睛和嘴巴的状态判断驾驶员是否处于疲劳状态;上述处理操作相 对比较耗时，且对机器的性能要求比较高。而在智能手机等移动终端上运行现有技术中常 用的疲劳检测方法时，由于智能手机的图像处理性能往往低于专业的数字图像处理 (Digital Image Processing)芯片的图像处理性能，且不同用户所使用智能手机的性能往 往不同，且用户还需要通过智能手机实现娱乐、通话等其他功能，故现有技术中常用的疲劳 检测方法将严重影响智能手机的性能。
[0049] 而本发明实施例可以在执行上述较为耗时的处理操作之前，依据所述多帧预览图 像，检测从正常状态到疲劳状态的过渡点，并在检测到存在从正常状态到疲劳状态的过渡 点时，开始获取所述移动终端用户的人脸特征变化信息；由于在未检测到所述从正常状态 到疲劳状态的过渡点时、可以节省掉上述较为耗时的处理操作，因此能够大大提高智能手 机的性能。并且，上述从正常状态到疲劳状态的过渡点的检测操作的耗时远远小于现有技 术中较为耗时的处理操作，因此，基本不会影响智能手机的性能。
[0050] 本发明实施例中，在检测到从正常状态到疲劳状态的过渡点时，表明用户开始进 入疲劳状态，故此种情况下人脸图像帧序列对应的人脸特征变化信息的获取等处理操作是 有必要的，因此，可以针对所述过渡点之后的人脸图像帧进行相应的处理操作，其中得到的 处理结果具体可以包括:用户处于疲劳状态、或者用户不处于疲劳操作。
[0051] 在本发明的再一种可选实施例中，在获取所述移动终端用户的人脸特征变化信息 之前，可以对上述包括所述移动终端用户人脸的多帧预览图像进行人脸检测，得到多帧人 脸图像;则上述获取所述移动终端用户的人脸特征变化信息具体可以包括:依据上述多帧 人脸图像，获取所述移动终端用户的人脸特征变化信息。
[0052] 人脸检测是指确定输入图像(本发明实施例的包括所述移动终端用户人脸的多帧 预览图像）中是否存在人脸，并在存在时确定人脸的位置、大小和位姿的过程。由于人脸检 测作为人脸信息处理中的一项关键技术，近年来成为模式识别与计算机视觉领域内已经得 到比较成功应用的课题，因此，这里可以采用已有的人脸检测方法从所述包括所述移动终 端用户人脸的多帧预览图像中得到人脸图像。例如，上述人脸检测方法具体可以包括:基 于Haar特征的Adaboost(自适应增强，adaptive enhancement)检测方法，利用该方法定位 到人脸的区域。其中，Haar特征又称Haar-I ike特征，具体可以分为三类:边缘特征、线性特 征、中心特征和对角线特征，Haar特征能够反映了图像的灰度变化情况。可以理解，本发明 实施例对于具体的人脸检测方法不加以限制。
[0053]在本发明的一种可选实施例中，在人脸检测方法未检测到人脸时，可以发出调整 提示信息，该调整提示信息可用于提示用户调整摄像头以重新进行包括所述移动终端用户 人脸的多帧预览图像的采集。
[0054]步骤104、基于所述人脸特征变化信息，确定所述移动终端用户处于疲劳状态。
[0055] 在本发明的一种可选实施例中，上述人脸特征具体包括:眼睛特征和/或嘴巴特征 等。上述人脸特征变化信息可以作为疲劳状态的检测依据。其中，上述人脸特征变化信息具 体可以包括:眼睛特征变化信息和/或嘴巴特征变化信息，眼睛特征变化信息可以进一步包 括:眼睛从睁开到闭合的变化，上述嘴巴特征变化信息可以进一步包括:打哈欠、闭合、正常 状态三种嘴巴状态之间的变化信息等，可以理解，本发明实施例对于具体的人脸特征变化 信息不加以限制。
[0056] 步骤105、向所述移动终端用户发送疲劳状态提示信息。
[0057] 在确定用户处于疲劳状态时，可以发出疲劳状态提示信息，该疲劳状态提示信息 可用于警告移动终端用户，其中，上述疲劳状态提示信息可以为向移动终端用户发出的语 音信息，也可以是向移动终端用户对应的预设联系人发送短消息或者呼叫信息等，以使上 述预设联系人及时通知该移动终端用户。其中，该预设联系人可以为移动终端存储的移动 终端用户的常用联系人，其可由移动终端用户预先设置得到，可以理解，本发明实施例对于 具体的预设联系人及疲劳状态提示信息不加以限制。
[0058]本发明实施例的疲劳检测方法，在检测到从正常状态到疲劳状态的过渡点时、开 始获取所述移动终端用户的人脸特征变化信息；由于在未检测到从正常状态到疲劳状态 的过渡点时，表明用户尚未进入疲劳状态，故此种情况下多帧预览图像对应的人脸特征变 化信息的获取等处理操作是多余的，故本发明实施例在此种情况下可以不进行所述多帧预 览图像的后续处理，因此可以避免和节省所述多帧预览图像对应的人脸特征变化信息的获 取等耗时的处理操作，进而可以节省移动终端的内存、CPU等资源，且可以提高移动终端的 待机时间、响应速度等性能。
[0059]方法实施例二
[0060]参照图2,示出了本发明的一种疲劳检测方法实施例二的流程图，具体可以包括如 下步骤：
[0061] 步骤201、获取所述摄像头连续采集的包括所述移动终端用户人脸的多帧预览图 像。
[0062] 移动终端可以设置（内置或者外置)有摄像头，则可以利用该摄像头连续采集包括 所述移动终端用户人脸的多帧预览图像。例如，在驾驶场景下，车载电脑可以通过外置的摄 像头连续采集多帧预览图像。
[0063]步骤202、依次对所述多帧预览图像中的所有相邻两帧预览图像的每个像素点进 行灰度值差值计算。
[0064]本发明实施例中，检测从正常状态到疲劳状态的过渡点的一个目的是为了避免每 帧人脸图像都需要进行人脸特征变化信息的获取等耗时的处理操作，这样可以减少计算 量，增加实时性。
[0065]本发明实施例步骤202、步骤203和步骤204可以采用帧差值法进行过渡点的检测， 正常状态下相邻两帧预览图像对应的差值图像的灰度差平均值通常是趋于稳定的，即将进 入疲劳状态时，该灰度差平均值通常会发生跳变。
[0066]步骤203、对于每相邻两帧预览图像，计算所有像素点的灰度值差值的平均值，得 到每相邻两帧预览图像的灰度差平均值。
[0067]在本发明的一种应用示例中，步骤202计算灰度值差值的过程可以参照公式（1)， 步骤203计算灰度差平均值的过程可以参照公式(2)。
[0068]
[0069] ：(2)
[0070] 其中，Xt和乂0分别表示相邻两帧预览图像中的当前帧预览图像和前一帧预览图 像，Yt表示Xt和Xt-I对应的差值图像，该差值图像可以包括多个像素点，每个像素点的值代表 灰度值差值，艾表示该差值图像对应的灰度差平均值，M和N分别表示图像的宽和高，i和j分 别表示图像的行和列元素的编号。
[0071] 步骤204、基于所有相邻两帧预览图像的所述灰度差平均值，确定从正常状态到疲 劳状态的过渡点。
[0072] 参照图3,示出了本发明的一种灰度差平均值f随时间t变化的过程图。其中，^时 亥Ij为从正常状态到疲劳状态的过渡点，tm之前为正常状态，tm和tn之间为疲劳状态，tn之后 为正常状态。可以看出，灰度差平均值在U出现了一定程度的跳变。
[0073] 通过图3可以看出，差值图像对应的灰度差平均值叉在^出现了一定程度的跳变， 这样，可以通过第一阈值来检测从正常状态到疲劳状态的过渡点。相应地，在本发明的一种 可选实施例中，上述步骤204，具体可以包括:基于所有相邻两帧预览图像的所述灰度差平 均值，确定取值大于预设第一阈值的第一灰度差平均值;将所述第一灰度差平均值对应的 第一时间点确定为从正常状态到疲劳状态的过渡点。
[0074] 上述第一阈值可由本领域技术人员依据实际应用需求确定，在此提供一种确定上 述第一阈值的示例，具体地，可以通过实验对正常状态(也即非疲劳状态）下差值图像的灰 度差平均值f进行分析，以得到灰度差平均值X的最大值，并将该最大值作为上述第一阈 值。可以理解，任意的从正常状态即将进入疲劳状态的灰度差平均值！的最大值均可以作 为本发明实施例的第一阈值，本发明实施例对于具体的第一阈值及其确定过程不加以限 制。
[0075]需要说明的是，上述当前差值图像的灰度差平均值超出第一阈值可以作为公式 (1)(当前帧预览图像和前一帧预览图像之间的差值)对应的检测条件，在差值图像对应前 一帧预览图像与当前帧预览图像之间的差值时，对应的检测条件可以为差值图像的灰度 差平均值的绝对值超出第一阈值。
[0076]在本发明的另一种可选实施例中，在从正常状态进入疲劳状态后用户的面部特征 往往不会发生变化或者发生的变化较小，因此这段时间内相邻两帧预览图像对应差值图像 的灰度差平均值是趋于稳定的，理想状态下这个值可以接近为零，例如U_t n之间的灰度差 平均值趋于稳定。
[0077]故本可选实施例中，上述步骤204，具体可以包括:基于所述所有相邻两帧预览图 像的所述灰度差平均值，确定满足第一预设条件的第二灰度差平均值;将所述第二灰度差 平均值对应的第二时间点确定为从正常状态到疲劳状态的过渡点；其中，所述第一预设条 件具体可以包括:所述第二灰度差平均值大于所述预设第一阈值，且所有晚于所述第二时 间点的时间点对应的灰度差平均值与所述第二灰度差平均值之间的差值的绝对值均小于 预设第二阈值。其中，第二阈值可以为通过实验得到的经验值，可以理解，本发明实施例对 于第二阈值的具体确定过程不加以限制。
[0078] 在本发明的再一种可选实施例中，还可以在检测从正常状态到疲劳状态的过渡点 的过程中对眨眼动作进行排除，以提高检测的准确率。本发明实施例经研究发现，眨眼是一 个非常快速的过程，睁眼一闭眼一睁眼，眨一次眼大概需要〇.3s左右的时间，这样两个跳变 点之间的时间很短暂，也就是U到^之间的时间通常很短暂。而疲劳闭眼时闭住了通常会有 一段时间才会睁开，甚至都不睁眼，这样之间的时间会相对比较长，故通过后续差值 图像的灰度差平均值与当前差值图像的灰度差平均值之间的差值小于第二阈值的持续时 长对眨眼动作进行排除。
[0079] 相应地，上述步骤204具体可以包括:基于所述所有相邻两帧预览图像的所述灰度 差平均值，确定满足第二预设条件的第三灰度差平均值和第四灰度差平均值;将所述第三 灰度差平均值对应的第三时间点确定为从正常状态到疲劳状态的过渡点；其中，所述第二 预设条件具体可以包括:所述第三灰度差平均值和所述第四灰度差平均值均大于所述预设 第一阈值，且所述第四灰度差平均值对应的第四时间点和所述第三时间点之间的差值大于 预设第一时长阈值。其中，上述第一时长阈值可以为通过实验得到的眨眼动作对应两个跳 变点之间的时长，可以理解，本发明实施例对于具体的第一时长阈值及其确定过程不加以 限制。
[0080] 步骤205、当检测到存在从正常状态到疲劳状态的过渡点时，实时获取所述摄像头 采集的预览图像中所述移动终端用户眼睛的闭合状态信息。
[0081] 本发明实施例中，可以通过步骤205和步骤206获取所述移动终端用户的眼睛特征 变化信息，可选地，可以获取移动终端用户眼睛的闭合状态的变化信息。
[0082] 在实际应用中，可以利用SVM(支持向量机，Support Vector Machine)训练出两类 分类器，以使该两类分类器判断眼睛的闭合状态或者睁眼状态。具体地，可以选取一定量的 睁眼图片样本和闭眼图片样本，进行训练。在训练好两类分类器之后，可以将通过眼睛检测 得到的眼睛区域图像放入到上述两类分类器中进行处理。然后，利用PERCLOS(P ercentage of Eyelid Closure Over Time)标准来判断疲劳状态。
[0083] 眼睛检测是为了获得较为准确的眼睛区域图像。在本发明的一种可选实施例中， 驾驶员用户在驾驶过程中眼睛移动的频率要远高于头部转动的频率。一般驾驶员用户眼睛 的位置在面部的上3/5位置。根据这个经验值，可以利用几何模型和投影技术来检测眼睛。 因为眼睛区域的像素相对其他区域都要低一些，这样可以通过计算眼睛的像素值来检测眼 睛。
[0084] 在本发明的另一种可选实施例中，上述眼睛检测可以通过自适应提升算法和类 Haar小波训练得到的人脸检测器进行人脸检测，在此基础上进行眼睛区域的定位，此种方 式采用对人脸的整个区域进行检测，可以较为准确的得到眼睛区域图像。在某些情况下，在 无法检测到人脸的整个区域时，也可以通过自适应提升算法和类Haar小波训练直接得到单 眼或双眼眼测器来实现。
[0085] 在本发明的再一种可选实施例中，为了避免针对每帧人脸图像进行眼睛检测带来 的的运算量大、运算速度慢及实时性差的问题，上述眼睛检测的步骤，具体可以包括:针对 人脸图像帧序列中的当前人脸图像，检测对应的当前眼睛位置;采用卡尔曼滤波方法，依据 所述当前眼睛位置预测下一时刻的眼睛位置。
[0086] 本可选实施例在检测到当前人脸图像的当前眼睛位置之后，可以采用卡尔曼滤波 方法来跟踪眼睛，依据所述当前眼睛位置预测下一时刻的眼睛位置。
[0087] 卡尔曼滤波方法基于状态预测的基本思想是：
[0088]
[0089]
[0090] 其中，^表示未观察到的状态，Uk是已知的输入源，yk是被观测到的测量信号，％和 nk分别表示过程噪声和观测噪声。
[0091] 具体到本发明实施例，可以采用高非线性的相似模型描述眼睛的运动过程，所以 很难去模拟眼睛的运动过程。故在实际应用中可以采用如下非线性方程来对眼睛的运动过 程来进行建模。
[0092] (5)
[0093]
[0094] ak+i = x〃k+i=AkωkC〇s( ωkt) (7)
[0095] 眼睛在每一帧的运动用帧的位置和速度来描述，由上式（5)可以看出对眼睛的运 动状态符合牛顿运动定律，其中，XQ和X表示眼睛的初始位置和以后的位置，加速度a是根据 正弦分别来获取，Vo表示初始速度，通常情况下是0,而V表示以后的速度，可以通过v = at来 获得。也即，通过上述公式(5)-(7)可以预测得到眼睛在每帧人脸图像中的位置。
[0096] 步骤206、基于所述闭合状态信息，计算在预设时间段内，眼睛处于闭合状态的预 览图像帧数占预览图像总帧数的比例。
[0097]本发明实施例中，PERCL0S值即单位时间内眼睛闭合时间所占的百分比，使用 PERCL0S值判别用户的疲劳状态是目前公认的最有效的方法，其计算公式如下：
[0098] PERCL0S值=(眼睛闭合时间/固定时间）*100% (8)
[0099] 为了运算的便利性，上式(8)左边的分子分母同时除以每次检测的平均时间，得到 下式：
[0100] PERCL0S值=(眼睛处于闭合状态的预览图像帧数/预览图像总帧数)*100% (9)
[0101] 步骤207、当所述眼睛处于闭合状态的预览图像帧数占预览图像总帧数的比例大 于预设第三阈值时，确定所述移动终端用户处于疲劳状态。
[0102] 在本发明的一种可选实施例，可以将得到的PERCL0S值与预设的第三阈值进行比 较，判定用户是否处于疲劳状态。上述预设的第三阈值通常根据大量的实验数据及行车环 境根据经验预设，将得到的PERCL0S值与预设的第三阈值进行比较，当PERCL0S值大于等于 预设阈值时，可以判定用户处于疲劳状态，故可以发出相应的疲劳状态提示信息，提醒用户 休息，以保证行车安全或者眼睛健康。
[0103] 需要说明的是，上述利用PERCL0S标准来判断疲劳状态的过程只是作为示例，实际 上，本领域技术人员可以根据实际应用需求，采用其他判断方法。例如，当驾车时，容易犯困 的通常是在路段比较好开的路段，如高速公路，这时候的车速度比较快，如果疲劳，很容易 出现交通事故，故在出现闭眼时就判断用户处于疲劳状态，以提醒驾驶员用户保持清醒，因 为如果在出现真正的疲劳状态时进行提醒将会造成严重的事故。可以理解，本发明实施例 对于判断疲劳状态的具体过程不加以限制。
[0104] 步骤208、向所述移动终端用户发送疲劳状态提示信息。
[0105] 在确定用户处于疲劳状态时，可以发出疲劳状态提示信息，该疲劳状态提示信息 可用于警告移动终端用户，其中，上述疲劳状态提示信息可以为向移动终端用户发出的语 音信息，也可以是向移动终端用户对应的预设联系人发送短消息或者呼叫信息等，以使上 述预设联系人及时通知该移动终端用户。其中，该预设联系人可以为移动终端存储的移动 终端用户的常用联系人，其可由移动终端用户预先设置得到，可以理解，本发明实施例对于 具体的预设联系人及疲劳状态提示信息不加以限制。
[0106] 在本发明的一种可选实施例中，上述过渡点还可以包括:从疲劳状态到正常状态 的过渡点；本实施例的所述方法还可以包括:在检测到所述从疲劳状态到正常状态的过渡 点时，停止所述依据所述过渡点之后的人脸图像帧序列检测用户的疲劳状态的步骤。
[0107] 在本发明实施例发出疲劳状态对应的预警后，用户可能从疲劳状态转到正常状 态，故本发明实施例还可以检测从疲劳状态到正常状态的过渡点，如图图3中的^点即为从 疲劳状态到正常状态的过渡点。从正常状态到疲劳状态的过渡点的检测过程与从正常状态 到疲劳状态的过渡点的检测过程的原理是类似的，故可以相互参照。
[0108] 例如，在本发明的一种可选实施例中，上述检测到所述从疲劳状态到正常状态的 过渡点的过程，具体可以包括:依次对所述多帧预览图像中的所有相邻两帧预览图像的每 个像素点进行灰度值差值计算;对于每相邻两帧预览图像，计算所有像素点的灰度值差值 的平均值，得到每相邻两帧预览图像的灰度差平均值;基于所有相邻两帧预览图像的所述 灰度差平均值，确定从疲劳状态到正常状态的过渡点。上述检测到所述从疲劳状态到正常 状态的过渡点的过程可以采用帧差值法进行过渡点的检测，疲劳状态下相邻两帧预览图像 对应的差值图像的灰度差平均值通常是趋于稳定的，即将进入疲劳状态时，该灰度差平均 值通常会发生跳变。
[0109] 本发明实施例的疲劳检测方法，可以采用帧差值法进行过渡点的检测，正常状态 下相邻两帧预览图像对应的差值图像的灰度差平均值通常是趋于稳定的，即将进入疲劳状 态时，该灰度差平均值通常会发生跳变。这样不仅可以减少计算量，增加实时性，而且可以 提高过渡点检测的准确度。
[0110] 另外，本发明实施例将得到的PERCL0S值与预设的第三阈值进行比较，当PERCL0S 值大于等于预设阈值时，可以判定用户处于疲劳状态，故可以发出相应的疲劳状态提示信 息，提醒用户休息，以保证行车安全或者眼睛健康。
[0111] 方法实施例三
[0112] 参照图4,示出了本发明的一种疲劳检测方法实施例三的流程图，具体可以包括如 下步骤：
[0113] 步骤401、获取所述摄像头连续采集的包括所述移动终端用户人脸的多帧预览图 像。
[0114] 移动终端可以设置（内置或者外置)有摄像头，则可以利用该摄像头连续采集包括 所述移动终端用户人脸的多帧预览图像。例如，在驾驶场景下，车载电脑可以通过外置的摄 像头连续采集多帧预览图像。
[0115] 步骤402、依次对所述多帧预览图像中的所有相邻两帧预览图像的每个像素点进 行灰度值差值计算。
[0116] 本发明实施例中，检测从正常状态到疲劳状态的过渡点的一个目的是为了避免每 帧人脸图像都需要进行人脸特征变化信息的获取等耗时的处理操作，这样可以减少计算 量，增加实时性。
[0117] 步骤403、对于每相邻两帧预览图像，计算所有像素点的灰度值差值的平均值，得 到每相邻两帧预览图像的灰度差平均值。
[0118] 本发明实施例步骤402、步骤403和步骤404可以采用帧差值法进行过渡点的检测， 正常状态下相邻两帧预览图像对应的差值图像的灰度差平均值通常是趋于稳定的，即将进 入疲劳状态时，该灰度差平均值通常会发生跳变。
[0119]步骤404、基于所有相邻两帧预览图像的所述灰度差平均值，确定从正常状态到疲 劳状态的过渡点。
[0120]通过图3可以看出，差值图像对应的灰度差平均值I在U出现了一定程度的跳变， 这样，可以通过第一阈值来检测从正常状态到疲劳状态的过渡点。相应地，在本发明的一种 可选实施例中，上述步骤404，具体可以包括:基于所有相邻两帧预览图像的所述灰度差平 均值，确定取值大于预设第一阈值的第一灰度差平均值;将所述第一灰度差平均值对应的 第一时间点确定为从正常状态到疲劳状态的过渡点。
[0121 ]在本发明的另一种可选实施例中，上述步骤404，具体可以包括:基于所述所有相 邻两帧预览图像的所述灰度差平均值，确定满足第一预设条件的第二灰度差平均值;将所 述第二灰度差平均值对应的第二时间点确定为从正常状态到疲劳状态的过渡点；其中，所 述第一预设条件具体可以包括:所述第二灰度差平均值大于所述预设第一阈值，且所有晚 于所述第二时间点的时间点对应的灰度差平均值与所述第二灰度差平均值之间的差值的 绝对值均小于预设第二阈值。
[0122] 在本发明的再一种可选实施例中，上述步骤404具体可以包括:基于所述所有相邻 两帧预览图像的所述灰度差平均值，确定满足第二预设条件的第三灰度差平均值和第四灰 度差平均值;将所述第三灰度差平均值对应的第三时间点确定为从正常状态到疲劳状态的 过渡点；其中，所述第二预设条件具体可以包括:所述第三灰度差平均值和所述第四灰度差 平均值均大于所述预设第一阈值，且所述第四灰度差平均值对应的第四时间点和所述第三 时间点之间的差值大于预设第一时长阈值。
[0123] 步骤405、在检测到所述从正常状态到疲劳状态的过渡点时，实时获取所述移动终 端用户的口型信息和口型持续的时间。
[0124] 本发明实施例中，可以通过步骤405和步骤406获取所述移动终端用户的嘴巴特征 变化信息，可选地，可以获取移动终端用户嘴巴的口型信息和口型持续的时间的变化信息。
[0125] 在本发明的一种可选实施例中，在实时获取所述移动终端用户的口型信息和口型 持续的时间之前，可以通过嘴巴检测获取嘴巴区域图像。具体地，可以根据人脸的结构，把 嘴巴的搜索区域定位在人脸区域的下2/3位置。在灰度图像中，由于嘴唇的灰度值远远小于 人脸，所以，可以首先对人脸图像进行二值化，并在二值化后的人脸图像中提取一个比较集 中、连通性较好的区域，作为嘴巴区域图像，可以理解，本发明实施例具体的嘴巴检测过程 不加以限制。
[0126] 嘴巴状态是通过计算嘴巴张开面积及其宽高比来判断。正常情况下，一次打哈欠 的时间大约为6秒。一个打哈欠的动作包括一次嘴巴张开和闭合，因此，可以检测嘴巴张开 的范围来检测驾驶员的疲劳状态，即通过检测口型信息(嘴巴张开的程度)和口型持续的时 间。参照图5,示出了本发明的三种口型信息，图5中从左到右的三个人脸用红色方框标注的 区域，分别表示打哈欠、闭合、正常状态嘴巴的三种口型。可以明显的看出，三种口型信息对 应嘴巴的张开程度不同。
[0127] 步骤406、基于所述口型信息，计算嘴巴张开区域的宽高比。
[0128] 在本发明的一种应用示例中，可以采用嘴巴张开区域的宽高比来表示打哈欠的状 态，计算公式如下：
[0129] (10)
[0130]其中，h表示嘴巴张开区域的高度，w表示嘴巴张开区域的宽度。如果宽高比超过一 定的值，则说明嘴巴是闭合状态的，如果比这个值小，则说明嘴巴处于张开状态。对说话状 态的排除，说话时嘴巴张开程度不会达到打哈欠的张开的程度，所以打哈欠状态对应口型 的宽高比较小。
[0131]步骤407、当所述嘴巴张开区域的宽高比小于预设第四阈值，且所述口型持续的时 间大于预设第二时长阈值时，确定所述移动终端用户处于疲劳状态。
[0132] 当驾车时，容易犯困的通常是在路段比较好开的路段，如高速公路，这时候的车速 度比较快，如果疲劳，很容易出现交通事故，故在出现打哈欠状态、且持续时间较长时就判 断用户处于疲劳状态，以提醒驾驶员用户保持清醒，因为如果在出现真正的疲劳状态时进 行提醒将会造成严重的事故。可以理解，本发明实施例对于依据嘴巴状态判断疲劳状态的 具体过程不加以限制。
[0133] 在实际应用中，可以根据实验确定上述第四阈值和第二时长阈值(如6s)，可以理 解，本发明实施例对于上述第四阈值和第二时长阈值的具体确定过程不加以限制。
[0134] 步骤408、向所述移动终端用户发送疲劳状态提示信息。
[0135] 在检测到疲劳状态时，可以发出预警，如通过智能手机发出警声，或利用蓝牙耳机 发出警报声，或者利用通信模块发短信或者打电话通知预设的常用联系人，来提醒驾驶员。
[0136] 本发明实施例的疲劳检测方法，可以采用帧差值法进行过渡点的检测，正常状态 下相邻两帧预览图像对应的差值图像的灰度差平均值通常是趋于稳定的，即将进入疲劳状 态时，该灰度差平均值通常会发生跳变。这样不仅可以减少计算量，增加实时性，而且可以 提高过渡点检测的准确度。
[0137] 另外，本发明实施例依据所述嘴巴张开区域的宽高比和所述口型持续的时间，确 定所述移动终端用户是否处于疲劳状态。能够在出现打哈欠状态、且持续时间较长时就判 断用户处于疲劳状态，以提醒驾驶员用户保持清醒，因为如果在出现真正的疲劳状态时进 行提醒将会造成严重的事故。
[0138] 需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组 合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依 据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该 知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施 例所必须的。
[0139] 终端第一实施例
[0140]参照图6,示出了本发明一种移动终端实施例的结构框图，具体可以包括如下模 块:图像获取模块601、过渡点检测模块602、人脸特征变化获取模块603、疲劳判定模块604、 提示模块605及摄像头606;其中，
[0141 ]图像获取模块601，用于获取所述摄像头606连续采集的包括所述移动终端用户人 脸的多帧预览图像。
[0142] 过渡点检测模块602,用于对所述图像获取模块601获取的多帧预览图像进行过渡 点检测。
[0143] 人脸特征变化获取模块603,用于当所述过渡点检测模块602检测到存在从正常状 态到疲劳状态的过渡点时，获取所述移动终端用户的人脸特征变化信息。
[0144] 疲劳判定模块604,用于基于所述人脸特征变化获取模块603获取的人脸特征变化 信息，确定所述移动终端用户处于疲劳状态。
[0145] 提示模块605,用于在所述疲劳判定模块604确定所述移动终端用户处于疲劳状态 时，向所述移动终端用户发送疲劳状态提示信息。
[0146] 可选的，所述过渡点检测模块602的结构框图如图7所示，过渡点检测模块602具体 可以包括如下模块：
[0147] 差值计算子模块621，用于依次对所述多帧预览图像中的所有相邻两帧预览图像 的每个像素点进行灰度值差值计算。
[0148] 平均值计算子模块622,用于对于每相邻两帧预览图像，计算所述差值计算子模块 输出的所有像素点的灰度值差值的平均值，得到每相邻两帧预览图像的灰度差平均值。
[0149] 确定子模块623,用于基于所述平均值计算子模块输出的所有相邻两帧预览图像 的所述灰度差平均值，确定从正常状态到疲劳状态的过渡点。
[0150]可选的，所述确定子模块623的结构框图如图8所示，确定子模块623具体可以包括 如下模块：
[0151] 第一确定单元6231，用于基于所述所有相邻两帧预览图像的所述灰度差平均值， 确定取值大于预设第一阈值的第一灰度差平均值。
[0152] 第二确定单元6232,用于将所述第一确定单元6231输出的第一灰度差平均值对应 的第一时间点确定为从正常状态到疲劳状态的过渡点。
[0153]可选的，所述确定子模块623的结构框图如图9所示，确定子模块623具体可以包括 如下模块：
[0154]第三确定单元6233,用于基于所述所有相邻两帧预览图像的所述灰度差平均值， 确定满足第一预设条件的第二灰度差平均值。
[0155] 第四确定单元6234,用于将所述第三确定单元6233输出的第二灰度差平均值对应 的第二时间点确定为从正常状态到疲劳状态的过渡点。
[0156] 其中，所述第一预设条件具体可以包括:所述第二灰度差平均值大于所述预设第 一阈值，且所有晚于所述第二时间点的时间点对应的灰度差平均值与所述第二灰度差平均 值之间的差值的绝对值均小于预设第二阈值。
[0157]可选的，所述确定子模块623的结构框图如图10所示，确定子模块623具体可以包 括如下模块：
[0158]第五确定单元6235,用于基于所述所有相邻两帧预览图像的所述灰度差平均值， 确定满足第二预设条件的第三灰度差平均值和第四灰度差平均值。
[0159] 第六确定单元6236,将第五确定单元6235输出的所述第三灰度差平均值对应的第 三时间点确定为从正常状态到疲劳状态的过渡点。
[0160] 其中，所述第二预设条件具体可以包括:所述第三灰度差平均值和所述第四灰度 差平均值均大于所述预设第一阈值，且所述第四灰度差平均值对应的第四时间点和所述第 三时间点之间的差值大于预设第一时长阈值。
[0161] 参照图11，在图6的基础上，上述人脸特征变化获取模块603具体可以包括如下模 块：
[0162] 闭合状态获取子模块631，用于实时获取所述摄像头采集的预览图像中所述移动 终端用户眼睛的闭合状态信息。
[0163] 比例计算子模块632,用于基于所述闭合状态获取子模块631获取的闭合状态信 息，计算在预设时间段内，眼睛处于闭合状态的预览图像帧数占预览图像总帧数的比例。
[0164] 可选的，所述疲劳判定模块604具体可以包括：
[0165] 第一疲劳状态确定子模块641，用于当所述眼睛处于闭合状态的预览图像帧数占 预览图像总帧数的比例大于预设第三阈值时，确定所述移动终端用户处于疲劳状态。
[0166] 参照图12,在图6的基础上，上述人脸特征变化获取模块603具体可以包括如下模 块：
[0167] 口型获取子模块633,用于实时获取所述移动终端用户的口型信息和口型持续的 时间。
[0168] 区域计算子模块634,用于基于所述口型获取子模块633获取的口型信息，计算嘴 巴张开区域的宽高比。
[0169] 可选的，所述疲劳判定模块604具体可以包括：
[0170]第二疲劳状态确定子模块642,用于当所述嘴巴张开区域的宽高比大于预设第四 阈值，且所述口型持续的时间大于预设第二时长阈值时，确定所述移动终端用户处于疲劳 状态。
[0171] 本发明实施例的移动终端，在检测到从正常状态到疲劳状态的过渡点时、开始获 取所述移动终端用户的人脸特征变化信息；由于在未检测到从正常状态到疲劳状态的过渡 点时，表明用户尚未进入疲劳状态，故此种情况下多帧预览图像对应的人脸特征变化信息 的获取等处理操作是多余的，故本发明实施例在此种情况下可以不进行所述多帧预览图像 的后续处理，因此可以避免和节省所述多帧预览图像对应的人脸特征变化信息的获取等 耗时的处理操作，进而可以节省移动终端的内存、CPU等资源，且可以提高移动终端的待机 时间、响应速度等性能。
[0172] 终端第二实施例
[0173] 参照图13,示出了本发明一种移动终端1500的结构示意图，具体可以包括:至少一 个处理器1501、存储器1502、至少一个网络接口 1504和用户接口 1503。移动终端1500中的各 个组件通过总线系统1505耦合在一起。可理解，总线系统1505用于实现这些组件之间的连 接通信。总线系统1505除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。 但是为了清楚说明起见，在图13中将各种总线都标为总线系统1505,移动终端1500还包括 拍照模组1506，拍照模组1506包括摄像头。
[0174] 其中，用户接口 1503可以包括显示器、键盘或者点击设备（例如，鼠标，轨迹球 (trackball)、触感板或者触摸屏等。
[0175] 可以理解，本发明实施例中的存储器1502可以是易失性存储器或非易失性存储 器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器 (Read-OnIyMemory，ROM)、可编程只读存储器(ProgrammabIeROM，PR0M)、可擦除可编程只读 存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM) 或闪存。易失性存储器可以是随机存取存储器(Rand 〇mACCesSMem〇ry，RAM)，其用作外部高 速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器 (3七 &丨化1^1，31^1〇、动态随机存取存储器(0711&1^〇1^1，01^1〇、同步动态随机存取存储器 (SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器（DoubleDataRate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接 动态随机存取存储器（Synchl inkDRAM，SLDRAM)和直接内存总线随机存取存储器 (DirectRambusRAM，DRRAM)。本发明实施例描述的系统和方法的存储器1502旨在包括但不 限于这些和任意其它适合类型的存储器。
[0176] 在一些实施方式中，存储器1502存储了如下的元素，可执行模块或者数据结构，或 者他们的子集，或者他们的扩展集:操作系统15021和应用程序15022。
[0177] 其中，操作系统15021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于 实现各种基础业务以及处理基于硬件的任务。应用程序15022,包含各种应用程序，例如媒 体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例 方法的程序可以包含在应用程序15022中。
[0178] 在本发明实施例中，通过调用存储器1502存储的程序或指令，具体的，可以是应用 程序15022中存储的程序或指令，处理器1501用于获取所述摄像头连续采集的包括所述移 动终端用户人脸的多帧预览图像;对所述多帧预览图像进行过渡点检测；当检测到存在从 正常状态到疲劳状态的过渡点时，获取所述移动终端用户的人脸特征变化信息;基于所述 人脸特征变化信息，确定所述移动终端用户处于疲劳状态；向所述移动终端用户发送疲劳 状态提不?目息。
[0179] 上述本发明实施例揭示的方法可以应用于处理器1501中，或者由处理器1501实 现。处理器1501可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法 的各步骤可以通过处理器1501中的硬件的集成逻辑电路或者软件形式的指令完成。上述的 处理器1501可以是通用处理器、数字信号处理器(0丨8；[丨313丨8仙1?1'0068 801'，03?)、专用集 成电路（ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列 (FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑 器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框 图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明 实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器 中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可 编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储 介质位于存储器1502,处理器1501读取存储器1502中的信息，结合其硬件完成上述方法的 步骤。
[0180]可以理解的是，本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、 微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路 (ApplicationSpecificIntegratedCircuits，ASIC)、数字信号处理器 (DigitalSignalProcessing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备 (ProgrammableLogicDevice，PLD )、现场可编程门阵列（Field-ProgrammableGateArray， FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单 元或其组合中。
[0181] 对于软件实现，可通过执行本发明实施例中所述功能的模块(例如过程、函数等） 来实现本发明实施例中所述的技术。软件代码可存储在存储器中并通过处理器执行。存储 器可以在处理器中或在处理器外部实现。
[0182] 可选地，处理器1501还用于：依次对所述多帧预览图像中的所有相邻两帧预览图 像的每个像素点进行灰度值差值计算;对于每相邻两帧预览图像，计算所有像素点的灰度 值差值的平均值，得到每相邻两帧预览图像的灰度差平均值;基于所有相邻两帧预览图像 的所述灰度差平均值，确定从正常状态到疲劳状态的过渡点。
[0183] 可选地，处理器1501还用于:基于所述所有相邻两帧预览图像的所述灰度差平均 值，确定取值大于预设第一阈值的第一灰度差平均值;将所述第一灰度差平均值对应的第 一时间点确定为从正常状态到疲劳状态的过渡点。
[0184] 可选地，处理器1501还用于:基于所述所有相邻两帧预览图像的所述灰度差平均 值，确定满足第一预设条件的第二灰度差平均值;将所述第二灰度差平均值对应的第二时 间点确定为从正常状态到疲劳状态的过渡点；其中，所述第一预设条件包括:所述第二灰度 差平均值大于所述预设第一阈值，且所有晚于所述第二时间点的时间点对应的灰度差平均 值与所述第二灰度差平均值之间的差值的绝对值均小于预设第二阈值。
[0185] 可选地，处理器1501还用于:基于所述所有相邻两帧预览图像的所述灰度差平均 值，确定满足第二预设条件的第三灰度差平均值和第四灰度差平均值;将所述第三灰度差 平均值对应的第三时间点确定为从正常状态到疲劳状态的过渡点；其中，所述第二预设条 件包括:所述第三灰度差平均值和所述第四灰度差平均值均大于所述预设第一阈值，且所 述第四灰度差平均值对应的第四时间点和所述第三时间点之间的差值大于预设第一时长 阈值。
[0186] 可选地，处理器1501还用于：实时获取所述摄像头采集的预览图像中所述移动终 端用户眼睛的闭合状态信息;基于所述闭合状态信息，计算在预设时间段内，眼睛处于闭合 状态的预览图像帧数占预览图像总帧数的比例。
[0187] 可选地，处理器1501还用于：当所述眼睛处于闭合状态的预览图像帧数占预览图 像总帧数的比例大于预设第三阈值时，确定所述移动终端用户处于疲劳状态。
[0188] 可选地，处理器1501还用于：实时获取所述移动终端用户的口型信息和口型持续 的时间;基于所述口型信息，计算嘴巴张开区域的宽高比。
[0189] 可选地，处理器1501还用于：当所述嘴巴张开区域的宽高比大于预设第四阈值，且 所述口型持续的时间大于预设第二时长阈值时，确定所述移动终端用户处于疲劳状态。
[0190] 本发明实施例的移动终端，由于在未检测到从正常状态到疲劳状态的过渡点时， 表明用户尚未进入疲劳状态，故此种情况下多帧预览图像对应的人脸特征变化信息的获取 等处理操作是多余的，故本发明实施例可以不进行对于所述多帧预览图像的后续处理，可 以避免和节省所述多帧预览图像对应的人脸特征变化信息的获取等耗时的处理操作，因此 可以节省移动终端的内存、CPU等资源，且可以提高移动终端的待机时间、响应速度等性能。 [0191]本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与 其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0192] 本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各 示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些 功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业 技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应 认为超出本发明的范围。
[0193] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、 装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0194] 在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的 方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为 一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或 者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互 之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连 接，可以是电性，机械或其它的形式。
[0195] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显 示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个 网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目 的。
[0196] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以 是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0197] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以 存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计 算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个 人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。 而前述的存储介质包括:U盘、移动硬盘、R0M、RAM、磁碟或者光盘等各种可以存储程序代码 的介质。
[0198] 以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何 熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵 盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
【主权项】
1. 一种疲劳检测方法，应用于具有摄像头的移动终端，其特征在于，所述方法包括： 获取所述摄像头连续采集的包括所述移动终端用户人脸的多帧预览图像； 对所述多帧预览图像进行过渡点检测； 当检测到存在从正常状态到疲劳状态的过渡点时，获取所述移动终端用户的人脸特征 变化信息； 基于所述人脸特征变化信息，确定所述移动终端用户处于疲劳状态； 向所述移动终端用户发送疲劳状态提示信息。2. 根据权利要求1所述的方法，其特征在于，所述对所述多帧预览图像进行过渡点检测 的步骤，包括： 依次对所述多帧预览图像中的所有相邻两帧预览图像的每个像素点进行灰度值差值 计算； 对于每相邻两帧预览图像，计算所有像素点的灰度值差值的平均值，得到每相邻两帧 预览图像的灰度差平均值； 基于所有相邻两帧预览图像的所述灰度差平均值，确定从正常状态到疲劳状态的过渡 点。3. 根据权利要求2所述的方法，其特征在于，所述基于所有相邻两帧预览图像的所述灰 度差平均值，确定是否存在从正常状态到疲劳状态的过渡点的步骤，包括： 基于所述所有相邻两帧预览图像的所述灰度差平均值，确定取值大于预设第一阈值的 第一灰度差平均值； 将所述第一灰度差平均值对应的第一时间点确定为从正常状态到疲劳状态的过渡点。4. 根据权利要求2所述的方法，其特征在于，所述基于所有相邻两帧预览图像的所述灰 度差平均值，确定是否存在从正常状态到疲劳状态的过渡点的步骤，包括： 基于所述所有相邻两帧预览图像的所述灰度差平均值，确定满足第一预设条件的第二 灰度差平均值； 将所述第二灰度差平均值对应的第二时间点确定为从正常状态到疲劳状态的过渡点； 其中，所述第一预设条件包括:所述第二灰度差平均值大于所述预设第一阈值，且所有 晚于所述第二时间点的时间点对应的灰度差平均值与所述第二灰度差平均值之间的差值 的绝对值均小于预设第二阈值。5. 根据权利要求2所述的方法，其特征在于，所述基于所有相邻两帧预览图像的所述灰 度差平均值，确定是否存在从正常状态到疲劳状态的过渡点的步骤，包括： 基于所述所有相邻两帧预览图像的所述灰度差平均值，确定满足第二预设条件的第三 灰度差平均值和第四灰度差平均值； 将所述第三灰度差平均值对应的第三时间点确定为从正常状态到疲劳状态的过渡点； 其中，所述第二预设条件包括:所述第三灰度差平均值和所述第四灰度差平均值均大 于所述预设第一阈值，且所述第四灰度差平均值对应的第四时间点和所述第三时间点之间 的差值大于预设第一时长阈值。6. 根据权利要求1所述的方法，其特征在于，所述获取所述移动终端用户的人脸特征变 化信息的步骤，包括： 实时获取所述摄像头采集的预览图像中所述移动终端用户眼睛的闭合状态信息； 基于所述闭合状态信息，计算在预设时间段内，眼睛处于闭合状态的预览图像帧数占 预览图像总帧数的比例。7. 根据权利要求6所述的方法，其特征在于，所述基于所述人脸特征变化信息，确定所 述移动终端用户处于疲劳状态的步骤，包括： 当所述眼睛处于闭合状态的预览图像帧数占预览图像总帧数的比例大于预设第三阈 值时，确定所述移动终端用户处于疲劳状态。8. 根据权利要求1所述的方法，其特征在于，所述获取所述移动终端用户的人脸特征变 化信息的步骤，包括： 实时获取所述移动终端用户的口型信息和口型持续的时间； 基于所述口型信息，计算嘴巴张开区域的宽高比。9. 根据权利要求8所述的方法，其特征在于，所述基于所述人脸特征变化信息，确定所 述移动终端用户处于疲劳状态的步骤，包括： 当所述嘴巴张开区域的宽高比小于预设第四阈值，且所述口型持续的时间大于预设第 二时长阈值时，确定所述移动终端用户处于疲劳状态。10. -种移动终端，包括摄像头，其特征在于，所述移动终端还包括： 图像获取模块，用于获取所述摄像头连续采集的包括所述移动终端用户人脸的多帧预 览图像； 过渡点检测模块，用于对所述图像获取模块获取的多帧预览图像进行过渡点检测； 人脸特征变化获取模块，用于当所述过渡点检测模块检测到存在从正常状态到疲劳状 态的过渡点时，获取所述移动终端用户的人脸特征变化信息； 疲劳判定模块，用于基于所述人脸特征变化获取模块获取的人脸特征变化信息，确定 所述移动终端用户处于疲劳状态； 提示模块，用于在所述疲劳判定模块确定所述移动终端用户处于疲劳状态时，向所述 移动终端用户发送疲劳状态提示信息。11. 根据权利要求10所述的装置，其特征在于，所述过渡点检测模块包括： 差值计算子模块，用于依次对所述多帧预览图像中的所有相邻两帧预览图像的每个像 素点进行灰度值差值计算； 平均值计算子模块，用于对于每相邻两帧预览图像，计算所述差值计算子模块输出的 所有像素点的灰度值差值的平均值，得到每相邻两帧预览图像的灰度差平均值； 确定子模块，用于基于所述平均值计算子模块输出的所有相邻两帧预览图像的所述灰 度差平均值，确定从正常状态到疲劳状态的过渡点。12. 根据权利要求11所述的装置，其特征在于，所述确定子模块包括： 第一确定单元，用于基于所述所有相邻两帧预览图像的所述灰度差平均值，确定取值 大于预设第一阈值的第一灰度差平均值； 第二确定单元，用于将所述第一确定单元输出的第一灰度差平均值对应的第一时间点 确定为从正常状态到疲劳状态的过渡点。13. 根据权利要求11所述的装置，其特征在于，所述确定子模块包括： 第三确定单元，用于基于所述所有相邻两帧预览图像的所述灰度差平均值，确定满足 第一预设条件的第二灰度差平均值； 第四确定单元，用于将所述第三确定单元输出的第二灰度差平均值对应的第二时间点 确定为从正常状态到疲劳状态的过渡点； 其中，所述第一预设条件包括:所述第二灰度差平均值大于所述预设第一阈值，且所有 晚于所述第二时间点的时间点对应的灰度差平均值与所述第二灰度差平均值之间的差值 的绝对值均小于预设第二阈值。14. 根据权利要求11所述的装置，其特征在于，所述确定子模块包括： 第五确定单元，用于基于所述所有相邻两帧预览图像的所述灰度差平均值，确定满足 第二预设条件的第三灰度差平均值和第四灰度差平均值； 第六确定单元，将第五确定单元输出的所述第三灰度差平均值对应的第三时间点确定 为从正常状态到疲劳状态的过渡点； 其中，所述第二预设条件包括:所述第三灰度差平均值和所述第四灰度差平均值均大 于所述预设第一阈值，且所述第四灰度差平均值对应的第四时间点和所述第三时间点之间 的差值大于预设第一时长阈值。15. 根据权利要求10所述的装置，其特征在于，所述人脸特征变化获取模块包括： 闭合状态获取子模块，用于实时获取所述摄像头采集的预览图像中所述移动终端用户 眼睛的闭合状态信息； 比例计算子模块，用于基于所述闭合状态获取子模块获取的闭合状态信息，计算在预 设时间段内，眼睛处于闭合状态的预览图像帧数占预览图像总帧数的比例。16. 根据权利要求15所述的装置，其特征在于，所述疲劳判定模块包括： 第一疲劳状态确定子模块，用于当所述眼睛处于闭合状态的预览图像帧数占预览图像 总帧数的比例大于预设第三阈值时，确定所述移动终端用户处于疲劳状态。17. 根据权利要求10所述的装置，其特征在于，所述人脸特征变化获取模块包括： 口型获取子模块，用于实时获取所述移动终端用户的口型信息和口型持续的时间； 区域计算子模块，用于基于所述口型获取子模块获取的口型信息，计算嘴巴张开区域 的宽高比。18. 根据权利要求17所述的装置，其特征在于，所述疲劳判定模块包括： 第二疲劳状态确定子模块，用于当所述嘴巴张开区域的宽高比小于预设第四阈值，且 所述口型持续的时间大于预设第二时长阈值时，确定所述移动终端用户处于疲劳状态。
【文档编号】A61B5/16GK106073804SQ201610368515
【公开日】2016年11月9日
【申请日】2016年5月27日
【发明人】王超
【申请人】维沃移动通信有限公司