疲劳状态检测方法、装置、介质及电子设备与流程

本公开涉及计算机视觉技术，尤其是涉及一种疲劳状态检测方法、疲劳状态检测装置、存储介质以及电子设备。

背景技术：

在驾驶领域中，由于驾驶员的疲劳驾驶是车辆等移动设备行驶过程中的一个不安全隐患，对移动设备安全行驶的影响较大，因此，对驾驶员进行疲劳状态检测是dms(drivermonitorsystem，驾驶员监控系统)中的一项重要内容。相比于传统的基于接触式的疲劳状态检测技术而言，基于计算机视觉的疲劳状态检测技术，由于其具有易用性较强，且实现成本较低等特点，而被广泛应用。

基于计算机视觉的疲劳状态检测过程通常为：利用设置于移动设备内的摄像装置针对驾驶员进行拍摄，摄像装置采集到的视频帧被实时的提供给dms，由dms对其接收到的视频帧进行处理，以确定驾驶员当前是否处于疲劳状态。

如何准确的识别出驾驶员当前所处的疲劳状态，以保证移动设备的安全行驶，是一个值得关注的技术问题。

技术实现要素：

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种疲劳状态检测方法、装置、存储介质以及电子设备。

根据本公开实施例的一个方面，提供一种疲劳状态检测方法，包括：从设置于移动设备中的摄像装置采集获得的多个视频帧中，获取包含有目标对象的器官区域的图像块，得到基于所述器官区域的图像块序列；根据所述图像块序列，确定所述目标对象的疲劳状态类型；若所述疲劳状态类型符合第一预设类型，向云端服务器发送所述图像块序列，所述云端服务器基于所述图像块序列检测所述目标对象的疲劳等级；接收所述云端服务器返回的所述目标对象的疲劳等级信息。

根据本公开实施例的另一个方面，提供一种疲劳状态检测装置，包括：获取序列模块，用于从设置于移动设备中的摄像装置采集获得的多个视频帧中，获取包含有目标对象的器官区域的图像块，得到基于所述器官区域的图像块序列；确定类型模块，用于根据所述获取序列模块获得的图像块序列，确定所述目标对象的疲劳状态类型；判决模块，用于若所述确定类型模块确定出的疲劳状态类型符合第一预设类型，向云端服务器发送所述图像块序列，使所述云端服务器基于所述图像块序列检测所述目标对象的疲劳等级；接收模块，用于接收所述云端服务器返回的所述目标对象的疲劳等级信息。

根据本公开实施例的又一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现上述方法。

根据本公开实施例的再一个方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。

基于本公开上述实施例提供的一种疲劳状态检测方法和装置，通过在移动设备确定出目标对象的疲劳状态类型符合第一预设类型时，向云端服务器发送图像块序列，使云端服务器可以基于图像块序列向移动设备提供目标对象的疲劳等级，从而实现了端云结合的疲劳状态检测；由于云端服务器的计算资源强于移动设备处的计算资源，因此，云端服务器能够对图像块序列进行更精准的疲劳状态检测，有利于提高疲劳检测的准确性，从而有利于提高移动设备的行驶安全。另外，由于移动设备端向云端服务器发送的信息为仅包含目标对象的器官区域的图像块序列，而非包含有目标对象的整个面部区域的视频帧，因此，在有利于保护用户隐私的同时，还能降低移动设备端向云端服务器传输图像的数据量。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开的疲劳状态检测的技术方案适应场景一个实施例的示意图；

图2为本公开的疲劳状态检测方法一个实施例的流程图；

图3为本公开的获得包含有目标对象的相应器官区域的图像块一个实施例的流程图；

图4为本公开的确定目标对象的疲劳状态类型一个实施例的流程图；

图5为本公开的确定目标对象的疲劳状态类型另一个实施例的流程图；

图6为本公开的云端服务器向移动设备返回神经网络的网络参数一个实施例的流程图；

图7为本公开的疲劳状态检测装置一个实施例的结构示意图；

图8是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

本公开概述

在实现本公开的过程中，发明人发现，移动设备中的dms往往是基于预先设置的阈值，来实现疲劳状态检测的。例如，在dms对摄像装置采集的视频帧进行相应的处理后，会利用预先设置的阈值来衡量该处理结果，从而确定驾驶员是处于重度疲劳状态、中度疲劳状态、轻度疲劳状态或者非疲劳状态。

在实际应用中，由于不同疲劳状态之间往往并不存在明显的状态改变，而是存在一段较为模糊的状态变化，且dms的计算资源往往非常有限，因此，dms往往很难对较为模糊的状态变化进行准确的判断，如果将阈值设置的过高，则可能会出现疲劳状态的漏检现象，而如果阈值设置的过低，则可能会出现疲劳状态的误检现象。

如果能够利用云端服务器来辅助dms进行疲劳状态检测，则有利于提高疲劳状态检测的准确性。

示例性概述

本公开的疲劳状态检测的技术方案可以适用于多种场景中。例如，本公开提供的疲劳状态检测的技术方案可以适用于dms应用中。一个例子如图1所示。

下面结合图1，对本公开的疲劳状态检测技术的应用进行说明。

图1中，以移动设备为车辆为例进行示例性说明，一车辆中配置有至少一摄像装置100和dms101，摄像装置100采集获得的视频帧，可以实时地提供给dms101。在驾驶员处于该车辆的驾驶位置时，驾驶员的面部应位于摄像装置100的视场范围内，即摄像装置100采集获得的视频通常包括驾驶员的面部(如正脸等)区域等。

dms101对摄像装置100实时传输来的各视频帧，分别进行疲劳状态检测处理，以判断驾驶员当前是否处于疲劳状态。

在dms101确定出驾驶员当前处于疲劳状态的情况下，可以通过执行打开车辆的驾驶员位置处的车窗、开启车辆中的冷风系统、开启音乐播放功能或者开启语音问候功能等操作，提示驾驶员，以保障车辆的安全行驶。

在dms101确定出驾驶员当前处于疑似疲劳状态的情况下，可以将相应的图像信息等提供给云端服务器102，以便于由云端服务器102利用其更强大的计算资源对接收到的图像信息等，执行更精确的疲劳状态检测处理。

在云端服务器102基于接收到的图像信息等，确定出驾驶员处于疲劳状态的情况下，可以及时通知dms101，由dms101通过执行打开车辆的驾驶员位置处的车窗、开启车辆中的冷风系统、开启音乐播放功能或者开启语音问候功能等操作，提示驾驶员，以保障车辆的安全行驶。

在云端服务器102基于接收到的图像信息等确定出驾驶员并未处于疲劳状态的情况下，云端服务器102可以及时通知dms101，从而dms101获知驾驶员当前处于非疲劳状态。

云端服务器102可以存储接收到的图像信息等，这些存储的信息可以用于对dms101和云端服务器102进行参数更新处理。

示例性方法

图2为本公开的疲劳状态检测方法一个实施例的流程图。如图2所示的方法包括：s200、s201、s202以及s203。下面对各步骤分别进行说明。

s200、从设置于移动设备中的摄像装置采集获得的多个视频帧中，获取包含有目标对象的器官区域的图像块，得到基于器官区域的图像块序列。

本公开的步骤s200在移动设备端执行。本公开中的移动设备可以是指能够载人的交通工具，例如，私人汽车以及公共交通工具等。本公开中的目标对象通常是指移动设备的驾驶员，当然，目标对象也可以是移动设备中的其他人，如位于副驾驶位置处的人员等。

在目标对象为移动设备的驾驶员的情况下，本公开中的摄像装置可以安装在移动设备的转向柱或者驾驶员所在侧的a柱等位置处。摄像装置的安装位置应确保位于驾驶位置处的驾驶员的面部(如正脸)位于摄像装置的视场范围内。

本公开中的摄像装置可以是基于rgb(redgreenblue，红绿蓝)的摄像装置或者基于ir(infraredradiation，红外线)的摄像装置等。另外，该摄像装置可以是单目摄像装置或双目摄像装置等。

本公开中的多个视频帧可以是一个预定时间窗口(如n秒，n为正数)中的所有视频帧；也可以是从一个预定时间窗口中的所有视频帧中挑选出来的多个视频帧；例如，从一个预定时间窗口中的所有视频帧中挑选出的包含有目标对象的面部的多个视频帧。

本公开中的目标对象的器官区域通常是指位于目标对象的面部的器官所在区域。例如，目标对象的眼部区域以及嘴巴区域等，其中的眼部区域可以是指单眼区域(如左眼区域或者右眼区域)，也可以是指双眼区域。即本公开的基于器官区域的图像块序列可以为基于眼部区域的图像块序列，也可以为基于嘴巴区域的图像块序列。

本公开可以通过对多个视频帧分别进行图像识别等处理，获得各视频帧中的包含有目标对象的器官区域的图像块，从而获得基于器官区域的图像块序列。

本公开可以从多个视频帧中获得至少一基于器官区域的图像块序列，即本公开从多个视频帧中获得的图像块序列可以为一个图像块序列，也可以为多个图像块序列。例如，本公开可以从多个视频帧中获得基于眼部区域的图像块序列；再例如，本公开可以从多个视频帧中获得基于嘴巴区域的图像块序列；再例如，本公开可以从多个视频帧中获得基于眼部区域的图像块序列和基于嘴巴区域的图像块序列。

s201、根据上述图像块序列，确定目标对象的疲劳状态类型。

本公开的步骤s201在移动设备端执行。本公开的疲劳状态类型可以是指疲劳状态所属的类型。本公开可以预先将所有疲劳状态划分为至少两个类型，其中一个类型为第一预设类型。在一个例子中，第一预设类型可以是指移动设备端不能够准确的确定出目标对象的疲劳等级的类型，例如，第一预设类型可以称为疑似疲劳状态类型，且第一预设类型可以包括多个疑似疲劳等级。

本公开可以通过对器官区域的图像块序列进行疲劳检测，获得疲劳检测结果，并利用预先针对每一个疲劳状态类型分别设置的条件，对该疲劳检测结果进行判断，从而确定目标对象的疲劳状态类型。

s202、若疲劳状态类型符合第一预设类型，向云端服务器发送上述图像块序列，使云端服务器基于图像块序列检测目标对象的疲劳等级。

本公开中的云端服务器可以是指具有高度分布式以及高度虚拟化等特点的服务器。本公开中的疲劳等级可以是指按照疲劳程度的不同而划分出的级别。所有疲劳等级均不属于第一预设类型，即疲劳等级属于非第一预设类型。在一个例子中，第一预设类型可以包括多个疑似疲劳等级。云端服务器可以采用需要强大计算资源的疲劳检测方式，对图像块序列进行疲劳检测，并基于疲劳检测结果获得目标对象的疲劳等级。

s203、接收云端服务器返回的目标对象的疲劳等级信息。

本公开的步骤s203在移动设备端执行。移动设备可以根据云端服务器返回的目标对象的疲劳等级信息执行相应的操作。例如，移动设备端预先设置有各疲劳等级各自对应的操作的信息，移动设备端在接收到云端服务器返回的目标对象的疲劳等级信息时，可以根据接收到的疲劳等级信息以及预先设置的信息，确定当前应执行的操作，并执行。

本公开通过在移动设备确定出目标对象的疲劳状态类型符合第一预设类型时，向云端服务器提供图像块序列，使云端服务器可以基于图像块序列向移动设备提供目标对象的疲劳等级，从而实现了端云结合的疲劳状态检测；由于云端服务器的计算资源强于移动设备处的计算资源，因此，云端服务器可以对图像块序列进行更精准的疲劳状态检测，有利于提高疲劳检测的准确性，从而有利于提高移动设备的行驶安全。另外，由于移动设备端向云端服务器发送的信息为仅包含目标对象的器官区域的图像块序列，而非包含有目标对象的整个面部区域的视频帧，因此，在有利于保护用户隐私的同时，还能降低移动设备端向云端服务器传输图像的数据量。

在一个可选示例中，本公开中的第二预设类型可以是指疲劳等级所属的疲劳状态类型。即第二预设类型可以包括多个疲劳等级。本公开中的移动设备端在利用基于器官区域的图像块序列，确定出的目标对象的疲劳状态类型符合第二预设类型时，可以执行第二预设类型对应的用于提醒目标对象对移动设备行驶注意力的操作。另外，本公开还可以根据云端服务器返回的疲劳等级执行相应的用于提醒目标对象对移动设备行驶注意力的操作。本公开中的操作可以根据实际需求设置，且本公开的操作可以包括：用于缓解/消除目标对象的疲劳状态的操作。在一个例子中，用于提醒目标对象对移动设备行驶注意力的操作可以包括：打开车辆的驾驶员位置处的车窗的操作、开启车辆中的冷风系统的操作、开启音乐播放功能的操作、开启语音问候功能的操作以及开启语音警示功能的操作中的一个或者多个。

可选的，在第二预设类型包括多个疲劳等级的情况下，每个疲劳等级各自对应的用于提醒目标对象对移动设备行驶注意力的操作通常存在差异，且疲劳等级越高，其对应的用于提醒目标对象对移动设备行驶注意力的操作的强度越大。

在一个例子中，本公开中的用于提醒目标对象对移动设备行驶注意力的操作可以包括多种不同的参数，不同的参数对应不同的疲劳等级，且不同的参数可以使同一个用于提醒目标对象对移动设备行驶注意力的操作具有不同的强度。

一个更为具体的例子，疲劳等级可以至少包括：重度疲劳、中度疲劳和轻度疲劳；这三个疲劳等级均对应打开车辆的驾驶员位置处的车窗的操作，且重度疲劳对应具有第一参数的打开车辆的驾驶员位置处的车窗的操作，中度疲劳对应具有第二参数的打开车辆的驾驶员位置处的车窗的操作，轻度疲劳对应具有第三参数的打开车辆的驾驶员位置处的车窗的操作。其中的第一参数、第二参数和第三参数是针对车窗打开程度的参数。具有第一参数的打开车辆的驾驶员位置处的车窗的操作在被执行时，车辆的驾驶员位置处的车窗会被完全打开。具有第二参数的打开车辆的驾驶员位置处的车窗的操作在被执行时，车辆的驾驶员位置处的车窗会被打开三分之一。具有第三参数的打开车辆的驾驶员位置处的车窗的操作在被执行时，车辆的驾驶员位置处的车窗会被打开五分之一。

另一个更为具体的例子，疲劳等级可以至少包括：重度疲劳、中度疲劳以及轻度疲劳；这三个疲劳等级均对应有开启音乐播放功能的操作，且重度疲劳对应具有第一参数的开启音乐播放功能的操作，中度疲劳对应具有第二参数的开启音乐播放功能的操作，轻度疲劳对应具有第三参数的开启音乐播放功能的操作。其中的第一参数、第二参数和第三参数是针对音乐节奏强烈程度的参数。具有第一参数的开启音乐播放功能的操作在被执行时，会播放节奏强烈的音乐。具有第二参数的开启音乐播放功能的操作在被执行时，会播放节奏较强烈的音乐。具有第三参数的开启音乐播放功能的操作在被执行时，会播放节奏较为舒缓的音乐。

本公开通过在确定出目标对象的疲劳状态类型符合第二预设类型时，执行第二预设类型对应的用于提醒目标对象对移动设备行驶注意力的操作，有利于缓解或者消除目标对象的疲劳状态，从而有利于提高移动设备的行驶安全。

在一个可选示例中，本公开可以利用器官关键点，从视频帧中获得包含有目标对象的相应器官区域的图像块。一个具体的例子如图3所示。

图3中，s300、对设置于移动设备中的摄像装置采集获得的多个视频帧，分别进行关键点提取处理，获得目标对象的脸部关键点。

可选的，本公开可以利用用于关键点识别的神经网络，来获取每一视频帧中的目标对象的脸部关键点。例如，将每一视频帧先后作为输入信息提供给用于关键点识别的神经网络，经由该神经网络执行脸部关键点提取处理，并根据该神经网络的输出信息，获得每一视频帧中的目标对象的脸部关键点。这里的脸部关键点可以包括：脸部关键点的标号以及脸部关键点在视频帧中的坐标位置等。本公开的用于关键点识别的神经网络可以为至少包含有卷积层、池化层以及全连接层等的卷积神经网络。

s301、对于多个视频帧中的任一视频帧，根据该视频帧中的目标对象的脸部关键点中的相应器官关键点，确定目标对象的器官区域，从该视频帧中获取包含有目标对象的相应器官区域的图像块。

可选的，本公开可以根据脸部关键点的标号，确定出脸部关键点是否为相应器官关键点(如左眼关键点、右眼关键点或者嘴部关键点等)，并根据确定出的器官关键点的坐标位置，获得视频帧中的目标对象的器官区域，例如，对于一视频帧而言，先获得该视频帧中的器官关键点的最大横坐标、最大纵坐标、最小横坐标以及最小纵坐标，并对由这四个坐标确定出的区域进行一定比例的放大，从而可以将扩展后的区域作为该视频帧中的目标对象的器官区域。对于一视频帧而言，本公开可以根据该视频帧中的目标对象的器官区域对该视频帧进行剪切处理，从而获得该视频帧中的包含有目标对象的相应器官区域的图像块。

由于脸部关键点可以准确的描述出脸部的相应器官的具体位置，因此，本公开通过检测各视频帧中的目标对象的脸部关键点，有利于准确的获得包含有目标对象的相应器官区域的图像块。

在一个可选示例中，本公开在向云端服务器发送基于器官区域的图像块序列时，可以将器官关键点或者脸部关键点与图像块序列一起发送给云端服务器。一个例子，在判断出疲劳状态类型符合第一预设类型的情况下，本公开可以向云端服务器发送基于器官区域的图像块序列和多个视频帧中的目标对象的器官关键点。另一个例子，在判断出疲劳状态类型符合第一预设类型的情况下，本公开可以向云端服务器发送基于器官区域的图像块序列和多个视频帧中的目标对象的脸部关键点。

由于本公开中的移动设备端是在基于器官区域的图像块序列的基础上，进行疲劳状态类型的判断的，因此，移动设备端从视频帧中获得的基于器官区域的图像块的准确程度，会影响其疲劳状态类型的判断准确性；由于基于器官区域的图像块是利用脸部关键点中的器官关键点获得的，因此，本公开通过将各视频帧中的目标对象的脸部关键点或者器官关键点上传给云端服务器，使云端服务器可以基于其接收到的基于器官区域的图像块序列，检测移动设备端所提取的器官关键点是否准确，如果云端服务器认为移动设备端所提取的器官关键点的准确程度需要提升，则云端服务器可以确定移动设备执行脸部关键点提取操作所使用的参数的更新信息，并将该更新信息下发给移动设备，以便于移动设备基于该更新信息对其执行脸部关键点提取操作所使用的参数进行更新处理，从而有利于提高移动设备端的疲劳检测的准确性。

在一个可选示例中，本公开中的第二预设类型可以包含多个疲劳等级，且每一个疲劳等级均对应有各自的阈值，各疲劳等级各自对应的阈值可以称为各疲劳等级的第一阈值，疲劳等级的第一阈值用于确定目标对象的疲劳等级。本公开中的第一预设类型可以包括多个疑似疲劳等级，且每一个疑似疲劳等级均对应有各自的阈值，各疑似疲劳等级各自对应的阈值可以称为各疑似疲劳等级的第二阈值，疲劳等级的第二阈值用于确定目标对象的疑似疲劳等级。疑似疲劳等级可以是指虽然不满足一疲劳等级的条件，但是非常接近该疲劳等级的条件。本公开可以利用预先设置的阈值来衡量是否非常接近一疲劳等级的条件。

可选的，疲劳等级的数量通常与疑似疲劳等级的数量相同，例如，第二预设类型可以包括：重度疲劳、中度疲劳、轻度疲劳以及非疲劳，而第一预设类型可以包括：疑似重度疲劳、疑似中度疲劳、疑似轻度疲劳以及疑似非疲劳。其中的疑似重度疲劳可以是指虽然不满足重度疲劳这一等级的条件(如置信度达不到重度疲劳的第一阈值)，但是非常接近重度疲劳这一等级的条件(如置信度达到疑似重度疲劳的第二阈值，其中的疑似重度疲劳的第二阈值可以略小于重度疲劳的第一阈值)。其中的疑似中度疲劳可以是指虽然不满足中度疲劳这一等级的条件(如置信度达不到中度疲劳的第一阈值)，但是非常接近中度疲劳这一等级的条件(如置信度达到疑似中度疲劳的第二阈值，其中的疑似中度疲劳的第二阈值略小于中度疲劳的第一阈值)。其中的疑似轻度疲劳可以是指虽然不满足轻度疲劳这一等级的条件(如置信度达不到轻度疲劳的第一阈值)，但是非常接近轻度疲劳这一等级的条件(如置信度达到疑似轻度疲劳的第二阈值，其中的疑似轻度疲劳的第二阈值通常略小于轻度疲劳的第一阈值)。当然，疲劳等级的数量也可以多于疑似疲劳等级的数量。

可选的，本公开确定目标对象的疲劳状态类型的一个例子可以如图4所示。

图4中，s400、根据基于器官区域的图像块序列，获取目标对象分别处于第二预设类型所包含的各疲劳等级的置信度。

可选的，假设第二预设类型包括n(n为大于0的整数)个疲劳等级，则本公开可以利用用于疲劳等级分类的神经网络，确定目标对象分别处于n个疲劳等级和一个非疲劳等级(即正常状态)的置信度，从而获得n+1个置信度，其中的n个置信度各自对应一个疲劳等级，剩余一个置信度对应正常状态。

在一个例子中，本公开可以将基于器官区域的图像块序列作为输入，提供给用于疲劳等级分类的神经网络，经由该神经网络对输入信息进行疲劳等级分类处理，并根据该神经网络输出的信息可以获得目标对象处于n个疲劳等级的置信度和目标对象处于正常状态的置信度。其中的用于疲劳等级分类的神经网络可以为至少包含有卷积层、池化层以及全连接层等的卷积神经网络。

s401、根据各疲劳等级的第一阈值、各疑似疲劳等级的第二阈值以及上述置信度，确定目标对象的疲劳状态类型。

可选的，对于任一疲劳等级和该疲劳等级对应的疑似疲劳等级(如重度疲劳和疑似重度疲劳，再如，中度疲劳和疑似中度疲劳，再如，轻度疲劳和疑似轻度疲劳，再如，非疲劳和疑似非疲劳)而言，本公开可以判断该疲劳等级的置信度与该疲劳等级的第一阈值和该疑似疲劳等级的第二阈值之间的大小关系是否满足针对疲劳等级设置的条件以及针对疑似疲劳等级设置的条件，如该疲劳等级的置信度是否达到该疲劳等级的第一阈值、以及该疲劳等级的置信度是否达到该疑似疲劳等级的第二阈值；如果判断结果为满足针对该疲劳等级设置的条件(如该疲劳等级的置信度达到该疲劳等级的第一阈值)，则可以确定目标对象处于该疲劳等级，即目标对象的疲劳状态类型为第二预设类型；如果判断结果为不满足针对该疲劳等级设置的条件，但是满足针对该疑似疲劳等级设置的条件(如该疲劳等级的置信度未达到该疲劳等级的第一阈值，但是达到该疑似疲劳等级的第二阈值)，则可以确定目标对象处于该疑似疲劳等级，即目标对象的疲劳状态类型为第一预设类型；如果判断结果为既不满足针对该疲劳等级设置的条件，也不满足针对该疑似疲劳等级设置的条件，则可以确定目标对象既不处于该疲劳等级，也不处于该疑似疲劳等级，即目标对象的疲劳状态类型不为第一预设类型，也不为第二预设类型。

本公开通过为各疲劳等级分别设置第一阈值，并为各疑似疲劳等级分别设置第二阈值，由于在利用疑似疲劳等级的第二阈值和置信度确定出目标对象处于第一预设类型时，可以由云端服务器来判断目标对象的疲劳等级，因此，在设置第一阈值时，可以不需要过度考虑第一阈值设置的过高而导致的漏报现象，从而简化了第一阈值的设置。

在一个可选示例中，本公开在向云端服务器发送基于器官区域的图像块序列时，可以将移动设备端确定出的目标对象分别处于第二预设类型所包含的各疲劳等级的置信度与图像块序列一起发送给云端服务器。也就是说，在判断出疲劳状态类型符合第一预设类型的情况下，本公开可以向云端服务器发送基于器官区域的图像块序列、以及移动设备端基于多个视频帧获得的目标对象分别处于第二预设类型所包含的各疲劳等级的置信度。在一个例子中，在判断出疲劳状态类型符合第一预设类型的情况下，本公开可以向云端服务器发送基于器官区域的图像块序列、器官关键点、以及移动设备端基于多个视频帧获得的目标对象分别处于第二预设类型所包含的各疲劳等级的置信度。在另一个例子中，在判断出疲劳状态类型符合第一预设类型的情况下，本公开可以向云端服务器发送基于器官区域的图像块序列、脸部关键点、以及移动设备端基于多个视频帧获得的目标对象分别处于第二预设类型所包含的各疲劳等级的置信度。

由于本公开中的移动设备端是在基于目标对象分别处于第二预设类型所包含的各疲劳等级的置信度的基础上，进行疲劳状态类型的判断的，因此，移动设备端从基于器官区域的图像块中获得各疲劳等级的置信度的准确程度，会影响其疲劳状态类型的判断准确性；本公开通过将各疲劳等级的置信度与图像块序列一起上传给云端服务器，使云端服务器可以基于其接收到的基于器官区域的图像块序列，检测移动设备端所获得的各疲劳等级的置信度是否准确，如果云端服务器认为移动设备端所获得的各疲劳等级的置信度的准确程度需要提升，则云端服务器可以确定移动设备执行获取各疲劳等级的置信度操作所使用的参数的更新信息，并将该更新信息下发给移动设备，以便于移动设备基于该更新信息对其执行获取各疲劳等级的置信度操作所使用的参数进行更新处理，从而有利于提高移动设备端的疲劳检测的准确性。

在一个可选示例中，本公开的各疲劳等级的第一阈值可以是面向多个目标对象的各疲劳等级的第一通用阈值，本公开的各疲劳等级的第一阈值也可以是面向预定目标对象的各疲劳等级的第一专用阈值。另外，本公开的各疑似疲劳等级的第二阈值可以是面向多个目标对象的各疑似疲劳等级的第二通用阈值，本公开的各疑似疲劳等级的第二阈值也可以是面向预定目标对象的各疑似疲劳等级的第二专用阈值。需要特别说明的是，在各疲劳等级的第一阈值是面向多个目标对象的各疲劳等级的第一通用阈值的情况下，各疑似疲劳等级的第二阈值通常是面向多个目标对象的各疑似疲劳等级的第二通用阈值。而在各疲劳等级的第一阈值是面向预定目标对象的各疲劳等级的第一专用阈值的情况下，各疑似疲劳等级的第二阈值通常是面向预定目标对象的各疑似疲劳等级的第二专用阈值。

可选的，本公开利用第一专用阈值和第二专用阈值确定目标对象的疲劳状态类型的一个例子，如图5所示。

图5中，s500、对多个视频帧分别进行人脸识别处理，获得多个视频帧中的目标对象的人脸标识。

可选的，本公开可以利用用于人脸识别的神经网络，对多个视频帧分别进行人脸识别处理，从而可以根据该神经网络输出的信息，获得每一个视频帧中的目标对象的人脸标识。该用于人脸识别的神经网络可以为至少包含有卷积层、池化层以及全连接层等的卷积神经网络。

s501、获取该人脸标识对应的各疲劳等级的第一专用阈值、以及各疑似疲劳等级的第二专用阈值。

可选的，本公开预先存储有基于人脸标识的个性化信息，例如，本公开预先存储有至少一人脸标识各自对应的各疲劳等级的第一专用阈值、以及各疑似疲劳等级的第二专用阈值。本公开可以利用s500中获得的人脸标识在预先存储的个性化信息中进行查找，如果预先存储的个性化信息中存在s500中获得的人脸标识，则从预先存储的个性化信息中获得该人脸标识对应的各疲劳等级的第一专用阈值、以及各疑似疲劳等级的第二专用阈值。如果预先存储的个性化信息中不存在s500中获得的人脸标识，则可以获取各疲劳等级的第一通用阈值以及各疑似疲劳等级的第二通用阈值。

可选的，本公开预先存储的基于人脸标识的个性化信息还可以包括：用于疲劳等级分类的神经网络的专用网络参数。本公开可以利用基于该专用网络参数的用于疲劳等级分类的神经网络，来确定预定目标对象分别处于第二预设类型所包含的各疲劳等级的置信度。例如，本公开可以利用人脸标识对应的专用网络参数初始化用于疲劳等级分类的神经网络，并将基于器官区域的图像块序列作为输入，提供给该用于疲劳等级分类的神经网络，从而根据该神经网络输出的信息获得人脸标识对应的目标对象分别处于各疲劳等级的置信度。

s502、根据上述第一专用阈值、第二专用阈值和目标对象分别处于第二预设类型所包含的各疲劳等级的置信度，确定目标对象的疲劳状态类型。

可选的，对于任一疲劳等级和该疲劳等级对应的疑似疲劳等级(如重度疲劳和疑似重度疲劳，再如，中度疲劳和疑似中度疲劳，再如，轻度疲劳和疑似轻度疲劳，再如，非疲劳和疑似非疲劳)而言，本公开可以判断该疲劳等级的置信度与该疲劳等级的第一专用阈值和该疑似疲劳等级的第二专用阈值之间的大小关系是否满足针对疲劳等级设置的条件以及针对疑似疲劳等级设置的条件，如该疲劳等级的置信度是否达到该疲劳等级的第一专用阈值、以及该疲劳等级的置信度是否达到该疑似疲劳等级的第二专用阈值；如果判断结果为满足针对该疲劳等级设置的条件(如该疲劳等级的置信度达到该疲劳等级的第一专用阈值)，则可以确定目标对象处于该疲劳等级，即目标对象的疲劳状态类型为第二预设类型；如果判断结果为不满足针对该疲劳等级设置的条件，但是满足针对该疑似疲劳等级设置的条件(如该疲劳等级的置信度未达到该疲劳等级的第一专用阈值，但是达到该疑似疲劳等级的第二专用阈值)，则可以确定目标对象处于该疑似疲劳等级，即目标对象的疲劳状态类型为第一预设类型；如果判断结果为既不满足针对该疲劳等级设置的条件，也不满足针对该疑似疲劳等级设置的条件，则可以确定目标对象既不处于该疲劳等级，也不处于该疑似疲劳等级，即目标对象的疲劳状态类型不为第一预设类型，也不为第二预设类型。

在一些应用场景中，无论移动设备是私人的移动设备，还是基于公共交通的移动设备，移动设备的驾驶员通常较为固定，本公开通过针对预定目标对象，为各疲劳等级分别设置第一专用阈值，并为各疑似疲劳等级分别设置第二专用阈值，可以在简化第一专用阈值的设置的基础上，针对预定目标对象所具有的个性化特点，实现疲劳检测，从而有利于提高针对预定目标对象的疲劳检测的准确性。

在一个可选示例中，本公开在向云端服务器发送基于器官区域的图像块序列时，可以将移动设备端识别出的人脸标识所对应的目标对象的个性化信息与图像块序列一起发送给云端服务器。也就是说，在判断出疲劳状态类型符合第一预设类型的情况下，本公开可以向云端服务器发送基于器官区域的图像块序列、移动设备端识别出的人脸标识所对应的用于疲劳等级分类的神经网络的网络参数、移动设备端识别出的人脸标识所对应的各疲劳等级的第一专用阈值和各疑似疲劳等级的第二专用阈值、以及移动设备端基于多个视频帧获得的目标对象分别处于第二预设类型所包含的各疲劳等级的置信度。在一个例子中，在判断出疲劳状态类型符合第一预设类型的情况下，本公开可以向云端服务器发送基于器官区域的图像块序列、器官关键点、移动设备端识别出的人脸标识所对应的用于疲劳等级分类的神经网络的网络参数、移动设备端识别出的人脸标识所对应的各疲劳等级的第一专用阈值和各疑似疲劳等级的第二专用阈值、以及移动设备端基于多个视频帧获得的目标对象分别处于第二预设类型所包含的各疲劳等级的置信度。在另一个例子中，在判断出疲劳状态类型符合第一预设类型的情况下，本公开可以向云端服务器发送基于器官区域的图像块序列、脸部关键点、移动设备端识别出的人脸标识所对应的用于疲劳等级分类的神经网络的网络参数、移动设备端识别出的人脸标识所对应的各疲劳等级的第一专用阈值和各疑似疲劳等级的第二专用阈值、以及移动设备端基于多个视频帧获得的目标对象分别处于第二预设类型所包含的各疲劳等级的置信度。

由于本公开中的移动设备端是在基于人脸标识所对应的个性化信息的基础上，进行疲劳状态类型的判断的，因此，移动设备端所使用的个性化信息的准确程度，不仅会影响本公开获得各疲劳等级的置信度的准确程度，还会影响其疲劳状态类型的判断准确性；本公开通过将人脸标识所对应的个性化信息与图像块序列一起上传给云端服务器，使云端服务器可以基于其接收到的基于器官区域的图像块序列，检测移动设备端所使用的个性化信息是否准确，如果云端服务器认为移动设备端所使用的个性化信息的准确程度需要提升，则云端服务器可以确定移动设备所使用的个性化信息的更新信息，并将该更新信息下发给移动设备，以便于移动设备基于该更新信息对相应的人脸标识所对应的个性化信息进行更新处理，从而有利于提高移动设备端针对预定目标对象的疲劳检测的准确性。一个例子，云端服务器可以采用接收到的用于疲劳等级分类的神经网络的专用网络参数来初始化用于疲劳等级分类的神经网络的网络参数，并利用初始化后的用于疲劳等级分类的神经网络对图像块序列进行处理，获得目标对象处于各疲劳等级的置信度，从而云端服务器可以基于该置信度确定目标对象的疲劳等级，进而云端服务器可以判断移动设备端使用的第一专用阈值和第二专用阈值等是否需要更新。

在一个可选示例中，本公开在接收到云端服务器基于移动设备上传的图像块序列而返回的移动设备的参数更新信息的情况下，可以根据该移动设备的参数更新信息，对移动设备所使用的参数进行更新处理。例如，在检测到移动设备处于停驶状态时，根据接收到的移动设备的参数更新信息，对移动设备所使用的参数进行更新处理。其中的移动设备所使用的参数可以包括：移动设备中的至少一神经网络的网络参数(如用于关键点识别的神经网络，再如用于疲劳等级分类的神经网络)、各疲劳等级的第一阈值(如各疲劳等级的第一专用阈值或者第一通用阈值)、各疑似疲劳等级的第二阈值(如各疑似疲劳等级的第二专用阈值或者第二通用阈值)中的至少一个。即本公开可以根据接收到的移动设备的参数更新信息，对移动设备中的至少一神经网络的网络参数、各疲劳等级的第一阈值、各疑似疲劳等级的第二阈值中的至少一个，进行更新处理。

本公开通过利用参数更新信息对移动设备中的神经网络的网络参数进行更新处理，有利于提高移动设备中的神经网络的性能，例如，有利于提高用于关键点识别的神经网络的关键点识别准确性，再例如，有利于提高用于疲劳等级分类的神经网络的疲劳等级分裂准确性；通过利用参数更新信息对移动设备中的各疲劳等级的第一阈值和各疑似疲劳等级的第二阈值进行更新处理，有利于提高移动设备端的疲劳检测的准确性。

在一个可选示例中，本公开的云端服务器在需要为移动设备返回用于更新神经网络的网络参数的更新信息时，可以选取具有一定特征的训练样本，对神经网络进行训练，以便于获得该更新信息。在选取训练样本时，应更多的考虑移动设备端判断错误的图像块序列所具有的特征。本公开的云端服务器向移动设备返回神经网络的网络参数的一个例子如图6所示。

图6中，s600、云端服务器根据来自至少一移动设备的多个图像块序列，分别确定至少一目标对象的疲劳等级，获得多个疲劳等级。

可选的，本公开中的云端服务器可以接收到多个移动设备各自发送的图像块序列以及其他信息，这里的其他信息可以包括移动设备端提取出的脸部关键点信息/器官关键点信息、用于疲劳等级分类的神经网络的网络参数、用于关键点识别的网络参数，各疲劳等级的第一阈值和各疑似疲劳等级的第二阈值、以及移动设备端基于多个视频帧获得的目标对象分别处于第二预设类型所包含的各疲劳等级的置信度等。

可选的，对于云端服务器接收到的一图像块序列而言，云端服务器可以采用多个不同的神经网络同时对该图像块序列进行疲劳检测处理(即至少将图像块序列作为输入，分别提供给多个不同的神经网络)，并根据每一个神经网络各自输出的信息，确定各神经网络的疲劳检测结果，例如，根据每一个神经网络各自输出的目标对象处于各疲劳等级的置信度，确定每一个神经网络各自确定出的目标对象的疲劳等级。本公开可以采用预设投票机制，对各神经网络的疲劳检测结果进行投票处理，并根据投票处理的结果，确定目标对象的疲劳等级。

s601、在云端服务器确定出的多个疲劳等级和移动设备确定出的疲劳状态类型的差异满足第一预定条件的情况下，根据多个图像块序列的特征，选取多个训练样本。

可选的，本公开可以在云端服务器基于一图像块序列确定出目标对象处于一疲劳等级，而移动设备端基于该图像块序列确定出目标对象处于疑似疲劳等级时，执行针对差异的计次处理，并将该图像块序列加入图像块序列集合中，该图像块序列集合可以称为badcase(难例)集合。本公开可以在累积计次值达到预定计次值时，确定差异满足第一预定条件，从而启动选取训练样本，并对神经网络进行训练的过程。

可选的，本公开可以在云端服务器确定出的目标对象处于各疲劳等级的置信度与中的设备确定出的目标对象处于各疲劳等级的置信度存在差异时，执行置信度差异累积处理，并在累积置信度差异值达到预定置信度值时，确定差异满足第一预定条件，从而启动选取训练样本，并对神经网络进行训练的过程。

可选的，本步骤中的多个图像块序列可以是指上述获得的图像块序列集合中的多个图像块序列。本公开中的图像块序列的特征可以是指图像块序列中的目标对象的器官所表现出的特征。例如，图像块序列的特征可以包括：眼睛闭合程度特征、以及嘴巴张合程度特征等。在一个例子中，本公开选取出的多个训练样本均为带有标注信息的图像样本，且标注信息可以为基于疲劳等级的标注信息。

s602、利用选取的多个训练样本对移动设备中的至少一神经网络进行训练。

可选的，本公开可以将选取出的训练样本分别作为输入，提供给待训练神经网络(如用于疲劳等级分类的神经网络)，并根据待训练神经网络输出的信息和相应训练样本的标注信息，利用损失函数进行损失计算，并将计算获得的损失在待训练神经网络中反向传播，以调整待训练神经网络的网络参数。

可选的，在针对待训练神经网络的训练达到预定迭代条件时，本次训练过程结束。本公开中的预定迭代条件可以包括：神经网络输出的信息与相应的训练样本的标注信息之间的差异满足预定差异要求。在该差异满足要求的情况下，本次对神经网络成功训练完成。本公开中的预定迭代条件也可以包括：对待训练神经网络进行训练，所使用的训练样本的数量达到预定数量要求等。在使用的训练样本的数量达到预定数量要求，然而，神经网络输出的信息与相应的训练样本的标注信息之间的差异并未满足预定差异要求情况下，本次对神经网络并未训练成功。

需要说明的是，本公开还可以利用选取出的训练样本对云端服务器所使用的神经网络进行训练，以便于更新云端服务器所使用的神经网络的网络参数。本公开也可以利用异常样本(如badcase集合)集合中的图像序列，对云端服务器所使用的各阈值进行更新处理，例如，通过筛查平台从badcase集合抽取图像序列，并获取云端服务器针对抽取出的图像序列确定出的疲劳等级，筛查平台可以判断云端服务器确定疲劳等级所使用的各阈值是否准确，如果确定阈值的准确度需要提升，则可以调整云端服务器所使用的各阈值。

s603、根据成功训练后的神经网络的网络参数，向移动设备返回神经网络的网络参数。

可选的，如果本公开的云端服务器还需要将移动设备中的各疲劳等级的第一阈值和各疑似疲劳等级的第二阈值一并更新，则可以将神经网络的网络参数、各疲劳等级的第一阈值和各疑似疲劳等级的第二阈值，一并下发给多个移动设备。

由于移动设备中的神经网络很可能对具有某种特征的图像块序列进行疲劳检测时，容易出现误判现象，因此，本公开中的云端服务器通过根据多个图像块序列的特征，选取多个训练样本，并利用选取的训练样本对移动设备中的神经网络进行训练，可以有针对性的提高神经网络的性能，从而有利于提高疲劳检测的准确性。

在一个可选示例中，在云端服务器基于其接收到的各图像块序列确定出的多个疲劳等级和移动设备确定出的相应疲劳状态类型的差异满足第二预定条件的情况下，本公开可以根据云端服务器确定目标对象的疲劳等级所使用的参数，获得移动设备确定目标对象的疲劳状态类型所使用的参数，并将该参数返回各移动设备。也就是说，云端服务器确定目标对象的疲劳等级所使用的参数可以认为是一参数集合，移动设备确定目标对象的疲劳状态类型所使用的参数可以认为是该参数集合中的一个子集合，本公开可以从参数集合中获取相应的子集合，并将子集合返回给各移动设备。该子集合可以包括：各疲劳等级的第一阈值、各疑似疲劳等级的第二阈值以及移动设备中的神经网络的网络参数中的至少一个。在一个例子中，本公开的第二预定条件可以和第一预定条件相同。在另一个例子中，本公开的第二预定条件可以与第一预定条件不相同。

本公开通过将云端服务器所使用的参数中的一个子集，作为移动设备所使用的参数，返回给移动设备，有利于优化移动设备所使用的参数，从而有利于提高移动设备端进行疲劳检测的准确性。

示例性装置

图7为本公开的疲劳状态检测装置一个实施例的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例。如图7所示的装置包括：获取序列模块700、确定类型模块701、判决模块702以及接收模块704。可选的，该装置还可以包括：执行模块705、人脸识别模块706以及更新模块707

获取序列模块700用于从设置于移动设备中的摄像装置采集获得的多个视频帧中，获取包含有目标对象的器官区域的图像块，得到基于器官区域的图像块序列。

确定类型模块701用于根据获取序列模块700获得的图像块序列，确定目标对象的疲劳状态类型。

判决模块702用于若确定类型模块701确定出的疲劳状态类型符合第一预设类型，向云端服务器发送获取序列模块700获得的图像块序列，使云端服务器703基于图像块序列检测目标对象的疲劳等级。

接收模块704用于接收云端服务器703返回的目标对象的疲劳等级信息。

执行模块705用于若确定类型模块701确定出的疲劳状态类型符合第二预设类型，则执行第二预设类型对应的用于提醒目标对象对移动设备行驶注意力的操作。可选的，执行模块705还可以根据云端服务器703返回的疲劳等级执行相应的用于提醒目标对象对移动设备行驶注意力的操作。

可选的，获取序列模块700包括：第一子模块7001和第二子模块7002。其中的第一子模块7001用于对设置于所述移动设备中的摄像装置采集获得的多个视频帧，分别进行关键点提取处理，获得目标对象的脸部关键点。其中的第二子模块7002用于对于多个视频帧中的任一视频帧，根据该视频帧中的目标对象的脸部关键点中的相应器官关键点，确定目标对象的器官区域，从该视频帧中获取包含有目标对象的相应器官区域的图像块。

在一个例子中，判决模块702可以进一步用于若疲劳状态类型符合第一预设类型，则向云端服务器发送图像块序列和多个视频帧中的目标对象的器官关键点。在另一个例子中，判决模块702可以进一步用于若疲劳状态类型符合第一预设类型，则向云端服务器703发送图像块序列和多个视频帧中的目标对象的脸部关键点。其中的器官关键点或者脸部关键点用于，云端服务器703获得移动设备执行脸部关键点提取操作所使用的参数的更新信息。

可选的，确定类型模块701可以包括：第三子模块7011和第四子模块7012。其中第三子模块7011用于根据图像块序列，获取目标对象分别处于第二预设类型所包含的各疲劳等级的置信度。其中的第四子模块7012用于根据各疲劳等级的第一阈值、各疑似疲劳等级的第二阈值和第三子模块7011获得的置信度，确定目标对象的疲劳状态类型。其中的疲劳等级的第一阈值用于确定目标对象的疲劳等级，疑似疲劳等级的第二阈值用于确定目标对象的疑似疲劳等级。

在一个例子中，判决模块702可以进一步用于若疲劳状态类型符合第一预设类型，向云端服务器发送图像块序列和目标对象分别处于第二预设类型所包含的各疲劳等级的置信度。

可选的，本公开中的各疲劳等级的第一阈值包括：面向多个目标对象的各疲劳等级的第一通用阈值或者面向预定目标对象的各疲劳等级的第一专用阈值。本公开中的各疑似疲劳等级的第二阈值包括：面向多个目标对象的各疑似疲劳等级的第二通用阈值、或者面向预定目标对象的各疑似疲劳等级的第二专用阈值。

人脸识别模块706用于对多个视频帧分别进行人脸识别处理，获得多个视频帧中的目标对象的人脸标识。

确定类型模块701还可以包括第五子模块7013。第五子模块7013用于获取人脸识别模块706获得的人脸标识对应的各疲劳等级的第一专用阈值、以及各疑似疲劳等级的第二专用阈值。第四子模块7012可以用于根据第一专用阈值、第二专用阈值和置信度，确定目标对象的疲劳状态类型。

可选的，判决模块702还可以用于向云端服务器703发送人脸标识对应的目标对象的个性化信息。其中的人脸标识对应的目标对象的个性化信息用于，云端服务器703获得第一专用阈值和/或第二专用阈值的更新信息。

可选的，更新模块707用于接收云端服务器703基于图像块序列返回的移动设备的参数更新信息，并根据移动设备的参数更新信息，对移动设备所使用的参数进行更新处理。

可选的，更新模块707可以进一步用于根据移动设备的参数更新信息，对移动设备中的至少一神经网络的网络参数、各疲劳等级的第一阈值、各疑似疲劳等级的第二阈值中的至少一个，进行更新处理。

可选的，云端服务器703包括：第六子模块7031、第七子模块7032、第八子模块7033以及第九子模块7034。其中的第六子模块7031用于根据来自至少一移动设备的多个图像块序列，分别确定至少一目标对象的疲劳等级，获得多个疲劳等级。其中的第七子模块7032用于在第六子模块7031确定出的多个疲劳等级和移动设备确定出的疲劳状态类型的差异满足第一预定条件的情况下，根据多个图像块序列的特征，选取训练样本。其中的第八子模块7033用于利用第七子模块7032选取的训练样本，对移动设备中的至少一神经网络进行训练。其中的第九子模块7034用于根据第八子模块7033成功训练后的神经网络的网络参数，向移动设备返回网络参数。

可选的，云端服务器703包括：第六子模块7031、第九子模块7034以及第十子模块7035。其中的第六子模块7031用于根据来自至少一移动设备的多个图像块序列，分别确定至少一目标对象的疲劳等级，获得多个疲劳等级。其中的第十子模块7035可以用于在第六子模块7031确定出的多个疲劳等级和移动设备确定出的疲劳状态类型的差异满足第二预定条件的情况下，根据云端服务器确定目标对象的疲劳等级所使用的参数，获得移动设备确定目标对象的疲劳状态类型所使用的参数。第九子模块7034用于向移动设备返回第十子模块7035获得的参数。

示例性电子设备

下面参考图8来描述根据本公开实施例的电子设备。图8示出了根据本公开实施例的电子设备的框图。如图8所示，电子设备81包括一个或多个处理器811和存储器812。

处理器811可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备81中的其他组件以执行期望的功能。

存储器812可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器，例如，可以包括：随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器，例如，可以包括：只读存储器(rom)、硬盘以及闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器811可以运行所述程序指令，以实现上文所述的本公开的各个实施例的疲劳状态检测方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备81还可以包括：输入装置813以及输出装置814等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入设备813还可以包括例如键盘、鼠标等等。该输出装置814可以向外部输出各种信息。该输出设备814可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图8中仅示出了该电子设备81中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备81还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的疲劳状态检测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的疲劳状态检测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。