驾驶员的行为识别方法、装置、设备及存储介质与流程

本申请涉及智能交通技术领域，特别涉及一种驾驶员的行为识别方法、装置、设备及存储介质。

背景技术：

随着智能交通技术的快速发展，人们越来越多关注如何通过智能手段解决由于驾驶员分心导致的行车安全问题。在一些场景中，可以对驾驶员的人脸部分进行拍摄，基于拍摄得到的图像对驾驶员的行为进行分析，当确定存在违规行为时，进行报警提示，从而提醒驾驶员安全驾驶。

目前，可以采用经过深度学习后的网络模型对驾驶员的行为进行检测。也就是说，可以预先基于一些训练样本对待训练的网络模型进行深度训练，该训练样本可以包括图像样本以及图像样本中的行为所在区域的位置信息和行为类别，使得训练后的网络模型可以基于拍摄的图像识别出一些诸如打电话、抽烟之类的手势。

然而，由于驾驶员在驾驶过程中可能存在与违规行为类似的手势，譬如，摸耳朵，摸下巴、捂嘴等，在该种情况下，上述提供的驾驶员的行为识别方法可能导致误判。

技术实现要素：

本申请实施例提供了一种驾驶员的行为识别方法、装置、设备及存储介质，可以解决相关技术中驾驶员的行为识别方法可能导致误判的问题。所述技术方案如下：

第一方面，提供了一种驾驶员的行为识别方法，所述方法包括：

获取目标图像，所述目标图像包括驾驶员的人脸；

从所述目标图像中获取第一区域图像，所述第一区域图像包括所述驾驶员的预设行为，所述预设行为是指与违规行为之间的相似度大于预设阈值的行为；

在所述目标图像中，按照第一比例阈值对所述第一区域图像的四周区域进行缩减处理，得到第二区域图像，以及按照第二比例阈值对所述第一区域图像的四周区域进行扩充处理，得到第三区域图像；

基于所述第一区域图像、所述第二区域图像和所述第三区域图像，识别出所述驾驶员的行为。

可选地，所述基于所述第一区域图像、所述第二区域图像和所述第三区域图像，识别出所述驾驶员的行为之前，还包括：

将所述第一区域图像、所述第二区域图像和所述第三区域图像调整为相同尺寸的区域图像；

相应地，所述基于所述第一区域图像、所述第二区域图像和所述第三区域图像，检测出所述驾驶员的行为，包括：

调用目标网络模型，所述目标网络模型用于基于任一行为对应的一组区域图像确定所述行为的行为类别；

基于尺寸调整后的第一区域图像、第二区域图像和第三区域图像，通过所述目标网络模型识别出所述驾驶员的行为。

可选地，所述目标网络模型包括输入层、中间层、拼接层、全连接层和输出层；

所述基于尺寸调整后的第一区域图像、第二区域图像和第三区域图像，通过所述目标网络模型识别出所述驾驶员的行为，包括：

通过所述输入层基于尺寸调整后的区域图像的分辨率和通道数量，将所述尺寸调整后的第一区域图像、第二区域图像和第三区域图像中的图像数据进行通道叠加处理，得到第一特征图；

通过所述中间层对所述第一特征图进行卷积采样处理，得到多个第二特征图，所述多个第二特征图的尺寸相同且通道数不同；

通过所述拼接层将所述多个第二特征图进行通道叠加处理，并通过网络深层的卷积层对通道叠加后的特征图进行特征融合，得到第三特征图；

通过所述全连接层基于所述第三特征图，确定所述驾驶员的行为；

通过所述输出层输出所述行为。

可选地，所述中间层包括n组卷积层和n组采样层，每组卷积层与每组采样层一一对应；

所述通过所述中间层对所述第一特征图进行卷积采样处理，得到多个第二特征图，包括：

令i＝1，将所述第一特征图确定为目标特征图；通过第i组卷积层对所述目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到2ⁱ倍特征图和第i个参考尺寸的第二特征图，将所述2ⁱ倍特征图获取为所述目标特征图，所述参考尺寸大于或等于所述2ⁱ倍特征图的尺寸；

当i小于所述n时，令i＝i+1，返回所述通过第i组卷积层对所述目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到2ⁱ倍特征图和第i个参考尺寸的第二特征图，将所述2ⁱ倍特征图获取为所述目标特征图的操作；

当i等于所述n时，通过第n组卷积层对所述目标特征图进行卷积处理，通过第n组采样层按照对得到的特征图进行一次采样处理，得到第n个参考尺寸的第二特征图，结束操作。

可选地，所述调用目标网络模型之前，还包括：

获取多个训练样本，所述多个训练样本包括多组图像和每组图像中的行为类别，每组图像包括行为的区域图像、对所述区域图像进行缩减处理后确定的缩减区域图像，以及对所述区域图像进行扩充处理后确定的扩充区域图像；

基于所述多个训练样本对待训练的网络模型进行训练后得到所述目标网络模型。

可选地，所述从所述目标图像中获取第一区域图像，包括：

调用目标检测模型，将所述目标图像输入至所述目标检测模型中，输出人脸检测框和预设行为检测框，所述目标检测模型用于基于任一图像对所述图像中的人脸和预设行为进行识别；

当所述人脸检测框的数量为一个时，将所述人脸检测框确定为目标人脸检测框；当所述人脸检测框的数量为多个时，从多个人脸检测框中获取最大面积的人脸检测框，将获取的人脸检测框确定为目标人脸检测框；

基于所述目标人脸检测框，确定所述第一区域图像。

可选地，所述基于所述目标人脸检测框，确定所述第一区域图像，包括：

将所述预设行为检测框中未与所述目标人脸检测框重叠，或与所述目标人脸检测框之间的距离大于预设距离阈值的预设行为检测框过滤掉；

从所述目标图像中切割出过滤后剩余的预设行为检测框对应的区域，得到所述第一区域图像。

可选地，所述获取目标图像，包括：

检测用于对所述驾驶员的人脸进行拍摄的摄像头的工作模式；

当所述摄像头的工作模式为红外拍摄模式时，获取拍摄得到的灰度图像；

调用图像伪彩转换模型，将所述灰度图像输入至所述图像伪彩转换模型中，输出所述灰度图像对应的三通道彩色图像，所述图像伪彩转换模型用于将任一灰度图像转换为所述灰度图像对应的三通道彩色图像；

将输出的三通道彩色图像获取为所述目标图像。

可选地，所述检测用于对所述驾驶员的人脸进行拍摄的摄像头的工作模式之前，还包括：

获取当前的车速和光照强度；

当所述车速大于预设车速阈值且所述光照强度低于光照强度阈值时，将所述摄像头的工作模式切换为所述红外拍摄模式。

可选地，所述基于所述第一区域图像、所述第二区域图像和所述第三区域图像，检测出所述驾驶员的行为之后，还包括：

当所述驾驶员的行为属于违规行为时，统计所述驾驶员在预设时长内的违规行为次数；

当在所述预设时长内所述驾驶员的违规行为次数达到预设次数阈值时，进行违规驾驶报警提示。

第二方面，提供了一种驾驶员的行为识别装置，所述装置包括：

第一获取模块，用于获取目标图像，所述目标图像包括驾驶员的人脸；

第二获取模块，用于从所述目标图像中获取第一区域图像，所述第一区域图像包括所述驾驶员的预设行为，所述预设行为是指与违规行为之间的相似度大于预设阈值的行为；

图像处理模块，用于在所述目标图像中，按照第一比例阈值对所述第一区域图像的四周区域进行缩减处理，得到第二区域图像，以及按照第二比例阈值对所述第一区域图像的四周区域进行扩充处理，得到第三区域图像；

识别模块，用于基于所述第一区域图像、所述第二区域图像和所述第三区域图像，识别出所述驾驶员的行为。

可选地，所述装置还包括：

尺寸调整模块，用于将所述第一区域图像、所述第二区域图像和所述第三区域图像调整为相同尺寸的区域图像；

所述识别模块，用于调用目标网络模型，所述目标网络模型用于基于任一行为对应的一组区域图像确定所述行为的行为类别；

基于尺寸调整后的第一区域图像、第二区域图像和第三区域图像，通过所述目标网络模型识别出所述驾驶员的行为。

可选地，所述识别模块用于：

所述目标网络模型包括输入层、中间层、拼接层、全连接层和输出层；通过所述输入层基于尺寸调整后的区域图像的分辨率和通道数量，将所述尺寸调整后的第一区域图像、第二区域图像和第三区域图像中的图像数据进行通道叠加处理，得到第一特征图；

通过所述中间层对所述第一特征图进行卷积采样处理，得到多个第二特征图，所述多个第二特征图的尺寸相同且通道数不同；

通过所述拼接层将所述多个第二特征图进行通道叠加处理，并通过网络深层的卷积层对通道叠加后的特征图进行特征融合，得到第三特征图；

通过所述全连接层基于所述第三特征图，确定所述驾驶员的行为；

通过所述输出层输出所述行为。

可选地，所述识别模块用于：

所述中间层包括n组卷积层和n组采样层，每组卷积层与每组采样层一一对应；令i＝1，将所述第一特征图确定为目标特征图；通过第i组卷积层对所述目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到2ⁱ倍特征图和第i个参考尺寸的第二特征图，将所述2ⁱ倍特征图获取为所述目标特征图，所述参考尺寸大于或等于所述2ⁱ倍特征图的尺寸；

当i小于所述n时，令i＝i+1，返回所述通过第i组卷积层对所述目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到2ⁱ倍特征图和第i个参考尺寸的第二特征图，将所述2ⁱ倍特征图获取为所述目标特征图的操作；

当i等于所述n时，通过第n组卷积层对所述目标特征图进行卷积处理，通过第n组采样层按照对得到的特征图进行一次采样处理，得到第n个参考尺寸的第二特征图，结束操作。

可选地，所述装置还包括训练模块，所述训练模块用于：

获取多个训练样本，所述多个训练样本包括多组图像和每组图像中的行为类别，每组图像包括行为的区域图像、对所述区域图像进行缩减处理后确定的缩减区域图像，以及对所述区域图像进行扩充处理后确定的扩充区域图像；

基于所述多个训练样本对待训练的网络模型进行训练后得到所述目标网络模型。

可选地，所述第二获取模块用于：

调用目标检测模型，将所述目标图像输入至所述目标检测模型中，输出人脸检测框和预设行为检测框，所述目标检测模型用于基于任一图像对所述图像中的人脸和预设行为进行识别；

当所述人脸检测框的数量为一个时，将所述人脸检测框确定为目标人脸检测框；当所述人脸检测框的数量为多个时，从多个人脸检测框中获取最大面积的人脸检测框，将获取的人脸检测框确定为目标人脸检测框；

基于所述目标人脸检测框，确定所述第一区域图像。

可选地，所述第二获取模块用于：

将所述预设行为检测框中未与所述目标人脸检测框重叠，或与所述目标人脸检测框之间的距离大于预设距离阈值的预设行为检测框过滤掉；

从所述目标图像中切割出过滤后剩余的预设行为检测框对应的区域，得到所述第一区域图像。

可选地，所述第一获取模块用于：

检测用于对所述驾驶员的人脸进行拍摄的摄像头的工作模式；

当所述摄像头的工作模式为红外拍摄模式时，获取拍摄得到的灰度图像；

调用图像伪彩转换模型，将所述灰度图像输入至所述图像伪彩转换模型中，输出所述灰度图像对应的三通道彩色图像，所述图像伪彩转换模型用于将任一灰度图像转换为所述灰度图像对应的三通道彩色图像；

将输出的三通道彩色图像获取为所述目标图像。

可选地，所述装置还包括：

第三获取模块，用于获取当前的车速和光照强度；

切换模块，用于当所述车速大于预设车速阈值且所述光照强度低于光照强度阈值时，将所述摄像头的工作模式切换为所述红外拍摄模式。

可选地，所述装置还包括：

统计模块，用于当所述驾驶员的行为属于违规行为时，统计所述驾驶员在预设时长内的违规行为次数；

报警模块，用于当在所述预设时长内所述驾驶员的违规行为次数达到预设次数阈值时，进行违规驾驶报警提示。

第三方面，一种智能设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为实现上述第一方面所述的驾驶员的行为识别方法。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面所述的驾驶员的行为识别方法。

第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的驾驶员的行为识别方法。

本申请实施例提供的技术方案带来的有益效果是：

获取包括驾驶员的人脸的目标图像，从该目标图像中获取包括驾驶员的预设行为的第一区域图像，该预设行为相似于违规行为，也就是说，从该目标图像中获取与违规行为相近的预设行为的第一区域图像。之后，在该目标图像中对第一区域图像进行不同尺度的内截和外扩，得到第二区域图像和第三区域图像。由于第一区域图像可能只包括预设行为，但不包括或包括极小部分与预设行为相关的周边物体，基于该第一区域图像无法准确确定该预设行为是否真正为违规行为，因此，本申请对该第一区域图像进行内截和外扩后，使得得到的第二区域图像和第三区域图像能够包括与预设行为相关的周边物体的更多信息，因此，基于该三个区域图像对驾驶员的行为进行检测，可以提高检测的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种驾驶员的人脸拍摄图像的示意图；

图2是根据一示例性实施例示出的一种驾驶员的行为识别方法的流程图；

图3是根据一示例性实施例示出的一种驾驶员的人脸检测框的示意图；

图4是根据一示例性实施例示出的一种区域图像的示意图；

图5是根据一示例性实施例示出的一种中间层的卷积采样处理流程示意图；

图6是根据一示例性实施例示出的一种驾驶员的行为识别装置的结构示意图；

图7是根据另一示例性实施例示出的一种驾驶员的行为识别装置的结构示意图；

图8是根据另一示例性实施例示出的一种驾驶员的行为识别装置的结构示意图；

图9是根据另一示例性实施例示出的一种驾驶员的行为识别装置的结构示意图；

图10是根据另一示例性实施例示出的一种驾驶员的行为识别装置的结构示意图；

图11是根据一示例性实施例示出的一种终端1000的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在对本申请实施例提供的驾驶员的行为识别方法进行详细介绍之前，先对本申请实施例涉及的应用场景和实施环境进行简单介绍。

首先，对本申请实施例涉及的应用场景进行简单介绍。

目前，图像识别在智能交通领域得到广泛应用，在一些实施例中，可以用于检测驾驶员的行为。在驾驶员驾驶过程中，可以对驾驶员的人脸部分进行拍摄，然后通过已训练的网络模型对拍摄图像进行检测分析，以检测驾驶员是否存在违规行为。然而，驾驶员的某些行为可能与违规行为相似，譬如，请参考图1，驾驶员的摸脸手势与打电话手势相似，在该种情况下，通过已训练的网络模型进行检测分析时，容易将该摸脸行为误判为违规行为，导致错误报警，如此不仅会影响到乘客，还可能会影响驾驶员分心。为此，本申请实施例提供了一种驾驶员的行为识别方法，该方法可以准确确定出驾驶员的行为是否为违规行为，其具体实现请参见如下图2所示的实施例。

接下来，对本申请实施例涉及的实施环境进行简单介绍。

本申请实施例提供的驾驶员的行为识别方法可以由智能设备来执行，该智能设备可以配置或连接有摄像头，该摄像头可以安装于车辆前方中控台、仪表盘或a柱子等区域，以通过该摄像头对驾驶员的人脸部分进行拍摄，从而实时获得驾驶员周围清晰的图像。在一些实施例中，该智能设备可以为手机、平板电脑、计算机设备等终端，或者，该智能设备还可以为智能摄像设备等，本申请实施例对此不做限定。

在介绍完本申请实施例涉及的应用场景和实施环境后，接下来将结合附图对本申请实施例提供的驾驶员的行为识别方法进行详细介绍。

请参见图2，该图2是根据一示例性实施例示出的一种驾驶员的行为识别方法的流程图，本申请实施例以该方法由上述智能设备执行为例进行说明，该驾驶员的行为识别方法可以包括如下几个实现步骤：

步骤201：获取目标图像，该目标图像包括驾驶员的人脸。

在一种可能的实现方式中，该智能设备可以每隔时长阈值，获取摄像头拍摄的视频图像，得到该目标图像。或者可以理解为，在摄像头拍摄视频的过程中，该智能设备可以每隔预设数量个视频图像帧，获取一帧视频图像，得到该目标图像。

其中，上述时长阈值可以由用户根据实际需求自定义设置，也可以由该智能设备默认设置，本申请实施例对此不做限定。

另外，该预设数量可以由用户根据实际需求自定义设置，也可以由该智能设备默认设置，本申请实施例对此不做限定。譬如，该预设数量可以为5，此时该目标图像可以为第一个视频图像帧、第六个视频图像帧、第十一个视频图像帧等。

进一步地，该目标图像可以为三通道彩色图像，该三通道是指r、g和b三个通道，分别代表像素点的红色值、绿色值和蓝色值。在实施中，智能设备检测用于对该驾驶员的人脸进行拍摄的摄像头的工作模式，当该摄像头的工作模式为红外拍摄模式时，获取拍摄得到的灰度图像，调用图像伪彩转换模型，将该灰度图像输入至该图像伪彩转换模型中，输出该灰度图像对应的三通道彩色图像，该图像伪彩转换模型用于将任一灰度图像转换为该灰度图像对应的三通道彩色图像，将输出的三通道彩色图像获取为该目标图像。

也就是说，摄像头可以根据日夜光线强度自主切换工作模式，该工作模式可以包括红外拍摄模式和非红外拍摄模式。在非红外拍摄模式下，摄像头拍摄的图像为三通道彩色图像，此时，可以直接将摄像头采集的图像获取为目标图像。然而，在红外拍摄模式下，摄像头拍摄的图像为灰度图像，由于灰度图像损失了颜色信息，对于智能设备来说，可能增加了后续处理难度。为此，当检测到摄像头处于红外拍摄模式时，可以将该灰度图像转换为三通道彩色图像，即还原出灰度图像的伪彩色信息，并将转换后得到的三通道彩色图像获取为目标图像。

在一些实施例中，可以通过图像伪彩转换模型将灰度图像转换为对应的三通道彩色图像。也即是，可以将该灰度图像输入至伪彩转换模型中，该伪彩转换模型输出与该灰度图像同等尺寸的三通道彩色图像。

进一步地，在调用图像伪彩转换模型之前，还可以获取多个灰度图像样本和每个灰度图像样本对应的彩色图像样本，基于该多个灰度图像样本和每个灰度图像样本对应的彩色图像样本，对待训练的网络进行训练后得到该图像伪彩转换模型。

譬如，可以获取50万余张从自然场景中截取的彩色图像样本，将他们通过如下公式(1)转变成对应的灰度图像样本，之后，将该50万余张的彩色图像样本和灰度图像样本输入至待训练的网络中进行训练。其中，所述公式(1)为：

h＝r*0.299+g*0.587+b*0.114(1)

其中，h表示像素点的灰度值，r表示像素点的红色值，g表示像素点的绿色值，b表示像素点的蓝色值。

在一种可能的实现方式中，该待训练的网络可以使用但不限于条件-生成对抗网络，此时在训练过程中，该网络包括生成器和判别器，该生成器可以通过将该灰度图像样本进行参数叠加生成同样尺寸的彩色图像，该判别器通过判别生成的彩色图像与该灰度图像样本对应的彩色图像样本之间的差异值来产生训练的损失，从而迭代训练该网络。

进一步地，检测用于对该驾驶员的人脸进行拍摄的摄像头的工作模式之前，智能设备获取当前的车速和光照强度，当该车速大于预设车速阈值且该光照强度低于光照强度阈值时，将该摄像头的工作模式切换为该红外拍摄模式。

也就是说，可以只有在车速大于一定预设车速阈值，并且光照强度较低的情况下，摄像头才自动切换为红外拍摄模式，否则，该摄像头以非红外拍摄模式进行视频拍摄，即以常规模式进行视频拍摄。

其中，该预设车速阈值可以由用户根据实际需求进行设置，也可以由该智能设备默认设置，本申请实施例对此不作限定。

另外，该光照强度阈值可以由用户根据实际需求进行设置，也可以由该智能设备默认设置，本申请实施例对此不作限定。

进一步地，上述仅是以将光照强度作为条件之一控制摄像头自动切换为红外拍摄模式为例进行说明。在另一实施例中，为了能够提醒驾驶员不要疲劳驾驶，可能有检测驾驶员是否闭眼的需求，在该种情况下，如果驾驶员配带墨镜，则同样需要摄像头切换为红外拍摄模式，此时可以由用户进行手动切换以触发红外拍摄切换指令，使得智能设备基于该红外拍摄切换指令，将摄像头切换为红外拍摄模式。

需要说明的是，上述仅是以该目标图像为三通道彩色图像为例进行说明，在另一实施例中，该目标图像也可以为灰度图像，本申请实施例对此不做限定。

还需要说明的是，上述仅是以当车速大于预设车速阈值且光照强度较低的情况下，摄像头自动切换为红外拍摄模式，否则以非红外拍摄模式进行拍摄为例进行说明。在另一实施例中，当车速低于该预设阈值时，可以不开启摄像头，也就是说，如果车速低于预设阈值，可以不对驾驶员进行行为检测。因此，获取目标图像之前，可以先判断车速是否大于预设车速阈值，当车速大于该预设车速阈值时，执行获取目标图像的操作，否则，不启动摄像头，也即是，不执行获取目标图像的操作。

步骤202：从该目标图像中获取第一区域图像，该第一区域图像包括该驾驶员的预设行为，该预设行为是指与违规行为之间的相似度大于预设阈值的行为。

其中，该预设行为可以由用户根据实际需求自定义设置，也可以由该智能设备默认设置，本申请实施例对此不作限定。

譬如，该预设行为可以包括打电话、抽烟、摸下巴、捂嘴、摸侧脸、摸耳朵等。其中，这里所述的打电话是指手拿着手机贴近耳朵的姿势。

另外，上述预设阈值可以由用户根据实际需求自定义设置，也可以由该计算机设备默认设置，本申请实施例对此不做限定。

也就是说，智能设备从该目标图像中确定驾驶员的与违规行为相似的预设行为所在区域，之后从该目标图像中获取该所确定的区域，以便于后续可以针对该预设行为做进一步细分析，从而确定该预设行为是否真正为违规行为。

在一些实施例中，从该目标图像中获取第一区域图像的具体实现可以包括：调用目标检测模型，将该目标图像输入至该目标检测模型中，输出人脸检测框和预设行为检测框，该目标检测模型用于基于任一图像对该图像中的人脸和预设行为进行识别。当该人脸检测框的数量为一个时，将该人脸检测框确定为目标人脸检测框；当该人脸检测框的数量为多个时，从多个人脸检测框中获取最大面积的人脸检测框，将获取的人脸检测框确定为目标人脸检测框，基于该目标人脸检测框，确定该第一区域图像。

也就是说，该目标检测模型不仅可以检测出人脸，还可以检测出预设行为对应的区域，譬如打电话、摸脸、抽烟等行为对应的区域。通常情况下，检测出的预设行为检测框的数量为多个，而其中的某个预设行为检测框对应的预设行为可能不是驾驶员的，譬如，可能是站在驾驶员旁边的某乘客的，智能设备可以过滤掉与驾驶员无关的预设行为检测框。在实施中，可以确定驾驶员的人脸检测框，之后，基于驾驶员的人脸检测框进行过滤操作。

由于摄像头是对着驾驶员的人脸部分进行拍摄的，因此，当输出的人脸检测框的数量为一个时，可以确定该人脸检测框对应的是驾驶员的人脸，此时将该人脸检测框确定为目标检测框。在另一些实施例中，乘客可能站在驾驶员附近，譬如，站在驾驶员侧后方且面朝向摄像头，此时，该目标检测模型可能会检测到多个人脸检测框。由于摄像头是对着驾驶员的人脸进行拍摄的，因此可以确定面积最大的人脸检测框对应的是驾驶员的人脸，譬如，如图3所示，所以将面积最大的人脸检测框确定为目标人脸检测框。

进一步地，基于该目标人脸检测框，确定该第一区域图像的具体实现可以包括：将该预设行为检测框中未与该目标人脸检测框重叠，或与该目标人脸检测框之间的距离大于预设距离阈值的预设行为检测框过滤掉，从该目标图像中切割出过滤后剩余的预设行为检测框对应的区域，得到该第一区域图像。

智能设备可以基于目标人脸检测框，对不属于驾驶员的预设行为的预设行为检测框进行过滤。不难理解，如果预设行为检测框未与该目标人脸检测框重叠，说明该预设行为检测框距离驾驶员的人脸较远，因此可以确定该预设行为检测框对应的预设行为不是驾驶员的行为。另外，也可以根据预设行为检测框与目标人脸检测框之间的距离来确定，当预设行为检测框与目标人脸检测框之间的距离大于预设距离阈值时，也说明该预设行为检测框距离驾驶员的人脸较远，从而可以确定该预设行为检测框对应的预设行为不是驾驶员的行为。

其中，该预设距离阈值可以由用户根据实际需求自定义设置，也可以由该智能设备默认设置，本申请实施例对此不做限定。

智能设备对预设行为检测框进行过滤后，可以确定剩余的预设行为检测框为驾驶员的预设行为对应的检测框，智能设备从目标图像中切割出其对应的区域，得到第一区域图像。

需要说明的是，如果当前输出的预设行为检测框没有与目标人脸检测框重叠的，或者，与该目标人脸检测框之间的距离均大于预设距离阈值，可以确定在该目标图像中该驾驶员当前不存在违规行为。

进一步地，当通过目标检测模型检测出驾驶员配带墨镜时，可以自动控制摄像头切换为红外拍摄模式。也就是说，如果在白天通过目标检测模型检测到驾驶员配带了墨镜，为了能够检测出驾驶员是否存在闭眼行为，可以将摄像头切换为红外拍摄模式。

进一步地，调用该目标检测模型之前，可以获取多个图像样本和每个图像样本中的人脸框和预设行为框，将该多个图像样本和每个图像样本中的人脸框和预设行为框输入至待训练的检测模型进行训练，得到该目标检测模型。

其中，每个图像样本中的人脸框和预设行为框可以是预先标定的，也就是说，基于多个图像样本和该多个图像样本中已标定的人脸框和预设行为框，对待训练的检测模型进行深度学习和训练，从而使得得到的目标检测模型可以自动检测出任一图像中的人脸和预设行为。

在一种可能的实现方式中，该待训练的检测模型可以为yolo(youonlylookonce，你只看一次)网络，ssd(singleshotdetector，一次性探测器)等，本申请实施例对此不做限定。

步骤203：在该目标图像中，按照第一比例阈值对该第一区域图像的四周区域进行缩减处理，得到第二区域图像，以及按照第二比例阈值对该第一区域图像的四周区域进行扩充处理，得到第三区域图像。

由于第一区域图像可能仅包括预设行为，但未包括或者仅包括小部分与预设行为相关的物品，譬如，该物品为手机、烟等，也就是说，手机或烟可能不完全包含在第一区域图像中，或是只占其中的很小一部分，同时手机或烟一类的物体可能由于相机架设、本身尺寸问题而呈现的大小不同。为了进一步确定该预设行为是否真正为违规行为，智能设备按照不同尺度对该第一区域图像对应的区域进行内裁和外扩，即在该目标图像中，按照第一比例阈值对该第一区域图像的四周区域进行缩减处理，以及按照第二比例阈值对该第一区域图像的四周区域进行扩充处理，得到第二区域图像和第三区域图像。

譬如，请参考图4，假设该第一比例阈值为0.8，第二比例阈值为1.2，则从该目标图像中对第一区域图像进行内截和外扩后，可以得到图4中41和42所示的第二区域图像和第三区域图像，其中，图4中的43为第一区域图像。

值得一提的是，从目标图像中获取第一区域图像、第二区域图像和第三区域图像，剔除了整张目标图像中的冗余信息，如此，与基于整张目标图像进行行为检测相比，基于该第一区域图像、第二区域图像和第三区域图像进行后续的行为判别处理可以提高检测的准确率。

其中，该第一比例阈值可以根据实际需求自定义设置，也可以由该智能设备默认设置，本申请实施例对此不做限定。

其中，该第二比例阈值可以根据实际需求自定义设置，也可以由该智能设备默认设置，本申请实施例对此不做限定。

步骤204：将该第一区域图像、该第二区域图像和该第三区域图像调整为相同尺寸的区域图像。

在本申请实施例中，为了便于后续基于该第一区域图像、该第二区域图像和该第三区域图像，识别出该驾驶员的行为，智能设备对该三张区域图像进行尺寸调整，即将不同尺度下的区域图像缩放至同一个尺寸。

步骤205：调用目标网络模型，该目标网络模型用于基于任一行为对应的一组区域图像确定该行为的行为类别。

其中，该任一行为对应的一组区域图像包括该行为的区域图像、缩减区域图像和扩充区域图像，该缩减区域图像是从该行为所在的拍摄图像中对该行为所在区域四周进行缩减后确定的区域图像，该扩充区域图像是从该行为所在的拍摄图像中对该行为所在区域四周进行扩充后确定的区域图像。进一步地，该行为的区域图像、缩减区域图像和扩充区域图像的尺寸相同。

进一步地，调用目标网络模型之前，可以获取多个训练样本，该多个训练样本包括多组图像和每组图像中的行为类别，每组图像包括行为的区域图像、对该区域图像进行缩减处理后确定的缩减区域图像，以及对该区域图像进行扩充处理后确定的扩充区域图像，基于该多个训练样本对待训练的网络模型进行训练后得到该目标网络模型。

也就是说，该目标网络模型可以预先通过训练得到。在训练过程中，可以将多组图像和每组图像中的行为类别输入至待训练的网络模型中进行训练。其中，该每组图像包括行为的区域图像、缩减区域图像和扩充区域图像，也就是说，每组图像中的区域图像可以是从行为所在的拍摄图像中对该行为所在区域进行截取得到，缩减区域图像可以是从行为所在的拍摄图像中对该行为所在区域的四周区域进行缩减处理后得到，扩充区域图像可以是从行为所在的拍摄图像中对该行为所在区域的四周区域进行扩充处理后得到。进一步地，每组图像中的三张区域图像的尺寸大小相同，也就是说，在经过缩减处理以及扩充处理后，可以将得到的区域图像与行为对应的区域图像进行尺寸调整，使得该行为对应的三张区域图像的尺寸一致。

另外，由于不同通道中蕴含的信息不同，为了使得待训练的网络模型能够学习到每个通道对于识别任务的权重，可以在该待训练的网络模型中添加压缩-激活模块，以为待训练的网络模型的各个通道之间进行加权，从而使得待训练的网络模型的学习更关注于感兴趣区域，提高了目标网络模型检测的准确率。

步骤206：基于尺寸调整后的第一区域图像、第二区域图像和第三区域图像，通过该目标网络模型识别出该驾驶员的行为。

进一步地，该目标网络模型包括输入层、中间层、拼接层、全连接层和输出层，上述基于尺寸调整后的第一区域图像、第二区域图像和第三区域图像，通过该目标网络模型识别出该驾驶员的行为的具体实现可以包括：通过输入层基于尺寸调整后的区域图像的分辨率和通道数量，将尺寸调整后的第一区域图像、第二区域图像和第三区域图像中的图像数据进行通道叠加处理，得到第一特征图。通过中间层对第一特征图进行卷积采样处理，得到多个第二特征图，多个第二特征图的尺寸相同且通道数不同，通过拼接层将多个第二特征图进行通道叠加处理，并通过网络深层的卷积层对通道叠加后的特征图进行特征融合，得到第三特征图。通过全连接层基于第三特征图，确定驾驶员的行为，通过输出层输出行为。

譬如，假设每张区域图像的分辨率为256*256，且每张区域图像的通道数量为3通道，在该种情况下，将尺寸调整后的第一区域图像、第二区域图像和第三区域图像这三张区域图像输入至目标网络模型中，通过输出层将该三张区域图像进行通道叠加，可以得到256*256*9的三维矩阵，其中，9为通道叠加后的通道数量，该三维矩阵用于指示该第一特征图。

之后，通过该目标网络模型中的中间层对该第一特征图进行卷积采样处理，在一种可能的方式中，该中间层包括n组卷积层和n组采样层，每组卷积层与每组采样层一一对应，其中，该n为大于1的整数。进一步地，每组卷积层可以包括至少一个卷积层，每组采样层可以包括至少一个采样层。在该种情况下，通过中间层对第一特征图进行卷积采样处理，得到多个第二特征图的具体实现可以包括：令i＝1，将该第一特征图确定为目标特征图；通过第i组卷积层对该目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到2ⁱ倍特征图和第i个参考尺寸的第二特征图，将该2ⁱ倍特征图获取为该目标特征图，该参考尺寸大于或等于该2ⁱ倍特征图的尺寸；当i小于该n时，令i＝i+1，返回该通过第i组卷积层对该目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到2ⁱ倍特征图和第i个参考尺寸的第二特征图，将该2ⁱ倍特征图获取为该目标特征图的操作；当i等于该n时，通过第n组卷积层对该目标特征图进行卷积处理，通过第n组采样层按照对得到的特征图进行一次采样处理，得到第n个参考尺寸的第二特征图，结束操作。

其中，上述参考尺寸可以根据实际需求进行设置，也可以由该智能设备型默认设置，本申请实施例对此不做限定。

通过卷积层的卷积处理可以提取到有利于识别出行为类别的图像特征，通过采样层的采样处理可以得到多尺度的特征图像。请参考图5，在实施时，输出层输出的第一特征图输入至第一组卷积层进行卷积处理，得到多通道的特征图，之后，通过第一组采样层中的2*2采样层和8*8采样层分别进行不同倍数的下采样处理，得到2倍特征图和参考尺寸的第二特征图。然后继续将2倍特征图输入至第二组卷积层进行卷积处理，得到多通道的特征图，之后通过第二组采样层中的2*2采样层和4*4采样层分别进行不同倍数的下采样处理，得到4倍特征图和参考尺寸的第二特征图。然后继续按照上述方式进行卷积采样处理，直到第n组卷积层进行卷积处理后，通过第n组采样层进行2*2采样层处理，得到第n个参考尺寸的第二特征图，结束卷积采样操作。

请继续参考图5，得到多个第二特征图后，通过拼接层进行通道叠加，然后通过卷积层进行特征融合，得到第三特征图。也即是，在最后预测结果之前，把网络浅层的一倍、二倍、四倍特征图采用不同倍数的下采样，得到同样尺寸的特征图，然后在进行通道上的叠加，拼接后经过一个卷积层进行特征融合，再将特征融合后的特征图输给全连接层。

值得一提的是，将多尺度的特征图进行融合，可以使得目标网络模型学到不同尺度物体的特征分布，从而提高了行为检测的准确性。

需要说明的是，每个卷积层的卷积核的尺寸大小可以根据实际需求预先进行设置，另外，每个卷积层的卷积核中的参数是在训练过程中确定的。另外，在实施过程中，不同行为的目标网络模型的图像尺寸、特征图尺寸、通道数、下采样的次数、网络深度等参数均可能不同。

得到第三特征图后，通过该全连接层基于该第三特征图，确定该驾驶员的行为，之后，通过该输出层输出该行为，譬如，该行为为打电话或非打电话。进一步地，可以通过行为标识来标识该行为，譬如，输出的行为标识为“1”则表示打电话，输出的行为标识为“0”则表示为非打电话。在一些实施例中，可以对输出结果给出一个置信度的判断，置信度区间为[0,1]，当置信度大于0.5时，确定该行为类别为违规行为，否则，确定该行为不属于违规行为。

需要说明的是，上述仅是以该目标网络模型包括输入层、中间层、拼接层、全连接层和输出层为例进行说明，在另一实施例中，该目标网络模型还包括其它层，以通过其它层对特征图执行其它操作，譬如，该目标网络模型还可能包括bn(batchnormalization，批量标准化)层等，本申请实施例对此不做限定。

进一步地，当该驾驶员的行为属于违规行为时，统计该驾驶员在预设时长内的违规行为次数，当在该预设时长内该驾驶员的违规行为次数达到预设次数阈值时，进行违规驾驶报警提示。

当确定驾驶员的行为属于违规行为时，统计该驾驶员在某个时间段内的连续违规行为次数，也即是，统计在预设时长内所有视频图像帧中有多个视频图像帧中检测出的驾驶员的行为属于违规行为，如果该违规行为次数达到预设次数阈值，则可以确定该驾驶员在进行危险驾驶行为。比如统计3秒钟内所有视频图像帧中有75％的视频图像帧的检测结果表示该驾驶员的行为属于违规行为，此时，可以进行违规驾驶报警提示。

在一些实施例中，可以通过蜂鸣器进行违规驾驶报警提示，或者，也通过语音播报的形式进行违规驾驶报警提示，以便于提醒驾驶员安全驾驶，也可以使得乘客对驾驶员的行为进行监督。

如此，当检测到驾驶员的违规行为次数达到某个预设次数阈值时进行违规驾驶报警提示，可以避免由于对个别视频图像帧的检测出现偏差导致的误报警，提高了报警的准确性。

其中，该预设时长可以由用户根据实际需求自定义设置，也可以由该智能设备默认设置，本申请实施例对此不作限定。

其中，该预设次数阈值可以由用户根据实际需求自定义设置，也可以由该智能设备默认设置，本申请实施例对此不做限定。

在本申请实施例中，获取包括驾驶员的人脸的目标图像，从该目标图像中获取包括驾驶员的预设行为的第一区域图像，该预设行为相似于违规行为，也就是说，从该目标图像中获取与违规行为相近的预设行为的第一区域图像。之后，在该目标图像中对第一区域图像进行不同尺度的内截和外扩，得到第二区域图像和第三区域图像。由于第一区域图像可能只包括预设行为的一小部分，但不包括或包括极小部分与预设行为相关的周边物体，基于该第一区域图像无法准确确定该预设行为是否真正为违规行为，因此，本申请对该第一区域图像进行内截和外扩后，使得得到的第二区域图像和第三区域图像能够包括与预设行为相关的周边物体的更多信息，因此，基于该三个区域图像对驾驶员的行为进行检测，可以提高检测的准确性。

另外，将三个区域图像进行通道融合，可以使得目标网络模型关注到物体周边一定范围内的信息，使得目标网络模型可以精准确定驾驶员的行为类别，提升了目标网络模型的鲁棒性。

图6是根据一示例性实施例示出的一种驾驶员的行为识别装置的结构示意图，该驾驶员的行为识别装置可以由软件、硬件或者两者的结合实现。该驾驶员的行为识别装置可以包括：

第一获取模块501，用于获取目标图像，所述目标图像包括驾驶员的人脸；

第二获取模块502，用于从所述目标图像中获取第一区域图像，所述第一区域图像包括所述驾驶员的预设行为，所述预设行为是指与违规行为之间的相似度大于预设阈值的行为；

图像处理模块503，用于在所述目标图像中，按照第一比例阈值对所述第一区域图像的四周区域进行缩减处理，得到第二区域图像，以及按照第二比例阈值对所述第一区域图像的四周区域进行扩充处理，得到第三区域图像；

识别模块504，用于基于所述第一区域图像、所述第二区域图像和所述第三区域图像，识别出所述驾驶员的行为。

可选地，请参考图7，所述装置还包括：

尺寸调整模块505，用于将所述第一区域图像、所述第二区域图像和所述第三区域图像调整为相同尺寸的区域图像；

所述识别模块504，用于调用目标网络模型，所述目标网络模型用于基于任一行为对应的一组区域图像确定所述行为的行为类别；

基于尺寸调整后的第一区域图像、第二区域图像和第三区域图像，通过所述目标网络模型识别出所述驾驶员的行为。

可选地，所述识别模块504用于：

所述目标网络模型包括输入层、中间层、拼接层、全连接层和输出层；通过所述输入层基于尺寸调整后的区域图像的分辨率和通道数量，将所述尺寸调整后的第一区域图像、第二区域图像和第三区域图像中的图像数据进行通道叠加处理，得到第一特征图；

通过所述中间层对所述第一特征图进行卷积采样处理，得到多个第二特征图，所述多个第二特征图的尺寸相同且通道数不同；

通过所述拼接层将所述多个第二特征图进行通道叠加处理，并通过网络深层的卷积层对通道叠加后的特征图进行特征融合，得到第三特征图；

通过所述全连接层基于所述第三特征图，确定所述驾驶员的行为；

通过所述输出层输出所述行为。

可选地，所述识别模块504用于：

所述中间层包括n组卷积层和n组采样层，每组卷积层与每组采样层一一对应；令i＝1，将所述第一特征图确定为目标特征图；通过第i组卷积层对所述目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到2ⁱ倍特征图和第i个参考尺寸的第二特征图，将所述2ⁱ倍特征图获取为所述目标特征图，所述参考尺寸大于或等于所述2ⁱ倍特征图的尺寸；

当i小于所述n时，令i＝i+1，返回所述通过第i组卷积层对所述目标特征图进行卷积处理，通过第i组采样层分别按照两个不同倍数对得到的特征图进行采样处理，得到2ⁱ倍特征图和第i个参考尺寸的第二特征图，将所述2ⁱ倍特征图获取为所述目标特征图的操作；

当i等于所述n时，通过第n组卷积层对所述目标特征图进行卷积处理，通过第n组采样层按照对得到的特征图进行一次采样处理，得到第n个参考尺寸的第二特征图，结束操作。

可选地，请参考图8，所述装置还包括训练模块506，所述训练模块506用于：

获取多个训练样本，所述多个训练样本包括多组图像和每组图像中的行为类别，每组图像包括行为的区域图像、对所述区域图像进行缩减处理后确定的缩减区域图像，以及对所述区域图像进行扩充处理后确定的扩充区域图像；

基于所述多个训练样本对待训练的网络模型进行训练后得到所述目标网络模型。

可选地，所述第二获取模块502用于：

调用目标检测模型，将所述目标图像输入至所述目标检测模型中，输出人脸检测框和预设行为检测框，所述目标检测模型用于基于任一图像对所述图像中的人脸和预设行为进行识别；

当所述人脸检测框的数量为一个时，将所述人脸检测框确定为目标人脸检测框；当所述人脸检测框的数量为多个时，从多个人脸检测框中获取最大面积的人脸检测框，将获取的人脸检测框确定为目标人脸检测框；

基于所述目标人脸检测框，确定所述第一区域图像。

可选地，所述第二获取模块502用于：

将所述预设行为检测框中未与所述目标人脸检测框重叠，或与所述目标人脸检测框之间的距离大于预设距离阈值的预设行为检测框过滤掉；

从所述目标图像中切割出过滤后剩余的预设行为检测框对应的区域，得到所述第一区域图像。

可选地，所述第一获取模块501用于：

检测用于对所述驾驶员的人脸进行拍摄的摄像头的工作模式；

当所述摄像头的工作模式为红外拍摄模式时，获取拍摄得到的灰度图像；

调用图像伪彩转换模型，将所述灰度图像输入至所述图像伪彩转换模型中，输出所述灰度图像对应的三通道彩色图像，所述图像伪彩转换模型用于将任一灰度图像转换为所述灰度图像对应的三通道彩色图像；

将输出的三通道彩色图像获取为所述目标图像。

可选地，请参考图9，所述装置还包括：

第三获取模块507，用于获取当前的车速和光照强度；

切换模块508，用于当所述车速大于预设车速阈值且所述光照强度低于光照强度阈值时，将所述摄像头的工作模式切换为所述红外拍摄模式。

可选地，请参考图10，所述装置还包括：

统计模块509，用于当所述驾驶员的行为属于违规行为时，统计所述驾驶员在预设时长内的违规行为次数；

报警模块510，用于当在所述预设时长内所述驾驶员的违规行为次数达到预设次数阈值时，进行违规驾驶报警提示。

在本申请实施例中，获取包括驾驶员的人脸的目标图像，从该目标图像中获取包括驾驶员的预设行为的第一区域图像，该预设行为相似于违规行为，也就是说，从该目标图像中获取与违规行为相近的预设行为的第一区域图像。之后，在该目标图像中对第一区域图像进行不同尺度的内截和外扩，得到第二区域图像和第三区域图像。由于第一区域图像可能只包括预设行为的一小部分，但不包括或包括极小部分与预设行为相关的周边物体，基于该第一区域图像无法准确确定该预设行为是否真正为违规行为，因此，本申请对该第一区域图像进行内截和外扩后，使得得到的第二区域图像和第三区域图像能够包括与预设行为相关的周边物体的更多信息，因此，基于该三个区域图像对驾驶员的行为进行检测，可以提高检测的准确性。

需要说明的是：上述实施例提供的驾驶员的行为识别装置在实现驾驶员的行为识别方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的驾驶员的行为识别装置与驾驶员的行为识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图11示出了本申请一个示例性实施例提供的终端1000的结构框图。该终端1000可以是：智能手机、平板电脑、mp3播放器(movingpictureexpertsgroupaudiolayeriii，动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1000还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1000包括有：处理器1001和存储器1002。

处理器1001可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1001可以采用dsp(digitalsignalprocessing，数字信号处理)、fpga(field－programmablegatearray，现场可编程门阵列)、pla(programmablelogicarray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(centralprocessingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1001可以在集成有gpu(graphicsprocessingunit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1001还可以包括ai(artificialintelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。

存储器1002可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的驾驶员的行为识别方法。

在一些实施例中，终端1000还可选包括有：外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地，外围设备包括：射频电路1004、触摸显示屏1005、摄像头1006、音频电路1007、定位组件1008和电源1009中的至少一种。

外围设备接口1003可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中，处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上；在一些其他实施例中，处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1004用于接收和发射rf(radiofrequency，射频)信号，也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1004包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wirelessfidelity，无线保真)网络。在一些实施例中，射频电路1004还可以包括nfc(nearfieldcommunication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1005用于显示ui(userinterface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时，显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时，显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1005可以为一个，设置终端1000的前面板；在另一些实施例中，显示屏1005可以为至少两个，分别设置在终端1000的不同表面或呈折叠设计；在再一些实施例中，显示屏1005可以是柔性显示屏，设置在终端1000的弯曲表面上或折叠面上。甚至，显示屏1005还可以设置成非矩形的不规则图形，也即异形屏。显示屏1005可以采用lcd(liquidcrystaldisplay，液晶显示屏)、oled(organiclight-emittingdiode,有机发光二极管)等材质制备。

摄像头组件1006用于采集图像或视频。可选地，摄像头组件1006包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtualreality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1001进行处理，或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1000的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1007还可以包括耳机插孔。

定位组件1008用于定位终端1000的当前地理位置，以实现导航或lbs(locationbasedservice，基于位置的服务)。定位组件1008可以是基于美国的gps(globalpositioningsystem，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1009用于为终端1000中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1000还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于：加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。

加速度传感器1011可以检测以终端1000建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号，控制触摸显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1012可以检测终端1000的机体方向及转动角度，陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端1000的3d动作。处理器1001根据陀螺仪传感器1012采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1013可以设置在终端1000的侧边框和/或触摸显示屏1005的下层。当压力传感器1013设置在终端1000的侧边框时，可以检测用户对终端1000的握持信号，由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在触摸显示屏1005的下层时，由处理器1001根据用户对触摸显示屏1005的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1014用于采集用户的指纹，由处理器1001根据指纹传感器1014采集到的指纹识别用户的身份，或者，由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1001授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置终端1000的正面、背面或侧面。当终端1000上设置有物理按键或厂商logo时，指纹传感器1014可以与物理按键或厂商logo集成在一起。

光学传感器1015用于采集环境光强度。在一个实施例中，处理器1001可以根据光学传感器1015采集的环境光强度，控制触摸显示屏1005的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1005的显示亮度；当环境光强度较低时，调低触摸显示屏1005的显示亮度。在另一个实施例中，处理器1001还可以根据光学传感器1015采集的环境光强度，动态调整摄像头组件1006的拍摄参数。

接近传感器1016，也称距离传感器，通常设置在终端1000的前面板。接近传感器1016用于采集用户与终端1000的正面之间的距离。在一个实施例中，当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变小时，由处理器1001控制触摸显示屏1005从亮屏状态切换为息屏状态；当接近传感器1016检测到用户与终端1000的正面之间的距离逐渐变大时，由处理器1001控制触摸显示屏1005从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图11中示出的结构并不构成对终端1000的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述实施例提供的驾驶员的行为识别方法。

本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的驾驶员的行为识别方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。