头部姿态的识别方法及系统、行车记录仪和智能座舱与流程

1.本公开涉及图像处理技术，尤其涉及一种头部姿态的识别方法及系统、行车记录仪和智能座舱。


背景技术：

2.目前，在很多场景中都应用到疲劳检测技术，例如驾驶过程中的疲劳检测，再例如对上课的学生、上班的员工进行疲劳检测。其中，对于用户的头部姿态识别则是疲劳检测技术中的关键组成。
3.现有技术中的头部姿态识别方法是通过图像识别技术实现的，通过利用识别模型，对获取的二维人脸图像以及关键点进行处理，以得到三维的头部姿态信息，进而实现对于头部姿态的识别。
4.但是，采用现有的头部姿态的识别方法并没有考虑到局部扰动的问题，当用户的头部发生局部偏转的情况下，其关键点的定位将会存在偏移，在放大效应下得到的头部姿态信息将存在跳动，其获得的头部姿态的识别结果将出现不精准的问题。


技术实现要素：

5.本公开提供一种头部姿态的识别方法及系统、形成记录仪和智能座舱，以解决现有技术中头部姿态识别结果不够准确的问题。
6.本公开的第一个方面是提供一种头部姿态的识别方法，包括：
7.采集待检测对象当前帧的人脸图像，并识别所述人脸图像中的关键点；
8.根据预设三维模型、所述人脸图像中的关键点确定当前帧的头部姿态；
9.根据当前帧的头部姿态和当前帧的人脸图像中的关键点，以及获取的上一帧的头部姿态和上一帧的人脸图像中的关键点，分别确定当前帧的头部姿态约束条件和关键点约束条件；
10.根据头部姿态约束条件和关键点约束条件对当前帧的人脸图像中的人脸框进行有效性判定，其中，所述人脸框是利用所述当前帧的人脸图像中的关键点生成的；
11.当所述人脸框有效时，将所述当前帧的头部姿态保存，并根据所述当前帧的头部姿态，确定所述待检测对象的当前状态信息。
12.本公开的第二个方面是提供一种头部姿态的识别系统，包括图像采集装置，用于采集当前帧的人脸图像；
13.识别装置，用于识别所述人脸图像中的关键点；
14.数据处理装置，用于根据预设三维模型、所述人脸图像中的关键点确定当前帧的头部姿态；根据当前帧的头部姿态和当前帧的人脸图像中的关键点，以及获取的上一帧的头部姿态和上一帧的人脸图像中的关键点，分别确定当前帧的头部姿态约束条件和关键点约束条件；根据头部姿态约束条件和关键点约束条件对当前帧的人脸图像中的人脸框进行有效性判定，其中，所述人脸框是利用所述当前帧的人脸图像中的关键点生成的；
15.数据分析装置，用于当所述人脸框有效时，将所述当前帧的头部姿态保存，并根据所述当前帧的头部姿态，确定所述待检测对象的当前状态信息。
16.本公开的第三个方面是提供一种行车记录仪，包括：
17.前置图像采集装置，用于采集车辆前方的影像；
18.后置图像采集装置，用于采集待检测对象的人脸图像；
19.根据第二方面所述的头部姿态的识别系统，用于根据当前帧的头部姿态和当前帧的人脸图像中的关键点，以及获取的上一帧的头部姿态和上一帧的人脸图像中的关键点，确定当前帧的头部姿态以及待检测对象的当前状态信息。
20.本公开的第四个方面是提供一种智能座舱，包括：
21.车载摄像头，用于采集座舱内的驾驶员和/或乘客的人脸图像；
22.根据第二方面所述的头部姿态的识别系统，该头部姿态的识别系统设置于车机端，用于监测座舱内的驾驶员和/或乘客的当前状态信息。
23.本公开提供的头部姿态的识别方法及系统、行车记录仪和智能座舱，通过利用了当前帧和上一帧的头部姿态和关键点，得到当前帧的头部姿态约束条件以及关键点约束条件，进而基于该约束条件，对于人脸框的有效性进行判定，从而输出有效的当前帧的头部姿态，避免由于头部发生局部偏转而造成的头部姿态出现跳动而导致的识别结果不准的问题。
附图说明
24.图1为本公开提供的一种头部姿态的识别设备的架构图；
25.图2为本公开提供的应用场景图；
26.图3为本公开提供的一种头部姿态的识别方法的流程图；
27.图4为本公开提供的关键点的示意图；
28.图5为本公开提供的另一种头部姿态的识别方法的流程图；
29.图6为本公开提供的一种头部姿态的识别系统的硬件结构示意图；
30.图7为本公开提供的一种行车记录仪的结构图；以及，
31.图8为本公开示出的智能座舱车机端的结构示意图。
具体实施方式
32.为使本公开示例的目的、技术方案和优点更加清楚，下面将结合本公开示例中的附图，对本公开示例中的技术方案进行清楚、完整地描述。
33.目前，在很多场景中都应用到疲劳检测技术，例如驾驶过程中的疲劳检测，再例如对上课的学生、上班的员工进行疲劳检测。其中，对于用户的头部姿态识别则是疲劳检测技术中的关键组成。
34.现有技术中的头部姿态识别方法是通过如下三种方式实现的：基于模型的识别方法、基于分类的识别方法和基于表观的识别方法。其中，针对于基于模型的识别方法来说，常见的模型包括aam、asm、sdm、lbf、clm、ert、lab、pfld等，其一般是由模型根据二维人脸图像及其若干关键点信息，通过与标准三维头部模型的矩阵运算，来确定三维的头部姿态信息，进而实现对于头部姿态的识别。
35.但是，采用现有的头部姿态的识别方法并没有考虑到局部扰动的问题。例如，在对于连续的视频人脸图像的识别过程中，前后帧的关键点的位置存在细微的局部扰动，这些扰动在对当前帧进行头部姿态估计时会出现放大效应，造成对当前帧进行头部姿态的估计跳动变大，无法准确的估计姿态角。
36.此外，针对出现在视频同一位置朝向同一方向的一张人脸，会伴随着眨眼、张嘴、眉毛跳动等面部表情的变化，这些变化存在局部性，即便是在关键点定位准确的情况下，也会对估计头部姿态造成严重影响。
37.针对上述问题，本公开提供了一种头部姿态的识别方法及系统、行车记录仪和智能座舱，在现有技术的基础上，利用了当前帧和上一帧的头部姿态和关键点，得到当前帧的头部姿态约束条件以及关键点约束条件，进而基于该当前帧的头部姿态约束条件以及关键点约束条件，对于人脸框的有效性进行判定，从而输出有效的当前帧的头部姿态，避免由于头部发生局部偏转而造成的头部姿态出现跳动，进而导致识别结果不准的问题。
38.图1为本公开提供的一种头部姿态的识别设备的架构图。
39.如图1所示，本实施例提供的方案可以应用在如图1所示的设备中。该设备中可以包括一图像采集装置11，还可以包括一电子装置12。图像采集装置11与电子装置12通过有线或无线的方式连接，图像采集装置11能够将采集的人脸图像发送到电子装置12中，电子装置12可以根据接收的图像进行头部姿态的识别。
40.图2为本公开提供的应用场景图。
41.如图2所示，可以将图1设备架构中的图像采集装置11设置在车辆中，可以将图像采集装置11设置在车辆前侧，使其能够拍摄到司机的面部图像。举例来说，图1中所示的电子装置12可以设置在车辆中，例如可以是车载电脑。图像采集装置11可以与车载电脑通过有线的方式连接。可选的是，图像采集装置11还可以集成在电子装置12中，即作为一个整体来使用，从而方便携带或者安装。
42.方法实施例：
43.图3为本公开提供的一种头部姿态的识别方法的流程图。
44.如图3所示，本实施例公开的头部姿态的识别方法包括：
45.步骤101，采集当前帧的人脸图像，并识别所述人脸图像中的关键点。
46.其中，可以由图1中的电子装置来执行本实施例提供的方法，该电子装置具备数据处理能力。
47.例如，可以通过如图1所示的图像采集装置采集人脸图像，例如，可以采集司机的人脸图像，还可以采集学生的人脸图像，以及还可以采集顾客/乘客的人脸图像等，从而通过采集的图像对这些人员进行头部姿势的识别，并根据该头部姿态的识别进一步确定这些人员的当前状态信息(例如，高兴，生气或者疲劳等)。
48.实际应用时，可以通过人脸图像的检测技术来采集获取人脸图像，该技术是一种在任意在具有人的图像中能够准确的找到人脸图像并能够输出人脸图像位置的技术。通过人脸图像检测技术，能够相对准确的找到人脸图像的位置，这个位置通常使用矩形框，即人脸框来描述该人脸图像，以用于标识，输出为矩形框的坐标表示对应的人脸图像。
49.目前，人脸图像检测技术可以通过机器学习算法和深度学习算法来进行人脸图像检测；其中，机器学习算法具有速度快、占用计算资源低的特性，能够较好的应用到算力较
差的设备上；深度学习算法的准确度较高，但其对算力要求较为严格。
50.在获取到人脸图像之后，还可以进一步地通过关键点识别技术，确定该人脸图像中的五官位置，并采用关键点的形式标注该五官位置。例如：标注68个关键点、85个关键点、27个关键点等。这样通过这些标注点可以识别人脸图像中具体五官位置。而该识别关键点的技术，例如，具体可以通过dlib-ert算法、pfld算法能够在人脸中识别出68个关键点。对于采用的算法本实施例不对此进行限制，只以此进行举例说明，例如lab、wing loss、dcfe等算法深度学习模型也同样适用于本实施例提供的方案。
51.可选地，本示例中采用dlib-ert算法或pfld算法识别人脸中的关键点，其中，可以先识别出人脸图像中的人脸框，例如采用dlib(hog+svm)识别人脸。dlib是一个成熟开源的视觉工具包，内置独立的人脸检测和人脸关键点检测算法，能够快速的搭建人脸检测环境。dlib进行人脸检测主要包括两步：第一步，特征提取生成特征描述，主要使用hog(histogram of oriented gradient，方向梯度直方图)特征；第二步，通过支持向量机svm(support vector machine，支持向量机)进行特征分类，从而确定符合人脸特征的区域，并输出人脸框。
52.还可以采用mtcnn、retinaface、dsfd、faceboxes等方法识别人脸图像中的人脸框。例如：mtcnn包括三层网络p-net、r-net、o-net，三层网络呈流水线逐步递进，主要功能如下：
53.p-net用于候选脸部窗口的获取和边界框的回归，之后使用边界框校准脸部窗口，最后通过非极大值抑制nms合并窗口；
54.r-net进行过滤筛选由p-net输出的候选脸部窗口，同时获取边界框，之后使用边界框校准脸部窗口，最后通过非极大值抑制nms合并窗口；
55.o-net进行过滤筛选由p-net输出的候选脸部窗口，同时获取边界框，之后使用边界框校准脸部窗口，通过非极大值抑制nms合并窗口，最后输出人脸边界框。
56.进一步地，可以在识别出的人脸框中确定关键点，可以采用dlib-ert算法实现，其实现方案至少包括以下两种：
57.第一种实现方案：采用机器学习算法
58.例如，采用dlib-ert算法实现。dlib-ert是一种快速进行正面人脸关键点检测的有效方法，并且在人脸偏侧角度较小的范围内，具备快而准的特性，即便在低价位的手机等设备上，也能保证20fps+的高效检测。
59.dlib-ert算法属于级联回归方法的一种，其基本思想：通过建立一个级联的残差回归树(gbdt)，使得人脸的形状一步一步回归到真实人脸形状，每一个gbdt的每一个叶子节点上都存储着一个残差回归量，当输入落到一个节点上时，就将残差添加到该输入上，起到回归的目的，最终将所有残差叠加在一起，就完成了人脸对齐的目的。
60.dlib-ert算法的评价标准：采用检测得到的关键点的位置和真实的人脸关键点的位置偏差值作为评价标准，其归一化方法可详细参照公式：
[0061][0062]
其中分子表示预测值与真实值的欧式距离，分母表示为两眼中心点之间的欧式距离。
[0063]
采用第一种实现方案，可以人脸偏侧角度较小的范围内，具备快而准的特性，即便在低价位的手机等设备上，也能保证20fps+的高效检测。
[0064]
第二种实现方案：采用深度学习算法
[0065]
例如：采用pfld算法实现。pfld的模型分为主网络和辅网络两部分，且两部分均根据mobilenet v2网络进行对应修改。
[0066]
主网络完成人脸特征的提取，并输出对应的人脸68个点的坐标。
[0067]
辅网络用于估计人脸的旋转角euler(pitch/yaw/roll/)，并且对应计算与真值的误差；此外结合图像类别(光照/化妆/遮挡/表情/模糊等)在训练中对数据进行数据均衡。pfld的loss损失函数如下：
[0068][0069]
其中m表示训练样本的数量，n为关键点数量，本专利中仅指68点。c为图像类别。k＝3，即θ1,θ2,θ3，对应pitch，yaw，roll三个姿态角，为通过图像类别计算的权重，对应辅网络计算人脸旋转角的计算，为主网络输出的关键点的预测值与真值的误差，采用l2范数进行归一化。通过对上述损失函数的优化训练，最终可以得到pfld的人脸关键检测模型，该模型可用于本实施例提供的算法流程中。
[0070]
采用第二种实现方案，可以简单、快速的实现关键点识别，本领域技术人员，可以基于应用场景，以及使用需求，任意选择两种实现方案。
[0071]
步骤102、根据预设三维模型、所述人脸图像中的关键点确定当前帧的头部姿态。
[0072]
其中，电子装置中可以预先设置有三维模型，该三维模型是指头部的三维模型，可以根据人脸图像中的关键点调整该预设三维模型，使其姿态与被拍摄的对象头部姿态一致。
[0073]
作为一种可选的实现方式，上述实施例的预设三维模型中也可以具有五官，可以根据人脸图像中的与五官对应的关键点关联人脸图像与预设三维模型，进而将人脸图像映射到预设三维模型中。
[0074]
例如，可以先匹配人脸图像与预设三维模型中的五官，并对预设三维模型进行调整，使得预设三维模型中的五官相对位置与人脸图像中的五官位置一致。
[0075]
还可以对预设三维模型进行调整，使得人脸图像中的其他关键点也能够匹配到预设三维模型中，从而得到实际三维模型。例如，可以采用pnp投影方法，将人脸图像投影到三维模型中。
[0076]
作为一种可选的实施方式，得到实际三维模型后，可以将其与预设三维模型比对，从而确定头部姿态。预设三维模型在世界中的头部姿态是没有角度的，可以认为姿态角都为0度，指俯仰角(pitch)、偏航角(yaw)、翻转角(roll)的角度都为0。而将人脸图像映射到预设三维模型得到的实际三维模型可能具有一定姿态，例如俯仰角(pitch)、偏航角(yaw)、翻转角(roll)中的至少一个不为0。因此，通过比对预设三维模型与实际三维模型，能够确定头部姿态，例如各个方向的旋转角度。
[0077]
可选地，上述实施例中，根据预设三维模型、所述人脸图像中的关键点确定头部姿态，可进一步包括：
[0078]
根据所述关键点中的第一预设关键点，建立所述人脸图像与所述预设三维模型的映射矩阵；根据所述映射矩阵调整所述预设三维模型得到实际三维模型；根据所述实际三维模型确定所述头部姿态。
[0079]
作为一种可选的实现方式，可以获取识别的关键点中的预设关键点。预设关键点可以是用于表征人脸中五官的关键点，例如，一个预设关键点用于表征左眼位置，一个预设关键点用于表征右眼位置，一个预设关键点用于表征鼻子位置，两个预设关键点分别用于表征两个嘴角的位置。
[0080]
实际应用时，预先设置的三维模型中也具有五官，因此，可以根据第一预设关键点建立人脸图像与预设三维模型的映射矩阵。
[0081]
例如：人脸图像中的五个第一预设关键点分别为p1、p2、p3、p4、p5，分别用于表征人脸图像中的左眼位置、右眼位置、鼻子位置、左边嘴角位置、右边嘴角位置。在预设三维模型中，也具有五个第一预设关键点分别为q1、q2、q3、q4、q5，分别用于表征人脸图像中的左眼位置、右眼位置、鼻子位置、左边嘴角位置、右边嘴角位置。本实施例中，p1在图像中的位置与q1在三维模型中的位置对应，相应的，p2与q2对应，p3与q3对应，p4与q4对应，p5与q5对应。基于这样的对应关系，能够建立人脸图像与预设三维模型的映射矩阵。
[0082]
例如：可以将人脸图像中的第一预设关键点的像素坐标映射到三维空间中，从而得到预设三维模型的映射矩阵。
[0083]
其中，可以根据确定的映射矩阵调整预设三维模型，使得预设三维模型的姿态与当前帧中的人脸图像中的头部姿态一致。
[0084]
作为一种可选的实现方式，可以通过调整三维模型中的五官，使其相对位置与人脸图像中的五官一致。例如，可以将预设三维模型中的q1、q2之间的相对位置调整为p1、p2之间的相对位置。
[0085]
作为一种可选的实施方式，在调整完预设三维模型后，可以将识别出的人脸映射到该三维模型中，进而得到实际三维模型。
[0086]
相应的，根据所述实际三维模型确定所述头部姿态，则包括比对所述实际三维模型与所述预设三维模型，根据比对结果确定所述头部姿态。
[0087]
实际应用时，可以连续的采集人脸图像，并对其进行识别，并且可以根据新识别的人脸对实际三维模型调整，从而得到新的三维模型。可以根据人脸中五官的位置与实际三维模型中五官位置的对应关系，可以根据上述映射矩阵进行调整。
[0088]
其中，实际三维模型与被拍摄对象的头部姿态一致，因此，可以确定实际三维模型的头部姿态，进而确定被拍摄对象的头部姿态。
[0089]
例如，可以比对实际三维模型与预设三维模型，根据比对结果确定头部姿态。预设三维模型在三维空间中，头部姿态是正的，其俯仰角、偏航角、翻滚角均是0，可以比对实际三维模型在预设三维模型的基础上的偏转角度，并将确定的偏转角度确定为被拍摄对象的头部姿态。
[0090]
步骤103、根据当前帧的头部姿态和当前帧的人脸图像中的关键点，以及获取的上一帧的头部姿态和上一帧的人脸图像中的关键点，分别确定当前帧的头部姿态约束条件和关键点约束条件。
[0091]
在本实施例中，头部姿态约束条件和关键点约束条件均是基于两帧之间的变化获
取到的，以用于表示待检测对象当前帧的人脸图像是否发生了局部偏转、跳动、抖动以及遮挡等。从而以基于此，判断当前帧得到的人脸图像中的人脸框是否有效。
[0092]
步骤104、根据头部姿态约束条件和关键点约束条件对当前帧的人脸图像中的人脸框进行有效性判定，其中，所述人脸框是利用所述当前帧的人脸图像中的关键点生成的。
[0093]
步骤105、当所述人脸框有效时，将所述当前帧的头部姿态保存，并根据所述当前帧的头部姿态，确定所述待检测对象的当前状态信息。
[0094]
进一步来讲，在本公开示例中，如前所述的，在进行人脸检测时，通过人脸检测算法可确定人脸图像中的人脸框。在本公开示例中，为了保证通过该人脸框识别出的关键点和相应的头部姿态的准确性，将对该人脸框的有效性进行判定：具体的，可采用前述通过当前帧和上一帧的关键点和头部姿态，获得的关键点约束条件以及头部姿态约束条件，并进一步分别判断该关键点的约束条件是否在预设的关键点阈值范围内，以及该头部姿态约束条件是否再预设的头部姿态阈值范围内，从而对当前帧的人脸框是否符合约束范围内进行判断，以判断其是否出现头部发生急速跳动、局部偏转，抖动或者部分被遮盖的情况。当两者都符合在其对应的阈值范围内时，则认为人脸框有效，当两者有任一不符合时，则确定人脸框无效。
[0095]
本示例通过利用了当前帧和上一帧的头部姿态和关键点，得到当前帧的头部姿态约束条件以及关键点约束条件，进而基于该约束条件，对于人脸框的有效性进行判定，从而输出有效的当前帧的头部姿态，避免由于头部发生局部偏转而造成的头部姿态出现跳动而导致的识别结果不准的问题。
[0096]
图5为本公开提供的另一种头部姿态的识别方法的流程图。在上述示例的基础上，针对头部姿态约束条件以及关键点约束条件的确定进行进一步说明，具体如图5所示的实施例中，该头部姿态的识别方法包括：
[0097]
步骤201、采集当前帧的人脸图像，并识别所述人脸图像中的关键点。
[0098]
步骤202、根据预设三维模型、所述人脸图像中的关键点确定当前帧的头部姿态。
[0099]
步骤203、针对每一区域，将上一帧的关键点与相应的当前帧的关键点进行点差和计算，获得该区域的约束条件；并将所述全部区域的约束条件构成所述关键点约束条件。
[0100]
其中，关于确定关键点约束条件的过程，结合实例说明如下：
[0101]
需要说明的是，关键点是分布在人脸的多个区域中的。图4为本公开提供的关键点的示意图，如图4所示的，针对于前述在人脸中识别出68个关键点，对其进行标号，并按照区域进行划分，其中的区域可对应五官的各个部分。
[0102]
例如，在本公开中，可将人脸划分为7个区域，分别为：
[0103]
区域1(左眉)对应5个关键点，其分别为点17至点21；
[0104]
区域2(右眉)对应5个关键点，其分别为点22至点26；
[0105]
区域3(左眼)对应6个关键点，其分别为点36至点41；
[0106]
区域4(右眼)对应6个关键点，其分别为点42至点47；
[0107]
区域5(鼻子)对应9个关键点，其分别为点27至点35；
[0108]
区域6(嘴巴)对应20个关键点，其分别为点48至点67；
[0109]
区域7(下颌)对应17个关键点，其分别为点0至点16。
[0110]
针对每一区域，将上一帧的关键点与相应的当前帧的关键点进行点差和计算，获
得该区域的约束条件，所述全部区域的约束条件构成所述关键点约束条件。也就是说，针对上述的7个区域中的每一区域，可分别确定每一区域中的各关键点上一帧和当前帧的差值，并将各差值求和，求和后的结果即为该区域相应的约束条件。基于此，最终将7个区域对应的7个约束条件作为关键点约束条件，并对当前帧中的各区域的关键点进行约束。
[0111]
步骤204、确定当前帧的头部姿态和上一帧的头部姿态之间的相对差值并根据预设经验值和所述相对差值，确定所述当前帧的头部姿态约束条件。
[0112]
关于确定当前帧的头部姿态约束条件的过程，结合实例说明如下：
[0113]
作为一种可选的实施方式，通过确定当前帧的头部姿态和上一帧的头部姿态之间的相对差值，根据预设经验值和所述相对差值，确定所述当前帧的头部姿态约束条件。
[0114]
进一步来讲，在前述的确定当前帧的头部姿态的过程中，如图4所示的，结合关键点检测和预设三维模型，可计算每一帧对应的头部姿态，即头部姿态角和3d立方体，通过分别计算上下两帧间(即上一帧和当前帧)的头部姿态角和3d立方体之差，可以分别获取头部姿态角和3d立方体的相对差值，并将两个相对差值作为头部姿态约束条件。
[0115]
步骤205、根据头部姿态约束条件和关键点约束条件对当前帧的人脸图像中的人脸框进行有效性判定，若确定所述人脸框有效，则执行步骤206；若确定所述人脸框无效，则执行步骤207。
[0116]
步骤206、当所述人脸框有效时，将所述当前帧的头部姿态保存，并根据所述当前帧的头部姿态，确定所述待检测对象的当前状态信息。结束。
[0117]
步骤207、舍弃所述当前帧对应的头部姿态。并返回步骤201，以计算下一帧的人脸图像。
[0118]
进一步来讲，与前述示例类似的是，本示例将依次采集当前帧的人脸图像，并识别所述人脸图像中的关键点，根据预设三维模型、所述人脸图像中的关键点确定当前帧的头部姿态，根据当前帧以及上一帧的头部姿态和关键点，分别确定当前帧的头部姿态约束条件和关键点约束条件，根据头部姿态约束条件和关键点约束条件对当前帧的人脸框进行有效性判定，其中，所述当前帧的人脸框是利用所述关键点生成的，当所述人脸框有效时，将所述当前帧对应的头部姿态进行输出。
[0119]
与前述示例不同的是，本示例中，还可将根据连续的若干帧的人脸图像所对应的头部姿态，确定在所述连续的若干帧内的头部姿态变化，随后，根据所述连续的若干帧内的头部姿态变化确定疲劳检测结果。
[0120]
进一步来讲，在本公开中，上述的连续的若干帧的头部姿态可用于确定用户的头部姿态变化，例如，在用户驾驶车辆时，对采用上述方式进行头部姿态的识别，其中，第一帧的头部姿态为正常直视前方，第二帧的头部姿态为低头闭眼，第三帧的头部姿态保持低头闭眼，而第四真的头部姿态为正常直视前方时，可确定该用户的头部姿态变化可能为非正常驾驶状态，或疲劳状态，此时，可基于非正常驾驶状态，或疲劳状态的头部姿态变化确定得到用户已疲劳驾驶的疲劳检测结果。
[0121]
需要说明的是，当被拍摄对象眨眼时，采集到的人脸图像中眼部可能属于闭合状态，这种情况下也有可能被识别为疲劳状态。因此，为了避免检测结果失误，本示例中可根据一段时间，即连续的若干帧，采集的人脸图像对应的头部姿势以及其头部姿势变化，以确定疲劳检测结果，而不是根据单个人脸图像的头部姿势，确定疲劳检测结果。进一步来说，
若本实施例提供的方法用于检测司机是否疲劳，则在检测到对象处于疲劳状态时，还可以进一步的对该对象进行警告，例如通过语音方式进行警告。或在检测到对象处于疲劳状态时，可以播放预设音乐，从而使对象处于清醒状态。
[0122]
在实际应用时，还可以统计在一段时间内对象的出现疲劳状态次数，例如通过统计这段时间内采集的人脸图像中，出现疲劳状态的次数，来判断被监测对象的当前疲劳状态。若这一次数超出次数阈值，则可以认为被监测对象当前处于疲劳状态；否则，认为对象当其处于正常状态。
[0123]
作为另一种可选的实施方式，上述实施例还可以通过确定一段时间内出现的疲劳状态次数与该时间段时长的比值，来判断被监测对象当前的疲劳状态。例如：若该比值大于比值阈值，则认为对象当前处于疲劳状态；否则，认为对象当前处于正常状态。例如，上述实施例提供的方法用于检测司机是否疲劳，则在检测到对象处于疲劳状态时，还可以进一步的对该司机进行提示，例如，当电子装置12为车载电脑时，可以通过语音方式，即播放一段语音“现在处于疲劳驾驶，请注意休息”以提示司机。又或者播放预设音乐，从而使司机处于清醒状态。又或者查询离司机所驾驶车辆最近的可停车地点，并基于该可停车地点重新规划行驶路线，以指引司机前往可停车地点。
[0124]
作为一种可选的实施方式，若本实施例提供的方法用于检测学生是否疲劳，例如检测通过网络上课的学生是否处于疲劳状态。在检测到对象处于疲劳状态时，还可以进一步的对该对象进行警告，例如：通过语音方式进行警告；或，在检测到对象处于疲劳状态时，可以在用户终端侧显示警告语，从而提醒对象。
[0125]
本公开提供的头部姿势的识别方法，通过提供了具体获得当前帧的头部姿态约束条件以及关键点约束条件的方式，从而使得可基于该约束条件，对于人脸框的有效性进行判定，进而根据判定结果输出有效的当前帧的头部姿态，避免由于头部发生局部偏转而造成的头部姿态出现跳动而导致的识别结果不准的问题。
[0126]
产品实施例：
[0127]
图6为本公开提供的一种头部姿态的识别系统的硬件结构示意图。如图6所示，本公开还提供一种头部姿态的识别系统，该系统包括：图像采集装置、识别装置、数据处理装置及数据分析装置，其中：
[0128]
图像采集装置，用于采集当前帧的人脸图像；
[0129]
识别装置，用于识别所述人脸图像中的关键点；
[0130]
数据处理装置，用于根据预设三维模型、所述人脸图像中的关键点确定当前帧的头部姿态；根据当前帧的头部姿态和当前帧的人脸图像中的关键点，以及获取的上一帧的头部姿态和上一帧的人脸图像中的关键点，分别确定当前帧的头部姿态约束条件和关键点约束条件；根据头部姿态约束条件和关键点约束条件对当前帧的人脸图像中的人脸框进行有效性判定，其中，所述人脸框是利用所述当前帧的人脸图像中的关键点生成的；
[0131]
数据分析装置，用于当所述人脸框有效时，将所述当前帧的头部姿态保存，并根据所述当前帧的头部姿态，确定所述待检测对象的当前状态信息。
[0132]
上述的识别装置、数据处理装置及数据分析装置可集成在同一电子装置中，也可分别集成在不同的电子装置中。
[0133]
作为一种可选的实现方式，该系统还包括：
[0134]
智能网联设备，用于连接互联网和/或其他设备；和/或，
[0135]
云端服务器，用于记录所述疲劳信息和/或输出安全驾驶方案；和/或，
[0136]
警示装置，用于根据头部姿态的识别系统检测到待检测对象的当前状态信息，输出警示信号。
[0137]
当所述人脸框无效时，舍弃所述当前帧对应的头部姿态。
[0138]
作为一种可选的实现方式，该疲劳监测系统还可包括警示装置，该警示装置与数据分析装置连接，基于头部姿态的识别系统检测到待检测对象的当前状态信息，输出警示信号。
[0139]
由于产品实施例披露的技术方案，与前述对应的方法实施例具有相同的发明构思，因此本部分的进一步实现方式和相应的技术效果，可参照前述相应的方法实施例，不再重复说明。
[0140]
图6为本公开一示例性实施例示出的行车记录仪的结构示意图。如图6所示，本公开还提供一种行车记录仪，该行车记录仪包括：
[0141]
前置图像采集装置，用于采集车辆前方的影像；
[0142]
后置图像采集装置，用于采集待检测对象的人脸图像；
[0143]
基于前述任一实施例披露的头部姿态的识别系统，该头部姿态的识别系统根据当前帧的头部姿态和当前帧的人脸图像中的关键点，以及获取的上一帧的头部姿态和上一帧的人脸图像中的关键点，确定当前帧的头部姿态以及待检测对象的当前状态信息。
[0144]
上述实施例中，前置图像采集装置61用于采集车辆前方的影像，头部姿态的识别系统62可将车辆前方的影像存储到存储装置63中，后置图像采集装置64用于采集待检测对象的人脸图像。
[0145]
上述实施例中，头部姿态的识别系统用于识别所述人脸图像中的关键点；根据预设三维模型、所述人脸图像中的关键点确定当前帧的头部姿态；根据当前帧的头部姿态和当前帧的人脸图像中的关键点，以及获取的上一帧的头部姿态和上一帧的人脸图像中的关键点，分别确定当前帧的头部姿态约束条件和关键点约束条件；根据头部姿态约束条件和关键点约束条件对当前帧的人脸图像中的人脸框进行有效性判定，其中，所述人脸框是利用所述当前帧的人脸图像中的关键点生成的；当所述人脸框有效时，将所述当前帧的头部姿态保存，并根据所述当前帧的头部姿态，确定所述待检测对象的当前状态信息。
[0146]
作为一种可选的实现方式，本公开还提供一种智能座舱，该智能座舱包括：车载摄像头和前述任一实施例披露的头部姿态的识别系统。车载摄像头用于采集座舱内的驾驶员和/或乘客的人脸图像。该头部姿态的识别系统设置于车机端，用于监测座舱内的驾驶员和/或乘客的当前状态信息。
[0147]
图8为本公开示出的智能座舱车机端的结构示意图，如图8所示，基于上述实施例，车机端头部姿态的识别系统72与车载摄像头71连接；车载摄像头71用于采集待检测对象的人脸图像，车机端头部姿态的识别系统72可进一步用于：识别所述人脸图像中的关键点；根据预设三维模型、所述人脸图像中的关键点确定当前帧的头部姿态；根据当前帧的头部姿态和当前帧的人脸图像中的关键点，以及获取的上一帧的头部姿态和上一帧的人脸图像中的关键点，分别确定当前帧的头部姿态约束条件和关键点约束条件；根据头部姿态约束条件和关键点约束条件对当前帧的人脸图像中的人脸框进行有效性判定，其中，所述人脸框
是利用所述当前帧的人脸图像中的关键点生成的；当所述人脸框有效时，将所述当前帧的头部姿态保存，并根据所述当前帧的头部姿态，确定所述待检测对象的当前状态信息。
[0148]
因此，通过实施上述公开的实现方式，能够输出有效的当前帧的头部姿态，避免由于头部发生局部偏转而造成的头部姿态出现跳动而导致的识别结果不准的问题。
[0149]
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0150]
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。最后应说明的是：以上各示例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各示例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各示例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各示例技术方案的范围。