用于检测眨眼的方法及装置与流程

本申请实施例涉及计算机技术领域，具体涉及图像识别技术领域，尤其涉及用于检测眨眼的方法及装置。

背景技术：

人脸识别技术是一项计算机应用研究技术，它属于生物特征识别技术。通过生物体的生物特征不仅能够区分生物个体，还能够对生物个体的身体状态进行判断。例如，通过生物体眨眼的频率可以判断生物是否为活体、是否处于疲劳状态；通过眨眼还可以作为解锁的判断条件，以增加安全性。

技术实现要素：

本申请实施例的目的在于提出了用于检测眨眼的方法及装置。

第一方面，本申请实施例提供了一种用于检测眨眼的方法，该方法包括：从记录人脸的视频中提取两帧人脸图像；从上述两帧人脸图像中分别提取第一待处理眼睛图像和第二待处理眼睛图像，并通过设定的标记点将上述第一待处理眼睛图像和第二待处理眼睛图像对齐，上述标记点用于标记眼睛图像的设定位置；获取对齐后的上述第一待处理眼睛图像和第二待处理眼睛图像之间的差分图像，上述差分图像用于表征上述第一待处理眼睛图像和第二待处理眼睛图像之间的像素区别；将上述差分图像导入预先训练的眨眼检测模型，得到眨眼检测标签，上述眨眼检测模型用于匹配对应差分图像的眨眼检测标签。

在一些实施例中，上述从记录人脸的视频中提取两帧人脸图像包括：按照设定时间长度的时间窗将上述视频划分为多个子视频；对于上述多个子视频中的每个子视频，将该子视频的最后一帧人脸图像分别与该子视频的其他人脸图像中的每个人脸图像两两组合成两帧人脸图像。

在一些实施例中，上述从上述两帧人脸图像中分别提取第一待处理眼睛图像和第二待处理眼睛图像包括：分别确定上述两帧人脸图像中的对应眼睛图像的第一图像区域和第二图像区域；根据上述第一图像区域和第二图像区域分别从上述两帧人脸图像中提取第一待处理眼睛图像和第二待处理眼睛图像。

在一些实施例中，上述通过设定的标记点将上述第一待处理眼睛图像和第二待处理眼睛图像对齐包括：在上述第一待处理眼睛图像上的设定位置处设置多个第一标记点，上述设定位置包括大眼角和小眼角；在上述第二待处理眼睛图像上的上述设定位置处设置多个与第一标记点对应的第二标记点，上述多个第二标记点之间的位置关系与上述多个第一标记点之间的位置关系相同；将上述第一待处理眼睛图像设置在坐标平面上，得到上述多个第一标记点的多个第一坐标；将上述的第二待处理眼睛图像的多个第二标记点在上述坐标平面上的多个第二坐标调整至与上述多个第一坐标对应，使得上述第一待处理眼睛图像和第二待处理眼睛图像对齐。

在一些实施例中，上述获取对齐后的上述第一待处理眼睛图像和第二待处理眼睛图像之间的差分图像包括：将对齐后的上述第一待处理眼睛图像和第二待处理眼睛图像上位置相同的像素的像素值相减，得到由像素值差构成的差分图像。

在一些实施例中，上述方法还包括构建眨眼检测模型的步骤，上述构建眨眼检测模型的步骤包括：分别从睁眼图像集合和闭眼图像集合中提取睁眼图像和对应睁眼图像的闭眼图像，并通过睁眼图像和闭眼图像构建眼睛状态图像组合，上述眼睛状态图像组合包括第一状态图像和第二状态图像，上述第一状态图像为睁眼图像或闭眼图像，上述第二状态图像为睁眼图像或闭眼图像；将眼睛状态图像组合的第一状态图像和第二状态图像上位置相同的像素的像素值相减，得到由像素值差构成的对应眼睛状态图像组合的眨眼差分图像和非眨眼差分图像，上述眨眼差分图像包括睁眼-闭眼差分图像和闭眼-睁眼差分图像，上述非眨眼差分图像包括睁眼-睁眼差分图像、闭眼-闭眼差分图像；分别获取眨眼差分图像和非眨眼差分图像的特征数据，上述特征数据包括差分图像面积、差分图像长宽比、差分图像像素数量、差分图像像素值范围；将上述特征数据划分为对应眨眼差分图像和非眨眼差分图像的眨眼特征数据和非眨眼特征数据，并分别为眨眼特征数据和非眨眼特征数据设置眨眼检测标签和非眨眼检测标签；利用机器学习方法，将眨眼差分图像和非眨眼差分图像作为输入，将分别与眨眼差分图像和非眨眼差分图像对应的眨眼检测标签和非眨眼检测标签作为输出，训练得到眨眼检测模型。

第二方面，本申请实施例提供了一种用于检测眨眼的装置，该装置包括：图像提取单元，用于从记录人脸的视频中提取两帧人脸图像；图像对齐单元，用于从上述两帧人脸图像中分别提取第一待处理眼睛图像和第二待处理眼睛图像，并通过设定的标记点将上述第一待处理眼睛图像和第二待处理眼睛图像对齐，上述标记点用于标记眼睛图像的设定位置；差分图像获取单元，用于获取对齐后的上述第一待处理眼睛图像和第二待处理眼睛图像之间的差分图像，上述差分图像用于表征上述第一待处理眼睛图像和第二待处理眼睛图像之间的像素区别；眨眼检测标签获取单元，用于将上述差分图像导入预先训练的眨眼检测模型，得到眨眼检测标签，上述眨眼检测模型用于匹配对应差分图像的眨眼检测标签。

在一些实施例中，上述图像提取单元包括：视频划分子单元，用于按照设定时间长度的时间窗将上述视频划分为多个子视频；图像提取子单元，对于上述多个子视频中的每个子视频，用于将该子视频的最后一帧人脸图像分别与该子视频的其他人脸图像中的每个人脸图像两两组合成两帧人脸图像。

在一些实施例中，上述图像对齐单元包括：图像区域确定子单元，用于分别确定上述两帧人脸图像中的对应眼睛图像的第一图像区域和第二图像区域；待处理眼睛图像提取子单元，用于根据上述第一图像区域和第二图像区域分别从上述两帧人脸图像中提取第一待处理眼睛图像和第二待处理眼睛图像。

在一些实施例中，上述图像对齐单元包括：第一标记点设置子单元，用于在上述第一待处理眼睛图像上的设定位置处设置多个第一标记点，上述设定位置包括大眼角和小眼角；第二标记点设置子单元，用于在上述第二待处理眼睛图像上的上述设定位置处设置多个与第一标记点对应的第二标记点，上述多个第二标记点之间的位置关系与上述多个第一标记点之间的位置关系相同；第一坐标获取子单元，用于将上述第一待处理眼睛图像设置在坐标平面上，得到上述多个第一标记点的多个第一坐标；对齐子单元，用于将上述的第二待处理眼睛图像的多个第二标记点在上述坐标平面上的多个第二坐标调整至与上述多个第一坐标对应，使得上述第一待处理眼睛图像和第二待处理眼睛图像对齐。

在一些实施例中，上述差分图像获取单元包括：将对齐后的上述第一待处理眼睛图像和第二待处理眼睛图像上位置相同的像素的像素值相减，得到由像素值差构成的差分图像。

在一些实施例中，上述装置还包括眨眼检测模型构建单元，用于构建眨眼检测模型，上述眨眼检测模型构建单元包括：眼睛状态图像组合构建子单元，用于分别从睁眼图像集合和闭眼图像集合中提取睁眼图像和对应睁眼图像的闭眼图像，并通过睁眼图像和闭眼图像构建眼睛状态图像组合，上述眼睛状态图像组合包括第一状态图像和第二状态图像，上述第一状态图像为睁眼图像或闭眼图像，上述第二状态图像为睁眼图像或闭眼图像；差分图像获取子单元，用于将眼睛状态图像组合的第一状态图像和第二状态图像上位置相同的像素的像素值相减，得到由像素值差构成的对应眼睛状态图像组合的眨眼差分图像和非眨眼差分图像，上述眨眼差分图像包括睁眼-闭眼差分图像和闭眼-睁眼差分图像，上述非眨眼差分图像包括睁眼-睁眼差分图像、闭眼-闭眼差分图像；特征数据获取子单元，用于分别获取眨眼差分图像和非眨眼差分图像的特征数据，上述特征数据包括差分图像面积、差分图像长宽比、差分图像像素数量、差分图像像素值范围；特征数据匹配子单元，用于将上述特征数据划分为对应眨眼差分图像和非眨眼差分图像的眨眼特征数据和非眨眼特征数据，并分别为眨眼特征数据和非眨眼特征数据设置眨眼检测标签和非眨眼检测标签；眨眼检测模型构建子单元，用于利用机器学习方法，将眨眼差分图像和非眨眼差分图像作为输入，将分别与眨眼差分图像和非眨眼差分图像对应的眨眼检测标签和非眨眼检测标签作为输出，训练得到眨眼检测模型。

第三方面，本申请实施例提供了一种终端设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器执行上述第一方面的用于检测眨眼的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述第一方面的用于检测眨眼的方法。

本申请实施例提供的用于检测眨眼的方法及装置，从获取的两帧人脸图像中分别提取第一待处理眼睛图像和第二待处理眼睛图像，并通过标记点使得第一待处理眼睛图像和第二待处理眼睛图像对齐；然后获取对齐后的第一待处理眼睛图像和第二待处理眼睛图像之间的差分图像；最后通过眨眼检测模型得到对应差分图像的眨眼检测标签。本申请通过两帧人脸图像的差分图像来识别眨眼过程，提高了识别眨眼过程的速度和准确性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的用于检测眨眼的方法的一个实施例的流程图；

图3是根据本申请的用于检测眨眼的方法的一个应用场景的示意图；

图4是根据本申请的用于检测眨眼的装置的一个实施例的结构示意图；

图5是适于用来实现本申请实施例的终端设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的用于检测眨眼的方法或用于检测眨眼的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103记录人脸的图像，并通过网络104实现终端设备101、102、103与服务器105的信息交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种图像采集应用，例如照相机应用、视频采集应用、人脸安全检测应用、眨眼检测应用等。

终端设备101、102、103可以是具有显示屏并且支持视图像和/或视频采集的各种电子设备，包括但不限于网络摄像头、监控摄像头、智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103采集的记录人脸的图像和/或视频进行处理的服务器。服务器可以对接收到的视频进行人脸识别、图像识别、眨眼检测等处理，并将处理结果反馈给终端设备101、102、103。

需要说明的是，本申请实施例所提供的用于检测眨眼的方法一般由终端设备101、102、103执行，相应地，用于检测眨眼的装置一般设置于终端设备101、102、103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的用于检测眨眼的方法的一个实施例的流程200。该用于检测眨眼的方法包括以下步骤：

步骤201，从记录人脸的视频中提取两帧人脸图像。

在本实施例中，用于检测眨眼的方法运行于其上的电子设备(例如图1所示的终端设备101、102、103)可以通过有线连接方式或者无线连接方式获取记录有人脸的视频。其中，记录有人脸的视频可以是实时获取的视频(例如可以是监控摄像头实时获取的包含人脸的监控视频)，也可以是非实时获取的视频(例如可以是智能手机在过去的某一时间录制的包括人脸的视频)。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

终端设备101、102、103接收到记录人脸的视频后，为了检测视频记录的人脸是否存在眨眼的过程，可以从视频中提取两帧人脸图像，以通过这两帧人脸图像的对比来判断是否存在眨眼过程。

在本实施例的一些可选的实现方式中，上述从记录人脸的视频中提取两帧人脸图像可以包括以下步骤：

第一步，按照设定时间长度的时间窗将上述视频划分为多个子视频。

人脸在不同的状态下，眨眼的周期可以不同。例如，当人体处于正常状态时，眨眼的周期可以是一个时间长度；当人体处于疲劳状态时，眨眼的周期可以是另一个时间长度；当需要进行安全检测时，眨眼的周期可以是又一个时间长度。为此，可以根据不同的需要设定不同的时间长度的时间窗，在对应的时间窗内判断是否存在眨眼过程。

通常情况下，眨眼的过程花费的时间较短。因此，可以将视频按照设定时间长度的时间窗划分为多个子视频。例如，视频的总时间长度为10秒，时间窗的时间长度为3秒，则可以将视频划分为3秒、3秒、3秒和1秒共4个子视频。

第二步，对于上述多个子视频中的每个子视频，将该子视频的最后一帧人脸图像分别与该子视频的其他人脸图像中的每个人脸图像两两组合成两帧人脸图像。

由上述描述可知，时间窗可以根据实际需要来设定，设定的条件可以是：在时间窗的时间长度内，可以存在一次或多次眨眼过程。即，通过时间窗划分的每个子视频(时间长度不够的子视频除外，例如上述的1秒的子视频)基本可以检测出是否存在眨眼过程。眨眼过程可以是眼睛从张开到闭合、从闭合到张开的过程，还可以是眼睛张开不同程度的过程(例如可以是从眯眼到瞪眼等过程)。可见，眨眼过程可以通过眼睛张开的不同程度来判断。为此，本实施例可以将每个子视频的最后一帧人脸图像(也可以是该子视频的第一帧人脸图像或其他帧人脸图像)分别与该子视频的其他人脸图像中的每个人脸图像两两组合成两帧人脸图像，之后，每次都可以提取到两帧人脸图像。例如，某一子视频包含5帧人脸图像，分别为p1、p2、p3、p4和p5。则该子视频可以得到：(p1、p5)、(p2、p5)、(p3、p5)、(p4、p5)共4组两帧人脸图像。通常情况下，人脸图像帧的帧周期要小于眨眼周期，因此，当该子视频存在眨眼过程时，可以通过这4组两帧人脸图像中的至少一组两帧人脸图像，实现对眨眼过程的识别。

步骤202，从上述两帧人脸图像中分别提取第一待处理眼睛图像和第二待处理眼睛图像，并通过设定的标记点将上述第一待处理眼睛图像和第二待处理眼睛图像对齐。

提取的两帧人脸图像通常包含了多个具体的图像。为了检测眨眼过程，需要先从这两帧人脸图像中分别提取第一待处理眼睛图像和第二待处理眼睛图像。即第一待处理眼睛图像和第二待处理眼睛图像为仅包含眼睛图像的待处理图像。在眨眼的过程中，头部也可能发生位置变化，因此，还需要将第一待处理眼睛图像和第二待处理眼睛图像进行对齐操作，使得第一待处理眼睛图像和第二待处理眼睛图像按照设定的标记点将眼睛图像划归到相同的位置，以便通过比较第一待处理眼睛图像和第二待处理眼睛图像来判断是否存在眨眼过程。其中，上述标记点用于标记眼睛图像的设定位置。

在本实施例的一些可选的实现方式中，上述从上述两帧人脸图像中分别提取第一待处理眼睛图像和第二待处理眼睛图像可以包括以下步骤：

第一步，分别确定上述两帧人脸图像中的对应眼睛图像的第一图像区域和第二图像区域。

人脸图像中可能包含有除人脸图像以外的其他图像，因此，首先要确定这两帧人脸图像中包含眼睛图像的第一图像区域和第二图像区域。可选的，可以通过人脸识别方法识别出两帧人脸图像中各自的第一图像区域和第二图像区域，第一图像区域和第二图像区域可以是只包含人脸的图像。

第二步，根据上述第一图像区域和第二图像区域分别从上述两帧人脸图像中提取第一待处理眼睛图像和第二待处理眼睛图像。

得到第一图像区域和第二图像区域后，可以进一步确定第一图像区域和第二图像区域中的眼睛所在的图像区域，进而从第一图像区域和第二图像区域中提取第一待处理眼睛图像和第二待处理眼睛图像。

在本实施例的一些可选的实现方式中，上述通过设定的标记点将上述第一待处理眼睛图像和第二待处理眼睛图像对齐可以包括以下步骤：

第一步，在上述第一待处理眼睛图像上的设定位置处设置多个第一标记点。

为了对眼睛图像进行定位，可以首先在第一待处理眼睛图像上的设定位置处设置多个第一标记点，通过多个第一标记点标记眼睛图像对应的眼睛的结构特征。其中，上述设定位置包括大眼角和小眼角，还可以包括眼睛的下边线(可以认为眼睛图像由大眼角、小眼角、上边线和下边线构成，其中，下边线可以为连接大眼角和小眼角的两条线中，位置靠下的线，或远离眉毛的线)或上边线(上边线可以为连接大眼角和小眼角的两条线中，位置靠上的线，或靠近眉毛的线)等位置。

第二步，在上述第二待处理眼睛图像上的上述设定位置处设置多个与第一标记点对应的第二标记点。

通常，识别是否存在眨眼过程，是针对同一个人脸(或同一个活体)而言的，而同一个人脸的眼睛特征是固定的。因此，可以在第二待处理眼睛图像上设置与第一待处理眼睛图像上的多个第一标记点对应的多个第二标记点。其中，上述多个第二标记点之间的位置关系与上述多个第一标记点之间的位置关系相同。

需要说明的是，通常情况下，大眼角、小眼角和下边线的位置是不变(或变化很小)的，而眼睛的上边线的位置可以是不固定的(睁眼时，上边线远离下边线；闭眼时，上边线靠近下边线)。因此，第一标记点和第二标记点中，对应大眼角、小眼角和下边线的标记点之间的相互位置可以相同，对应上边线的标记点的位置可以不相同。

第三步，将上述第一待处理眼睛图像设置在坐标平面上，得到上述多个第一标记点的多个第一坐标。

为了量化眼睛图像，可以将第一待处理眼睛图像设置在坐标平面上，得到上述多个第一标记点的多个第一坐标。其中，坐标平面的横坐标和纵坐标都是距离信息。

第四步，将上述的第二待处理眼睛图像的多个第二标记点在上述坐标平面上的多个第二坐标调整至与上述多个第一坐标对应，使得上述第一待处理眼睛图像和第二待处理眼睛图像对齐。

类似的，可以得到第二待处理眼睛图像的多个第二标记点在上述坐标平面上的多个第二坐标。将多个第一坐标和多个第二坐标同时设置在坐标平面上，并调整对应大眼角、小眼角和下边线的第二标记点(或第一标记点)在坐标平面上的位置，直到对应大眼角、小眼角和下边线的第一坐标和第二坐标的坐标值相同或基本相同(即，对应大眼角、小眼角和下边线的第一标记点和第二标记点在坐标平面上重合或基本重合)。调整的方法可以是通过坐标转换矩阵对坐标进行转换、旋转、平移、缩放等方式，最终实现第一待处理眼睛图像和第二待处理眼睛图像的对齐。

步骤203，获取对齐后的上述第一待处理眼睛图像和第二待处理眼睛图像之间的差分图像。

第一待处理眼睛图像和第二待处理眼睛图像对齐后，可以通过第一待处理眼睛图像和第二待处理眼睛图像上对应位置的像素之间的差别来得到差分图像。其中，上述差分图像可以用于表征上述第一待处理眼睛图像和第二待处理眼睛图像之间的像素区别。

在本实施例的一些可选的实现方式中，上述获取对齐后的上述第一待处理眼睛图像和第二待处理眼睛图像之间的差分图像可以包括：将对齐后的上述第一待处理眼睛图像和第二待处理眼睛图像上位置相同的像素的像素值相减，得到由像素值差构成的差分图像。

第一待处理眼睛图像和第二待处理眼睛图像由像素组成，每个像素都对应一个像素值，不同的像素值对应不同的颜色，不同的颜色构成眼睛图像。第一待处理眼睛图像和第二待处理眼睛图像对齐后，通常情况下，由于大眼角、小眼角和下边线在不同的人脸图像中的相对位置基本不变，因此，大眼角、小眼角和下边线对应的像素的像素值也基本相同。对应的，上边线的位置则会根据睁眼、闭眼等状态而发生变化。即，是否眨眼主要取决于上边线的位置。对应的，通过像素的像素值相减得到的差分图像主要表征了第一待处理眼睛图像和第二待处理眼睛图像中上边线位置不同时，对应眼睛的像素的像素值之间的像素差。

步骤204，将上述差分图像导入预先训练的眨眼检测模型，得到眨眼检测标签。

得到差分图像后，可以将差分图像导入到预先训练好的眨眼检测模型。眨眼检测模型对差分图像进行分析，得到对应该差分图像的眨眼检测标签。其中，上述眨眼检测模型用于匹配对应差分图像的眨眼检测标签，上述眨眼检测标签可以用于标记眨眼检测结果。

眨眼检测模型可以用于表征差分图像与眨眼检测标签的对应关系。作为示例，眨眼检测模型可以是技术人员基于对大量的差分图像和眨眼检测标签的统计而预先制定的，存储有多个差分图像与眨眼检测标签的对应关系表；也可以是技术人员基于对大量数据的统计而预先设置并存储在上述电子设备中的，对差分图像进行计算以得到眨眼检测标签的计算公式。例如，该计算公式可以对差分图像进行数据处理，进而确定对应差分图像的眨眼检测标签。

在本实施例的一些可选的实现方式中，上述方法还包括构建眨眼检测模型的步骤，上述构建眨眼检测模型的步骤可以包括以下步骤：

第一步，分别从睁眼图像集合和闭眼图像集合中提取睁眼图像和对应睁眼图像的闭眼图像，并通过睁眼图像和闭眼图像构建眼睛状态图像组合。

本实施例的睁眼图像集合和闭眼图像集合可以是人工预先标记好的图像。眼睛状态可以包括睁眼状态、闭眼状态和眨眼状态。其中，睁眼状态、闭眼状态可以认为是静态，眨眼状态可以认为是动态。眨眼又可以分为由闭眼到睁眼到状态和由睁眼到闭眼到状态两种。因此，本实施例通过睁眼图像和闭眼图像构建的眼睛状态图像组合可以包括第一状态图像和第二状态图像。其中，第一状态图像和第二状态图像具有先后顺序关系，即，第一状态图像在先，第二状态图像在后。上述第一状态图像可以为睁眼图像或闭眼图像；上述第二状态图像可以为睁眼图像或闭眼图像。如此，眼睛状态图像组合就包含了眼睛的全部状态。

第二步，将眼睛状态图像组合的第一状态图像和第二状态图像上位置相同的像素的像素值相减，得到由像素值差构成的对应眼睛状态图像组合的眨眼差分图像和非眨眼差分图像。

眼睛状态图像组合包含了眼睛的全部状态，第一状态图像和第二状态图像上位置相同的像素的像素值相减，可以得到睁眼图像和睁眼图像之间的差分图像、闭眼图像和闭眼图像之间的差分图像、睁眼图像和闭眼图像之间的差分图像、闭眼图像和睁眼图像之间的差分图像。其中，睁眼图像和睁眼图像之间的差分图像、闭眼图像和闭眼图像之间的差分图像可以认为是非眨眼差分图像；睁眼图像和闭眼图像之间的差分图像、闭眼图像和睁眼图像之间的差分图像可以认为是眨眼差分图像。进一步简化，可以认为上述眨眼差分图像包括睁眼-闭眼差分图像和闭眼-睁眼差分图像，上述非眨眼差分图像包括睁眼-睁眼差分图像、闭眼-闭眼差分图像。

第三步，分别获取眨眼差分图像和非眨眼差分图像的特征数据。

由上述描述可知，是否眨眼主要通过上边线的位置来判断。眨眼时，上边线的位置可以使得眼睛的形状与闭眼和睁眼时的形状不同。为此，可以获取眨眼差分图像和非眨眼差分图像的特征数据，通过特征数据来区分眨眼差分图像和非眨眼差分图像。其中，上述特征数据可以包括差分图像面积、差分图像长宽比、差分图像像素数量、差分图像的像素值范围等参数。

第四步，将上述特征数据划分为对应眨眼差分图像和非眨眼差分图像的眨眼特征数据和非眨眼特征数据，并分别为眨眼特征数据和非眨眼特征数据设置眨眼检测标签和非眨眼检测标签。

通过上述的特征数据的取值范围，可以将特征数据进一步划分为分别与眨眼差分图像和非眨眼差分图像对应的眨眼特征数据和非眨眼特征数据。之后，再分别为眨眼特征数据和非眨眼特征数据设置眨眼检测标签和非眨眼检测标签，以便对图像进行定性标注。

第五步，利用机器学习方法，将眨眼差分图像和非眨眼差分图像作为输入，将分别与眨眼差分图像和非眨眼差分图像对应的眨眼检测标签和非眨眼检测标签作为输出，训练得到眨眼检测模型。

本实施例的上述电子设备，可以利用机器学习方法，将眨眼差分图像和非眨眼差分图像作为输入，将分别与眨眼差分图像和非眨眼差分图像对应的眨眼检测标签和非眨眼检测标签作为输出，训练得到眨眼检测模型。具体的，上述电子设备可以使用深度学习模型、朴素贝叶斯模型(Naive Bayesian Model，NBM)或支持向量机(Support Vector Machine，SVM)等用于分类的模型，将上述的眨眼差分图像和与眨眼差分图像对应的眨眼检测标签作为输出；将上述的非眨眼差分图像和与非眨眼差分图像对应的非眨眼检测标签作为输出，利用机器学习方法，对该模型进行训练，得到眨眼检测模型。

继续参见图3，图3是根据本实施例的用于检测眨眼的方法的应用场景的一个示意图。在图3的应用场景中，终端设备101、102、103首先从记录人脸的视频中提取两帧人脸图像；然后，分别从两帧人脸图像中分别提取第一待处理眼睛图像1和第二待处理眼睛图像2；之后，在第一待处理眼睛图像1设置标记点11、12、13、14(11为大眼角对应的标记点、12为小眼角对应的标记点、13为下边线对应的标记点、14为上边线对应的标记点)，在第二待处理眼睛图像2中设置标记点21、22、23、24(21为大眼角对应的标记点、22为小眼角对应的标记点、23为下边线对应的标记点、24为上边线对应的标记点)，将标记点11、12、13的位置设置为分别与标记点21、22、23的位置对应后，得到由标记点14和标记点24对应的第一待处理眼睛图像和第二待处理眼睛图像构成的差分图像；最后，将差分图像导入眨眼检测模型，得到对应差分图像的眨眼检测标签和非眨眼检测标签。

本申请的上述实施例提供的方法，从获取的两帧人脸图像中分别提取第一待处理眼睛图像和第二待处理眼睛图像，并通过标记点使得第一待处理眼睛图像和第二待处理眼睛图像对齐；然后获取对齐后的第一待处理眼睛图像和第二待处理眼睛图像之间的差分图像；最后通过眨眼检测模型得到对应差分图像的眨眼检测标签。本申请通过两帧人脸图像的差分图像来识别眨眼过程，提高了识别眨眼过程的速度和准确性。

进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种用于检测眨眼的方法及装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例上述的用于检测眨眼的方法及装置400可以包括：图像提取单元401、图像对齐单元402、差分图像获取单元403和眨眼检测标签获取单元404。其中，图像提取单元401用于从记录人脸的视频中提取两帧人脸图像；图像对齐单元402，用于从上述两帧人脸图像中分别提取第一待处理眼睛图像和第二待处理眼睛图像，并通过设定的标记点将上述第一待处理眼睛图像和第二待处理眼睛图像对齐，上述标记点用于标记眼睛图像的设定位置；差分图像获取单元403，用于获取对齐后的上述第一待处理眼睛图像和第二待处理眼睛图像之间的差分图像，上述差分图像用于表征上述第一待处理眼睛图像和第二待处理眼睛图像之间的像素区别；眨眼检测标签获取单元404，用于将上述差分图像导入预先训练的眨眼检测模型，得到眨眼检测标签，上述眨眼检测模型用于匹配对应差分图像的眨眼检测标签。

在本实施例的一些可选的实现方式中，上述图像提取单元401可以包括：视频划分子单元(图中未示出)和图像提取子单元(图中未示出)。其中，视频划分子单元用于按照设定时间长度的时间窗将上述视频划分为多个子视频；图像提取子单元对于上述多个子视频中的每个子视频，用于将该子视频的最后一帧人脸图像分别与该子视频的其他人脸图像中的每个人脸图像两两组合成两帧人脸图像。

在本实施例的一些可选的实现方式中，上述图像对齐单元402可以包括：图像区域确定子单元(图中未示出)和待处理眼睛图像提取子单元(图中未示出)。其中，图像区域确定子单元用于分别确定上述两帧人脸图像中的对应眼睛图像的第一图像区域和第二图像区域；待处理眼睛图像提取子单元用于根据上述第一图像区域和第二图像区域分别从上述两帧人脸图像中提取第一待处理眼睛图像和第二待处理眼睛图像。

在本实施例的一些可选的实现方式中，上述图像对齐单元402可以包括：第一标记点设置子单元(图中未示出)、第二标记点设置子单元(图中未示出)、第一坐标获取子单元(图中未示出)和对齐子单元(图中未示出)。其中，第一标记点设置子单元用于在上述第一待处理眼睛图像上的设定位置处设置多个第一标记点，上述设定位置包括大眼角和小眼角；第二标记点设置子单元用于在上述第二待处理眼睛图像上的上述设定位置处设置多个与第一标记点对应的第二标记点，上述多个第二标记点之间的位置关系与上述多个第一标记点之间的位置关系相同；第一坐标获取子单元用于将上述第一待处理眼睛图像设置在坐标平面上，得到上述多个第一标记点的多个第一坐标；对齐子单元用于将上述的第二待处理眼睛图像的多个第二标记点在上述坐标平面上的多个第二坐标调整至与上述多个第一坐标对应，使得上述第一待处理眼睛图像和第二待处理眼睛图像对齐。

在本实施例的一些可选的实现方式中，上述差分图像获取单元403可以包括：将对齐后的上述第一待处理眼睛图像和第二待处理眼睛图像上位置相同的像素的像素值相减，得到由像素值差构成的差分图像。

在本实施例的一些可选的实现方式中，用于检测眨眼的方法及装置400还可以包括眨眼检测模型构建单元(图中未示出)，用于构建眨眼检测模型，上述眨眼检测模型构建单元可以包括：眼睛状态图像组合构建子单元(图中未示出)、差分图像获取子单元(图中未示出)、特征数据获取子单元(图中未示出)、特征数据匹配子单元(图中未示出)和眨眼检测模型构建子单元(图中未示出)。其中，眼睛状态图像组合构建子单元用于分别从睁眼图像集合和闭眼图像集合中提取睁眼图像和对应睁眼图像的闭眼图像，并通过睁眼图像和闭眼图像构建眼睛状态图像组合，上述眼睛状态图像组合包括第一状态图像和第二状态图像，上述第一状态图像为睁眼图像或闭眼图像，上述第二状态图像为睁眼图像或闭眼图像；差分图像获取子单元用于将眼睛状态图像组合的第一状态图像和第二状态图像上位置相同的像素的像素值相减，得到由像素值差构成的对应眼睛状态图像组合的眨眼差分图像和非眨眼差分图像，上述眨眼差分图像包括睁眼-闭眼差分图像和闭眼-睁眼差分图像，上述非眨眼差分图像包括睁眼-睁眼差分图像、闭眼-闭眼差分图像；特征数据获取子单元用于分别获取眨眼差分图像和非眨眼差分图像的特征数据，上述特征数据包括差分图像面积、差分图像长宽比、差分图像像素数量、差分图像像素值范围；特征数据匹配子单元用于将上述特征数据划分为对应眨眼差分图像和非眨眼差分图像的眨眼特征数据和非眨眼特征数据，并分别为眨眼特征数据和非眨眼特征数据设置眨眼检测标签和非眨眼检测标签；眨眼检测模型构建子单元用于利用机器学习方法，将眨眼差分图像和非眨眼差分图像作为输入，将分别与眨眼差分图像和非眨眼差分图像对应的眨眼检测标签和非眨眼检测标签作为输出，训练得到眨眼检测模型。

本实施例还提供了一种终端设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器执行上述的用于检测眨眼的方法。

本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的用于检测眨眼的方法。

下面参考图5，其示出了适于用来实现本申请实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。

需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括图像提取单元、图像对齐单元、差分图像获取单元和眨眼检测标签获取单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，眨眼检测标签获取单元还可以被描述为“用于通过眨眼检测模型来得到眨眼检测标签的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：从记录人脸的视频中提取两帧人脸图像；从上述两帧人脸图像中分别提取第一待处理眼睛图像和第二待处理眼睛图像，并通过设定的标记点将上述第一待处理眼睛图像和第二待处理眼睛图像对齐，上述标记点用于标记眼睛图像的设定位置；获取对齐后的上述第一待处理眼睛图像和第二待处理眼睛图像之间的差分图像，上述差分图像用于表征上述第一待处理眼睛图像和第二待处理眼睛图像之间的像素区别；将上述差分图像导入预先训练的眨眼检测模型，得到眨眼检测标签，上述眨眼检测模型用于匹配对应差分图像的眨眼检测标签。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。