一种面部专注度检测系统及方法与流程

本发明属于图像处理技术领域，具体涉及一种面部专注度检测系统及方法。

背景技术：

现在专注度检测方法使用设备可分为：(一)脑电波设备，用以检测脑电波资讯；(二)眼动仪，用红外线跟踪测量眼球位置；(三)姿态传感器，固定于刚体，用以测量该点三维姿态、三维加速度、三维角速度等；(四)深度摄影机，取得影像色彩及深度资讯；(五)单摄像头，如网路摄影机等，取得单纯影像色彩资讯。脑电波设备、眼动仪、及姿态传感器等，皆为接触式设备，使用上较为不便且价格昂贵，大幅提高使用门槛。单摄影机好处为造价最低、设备最普及，几乎所有智能手机、平板电脑、笔记本电脑皆为标准配备，外接式网路摄像头亦取得方便。而深度摄影机较单摄影机虽然多了深度资讯，但因其解析度及准确率较低，对于判断专注度的帮助相当有限。

而现有基于单摄像头与图像识别技术之专注度检测方法可分为几种︰(一)基于头部姿态计算专注度，(二)基于闭眼时长计算专注度，(三)基于面部表情计算专注度等等。但现有方法中，计算专注度所考虑的层面仅能反映部份的专注度资讯。例如︰基于头部姿态计算专注度时，若头部位于摄像头两侧时，其角度较大，可能会被判断为专注度低；而基于闭眼时长之方法，在眼睛张开时，无法判断其眼睛看的位置、或是否为发呆状态等等。

技术实现要素：

针对以上问题的不足，本发明提供了一种面部专注度检测系统及方法，在设备上只需要摄像头及计算处理单元，现有的智能设备均可使用，增加了实用性和简便性，从多个方面计算使用者的专注度，计算结果更好准确，能更真实反映使用者的专注程度。

为实现上述目的，本发明一种面部专注度检测系统，包括：

参数设定单元，用于设定专注度计算参数；

图像关键点检测单元，用于获取图像信息，应用人脸检测技术或人脸关键点追踪技术，得到人脸图像、人脸关键点以及人脸关键点坐标；

各方面专注度计算单元，用于根据所述计算参数、所述人脸图像、所述人脸关键点以及所述人脸关键点坐标，计算多个方面的专注度；

综合专注度计算单元，用于根据所述多个方面的专注度，应用数据融合方法，计算综合专注度分数。

优选地，所述图像关键点检测单元包括：

图像获取模块，用于获取图像画面；

人脸检测模块，用于通过人脸检测技术从所述图像画面中得到人脸图像；

人脸关键点检测模块，用于通过人脸关键点追踪技术从所述人脸图像中得到人脸关键点，并计算人脸关键点坐标。

优选地，所述图像获取模块包括摄像头。

优选地，所述人脸关键点坐标为所述人脸关键点基于所述图像画面的坐标。

优选地，所述各方面专注度计算单元包括：

表情专注度估算模块，用于根据所述人脸图像，应用机器学习算法预估面部表情专注度；

视线角度估算模块，用于根据所述人脸图像和所述人脸关键点，得到眼睛部位图像，应用图像处理技术预估视线方向，得到视线角度；

人脸三维坐标估算模块，用于根据所述图像画面和所述人脸图像，应用人脸与摄影机相对位置估算法，计算人脸三维坐标；

视线涣散程度估算模块，用于采集一段时间内的所述人脸三维坐标和所述视线角度，计算这段时间内视线角度的变化，估算视线涣散程度；

闭眼程度检测模块，用于根据所述人脸关键点中的眼睛关键点计算眼睛的宽高比例，估算闭眼程度；

闭眼频率估算模块，用于采集一段时间内的所述闭眼程度，根据所述时间和所述闭眼程度，估算闭眼频率；

头部姿态检测模块，用于根据所述人脸关键点坐标，通过头部姿态推定技术检测头部姿态，得到头部姿态角度。

优选地，所述人脸三维坐标为人脸相对于摄像头的坐标。

优选地，所述多个方面的专注度包括以下一种或多种参数，所述参数包括闭眼频率、头部姿态角度、面部表情专注度、视线角度、人脸三维坐标和视线涣散程度。

一种面部专注度检测方法，包括以下步骤：

设定专注度计算参数；

获取图像信息，使用人脸检测技术或人脸关键点追踪技术，得到人脸图像、人脸关键点以及人脸关键点坐标；

根据所述计算参数、所述人脸图像、所述人脸关键点以及所述人脸关键点坐标，计算多个方面的专注度；

根据所述多个方面的专注度，利用数据融合方法，计算综合专注度分数。

由上述方案可知，本发明提供的面部专注度检测系统及方法，设备上只需要摄像头及计算处理单元，现有的智能设备均可使用，增加了实用性和简便性，从多个方面计算使用者的专注度，计算结果更好准确，能更真实反映使用者的专注程度。

附图说明

为了更清楚地说明本发明，下面对所需要使用的附图作简单地介绍。附图中，各元件并不一定按照实际的比例绘制。

图1为本实施例中面部专注度检测系统的结构框图；

图2为本实施例中面部专注度检测方法的流程图；

图3为本实施例中面部专注度检测系统的详细结构示意图。

具体实施方式

下面将结合附图对本发明的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的产品，因此只是作为示例，而不能以此来限制本发明的保护范围。

实施例：

本发明实施例提供的一种面部专注度检测系统，如图1所示，包括：

参数设定单元，用于设定专注度计算参数；所述参数包含但不限于︰荧幕尺寸、摄像头解析度、摄像头垂直、水平可视范围、摄像头与荧幕相对位置、摄像头角度等等；

图像关键点检测单元，用于获取图像信息，应用人脸检测技术或人脸关键点追踪技术，得到人脸图像、人脸关键点以及人脸关键点坐标；

各方面专注度计算单元，用于根据所述计算参数、所述人脸图像、所述人脸关键点以及所述人脸关键点坐标，计算多个方面的专注度；

综合专注度计算单元，用于根据所述多个方面的专注度，应用数据融合方法，计算综合专注度分数。

本实施例中所述多个方面的专注度包括以下一种或多种参数，所述参数包括闭眼频率、头部姿态角度、面部表情专注度、视线角度、人脸三维坐标、视线涣散程度等。将上述参数通过数据融合方法去推算综合专注度分数。所述数据融合方法如fuzzylogic、neuralnetwork、加权平均等机器学习算法或统计方法。

其中，如图3所示，所述图像关键点检测单元包括：

图像获取模块，用于获取图像画面；所述图像获取模块包括摄像头；

人脸检测模块，用于通过人脸检测技术从所述图像画面中得到人脸图像；

人脸关键点检测模块，用于通过人脸关键点追踪技术从所述人脸图像中得到人脸关键点，并计算人脸关键点坐标。所述人脸关键点坐标为所述人脸关键点基于所述图像画面的坐标。

其中，如图3所示，所述各方面专注度计算单元包括：

表情专注度估算模块，用于根据所述人脸图像，应用机器学习算法预估面部表情专注度；

视线角度估算模块，用于根据所述人脸图像和所述人脸关键点，得到眼睛部位图像，应用图像处理技术预估视线方向，得到视线角度；

人脸三维坐标估算模块，用于根据所述图像画面和所述人脸图像，应用人脸与摄影机相对位置估算法，计算人脸三维坐标；

视线涣散程度估算模块，用于采集一段时间内的所述人脸三维坐标和所述视线角度，计算这段时间内视线角度的变化，估算视线涣散程度；所述人脸三维坐标为人脸相对于摄像头的坐标；

闭眼程度检测模块，用于根据所述人脸关键点中的眼睛关键点计算眼睛的宽高比例，估算闭眼程度；

闭眼频率估算模块，用于采集一段时间内的所述闭眼程度，根据所述时间和所述闭眼程度，估算闭眼频率；

头部姿态检测模块，用于根据所述人脸关键点坐标，通过头部姿态推定技术检测头部姿态，得到头部姿态角度。

一种面部专注度检测方法，如图2所示，包括以下步骤：

设定专注度计算参数；

获取图像信息，应用人脸检测技术或人脸关键点追踪技术，得到人脸图像、人脸关键点以及人脸关键点坐标；

根据所述计算参数、所述人脸图像、所述人脸关键点以及所述人脸关键点坐标，计算多个方面的专注度；

根据所述多个方面的专注度，应用数据融合方法，计算综合专注度分数。

本实施例的系统和方法，基于脸部识别技术及机器学习模型之综合专注度检测模型，不仅设备上只需要摄像头及计算处理单元，拥有造价低、易于使用、方便携带、实时计算等优点，且计算方式层面较广，能更真实反映使用者之专注程度。使用摄像头，于一般的智慧型手机、平板电脑、笔记本电脑、或是接上网路摄像头之桌上型电脑，皆可使用，设备成本低廉；使用非接触式设备，增加实用性及简便性；考虑各个面向之专注程度，如头部与摄影机相对座标、头部姿态、视线角度、面部表情、视线涣散程度、闭眼比例等，计算之专注度分数更可靠。

实例一:在商场、家中、户外开放空间的用于播放广告的终端荧幕，透过观察用户群的专注度以及所专注区域，结合人脸属性(如性别、年龄...等)与情绪分析的功能(如喜、怒、哀、乐等)，可回馈给广告商广告本身的吸引度、各种人群的喜好程度、各种人群的喜好物品等。从客户端直接获取最直接且有价值的回馈资料，广告商/电视媒体根据这些讯息提供更有效的广告策略。

实例二:在教育/直播场景，可以透过用户端(学生)是否专注在视频的内容上，给出十分有效的回馈。回馈的讯息可以反馈至教育机构，为教育机构重新录制教学内容或者加强某些教学内容的品质提供参考，回馈的讯息也可成为教师评鉴与改进的一个有效依据。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。