一种智能手机使用的眼睛疲劳检测方法
【技术领域】
[0001] 本发明涉及到智能手机操作系统的应用层技术，和人脸识别、人眼识别等图像处 理技术。 技术背景
[0002] 智能手机的易用性、可玩性（娱乐、社交、多媒体视频等功能），给人们带来了很 多便利，极大丰富了大家的生活，让大家对智能手机产生了非常严重的依赖。据GOOGLE和 IPS0S联合推出的对中国市场智能手机情况调查报告称，中国城市智能手机的普及从2012 年的33%上升至47%。其中大约有70%的用户每天都会使用智能手机访问互联网，智能手 机已经成为了他们生活不可分离的重要部分，而且大部分人在晚上也有使用智能手机的习 惯。不可避免地，智能手机的过度使用给用户的身心健康带来了重大的影响，其中数字眼疲 劳问题就是一个非常值得重视的问题。数字眼疲劳就是长时间在数字屏幕前产生不适。一 些典型的症状包括眼干、眼睛发红甚至眼睛发炎，视力模糊，更为严重的可以造成后背、颈 部和肩膀疼痛等问题。而智能手机的普及无疑成为了其中最为主要的幕后凶手。智能手机 除了造成眼睛聚焦系统疲劳之外，它释放出的高能量可见光是会给视力健康带来长期影响 的。研究显示，过度暴露在高能量可见光下会危害视网膜，引发年龄相关性黄斑变性与白内 障等眼部疾病的可能性会增加，随后会变得更加严重。而且大部分人并未意识到使用智能 手机等电子设备带来的这些消极影响。所以设计一种可以检测用户在使用智能手机过程中 的视觉疲劳问题并作提醒或者强制性介入是非常有必要的。
[0003] 虽然市场上已经出现了一些可以在一定程度上保护眼睛的光学眼睛，但这都没有 从根本上解决使用电子设备的眼疲劳问题，反而很容易纵容了用户过程使用这些电子设 置，在保护好眼睛的前提下过长时间使用这些设备还是是导致其他方面的身心问题，影响 正常的工作生活。同时这些有效果的设备都是比较昂贵的，也是接触式的，并不使用于大部 分人。为了避免这些问题同时又能很好地解决数字眼疲劳问题，本发明提出了一种基于智 能手机设置的眼疲劳检测和预防的解决方法。这是一种通过手机摄像设备非接触性地采 集用户人脸图像，并利用现在智能手机比较强大的计算能力来处理图像检测人眼的疲劳状 态，最后也借助智能手机的交互设备（如显示屏、扩音器等设备）和手机操作系统的控制接 口来达到反馈结果的目的。整个过程不依赖于其它硬件设备，很好地达到了控制成本的目 的，只需要在软件的设计实现上优化处理就能达到比较理想的效果。
[0004] 在使用电子设备的眼疲劳检测和预防并没有得到较多的关注，有少量发明人使用 检测人眼到数字屏幕距离的方法提醒用户使用设备保持合适的距离，无法检测到用户使用 电子设备的疲劳程度，不能恰当地为用户的疲劳提出预防依据，这也是没有很多解决预防 眼疲劳的这个问题。
[0005] 为了实时了解用户眼睛使用的情况，我们通过分析采集到视频序列帧，能够得到 用户实时的用眼疲劳程度，根据其疲劳程度使用不同的干预手段。这样可以很有效地防止 过度用眼而导致的不良影响。
【发明内容】
[0006] 为了提高大家在智能手机等移动智能电子设备试使用过程的护眼意识，以及有效 保护眼睛过度疲劳而导致的身心健康问题，本发明提出了一种能有效监测用户用眼状态和 干预过度用眼的方法。
[0007] 为了实现上述目的，我们基于现在使用最为普遍的智能手机设备作为硬件平台， 而不依赖于其它复杂昂贵的第三方硬件。
[0008] 优选地，我们选用较为适当的视频图像采样频率，既可以实现比较理想的检测效 果，在一定精度范围内反应眼睛疲劳程度，又可以很好地减轻对智能手机其它运行任务的 影响，保持智能设备的可用性。
[0009] 在人眼定位之前，对处理图像作必要的预处理，可以较好地提高人眼定位的效率 和正确率。包括肤色分割和人脸定位，其中在人脸定位后使用了支持向量机SVM对定位的 人脸进行验证，有效剔除非定位错位区域，同时还可以缩小定位的精确区域。鉴于智能手机 用户使用习惯和阅读姿势的差别，还需要对人脸区域进行必要的矫正，达到输出正脸图像 的目的。
[0010] 优选的，使用一种全局扫描并验证的策略，即采用级联结构来组织分类器，采用Adaboost算法学习分类器。这种算法很好地排除了特征点定位误差的影响，分类性能有大 幅提高，并且速度并没有明显下降，基本达到实时。该算法的存储量很小，大约2M左右，无 论在鲁棒性、正确率和速度方面都达到了很好的性能。
[0011] 人眼定位的常用投影方法有快速和高效的特征，但是在各种复杂环境中没有较好 地精确度。本发明使用了尺度不变梯度积分投影算法（SGIPF)用来作为人脸图像中人眼区 域分割，得到了较精确的包含人双眼的的最小矩形，即使在低质量图像的输入情况下。
[0012] 为了提高程度上提高人眼定位的效率和检测的实时性，使用卡尔曼滤波提取每个 人眼的位置和运动状态这些特征参数，关联连续图像帧的这些特征参数可以对运行目标进 行跟踪和预测。这个跟踪过程包含不断反复的预估-测量-修正的过程。
[0013] 优选的，在得到包含双眼的矩形区域前提下，简单计算矩形面积作为判断眼睛睁 闭的依据是比较直接高效的办法。鉴于个体人眼面积差异的情况，需要将用户的最大和最 小眼睛矩形面积值作为阈值选取的参考依据。
[0014] 有益效果
[0015] 为了提高大家在智能手机等移动智能电子设备试使用过程的护眼意识，以及有效 保护眼睛过度疲劳而导致的身心健康问题，本发明提出了一种能有效监测用户用眼状态和 干预过度用眼的方法。本方案使用基于成熟算法的改进技术上来检测智能手机使用时的眼 疲劳，可以避免光照、戴眼镜以及低质量图像等情况下对检测结果有较大影响的因素。能够 得到用户实时的用眼疲劳程度，根据其疲劳程度使用不同的干预手段。这样可以很有效地 防止过度用眼而导致的不良影响。
【附图说明】
[0016] 图1为系统工作涉及的硬件模块
[0017] 图2为整体处理流程的设计
[0018] 图3为人眼检测流程
[0019] 图4为定位包含人眼的最小矩形效果图
[0020] 具体实施方法
[0021] 为使本发明的目的，技术方案和优点更加清楚，下面将结合附图对本发明实施方 式作进一步的详细描述。
[0022] 为了提高人眼疲劳检测的实时性、准确度，本发明实施例提供了一种基于手机平 台的眼疲劳检测方法，参见图2、3。其中图2阐述了系统整体的处理流程，其中人眼定位和 人眼疲劳的评价是重要的两个步骤，下面将结合图3详细描述：
[0023] 201以每隔120毫秒的时间采集一帧图像数据；
[0024] 其中，在应用PERCL0S方法对眼睛疲劳程度进行判定时，图像的采样率需要达到 一定的要求。采样间隔时间至少小于等于120ms时，PERCL0S的值是稳定的，这样才不会影 响疲劳判定结果。
[0025] 203使用肤色模型分割肤色区域进行人脸检测
[0026] 1)将采集到的图像计算出灰度值，然后将其在YCbCr颜色空间进行非线性分段色 变换到YCb'Cr'的颜色空间中。
[0027] 2)求出图像灰度值的变换点看是否位于该椭圆中，从而确定是否是人脸肤色。如 果是，执行步骤3);如果否，则输入当前帧的下一帧被检测视频图像，重新执行步骤1)，直 至遍历完被检测视频图像的所有帧；
[0028] 其中，由光线补偿和非线性分段色彩变换可知，肤色点聚集在一个椭圆中。因 此，我们要将采集的图片的肤色区域和非肤色区域分离，就需要先将图像二值化，令
=e1只有当s<e1，则认为是肤色点。
[0029] 206进行人脸定位采用的是级联AdaBoost方法和SimpleSVM验证的算法。其中， 利用级联AdaBoost人脸检测的步骤如下：
[0030] 1)根据训练样本，针对每个可能的矩形特征训练一个弱分类器；
[0031] 2)选择合适的弱分类器，根据级联AdaBoost算法，计算每个弱分类器的分类结果 的分类错误率，并选择具有最小错误率的弱分类器，依据此分类器的分类结果更新样本权 重，权重更新的结果是增加此分类器分类错误的样本的权重，以使后面选择的弱分类器着 重训练这些样本。
[0032]3)重复步骤2)，直至选出个弱分类器；
[0033] 4)级联选出的T个弱分类器，按如下式子构成强分类器；
[0034]
[0035]5)重复步骤2)至4)，构造级联强分类器；
[0036]6)对于输入的图像，将每个可能的子窗口输入训练好的级联分类器中，得到检测 结果，然后合并一些相邻的子窗口得到最终的人脸检测结果。为了得到更为经精确的输出 结果，还需要使用SVM分类器作进一步的扫描。这两种分类器处理后的输出结果才作为最 终输出的人脸。
[0037] 207对于检测阶段输出的人脸，虽然大致上是正面端正的，但是对于不同姿态下和 低分辨率下的小尺度人脸，为达到准确性和快速性，还可用SimpleDAM进一步校正。使用 SimpleDAM人脸矫正的具体步骤如下：
[0038] 1)初始化当前纹理为检测结果框定的人脸纹理t-t。，
[0039]2)根据当前纹理，由条状和纹理之间的线性关系公式s=R*t+ε，得到三个特征 点的位置。如果三个特征点的位置和平均位置很接近，则结束。
[0040] 其中，其中t是经过一定校正的人脸纹理在其主分量空间（PCA)的投影，s是形状 在其主分量空间的投影。在我们的方法中，考虑最简单的情况，只需要三对对应点，就可以 将非正面端正的人脸，校正到正面端正的姿态。我们假设，人脸检测输出所框定的人脸纹理 向量，与这张脸上的三个特征点"双眼和嘴巴中心"组成的向量之间，存在简单的的线性关 系s=R*t+ε。
[0041] 3)根据三个特征点的