专利名称：一种基于用户定制分类器的眼睛状态识别方法
技术领域：
本发明属于图像处理与模式识别技术领域，涉及驾驶员疲劳检测技术。
背景技术：
目前，交通事故每年导致数以万计的车辆碰撞和重大的人员伤亡，据不完全统 计，全世界因道路交通事故导致死亡的人数超过60万，其中由于驾驶员疲劳驾驶造成 的交通事故至少有10万起，直接经济损失达125亿美元。驾驶员疲劳驾驶已和酒后驾 驶一样，成为交通事故的主要隐患。伴随计算机技术的发展，各国研究人员已经从各 个领域开始深入研究疲劳驾驶的检测方法，1998年美国联邦高速公路管理局试验证实 了 PERCL0S(单位时间人眼闭合的百分比)与驾驶员的疲劳状况具有高度的相关性， 这为疲劳驾驶检测开辟了新的思路。详见文献D.F.Dinges，and R. Grace, "PERCLOS A valid psychophysiological measure of alertness asassessed by psychomotor vigilance,，，US Department of Transportation, Federal highwayAdministration. Publication Number FHWA-MCRT-98-006。基于PERCLOS特征的疲劳驾驶检测方法通常采集驾驶员正面，尤其是眼睛区域的 视频图像进行处理，整个检测方法主要包括人脸定位、人眼定位、人眼状态识别三个过程。 而这些过程都可归结为模式识别中对人脸与非人脸、人眼与非人眼、睁眼与闭眼的分类问 题。解决上述分类问题通常有以下几种经典方法(1)SVM，即支持向量机。SVM是一种基于 结构风险最小化的统计学习理论的学习机，被广泛应用于模式识别各个分支。SVM最早由 Vapnik等提出，它特别适用于高维小样本问题，有很好的推广能力。(2)FLD，即Fisher线 性鉴别。FLD试图寻求一个投影方向，使得对2类样本鉴别最好。求得最佳投影方向Z后， 将所有的样本投影到最佳投影方向，得到1 = w*Tx,并且选择一个阈值来进行2类划分。基于Haar型矩形特征的Adaboost算法。Adaboost算法是一种近年来被广泛应用的学 习算法，它最早由Schapire等人提出，其主要思想是从一个大的弱分类器空间中选出部分 弱分类器，并将它们组合起来构成一个强分类器。实验表明，基于Haar型矩形特征的Adaboost算法鲁棒性强、正确率高而且速 度快，具有非常明显的实际应用价值。其具体做法是从正负样本中提取Haar-Iike特征 向量，然后使用级联AdaBoost方法构建分类器模型，训练出分类器的具体参数。详见 文献 Paul Viola andMichael J. Jones. “Rapid Object Detection using a Boosted Cascade of Simple Features,，，IEEECVPR, 2001.和 文献 R. Lienhart, Α. Kuranov, and V.Pisarevsky. “Empirical analysis of detectioncascades of boosted classifiers for rapid object detection,，，In DAGM25th Pattern RecognitionSymposium,2003。在实际应用中，采用基于Haar型矩形特征的Adaboost算法，通过一般的人脸样本 库训练出来的分类器参数可以运用于人脸定位与人眼定位；而对于眼睛状态的识别，该方 法对于大部分人群只能达到一定的准确率，而对于另一部分人群误识率相对较高，甚至完 全错误。这是由于每个人的眼睛睁开与闭合的差异性很大，以及是否配戴眼镜等习惯，很难用一个通用的分类器进行判别。
发明内容
本发明提供一种基于用户定制分类器的眼睛状态识别方法，该方法可以根据不同 的用户生成不同的眼睛状态的分类器，提高眼睛状态识别的准确率与适用范围。为了方便地描述本发明内容，首先对一些术语进行定义。定义1 眼睛状态。对于疲劳驾驶检测来说，眼睛状态分为睁开与闭合两种类型。定义2 人脸样本库。本发明中的人脸样本库是指包含了不同正面人脸的图像库。 该数据库的图像应在不同的光照环境下采集，并且根据是否配戴眼镜，划分为佩戴眼镜数 据库和未佩戴眼镜数据库。定义3 人眼中心点。对于睁眼图像，定义人眼中心点为瞳孔中心位置；对于闭眼 图像，定义人眼中心点为眼缝中点位置。定义4 三庭五眼。“三庭五眼”是人的脸长与脸宽的比例，在本发明中认为人眼区 域宽度为人脸宽度的十分之三，并且两人眼之间的距离恰好为一个人眼的宽度。定义5 =Haar-Iike特征向量。Haar-Iike特征最早是由Papageorgiou等人用于 人脸表征。Papageorgiou等人在针对正面人脸和人体检测问题的研究中使用Haar小波基 函数，他们发现标准正交Haar小波基在应用上受到一定的限制，为了取得更好的空间分辨 率，他们使用了 3种形式的特征。Viola等人在此基础上作了扩展，使用2种类型共4种形 式的特征。到后来Lienhart又增加了几种斜边的矩形特征，使得特征类型达到3种类型14 种形式(如图2所示)。定义6 :AdaBoost。Adaboost全称是Adaptive Boost，是一种迭代算法，其核心思 想是针对同一个训练样本集训练不同的分类器(弱分类器)，然后把这些弱分类器组合起 来，构成一个强分类器。其算法本身是通过改变数据分布来实现的，它根据每次训练样本集 之中每个训练样本的分类是否正确，以及上次总体分类的准确率，来确定每个训练样本的 权值。将修改过权值的新训练样本集送给下层分类器进行训练，最后将每次训练得到的分 类器组合起来作为决策分类器(强分类器)。使用Adaboost分类器可以排除一些不必要的 训练样本特征，并将分类的主要依据放在主要的训练样本特征上面。其中常见的Adaboost 有 Discrete AdaBoost、Real AdaBoost 禾口 Gentle AdaBoost。Discrete AdaBoost 是才旨—— 种弱分类器的输出值限定在{-1，+1}的并经权值调整生成强分类器的AdaBoost算法；Real AdaBoost是指一种弱分类器输出范围为R的并经权值调整生成强分类器的AdaBoost算法； Gentle AdaBoost是一种针对前面两种AdaBoost由于对“不像”的正样本权值调整很高而 导致了分类器的效率下降的问题，而产生的变种算法。本发明技术方案如下一种基于用户定制分类器的眼睛状态识别方法，如图1所示，包括以下步骤步骤1 建立人脸图像数据库A。所述人脸数据库A包括两个子库Al和A2，其中 一个子库Al由除用户外的、不同个体的、不戴眼镜的、正面人脸灰度图像组成，另一个子库 A2由除用户外的、不同个体的、配戴眼镜的、正面人脸灰度图像组成。人脸数据库A中的人 脸灰度图像的两眼中心点距离不小于48个像素单位，睁眼状态和闭眼状态的人脸灰度图 像数量基本一致。
步骤2 建立用户人脸图像数据库B。所述用户人脸图像数据库B包括两个子库Bl 和B2，其中一个子库Bl由用户的、不戴眼镜的、正面人脸灰度图像组成，另一个子库B2由用 户的、配戴眼镜的、正面人脸灰度图像组成。人脸数据库B中的人脸灰度图像的两眼中心点 距离不小于48个像素单位，睁眼状态和闭眼状态的人脸灰度图像数量基本一致。步骤3 计算人脸图像数据库A和用户人脸图像数据库B中每一幅人脸图像的人 眼图像，分别得到与人脸图像数据库A中两个子库Al和A2对应的人眼图像数据库A'的 两个子库Al'和A2'，以及与用户人脸图像数据库B中两个子库Bl和B2对应的人眼图 像数据库B'的两个子库Bl'和B2'。具体人眼图像的计算方法为首先计算人脸灰度 图像两眼之间的像素距离d ；然后按照三庭五眼的原则，以人眼中心点为中心，截取长与宽 均为d/2像素大小的矩形区域；将所有矩形区域缩放至24X24像素大小，并按顺时针方向 在-10°至10°范围内随机旋转，最后得到人眼图像。步骤4 建立混合人眼图像数据库C。所述混合人眼图像数据库C包括2N个子库 (^，^，…(^,…〔^^(^，(^，…(^,…(^；其中子库^1 (1 < i《N，N为自然数)由步骤3中
所述子库α '的人眼图像和子库Bi'的人眼图像按照不同比例、随机混合而成；子库 2 (1彡i彡Ν，Ν为自然数)由步骤3中所述子库Α2'的人眼图像和子库Β2'的人眼图像按 照不同比例、随机混合而成。所述子库C)和Ci2中的人眼图像数量不低于2000。步骤5 计算人眼图像子库C/和 2中所有人眼图像的haar-like特征向量X，所述 haar-like特征向量χ包括3种类型14种形式，并将每个人眼图像子库Q1和C/的所有特 征向量χ组合在一起构成2Ν个训练序列力和^ (1彡i彡N)；且训练序列Z,1和Z/可表示为 Kx1J1), (x2，y2)，…，(Xpyi)，…，(xM，yM)}的形式，其中 Xi 表示Z丨和Z/中第 i 个 haar-like 特征向量…e {_1，1}，表示haar-like特征向量Xi所对应的人眼图像睁眼或闭眼的状态； M为人眼图像库C,1和Cf中人眼图像数量。 步骤6 对步骤5所得的2N个训练序列Z/和Z,2 ,采用AdaBoost方法构建对应2N个 强分类器衧和巧2。步骤7 从步骤3所建立的用户人眼图像子库Bl'中随机选取1000幅以上的人眼 图像，计算其haar-like特征向量x，分别采用步骤6所构建的强分类器巧进行判断，得到判 断结果1-睁眼，0-闭眼；同样从步骤3所建立的用户人眼图像子库B2'中随机选取1000 幅以上的人眼图像，计算其haar-like特征向量X，分别采用步骤6所构建的强分类器巧2进 行判断，得到判断结果1-睁眼，0-闭眼。步骤8 将步骤7所得的判断结果与所选取的人眼图像的实际睁眼或闭眼状态进 行比较，进而分别统计出两组强分类器巧和斤的识别准确率，然后选取强分类器衧中识别 准确率最高的强分类器作为用户在未佩戴眼镜进行驾驶过程中的人眼状态识别的分类器， 选取强分类器巧2中识别准确率最高的强分类器作为用户在佩戴眼镜进行驾驶过程中的人 眼状态识别的分类器。步骤9 在用户驾驶过程中，实时采集用户的正面脸部图像，并实时计算出24X24 像素大小的眼部图像以及该眼部图像的haar-like特征向量X，最后根据用户是否佩戴眼 镜选择步骤8中相应的强分类器进行人眼状态识别。
通过以上步骤，就能根据不同的用户使用基于用户定制的眼睛状态分类器，从而 提高个体状态识别的准确率。需要说明的是1.步骤1和步骤2在建立人脸数据库A和用户人脸数据库B时，人脸图像最好为 在各种不同光照环境下进行采集。可以首先构建一个采集环境，该采集环境最好为暗室，配 有可调控的光源，可以实现光照环境的明暗变化，能够在几分钟内采集到个体的上千幅人 脸图像。2.步骤6中对所采用的AdaBoost方法没有特别的限定，各种AdaBoost方法均可 以使用，只是最后准确率略有不同。本发明根据用户定制的思想，采用特征不变的方法，首先分别建立人脸图像数据 库和用户人脸图像数据库；然后分别计算人脸图像数据库和用户人脸图像数据库中每幅 图像的人眼图像；再将人脸图像数据库的人眼图像与用户人脸图像数据库的人眼图像按 不同比例进行混合，得到混合人眼图像数据库；再计算混合人眼图像数据库中每幅图像的 haar-like特征向量，并采用AdaBoost方法构建强分类器；再随机选取若干幅用户人脸图 像数据库中的人眼图像，计算其haar-like特征向量，采用AdaBoost方法构建的强分类器 进行判断，统计出强分类器的识别准确率，选取识别准确率最高的强分类器作为用户驾驶 过程中使用的人眼状态识别分类器；最后在用户驾驶过程中，采用该分类器进行人眼状态 识别。本发明的创新之处在于1、将用户定制的思想运用于人眼状态识别中，对于不同用户使用不同的分类器， 提高了个体人眼状态识别的准确率。2、分类器的训练样本，采用了用户数据与人脸库数据混合的方法，使得分类器既 能针对个体提高准确率，同时又保证不失一般性，降低识别风险。3、提高佩戴眼镜的用户的识别准确率，并且用户可以选用戴眼镜与不戴眼镜两种 不同分类器，具备灵活性。
图1是本发明的流程示意图。图2是haar-like特征的示意图，包括了 3种类型14种形式。图3是以24X24大小图像为例各种haar-like特征的数量。
具体实施例方式—种基于用户定制分类器的眼睛状态识别方法，如图1所示，包括以下步骤步骤1 建立人脸图像数据库A。所述人脸数据库A包括两个子库Al和A2，其中 一个子库Al由除用户外的、不同个体的、不戴眼镜的、正面人脸灰度图像组成，另一个子库 A2由除用户外的、不同个体的、配戴眼镜的、正面人脸灰度图像组成。人脸数据库A中的人 脸灰度图像的两眼中心点距离不小于48个像素单位，睁眼状态和闭眼状态的人脸灰度图 像数量基本一致。步骤2 建立用户人脸图像数据库B。所述用户人脸图像数据库B包括两个子库Bl和B2，其中一个子库Bl由用户的、不戴眼镜的、正面人脸灰度图像组成，另一个子库B2由用 户的、配戴眼镜的、正面人脸灰度图像组成。人脸数据库B中的人脸灰度图像的两眼中心点 距离不小于48个像素单位，睁眼状态和闭眼状态的人脸灰度图像数量基本一致。步骤3 计算人脸图像数据库A和用户人脸图像数据库B中每一幅人脸图像的人 眼图像，分别得到与人脸图像数据库A中两个子库Al和A2对应的人眼图像数据库A'的 两个子库Al'和A2'，以及与用户人脸图像数据库B中两个子库Bl和B2对应的人眼图 像数据库B'的两个子库Bl'和B2'。具体人眼图像的计算方法为首先计算人脸灰度 图像两眼之间的像素距离d ；然后按照三庭五眼的原则，以人眼中心点为中心，截取长与宽 均为d/2像素大小的矩形区域；将所有矩形区域缩放至24X24像素大小，并按顺时针方向 在-10°至10°范围内随机旋转，最后得到人眼图像。步骤4 建立混合人眼图像数据库C。所述混合人眼图像数据库C包括2N个子库 C丨丨，'"C^hCL和 2,(:2ν·· 2，···<^;其中子库C,1 α < i <ν，ν为自然数)由步骤3中 所述子库Al'的人眼图像和子库Bl'的人眼图像按照不同比例、随机混合而成；子库C/ (1彡i彡Ν，Ν为自然数)由步骤3中所述子库Α2'的人眼图像和子库Β2'的人眼图像按 照不同比例、随机混合而成。所述子库 1和Cf2中的人眼图像数量不低于2000。步骤5 计算人眼图像子库C/和Cf中所有人眼图像的haar-like特征向量X，所述 haar-like特征向量χ包括3种类型14种形式，并将每个人眼图像子库C)和C；2的所有特 征向量χ组合在一起构成2Ν个训练序列Z,1和Z/ (1彡i彡N)；且训练序列Z,1和Z/可表示为 Kxpy1), (x2，y2)，…，(XiJi),…，(x ,y )}的形式，其中 Xi 表示Z^PZ,2中第 i 个 haar-like 特征向量…e {-1，1}，表示haar-like特征向量Xi所对应的人眼图像睁眼或闭眼的状态； M为人眼图像库C/和C,2中人眼图像数量。步骤6 对步骤5所得的2N个训练序列Z)和Z,2，采用AdaBoost方法构建对应2N个 强分类器竚和片。步骤7 从步骤3所建立的用户人眼图像子库Bl'中随机选取1000幅以上的人眼 图像，计算其haar-like特征向量x，分别采用步骤6所构建的强分类器巧1进行判断，得到判 断结果1-睁眼，0-闭眼；同样从步骤3所建立的用户人眼图像子库B2'中随机选取1000 幅以上的人眼图像，计算其haar-like特征向量X，分别采用步骤6所构建的强分类器巧2进 行判断，得到判断结果1-睁眼，0-闭眼。步骤8 将步骤7所得的判断结果与所选取的人眼图像的实际睁眼或闭眼状态进 行比较，进而分别统计出两组强分类器斤和疔的识别准确率，然后选取强分类器竚中识别 准确率最高的强分类器作为用户在未佩戴眼镜进行驾驶过程中的人眼状态识别的分类器， 选取强分类器if中识别准确率最高的强分类器作为用户在佩戴眼镜进行驾驶过程中的人 眼状态识别的分类器。步骤9 在用户驾驶过程中，实时采集用户的正面脸部图像，并实时计算出24X24 像素大小的眼部图像以及该眼部图像的haar-like特征向量X，最后根据用户是否佩戴眼 镜选择步骤8中相应的强分类器进行人眼状态识别。本发明方法与只使用一般人脸库图像进行训练的方法相比较，一般个体准确率提高2%左右，佩戴眼镜的个体准确率提高3% 5%，运算时间小于0. Is。 综上所述，本发明的方法利用用户定制的思想，将用户数据与人脸库数据相结合，
采用特征不变的方法训练出人眼状态分类器，从而实现了快速准确的人眼状态识别。
权利要求
一种基于用户定制分类器的眼睛状态识别方法，包括以下步骤步骤1建立人脸图像数据库A；所述人脸数据库A包括两个子库A1和A2，其中一个子库A1由除用户外的、不同个体的、不戴眼镜的、正面人脸灰度图像组成，另一个子库A2由除用户外的、不同个体的、配戴眼镜的、正面人脸灰度图像组成；人脸数据库A中的人脸灰度图像的两眼中心点距离不小于48个像素单位，睁眼状态和闭眼状态的人脸灰度图像数量基本一致；步骤2建立用户人脸图像数据库B；所述用户人脸图像数据库B包括两个子库B1和B2，其中一个子库B1由用户的、不戴眼镜的、正面人脸灰度图像组成，另一个子库B2由用户的、配戴眼镜的、正面人脸灰度图像组成；人脸数据库B中的人脸灰度图像的两眼中心点距离不小于48个像素单位，睁眼状态和闭眼状态的人脸灰度图像数量基本一致；步骤3计算人脸图像数据库A和用户人脸图像数据库B中每一幅人脸图像的人眼图像，分别得到与人脸图像数据库A中两个子库A1和A2对应的人眼图像数据库A′的两个子库A1′和A2′，以及与用户人脸图像数据库B中两个子库B1和B2对应的人眼图像数据库B′的两个子库B1′和B2′；具体人眼图像的计算方法为首先计算人脸灰度图像两眼之间的像素距离d；然后按照三庭五眼的原则，以人眼中心点为中心，截取长与宽均为d/2像素大小的矩形区域；将所有矩形区域缩放至24×24像素大小，并按顺时针方向在 10°至10°范围内随机旋转，最后得到人眼图像；步骤4建立混合人眼图像数据库C；所述混合人眼图像数据库C包括2N个子库和其中子库由步骤3中所述子库A1′的人眼图像和子库B1′的人眼图像按照不同比例、随机混合而成；子库由步骤3中所述子库A2′的人眼图像和子库B2′的人眼图像按照不同比例、随机混合而成；所述子库和中的人眼图像数量不低于2000；其中1≤i≤N，N为自然数；步骤5计算人眼图像子库和中所有人眼图像的haar like特征向量x，所述haar like特征向量x包括3种类型14种形式，并将每个人眼图像子库和的所有特征向量x组合在一起构成2N个训练序列和且训练序列和可表示为{(x1，y1)，(x2，y2)，…，(xi，yi)，…，(xM，yM)}的形式，其中xi表示和中第i个haar like特征向量；yi∈{ 1，1}，表示haar like特征向量xi所对应的人眼图像睁眼或闭眼的状态；M为人眼图像库和中人眼图像数量；步骤6对步骤5所得的2N个训练序列和采用AdaBoost方法构建对应2N个强分类器和步骤7从步骤3所建立的用户人眼图像子库B1′中随机选取1000幅以上的人眼图像，计算其haar like特征向量x，分别采用步骤6所构建的强分类器进行判断，得到判断结果1 睁眼，0 闭眼；同样从步骤3所建立的用户人眼图像子库B2′中随机选取1000幅以上的人眼图像，计算其haar like特征向量x，分别采用步骤6所构建的强分类器进行判断，得到判断结果1 睁眼，0 闭眼；步骤8将步骤7所得的判断结果与所选取的人眼图像的实际睁眼或闭眼状态进行比较，进而分别统计出两组强分类器和的识别准确率，然后选取强分类器中识别准确率最高的强分类器作为用户在未佩戴眼镜进行驾驶过程中的人眼状态识别的分类器，选取强分类器中识别准确率最高的强分类器作为用户在佩戴眼镜进行驾驶过程中的人眼状态识别的分类器；步骤9在用户驾驶过程中，实时采集用户的正面脸部图像，并实时计算出24×24像素大小的眼部图像以及该眼部图像的haar like特征向量x，最后根据用户是否佩戴眼镜选择步骤8中相应的强分类器进行人眼状态识别。FSA00000158390500011.tif,FSA00000158390500012.tif,FSA00000158390500013.tif,FSA00000158390500014.tif,FSA00000158390500015.tif,FSA00000158390500016.tif,FSA00000158390500017.tif,FSA00000158390500018.tif,FSA00000158390500019.tif,FSA000001583905000110.tif,FSA000001583905000111.tif,FSA000001583905000112.tif,FSA000001583905000113.tif,FSA000001583905000114.tif,FSA00000158390500021.tif,FSA00000158390500022.tif,FSA00000158390500023.tif,FSA00000158390500024.tif,FSA00000158390500025.tif,FSA00000158390500026.tif,FSA00000158390500027.tif,FSA00000158390500028.tif,FSA00000158390500029.tif,FSA000001583905000210.tif,FSA000001583905000211.tif,FSA000001583905000212.tif,FSA000001583905000213.tif,FSA000001583905000214.tif
全文摘要
本发明属于图像处理与模式识别技术领域，适用于驾驶员疲劳检测。首先建立人脸图像库和用户人脸图像库，计算每幅图像的人眼图像，并按不同比例将两数据库进行混合；再计算混合人眼图像库中每幅图像的haar-like特征向量，并采用AdaBoost方法构建强分类器；再随机选取若干幅用户人脸图像库中的人眼图像，对构建的强分类器进行判断，选取识别准确率最高的强分类器作为用户驾驶过程中使用的人眼状态识别分类器。本发明根据用户定制的思想，采用用户数据与人脸库数据混合的方法，对不同用户使用不同的分类器，使得分类器既能提高识别准确率，又降低了识别风险；本发明还提供了戴眼镜与不戴眼镜两种不同分类器，使得人眼状态识别更具灵活性。
文档编号G06K9/66GK101908152SQ201010197980
公开日2010年12月8日 申请日期2010年6月11日 优先权日2010年6月11日
发明者孙睿, 解梅, 马争 申请人:电子科技大学