专利名称：一种基于嵌入式隐马尔可夫模型的人眼状态识别方法
技术领域：
本发明属于图像处理和模式识别技术的应用领域，特别涉及驾驶员疲劳检测技术中的 人眼状态识别方法。
技术背景在人眼状态识别领域，目前有很多方法，这些方法大致可以分为两大类基于特征分 析的人眼状态识别和基于模式分类的人眼状态识别。基于特征分析的人眼状态识别，眼睛 状态主要是由内外眼角、上下眼睑、虹膜和巩膜等特征决定的，有以下三种典型的方法 灰度模板匹配法、虹膜和眼白提取法、Hough变换检测瞳孔法，这些都对人眼区域的像素 精度要求较高，适用范围受到限制。基于模式分类的人眼状态识别，是根据样本自动学习规则或知识的方法判断出人眼状态，目前主要有特征眼、神经网络、SVM (Support Vector Machine)、 HMM (Hidden Markov Model)等方法，该类方法一般需要对图像 进行縮放、旋转等复杂的归一化处理，运算量大，而且对像素精度也有一定要求。 发明内容本发明的目的在于克服现有技术存在的上述不足，提供一种基于嵌入式隐马尔可夫模 型的人眼状态识别方法，对人眼图片的采集没有任何环境限制，在现有技术的基础上，进 一步提高了算法的鲁棒性、准确性和实时性。本发明通过如下技术方案实现。一种基于嵌入式隐马尔可夫模型的人眼状态识别方法，包括如下步骤(1) 人眼特征的提取对采集到的眼睛样本进行2D-DCT变换，对变换后的图像进行 分析特征，寻找睁闭眼图像经过2D-DCT变换后的差异；(2) 人眼睁闭状态分类器的训练对经过2D-DCT特征变换以后的人眼状态图像 特征，采用嵌入式隐马尔可夫模型的方法进行训练得到分类器；(3) 人眼状态识别用步骤(2)得到的人眼睁闭状态分类器对待识别眼睛图像进行 分类，首先将待识别眼睛图像经过2D-DCT变换得到观察向量序列，然后采用嵌入式隐马尔 可夫模型的方法，计算睁眼和闭眼分类器产生该序列的似然值(相似程度)，根据此似然值 判定眼睛的睁闭状态。上述方法中，步骤(1)中，从人眼状态样本库中提取人眼特征，该人眼状态样本库包含多个测试者在不同时间、不同光照条件、不同距离、不同面部表情、不同面部细 节和不同脸部朝向条件下拍摄的多张人眼图像；对人眼状态样本库中的眼睛样本归一 化后，进行2D-DCT变换，这些睁闭眼图像经过2D-DCT变换后，构成特征向量，其中包 含睁闭眼之间的差异特征。上述方法中，步骤(2)中所述分类器的训练过程如下(2.1) 先对采集到的图像进行几何尺寸归一化处理和灰度均衡预处理，形成训练图像;(2.2) 对人眼图像进行采样并对每个采样窗进行2D-DCT变换，由2D-DCT变换后的低 频系数构成观察向量序列；(2.3) 设定嵌入式隐马尔可夫模型的超状态个数和每一个超状态中的子隐马尔可夫模 型状态数；(2.4) 根据超状态的个数和每个超状态内嵌入状态的个数以及嵌入式隐马尔可夫模型 的结构，将人眼均匀分割；(2.5) 根据状态数和图像均匀分割后得到的观察向量序列，初始化嵌入式隐马尔可夫 模型参数，通过双重嵌套的Viterbi算法，对图像进行重新分割；(2.6) 用Baum-welch算法重估嵌入式隐马尔可夫模型参数；(2.7) 当前后两次的迭代误差小于设定的阈值时，迭代停止，嵌入式隐马尔可夫模型 训练完毕。上述方法中，步骤(2.7)训练完成所得的分类器中某个状态的观察概率密度是由高斯 概率密度函数的均值矢量和方差矢量来表征的，如果釆用具有K个分量的混合高斯概率密 度函数，则需要用K-Mean均值法将所有跟该状态有关的观测向量聚类成K类，每类分别求 其均值和方差矩阵，作为各个高斯分量的均值和方差，采用高斯混合模型来表示人眼的两 个状态；所述&=3。上述方法中，步骤(2.2)中，采样窗的大小为12*12，每次窗口的偏移量水平和垂直 方向都为4个像素，提取采样窗口经20-001变换后左上角的3*3个低频分量系数构成观察向 量序列；所述观察向量序列包含9*16个特征向量。上述方法中，步骤(2.3)中超状态个数取3，子隐马尔可夫模型状态序列取(4， 4， 4)， 共12个子隐马尔可夫模型状态；步骤(2.4)中将人眼在垂直方向分割成3个超状态，然后 将属于这个超状态的数据从左到右均匀分割成4个嵌入状态，分别与子隐马尔可夫模型状态相对应。与现有技术相比本发明的优点与积极效果有1. DCT系数能反映2D信号在各方向和各频段的能量，从而基本上体现人眼在采样窗口内的主要分布和特殊结构；2. 本发明中，观察向量由图像块的二维DCT(2D-Discrete Cosine Transform, 2D-DCT) 系数构成，因为2D-DCT的结果是能量分布向低频成分集中，变换后能量集中在左上角对 应于2D-DCT低频系数，因此只取2D-DCT左上角的低频系数组成观察向量，就可以表示 人眼的主要特征。由采样图像块的2D-DCT低频系数构造观察向量可以降低对噪声和光照 变化的敏感度，受图像姿态的影响也较小，另外很重要一点就是减少了观察向量的维数， 降低计算量，从而提高眼状态判别的速度；3. 本发明中，将人眼图像分成块，禾拥2D-DCT变化以后的观察向量，建立嵌入式隐马 尔可夫模型，既可以兼顾图像各个部分的特征，也可以兼顾总体特征；并且减少了计算量， 提高了眼状态识别速度。
图1是本发明中人眼嵌入式隐马尔可夫模型状态的具体例子图。 图2是图1人眼图像的嵌入式隐马尔可夫模型模型图。 图3a是实施方式中在人眼图像上提取2D-DCT变换窗口的示意图。 图3b是图3a提取出来的2D-DCT变换窗口示意图。 图具体实施方式
中嵌入式隐马尔可夫模型分类器训练模型图。 图具体实施方式
中基于人眼状态识别模型图。
具体实施方式
下面结合附图，对本发明的具体实施方式
作进一步说明。人眼状态识别方法的框图如图4和图5所示，其具体实现步骤如下 步骤一人眼特征的提取； 步骤二人眼睁闭状态分类器的训练； 步骤三人眼状态识别。 其中，步骤一的具体实施步骤为首先从人眼状态样本库中提取人眼特征，该人眼状态样本库包含多个测试者在不同时间、不同光照条件、不同距离、不同面部表情、不同面部细节和不同脸部朝向条件 下拍摄的多张人眼图像；对采集到的眼睛样本归一化后，进行2D-DCT变换，对变换后 的图像进行分析特征，睁闭眼图像经过2D-DCT变换后，构成9*16的特征向量，从中寻找 睁闭眼之间的差异。图1将人眼图像分割成3*4的图像块，图2针对图l所分割出来的图 像块建立嵌入式隐马尔可夫模型数学模型，图3中M表示水平偏移的步长、N表示垂直 偏移的步长、P表示采样窗的长、Q表示釆样窗的宽，图3a中虚线的矩形表示釆样窗口(大 小为？*(^)，偏移M行或者N列以后可以提取下一个采样窗口。图3b是根据图3a采集到 的几个采样窗口，对其进行2D-DCT变换以后就可以得到所需的观察向量序列。图1和图2中，由于睁闭眼图像都有其特征，不同拍摄条件下的人眼相片中还存在很 多的随机性变异，我们对人眼做出适当的分割，人眼的上到下可以分为上中下3个重要组 成部分，分别为上睫毛、瞳孔以及下睫毛，即具有结构上的恒常性。人眼的睁闭特征首先 表现为上述组成部分特征的不同。我们用采集的人眼图像构造观察向量，那么观察向量与 人眼状态特征之间的关系可以用一个一维马尔可夫模型(Hidden Markov Model,简记为 HMM)表示。人眼状态的特征可以抽象为HMM的状态序列，相同状态的眼睛图像由于受 到外界因素的影响而造成各个方面的不同，可以把这些不同的图像看作是同一组状态序列， 它们对应的是同一个HMM，状态的出现及其转移可以用模型中的概率矩阵描述。对于相 同的眼睛状态，所对应的HMM应当是唯一的。人眼状态识别模型研究工作的任务就于通 过巳收集的人眼图像来分析和建立隐Markov模型，进一步的研究分析表明，人眼水平方向 自左向右也具有相对稳定的空间结构，因此，可将沿垂直方向划分的上中下3个状态再分 别扩充为含有沿水平方向变化的HMM，我们把垂直方向的HMM称为主HMM，水平方向 嵌入的多组HMM称为子HMM，因而可以将这种嵌入了水平方向状态转移的扩充了的一 维HMM称嵌入式隐马尔可夫模型(Embedded Hidden Markov Model,简称为EHMM)。步骤二的具体实施步骤为图4所示根据人眼图像经过2D-DCT特征变换以后的特征观察向量序列，采用嵌 入式隐马尔可夫模型的方法进行训练，训练分类器的过程如下1) 先对采集到的图像进行几何尺寸归一化成24*24，进行灰度均衡等预处理工作，形 成训练图像。2) 对人眼图像进行采样并对每个采样窗进行2D-DCT变换，由2D-DCT变换后的低频系数构成观察向量序列(在本系统中，采样窗的大小为12*12，每次窗口的偏移量水平和垂直 方向都为4个像素，提取采样窗口经2D-DCT变换后左上角的343个低频分量系数，共构成 9*16的观察向量序列)。3) 设定嵌入式隐马尔可夫模型的超状态数和每一个超状态中嵌入子隐马尔可夫模型 的状态数。本文超状态取3，子嵌入式隐马尔可夫模型状态序列取(4， 4， 4)共12个子嵌入式 隐马尔可夫模型状态。4) 根据超状态的个数和每个超状态内嵌入状态的个数以及嵌入式隐马尔可夫模型的 结构，将人眼均匀分割首先，将人眼在垂直方向分割成3个超状态;然后，将属于这个超 状态的数据从左到右均匀分割成4^^嵌入状态，分别与子嵌入式隐马尔可夫模型状态相对 应。5) 根据状态数和图像均匀分割后得到的观察向量，初始化嵌入式隐马尔可夫模型参 数。通过双重嵌套的Viterbi算法，对图像进行重新分割。6) 用Baum-welch算法重估模型参数。7) 当前后两次的迭代误差小于某个设定的阈值时，迭代停止，嵌入式隐马尔可夫模型 训练完毕。对于嵌入式隐马尔可夫模型某个状态的观察概率密度是由高斯概率密度函数的 均值矢量和方差矢量来表征的。如果采用具有K个分量的混合高斯概率密度函数，则需要 用K-Mean均值法将所有跟该状态有关的观测向量聚类K成类，每类分别求其均值和方差矩 阵，作为各个高斯分量的均值和方差。采用高斯混合模型来表示人眼的两个状态，也就是 人眼图像的观察向量概率矩阵，K=3。步骤三的具体实施步骤为如图5所示眼状态识别的时候，首先将待识别眼睛图像分块，并提取窗口经过2D-DCT 变换以后的图像构造观察向量序列，然后采用嵌入式隐马尔可夫模型的方法，计算睁眼和 闭眼分类器产生该序列的似然值(相似程度)，根据此似然值(相似程度)判定眼睛的睁闭状态，图中户(OIA)、户(CM^)分别用于计算睁眼和闭眼分类器产生该序列的似然值。
权利要求
1.一种基于嵌入式隐马尔可夫模型的人眼状态识别方法，其特征在于包括如下步骤(1)人眼特征的提取对采集到的眼睛样本进行2D-DCT变换，对变换后的图像进行分析特征，寻找睁闭眼图像经过2D-DCT变换后的差异；(2)人眼睁闭状态分类器的训练对经过2D-DCT特征变换以后的人眼状态图像特征，采用嵌入式隐马尔可夫模型的方法进行训练得到分类器；(3)人眼状态识别用步骤(2)得到的人眼睁闭状态分类器对待识别眼睛图像进行分类，首先将待识别眼睛图像经过2D-DCT变换得到观察向量序列，然后采用嵌入式隐马尔可夫模型的方法，计算睁眼和闭眼分类器产生该序列的似然值，根据此似然值判定眼睛的睁闭状态。
2. 根据权利要求1所述的方法，其特征在于步骤(1)中，从人眼状态样本库中提取 人眼特征，该人眼状态样本库包含多个测试者在不同时伺、不同光照条件、不同距离、 不同面部表情、不同面部细节和不同脸部朝向条件下拍摄的多张人眼图像；对人眼 状态样本库中的眼睛样本归一化后，进行2D-DCT变换，这些睁闭眼图像经过2D-DCT变 换后，构成特征向量，其中包含睁闭眼之间的差异特征。
3. 根据权利要求1或2所述的方法，其特征在于步骤(2)中所述分类器的训练过程 如下(2.1) 先对采集到的图像进行几何尺寸归一化处理和灰度均衡预处理，形成训练图像；(2.2) 对人眼图像进行采样并对每个采样窗进行2D-DCT变换，由2D-DCT变换后的低 频系数构成观察向量序列；(2.3) 设定嵌入式隐马尔可夫模型的超状态个数和每一个超状态中的子隐马尔可夫模 型状态数；(2.4) 根据超状态的个数和每个超状态内嵌入状态的个数以及嵌入式隐马尔可夫模型 的结构，将人眼均匀分割；(2.5) 根据状态数和图像均匀分割后得到的观察向量序列，初始化嵌入式隐马尔可夫 模型参数，通过双重嵌套的Viterbi算法，对图像进行重新分割；(2.6) 用Baum-welch算法重估嵌入式隐马尔可夫模型参数；(2.7) 当前后两次的迭代误差小于设定的阈值时，迭代停止，嵌入式隐马尔可夫模型 训练完毕。
4. 根据权利要求3所述的方法，其特征在于步骤(2.7)训练完成所得的分类器中某个 状态的观察概率密度是由高斯概率密度函数的均值矢量和方差矢量来表征的，如果采用具 有K个分量的混合高斯概率密度函数，则需要用K-Mean均值法将所有跟该状态有关的观测 向量聚类成K类，每类分别求其均值和方差矩阵，作为各个高斯分量的均值和方差，采用 高斯混合模型来表示人眼的两个状态；所述K^3。
5. 根据权利要求4所述的方法，其特征在于步骤(2.2)中，采样窗的大小为12*12，每 次窗口的偏移量水平和垂直方向都为4个像素，提取采样窗口经2D-DCT变换后左上角的343 个低频分量系数构成观察向量序列；所述观察向量序列包含9* 16个特征向量。
6. 根据权利要求5所述的方法，其特征在于步骤(2.3)中超状态个数取3，子隐马尔 可夫模型状态序列取(4， 4， 4)，共12个子隐马尔可夫模型状态；步骤(2.4)中将人眼在垂 直方向分割成3个超状态，然后将属于这个超状态的数据从左到右均匀分割成4个嵌入状态， 分别与子隐马尔可夫模型状态相对应。
全文摘要
本发明公开了一种基于嵌入式隐马尔可夫模型的人眼状态识别方法，其包括如下步骤对采集到的眼睛样本进行2D-DCT变换，对变换后的图像进行分析特征，寻找睁闭眼图像经过2D-DCT变换后的差异；对经过2D-DCT特征变换以后的人眼状态图像特征，采用嵌入式隐马尔可夫模型的方法进行训练得到分类器；用上一步骤得到的人眼睁闭状态分类器对待识别眼睛图像进行分类，首先将待识别眼睛图像经过2D-DCT变换得到观察向量序列，然后采用嵌入式隐马尔可夫模型的方法，计算睁眼和闭眼分类器产生该序列的似然值，根据此似然值判定眼睛的睁闭状态。本发明提高了算法的鲁棒性、准确性和实时性，降低计算量，从而提高眼状态判别的速度。
文档编号G06K9/00GK101299234SQ200810028648
公开日2008年11月5日 申请日期2008年6月6日 优先权日2008年6月6日
发明者洪填义, 秦华标 申请人:华南理工大学