专利名称：视线追踪系统中的基于粒子滤波的瞳孔跟踪方法
技术领域：
视线追踪系统中的基于粒子滤波的瞳孔跟踪方法，属于人机交互领域，特别涉及
人机交互系统中的人脸特征检测与跟踪方法。
背景技术：
视线追踪技术是利用机械、电子、光学等各种检测手段获取受试者当前"注视方向"的技术，按照系统构成和采用的检测方法可以粗略划分为侵入式和非侵入式两种。在人机交互和疾病诊断两个领域有着广泛的应用，如助残，虚拟现实，认知障碍诊断，车辆辅助驾驶，人因分析等。用于诊断的视线追踪系统可以采用侵入式以达到更高的精度。用于交互的视线追踪系统除了对精度，鲁棒性，实时性的要求以外，需要最大程度的减少或消除对使用者的干扰。随着数字化技术、计算机视觉、人工智能技术的迅速发展，基于数字视频分析(Vi deoOculogr即hic， V0G)的非侵入式视线追踪技术成为当前热点研究方向。
视线追踪技术利用眼球转动时相对位置不变的某些眼部结构和特征作为参照，在位置变化特征和这些不变特征之间提取视线(line of sight/point of regard,L0S/P0R)变化参数，然后通过几何模型或映射模型获取视线方向。因此，基于V0G的视线追踪技术分为视线特征参数提取和视线估计模型建立两个组成部分。VOG视线追踪原理图如图1所示。VOG系统利用外部摄像机获取人脸和人眼图像，通过图像处理与分析，提取眼部特征点并计算视线参数。然后根据人眼成像模型或映射模型，将视线参数换算成视线三维数据，从而估算出视线的方向或落点位置。 人眼特征提取是视线追踪的必要过程和前提，特征提取的质量直接关系到视线估计的精度。根据上述视线追踪方法的不同，提取的特征分为以下几类(a)瞳孔中心与角膜反射的向量；(b)角膜反射矩阵；(c)虹膜的椭圆边界。VOG系统普遍使用瞳孔-角膜反射方法。 瞳孔-角膜反射方法的精确性与稳定性可以通过设置与摄像机镜头同轴的近红外(IR)光源得到进一步提高，其产生的"亮瞳"现象如图2所示。由于采用亮暗瞳差分方案，瞳孔特征相对突出，便于在整幅脸部图像中快速捕捉眼睛和在眼部图像中精细准确的分割瞳孔。亮暗瞳差分方案一般过程如下控制光源交替亮暗，产生亮瞳和暗瞳隔帧交替出现的视频序列。利用相邻亮瞳和暗瞳图像做差分消除背景的影响，在阈值化后的差分图像中检测瞳孔。 由上述可见，VOG视线追踪系统的参数提取过程很大程度的依赖于瞳孔的定位。以上以瞳孔定位为基础的参数提取过程是在相邻两帧中完成的，可以在接下来的视频序列中重复进行以上的参数提取过程，得到实时的视线参数。但是这样做有下面两点问题(a)每次在整幅图像中搜索瞳孔，效率低，时间长，影响系统的实时性。(b)由于没有使用瞳孔的历史信息，所以使瞳孔定位的鲁棒性差，对外部光照、眼睛角度、眨眼等情况的适应性差，不能满足系统的鲁棒性要求。所以在初始帧中对瞳孔进行定位以后，需要在接下来的视频序列中对瞳孔进行跟踪。
4
传统的眼睛的跟踪方法主要有卡尔曼滤波方法、均值漂移跟踪算法、组合卡尔曼 滤波与均值漂移方法等。 卡尔曼滤波方法是通过参数化的手段来对目标的非线性运动进行近似估计，主要 缺点是对系统的滤波误差，测量误差等要求较为严格，在不能达到这些要求的情况下，跟踪 可能会不稳定甚至完全失败。 均值漂移跟踪算法，以其计算量小，对目标变形、旋转变化适应性强等特点得到普 遍的重视和广泛的研究。均值漂移算法有两个基本版本Camshift算法和标准Meanshift 算法，这两种算法都以颜色直方图为目标表示模型，通过迭代求解加权图的"质心"来跟踪 目标。组合卡尔曼滤波与均值漂移，相继被用于瞳孔跟踪。 这些传统的眼睛的跟踪方法主要是利用眼睛在外观与形状上与人脸其它部分的 差别来进行跟踪。眼睛如黑色的瞳孔，白色的巩膜，圆形的虹膜，眼角，眼睛的形状等特点可 以用来区分人眼与其他对象，但由于闭眼，眨眼，眼睛大小和位置的可变性，不同的照明条 件，人脸的的方向等原因，这些眼睛的特点将减小甚至消失。
发明内容
用于实时视线追踪系统的瞳孔跟踪需要满足以下几点要求(a)由于采用的是灰 度图像，所以必须充分利用亮瞳和暗瞳两个通道的图像信息，以增加跟踪的鲁棒性。(b)由
于瞳孔尺寸较小，所以必须选择一种能充分区分前景和背景的目标模型，以减小背景对目
标模型的干扰。(c)状态转移方程必须体现瞳孔的运动规律。 为满足上述要求，本发明采用一种基于伪彩色图的粒子滤波瞳孔跟踪算法。工作 创新点主要体现在以下几个方面(a)利用亮暗瞳现象，建立三通道伪彩色图(TCPCM)的概 念，并将其引入瞳孔跟踪过程，TCPCM充分利用了各通道信息，瞳孔特征明显，瞳孔区域的色 彩明显与人脸其它部位不同，提高了跟踪的稳定性与精确性。(b)建立一种符合瞳孔形态特 征和变化规律的瞳孔目标模型，充分区分前景和背景，减小了背景对目标模型的干扰。(c) 建立一种体现瞳孔运动规律的状态转移方程，充分考虑了瞳孔状态变化的各种情况，对瞳
孔的位置和形状都能进行有效的预测。 本发明的具体步骤包括第一步，通过控制光源，交替亮暗，产生亮瞳和暗瞳图像， 对输入的亮瞳图像、暗瞳图像和差分图像进行特征参数提取；第二步，记录目标模型，建立 一种用于跟踪的瞳孔模型，目标模型包括9个状态变量，分别为瞳孔椭圆的中心，瞳孔椭圆 的长轴和短轴，瞳孔椭圆长轴与垂直方向的角度，瞳孔椭圆分别在水平方向和垂直方向的 运动速度，瞳孔椭圆尺度的变化率，瞳孔椭圆长轴与垂直方向角度的变化率；第三步，进行 跟踪初始化，计算目标区域的直方图，初始化粒子状态，计算出每个粒子的初始权值，开始 基于三通道伪彩色图的瞳孔跟踪；第四步，粒子选择，对三通道伪彩色图中的粒子集合，按 照权值分布，随机选择出N个状态，N大于0，构成粒子状态集合；第五步，粒子传播，建立一 种体现瞳孔运动规律的状态转移方程，对粒子状态进行预测，得到新时刻的粒子集合；第六 步，粒子观测，对每个粒子的直方图进行计算，计算出每个粒子的权重；第七步，最后对目标 状态进行估计，根据每个粒子的加权平均作为最后的估计，计算得到估计目标的直方图，计 算出目标概率权重，如果概率权重大于指定阈值，则认为跟踪成功，按照更新比例a更新 目标状态，如果估计目标的概率权重不大于阈值，则认为跟踪失败，不更新目标状态。本发明的整个方法流程如图3所示。 上述步骤中，本发明建立三通道伪彩色图(TCPCM)的概念，因为采用的是灰度图 像，所以必须充分利用亮瞳和暗瞳两个通道的图像信息，以增加跟踪的鲁棒性。从亮瞳图像 和暗瞳图像以及两者做差得到差分图像可以看出，瞳孔的灰度图像与脸部其他特征点的灰 度比较相近，特征不明显，区分度较低。三通道伪彩色图充分利用了各通道信息，瞳孔特征 较明显，瞳孔区域的色彩明显与人脸其他部位不同，提高了跟踪的稳定性与精确性。亮瞳图 像如图2所示，暗瞳图像如图4所示，差分图像如图5所示。 上述步骤中，在记录目标模型时，本发明根据瞳孔的形态特征，建立一种用于跟踪 的瞳孔椭圆模型。将瞳孔状态用9个状态变量描述，其中包括瞳孔的椭圆中心，瞳孔椭圆 的长轴与短轴，瞳孔椭圆长轴与垂直方向的角度，瞳孔椭圆分别在水平方向和垂直方向的 运动速度，瞳孔椭圆的尺度变化率和瞳孔椭圆长轴与垂直方向角度的变化率。瞳孔的9个 状态变量详尽的描述了瞳孔的位置，这样的目标模型能充分区分前景和背景，以减小背景 对目标模型的干扰。 上述步骤中，本发明根据瞳孔的运动特征，建立一种体现瞳孔运动规律的状态转 移方程。根据状态转移方程对粒子进行预测，可以充分考虑瞳孔状态变化的各种情况，对瞳 孔的位置和状态都能进行有效的预测。 与现有技术相比，本发明具有如下优点(l)本发明建立了三通道伪彩色图的概 念，并将其引入瞳孔跟踪过程。三通道伪彩色图充分利用了各通道信息，瞳孔特征较明显， 瞳孔区域的色彩明显与人脸其他部位不同，提高了跟踪的稳定性与精确性。(2)本发明建立 了一种用于跟踪的瞳孔模型。这个目标模型能充分区分前景和背景，减小了背景对目标模 型的干扰。(3)本发明建立一种体现瞳孔运动规律的状态转移方程，充分考虑了瞳孔状态变 化的各种情况，对瞳孔的位置和状态都能进行有效的预测。
图1是V0G视线追踪原理图 图2是V0G视线追踪系统使用瞳孔_角膜反射方法，设置与摄像机同轴的近红外
光源，产生的"亮瞳"图像 图3是瞳孔跟踪算法流程图 图4是暗瞳图像 图5是差分图像 图6是TCPCM三通道伪彩色图 图7是初始化粒子状态图
具体实施例方式
下面结合附图对本发明的具体实施过程做进一步的说明。 本发明提供一种基于伪彩色图的粒子滤波瞳孔跟踪算法。工作创新点主要体现在 以下几个方面(a)针对亮暗瞳现象，提出三通道伪彩色图(TCPCM)的概念，并将其引入瞳 孔跟踪过程。(b)提出一种符合瞳孔形态特征和变化规律的瞳孔目标模型。(c)提出一种 体现瞳孔运动规律的状态转移方程。
1.特征参数提取 首先判断亮瞳和暗瞳图像，通过控制光源，交替亮暗，产生亮瞳和暗瞳隔帧交替出
现的视频序列，获取相邻两帧图像后要判断哪帧是亮瞳哪帧是暗瞳，准确稳定地区分亮瞳
和暗瞳图像是整个参数提取过程正常运行的前提，接下来对亮瞳和暗瞳图像采用双阈值法
进行滤波，然后，对差分图像做进一步滤波，得到瞳孔区域，然后搜索眼睛区域，校验眼睛区
域的合理性，并检测差分图像眼睛区域中的边缘，在暗瞳图像中，在眼睛区域附近基于灰度
搜索普尔钦斑，然后求质心定位普尔钦斑中心，并进行边缘滤波，接下来椭圆拟合定位瞳孔
中心，最后进行瞳孔中心到普尔钦斑中心向量合理性校验。 2.记录目标模型 本发明根据瞳孔的形态特征，提出一种用于跟踪的瞳孔模型。瞳孔状态由9个状
态变量描述，其中包括瞳孔椭圆的中心，瞳孔椭圆的长轴和短轴，瞳孔椭圆长轴与垂直方
向的角度，瞳孔椭圆分别在水平方向和垂直方向的运动速度，瞳孔椭圆尺度的变化率，瞳孔
椭圆长轴与垂直方向角度的变化率。瞳孔的9个状态变量详尽的描述了瞳孔的位置，这样
的目标模型能充分区分前景和背景，以减小背景对目标模型的干扰。 3.跟踪初始化 本发明提出基于三通道伪彩色图(Three-channel pseudo-color m即，TCPCM)的
瞳孔跟踪，TCPCM定义如下
7T尸CM = {巧|=為a p'〗=; 《a ;7; = }
p、j，p j，p j分别为TCPCM的三个通道上的像素点，pbij为亮瞳图像的像素点，pbij 为暗瞳图像的像素点，blobij为差分图像滤波后瞳孔图像的像素点。三通道伪彩色图充分 利用了各通道信息，瞳孔特征较明显，瞳孔区域的色彩明显与人脸其他部位不同，提高了跟 踪的稳定性与精确性。TCPCM三通道伪彩色图如图6所示。 初始化过程中，首先计算目标区域的直方图，直方图是计算相似度的依据，本发明 采用等灰度线距离作为衡量瞳孔像素点重要性加权的依据，等灰度线距离相同的点在一条 椭圆曲线上，瞳孔椭圆轮廓线的等灰度线距离等于1，向瞳孔中心点方向等灰度线距离逐渐 减小，直至为O，等灰度线距离越小，像素权值越大。然后初始化粒子状态，在瞳孔附近随机 撒下75个粒子，计算出每个粒子的初始权值。初始化粒子状态图如图7所示。
4.粒子选择 从初始化粒子状态中，按照权值分布，随机选出75个状态，权重越高的粒子被选
中的机会越大，往往被重复选择，而权重低的粒子在选择过程中被淘汰。 5.粒子传播 根据瞳孔运动方程对粒子状态进行检测，提出一种体现瞳孔运动规律的状态转移 方程，
其中vt—丄和vt—,噪声向量，<formula>formula see original document page 8</formula> 根据此状态转移方程对粒子进行预测，可以充分考虑瞳孔状态变化的各种情况， 瞳孔位置的9个状态变量变化情况可进行如下描述这一时刻瞳孔的椭圆中心位置等于上 一时刻的瞳孔椭圆中心位置与瞳孔运动位移之和，这一时刻的瞳孔椭圆的长轴(或短轴) 等于上一时刻的长轴(或短轴)与椭圆尺度变化之和，瞳孔椭圆长轴与垂直方向的角度等 于上一时刻的角度与角度变化之和，其他状态变量基本不变，但对粒子状态进行预测时都 要将噪声向量考虑在内。
6.粒子观测 对每个粒子的直方图进行计算，从而计算出每个粒子的权重。直方图越相似，权重 就越高。 7.目标概率权重估计 对目标状态进行估计，再计算得到估计目标的直方图，从而得到估计目标的概率 权重，如果估计目标的概率权重大于阈值，则认为跟踪成功，按照更新比例a更新目标状 态，如果估计目标的概率权重不大于阈值，则认为跟踪失败，不更新目标状态。
权利要求
视线追踪系统中的基于粒子滤波的瞳孔跟踪方法，其特征在于步骤一对输入的亮瞳图像、暗瞳图像和差分图像进行特征参数提取；步骤二记录目标模型，建立用于跟踪的瞳孔模型；步骤三进行跟踪初始化，开始基于三通道伪彩色图的瞳孔跟踪；步骤四粒子选择，对三通道伪彩色图中的粒子集合，按照权值分布，随机选择出N个状态，N大于0，构成粒子状态集合；步骤五粒子传播，建立一种体现瞳孔运动规律的状态转移方程，对粒子状态进行预测，得到新时刻的粒子集合；步骤六粒子观测，计算出每个粒子的权重；步骤七最后对目标状态进行估计根据每个粒子的加权平均作为最后的估计，计算得到估计目标的直方图，计算出目标概率权重，如果概率权重大于指定阈值，则认为跟踪成功，按照更新比例α更新目标状态；如果估计目标的概率权重不大于阈值，则认为跟踪失败，不更新目标状态。
2. 如权利要求l所述的跟踪方法，其特征在于所述的亮瞳与暗瞳图像通过控制光源， 交替亮暗，产生亮瞳和暗瞳图像。
3. 如权利要求1所述的跟踪方法，其特征在于所述的特征参数包括瞳孔椭圆的中心， 瞳孔椭圆的长轴和短轴，瞳孔椭圆长轴与垂直方向的角度，瞳孔椭圆分别在水平方向和垂 直方向的运动速度，瞳孔椭圆尺度的变化率，瞳孔椭圆长轴与垂直方向角度的变化率9个 状态变量，所述的特征参数提取为从亮瞳图像和暗瞳图像做差得到差分图像，对亮瞳和暗 瞳图像采用双阈值法进行滤波，对差分图像做进一步滤波，得到瞳孔区域；搜索眼睛区域， 校验眼睛区域的合理性，并检测差分图像眼睛区域中的边缘，在暗瞳图像中，在眼睛区域附 近基于灰度搜索普尔钦斑，然后求质心定位普尔钦斑中心，并进行边缘滤波，接下来椭圆拟 合定位瞳孔中心，最后进行瞳孔中心到普尔钦斑中心向量合理性校验。
4. 如权利要求l所述的跟踪方法，其特征在于所述的目标模型包括9个状态变量，分 别为瞳孔椭圆的中心，瞳孔椭圆的长轴和短轴，瞳孔椭圆长轴与垂直方向的角度，瞳孔椭圆 分别在水平方向和垂直方向的运动速度，瞳孔椭圆尺度的变化率，瞳孔椭圆长轴与垂直方 向角度的变化率。
5. 如权利要求l所述的跟踪方法，其特征在于所述的初始化过程，首先计算目标区域 的直方图，采用等灰度线距离作为衡量瞳孔像素点重要性加权的依据，等灰度线距离相同 的点在一条椭圆曲线上，瞳孔椭圆轮廓线的等灰度线距离等于1，向瞳孔中心点方向等灰度 线距离逐渐减小，直至为O，等灰度线距离越小，像素权值越大；然后初始化粒子状态，在瞳 孔附近随机撒下N个粒子，计算出每个粒子的初始权值；所述的基于三通道伪彩色图的瞳孔跟踪为rc尸CM = i p)=鸡a = m a =歸〃}p、j， p j， p j分别为TCPCM的三个通道上的像素点，pbij为亮瞳图像的像素点，pbij为 暗瞳图像的像素点，blobij为差分图像滤波后瞳孔图像的像素点。
6. 如权利要求1所述的跟踪方法，其特征在于所述的粒子选择为从初始化粒子状态 中，按照权值分布，随机选出N个状态，权重越高的粒子被选中的机会越大，往往被重复选择，而权重低的粒子在选择过程中被淘汰。
7.如权利要求1所述的跟踪方法，其特征在于所述的体现瞳孔运动规律的状态转移 方程为■STATES ={(慮《，0)|血《=颠<,+dH(血e'",0)l廳《=+其中vt—工和vt—,为噪声向量，1000000001000000001000000001000000001000000001000000000100000000010000000001瞳孔位置的9个状态变量变化情况进行如下描述这一时刻瞳孔的椭圆中心位置等于 上一时刻的瞳孔椭圆中心位置与瞳孔运动位移之和，这一时刻的瞳孔椭圆的长轴等于上一 时刻的长轴与椭圆尺度变化之和，这一时刻的瞳孔椭圆的短轴等于上一时刻的短轴与椭圆 尺度变化之和，瞳孔椭圆长轴与垂直方向的角度等于上一时刻的角度与角度变化之和，其 他状态变量基本不变，但对粒子状态进行预测时都要将噪声向量考虑在内。
8.如权利要求1所述的跟踪方法，其特征在于所述的粒子观测为对每个粒子的直方 图进行计算，从而计算出每个粒子的权重，直方图越相似，权重就越高。
全文摘要
本发明采用一种视线追踪系统中的基于粒子滤波的瞳孔跟踪方法，属于人机交互领域。针对现有红外图像中瞳孔跟踪效果较差的问题，本发明建立一种三通道伪彩色图(TCPCM)的概念，TCPCM充分利用了各通道信息，使瞳孔特征明显，提高了跟踪的稳定性与精确性。针对背景对瞳孔跟踪过程中的干扰问题，建立一种符合瞳孔形态特征和变化规律的瞳孔目标模型，充分区分前景和背景，减小了背景对目标模型的干扰。针对瞳孔位置和形态预测效果较差的问题，本发明建立一种体现瞳孔运动规律的状态转移方程，充分考虑了瞳孔状态变化的各种情况，对瞳孔的位置和形状都能进行有效的预测。本发明通过高质量的特征检测及跟踪，使开发的视线追踪系统的精度达到了满足实时人机交互的水平。
文档编号G06T7/00GK101699510SQ200910090639
公开日2010年4月28日 申请日期2009年9月2日 优先权日2009年9月2日
发明者常宁, 张琼, 张闯, 张鹏翼, 王志良, 胡涛, 迟建男 申请人:北京科技大学