专利名称：一种人眼视线估计方法及其装置的制作方法
技术领域：
本发明涉及人机交互领域，尤其涉及一种人眼视线估计方法及其装置。
背景技术：
HCI (Human-Computer Interaction,人机交互)是研究人与计算机相互作用的技术，研究目的在于提高人机交流的自然性和高效性。眼睛作为人类面部最显著的特征，其运动在信息表达与交流中起到了非常重要的作用。因此，通过拍摄图像对人眼睛的信息进行提取和分析成为人机交互领域中的热点研究问题。脸部特征点检测是决定一幅图像中人脸各个特征的位置和大小，它有着广泛的应用监控追踪、人机交互、智能机器人以及视线估计等。1995年，Freund和Schapire提出AdaBoost算法，这种算法根据弱学习的反馈，适应性地调整假设的错误率，使在效率不降低的情况下，检测正确率得到了很大的提高。Viola提出将积分图应用到特征值的计算之中，使其计算速度大幅增加。视线估计在很多领域比如人机交互、医学诊断、航空和助残等等都有着广阔的发展前景，因此近年来该技术得到了广泛的关注。常用的研究方法是通过设置参考点光源和三维重建技术来实现视线估计。发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足I)由于上述算法本身的特性，使得获取到人脸检测结果的时间较长；·2)由于参考点光源需要复杂的实验设置以及严格的光照环境，限制了应用范围。
发明内容
本发明提供了一种人眼视线估计方法及其装置，本发明缩短了获取人脸检测结果的时间，扩大了应用范围，详见下文描述一种人眼视线估计方法，其特征在于，所述方法包括以下步骤(I)获取包含人脸的图像并进行位图转换，获取RGB位图JfRGB位图转换为灰度图和肤色二值图；(2)将灰度图进行各级缩放，对每一级缩放后的图像进行窗口扫描，扫描窗口大小为20X20，并对扫描窗口中的灰度图进行积分图和平方积分图计算；(3)通过积分图数据和平方积分图数据进行弱分类器计算，将同级弱分类器计算结果累加与对应的强分类器阈值比较，淘汰非人脸窗口 ；如果一个待选窗口通过所有的强分类器则判定为人脸图像；(4) Nios II核处理器将识别为人脸的待选窗口进行合并，获取最终人脸区域；根据最终人脸区域、肤色二值图和肤色模型进行脸部区域精确定位，获取人脸区域；(5)根据人脸区域进行眼部粗定位，先粗略选取脸部图像的1/2-7/8处为眼部区域；再通过混合积分投影函数确定人眼纵坐标位置，以获取人眼精确边界；(6)对人眼精确边界进行窗口扫描，根据经验值确定一个和眼球大小相近的框对人眼精确边界进行扫描，选取灰度值和最小的窗口为瞳孔，并将窗口中心作为瞳孔中心；(7)以获得的瞳孔中心为基准，截取包含内眼角的内眼角窗口并对内眼角窗口进行灰度等级拉伸预处理，然后利用Susan算子及角点检测算子，在内眼角窗口中提取候选内眼角点，最后筛选出正确内眼角点坐标；(8)将瞳孔中心的坐标和正确内眼角点坐标传入PC机的视线估计模型中，确定视线方向。所述将识别为人脸的待选窗口进行合并具体为I)当第二个人脸框与第一个人脸框相距不到第一个人脸框宽的1/2时，将第一个人脸框和第二个人脸框合并为一类，当满足条件时依次进行其他人脸框和第一个人脸框的
合并； 2)将人脸框数目大于阈值的类进行人脸最终区域的计算。所述将人脸框数目大于阈值的类进行人脸最终区域的计算具体为将所有框的对应左上角点坐标进行求平均值计算，将计算结果作为整合框的左上角点坐标，再依次进行右上角点、左下角点和右下角点坐标的计算，至此上述四点的坐标即可确定人脸最终区域。所述肤色模型具体为(Cg，Cb, Cr为肤色二值图)；
「 ^ (Cif-107)- +(Γ.6-1 10): t~2-1；-!— < I
12.2.VCr e [260-Cg, 280-Cg]Cg e [85，135]所述视线估计模型具体为P V5 =H Vr
_ I J [ I _(xs, ys)为屏幕注视点坐标，(xp, yp)为照片中的瞳孔坐标，H为屏幕和照片投影平面间的矩阵，P为照片中的瞳孔中心。所述在内眼角窗口中提取候选内眼角点，最后筛选出正确内眼角点坐标具体为I)如果只有一个候选角点，则候选角点即为正确内眼角点；2)如果有两个候选角点，则选择距瞳孔中心最远的角点为正确内眼角点；3)如果有三个或三个以上候选角点，则根据如下算法进行筛选尤醒=η ,_二T= {(x, y) I (X—-x)〈5 Π (y_Ymin)〈5，(x, y) e S}Cx=mean (Tx)Cy=mean (Ty)其中，S为候选角点集合，Xmax为S中所有的点横坐标的最大值，Ymin为S中所有的点纵坐标的最小值，T为S中与点(Xmax，Ymin)的横纵坐标均相差不大于5个像素的点的集合，点(Cx，Cy)即为所选正确内眼角点坐标；mean表示取平均值。一种人眼视线估计装置，包括人脸图像获取模块，用于获取人脸图像；位图转换模块，用于对人脸图像进行位图转换，获取RGB位图；灰度图模块，用于将RGB位图转换为灰度肤色二值图模块，用于将RGB位图转换为肤色二值图；积分图模块，用于进行积分图和平方积分图计算，获取积分图数据和平方积分图数据；弱分类器计算模块，用于对积分图数据和平方积分图数据进行计算并淘汰非人脸
窗口 ；Nios II核处理器，用于人脸窗口的合并，并获取最终人脸区域；根据最终人脸区域、肤色二值图和肤色模型进行脸部区域精确定位，获取人脸区域；眼部特征点检测模块，用于根据人脸区域进行眼部粗定位，选取脸部图像的1/2-7/8处为眼部区域；通过混合积分投影函数确定人眼坐标位置，获取人眼 精确边界；对人眼精确边界进行窗口扫描，根据经验值确定一个和眼球大小相近的框对人眼精确边界进行扫描，选取灰度值和最小的窗口为瞳孔，并将窗口中心作为瞳孔中心，获取正确内眼角点坐标；将瞳孔中心的坐标和正确内眼角点坐标传入PC机的视线估计模型中，确定视线方向。所述肤色二值图模块是由Cg-Cb和Cg-Cr两组分割器的结果进行逻辑与得到的，硬件设计为将Cg、Cb分别与107、110做绝对值减法，经过两级流水线实现，结果用Ibit来表示，32个像素点的结果进行拼接，存储到缓存中。所述积分图模块使用四级流水线实现，首先，积分图计算部分延迟一个周期，在此周期内进行灰度值的平方运算；在第二级中，将当前像素的值与左累加寄存器做加法，结果保存到左累加寄存器中，并把相应位置的地址送到行缓存的地址寄存器中；在第三级中，将读出的数据和左累加寄存器做加法；在第四级中，将当前位置的计算结果输出并写回到行缓存中，以供下一行计算使用。所述弱分类器计算模块采用了三级并行的硬件架构( I)窗口间任务级并行四个待检窗口同时进行扫描，第一个窗口设定流水线切分时序和读取弱分类器信息，其余三个窗口在时序上与第一个窗口对齐，并且共享第一个窗口读出的弱分类器信息； ( 2 )窗口内任务级并行每个窗口内部有三条流水线同时计算弱分类器，根据两种弱分类器的个数，由两条流水线计算两个矩形的弱分类器，由第三条流水线计算三个矩形的弱分类器；(3)数据级并行单条流水线结构划分为7级，每个周期计算一个弱分类器。本发明提供的技术方案的有益效果是本发明通过视线估计模型提高了视线估计的精度；本发明所设计的硬件结构在保证高检测率的条件下，消耗的资源较少，硬件系统消耗了 12，181个逻辑单元(LE)，91个9位的乘法器，1，507，176位存储空间；针对640X480分辨率的图像，检测速率为12帧/秒，针对320 X 240分辨率的图像，检测速率为41帧/秒。
图I为视线估计模型的示意图；图2为一种人眼视线估计方法的流程图；图3人眼视线估计装置结构图；图4位图转换模块硬件结构；
图5肤色二值图转换硬件结构；图6积分图计算的流水线结构图；图7弱分类器计算的流水线结构图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
为了缩短获取人脸检测结果的时间，扩大应用范围，本发明实施例提供了一种人眼视线估计方法及其装置，详见下文描述随着后PC时代的到来，SoC (System 0n_Chip，嵌入式片上系统)取得了长足的发展和进步，在更小的芯片上可以集成更多、更快的以处理器为核心的复杂功能单元，这使得设计更高性能的SoC逐步成为可能,因此AdaBoost算法的硬件实现是一种提高计算速度的有效途径。一种人眼视线估计方法，参见图I和图2，包括以下步骤101 :获取包含人脸的图像并进行位图转换，获取RGB位图；将RGB位图转换为灰度图和肤色二值图；102 :将灰度图进行各级缩放，对每一级缩放后的图像进行窗口扫描，扫描窗口大小为20 X 20，并对扫描窗口中的灰度图进行积分图和平方积分图计算；其中，本方法采用缩放系数为I. 25，具体实现时，根据实际应用中的需要进行设定，本发明实施例对此不做限制。103:通过积分图数据和平方积分图数据进行弱分类器计算，将同级弱分类器计算结果累加与对应的强分类器阈值比较，淘汰非人脸窗口 ；如果一个待选窗口通过所有的强分类器则判定为人脸图像；本方法使用OpenCV库训练好的弱分类器，在训练的过程中，样本集包括大量的人脸图像和非人脸图像，将每种Haar特征的每种尺寸扫描完样本集中每幅图像的所有位置，挑选出对人脸图像和非人脸图像具有最好区分度的Haar特征，最终得到弱分类器，由若干个弱分类器组合得到各级强分类器，强分类器的阈值由弱分类器共同决定。本方法使用的弱分类器基于20X20的样本集图像，最终得到两个矩形表示的弱分类器1775个，三个矩形表示的弱分类器360个，这些弱分类器组成22级强分类器，如果一个待选窗口通过所有的强分类器则判定为人脸图像。104 =Nios II核处理器将识别为人脸的待选窗口进行合并，获取最终人脸区域；根据最终人脸区域、肤色二值图和肤色模型进行脸部区域精确定位，获取人脸区域；其中，一副图像经过步骤103检测过后，输出的结果往往会出现交错和包含等现象，即大的人脸框里包含了小的人脸框或两个人脸框的位置相差并不大并且都包含了同一个人脸。在这种情况下，就需要一种整合算法把包含同一个人脸的人脸框合并在一起，以便获得最终的检测结果。其中，将识别为人脸的待选窗口进行合并具体为I)当第二个人脸框与第一个人脸框相距不到第一个人脸框宽的1/2时，将第一个人脸框和第二个人脸框合并为一类，当满足条件时依次进行其他人脸框和第一个人脸框的合并；2)将人脸框数目大于阈值的类进行人脸最终区域的计算。该步骤具体为将所有框的对应左上角点坐标进行求平均值计算，将计算结果作为整合框的左上角点坐标，再依次进行右上角点、左下角点和右下角点坐标的计算，至此上述四点的坐标即可确定人脸最终区域。实际应用时具体实现为首先设定一个判定条件来判定哪些人脸框是相近的人脸框，然后将这些相近的人脸框归为一类，本方法认为只要第二个人脸框与第一个人脸框相距不到第一个人脸框宽的1/2，那么他们就是相近的，就应该合并为一类。同时设定一个阈值(本方法以5为例进行说明，具体实现时，根据实际应用中的需要进行设定，本发明实施例对此不做限制)，表明如果某一类中有至少五个人脸框，本方法认为它就是人脸的位置了，否则，就放弃这一类人脸框。然后对人脸框数目大于5的类进行合并计算，计算方法是将所有框的对应左上角点坐标进行求平均值计算，将计算结果作为整合框的左上角点坐 标，再依次进行右上角点、左下角点和右下角点坐标的计算，至此上述四点的坐标即可确定人脸最终区域。其中,肤色模型具体为(Cg，Cb, Cr为肤色二值图)
「 ^ (Cii -IOTr +(('/ -110):,~2-i--L- < I
12.25"Cr e [260-Cg, 280-Cg]Cge [85,135]即满足肤色模型的判定为人脸区域，不满足肤色模型的为非人脸区域。105 :根据人脸区域进行眼部粗定位，先粗略选取脸部图像的1/2-7/8处为眼部区域；再通过混合积分投影函数确定人眼纵坐标位置，以获取人眼精确边界；其中，混合积分投影函数具体为设在区间[yl，y2]内的水平混合投影函数为H(y)，则其表达式为H(y)=0. 4X Cl-W (y))+O^XDi (y)
,.In,"M =--7—-. .Mfν, 二- Ι(χ, y)dx
Iiiax(M00)-mm(M(v)) (>) ^2-X1 J-,，”D,v> = max(A^ o)_.min(A/( ))DW = Si ‘.') —W I其中，参数0. 4和0. 6根据实际计算效果指定，具体实现时根据实际应用中的需要进行设定。106 :对人眼精确边界进行窗口扫描，根据经验值确定一个和眼球大小相近的框对人眼精确边界进行扫描，选取灰度值和最小的窗口为瞳孔，并将窗口中心作为瞳孔中心；其中，对人眼精确边界进行扫描时，可采用步长为I像素，从左到右、从上到下进行扫描，直至覆盖整个人眼精确边界。具体实现时，还可以采用其他的扫描顺序，只要覆盖整个扫描区域即可。107 :以获得的瞳孔中心为基准，截取包含内眼角的内眼角窗口并对内眼角窗口进行灰度等级拉伸预处理，然后利用Susan算子及角点检测算子，在内眼角窗口中提取候选内眼角点，最后筛选出正确内眼角点坐标；
其中，该步骤具体为I)截取包含内眼角的内眼角窗口并对内眼角窗口进行灰度等级拉伸预处理；设眼睛矩形区域尺寸为MXN(M行N列)，瞳孔中心的坐标为(xO，yO)，瞳孔半径r=M/8,设定任意参数fixY=N/3。以左眼为例，结合眼 睛先验规则设定内眼角窗口的上边界top=yO+fiXY;下边界bottom=yO-fixY ;左边界 left=xO+r_l ;右边界 right=left+N/3。同理，可设定右眼内眼角窗口如下top=yO+fixY ；bottom=yO-fixY ；left=right-N/3 ;right=xO_r+l。眼睛移动会造成眼角亮度变化，影响Susan算子的执行效果，为此对眼角窗口进行灰度等级拉伸变换，公式如下所示g{x, >■) = 4^[/(x, r)-a]+a'
b - a其中，f(x，y)为原灰度图像,其灰度范围为[a，b];灰度等级拉伸后图像g(x, y)的灰度范围为本文中取a = 10, b = 140,可得到较好的效果。2)确定Susan算法中灰度亮度差门限t和非极大值抑制门限g ；利用均方差来确定灰度亮度差门限t，针对不同光照强度的图像，t值可进行自适应调整。假设I(x，y)表示灰度等级拉伸后点错误！未找到引用源。处像素的灰度值，均值μ与方差σ 2的数学表述如下所示
I M-IN-Iσ·2 = -J- Σ Σ [,(夂·ν) -I2
X=O y=rO其中，M为图像高度，N为图像宽度，单位均为像素。本文中设定t= O，g= ，
4
!!■^是11“。)所能达到的最大值，本文选取圆形模板大小为7X7，即nmax=37。然后利用Susan算子检测内眼角窗口的边缘图(SA)，然后利用内眼角检测算子(CF)对内眼角窗口边缘图进行卷积运算，取最大值处作为眼角的候选位置。内眼角检测算子具体为
-I -I I I -I -I] Γ-1 -I I I -I -ΓΓηιη7 —I -I -111 —I -111 -I -I -I .
_i —I —I —i II —I _I —I —I
I I I I I Ij Llllll Ia.左眼角检测算子b.右眼角检测算子卷积计算公式为P)隱s = CT)最后，通过内眼角点提取算法得出内眼角点坐标。正确内眼角点提取算法具体描述为由于由内眼角定位算子定位的内眼角候选点通常多于两个，为此根据内眼角在眼角窗口中的位置特征筛选正确内眼角点，具体实现方法如下(I)如果只有一个候选角点，则候选角点即为正确内眼角点；(2)如果有两个候选角点，则选择距瞳孔中心最远的角点为正确内眼角点；
(3)如果有三个或三个以上候选角点，则根据如下算法进行筛选尤臓=max,= niin,弋
LJ(x,.v)eS(x,.v)eS JT= {(X，y) I (Xmax-X)〈5 Π (y_Ymin)〈5，(x, y) e S}Cx=mean (Tx)Cy=mean (Ty)其中，S为候选角点集合，Xmax为S中所有的点横坐标的最大值，Ymin为S中所有的点纵坐标的最小值，T为S中与点(Xmax，Ymin)的横纵坐标均相差不大于5个像素的点的集合，点(Cx，Cy)即为所选正确内眼角点坐标。108 :将瞳孔中心的坐标和正确内眼角点坐标传入PC机的视线估计模型中，确定·视线方向。该视线估计模型基于如下两个假设把眼球前面一侧看做平面而非球面，即无论用户在看哪，瞳孔中心的空间位置始终在一个平面上；且头部保持不动。视线估计模型如图I所示，O是眼球中心，N为相机小孔成像中心点，S是屏幕上的注视点，E为瞳孔中心(所在平面为眼球近似平面)，P为照片中的瞳孔中心，计算公式如下
XsxPP V5 =H yp
I J |_ I(xs, ys)为屏幕注视点坐标，(V yp)为照片中的瞳孔坐标，H为屏幕和照片投影平面间的矩阵，P为缩放系数，求解出H，便可根据瞳孔在照片中的位置计算出注视点在屏幕上的位置。矩阵H计算方法如下计算矩阵H需要几对坐标数据，即用户要依次注视屏幕上几个确定坐标的点，每个点拍摄一张照片，然后从照片中提取出瞳孔中心的坐标。这个过程称为标定。H是一个3 X 3的矩阵，由于缩放系数P的存在，该矩阵有8个独立的元素，为减小误差，取9个点的坐标，采用一种最大似然法来估计。设Mi= (XpPypi)1^mi= (xsi, ysi)T, i=lto 9为照片上和屏幕上的对应坐标,H的9个元素用h = (H11, H12, H13, H21, H22, H23, H31, H32, H33)τ表亍设数据的误差平均值为O协方差
矩阵为λ，则取最大似然目标函数为-)其中由于每个点的取样为独立的，实际计算中可取I为单位矩阵。则上述问题实际上是一个非线性最小二乘法问题，令
最小即可求解出H。当用户头部移动时，则计算出的H矩阵将不再有效。
i=lS卩，通过步骤101-步骤108实现了对视线方向的确定，缩短了检测时间。为了验证视线估计模型的准确度，本方法进行了实验验证。实验设备包括一个2048 X 1536像素的相机以及一台14英寸，分辨率1280X800的显示器。相机的内参数矩阵可以通过用户依次注视屏幕上几个确定坐标的点来计算，相机内参数矩阵为
—1942 O 1013'Λ= O 1948 770
O O I经过一组9个点的标定，本次试验测试了 8组每组16个点，共128个点的计算，其中头部移动至4个不同位置，结果不到一厘米的平均误差基本令人满意，可以更好的满足于HCI设备的应用。一种人眼视线估计装置，参见图3，包括人脸图像获取模块，用于获取人脸图像；位图转换模块，用于对人脸图像进行位图转换，获取RGB位图；灰度图模块，用于将RGB位图转换为灰度图；肤色二值图模块，用于将RGB位图转换为肤色二值图；积分图模块，用于进行积分图和平方积分图计算，获取积分图数据和平方积分图数据； 弱分类器计算模块，用于对积分图数据和平方积分图数据进行计算并淘汰非人脸
窗口 ；Nios II核处理器，用于人脸窗口的合并，并获取最终人脸区域；根据最终人脸区域、肤色二值图和肤色模型进行脸部区域精确定位，获取人脸区域；眼部特征点检测模块，用于根据人脸区域进行眼部粗定位，选取脸部图像的1/2-7/8处为眼部区域；通过混合积分投影函数确定人眼坐标位置，获取人眼精确边界；对人眼精确边界进行窗口扫描，根据经验值确定一个和眼球大小相近的框对人眼精确边界进行扫描，选取灰度值和最小的窗口为瞳孔，并将窗口中心作为瞳孔中心，并获取正确内眼角点坐标；将瞳孔中心的坐标和正确内眼角点坐标传入PC机的视线估计模型中，确定视线方向。其中，本装置使用高分辨率的摄像头，最大支持2，592X 1，944分辨率的图像，得到的RGB位图为12位，结合实际情况，实现人脸检测算法时使用640X480规格的图像，在实时性改进阶段，可根据实际应用情况调整参数，将初始图像的规格调整至400 X 300。眼部特征点检测使用的是1600X1200的图像，位图使用8位格式。本装置利用硬件实现按位操作效率高的特点，在设计位图转换模块硬件结构时使用一种按位组合生成查表地址的方法一分布式查表算法。位图转灰度图计算公式为Y=0.2990XR+0. 5870XG+0. 1140ΧΒY分量可表示为如下形式Y=a0X0+a1X1+a2X2+a3其中Bi (i=0，1，2)表示转换系数，a3为常数(O. 5，四舍五入)Ji (i=0，1，2)分别表示R、G、B三个色彩分量，将其用二进制形式表示可得F = Z如ix,'mx2，+ a3 = i(ia,U2 ) + a3 = ti^x2 +fl3
J=Om=0W=O i=0m=0
2其中PSm=艺尔为部分积由于Xi m只能取0或1，部分积只有8种可能的取
/=O
值，可以通过预先计算将这些值存储在寄存器中，在进行转换时，构造向量’ X2,J作为表地址以得到相应的部分积。为了简化表结构并节省存储空间，在查找表中仅存储PSmX27，以满足最高二进制权重位(MostSignificant Bit1MSB)的精度。其余权重位的部分积运算可在查表后通过右移实现除2操作。查找表内容如下表所示。
权利要求
1.一种人眼视线估计方法，其特征在于，所述方法包括以下步骤(1)获取包含人脸的图像并进行位图转换，获取RGB位图；将RGB位图转换为灰度图和肤色二值图；(2)将灰度图进行各级缩放，对每一级缩放后的图像进行窗口扫描，扫描窗口大小为20 X 20，并对扫描窗口中的灰度图进行积分图和平方积分图计算；(3)通过积分图数据和平方积分图数据进行弱分类器计算，将同级弱分类器计算结果累加与对应的强分类器阈值比较，淘汰非人脸窗口 ；如果一个待选窗口通过所有的强分类器则判定为人脸图像；(4)Nios II核处理器将识别为人脸的待选窗口进行合并，获取最终人脸区域；根据最终人脸区域、肤色二值图和肤色模型进行脸部区域精确定位，获取人脸区域；(5)根据人脸区域进行眼部粗定位，先粗略选取脸部图像的1/2-7/8处为眼部区域；再通过混合积分投影函数确定人眼纵坐标位置，以获取人眼精确边界；(6)对人眼精确边界进行窗口扫描，根据经验值确定一个和眼球大小相近的框对人眼精确边界进行扫描，选取灰度值和最小的窗口为瞳孔，并将窗口中心作为瞳孔中心；(7)以获得的瞳孔中心为基准，截取包含内眼角的内眼角窗口并对内眼角窗口进行灰度等级拉伸预处理，然后利用Susan算子及角点检测算子，在内眼角窗口中提取候选内眼角点，最后筛选出正确内眼角点坐标；(8)将瞳孔中心的坐标和正确内眼角点坐标传入PC机的视线估计模型中，确定视线方向。
2.根据权利要求I所述的一种人眼视线估计方法，其特征在于，所述将识别为人脸的待选窗口进行合并具体为1)当第二个人脸框与第一个人脸框相距不到第一个人脸框宽的1/2时，将第一个人脸框和第二个人脸框合并为一类，当满足条件时依次进行其他人脸框和第一个人脸框的合并；2)将人脸框数目大于阈值的类进行人脸最终区域的计算。
3.根据权利要求2所述的一种人眼视线估计方法，其特征在于，所述将人脸框数目大于阈值的类进行人脸最终区域的计算具体为将所有框的对应左上角点坐标进行求平均值计算，将计算结果作为整合框的左上角点坐标，再依次进行右上角点、左下角点和右下角点坐标的计算，至此上述四点的坐标即可确定人脸最终区域。
4.根据权利要求I所述的一种人眼视线估计方法，其特征在于，所述肤色模型具体为(Cg，Cb，Cr为肤色二值图)；C。一 07):!+ι:(7 -Π0)2 ,^ -1Cr e [260 -Cg, 280 -Cg]Cg e [85， 135]。
5.根据权利要求I所述的一种人眼视线估计方法，其特征在于，所述视线估计模型具体为
6.根据权利要求I所述的一种人眼视线估计方法，其特征在于，所述在内眼角窗口中提取候选内眼角点，最后筛选出正确内眼角点坐标具体为1)如果只有一个候选角点，则候选角点即为正确内眼角点；2)如果有两个候选角点，则选择距瞳孔中心最远的角点为正确内眼角点；3)如果有三个或三个以上候选角点，则根据如下算法进行筛选
7.—种人眼视线估计装置，其特征在于，包括人脸图像获取模块，用于获取人脸图像；位图转换模块，用于对人脸图像进行位图转换，获取RGB位图；灰度图模块，用于将RGB位图转换为灰度图；肤色二值图模块，用于将RGB位图转换为肤色二值图；积分图模块，用于进行积分图和平方积分图计算，获取积分图数据和平方积分图数据；弱分类器计算模块，用于对积分图数据和平方积分图数据进行计算并淘汰非人脸窗Π ；Nios II核处理器，用于人脸窗口的合并，并获取最终人脸区域；根据最终人脸区域、肤色二值图和肤色模型进行脸部区域精确定位，获取人脸区域；眼部特征点检测模块，用于根据人脸区域进行眼部粗定位，选取脸部图像的1/2-7/8处为眼部区域；通过混合积分投影函数确定人眼坐标位置，获取人眼精确边界；对人眼精确边界进行窗口扫描，根据经验值确定一个和眼球大小相近的框对人眼精确边界进行扫描，选取灰度值和最小的窗口为瞳孔，并将窗口中心作为瞳孔中心，获取正确内眼角点坐标；将瞳孔中心的坐标和正确内眼角点坐标传入PC机的视线估计模型中，确定视线方向。
8.根据权利要求7所述的一种人眼视线估计装置，其特征在于，所述肤色二值图模块是由Cg-Cb和Cg-Cr两组分割器的结果进行逻辑与得到的，硬件设计为将Cg、Cb分别与107、110做绝对值减法，经过两级流水线实现，结果用Ibit来表示，32个像素点的结果进行拼接，存储到缓存中。
9.根据权利要求7所述的一种人眼视线估计装置，其特征在于，所述积分图模块使用四级流水线实现，首先，积分图计算部分延迟一个周期，在此周期内进行灰度值的平方运算；在第二级中，将当前像素的值与左累加寄存器做加法，结果保存到左累加寄存器中，并把相应位置的地址送到行缓存的地址寄存器中；在第三级中，将读出的数据和左累加寄存器做加法；在第四级中，将当前位置的计算结果输出并写回到行缓存中，以供下一行计算使用。
10.根据权利要求7所述的一种人眼视线估计装置，其特征在于，所述弱分类器计算模块采用了三级并行的硬件架构(1)窗口间任务级并行四个待检窗口同时进行扫描，第一个窗口设定流水线切分时序和读取弱分类器信息，其余三个窗口在时序上与第一个窗口对齐，并且共享第一个窗口读出的弱分类器信息；(2)窗口内任务级并行每个窗口内部有三条流水线同时计算弱分类器，根据两种弱分类器的个数，由两条流水线计算两个矩形的弱分类器，由第三条流水线计算三个矩形的弱分类器；(3)数据级并行单条流水线结构划分为7级，每个周期计算一个弱分类器。
全文摘要
本发明公开了一种人眼视线估计方法及其装置，涉及人机交互领域。通过对人脸区域进行眼部粗定位，先粗略选取脸部图像的1/2-7/8处为眼部区域；再通过混合积分投影函数确定人眼纵坐标位置，以获取人眼精确边界；在人眼精确边界进行瞳孔扫描，根据经验值确定一个和眼球大小相近的框对人眼精确边界内部进行窗口扫描，选取灰度值和最小的窗口为瞳孔，并将窗口中心作为瞳孔中心；利用角点匹配算法在人眼精确边界内部获取内眼角点坐标；将瞳孔中心坐标和内眼角点坐标值传入视线估计模型中，确定视线方向。本发明通过视线估计模型提高了视线估计的精度；通过设计的硬件结构实现了在高检测率的条件下，消耗较少资源。
文档编号G06K9/54GK102930278SQ20121039297
公开日2013年2月13日 申请日期2012年10月16日 优先权日2012年10月16日
发明者车明, 常轶松, 刘学毅, 李维超, 秦超, 黎贺 申请人:天津大学