的两组解；
[0033] 识别出所述当前的眼球图片中的眼球区域、虹膜区域和眼角区域；
[0034] 根据所述当前的眼球图片中的眼球区域、虹膜区域和眼角区域确定出眼角在所述 摄像头坐标系中的投影坐标；
[0035] 根据所述Rec的两组解和所述眼角在所述摄像头坐标系中的投影坐标确定出眼 角在所述摄像头坐标系中的两组坐标，并确定出该两组坐标对应的两组球形眼球的中心在 所述摄像头坐标系中的坐标；
[0036] 对于该两组坐标中的每一组坐标，计算该每一组坐标对应的两个眼角与球形眼球 的中心的距离之差的绝对值；
[0037] 比较该两组坐标对应的两个距离之差的绝对值的大小，将该两个距离之差的绝对 值中较小者对应的所述Rec的解确定为从所述眼球坐标系到所述摄像头坐标系转换的转 换矩阵；
[0038] 所述根据所述转换矩阵确定出视线方向，包括：
[0039] 根据所述从所述眼球坐标系到所述摄像头坐标系转换的转换矩阵确定出视线方 向；
[0040] 所述Rec= (rl，r2,r3)为从所述眼球坐标系到所述摄像头坐标系转换的转换 矩阵，所述Ve为所述眼球坐标系中的点，所述Vc为该点在所述摄像头坐标系中的坐标，所 述t为一标量坐标，所述夹角p为锐角，所述
【主权项】
1. 一种视线方向跟踪方法，其特征在于，包括： 利用单个摄像头采集的当前的眼球图片构建眼球模型，并建立所述眼球模型在摄像头 坐标系中的投影模型；其中，所述眼球模型包括球形眼球和圆形虹膜； 确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩阵； 根据所述转换矩阵确定出视线方向。
2. 根据权利要求1所述的视线方向跟踪方法，其特征在于，所述眼球坐标系的原点为 球形眼球的中心，所述眼球坐标系的X轴与圆形虹膜平面与水平面的交线平行，所述眼球 坐标系的Z轴的方向为从球形眼球的中心指向圆形虹膜的中心的方向，所述摄像头坐标系 的X轴和Y轴分别为摄像头成像平面的X轴和Y轴，所述摄像头坐标系的Z轴为摄像头光 轴， 其中，所述确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系之间的转换矩 阵的步骤，包括： 建立所述眼球坐标系和所述摄像头坐标系之间的转换关系Vc=RecVe+t; 确定出圆形虹膜在摄像头成像平面的椭圆形投影的中心横坐标长度lx、纵坐标长度Iy、短半轴长度a、长半轴长度b和短轴与所述摄像头坐标系的X轴的夹角供； 根据所述椭圆形投影的中心横坐标长度lx、纵坐标长度Iy、短半轴长度a、长半轴长度b和短轴与所述摄像头坐标系的X轴的夹角P确定出圆锥参数矩阵A=STHS; 根据所述圆锥参数矩阵A确定出投影模型方程GTAG=kQ; 根据所述转换关系和所述投影模型方程确定出所述Rec的两组解； 识别出所述当前的眼球图片中的眼球区域、虹膜区域和眼角区域； 根据所述当前的眼球图片中的眼球区域、虹膜区域和眼角区域确定出眼角在所述摄像 头坐标系中的投影坐标； 根据所述Rec的两组解和所述眼角在所述摄像头坐标系中的投影坐标确定出眼角在 所述摄像头坐标系中的两组坐标，并确定出该两组坐标对应的两组球形眼球的中心在所述 摄像头坐标系中的坐标； 对于该两组坐标中的每一组坐标，计算该每一组坐标对应的两个眼角与球形眼球的中 心的距离之差的绝对值； 比较该两组坐标对应的两个距离之差的绝对值的大小，将该两个距离之差的绝对值中 较小者对应的所述Rec的解确定为从所述眼球坐标系到所述摄像头坐标系转换的转换矩 阵； 所述根据所述转换矩阵确定出视线方向，包括： 根据所述从所述眼球坐标系到所述摄像头坐标系转换的转换矩阵确定出视线方向； 所述Rec= (rl，r2，r3)为从所述眼球坐标系到所述摄像头坐标系转换的转换矩阵，所 述Ve为所述眼球坐标系中的点，所述Vc为该点在所述摄像头坐标系中的坐标，所述t为一 标量坐标，所述夹角P为锐角，所i
所文
，所述G= 〇'1，1'2,〇，所述1^为一常数，所太，所述r为 圆形虹膜的半径。
3. 根据权利要求2所述的视线方向跟踪方法，其特征在于，所述确定出圆形虹膜在摄 像头成像平面的椭圆形投影的中心横坐标长度lx、纵坐标长度Iy、短半轴长度a、长半轴长 度b和短轴与所述摄像头坐标系的X轴的夹角P，包括： 通过椭圆拟合，将圆形虹膜区域拟合为椭圆，提取出所述椭圆的中心横坐标长度lx、纵 坐标长度Iy、短半轴长度a、长半轴长度b和短轴与所述摄像头坐标系的X轴的夹角供。
4. 根据权利要求2或3所述的视线方向跟踪方法，其特征在于，所述确定出该两组坐标 对应的两组球形眼球的中心在所述摄像头坐标系中的坐标，包括： 根据所述Rec的两组解确定出所述眼球坐标系的Z轴的两个方向； 根据球形眼球的半径和圆形虹膜的半径确定出球形眼球的中心和圆形虹膜的中心之 间的距离； 根据所述眼球坐标系的Z轴的两个方向，以及所述球形眼球的中心和圆形虹膜的中心 之间的距离确定出该两组坐标对应的两组球形眼球的中心在所述摄像头坐标系中的坐标。
5. 根据权利要求4所述的视线方向跟踪方法，其特征在于，所述根据所述Rec的两组解 确定出所述眼球坐标系的Z轴的两个方向，包括： 利用方向传感器获取所述摄像头坐标系的Z轴的方向； 根据所述Rec的两组解和所述摄像头坐标系的Z轴的方向，并利用所述转换关系确定 出所述眼球坐标系的Z轴的两个方向。
6. -种视线方向跟踪装置，其特征在于，包括： 摄像头，用于实时采集人的眼球图片； 构建单元，用于根据所述摄像头所采集的当前的眼球图片构建眼球模型，并建立所述 眼球模型在摄像头坐标系中的投影模型； 转换矩阵确定单元，用于确定出所述眼球模型所在的眼球坐标系和所述摄像头坐标系 之间的转换矩阵； 视线方向确定单元，用于根据所述转换矩阵确定单元确定出的转换矩阵确定出视线方 向。
【专利摘要】本发明公开一种视线方向跟踪方法及装置，能够解决现有技术成本高、需要人工校准和用户训练的问题。所述方法包括：利用单个摄像头采集的当前的眼球图片构建眼球模型，并建立眼球模型在摄像头坐标系中的投影模型；确定出眼球模型所在的眼球坐标系和摄像头坐标系之间的转换矩阵；根据转换矩阵确定出视线方向。所述装置包括：摄像头，用于实时采集人的眼球图片；构建单元，用于根据摄像头所采集的眼球图片构建眼球模型，并建立眼球模型在摄像头坐标系中的投影模型；转换矩阵确定单元，用于确定出眼球模型所在的眼球坐标系和摄像头坐标系之间的转换矩阵；视线方向确定单元，用于确定出视线方向。
【IPC分类】G06F3-01, G06K9-00, G06T7-00
【公开号】CN104615978
【申请号】CN201510037433
【发明人】张兰, 刘克彬, 刘云浩
【申请人】清华大学
【公开日】2015年5月13日
【申请日】2015年1月23日