视线追踪方法和装置、计算机可读存储介质、电子设备与流程

文档序号:19345334发布日期:2019-12-06 20:47阅读:来源:国知局

技术特征:

1.一种视线追踪方法,其特征在于,包括:

在一组光源下,分别基于两个成像设备对目标人脸进行图像采集,获得两个人脸成像图像;其中,所述两个成像设备之间间隔预设距离;所述一组光源设置于所述两个成像设备之间;

分别对所述两个人脸成像图像中每个人脸成像图像进行处理,获得两组人眼特征数据;其中,每个所述人脸成像图像对应一组人眼特征数据;

基于所述两组人眼特征数据对所述目标人脸进行视线估计,确定所述目标人脸的视线方向。

2.根据权利要求1所述的方法,其特征在于,所述两个成像设备以及所述光源设置在世界坐标系下的同一平面内。

3.根据权利要求1或2所述的方法,其特征在于,所述人眼特征数据包括:瞳孔中心坐标、光斑中心坐标;

所述基于所述两组人眼特征数据对所述目标人脸进行视线估计,确定所述目标人脸的视线方向,包括:

基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离,确定所述目标人脸的眼球的曲率中心;

基于所述两个瞳孔中心坐标、所述两个成像设备的光心坐标和所述目标人脸的眼球的曲率中心,确定所述目标人脸的人眼光轴向量;

基于所述人眼光轴向量确定所述目标人脸的视线方向。

4.根据权利要求3所述的方法,其特征在于,所述基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离,确定所述目标人脸的眼球的曲率中心,包括:

基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离,确定所述光源在人眼的角膜面的反射点坐标;

基于所述光源的坐标和所述光斑中心坐标确定角膜曲率半径;

基于所述反射点坐标和所述角膜曲率半径确定所述眼球的曲率中心。

5.根据权利要求3或4所述的方法,其特征在于,所述基于所述人眼光轴向量确定所述目标人脸的视线方向,包括:

基于所述人眼光轴向量与人眼视轴之间的固定偏角对所述人眼光轴向量的进行角度补偿,确定所述目标人脸的视线方向。

6.根据权利要求5所述的方法,其特征在于,在基于所述人眼光轴向量与人眼视轴之间的固定偏角对所述人眼光轴向量的进行角度补偿,确定所述目标人脸的视线方向之前,还包括:

基于已知坐标的校准点确定校准人眼视轴向量;

获取注视所述校准点的人眼的两组校准人眼特征数据;

基于所述两组校准人眼特征数据进行视线估计,获得校准人眼光轴向量;

基于所述校准人眼视轴向量和校准人眼光轴向量,确定所述固定偏角。

7.根据权利要求1-6任一所述的方法,其特征在于,所述一组光源包括一个发光器件;

或者,所述一组光源包括多个发光器件,所述多个发光器件之间的距离小于预设值。

8.根据权利要求1-7任一所述的方法,其特征在于,所述分别对所述两个人脸成像图像中每个人脸成像图像进行处理,获得两组人眼特征数据,包括:

针对每个人脸成像图像,对所述人脸成像图像执行人眼检测处理,得到人眼区域图像;

对所述人眼区域图像进行特征提取处理,获得所述人眼特征数据。

9.一种视线追踪装置,其特征在于,包括:相距预设距离设置的两个成像设备、设置于两个成像设备之间的一组光源、控制器和/或处理器;

所述光源,用于发出光线,照射到目标人脸;

所述两个成像设备,用于分别对所述目标人脸进行图像采集,获得两个人脸成像图像;

所述控制器和/或所述处理器,用于分别对所述两个人脸成像图像中每个人脸成像图像进行处理,获得两组人眼特征数据;其中,每个所述人脸成像图像对应一组人眼特征数据;基于所述两组人眼特征数据对所述目标人脸进行视线估计,确定所述目标人脸的视线方向。

10.根据权利要求9所述的装置,其特征在于,所述两个成像设备以及所述光源设置在世界坐标系下的同一平面内。

11.根据权利要求9或10所述的装置,其特征在于,所述控制器包括图像处理模块和/或视线估计模块;所述处理器包括图像处理模块和/或视线估计模块;

所述图像处理模块,用于分别对所述两个人脸成像图像中每个人脸成像图像进行处理,获得两组人眼特征数据;其中,每个所述人脸成像图像对应一组人眼特征数据;

所述视线估计模块,用于基于所述两组人眼特征数据对所述目标人脸进行视线估计,确定所述目标人脸的视线方向。

12.根据权利要求11所述的装置,其特征在于,所述人眼特征数据包括:瞳孔中心坐标、光斑中心坐标;

所述视线估计模块,包括:

曲率中心确定单元,用于基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离,确定所述目标人脸的眼球的曲率中心;

光轴确定单元,用于基于所述两个瞳孔中心坐标、所述两个成像设备的光心坐标和所述目标人脸的眼球的曲率中心,确定所述目标人脸的人眼光轴向量;

视线方向确定单元,用于基于所述人眼光轴向量确定所述目标人脸的视线方向。

13.根据权利要求12所述的装置,其特征在于,所述曲率中心确定单元,具体用于基于所述两个光斑中心坐标、所述两个成像设备的光心坐标和所述两个成像设备的光心到焦平面的距离,确定所述光源在人眼的角膜面的反射点坐标;基于所述光源的坐标和所述光斑中心坐标确定角膜曲率半径;基于所述反射点坐标和所述角膜曲率半径确定所述眼球的曲率中心。

14.根据权利要求12或13所述的装置,其特征在于,所述视线方向确定单元,具体用于基于所述人眼光轴向量与人眼视轴之间的固定偏角对所述人眼光轴向量的进行角度补偿,确定所述目标人脸的视线方向。

15.根据权利要求14所述的装置,其特征在于,所述视线方向确定单元,还用于基于已知坐标的校准点确定校准人眼视轴向量;获取注视所述校准点的人眼的两组校准人眼特征数据;基于所述两组校准人眼特征数据进行视线估计,获得校准人眼光轴向量;基于所述校准人眼视轴向量和校准人眼光轴向量,确定所述固定偏角。

16.根据权利要求9-15任一所述的装置,其特征在于,所述一组光源包括一个发光器件;

或者,所述一组光源包括多个发光器件,所述多个发光器件之间的距离小于预设值。

17.根据权利要求9-16任一所述的装置,其特征在于,所述图像处理模块,具体用于针对每个人脸成像图像,对所述人脸成像图像执行人眼检测处理,得到人眼区域图像;对所述人眼区域图像进行特征提取处理,获得所述人眼特征数据。

18.根据权利要求9-17任一所述的装置,其特征在于,所述装置还包括:

光源控制器,用于控制所述光源是否发出光线。

19.根据权利要求9-18任一所述的装置,其特征在于,所述控制器,还用于控制所述两个成像设备的触发、曝光和增益。

20.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-8任一所述的视线追踪方法。

21.一种电子设备,所述电子设备包括:

处理器;

用于存储所述处理器可执行指令的存储器;

所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-8任一所述的视线追踪方法。


技术总结
本公开实施例公开了一种视线追踪方法和装置、计算机可读存储介质、电子设备,其中,方法包括:在一组光源下,分别基于两个成像设备对目标人脸进行图像采集,获得两个人脸成像图像;分别对所述两个人脸成像图像中每个人脸成像图像进行处理,获得两组人眼特征数据;其中,每个所述人脸成像图像对应一组人眼特征数据;基于所述两组人眼特征数据对所述目标人脸进行视线估计,确定所述目标人脸的视线方向。本公开实施例采用两成像设备单光源的配置,实现对人眼的视线方向进行估计,并且布局紧凑,占空间少,计算简易,实现方便,易于推广。

技术研发人员:不公告发明人
受保护的技术使用者:北京未动科技有限公司
技术研发日:2019.09.10
技术公布日:2019.12.06
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1