眼球追踪处理方法及相关装置与流程

文档序号:26493609发布日期:2021-09-03 21:15阅读:来源:国知局

技术特征:
1.一种眼球追踪处理方法,其特征在于,应用于电子设备,所述电子设备包括眼球追踪组件;所述方法包括:在眼球追踪校准过程中,通过所述眼球追踪组件获取第一人脸图像集合;识别所述第一人脸图像集合包括的m张人脸图像的人眼区域,其中,所述m张人脸图像为在预设时长内连续拍摄到的人脸图像,m为正整数;根据所述m张人脸图像的人眼区域,对所述第一人脸图像集合中的m张人脸图像进行多帧融合,得到包括超像素人脸图像的第二人脸图像集合,其中,所述第二人脸图像集合包括n张人脸图像,n小于m;根据所述第二人脸图像集合得到眼球追踪计算方程,所述计算方程用于在眼球追踪过程中计算用户的注视点。2.根据权利要求1所述的方法,其特征在于,所述根据所述m张人脸图像的人眼区域,对所述第一人脸图像集合中的m张人脸图像进行多帧融合,得到包括超像素人脸图像的第二人脸图像集合,包括:选取所述m张人脸图像中相邻时刻拍摄的两张人脸图像;计算所述两张人脸图像的人眼区域差值;在检测到所述差值小于第一预设阈值时,将所述两张人脸图像合成为一张人脸图像,得到超像素人脸图像;在所述第一人脸图像集合中删除所述两张人脸图像,添加所述超像素人脸图像,得到所述第二人脸图像集合。3.根据权利要求2所述的方法,其特征在于,所述人眼区域为将所述m张人脸图像重合后,在同一位置截取的包含人眼图像的区域;所述计算所述两张人脸图像的人眼区域差值,包括:通过预设算法计算所述两张人脸图像的人眼区域的用户视线向量;计算所述用户视线向量差值,得到所述人眼区域差值。4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:确定所述第二人脸图像集合中的超像素人脸图像数目;在检测到所述数目大于第二预设阈值时,检测是否存在拍摄时刻相邻的两张超像素人脸图像;若是,根据所述两张超像素人脸图像的人眼区域差值,确定是否合成所述两张超像素人脸图像。5.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述第二人脸图像集合得到眼球追踪计算方程,包括:根据所述第二人脸图像集合中的n张人脸图像,计算参考用户视线向量和头部姿态向量;根据所述头部姿态向量和人脸图像关联的校准点,将所述参考用户视线向量转换为标准用户视线向量,所述标准用户视线向量用于指示用户头部正对所述电子设备的显示屏时的视线方向;根据所述标准用户视线向量和所述校准点的坐标得到第一参数组,并将所述第一参数组添加的训练集,以通过所述训练集对初始计算方程进行训练,得到训练后的计算方程,其
中,所述训练集包括除所述校准点之外的多个校准点的坐标以及关联的标准用户视线向量组成的参数组。6.根据权利要求5所述的方法,其特征在于,所述计算参考用户视线向量,包括:获取所述n张人脸图像的左眼球对应的左眼红外反射斑点坐标,以及右眼球对应的右眼红外反射斑点坐标;根据所述左眼红外反射斑点坐标和左眼球瞳孔中心坐标计算得到左眼视线向量,以及根据所述右眼红外反射斑点坐标和右眼球瞳孔中心坐标计算得到右眼视线向量;根据所述左眼视线向量和所述右眼视线向量,确定所述参考用户视线向量。7.根据权利要求5所述的方法,其特征在于,所述计算头部姿态向量,包括:确定所述n张人脸图像的左眼面积和右眼面积;计算所述左眼面积和所述右眼面积的差值,并根据所述差值查找预设的双眼面积差值和头部姿态向量的映射关系,确定所述差值对应的头部姿态向量。8.一种眼球追踪处理装置,其特征在于,应用于电子设备,所述电子设备包括眼球追踪组件;所述眼球追踪处理装置包括处理单元和通信单元,其中,所述处理单元,用于在眼球追踪校准过程中,通过所述眼球追踪组件获取第一人脸图像集合;以及用于识别所述第一人脸图像集合包括的m张人脸图像的人眼区域,其中,所述m张人脸图像为在预设时长内连续拍摄到的人脸图像,m为正整数;以及用于根据所述m张人脸图像的人眼区域,对所述第一人脸图像集合中的m张人脸图像进行多帧融合,得到包括超像素人脸图像的第二人脸图像集合,其中,所述第二人脸图像集合包括n张人脸图像,n小于m;以及用于根据所述第二人脸图像集合得到眼球追踪计算方程,所述计算方程用于在眼球追踪过程中计算用户的注视点。9.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-7任一项所述的眼球追踪处理方法中的步骤的指令。10.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-7任一项所述的眼球追踪处理方法。

技术总结
本申请实施例公开了一种眼球追踪处理方法及相关装置,应用于电子设备,包括:在眼球追踪校准过程中,通过所述眼球追踪组件获取第一人脸图像集合;识别所述第一人脸图像集合包括的M张人脸图像的人眼区域,其中,所述M张人脸图像为在预设时长内连续拍摄到的人脸图像,M为正整数;根据所述M张人脸图像的人眼区域,对所述第一人脸图像集合中的M张人脸图像进行多帧融合,得到包括超像素人脸图像的第二人脸图像集合,其中,所述第二人脸图像集合包括N张人脸图像,N小于M;根据所述第二人脸图像集合得到眼球追踪计算方程,所述计算方程用于在眼球追踪过程中计算用户的注视点。本申请实施例有利于提高眼球追踪的准确度。利于提高眼球追踪的准确度。利于提高眼球追踪的准确度。


技术研发人员:方攀 陈岩
受保护的技术使用者:OPPO广东移动通信有限公司
技术研发日:2020.02.18
技术公布日:2021/9/2
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1