一种注视点定位方法及定位装置、显示设备和存储介质与流程

文档序号:17472827发布日期:2019-04-20 05:56阅读:201来源:国知局
一种注视点定位方法及定位装置、显示设备和存储介质与流程

本发明涉及智能显示技术领域,尤其涉及一种注视点定位方法及定位装置、显示设备和存储介质。



背景技术:

随着虚拟现实(virtualreality,vr)技术的发展,非侵入式视线追踪技术在虚拟现实交互、注视点渲染等方面的应用也得到了重视。目前,在视线追踪系统中普遍采用的是非线性映射模型和基于交比映射的方法,这两种方法都存在有明显的缺点,即在瞳孔进行运动时,都默认瞳孔的运动是全局性质的,即瞳孔中心与注视点的映射关系是全局性质的,这样导致注视点的定位精度较低,用户体验较差。



技术实现要素:

本发明的实施例提供一种注视点定位方法及定位装置、显示设备和存储介质,能够解决现有技术中由于全局性的瞳孔中心与注视点的映射关系而导致注视点的定位精度较低,用户体验较差的问题。

为达到上述目的,本发明的实施例采用如下技术方案:

一方面,本发明实施例提供一种注视点定位方法,所述方法包括:获取目标对象分别注视多个标定点时的多幅标定眼部图像;获取所述标定眼部图像的瞳孔中心坐标;根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域,获取每个区域的瞳孔中心与标定点的映射比;获取目标对象的实时眼部图像;获取所述实时眼部图像的瞳孔中心坐标;根据所述实时眼部图像的瞳孔中心坐标在所述目标屏幕上的位置,获取与所述实时眼部图像的瞳孔中心坐标对应的映射比;获取所述实时眼部图像的瞳孔中心坐标与对应的映射比的乘积,将所述乘积得到的坐标作为所述实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。

可选的,所述根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域,获取每个区域的瞳孔中心与标定点的映射比具体包括:多个所述标定眼部图像的瞳孔中心坐标中包括一个位于中心的中心瞳孔坐标和其余位于所述中心瞳孔坐标外围一周的外围瞳孔坐标,以所述中心瞳孔坐标为端点、经过任意一个所述外围瞳孔坐标的射线将所述目标屏幕分成多个区域,每个区域中包含一个由所述中心瞳孔坐标和相邻两个所述外围瞳孔坐标组成的第一三角形;所述中心瞳孔坐标对应的标定点和相邻两个所述外围瞳孔坐标对应的标定点组成一个第二三角形,获取所述第二三角形三个边长与对应的第一三角形的三个边长的比值的平均值,将所述平均值作为所述第一三角形所在区域的瞳孔中心与标定点的映射比。

可选的,多个所述外围瞳孔坐标以所述中心瞳孔坐标为中心、呈正多边形分布在所述中心瞳孔坐标外围一周。

可选的,在获取目标眼部图像的瞳孔中心坐标之后,所述方法还包括:对所述目标眼部图像的瞳孔中心坐标进行修正;其中,所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。

可选的,所述对所述目标眼部图像的瞳孔中心坐标进行修正具体包括:获取目标对象的眼球半径;获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的x轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值,并获取所述乘积与所述开方值的比值,将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标;获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的y轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值,并获取所述乘积与所述开方值的比值,将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标;其中,所述修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的x轴坐标的正负一致;所述修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的y轴坐标的正负一致。

可选的,获取目标眼部图像的瞳孔中心坐标具体包括:对所述目标眼部图像进行灰度转换;对转换后的目标眼部图像进行二值化处理和开运算处理,并提取处理后的目标眼部图像的瞳孔轮廓;对所述瞳孔轮廓采用质心法获取瞳孔中心坐标;其中,所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。

可选的,在所述对转换后的目标眼部图像进行二值化处理之前,所述方法还包括:对转换后的目标眼部图像进行去噪处理;所述对转换后的目标眼部图像进行二值化处理和开运算处理具体为:对去噪后的目标眼部图像进行二值化处理和开运算处理。

另一方面,本发明实施例提供一种注视点定位装置,所述装置包括:第一获取单元,用于获取目标对象分别注视多个标定点时的多幅标定眼部图像;第二获取单元,用于获取所述标定眼部图像的瞳孔中心坐标;第三获取单元,用于根据多个所述标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域,获取每个区域的瞳孔中心与标定点的映射比;所述第一获取单元还用于获取目标对象的实时眼部图像;所述第二获取单元还用于获取所述实时眼部图像的瞳孔中心坐标;所述第三获取单元还用于根据所述实时眼部图像的瞳孔中心坐标在所述目标屏幕上的位置,获取与所述实时眼部图像的瞳孔中心坐标对应的映射比;第四获取单元,用于获取所述实时眼部图像的瞳孔中心坐标与对应的映射比的乘积,将所述乘积得到的坐标作为所述实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。

可选的,所述第三获取单元具体用于:多个所述标定眼部图像的瞳孔中心坐标中包括一个位于中心的中心瞳孔坐标和其余位于所述中心瞳孔坐标外围一周的外围瞳孔坐标,以所述中心瞳孔坐标为端点、经过任意一个所述外围瞳孔坐标的射线将所述目标屏幕分成多个区域,每个区域中包含一个由所述中心瞳孔坐标和相邻两个所述外围瞳孔坐标组成的第一三角形;所述中心瞳孔坐标对应的标定点和相邻两个所述外围瞳孔坐标对应的标定点组成一个第二三角形,获取所述第二三角形三个边长与对应的第一三角形的三个边长的比值的平均值,将所述平均值作为所述第一三角形所在区域的瞳孔中心与标定点的映射比。

可选的,多个所述外围瞳孔坐标以所述中心瞳孔坐标为中心、呈正多边形分布在所述中心瞳孔坐标外围一周。

可选的,所述装置还包括:修正单元,用于对所述目标眼部图像的瞳孔中心坐标进行修正;其中,所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。

可选的,所述修正单元具体用于:获取目标对象的眼球半径;获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的x轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值,并获取所述乘积与所述开方值的比值,将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标;获取所述眼球半径与所述目标眼部图像的瞳孔中心坐标的y轴坐标的乘积、以及所述眼球半径的平方与所述目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值,并获取所述乘积与所述开方值的比值,将所述比值作为修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标;其中,所述修正后的所述目标眼部图像的瞳孔中心坐标的x轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的x轴坐标的正负一致;所述修正后的所述目标眼部图像的瞳孔中心坐标的y轴坐标与修正前的所述目标眼部图像的瞳孔中心坐标的y轴坐标的正负一致。

可选的,所述第二获取单元具体用于:对所述目标眼部图像进行灰度转换;对转换后的目标眼部图像进行二值化处理和开运算处理,并提取处理后的目标眼部图像的瞳孔轮廓;对所述瞳孔轮廓采用质心法获取瞳孔中心坐标;其中,所述目标眼部图像为所述标定眼部图像或所述实时眼部图像。

可选的,所述第二获取单元具体用于:对转换后的目标眼部图像进行去噪处理;对去噪后的目标眼部图像进行二值化处理和开运算处理。

再一方面,本发明实施例提供一种显示设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序,以实现如上述任意一种所述的注视点定位方法。

另一方面,本发明实施例提供一种存储介质,其上存储有计算机指令,所述计算机指令被运行时,执行上述任意一项所述的注视点定位方法的一个或多个步骤。

本发明实施例提供的注视点定位方法及定位装置、显示设备和存储介质,所述方法包括:获取目标对象分别注视多个标定点时的多幅标定眼部图像;获取标定眼部图像的瞳孔中心坐标;根据多个标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域,获取每个区域的瞳孔中心与标定点的映射比;获取目标对象的实时眼部图像;获取实时眼部图像的瞳孔中心坐标;根据实时眼部图像的瞳孔中心坐标在目标屏幕上的位置,获取与实时眼部图像的瞳孔中心坐标对应的映射比;获取实时眼部图像的瞳孔中心坐标与对应的映射比的乘积,将乘积得到的坐标作为实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。相较于现有技术,本发明实施例通过建立不同区域的瞳孔中心与对应标定点之间的映射关系,这样在获取实时的瞳孔中心坐标后,可根据实时瞳孔中心坐标的位置,获取对应的映射比,进而获取对应的实时注视点坐标,此种计算实时注视点坐标的方法由于考虑了瞳孔在眼球不同区域运动的不同情况,瞳孔中心与注视点的映射关系随瞳孔位置的不同而不同,因而提高了注视点定位精度,进而提高了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的注视点定位方法流程图一;

图2为本发明实施例提供的显示设备结构示意图;

图3为本发明实施例提供的瞳孔中心坐标获取方法流程图;

图4为本发明实施例提供的瞳孔位置误差示意图;

图5为本发明实施例提供的瞳孔中心坐标修正方法流程图;

图6为本发明实施例提供的瞳孔中心坐标修正原理示意图;

图7为本发明实施例提供的目标屏幕区域划分示意图;

图8为本发明实施例提供的注视点定位方法流程图二;

图9为本发明实施例提供的注视点定位装置框图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供一种注视点定位方法,如图1所示,所述方法包括:

步骤101、获取目标对象分别注视多个标定点时的多幅标定眼部图像。

其中,标定点显示在显示设备的目标屏幕上,目标对象可以是使用所述显示设备的用户。所述显示设备可以是虚拟现实(vr)设备、增强现实(ar)设备或混合现实(mr)设备等,本发明实施例对此不做限定。

多幅所述标定眼部图像为人眼注视显示设备的屏幕(即目标屏幕)上的多个初始的标定点时拍摄的眼部图像。在实际应用中,一般采用5点标定法、7点标定法或9点标定法,即初始标定点为5个、7个或9个,标定眼部图像为5幅、7幅或9幅。

因vr头显中环境相对封闭和黑暗,为了将人眼中的瞳孔与虹膜区域分离出来,一般会采用红外光源进行补光,即所述标定眼部图像是在红外光源照射下的眼部图像。具体的,参考图2所示,所述显示设备中设置有高速红外相机11、两个菲涅尔透镜12、多个红外光源13、以及壳体14;高速红外相机11设置于菲涅尔透镜12正下方,相机中心轴线指向人眼区域中心位置,相机采样频率一般为100hz;多个红外光源13以正多边形的形状分布于菲涅尔透镜12周围,红外光源13的波长一般为850nm,红外光源13可以为眼部提供均匀的补光,利于将瞳孔从虹膜区域分割出来,获得较为清晰的瞳孔图像。

步骤102、获取标定眼部图像的瞳孔中心坐标。

其中,瞳孔中心坐标的获取方式有多种,示例的,可以采用边缘检测、图形拟合、角点检测、质心法等方法中的一种或几种组合来获取,本发明实施例对此不做限定。

需要说明的是,获取的瞳孔中心坐标与目标屏幕上的标定点坐标使用的是同一坐标系,即瞳孔中心坐标示出了瞳孔中心在目标屏幕上的位置。

步骤103、根据多个标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域,获取每个区域的瞳孔中心与标定点的映射比。

本发明实施例对于目标屏幕的分区方式、分区数量以及不同区域映射比的具体计算方法等均不作限定,本领域技术人员可以根据实际情况进行设定。示例的,可以在保证不存在重叠区域的情况下,利用多个标定眼部图像的瞳孔中心坐标将目标屏幕分成多个三角形区域、四边形区域或不规则区域等。

步骤104、获取目标对象的实时眼部图像。

所述实时眼部图像是目标对象使用显示设备时,在红外光源照射下拍摄的眼部图像。

步骤105、获取实时眼部图像的瞳孔中心坐标。

步骤106、根据实时眼部图像的瞳孔中心坐标在目标屏幕上的位置,获取与实时眼部图像的瞳孔中心坐标对应的映射比。

具体的,由于目标屏幕已经被分成多个区域,因而在获取到实时眼部图像的瞳孔中心坐标后,只需判断实时眼部图像的瞳孔中心坐标在目标屏幕上的位置属于哪一区域,获取该区域的映射比,即为与实时眼部图像的瞳孔中心坐标对应的映射比。

步骤107、获取实时眼部图像的瞳孔中心坐标与对应的映射比的乘积,将该乘积得到的坐标作为实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。

这样一来,相较于现有技术,本发明实施例通过建立不同区域的瞳孔中心与对应标定点之间的映射关系,这样在获取实时的瞳孔中心坐标后,可根据实时瞳孔中心坐标的位置,获取对应的映射比,进而获取对应的实时注视点坐标,此种计算实时注视点坐标的方法由于考虑了瞳孔在眼球不同区域运动的不同情况,瞳孔中心与注视点的映射关系随瞳孔位置的不同而不同,因而提高了注视点定位精度,进而提高了用户体验。

在本发明的另一些实施例中,获取目标眼部图像的瞳孔中心坐标具体包括:对目标眼部图像进行灰度转换;对转换后的目标眼部图像进行二值化处理和开运算处理,并提取处理后的目标眼部图像的瞳孔轮廓;对瞳孔轮廓采用质心法获取瞳孔中心坐标;其中,目标眼部图像为标定眼部图像或实时眼部图像。

为了便于对目标眼部图像进行处理,获取更为准确的瞳孔中心坐标,在对转换后的目标眼部图像进行二值化处理之前,所述方法还包括:对转换后的目标眼部图像进行去噪处理;对转换后的目标眼部图像进行二值化处理和开运算处理具体为:对去噪后的目标眼部图像进行二值化处理和开运算处理。

在本发明的再一些实施例中,如图3所示,获取目标眼部图像的瞳孔中心坐标的方法包括:

步骤301、对目标眼部图像进行灰度转换;其中,目标眼部图像为标定眼部图像或实时眼部图像。

步骤302、对转换后的目标眼部图像进行去噪处理。

所述去噪处理可以是进行高斯滤波处理。

步骤303、对去噪后的目标眼部图像进行二值化处理和开运算处理。

二值化处理时选取的阈值可以为经验值,获得的二值化图像中瞳孔部分灰度值为0,之后对二值化图像采取开运算,去除瞳孔中的白色空洞。

步骤304、提取处理后的目标眼部图像的瞳孔轮廓。

步骤305、对瞳孔轮廓采用质心法获取瞳孔中心坐标。

人眼在注视显示设备的屏幕上非中心区域的某一点时,红外相机采集到的平面图像的瞳孔中心坐标与实际的瞳孔中心注视该点时的坐标存在着一定的误差,这是由于瞳孔并非是在平面上移动,而是在眼球表面这个近似球面上移动,这样就导致根据获取的标定眼部图像或实时眼部图像定位的瞳孔中心坐标存在误差,为了提高瞳孔中心坐标定位的准确性,就需要对获取的瞳孔中心坐标进行修正。

参考图4所示,眼球41上的瞳孔42在相机图像上的位置43与在眼球展开平面上的位置44之间存在差异,因而在对瞳孔中心坐标进行修正时,需要在相机图像平面与眼球表面展开形成的平面之间建立相应的坐标转换关系,将由相机图像获得的瞳孔中心坐标转换到眼球表面展开形成的平面中的瞳孔中心坐标。

参考图5所示,对目标眼部图像(标定眼部图像或实时眼部图像)的瞳孔中心坐标进行修正的方法包括:

步骤501、获取目标对象的眼球半径。

由于人们在13岁后,人眼大小基本不再变化,眼球直径一般为24mm,因此眼球半径r一般为12mm。

步骤502、获取眼球半径与目标眼部图像的瞳孔中心坐标的x轴坐标的乘积、以及眼球半径的平方与目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值,并获取该乘积与该开方值的比值,将该比值作为修正后的目标眼部图像的瞳孔中心坐标的x轴坐标;其中,修正后的目标眼部图像的瞳孔中心坐标的x轴坐标与修正前的目标眼部图像的瞳孔中心坐标的x轴坐标的正负一致。

参考图6所示,瞳孔在目标眼部图像中的坐标为(x,y),在眼球展开形成的平面61上的坐标为(x′,y′);由相似三角形判定定理可得:其中x′即为修正后的目标眼部图像的瞳孔中心坐标的x轴坐标;x′正负性与x的正负性一致。

步骤503、获取眼球半径与目标眼部图像的瞳孔中心坐标的y轴坐标的乘积、以及眼球半径的平方与目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值,并获取该乘积与该开方值的比值,将该比值作为修正后的目标眼部图像的瞳孔中心坐标的y轴坐标;其中,修正后的目标眼部图像的瞳孔中心坐标的y轴坐标与修正前的目标眼部图像的瞳孔中心坐标的y轴坐标的正负一致。

参考图6所示,由相似三角形判定定理可得:其中y′即为修正后的目标眼部图像的瞳孔中心坐标的y轴坐标;y′正负性与y的正负性一致。

在本发明的另一些实施例中,根据多个标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域,获取每个区域的瞳孔中心与标定点的映射比具体包括:多个标定眼部图像的瞳孔中心坐标中包括一个位于中心的中心瞳孔坐标和其余位于中心瞳孔坐标外围一周的外围瞳孔坐标,以中心瞳孔坐标为端点、经过任意一个外围瞳孔坐标的射线将目标屏幕分成多个区域,每个区域中包含一个由中心瞳孔坐标和相邻两个外围瞳孔坐标组成的第一三角形;中心瞳孔坐标对应的标定点和相邻两个外围瞳孔坐标对应的标定点组成一个第二三角形,获取第二三角形三个边长与对应的第一三角形的三个边长的比值的平均值,将该平均值作为第一三角形所在区域的瞳孔中心与标定点的映射比。

其中,多个外围瞳孔坐标可以以中心瞳孔坐标为中心、呈正多边形分布在中心瞳孔坐标外围一周。

以7个标定点为例,对于目标屏幕的区域划分和各区域映射比的介绍如下:

如图7所示,显示设备的屏幕中包含七个标定点,分别为a、b、c、d、e、f、o,o位于坐标原点,a、b、c、d、e、f分别位于正六边形的顶点处,七个标定点的坐标分别为(xa,ya),(xb,yb),(xc,yc),(xd,yd),(xe,ye),(xf,yf),(xo,yo),当瞳孔以a-b-c-d-e-f-o的顺序依次注视这七个标定点时,会得到七幅标定眼部图像,这样可以得到瞳孔中心对应的七个坐标,分别为a(xa,ya),b(xb,yb),c(xc,yc),d(xd,yd),e(xe,ye),f(xf,yf),o(xo,yo),再将这七个坐标进行修正,得到修正后的七个瞳孔中心坐标分别为a′(x′a,y′a),b′(x′b,y′b),c′(x′c,y′c),d′(x′d,y′d),e′(x′e,y′e),f′(x′f,y′f),o′(x′o,y′o)。修正后的七个瞳孔中心坐标在目标屏幕上的分布如图7所示,以六个顶点分别与原点的连线为间隔将目标屏幕分为六个区域,每个区域的映射比为目标屏幕上的瞳孔中心坐标形成的第一三角形与对应的标定点形成的第二三角形的三条对应边的比值的平均值。具体的,每个第二三角形的一条边与对应的第一三角形的一条边的比值用h表示,则那么区域①的映射比同理,至此得到所有区域的映射比。

本发明再一实施例提供一种注视点定位方法,如图8所示,所述方法包括:

步骤801、获取目标对象分别注视多个标定点时的多幅标定眼部图像。

步骤802、获取标定眼部图像的瞳孔中心坐标。

步骤803、对标定眼部图像的瞳孔中心坐标进行修正。

步骤804、根据修正后的多个标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域,获取每个区域的瞳孔中心与标定点的映射比。

步骤805、获取目标对象的实时眼部图像。

步骤806、获取实时眼部图像的瞳孔中心坐标。

步骤807、对实时眼部图像的瞳孔中心坐标进行修正。

步骤808、根据修正后的实时眼部图像的瞳孔中心坐标在目标屏幕上的位置,获取与实时眼部图像的瞳孔中心坐标对应的映射比。

步骤809、获取修正后的实时眼部图像的瞳孔中心坐标与对应的映射比的乘积,将该乘积得到的坐标作为实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。

假设修正后的实时眼部图像的瞳孔中心坐标为(x′,y′),则获取该瞳孔中心坐标对应的映射比的具体方法为:若x′>x′o且则该瞳孔中心坐标位于区域②,其对应的映射比为h2,则实时注视点坐标g(x,y)=h2*(x′,y′);若x′>x′o且则该瞳孔中心坐标位于区域③,其对应的映射比为h3,则实时注视点坐标g(x,y)=h3*(x′,y′);若x′<x′o且则瞳孔中心坐标位于区域⑤,其对应的映射比为h5,则实时注视点坐标g(x,y)=h5*(x′,y′);若x′<x′o且则瞳孔中心坐标位于区域⑥,其对应的映射比为h6,则实时注视点坐标g(x,y)=h6*(x′,y′);对于剩余情况,若y′>y′o,则瞳孔中心坐标位于区域①,其对应的映射比为h1,则实时注视点坐标g(x,y)=h1*(x′,y′);若y′<y′o,则瞳孔中心坐标位于区域④,其对应的映射比为h4,则实时注视点坐标g(x,y)=h4*(x′,y′)。

本发明另一实施例提供一种注视点定位装置,如图9所示,所述装置包括:

第一获取单元901,用于获取目标对象分别注视多个标定点时的多幅标定眼部图像。

第二获取单元902,用于获取标定眼部图像的瞳孔中心坐标。

第三获取单元903,用于根据多个标定眼部图像的瞳孔中心坐标将目标屏幕分成多个区域,获取每个区域的瞳孔中心与标定点的映射比。

第一获取单元901还用于获取目标对象的实时眼部图像。

第二获取单元902还用于获取实时眼部图像的瞳孔中心坐标。

第三获取单元903还用于根据实时眼部图像的瞳孔中心坐标在目标屏幕上的位置,获取与实时眼部图像的瞳孔中心坐标对应的映射比。

第四获取单元904,用于获取实时眼部图像的瞳孔中心坐标与对应的映射比的乘积,将乘积得到的坐标作为实时眼部图像的瞳孔中心坐标对应的实时注视点坐标。

进一步的,第三获取单元903具体用于:

多个标定眼部图像的瞳孔中心坐标中包括一个位于中心的中心瞳孔坐标和其余位于中心瞳孔坐标外围一周的外围瞳孔坐标,以中心瞳孔坐标为端点、经过任意一个外围瞳孔坐标的射线将目标屏幕分成多个区域,每个区域中包含一个由中心瞳孔坐标和相邻两个外围瞳孔坐标组成的第一三角形。

中心瞳孔坐标对应的标定点和相邻两个外围瞳孔坐标对应的标定点组成一个第二三角形,获取第二三角形三个边长与对应的第一三角形的三个边长的比值的平均值,将平均值作为第一三角形所在区域的瞳孔中心与标定点的映射比。

进一步的,多个外围瞳孔坐标以中心瞳孔坐标为中心、呈正多边形分布在中心瞳孔坐标外围一周。

进一步的,所述装置还包括:修正单元905,用于对目标眼部图像的瞳孔中心坐标进行修正;其中,目标眼部图像为标定眼部图像或实时眼部图像。

进一步的,修正单元905具体用于:获取目标对象的眼球半径;

获取眼球半径与目标眼部图像的瞳孔中心坐标的x轴坐标的乘积、以及眼球半径的平方与目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值,并获取乘积与开方值的比值,将比值作为修正后的目标眼部图像的瞳孔中心坐标的x轴坐标;

获取眼球半径与目标眼部图像的瞳孔中心坐标的y轴坐标的乘积、以及眼球半径的平方与目标眼部图像的瞳孔中心坐标的y轴坐标的平方的差值的开方值,并获取乘积与开方值的比值,将比值作为修正后的目标眼部图像的瞳孔中心坐标的y轴坐标;

其中,修正后的目标眼部图像的瞳孔中心坐标的x轴坐标与修正前的目标眼部图像的瞳孔中心坐标的x轴坐标的正负一致;修正后的目标眼部图像的瞳孔中心坐标的y轴坐标与修正前的目标眼部图像的瞳孔中心坐标的y轴坐标的正负一致。

进一步的,第二获取单元902具体用于:对目标眼部图像进行灰度转换;对转换后的目标眼部图像进行二值化处理和开运算处理,并提取处理后的目标眼部图像的瞳孔轮廓;对瞳孔轮廓采用质心法获取瞳孔中心坐标;其中,目标眼部图像为标定眼部图像或实时眼部图像。

进一步的,第二获取单元902具体用于:对转换后的目标眼部图像进行去噪处理;对去噪后的目标眼部图像进行二值化处理和开运算处理。

上述注视点定位装置中各模块的介绍可以参考注视点定位方法中各步骤介绍,在此不再赘述。

本发明再一实施例提供一种显示设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序,以实现如上述任意一种所述的注视点定位方法。

本发明另一实施例提供一种存储介质,其上存储有计算机指令,所述计算机指令被运行时,执行上述任意一项所述的注视点定位方法的一个或多个步骤。

本发明实施例通过建立不同区域的瞳孔中心与对应标定点之间的映射关系,这样在获取实时的瞳孔中心坐标后,可根据实时瞳孔中心坐标的位置,获取对应的映射比,进而获取对应的实时注视点坐标,此种计算实时注视点坐标的方法由于考虑了瞳孔在眼球不同区域运动的不同情况,瞳孔中心与注视点的映射关系随瞳孔位置的不同而不同,因而提高了注视点定位精度,进而提高了用户体验。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1