一种显示设备的注视点补偿方法及补偿装置、显示设备与流程

本发明涉及智能显示设备技术领域，尤其涉及一种显示设备的注视点补偿方法及补偿装置、显示设备。

背景技术：

随着虚拟现实(virtualreality，vr)技术的发展，眼球追踪技术在虚拟现实交互、注视点渲染等方面的应用也得到了重视。目前，在基于vr的眼球追踪系统中，用于捕捉眼球运动的摄像机位于vr头显中，由于人眼与vr头显是相对独立的两个个体，当使用vr头显时，人眼可能会与vr头显发生相对滑动，这样会造成眼球追踪系统偏离初始的标定位置，进而造成眼球追踪精度的下降。

技术实现要素：

本发明的实施例提供一种显示设备的注视点补偿方法及补偿装置、显示设备，能够解决现有技术中由于人眼与vr头显会发生相对滑动而造成眼球追踪精度下降的问题。

为达到上述目的，本发明的实施例采用如下技术方案：

一方面，本发明实施例提供一种显示设备的注视点补偿方法，所述方法包括：获取用户的实时眼部图像；获取所述实时眼部图像的眼角位置坐标；若所述眼角位置坐标在初始标定范围内，则根据瞳孔与眼角位置的对应关系对所述眼角位置坐标进行第一补偿；若所述眼角位置坐标不在所述初始标定范围内，则对所述眼角位置坐标进行第二补偿，所述第二补偿被配置为使经过第二补偿后的眼角位置坐标至少在所述初始标定范围内；根据所述第一补偿或所述第二补偿对注视点进行补偿。

可选的，所述第二补偿包含第一子补偿和第二子补偿；所述对所述眼角位置坐标进行第二补偿具体包括：对所述眼角位置坐标进行第一子补偿，所述第一子补偿被配置为使经过第一子补偿后的眼角位置坐标在所述初始标定范围内；对经过所述第一子补偿后的眼角位置坐标进行第二子补偿，所述第二子补偿是根据所述瞳孔与眼角位置的对应关系对所述眼角位置坐标进行的补偿。

可选的，所述对所述眼角位置坐标进行第一补偿具体包括：根据瞳孔与眼角位置的对应关系，获取所述实时眼部图像的瞳孔中心坐标对应的眼角点坐标；获取所述眼角点坐标与所述眼角位置坐标的差值，将所述差值作为眼角点补偿量；所述根据所述第一补偿对注视点进行补偿具体为：根据所述眼角点补偿量对注视点进行补偿。

可选的，所述对所述眼角位置坐标进行第一子补偿具体为：获取使所述眼角位置坐标落入所述初始标定范围内的最小补偿量，将所述最小补偿量作为粗补偿量；获取所述粗补偿量与所述眼角位置坐标的和值，将所述和值作为经过所述第一子补偿后的眼角位置坐标；所述对经过所述第一子补偿后的眼角位置坐标进行第二子补偿具体为：获取所述实时眼部图像的瞳孔中心坐标与所述粗补偿量的和值，将所述和值作为补偿后的瞳孔中心坐标；根据所述瞳孔与眼角位置的对应关系，获取所述补偿后的瞳孔中心坐标对应的眼角点坐标，并获取所述眼角点坐标与经过所述第一子补偿后的眼角位置坐标的差值，将所述差值作为细补偿量；所述根据所述第二补偿对注视点进行补偿具体为：获取所述粗补偿量和所述细补偿量的和值，将所述和值作为眼角点补偿量；根据所述眼角点补偿量对注视点进行补偿。

可选的，所述方法还包括：建立瞳孔与眼角位置的对应关系。

可选的，所述建立瞳孔与眼角位置的对应关系具体包括：获取用户分别注视多个标定点时的多幅标定眼部图像；获取所述标定眼部图像的瞳孔中心坐标和眼角位置坐标；根据所述标定眼部图像的瞳孔中心坐标与眼角位置坐标，建立瞳孔与眼角位置的关系方程式。

可选的，所述瞳孔与眼角位置的关系方程式为：

xcorner＝a0+a1·x+a2·x²+a3·x³

ycorner＝b0+b1·y+b2·y²+b3·y³

其中，瞳孔中心坐标为(x，y)；眼角位置坐标为(xcorner，ycorner)，a0、a1、a2、a3、b0、b1、b2和b3为瞳孔与眼角位置拟合曲线的系数。

可选的，所述获取所述实时眼部图像的眼角位置坐标具体包括：获取所述实时眼部图像的瞳孔中心坐标；对所述实时眼部图像进行边缘检测，以获取眼角区域中距离所述瞳孔中心坐标最远的边缘点的坐标，将所述边缘点的坐标作为所述实时眼部图像的眼角粗坐标；对所述实时眼部图像进行角点检测，以获取多个角点坐标，并获取多个所述角点坐标中距离所述眼角粗坐标最近的角点坐标，将该角点坐标作为所述实时眼部图像的眼角位置坐标。

可选的，获取所述实时眼部图像的瞳孔中心坐标具体包括：对所述实时眼部图像进行二值化处理，提取处理后的实时眼部图像中符合瞳孔特性的最大连通区域，并提取所述最大连通区域的边缘点；根据所述边缘点进行瞳孔椭圆拟合，获取瞳孔中心坐标。

可选的，所述根据所述眼角点补偿量对注视点进行补偿具体包括：根据眼角位置与注视点位置的对应关系，获取所述眼角点坐标对应的注视点坐标和所述眼角点补偿量对应的注视点补偿量；获取所述注视点坐标与所述注视点补偿量的和值，将所述和值作为补偿后的注视点坐标。

可选的，所述眼角位置与注视点位置的对应关系的建立方法包括：获取用户分别注视多个标定点时的多幅标定眼部图像；获取所述标定眼部图像的眼角位置坐标，并获取与多幅所述标定眼部图像对应的注视点位置坐标；根据所述眼角位置坐标与所述注视点位置坐标，建立眼角位置与注视点位置的关系方程式。

可选的，所述眼角位置与注视点位置的关系方程式为：

gx＝c0+c1·xcorner+c2·ycorner+c3·xcorner·ycorner

gy＝d0+d1·xcorner+d2·ycorner+d3·xcorner·ycorner

其中，注视点位置坐标为(gx，gy)；眼角位置坐标为(xcorner，ycorner)，c0、c1、c2、c3、d0、d1、d2和d3为眼角位置与注视点位置拟合曲线的系数。

另一方面，本发明实施例提供一种显示设备的注视点补偿装置，所述装置包括：眼部图像获取传感器，用于获取用户的实时眼部图像；处理器，用于获取所述实时眼部图像的眼角位置坐标；所述处理器还用于若所述眼角位置坐标在初始标定范围内，则根据瞳孔与眼角位置的对应关系对所述眼角位置坐标进行第一补偿；若所述眼角位置坐标不在所述初始标定范围内，则对所述眼角位置坐标进行第二补偿，所述第二补偿被配置为使经过第二补偿后的眼角位置坐标至少在所述初始标定范围内；所述处理器还用于根据所述第一补偿或所述第二补偿对注视点进行补偿；数据存储器，所述数据存储器用于存储所述实时眼部图像和所述实时眼部图像的眼角位置坐标，以及所述瞳孔与眼角位置的对应关系。

可选的，所述第二补偿包含第一子补偿和第二子补偿；所述处理器具体用于：对所述眼角位置坐标进行第一子补偿，所述第一子补偿被配置为使经过第一子补偿后的眼角位置坐标在所述初始标定范围内；对经过所述第一子补偿后的眼角位置坐标进行第二子补偿，所述第二子补偿是根据所述瞳孔与眼角位置的对应关系对所述眼角位置坐标进行的补偿。

再一方面，本发明实施例提供一种显示设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序，以实现如上述任意一种所述的显示设备的注视点补偿方法。

本发明实施例提供的显示设备的注视点补偿方法及补偿装置、显示设备，所述方法包括：获取用户的实时眼部图像；获取实时眼部图像的眼角位置坐标；若眼角位置坐标在初始标定范围内，则根据瞳孔与眼角位置的对应关系对眼角位置坐标进行第一补偿；若眼角位置坐标不在初始标定范围内，则对眼角位置坐标进行第二补偿，第二补偿被配置为使经过第二补偿后的眼角位置坐标至少在初始标定范围内；根据第一补偿或第二补偿对注视点进行补偿。相较于现有技术，在本发明实施例中，通过判断实时眼部图像的眼角位置坐标是否在初始标定范围内，然后利用瞳孔与眼角位置的对应关系，对眼角位置坐标进行第一补偿或第二补偿，最后再根据第一补偿或第二补偿对实时眼部图像对应的注视点进行补偿。这样当显示设备与人眼发生相对滑动时，可以实现对人眼注视点的滑动补偿，从而提高了显示设备的眼球追踪精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的显示设备的注视点补偿方法流程图一；

图2为本发明实施例提供的显示设备的注视点补偿方法流程图二；

图3为本发明实施例提供的获取瞳孔中心坐标的方法流程图；

图4为本发明实施例提供的获取眼角位置坐标的方法流程图；

图5为本发明实施例提供的获取眼角位置坐标的方法示意图；

图6为本发明实施例提供的显示设备的注视点补偿装置框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种显示设备的注视点补偿方法，如图1所示，所述方法包括：

步骤101、获取用户的实时眼部图像。

其中，所述实时眼部图像为用户在使用显示设备时拍摄的眼部图像。所述显示设备可以是虚拟现实(vr)设备、增强现实(ar)设备或混合现实(mr)设备等，本发明实施例对此不做限定。

因vr头显中环境相对封闭和黑暗，为了将人眼中的瞳孔与虹膜区域分离出来，一般会采用近红外led进行补光，即所述实时眼部图像是在近红外led灯照射下的眼部图像。在实际应用中，近红外led的波长可以选择为850nm。

步骤102、获取实时眼部图像的眼角位置坐标。

其中，所述眼角位置坐标的获取方式有多种，示例的，可以采用边缘检测、图形拟合、角点检测、质心法等方法中的一种或几种组合来获取，本发明实施例对此不做限定。

步骤103、判断眼角位置坐标是否在初始标定范围内；若是，则执行步骤104；若否，则执行步骤105。

其中，所述初始标定范围可以是预先设置的，也可以是根据标定眼部图像中的眼角位置坐标确定的，本发明实施例对此不做限定。

步骤104、根据瞳孔与眼角位置的对应关系对眼角位置坐标进行第一补偿。

其中，所述瞳孔与眼角位置的对应关系可以是预先设置的，也可以是根据多幅标定眼部图像中的瞳孔中心坐标与眼角位置坐标进行曲线拟合得到的，本发明实施例对此不做限定。需要说明的是，当采用曲线拟合的方式时，本发明实施例对于曲线拟合的具体公式不做限定。

步骤105、对眼角位置坐标进行第二补偿，第二补偿被配置为使经过第二补偿后的眼角位置坐标至少在初始标定范围内。

步骤106、根据第一补偿或第二补偿对注视点进行补偿。

由于眼角位置与注视点位置存在对应关系，因而可以利用上述对眼角位置坐标进行补偿的补偿量来对实时眼部图像对应的注视点进行补偿。由于眼球的运动会带动眼角的运动，因而此步骤中，也可以根据瞳孔与注视点位置的对应关系，对实时眼部图像对应的注视点进行补偿。

这样一来，相较于现有技术，在本发明实施例中，通过判断实时眼部图像的眼角位置坐标是否在初始标定范围内，然后利用瞳孔与眼角位置的对应关系，对眼角位置坐标进行第一补偿或第二补偿，最后再根据第一补偿或第二补偿对实时眼部图像对应的注视点进行补偿。这样当显示设备与人眼发生相对滑动时，可以实现对人眼注视点的滑动补偿，从而提高了显示设备的眼球追踪精度。

在本发明的一些实施例中，第二补偿包含第一子补偿和第二子补偿；对眼角位置坐标进行第二补偿具体包括：

对眼角位置坐标进行第一子补偿，所述第一子补偿被配置为使经过第一子补偿后的眼角位置坐标在初始标定范围内。具体为：获取使眼角位置坐标落入初始标定范围内的最小补偿量，将该最小补偿量作为粗补偿量；然后获取粗补偿量与眼角位置坐标的和值，将该和值作为经过第一子补偿后的眼角位置坐标；

对经过第一子补偿后的眼角位置坐标进行第二子补偿，所述第二子补偿是根据瞳孔与眼角位置的对应关系对眼角位置坐标进行的补偿。具体为，获取实时眼部图像的瞳孔中心坐标与粗补偿量的和值，将该和值作为补偿后的瞳孔中心坐标；然后根据瞳孔与眼角位置的对应关系，获取补偿后的瞳孔中心坐标对应的眼角点坐标，并获取眼角点坐标与经过第一子补偿后的眼角位置坐标的差值，将该差值作为细补偿量。

所述根据第二补偿对注视点进行补偿具体为：获取粗补偿量和细补偿量的和值，将该和值作为眼角点补偿量；根据眼角点补偿量对注视点进行补偿。

在本发明的另一些实施例中，对眼角位置坐标进行第一补偿具体包括：首先根据瞳孔与眼角位置的对应关系，获取实时眼部图像的瞳孔中心坐标对应的眼角点坐标；然后获取眼角点坐标与眼角位置坐标的差值，将该差值作为眼角点补偿量。

所述根据第一补偿对注视点进行补偿具体为：根据眼角点补偿量对注视点进行补偿。

进一步的，根据眼角点补偿量对注视点进行补偿具体包括：根据眼角位置与注视点位置的对应关系，获取眼角点坐标对应的注视点位置坐标和所述眼角点补偿量对应的注视点补偿量；然后获取注视点位置坐标与注视点补偿量的和值，将该和值作为补偿后的注视点位置坐标。

其中，所述眼角位置与注视点位置的对应关系可以是预先设置的，也可以是根据多幅标定眼部图像中的眼角位置坐标以及与其对应的注视点位置坐标进行曲线拟合得到的，本发明实施例对此不做限定。需要说明的是，当采用曲线拟合的方式时，本发明实施例对于曲线拟合的具体公式不做限定。

本发明再一实施例提供一种显示设备的注视点补偿方法，如图2所示，所述方法包括：

步骤201、获取用户分别注视多个标定点时的多幅标定眼部图像。

其中，多幅所述标定眼部图像为人眼注视显示设备的屏幕上的多个初始标定点时拍摄的眼部图像。在实际应用中，一般采用5点标定法或9点标定法，即初始标定点为5个或9个，标定眼部图像为5幅或9幅。需要说明的是，多幅所述标定眼部图像也是在近红外led灯照射下拍摄的眼部图像。

步骤202、获取标定眼部图像的瞳孔中心坐标和眼角位置坐标，并获取与多幅标定眼部图像对应的注视点位置坐标。

其中，与多幅标定眼部图像对应的注视点位置坐标即为步骤201中的多个初始标定点的坐标。

步骤203、根据标定眼部图像的瞳孔中心坐标与眼角位置坐标，建立瞳孔与眼角位置的关系方程式，并根据标定眼部图像的眼角位置坐标与注视点位置坐标，建立眼角位置与注视点位置的关系方程式。

在实际应用中，所述瞳孔与眼角位置的关系方程式可以为：

xcorner＝a0+a1·x+a2·x²+a3·x³

ycorner＝b0+b1·y+b2·y²+b3·y³

其中，瞳孔中心坐标为(x，y)；眼角位置坐标为(xcorner，ycorner)，a0、a1、a2、a3、b0、b1、b2和b3为瞳孔与眼角位置拟合曲线的系数。通过利用至少4组标定眼部图像的瞳孔中心坐标(x，y)和眼角位置坐标(xcorner，ycorner)即可求出所有的系数。

所述眼角位置与注视点位置的关系方程式可以为：

gx＝c0+c1·xcorner+c2·ycorner+c3·xcorner·ycorner

gy＝d0+d1·xcorner+d2·ycorner+d3·xcorner·ycorner

其中，注视点位置坐标为(gx，gy)；眼角位置坐标为(xcorner，ycorner)，c0、c1、c2、c3、d0、d1、d2和d3为眼角位置与注视点位置拟合曲线的系数。通过利用至少4组标定眼部图像的眼角位置坐标(xcorner，ycorner)和注视点位置坐标(gx，gy)即可求出所有的系数。

步骤204、根据多幅标定眼部图像的眼角位置坐标确定初始标定范围。

在获取到多幅标定眼部图像的眼角位置坐标后，可以根据多个眼角位置坐标确定眼角点的初始标定范围；具体的，将多个眼角位置坐标的x轴坐标的最大值m2和最小值m1作为眼角点的x轴标定范围，将多个眼角位置坐标的y轴坐标的最大值n2和最小值n1作为眼角点的y轴标定范围，即眼角点的初始标定范围为x∈[m1，m2]，y∈[n1，n2]。

需要说明的是，步骤203和步骤204的执行顺序可以颠倒，也可以同时进行，本发明实施例对此不做限定。

步骤205、获取用户的实时眼部图像。

步骤206、获取实时眼部图像的瞳孔中心坐标和眼角位置坐标。

步骤207、判断实时眼部图像的眼角位置坐标是否位于初始标定范围内；若是，则执行步骤208；若否，则执行步骤209。

步骤208、根据瞳孔与眼角位置的关系方程式，获取实时眼部图像的瞳孔中心坐标对应的眼角点坐标，并获取眼角点坐标与实时眼部图像的眼角位置坐标的差值，将该差值作为眼角点补偿量。

当眼角位置坐标(xcorner，ycorner)位于初始标定范围内时，即xcorner∈[m1，m2]，且ycorner∈[n1，n2]，此时只需要进行精细补偿，具体的，将实时眼部图像的瞳孔中心坐标(x，y)代入瞳孔与眼角位置的关系方程式，获取对应的眼角点坐标然后获取眼角点补偿量(xcompensation，ycompensation)，其中

步骤209、获取使实时眼部图像的眼角位置坐标落入初始标定范围内的最小补偿量，将该最小补偿量作为粗补偿量。

当眼角位置坐标(xcorner，ycorner)不属于初始标定范围内时，即xcorner<m1或xcorner＞m2，或ycorner<n1或ycorner>n2，此时需要先进行粗补偿，具体的，若xcorner<m1，则若xcorner＞m2，则若ycorner<n1，则若ycorner>n2，则至此得到粗补偿量

步骤210、获取粗补偿量与实时眼部图像的眼角位置坐标的和值，将该和值作为经过第一子补偿后的眼角位置坐标。

具体的，若xcorner<m1，则经过第一子补偿(即粗补偿)后的眼角位置坐标的x轴坐标为m1；若xcorner＞m2，则经过第一子补偿(即粗补偿)后的眼角位置坐标的x轴坐标为m2；若ycorner<n1，则经过第一子补偿(即粗补偿)后的眼角位置坐标的y轴坐标为n1；若ycorner>n2，则经过第一子补偿(即粗补偿)后的眼角位置坐标的y轴坐标为n2。

步骤211、获取实时眼部图像的瞳孔中心坐标与粗补偿量的和值，将该和值作为补偿后的瞳孔中心坐标。

其中，实时眼部图像的瞳孔中心坐标为(x，y)，粗补偿量为因而，补偿后的瞳孔中心坐标为

需要说明的是，步骤210和步骤211的执行顺序可以颠倒，也可以同时进行，本发明实施例对此不做限定。

步骤212、根据瞳孔与眼角位置的关系方程式，获取补偿后的瞳孔中心坐标对应的眼角点坐标，并获取该眼角点坐标与经过第一子补偿后的眼角位置坐标的差值，将该差值作为细补偿量。

在获取到粗补偿量后，再进行精细补偿，具体的，将补偿后的瞳孔中心坐标为代入瞳孔与眼角位置的关系方程式，获取对应的眼角点坐标然后获取该眼角点坐标与经过第一子补偿后的眼角位置坐标的差值，该差值即为细补偿量

步骤213、获取粗补偿量和细补偿量的和值，将该和值作为眼角点补偿量。

具体的，至此得到眼角点补偿量(xcompensation，ycompensation)。

步骤214、根据眼角位置与注视点位置的关系方程式，获取眼角点坐标对应的注视点坐标和眼角点补偿量对应的注视点补偿量。

将步骤208中获取的眼角点坐标代入眼角位置与注视点位置的关系方程式中，获取对应的注视点坐标将步骤208或步骤213中获取的眼角点补偿量(xcompensation，ycompensation)代入眼角位置与注视点位置的关系方程式中，获取对应的注视点补偿量

步骤215、获取注视点坐标与注视点补偿量的和值，将该和值作为补偿后的注视点位置坐标。

具体的，至此得到了补偿后的注视点位置坐标(gx，gy)。这样就实现对人眼注视点的滑动补偿，提高了显示设备的眼球追踪精度。

在本发明的另一些实施例中，获取实时眼部图像的瞳孔中心坐标具体包括：首先对实时眼部图像进行二值化处理；然后提取处理后的实时眼部图像中符合瞳孔特性的最大连通区域，并提取最大连通区域的边缘点；最后根据边缘点进行瞳孔椭圆拟合，获取瞳孔中心坐标。

为了便于对实时眼部图像进行处理，获取更为准确的瞳孔中心坐标，在对实时眼部图像进行二值化处理之前，所述方法还包括：对实时眼部图像进行灰度转换和去噪处理。

在本发明的再一些实施例中，如图3所示，获取实时眼部图像的瞳孔中心坐标的方法包括：

步骤301、对实时眼部图像进行灰度转换和去噪处理。

所述去噪处理可以是进行高斯滤波处理。

步骤302、对处理后的实时眼部图像进行二值化处理。

步骤303、提取处理后的实时眼部图像中符合瞳孔特性的最大连通区域，并提取最大连通区域的边缘点。

步骤304、根据边缘点进行瞳孔椭圆拟合，获取瞳孔中心坐标。

在本发明的另一些实施例中，获取实时眼部图像的眼角位置坐标具体包括：首先对实时眼部图像进行边缘检测，以获取眼角区域中距离瞳孔中心坐标最远的边缘点的坐标，将该边缘点的坐标作为实时眼部图像的眼角点粗坐标；然后对实时眼部图像进行角点检测，以获取多个角点坐标；接着获取多个角点坐标中距离眼角点粗坐标最近的角点坐标，将该角点坐标作为实时眼部图像的眼角位置坐标。

进一步的，为了减小图像处理时的计算量，可以在实时眼部图像上以瞳孔中心坐标为起始点，裁剪出包含眼角的第一区域图像；

所述对实时眼部图像进行边缘检测，以获取眼角区域中距离瞳孔中心坐标最远的边缘点的坐标具体为：对第一区域图像进行边缘检测，以获取距离瞳孔中心坐标最远的边缘点的坐标；

在对实时眼部图像进行角点检测之前，所述方法还包括：在第一区域图像上以眼角点粗坐标为中心点，裁剪出包含眼角的第二区域图像；

所述对实时眼部图像进行角点检测，以获取多个角点坐标具体为：对第二区域图像进行角点检测，以获取多个角点坐标。

为了便于对实时眼部图像进行处理，获取更为准确的眼角位置坐标，所述实时眼部图像可以采用进行了灰度转换和去噪处理后的实时眼部图像。

在本发明的再一些实施例中，如图4所示，获取实时眼部图像的眼角位置坐标的方法包括：

步骤401、对实时眼部图像进行灰度转换和去噪处理。

所述去噪处理可以是进行高斯滤波处理。

步骤402、在处理后的实时眼部图像上以瞳孔中心坐标为起始点，裁剪出包含眼角的第一区域图像。

本发明实施例对于第一区域图像的具体尺寸不做限定。示例的，参考图5中左边的两幅图所示，以瞳孔中心坐标为初始点，可以向右下方裁剪出大小为的矩形图像区域，其中w为人眼在当前图像中的宽度，h为人眼在当前图像中的高度；也可根据实际测试进行裁剪区域的确定。

步骤403、对第一区域图像进行边缘检测，以获取距离瞳孔中心坐标最远的边缘点的坐标，将该边缘点的坐标作为实时眼部图像的眼角点粗坐标。

本发明实施例对于边缘检测的具体算法不作限定，在实际应用中，可以选取canny边缘检测算法。在进行边缘检测后得到了如图5中左边第三幅图所示的边缘图，然后遍历该边缘图，得到最右端(即距离瞳孔中心坐标最远)的灰度值为255的像素点，将该像素点的坐标作为眼角点粗坐标。

步骤404、在第一区域图像上以眼角点粗坐标为中心点，裁剪出包含眼角的第二区域图像。

本发明实施例对于第二区域图像的具体尺寸不做限定。示例的，参考图5中左边第三幅图和第四幅图所示，得到大小为l*l的眼角区域，其中h为人眼在当前图像中的高度；或者，l的长度也可根据实际图像进行确定。

步骤405、对第二区域图像进行角点检测，以获取多个角点坐标。

本发明实施例对于角点检测的具体算法不作限定，在实际应用中，可以选取shi-tomas角点检测算法。在进行角点检测后，参考图5中左边第五幅图所示，得到多个满足条件的角点坐标。

步骤406、获取多个角点坐标中距离眼角点粗坐标最近的角点坐标，将该角点坐标作为实时眼部图像的眼角位置坐标。

计算每个角点坐标与眼角点粗坐标的距离，找到距离眼角点粗坐标最近的角点坐标，该角点坐标即为实时眼部图像的眼角位置坐标(xcorner，ycorner)，可参考图5中最右边的图所示。

需要说明的是，标定眼部图像的瞳孔中心坐标和眼角位置坐标可以采用与实时眼部图像的瞳孔中心坐标和眼角位置坐标同样的方法获取，本发明在此不再赘述。

本发明另一实施例提供一种显示设备的注视点补偿装置，如图6所示，所述装置包括：

眼部图像获取传感器61，用于获取用户的实时眼部图像；

处理器62，用于获取实时眼部图像的眼角位置坐标；处理器62还用于若眼角位置坐标在初始标定范围内，则根据瞳孔与眼角位置的对应关系对眼角位置坐标进行第一补偿；若眼角位置坐标不在初始标定范围内，则对眼角位置坐标进行第二补偿，第二补偿被配置为使经过第二补偿后的眼角位置坐标至少在初始标定范围内；处理器62还用于根据第一补偿或第二补偿对注视点进行补偿；

数据存储器63，用于存储实时眼部图像和实时眼部图像的眼角位置坐标，以及瞳孔与眼角位置的对应关系。

在实际应用时，数据存储器63还可以存储多幅标定眼部图像以及眼角位置与注视点位置的对应关系等。

进一步的，第二补偿包含第一子补偿和第二子补偿；

处理器62具体用于：对眼角位置坐标进行第一子补偿，第一子补偿被配置为使经过第一子补偿后的眼角位置坐标在初始标定范围内；对经过第一子补偿后的眼角位置坐标进行第二子补偿，第二子补偿是根据瞳孔与眼角位置的对应关系对眼角位置坐标进行的补偿。

上述显示设备的注视点补偿装置中各模块的介绍可以参考显示设备的注视点补偿方法中各步骤介绍，在此不再赘述。

本发明再一实施例提供一种显示设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序，以实现如上述任意一种所述的显示设备的注视点补偿方法。

在本发明实施例中，通过判断实时眼部图像的眼角位置坐标是否在初始标定范围内，然后利用瞳孔与眼角位置的对应关系，对眼角位置坐标进行第一补偿或第二补偿，最后再根据第一补偿或第二补偿对实时眼部图像对应的注视点进行补偿。这样当显示设备与人眼发生相对滑动时，可以实现对人眼注视点的滑动补偿，从而提高了显示设备的眼球追踪精度。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。