基于视线的VR显示方法及VR设备与流程

本发明属于眼球追踪技术领域，具体涉及一种基于视线的VR显示方法及VR设备。

背景技术：

互联网时代的来临使得人类的交流采用了新的方式，进入了新的领域。具体发展过程如下：命令界面—图形用户界面—多媒体界面—虚拟现实。虚拟现实(Virtual Reality,简称VR)，是利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。目前，VR虚拟现实技术可广泛地应用于城市规划、室内设计、工业仿真、古迹复原、桥梁道路设计、房地产销售、旅游教学、水利电力、地质灾害等众多领域，能够提供切实可行的解决方案。

目前，VR头戴设备的市场正在逐步扩大，对应的应用方式也在不断扩大。其中，通过VR头戴设备可对播放的视频进行暂停、快进、快退等操作，但操作方式只能是利用体感手柄，体感戒指，体感手环等外部设备完成。另外，若用户需要查看视频画面中的某个细节，更是无法实现的，因此现有VR头戴设备是无法实现VR显示的具体化，用户体验性较差。

技术实现要素：

为了解决现有技术中存在的上述问题，本发明提供了一种基于视线的VR显示方法及VR设备。

本发明的一个实施例提供了一种基于视线的VR显示方法，应用于VR设备的局部显示控制，包括：

接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化；

播放视频时，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点；

判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，并在未发生变化时局部放大当前视线方向的视频画面。

在本发明的一个实施例中，接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化，包括：

接收初始化指令后在视场范围内按照预设的程序依次显示M个观测点以引导所述用户依次观察所述M个观测点；

采集所述用户在M个观测点的所述第一瞳孔图像；

根据所述第一瞳孔图像确定所述用户的第一瞳孔中心点；

根据所述M个观测点和所述M个观测点对应的所述第一瞳孔中心点完成对所述用户的视线定位初始化。

在本发明的一个实施例中，根据所述第一瞳孔图像确定所述用户的第一瞳孔中心点，包括：

处理所述第一瞳孔图像形成第一灰度图像；

从所述第一灰度图像中获取所述第一瞳孔的边缘点，并根据所述边缘点拟合形成第一类椭圆曲线；

将所述第一类椭圆曲线的中心作为所述第一瞳孔中心点。

在本发明的一个实施例中，根据所述M个观测点和所述M个观测点对应的所述第一瞳孔中心点完成对所述用户的视线定位初始化，包括：

选取观测点与对应的第一瞳孔中心点之间的映射模型，所述映射模型为：其中(X,Y)为观测点在自设坐标系下的坐标信息，(x,y)为第一瞳孔中心点在自设坐标系下的坐标信息，a、b、c、d、e、f、g、h、k、l、m及n为所述映射模型的参数；

根据所述M个观测点的坐标和所述M个观测点对应的所述第一瞳孔中心点的坐标计算所述映射模型中的参数以完成所述映射模型的设立。

在本发明的一个实施例中，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点，包括：

采集所述第二第二瞳孔图像并对所述第二瞳孔图像进行灰度化处理形成第二灰度图像；

从所述第二灰度图像中获取第二瞳孔的边缘点，并根据所述边缘点拟合形成第二类椭圆曲线；

将所述第二类椭圆曲线的中心作为所述第二瞳孔中心点。

在本发明的一个实施例中，判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，包括：

步骤a、将当前时刻采集的所述第二瞳孔图像与前一时刻采集的所述第二瞳孔图像进行第二瞳孔中心点比对；

步骤b、若无变化，从前一时刻开始记录时间；

步骤c、采集下一时刻的所述第二瞳孔图像；

步骤d、将下一时刻采集的所述第二瞳孔图像与当前时刻采集的所述第二瞳孔图像进行第二瞳孔中心点比对；

如无变化，则累加时间并判断累计时长是否大于等于所述设定的时间阈值，若是，则停止；若否，继续执行步骤c；

若有变化，则重新执行步骤a。

在本发明的一个实施例中，局部放大当前视线方向的视频画面，包括：

根据所述视线定位初始化中确定的映射模型及所述第二瞳孔中心点获得对应在视场画面中的观测点；

调用内存资源局部放大所述观测点位置处的视频画面。

在本发明的一个实施例中，所述映射模型为：

其中(X,Y)为观测点在自设坐标系下的坐标信息，(x,y)为第二瞳孔中心点在自设坐标系下的坐标信息，a、b、c、d、e、f、g、h、k、l、m及n为所述映射模型的参数。

在本发明的一个实施例中，调用内存资源局部放大所述观测点位置处的视频画面，包括：

以观测点为中心，调用所述VR设备的内存资源，以视场形状按照预设规则扩大局部的视频画面；其中，用于局部放大的视频画面所采用的内存资源为由放大后已不在视场范围的视频画面所采用的内存资源形成。

本发明的另一个实施例提供了一种VR设备，包括：处理器及瞳孔图像采集设备；其中，所述处理器用于执行上述实施例中的任一方法。

本发明实施例，通过采用眼球追踪技术，精确定位视场内的观测点并以视线滞留作为视频播放中的局部放大操作，解决了当前VR设备播放视频无法局部放大的问题。

附图说明

图1为本发明实施例提供的一种VR设备的外形结构示意图；

图2为本发明实施例提供的一种基于视线的VR显示方法的示意图；

图3为本发明实施例提供的一种视线定位的初始化方法示意图；

图4为本发明实施例提供的一种第二瞳孔中心的定位方法示意图；以及

图5为本发明实施例提供的一种视线滞留判断方法的示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1为本发明实施例提供的一种VR设备的外形结构示意图。该VR设备10包括本体11、处理器12和瞳孔图像采集设备13。其中，瞳孔图像采集设备13为包括至少一个红外光源的图像采集设备。因为红外光源对瞳孔内、外的反射有很明显的差异，在瞳孔区域光线较强，亮度高；在非瞳孔区则图像较暗，亮度低，因此可以有效协助图像采集设备完成瞳孔处的拍摄。该VR设备10例如为头戴式设备，当然本发明不限于图中所示的外形结构，任何可以实现VR显示功能的设备均为本发明的保护范围。

请参见图2，图2为本发明实施例提供的一种基于视线的VR显示方法的示意图。该方法可以包括：

初始化阶段：接收初始化指令后显示测试图像并采集用户的第一瞳孔图像以完成所述用户的视线定位初始化。

播放阶段：播放视频时，采集所述用户的第二瞳孔图像并根据所述第二瞳孔图像确定所述用户的第二瞳孔中心点；

局部放大阶段：判断所述第二瞳孔中心点在设定时间阈值内是否发生变化，并在未发生变化时局部放大当前视线方向的视频画面。

其中，请参见图3，图3为本发明实施例提供的一种视线定位的初始化方法示意图。在初始化阶段，具体方法包括如下步骤：

步骤1、接收初始化指令后在视场范围内按照预设的程序依次显示M个观测点以引导所述用户依次观察所述M个观测点；

步骤2、采集所述用户在M个观测点的所述第一瞳孔图像；

步骤3、根据所述第一瞳孔图像确定所述用户的第一瞳孔中心点；

步骤4、根据所述M个观测点和所述M个观测点对应的所述第一瞳孔中心点完成对所述用户的视线定位初始化。

其中，步骤3可以包括：

步骤31、处理所述第一瞳孔图像形成第一灰度图像；

步骤32、从所述第一灰度图像中获取所述第一瞳孔的边缘点，并根据所述边缘点拟合形成第一类椭圆曲线；

步骤33、将所述第一类椭圆曲线的中心作为所述第一瞳孔中心点。

具体地，在步骤31中，首先对瞳孔图像进行预处理形成修正后的红外图像，采用增强算子作用在所述红外图像的每个像素以使图像亮度增强进而实现灰度对比度的增大，之后对所述红外图像采用拉普拉斯法进行图像滤波处理；其中，所述增强算子的公式为：En＝c*lg(1+double(f0))；其中，En为增强算子，f0为原函数灰度值，c是常系数。其中，c的具体取值可根据实际情况设置，本发明在此不做限制。

步骤32中，首先估算瞳孔中心点的初步位置，假设采用灰度积分法的方式完成：

其中，(xmin，ymin)为估算瞳孔中心点的初步坐标，min表示取最小值运算，sum表示求和运算，f(i,j)表示在坐标(x，y)处图像的灰度值。

其次，找出边缘点：

以坐标(xmin，ymin)为起点沿指定射线方向在所述修正红外图像上计算灰度的梯度值，并将梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置。

之后，根据多个边缘点拟合类椭圆曲线：

第一步、从N个边缘点中选取任意5个点，使用最小二乘法进行椭圆拟合形成类椭圆方程1；

第二步、对N个边缘点利用随机采样一致性算法通过所述类椭圆方程1进行局内点和局外点甄别，统计得到K个局内点和N-K个局外点；

落在所述类椭圆上的点，视为局内点。

第三步、判断局内点占有率σ＝K/N是否小于阈值t1；若是，则确定这5个点为非典型特征点，拟合椭圆为非典型特征椭圆，则重新执行第一步；若否，则确定所述5个点为典型特征点，则执行第四步；

第四步、从K个局内点任意选取5个点，利用最小二乘法对类椭圆方程1进行优化形成类椭圆方程2，并对N个边缘点利用随机采样一致性算法通过类椭圆方程2进行局内点和局外点甄别，最终统计得到K1个局内点和N-K1局外点；

第五步、判断局内点占有率σ＝K1/N是否大于第二阈值t2；如是，则终止迭代，认为所述类椭圆方程2为最优方程；若否，则执行第四步。

步骤33具体为：从类椭圆方程2中找到长轴和短轴的交点，作为瞳孔中心点。

可选地，步骤4可以包括：

选取观测点与对应的第一瞳孔中心点之间的映射模型，所述映射模型为：其中(X,Y)为观测点在自设坐标系下的坐标信息，(x,y)为第一瞳孔中心点在自设坐标系下的坐标信息，a、b、c、d、e、f、g、h、k、l、m及n为所述映射模型的参数；

根据所述M个观测点的坐标和所述M个观测点对应的所述第一瞳孔中心点的坐标计算所述映射模型中的参数以完成所述映射模型的设立。

具体地，假设视场中依次出现的M个点的坐标记录为X＝(X₁,X₂,X₃…X_k),Y＝(Y₁,Y₂,Y₃…Y_k)，对应的瞳孔中心坐标为x＝(x₁,x₂,x₃…x_k),y＝(y₁,y₂,y₃…y_k)，模型的建立则可以用下面的矩阵表达：

f(x,y)表示x和y的一种关系，代表着映射关系函数F绝非简单的一次线性关系，[M]表示瞳孔中心位置和屏幕坐标之间的映射参数。

本发明建立的模型如下：

将该模型使用矩阵形式表达为：

则

在本模型中，取M＝6时，X，Y对应有6个观测点坐标，瞳孔相应也有6个对应中心坐标，X＝|X₁,X₂,X₃,X₄,X₅,X₆|，Y＝|Y₁,Y₂,Y₃,Y₄,Y₅,Y₆|，同理，x＝|x₁,x₂,x₃,x₄,x₅,x₆|，y＝|y₁,y₂,y₃,y₄,y₅,y₆|，那么上面的矩阵可以进一步改写为：

通过方程组求出a、b、c、d、e、f、g、h、k、l、m及n，进而得到所述映射模型。

对于播放阶段，请参见图4，图4为本发明实施例提供的一种第二瞳孔中心的定位方法示意图。对于瞳孔的定位包括如下步骤：

采集所述第二瞳孔图像并对所述第二瞳孔图像进行灰度化处理形成第二灰度图像；

从所述第二灰度图像中获取第二瞳孔的边缘点，并根据所述边缘点拟合形成第二类椭圆曲线；

将所述第二类椭圆曲线的中心作为所述第二瞳孔中心点。

其中，对于第二瞳孔中心点的确定方式类似于上述的步骤3中的方法，此处不再赘述。

在局部放大阶段，请参见图5，图5为本发明实施例提供的一种视线滞留判断方法的示意图。判断所述瞳孔中心点在设定时间阈值内是否发生变化，可以包括如下步骤：

步骤a、将当前时刻采集的所述第二瞳孔图像与前一时刻采集的所述第二瞳孔图像进行第二瞳孔中心点比对；

步骤b、若无变化，从前一时刻开始记录时间；

步骤c、采集下一时刻的所述第二瞳孔图像；

步骤d、将下一时刻采集的所述第二瞳孔图像与当前时刻采集的所述第二瞳孔图像进行第二瞳孔中心点比对；

如无变化，则累加时间并判断累计时长是否大于等于所述设定的时间阈值，若是，则停止；若否，继续执行步骤c；

若有变化，则重新执行步骤a。

在上述判断中确定第二瞳孔中心点未发生变化时，局部放大当前视线方向的视频画面。具体地：

首先，根据所述视线定位初始化中确定的映射模型及所述第二瞳孔中心点获得对应在视场画面中的观测点。其中，映射模型与前述的映射模型一致，此处不再赘述。

其次，调用内存资源局部放大所述观测点位置处的视频画面。即以观测点为中心，调用所述VR设备的内存资源，以视场形状按照预设规则扩大局部的视频画面；其中，用于局部放大的视频画面所采用的内存资源为由放大后已不在视场范围的视频画面所采用的内存资源形成。

对于VR设备，尤其是头戴设备，其视场空间是一定的，如果局部放大视频画面的话，就必然有原视频画面中的部分画面不在视场内。为了节省内存空间，可以将不在视场内的视频画面所使用的内存资源释放，同时由处理器控制将释放的内存资源用于实现被放大的部分，这样的内存调用可以节省内存占用率，降低VR设备的内存成本。至于放大倍数和放大范围可以根据实际情况进行设定，此处不作任何限制。

本发明实施例的VR显示方法的应用例如是：用户在VR场景下观看视频时，如果对某一处视频比较感兴趣的话，可以利用视线滞留这种方式来让VR设备执行局部放大的功能，提高用户的体验感。同时，该操作可以不暂停视频的播放，类似于用户在模拟世界感观的真实体验，扩大VR设备的应用场景。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。