一种VR图像的显示控制系统及其显示控制方法与流程

文档序号:15625661发布日期:2018-10-09 22:55阅读:236来源:国知局

本发明涉及显示控制技术领域,尤其涉及的是一种vr图像的显示控制系统及其显示控制方法。



背景技术:

现在vr显示技术,是通过在观察者的左右眼前分别显示同一物体不同角度的2d图像,利用视差形成3d视感,由于左右眼所观察的2d图像的像距固定,其焦点调节与左右眼视差形成的有纵深的3d视感不匹配,出现辐辏调节冲突的问题,观察者长时间观看时会出现眼睛的疲劳甚至眩晕。

具体见图1a与图1b,图1a为观察真实3d实物的情况,图1b为现有vr技术的立体视觉示意图,图中101、102分别代表左眼、右眼,103为真实的3d实物,104为现有vr装置,105为vr成像位置,而3d视感位置为106,图中lb与la分别代表辐辏距离和聚焦距离,如图1a所示,人眼观察真实世界时辐辏距离lb和聚焦距离la相等,不存在辐辏调节冲突即调焦-聚焦矛盾,而在现有vr立体显示技术下,辐辏距离lb和聚焦距离la有较大差别,辐辏调节冲突的问题突出,影响观看体验。

现有技术中,主要有两种不同的vr显示技术,第一种显示技术的光路图见图2,显示屏210生成画面通过vr主透镜220生成vr图像230,供观察者左右眼观看。由于vr主透镜220的焦距固定,并且与显示屏210的距离固定,因此vr成像230的像距位置固定。可以看出,此显示技术的缺点是其vr成像位置固定,不能与3d视差图像的视感距离保持一致,因此存在辐辏调节冲突的问题。第二种显示技术是基于微透镜阵列的光场显示技术,其光场如图3,位于微透镜阵列320焦平面附近的显示屏像素310通过微透镜阵列形成光场矢量330,光场矢量则经过人眼340汇聚成像,通过选择不同像素可调整光场矢量角度从而调整成像的像距以避免辐辏调节冲突。从图3中可以看出每个像素形成一个光场矢量,而多个光场矢量形成一个像点。基于微透镜阵列的光场显示技术的缺点是:需要多个像素点才能显示一个像点,提供光场矢量角度分辨率的同时降低了显示图像的空间分辨率,而且角度分辨率与空间分辨率是一对矛盾。

因此,现有技术有待于进一步的改进。



技术实现要素:

鉴于上述现有技术中的不足之处,本发明的目的在于为用户提供一种基于vr的图像处理方法与系统,克服现有技术中vr成像位置固定,视觉辐辏调节冲突的缺陷。

本发明提供的第一实施例为一种vr图像的显示控制系统,包括:显示屏和vr主透镜,其中,还包括:

用于追踪观看者的人眼,并识别出人眼注视点区域的眼球追踪装置;

用于调节vr成像位置,设置在所述vr主透镜和显示屏之间的可移动透镜组;

以及与所述可移动透镜组均建立连接的计算与控制装置和驱动装置;

所述眼球追踪装置与所述计算与控制装置相连接,用于将识别出的人眼注视点区域的数据信息传输到计算与控制装置;

所述计算与控制装置,用于根据注视点区域的数据信息计算出当成像像距与注视点区域图像像距相同时所述可移动透镜组所需调节的位置数据,并根据所述位置数据生成驱动控制指令;

所述驱动装置,接收所述驱动控制指令,驱动可移动透镜组移动至所述位置数据所对应的光轴坐标,调整vr图像的像距与所述注视点区域图像的像距保持一致。

可选的,所述眼球追踪装置基于眼球追踪技术获取人眼注视点区域。

可选的,所述计算与控制装置还用于,根据人眼的注视点区域获取待显示图像内相对应子图像的像距信息,并根据所述子图像的像距信息计算出成像像距信息。

可选的,所述显示控制系统,还包括:与显示屏相连接的图形处理器;

所述计算与控制装置,还用于计算人眼注视点区域与非注视点区域之间的像距差值,并根据所述像距差值计算各个非注视点区域所对应子图像的虚化参数;

所述图形处理器,用于根据计算出的虚化参数对各个非注视点区域所对应的子图像进行虚化处理。

可选的,所述可移动透镜组至少包括一个透镜,所述透镜与vr主透镜平行且共光轴。

本发明所提供的第二实施例为所述的显示控制系统的显示控制方法,其中,包括以下步骤:

追踪观看者的人眼,并识别出人眼注视点区域;

根据识别出的人眼注视点区域的数据信息,计算当成像像距与注视点区域图像像距相同时所述可移动透镜组所需调节的位置数据,并根据所述位置数据生成驱动控制指令;

接收所述驱动控制指令,驱动可移动透镜组移动至所述位置数据所对应的光轴坐标,调整vr图像的像距与所述注视点区域图像的像距保持一致。

可选的,所述根据识别出的人眼注视点区域的数据信息,计算当成像像距与注视点区域图像像距相同时所述可移动透镜组所需调节的位置数据的步骤还包括:

根据人眼的注视点区域获取待显示图像内相对应子图像的像距信息,并根据所述子图像的像距信息计算出成像像距信息。

可选的,所述根据识别出的人眼注视点区域,计算当成像像距与注视点区域图像像距相同时所述可移动透镜组所需调节的位置数据的步骤包括:

保持显示屏与vr主透镜之间的位置不变,以及依据高斯成像公式推导出可移动透镜组所需调节的位置数据。

可选的,所述的显示控制方法,还包括步骤:

计算人眼注视点区域与非注视点区域之间的像距差值,并根据所述像距差值计算各个非注视点区域所对应子图像的虚化参数;

根据计算出的虚化参数对各个非注视点区域所对应的子图像进行虚化处理。

可选的,所述可移动透镜组至少包括一个透镜,所述透镜与主透镜平行且共光轴。

有益效果,本发明提供了一种vr图像的显示控制系统及其显示控制方法,包括:显示屏、vr主透镜、眼球追踪装置、可移动透镜组,以及与所述可移动透镜组均建立连接的计算与控制装置和驱动装置;所述眼球追踪装置用于识别出人眼注视点区域,并将识别出的人眼注视点区域传输到计算与控制装置;所述计算与控制装置根据注视点区域计算出当成像像距与注视点区域图像像距相同时所述可移动透镜组所需调节的位置数据;所述驱动装置,驱动可移动透镜组移动至所述位置数据所对应的光轴坐标,调整vr图像的像距与所述注视点区域图像的像距保持一致。本发明提供的显示控制系统及方法首先获取人眼的注视点区域,利用可移动透镜组调节成像像距与人眼注视点区域像距之间的差距,克服由于vr成像位置固定而导致视觉辐辏调节冲突的缺陷,解决了用户观看vr视频时,由于视觉辐辏调节冲突问题。

附图说明

图1a是现有技术中观察真实3d实物的示意图;

图1b是现有技术中vr技术的立体视觉示意图;

图2是现有技术中vr显示技术的光路图;

图3是现有技术中基于微透镜阵列的vr光场显示技术光路图;

图4是本发明提供的一种vr图像的显示控制系统的结构示意图;

图5是本发明应用实施例中待显示图像和子图像的结构示意图;

图6是本发明应用实施例中人眼注视点区域所对应子图像的结构示意图;

图7是本发明所提供的vr图像显示控制系统的光路图;

图8是本发明所述所提供vr图像的显示控制方法的方法步骤流程图;

图9是本发明所述方法具体应用实施的步骤流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。

现在vr显示技术,是通过在观察者的左右眼前分别显示有视差的2d图像,形成3d视感,由于左右眼所观察的2d图像的像距固定,存在辐辏调节冲突的问题,使得观察者长时间观看时会出现眼睛疲劳甚至眩晕,这是3d显示中需解决的问题。为了解决现有vr显示技术中存在的辐辏调节冲突的问题,本发明提供了一种vr图像的显示控制系统及其显示控制方法。

本发明提供的第一实施例提供了一种vr图像的显示控制系统,如图4所示,所述显示控制系统包括:显示屏440和vr主透镜460,其中,还包括:

用于追踪观看者的人眼,并识别出人眼注视点区域的眼球追踪装置420;

用于调节vr成像位置,设置在所述vr主透镜460和显示屏440之间的可移动透镜组(包括凹透镜451和凸透镜452);以及与所述可移动透镜组均建立连接的计算与控制装置400和驱动装置470;

所述眼球追踪装置420与所述计算与控制装置400相连接,用于将识别出的人眼注视点区域的数据信息传输到计算与控制装置400;

所述计算与控制装置400,用于根据注视点区域的数据信息计算出当成像像距与注视点区域图像像距相同时所述可移动透镜组所需调节的位置数据,并根据所述位置数据生成驱动控制指令;

所述驱动装置470,接收所述驱动控制指令,驱动可移动透镜组移动至所述位置数据所对应的光轴坐标,调整vr图像的像距与所述注视点区域图像的像距保持一致。

本发明中所述的注视点区域即是观看者的眼睛所注视的区域,在具体实施时,优选地,所述眼球追踪装置基于眼球追踪技术获取人眼的注视点区域,得到注视点区域。可以想到的是,还可以选择由红外光源+红外图像识别模块识别瞳孔与普尔钦斑实现,只要能实现准确获取到人眼的注视点区域的信息均可。

具体的,所述计算与控制装置400,还用于根据人眼的注视点区域获取待显示图像内相对应子图像的像距信息,并根据所述子图像的像距信息计算出成像像距信息。

结合图5所示,计算与控制装置从gpu中获取待显示图像51的图像数据,并根据图像数据获取注视点区域所对应于待显示图像51中的子图像52的像距信息。

计算将vr成像的像距调节与上述注视点区域的图像像距相同时可移动透镜组所应处于的光轴坐标位置。

较佳的,为了实现更好地对vr成像的像距进行调整,所述可移动透镜组至少包括一个透镜,为了更便于调节像距,也可以选择使用一个凸透镜和一个凹透镜,可以想到的是,选择使用一个透镜进行像距调整,还是选择使用一个凸透镜与凹透镜,透镜均需要与vr主透镜平行且共光轴。

结合图6至图7所示,以可移动透镜组包含一个凸透镜和一个凹透镜为例,对根据注视点区域的数据信息计算出可移动透镜组所应处于的光轴坐标位置的步骤进行更加详细的说明,具体的,所述步骤包括:

首先,计算与控制装置获取待显示图像中所包含的子图像像距数据。较佳的,所述子图像的像距数据采用二维数组格式,x[i][j]为像距值,i,j分别为子图像在图像中的坐标,子图像的像距数据,如下二维矩阵所示:

其次,眼球追踪装置基于眼球追踪技术计算观察者正在观看的注视点位置坐标。如图6所示,跟踪到人眼正在观察的注视点位置坐标为(i,j),即对应热气球中部子图像。计算与控制单元读取注视点位置坐标对应的子图像像距数据,确定图像待显示的位置,即像距。由于坐标(i,j)对应像距为x[i][j],则图像应在像距x[i][j]处成像。

再次,计算与控制单元根据子图像的像距数据计算出可移动透镜位置。本实施例光路如图7,可移动透镜组包含2片可移动透镜,沿显示屏发出的入射光方向依次排列第一可移动透镜720与第二可移动透镜730,其中第一可移动透镜为凹透镜,第二可移动透镜为凸透镜,第一可移动透镜与第二可移动透镜均与vr主透镜平行且共光轴。

如图7所示,显示屏710所显示的图像依次经过第一可移动透镜720、第二可移动透镜730分别成中间像1(760)、中间像2(770),中间像1(760)与中间像2(770)均为虚像,中间像2(770)经vr主透镜740成vr图像。图7中,hp:显示屏像高;le:人眼距vr主透镜距离;f:vr主透镜焦距;s:vr成像与vr主透镜的距离,即像距;ss:vr成像与人眼距离,即视距,ss=s+le;hx:vr像高度;l1:显示屏与第一可移动透镜的距离,为待计算参数;s1:中间像1与第一可移动透镜的距离;l2:中间像1与第二可移动透镜的距离,为待计算参数;l02:第二可移动透镜与显示屏的距离;s2:中间像2与第二可移动透镜的距离;lz:中间像2与vr主透镜的距离。

在计算第一可移动透镜,第二可移动透镜的位置时需满足以下要求:

1)、像距调整过程中视角不变,即ss与hx比值v保持不变

2)、显示屏与主透镜的距离保持不变,即ls=l1-s1+l2+lz-s2保持不变

根据以上要求,结合图7光路图所示,依据高斯成像公式可以推导出第一可移动透镜、第二可移动透镜的位置,其推导步骤如下:

vr主透镜焦距为f,符号为正,物距为lz,像距为(-s),(虚像);

第一可移动透镜的焦距为-f1(凹透镜),物距为l1,像距为(-s1)(虚像);

第二可移动透镜的焦距为f2,符号为正,物距为l2,像距为-s2(虚像);

其中,f1、f2为固定值,而l1、l2为待求量,需要满足的要求:

1)vr成像像距为s

2)虚像高v为视角相关的比例,调节第一可移动透镜和第二可移动透镜位置过程中不变

3)在可移动透镜组位置调节过程中,显示屏710与vr主透镜740之间的距离ls保持不变,

对vr主透镜使用高斯成像公式得到:

因此:

(02)

vr主透镜放大倍数为:(03)

光路总放大倍数应为(04)

第一可移动透镜与第二可移动透镜的总放大倍数k等于光路总放大倍数除以vr主透镜放大倍数,则根据上述公式(03)和公式(04),可以得到:

设:第一可移动透镜放大倍数为r,,即,(06)

对第一可移动透镜使用高斯成像公式有:

(07)

设:第二可移动透镜放大倍数为r2,

对第二可移动透镜使用高斯成像公式有(08)

(09)

又由于,即:(010)

将(10)代入(09)(08)得到:

(011)

(012)

再依次将公式(06)、(07)、(011)、(012)代入(01),可得:

化简上式可得到

对于给定的像距s,上式中的lm,k,f1,f2均为已定,因此上式是一个关于r的一元二次方程,解此方程可以得到:

其中:

=

又由于,得到:

最终,得到如下公式:

其中:

计算与控制装置根据以上公式(1)至公式(7)计算透镜位置,得到当前第一可移动透镜与显示屏的距离,以及第二可移动透镜相对于显示屏的距离。

根据以上公式计算的透镜结果如下:

给定数据:

主透镜焦距f:50mm,显示屏高度:30mm,视角相关的比例因子v=0.8

人眼距vr主透镜距离le:10mm,

第一可移动透镜物距焦距:90mm,

第二可移动透镜物距焦距:80mm,

主透镜与显示屏之间距离ls:38mm

对vr成像像距s=330mm,计算得到l1=10.09mm,l02=20.72mm,

对vr成像像距s=500mm,计算得到l1=10.99mm,l02=23.53mm,

对vr成像像距s=1000mm,计算得到l1=11.23mm,l02=25.79mm,

对vr成像像距s=2000mm,计算得到l1=11.21mm,l02=26.82mm,

对vr成像像距s=4000mm,计算得到l1=11.13mm,l02=27.30mm。

计算得到可移动透镜位置后,则根据上述距离数据生成驱动单元的驱动控制指令。

驱动装置接收驱动控制指令,根据上述计算所得到的l1和l02,移动第一可移动透镜和第二可移动透镜的位置,从而控制vr图像的像距与所述注视点区域图像的像距保持一致。

较佳的,为了更好的实现对用户注视点区域所对应的vr成像进行显示,本发明所公开的显示控制系统还包括:与显示屏440相连接的图形处理器(即图4中所示的gpu);

所述计算与控制装置,还用于计算人眼注视点区域与非注视点区域之间的像距差值,并根据所述像距差值计算各个非注视点区域所对应子图像的虚化参数;

所述图形处理器,用于根据计算出的虚化参数对各个非注视点区域所对应的子图像进行虚化处理。

本发明所述vr图像的显示控制系统,基于眼球追踪技术计算确定人眼所观察的图像区域,即确定观察者人眼当前的注视点区域,根据注视点区域确定左右眼应成像的像距,调节可移动透镜组各透镜位置以调节左右眼vr成像距离,使得左右眼图像落在应成像像距上,然后根据注视点区域与非注视点区域的像距计算非注视点区域的虚化参数,对非注视点区域进行虚化处理,不仅克服了由于vr图像的像距与人眼成像像距之间的差值,还避免了其他图像对用户注视点区域显示的影响,从而提供用户更加舒适的vr观看环境。

本发明所述显示控制系统的有益效果是,根据观察者的注视点位置,实时调整vr成像在光轴上的位置即像距,并可依据非注视点区域与注视点区域的像距差异对非注视点区域图像进行虚化,以解决人眼观看3d图像时由于辐辏冲突而产生的眩晕和视觉疲劳问题。

本实施例公开的第二实施例为一种如所述的显示控制系统的显示控制方法,如图8所示,包括以下步骤:

步骤s810,追踪观看者的人眼,并识别出人眼注视点区域;其功能如上述系统中眼球追踪装置所述。

步骤s820,根据识别出的人眼注视点区域的数据信息,计算当成像像距与注视点区域图像像距相同时所述可移动透镜组所需调节的位置数据,并根据所述位置数据生成驱动控制指令;其功能如上述系统中计算与控制装置所述。

步骤s830,接收所述驱动控制指令,驱动可移动透镜组移动至所述位置数据所对应的光轴坐标,调整vr图像的像距与所述注视点区域图像的像距保持一致,其功能如上述系统中所述驱动装置所述。

较佳的,所述根据识别出的人眼注视点区域,计算当成像像距与注视点区域图像像距相同时所述可移动透镜组所需调节的位置数据的步骤还包括:

根据人眼的注视点区域获取待显示图像内相对应子图像的像距信息,并根据所述子图像的像距信息计算出成像像距信息。

较佳的,所述根据识别出的人眼注视点区域的数据信息,计算当成像像距与注视点区域图像像距相同时所述可移动透镜组所需调节的位置数据步骤包括:

保持显示屏与vr主透镜之间的位置不变,以及依据高斯成像公式可以推导出可移动透镜组的位置数据。

较佳的,所述可移动透镜组包括一个凸透镜和一个凹透镜,所述凸透镜与凹透镜均与主透镜平行且共光轴。

为了实现更好的对vr图像进行显示,上述显示控制方法还包括步骤:

计算人眼注视点区域与非注视点区域之间的像距差值,并根据所述像距差值计算各个非注视点区域所对应子图像的虚化参数;

根据计算出的虚化参数对各个非注视点区域所对应的子图像进行虚化处理。

为了对本发明所述提供的显示控制方法做更详细的解释,下面对本发明在具体应用实施例时的步骤进行更加详细的说明。

在进行具体实施时,如图9所示,本发明所提供的方法具有以下步骤:

步骤s910,计算与控制装置获取待显示图像中所包含的子图像像距数据。

步骤s920,眼球追踪装置基于眼球追踪技术计算观察者正在观看的注视点位置坐标。例如:观察者人眼正在观看的注视点位置坐标位于待显示图像的中部区域。

步骤s930,计算与控制装置读取注视点位置坐标对应的子图像像距数据,确定图像待显示的位置,即像距。

步骤s940,计算与控制装置计算可移动透镜组中各个透镜组所应处于的位置坐标,并生成驱动控制指令。本实施例中,可移动透镜组包含2片可移动透镜,沿显示屏发出的入射光方向依次排列第一可移动透镜720与第二可移动透镜730,第一可移动透镜为凹透镜,第二可移动透镜为凸透镜,此透镜与主透镜平行且共光轴。

步骤s950,驱动设备根据驱动控制指令调节可移动透镜组的位置,进而调整vr图像的像距与所述注视点区域图像的像距保持一致。

步骤s960,根据注视点区域与非注视点区域的像距差值计算各非注视点区域子图像虚化因子。

步骤s970,gpu根据虚化因子对各个非注视点区域进行虚化处理。

本发明提供了一种vr图像的显示控制系统及其显示控制方法,包括:显示屏、vr主透镜、眼球追踪装置、可移动透镜组,以及与所述可移动透镜组均建立连接的计算与控制装置和驱动装置;所述眼球追踪装置与所述计算与控制装置相连接,用于将其获取的人眼注视点区域数据传输到计算与控制装置;所述计算与控制装置根据注视点区域的数据信息计算出当成像像距与注视点区域图像像距相同时所述可移动透镜组所处的位置数据;所述驱动装置,驱动可移动透镜组移动至所述位置数据所对应的光轴坐标,调整vr图像的像距与所述注视点区域图像的像距保持一致。本发明提供的显示控制系统及方法首先获取人眼的注视点区域,利用可移动透镜组调节成像像距与人眼注视点区域像距之间的差距,克服由于vr成像位置固定,视觉辐辏调节冲突的缺陷,解决了用户观看vr视频或图像时,由于视觉辐辏调节冲突导致的人眼疲劳问题。

可以理解的是,对本领域普通技术人员来说,可以根据本发明的技术方案及其发明构思加以等同替换或改变,而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1