基于人眼跟踪和双向背光的桌面式光场显示系统及方法与流程

1.本发明涉及三维显示技术领域，尤其涉及基于人眼跟踪和双向背光的桌面式光场显示系统及方法。


背景技术：

2.随着显示技术的发展，从最初的黑白显示、彩色电视显示、视差型的裸眼3d显示以及最终的真三维显示，显示技术不断迭代更新，人们也对显示设备的应用场景提出了更多要求，简单的二维平面显示已经不能满足目前人们对影视动画、互动游戏、楼宇沙盘、文物展示等领域的多样化需求。桌面化的三维场景展示，是契合人眼对三维场景的一种观看方式，也能够满足多人观看的需求，是一种理想的三维显示方案。
3.目前已经开发出的基于光栅结构的桌面式裸眼三维显示装置大都仅仅具有一个方向的立体视角，无法为多人同时提供高分辨率的三维图像。基于透镜阵列的集成成像三维显示，虽然可以在多个方向显示三维场景，但分辨率无法满足高清显示的需求。


技术实现要素：

4.本发明的目的在于提供基于人眼跟踪和双向背光的桌面式光场显示系统及方法，以解决现有三维显示系统在多人应用场景下无法高清显示的技术问题。
5.为实现上述目的，本发明的基于人眼跟踪和双向背光的桌面式光场显示系统及方法的具体技术方案如下：
6.作为本发明的一个方面，提供了基于人眼跟踪和双向背光的桌面式光场显示系统，包括液晶显示屏、位于液晶显示屏背光侧的双向背光单元和位于液晶显示屏出光侧的控光器件，还设置有渲染装置和用于采集观看者人眼位置信息的人眼跟踪装置，渲染装置根据不同观看者人眼位置信息渲染合成出适应不同的观看区域的3d图像。双向背光单元的结构可以在桌面式光场显示器两侧分别构造三维场景各自侧面的视差信息，以满足多人多方向观看的实际需求，人眼跟踪装置可以实时跟踪观看者的观看位置，单独为其提供视野范围内的三维图像，可以消除原有三维显示技术带来的视觉疲劳、视区跳变和分辨率低等不足，实现高刷新率、高分辨率的三维图像显示，提升观看体验。
7.进一步的，渲染装置包括：
8.第一获取模块，用于获取当前需要渲染的图像数据；
9.第二获取模块，用于获取人眼位置坐标；
10.处理模块，用于根据人眼位置坐标，以及人眼与全息功能屏夹角，计算人眼所聚焦的空间位置坐标；确定当前帧及下一帧所需要的高清渲染区域，建立高清渲染区域与空间位置坐标的对应关系；对当前帧对应的第一类型显示数据进行预渲染，生成第一预显示图像；对当前帧对应的第二类型显示数据进行渲染，生成第二预显示图像；
11.合成模块，用于对第一预显示图像和第二预显示图像进行合成，生成当前帧完整的显示图像；
12.依次对下一帧进行如当前帧的循环往复渲染操作；
13.其中，第一类型显示数据的分辨率低于第二类型显示数据的分辨率；
14.输出模块，用于将显示图像输出至液晶显示屏。
15.进一步的，控光器件包括光栅和全息功能屏，经过全息功能屏的扩散作用后,体像素发出的光线发生扩束,因而重构的光场分布将更加均匀连续,与原始光场也更加接近,显示图像更加均匀自然。
16.进一步的，光栅包括柱镜光栅或狭缝光栅，柱镜光栅和狭缝光栅可将不同合成图像的光线折射到不同方向并周期性会聚到对应的焦点处,这些焦点可以看作为三维显示系统的体像素点，多个不同体像素发出的光线分别进入人的双眼时,即可获得三维场景的多幅视差图像,从而获得立体感。
17.作为本发明的另一个方面，提供了基于人眼跟踪和双向背光的桌面式光场显示方法，包括如下步骤：
18.步骤s101，获取观看者的人眼位置信息，位置信息包括垂深度信息、竖直空间坐标和水平空间坐标；
19.步骤s102，确定观看者人眼的聚焦区域为观看子区域，通过光线反向追踪定位并点亮观看子区域的子像素；
20.步骤s103，将人眼位置信息进行作为调制参数，渲染合成出包括观看子区域的3d图像；
21.步骤s104，跟踪观看者人眼位置的变化，重复步骤以动态获得相应的3d图像。
22.进一步的，渲染合成过程包括如下步骤：
23.步骤s201，获取当前需要渲染的图像数据和人眼位置坐标；
24.步骤s202，根据人眼位置坐标，以及人眼与全息功能屏夹角，计算人眼所聚焦的空间位置坐标；
25.步骤s203，确定当前帧及下一帧所需要的高清渲染区域，建立高清渲染区域与空间位置坐标的对应关系；
26.步骤s204，对当前帧对应的第一类型显示数据进行预渲染，生成第一预显示图像；
27.步骤s205，对当前帧对应的第二类型显示数据进行渲染，生成第二预显示图像；
28.步骤s206，对第一预显示图像和第二预显示图像进行合成，生成当前帧完整的显示图像；
29.步骤s207，依次对下一帧进行如步骤s204至步骤s205的循环往复渲染操作；
30.其中，第一类型显示数据的分辨率低于第二类型显示数据的分辨率。
31.进一步的，在步骤s102中，包括如下步骤：
32.步骤s1021，根据人眼位置信息，计算观看子区域对应光场单元的视锥体的透视变换矩阵；
33.步骤s1022，通过透视投影变换分析，计算出虚拟相机的视锥体透视变换矩阵后，根据观看者的视锥体修改虚拟相机的投影矩阵，确定投影点坐标，建立非标准投影，使虚拟相机采集的光场信息具有正确的透视关系；
34.步骤s1023，根据实时人眼位置信息和投影点坐标，通过光线反向追踪点亮观看子区域所需的所有子像素单元，用于为每个观看子区域渲染具有正确透视关系的光场图像。
35.进一步的，偏离人眼所聚焦的空间位置坐标每增加预定角度，渲染分辨率依层级递减。
36.本发明提供的基于人眼跟踪和双向背光的桌面式光场显示系统及方法具有以下优点：
37.双向背光单元的结构可以在桌面式光场显示器两侧分别构造三维场景各自侧面的视差信息，以满足多人多方向观看的实际需求。人眼跟踪装置可以实时跟踪观看者的观看位置，单独为其提供视野范围内的三维图像，可以消除原有三维显示技术带来的视觉疲劳、视区跳变和分辨率低等不足，实现高刷新率、高分辨率的三维图像显示，提升观看体验。
附图说明
38.图1为本发明提供的桌面式光场显示系统功能框图；
39.图2为本发明提供的桌面式光场显示系统的产品结构示意图；
40.图3为本发明提供的双向背光单元结构示意图；
41.图4为本发明提供的桌面式光场显示系统应用场景图；
42.图5为本发明提供的中央凹视野和边视野示意图；
43.图6为本发明提供的桌面式光场显示方法流程图；
44.图7为本发明提供的渲染流程图；
45.图8为本发明提供的视点分段式体像素构建示意图；
46.图9为本发明提供的lcd上子像素的图像编码过程图；
47.图10为本发明提供的入射光线与柱镜上覆盖子像素的几何关系图。
48.图中：10、液晶显示屏；20、双向背光单元；21、led灯珠；22、菲涅尔透；30、控光器件；31、光栅；32、全息功能屏；40、人眼跟踪装置；50、渲染装置；60、3d图像。
具体实施方式
49.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
50.参阅图1至图7，本发明提供了基于人眼跟踪和双向背光的桌面式光场显示系统，包括液晶显示屏10、位于液晶显示屏10背光侧的双向背光单元20和位于液晶显示屏10出光侧的控光器件30，还设置有渲染装置50和用于采集观看者人眼位置信息的人眼跟踪装置40，渲染装置50分别液晶显示屏10和人眼跟踪装置40连接，渲染装置50根据不同观看者人眼位置信息渲染合成出适应不同的观看区域的3d图像60。
51.双向背光单元20的结构可以在桌面式光场显示器两侧分别构造三维场景各自侧面的视差信息，以满足多人多方向观看的实际需求。人眼跟踪装置40可以实时跟踪观看者的观看位置，单独为其提供视野范围内的三维图像，可以消除原有三维显示技术带来的视觉疲劳、视区跳变和分辨率低等不足，实现高刷新率、高分辨率的三维图像显示，提升观看体验。
52.其中，渲染装置50包括：
53.第一获取模块，用于获取当前需要渲染的图像数据；
54.第二获取模块，用于获取人眼位置坐标；
55.处理模块，用于根据人眼位置坐标，以及人眼与全息功能屏32夹角，计算人眼所聚焦的空间位置坐标；确定当前帧及下一帧所需要的高清渲染区域，建立高清渲染区域与空间位置坐标的对应关系；对当前帧对应的第一类型显示数据进行预渲染，生成第一预显示图像；对当前帧对应的第二类型显示数据进行渲染，生成第二预显示图像；
56.合成模块，用于对第一预显示图像和第二预显示图像进行合成，生成当前帧完整的显示图像；
57.依次对下一帧进行如当前帧的循环往复渲染操作；
58.其中，第一类型显示数据的分辨率低于第二类型显示数据的分辨率；
59.输出模块，用于将显示图像输出至液晶显示屏10。
60.在本发明的一实施例中，控光器件30包括光栅31和全息功能屏32，将携带子像素颜色和强度信息的定向光线转换为体像素点，由此构建出三维图像。
61.在本发明的一实施例中，光栅31包括柱镜光栅或狭缝光栅，可将不同合成图像的光线折射到不同方向并周期性汇聚到对应的焦点处，这些焦点可以看作为三维显示系统的体像素点。多个不同体像素发出的光线分别进入人的双眼时，即可获得三维场景的多幅视差图像，从而获得立体感。
62.在本发明的一实施例中，双向背光单元20包括led灯珠21和菲涅尔透22镜，led灯珠21位于菲涅尔透22镜的焦点位置，构成双向准直背光单元，提供双向准直背光，并根据液晶显示屏10的刷新频率实时刷新。
63.例如，液晶显示屏10的最高刷新频率为120hz，双向背光单元20以每秒120次与液晶显示屏10交替同步刷新，使得观看到的动态三维图像刷新率均为60hz。
64.人眼跟踪装置40包括两个具有深度采集功能的深度相机组成，人眼跟踪装置40分别与渲染装置50和液晶显示屏10连接，用于采集双向背光单元20发出光线范围内，参阅图4，多位观看者距离光场显示装置的吹着深度以及处在采集范围内的水平和竖直坐标。与此同时，系统将双向背光单元20提供的两侧观看范围分为多个视区宽度不小于常规人眼瞳距的观看子区域，当采集到多个观看者的人眼坐标后，通过光线反向追迹定位到点亮该观看子区域的子像素，并在渲染装置50中计算生成该子区域内的三维场景所需的合成图像。并传输至渲染装置50实时计算当前观看者位置应当看到的合成图像。渲染装置50将信号输出至液晶显示屏10，与双向背光同步刷新。
65.当观看者从某一位置观看整个桌面光场显示系统时，观看者与桌面光场设备的相对位置和观看角度各不相同。这会导致基于人眼追踪的三维光场构建位置偏离虚拟相机的光场采集位置，使光场内容的透视关系发生错误，发生不同程度的扭曲、畸变、倾斜等情况。在传统的光场显示系统的3d信息采集过程中,虚拟相机阵列简单的面向三维场景拍摄，采集到的光场图像透视关系单一。当观看者变换观看位置和观看角度时,就会出现透视关系与观看角度不一致,场景变得“倾倒”、“压缩”。
66.为此本发明还提供了基于人眼跟踪和双向背光的桌面式光场显示方法，包括如下步骤：
67.步骤s101，获取观看者的人眼位置信息，位置信息包括深度信息、竖直空间坐标和水平空间坐标；
68.步骤s102，确定观看者人眼的聚焦区域为观看子区域，通过光线反向追踪定位并点亮观看子区域的子像素；
69.步骤s103，将人眼位置信息进行作为调制参数，渲染合成出包括观看子区域的3d图像60；
70.步骤s104，跟踪观看者人眼位置的变化，重复步骤以动态获得相应的3d图像60。
71.进一步的，渲染合成过程包括如下步骤：
72.步骤s201，获取当前需要渲染的图像数据和人眼位置坐标；
73.步骤s202，根据人眼位置坐标，以及人眼与全息功能屏32夹角，计算人眼所聚焦的空间位置坐标；
74.步骤s203，确定当前帧及下一帧所需要的高清渲染区域，建立高清渲染区域与空间位置坐标的对应关系；
75.步骤s204，对当前帧对应的第一类型显示数据进行预渲染，生成第一预显示图像；
76.步骤s205，对当前帧对应的第二类型显示数据进行渲染，生成第二预显示图像；
77.步骤s206，对第一预显示图像和第二预显示图像进行合成，生成当前帧完整的显示图像；
78.步骤s207，依次对下一帧进行如步骤s204至步骤s205的循环往复渲染操作；
79.其中，第一类型显示数据的分辨率低于第二类型显示数据的分辨率。
80.在步骤s102中，还涉及了观看子区域的分配方法以及图像编码方法：
81.参阅图8，三位观看者分别位于桌面式光场显示观看范围中的三个不同坐标处，每个观看者人都能看到由各自区域内视点分段式体像素提供的正确、全视差3d场景。3d场景中每个体像素发出的光线的集合v
3dscene
由式(1)表示：
[0082][0083]
其中，v
voxel
代表一个像素发出的光线的集合。表示视点分段式体像素发出的每根光线。x,y,z表示该体像素的坐标，θ和用来表示这些光线的出射角度，r,g,b包含了lcd上像素的颜色和强度信息。这8个参数可以精确的描述大量的光线信息，继而建立一个可以精确编码的3d光场显示场景。(xk,yk,zk)表示观看范围内第k位观看者的空间坐标，pixel(i,j,r,g,b)表示了lcd面板上子像素的位置、颜色、强度信息。通过计算光线在光场显示系统中的传播公式，可以计算出子像素与构成的体像素之间的函数映射关系。根据图9中所示的几何关系，观看者k所看到的视点分段式体像素发出的光线出射角度如式(2)(3)所示：
[0084][0085][0086]
根据视点分布分段编码的体像素可以为多位观看者提供正确的视差关系，相对应的子图像的编码方法如图9和图10所示。在实验中，的范围为-50
°
至50
°
，能够形成100
°
的观看视角范围，经过光学偏折膜对光线的折射作用后，将观看范围偏折至正面观看范围。根据图9中所示的几何关系可以得到出射光线的参数与柱镜坐标(x
′
,y
′
)的映射关
系如式(4)(5)(6)所示：
[0087][0088]
y＝y
′
+(l
′
+z)
·
tanθ\*mergeformat(5)
[0089][0090]
其中，l是lcd面板到全息扩散膜(hfs)的距离，l
′
是hfs到光学偏折膜的距离，n为光栅阵列的序列号，p为透镜或光栅单元的宽度。如图10所示，光线出射坐标(x
′
,y
′
)和子像素坐标(i,j)的关系如下所示：
[0091]i·wp
＝n
·
p+y
′
·
tanγ+p/2-d\*mergeformat(7)
[0092]j·wp
＝y
′
\*mergeformat(8)
[0093][0094][0095]
其中，d是子像素与相对应的倾角为γ和折射率为n的柱透镜中心的距离，d
′
为入射的准直光线与柱透镜中心的距离，h为光栅阵列到lcd显示面板之间的距离。将每个子像素的(i,j)和r,g,b值带入公式(2)(3)(4)(5)(6)(9)(10)中，就可以得到lcd上的子像素与hfs上的视点分段式体像素的函数映射关系，根据此关系可以在观看范围内精确地重构离散采样的3d光场图像。
[0096]
在步骤s102中，还包括如下步骤：
[0097]
步骤s1021，根据观看者的空间三维坐标即人眼位置信息，计算观看子区域对应光场单元的视锥体的透视变换矩阵；
[0098]
本发明提供的透视变换矩阵计算公式如下：
[0099][0100]
步骤s1022，通过透视投影变换分析，计算出虚拟相机的视锥体透视变换矩阵后，根据观看者的视锥体修改虚拟相机的投影矩阵，确定投影点坐标，建立非标准投影，使虚拟相机采集的光场信息具有正确的透视关系；
[0101]
本发明提供的投影点坐标计算公式如下：
[0102][0103]
步骤s1023，根据实时人眼位置信息和投影点坐标，通过光线反向追踪点亮观看子区域所需的所有子像素单元，用于为每个观看子区域渲染具有正确透视关系的光场图像。
[0104]
参阅图5，对于所观看的区域，包括中央凹视野b和位于其两侧的第一边视野a、第二边视野c，人眼在成像过程中，中央凹视野b的覆盖视野角度α一般为1～2度，视觉敏锐度高，而第一边视野a、第二边视野c成像是模糊的。
[0105]
模渲染装置50在画面渲染过程中只需要高清渲染中央凹视野b的范围，而对第一边视野a、第二边视野c进行模糊渲染。双眼及眼球转动，高清渲染的区域随着注视点的变化而变化，以在达到高清视觉体验的同时，又可降低系统负荷。
[0106]
进一步的，偏离人眼所聚焦的空间位置坐标每增加预定角度，对像素进行压缩，渲
染分辨率依层级递减。
[0107]
在本发明的一实施例中，偏离人眼所聚焦的空间位置坐标每增加1度，渲染分辨率降低0.1～2％；偏离人眼所聚焦的空间位置坐标每增加5度，渲染分辨率降低1～10％；如此，依照人眼敏感度的下降规律，对图像区域又进一步进行划分，兼顾了重点区域高清视觉显示的同时，又可降低渲染时负荷，节约了系统功耗。
[0108]
相关部件工作原理：
[0109]
从led灯珠21发出的散射光线经过菲涅尔透22镜产生折射，成为方向倾斜向上的两条定向光线，定向光线向前传播并穿过液晶显示屏10时会携带上显示屏中对应子像素的颜色和强度信息，用于在空间中重现三维图像。
[0110]
全息功能屏32是一种定向扩散膜，利用定向激光散斑法制作，上面分布差重复的散斑图案，能够使光线在水平和竖直方向以一定角度进行扩散。经过全息功能屏32的扩散作用后，体像素发出的光线发生扩束，使得重构的光场分布更加均匀和连续，与原始光场也更加接近，显示图像更加均匀自然。
[0111]
综上所述，本发明提供的基于人眼跟踪和双向背光的桌面式光场显示系统及方法，双向背光单元的结构可以在桌面式光场显示器两侧分别构造三维场景各自侧面的视差信息，以满足多人多方向观看的实际需求。人眼跟踪装置可以实时跟踪观看者的观看位置，单独为其提供视野范围内的三维图像，可以消除原有三维显示技术带来的视觉疲劳、视区跳变和分辨率低等不足，实现高刷新率、高分辨率的三维图像显示，提升观看体验。
[0112]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。