一种长距离裸眼立体显示方法及其系统与流程

本发明涉及三维显示技术领域，更具体地，涉及一种长距离裸眼立体显示方法及其系统。

背景技术：

目前，裸眼三维立体显示方法，包括全息显示技术、体显示技术、柱透镜及光栅双目视差显示技术、立体全像等三维显示方法。以全息和体显示技术为代表的裸眼三维显示方法在进行较长显示深度的立体显示过程中，存在体积大、数据量大等问题，不利于实时交互等操作。柱透镜、光栅、立体全像技术等裸眼三维显示方法在显示速度、数据处理量等方面优势明显，但受限于光学器件固有特性的影响，像散等问题伴随立体显示深度的增加而严重，故而传统裸眼三维显示方法不适用于显示长距离大景深的立体影像。

虽然在各个领域涌现了很多提高显示深度的方法，但这些方法都在固有硬件的基础上进行深度显示上的优化，增加三维显示的平面分辨率及视角等，并没有实现显示深度量级上的提升。同时，不同的针对三维图像降维渲染算法也不断被改善革新，但缺乏基于长距离显示的光场恢复特点及显示信息量进行针对长距离立体显示场景的渲染算法，以及对于长距离显示过程中光学扩散等问题进行三维显示系统硬件结构更新的方法。

如在中国专利cn201510562908.6中提供了一种景观环境实时表现中的真三维立体显示系统及显示方法，通过将真三维显示技术引入到景观环境实时表现中，搭建基于锥形反射屏、旋转反射屏的真三维立体显示系统，并配备相应的人机交互平台，使观察者可裸眼观看到立体图像，有身临其境的感受。该专利虽然在一定程度上提高了裸眼观看三维立体图像的显示效果，但是，其仍然没有实现显示深度量级上的提升。

技术实现要素：

本发明提供一种长距离裸眼立体显示方法及其系统，其具有显示三维物体具有数米可观察深度，观察者可在数米外观察到具有移动视差的三维图像，观察者的可视范围具有数平米面积以及立体视察感强、大显示深度下的像素分辨率高、显示器件体积小和显示速度快的特点，能够克服现有传统长距离三维显示方法中的体积大、光学像散导致的分辨率低、深度感弱等问题。

根据本发明的一个方面，提供了一种长距离裸眼立体显示方法，用于长距离或者大规模的三维图像显示，其包括：

基于二维图像边缘分割技术，对原始三维图像数据进行二维切片层面的边缘分割处理，得到三维图像的表面点；

基于立体全像技术在空间中恢复的点密度与单个三维点恢复的光线数量关系，对所述长距离或大规模的原始三维图像的三维物体表面点进行恢复光线密度计算，以得到所述长距离或大规模的原始三维图像的三维物体表面点密度与显示深度的关系；

基于所述长距离或大规模的原始三维图像的三维物体表面点密度与显示深度的关系，对所述分割后的长距离或大规模的三维图像的三维物体表面进行不同显示深度下不同密度超采样点的提取处理，以得到作为超采样渲染光线追踪起点的三维物体表面点数据集；

基于所述三维物体表面点数据集，对所述分割后的三维物体表面在不同整数倍透镜焦距深度范围内的点分别进行对应深度下的超采样渲染处理，以得到若干个二维基元图像数据；

基于时间上显示融合算法，对所获取的若干个二维基元图像数据进行分时刷新的长距离裸眼立体显示；

其中，所述长距离的三维图像显示表示具有2m以上可观察深度，观察者可在1m外观察到具有移动视差的三维图像，观察者的可视范围具有1m以上的水平位移和前后位移；所述大规模的三维图像显示表示三维图像具有20英寸以上的场景宽度。

在上述方案基础上优选，对所述分割后的三维物体表面在不同整数倍透镜焦距深度范围内的点分别进行对应深度下的超采样渲染处理具体包括以下步骤：

对显示深度范围在n至n+1倍焦距内的所述分割后的三维物体表面的点对进行光线分段追踪，且所述光线分段追踪的起点为所述待处理的分割后的三维物体表面点，其中n≥1。

在上述方案基础上优选，在对显示深度范围在n至n+1倍焦距内的所述分割后的三维物体表面的点对进行光线分段追踪时，追踪光线穿过各个透镜中心以追踪到所述基元图像的相应位置。

在上述方案基础上优选，在对显示深度范围在n至n+1倍焦距内的所述分割后的三维物体表面的点对进行光线分段追踪前还包括基元图像校正步骤，所述基元图像校正步骤包括：

通过在预设定观察视点位置的方法，对单个透镜对应的基元图像区域进行预先的划分，以得到每个透镜对应的基元图像区域，用于光线追踪过程中检验经过透镜追踪到的基元图像位置是否为当前透镜对应的基元图像区域内。

在上述方案基础上优选，当所述经过透镜追踪到的基元图像位于当前透镜对应的基元图像区域内时，所述长距离或大规模的原始三维图像的三维物体表面点密度与显示深度的关系为：

其中，其中，depth表示所述三维图像的显示深度，focallength表示所述透镜的焦距，ρ3dmax表示最大恢复的三维物体表面点密度，ρ2d表示二维基元像素图像的密度，n表示最大单个像素点恢复的光线数量。

在上述方案基础上优选，所述时间上显示融合算法是通过在显示控制期间内进行三维图像超采样区域的高速刷新，基于人眼暂留现象实现分时刷新过程中的三维图像超采样部分的融合。

本发明还提供了一种长距离裸眼立体显示系统，用于长距离或者大规模的三维显示，包括，

三维立体场景分割及超采样模块，用于对原始三维图像的三维图像表面数据进行图像分割超采样处理以获取原始三维图像的若干二维基元分割图像数据；

显示融合模块，用于对所获取的二维分割图像数据进行分时刷新，并进行裸眼三维图像的融合显示。

在上述方案基础上优选，所述显示融合模块包括用于将低维光场信息进行高维恢复的高速可切换光源提供部件和用于将低维光场调制到空间中形成高维光场的高速可控光源调制部件。

本发明提出一种长距离裸眼立体显示方法，通过将待显示三维图像的三维图像数据进行分割超采样处理和时间上显示融合处理，将待显示三维图像的高维光场分割渲染成待显示三维图像的多个二维分割图像数据，并利用时间上显示融合算法再将待显示三维图像的多个二维分割图像数据融合转化为待显示三维图像的高维图像数据以进行三维立体显示。

本发明将待显示三维图像的三维图像数据进行分割超采样处理，并将待显示三维图像的三维图像数据转化成待显示三维图像的多个二维图像数据，不仅可有效降低三维显示系统数据处理量和对硬件要求，而且还可以增加空间光场的显示密度，有效的提高增强表面的显示情况，以提高三维显示的深度，从而实现其显示的三维影像深度范围大、立体感强、像素分辨率高和显示速度快的目的。

附图说明

图1为本发明的长距离裸眼立体显示方法的流程示意图；

图2为本发明的长距离裸眼立体显示系统的框图；

图3为本发明的长距离立体全像重建点密度模型示意图；

图4为本发明的长距离裸眼立体显示系统的部分结构示意图；

图5为本发明的分割及超采样生成多张光源图像的示意图；

图6为本发明的分时显示融合的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

其中，本发明长距离的特点为显示三维物体具有数米可观察深度，观察者可在数米外观察到具有移动视差的三维图像，观察者的可视范围具有数平米面积，且本发明的长距离裸眼立体显示方法优选适用于显示场景的景深范围为4m，场景宽度为27英寸的场景下。

请参阅图1的长距离裸眼立体显示方法流程图，并结合图3所示的长距离立体全像重建点密度模型示意图所示。

本发明提供了一种长距离裸眼立体显示方法，用于长距离或者大规模的三维图像显示，包括以下步骤：

基于空间上的长距离立体全像重建点密度模型的三维图像表面分割及超采样渲染的方法，对原始三维图像数据进行图像表面分割及超采样渲染处理，得到若干个二维基元图像数据；

基于时间上显示融合算法，对所获取的若干个二维基元图像数据进行分时刷新的长距离裸眼立体显示。

其中，本发明的对原始三维图像数据进行基于图像表面分割及超采样渲染处理具体包括以下步骤：

基于二维图像边缘分割技术，对原始三维图像数据进行二维切片层面的边缘分割处理，得到三维图像的表面点；

基于立体全像技术在空间中恢复的点密度与单个三维点恢复的光线数量关系，对长距离或大规模的原始三维图像的三维物体表面点进行恢复光线密度计算，以得到长距离或大规模的原始三维图像的三维物体表面点密度与显示深度的关系；

基于长距离或大规模的原始三维图像的三维物体表面点密度与显示深度的关系，对分割后的长距离或大规模的三维图像的三维物体表面进行不同显示深度下不同密度超采样点的提取处理，以得到作为超采样渲染光线追踪起点的三维物体表面点数据集；

基于三维物体表面点数据集，对分割后的三维物体表面在不同整数倍透镜焦距深度范围内的点分别进行对应深度下的超采样渲染处理，以得到若干个二维基元图像数据。

本发明是在提供长距离裸眼三维分析基础之上，针对长距离显示下的三维光场像素恢复稀疏的情况，容易造成图像质量差，三维立体视觉体验效果不好的缺陷，而提供适用于长距离或者大规模的三维图像显示方法。即采用基于空间上的长距离立体全像重建点密度模型的三维图像表面分割及超采样渲染的方法对原始三维图像的三维图像数据进行分割超采样处理，得到原始三维图像的二维分割图像数据，然后，通过时间上显示融合算法，将待显示三维图像的二维分割图像数据进行实时高速刷新，并予以三维立体显示。

本发明通过采用空间上的长距离立体全像重建点密度模型的三维图像表面分割及超采样渲染的方法，将原始三维图像的三维图像数据转化多个待显示三维图像的二维分割图像数据，以提高显示时像素密度，增强表面显示立体效果。并且，本发明将数据处理量较大的一个整体，分割成若干小段，进行小段处理，可有效提高其处理速度，加快显示速率。

本发明的一种长距离裸眼立体显示方法，可以在较大范围内显示具有良好水平视差与运动视差的三维影像，另一方面，该方法所需计算量小，实时性能与鲁棒性能高，通用性强，适合于各种规模的三维裸眼立体显示，特别适合于具有大深度需求的裸眼三维显示。

在本发明的另一优选实施例中，本发明的空间立体场景分割超采样渲染方法包括：基于计算机采样的光线追踪场景渲染，在追踪路径上对原始三维图像数据进行三维点数据的多次采样，并对原始三维图像数据进行追踪光线的密度增加处理，且光线追踪场景的路径起点选择基于长距离或者大规模的三维图像的三维物体表面边界。即在实际工作过程中，本发明的空间立体显示场景采样方法是通过计算机渲染的光线追踪方法以实现，其中，光线追踪的过程是基于对本发明原始长距离显示场景的三维图像数据的表面边界信息以提取的，即追踪起点是长距离显示显示场景物体的边缘点，以此提高重建光场重的边缘点密度，增强表面显示立体效果。

为了进一步避免在基于三维物体表面点做光线追踪的过程中光线穿过透镜中心到错误的基元图像区域以此带来的显示过程中的图像错区显示问题，本发明还在对显示深度范围在n至n+1倍焦距内的分割后的三维物体表面的点对进行光线分段追踪前还包括基元图像校正步骤。

其中，基元图像矫正步骤具体包括：通过在预设定观察视点位置的方法，对单个透镜对应的基元图像区域进行预先的划分，以得到每个透镜对应的基元图像区域，用于光线追踪过程中检验经过透镜追踪到的基元图像位置是否为当前透镜对应的基元图像区域内。

鉴于立体全像技术在空间中恢复的点密度与单个三维点恢复的光线数量成反比，即在显示深度较远的位置，恢复的点密度较为稀疏，而单个空间点恢复的光线数目较多。当基元图像位于透镜阵列焦平面位置时，长距离或大规模的三维图像的三维物体表面点密度与显示深度的关系为：

其中，depth表示三维图像的显示深度，focallength表示透镜的焦距，ρ3dmax表示最大恢复的三维物体表面点密度，ρ2d表示二维基元像素图像的密度，n表示最大单个像素点恢复的光线数量。

也就是说，当显示深度为一倍焦距至两倍焦距间的空间点的恢复密度至多为原始基元图像像素密度的1/2，单个像素点恢复的光线数量至多为2条光线；当显示深度为9倍焦距至10倍焦距间的空间点恢复密度至多为原始基元图像像素密度的1/10，单个像素点恢复的光线数量至多为10条光线。

据此，在显示深度范围在n至n+1倍焦距内的分割后三维物体表面的点对进行光线分段追踪，其中，光线分段追踪的起点为待处理的分割后的三维物体表面点，追踪光线穿过各个透镜中心以追踪到基元图像的相应位置，且n≥1。

本发明的三维立体场景空间分割及超采样方法，是根据光线传播场景，对观察场景进行点追迹的光源图像生成。如图5所示，为本发明的点追迹渲染方法示意图。点追迹渲染方法是从空间点位置出发，经过光线传播控制部件的光线传播调制后，追迹到空间中对应点的位置。以基于像素进行三维光场渲染为例，从显示平面像素点的坐标出发，经过光线传播控制部件(如透镜)场景的光线传播控制后，追踪到空间中需要显示物体表面相应位置，并将此位置的空间光场光强、波长等信息记录到相应的显示像素位置，经过多个光线追踪并在显示过程中汇聚后，形成了三维光场。

针对长距离大深度范围下显示时的像素密度提高增强表面显示情况，设计了分割深度空间的基于物体表面信息的渲染方法。将深度方向上的图像进行分割，从图像表面均匀取渲染点出发进行反向光线追踪到光源位置，如图5所示。对不同深度的分割部分分别利用上述光线追踪方法到不同光源图像上。

本发明的显示融合算法是通过显示控制期间进行三维光场的高速刷新，基于人眼暂留现象实现分时刷新过程中的三维图像融合，具体情况见请参阅图6所示。其中，显示融合过程是根据分割超采样过程的物理模型对硬件显示系统进行显示控制，包括对多幅空间分割基元图像的分时刷新，以及对超采样过程的多个光线调制方向的分时控制。

请参阅图2所示，本发明还提供了一种长距离裸眼立体显示系统，其包括，

三维立体场景分割及超采样模块，用于对原始三维图像的三维图像表面数据进行图像分割超采样处理以获取原始三维图像的若干二维基元分割图像数据；

显示融合模块，用于对所获取的二维分割图像数据进行分时刷新，并进行裸眼三维图像的融合显示。

其中，本发明显示融合模块包括用于将低维光场的图像数据进行高维光场恢复的光源提供部件和用于将低维光场的图像数据调制到空间中形成高维光场图像数据的可控光源调制部件。且该显示融合模块还包括一显示控制部件，显示控制部件分别与光源提供部件和可控光源调制部件电性相连。

本发明的一种长距离裸眼立体显示系统处理过程如下：

首先，利用三维立体场景分割及超采样模块对原始三维图像的三维图像数据进行分割超采样处理获取待显示三维图像的多个二维图像数据，以降低数据处理难度，并提高待显示三维图像的光线恢复密度，从而使每个单一分割光场数据显示下重建的三维图像像素密度提升分段倍数，以有效克服长距离立体三维显示时三维图像的光场稀疏所造成视觉体现效果差的缺陷。然后，再将得到的待显示三维图像的二维光场数据分别发送至显示控制部件，利用显示控制部件向光源提供部件提供待显示三维图像的二维光场数据，与此同时，显示控制部件控制可控光源调制部件对由光源提供部件发出光在不同深度上光源图像进行高频刷新切换，以达到人眼视觉暂留频率以上。从而在长距离空间位置上实现多段二维图像数据的融合和转化，以提高像素密度的融合增强显示。

其中，本发明的光源提供部件包括光源发射部，且光源发射部为普通光源发射部或激光发射部。

本发明中的激光发射部具有选择指向性强、相干性高、方向性好的特点，与相普通的投影设备相比较，其具有显示光场方向、集中可控等优点。因此，可控光源调制部件通过用可改变普通光源或激光矩阵方向的微机电系统控制阵列，实现对由光源提供部件发出光在不同深度上光源图像进行高频刷新切换。即通过可控光源调制部件调节微机电系统控制阵列，可调地改变普通光源或激光矩阵投影方向，完成三维稀疏矩阵的构建，详情见如图4所示。

本发明的可控光源调制部件设置在光源发射部和平面显示设备之间，且本发明的光线传播控制部件根据控制原理与具体需求的不同可以为偏振镜或声光偏转器或光子晶体偏转器。可控光源调制部件的本质是将发散的、无序的、欠方向性的二维平面光场调制为可被裸眼观察的三维稀疏全光场。

本发明提出一种长距离裸眼立体显示方法，通过将待显示三维图像进行分割采样处理和显示融合处理，将待显示三维图像的高维光场分割渲染成待显示三维图像的二维光场，并利用显示融合算法再将待显示三维图像的二维光场转化为待显示三维图像的高维光场以进行三维立体显示。本发明将待显示三维图像的空间信息分割采样处理，可有效降低三维显示系统数据处理量和对硬件要求；并将待显示三维图像的三维空间信息转化成待显示三维图像的二维光场，以增加空间光场的显示密度，可有效的提高增强表面的显示情况，以提高三维显示的深度，从而实现其显示的三维影像深度范围大、立体感强、像素分辨率高和显示速度快的目的。

需要注意的是，本发明中基于长距离三维稀疏全光场的空间立体场景分割方法和空间立体显示场景采样方法是与其所对应的硬件系统具有映射关系，意即不同的针对光源发射部与光线输出的平面显示设备，其渲染算法的参数也不尽相同。空间立体显示场景采样方法在物理模拟上与显示系统可逆，其基本原理是将三维全光场按照所设计的三维显示系统的物理路径进行压缩投影至二维光场平面。

需要注意的是，本发明中所提到的长距离的三维图像显示表示具有2m以上可观察深度，观察者可在1m外观察到具有移动视差的三维图像，观察者的可视范围具有1m以上的水平位移和前后位移；而本发明大规模的三维图像显示表示三维图像具有20英寸以上的场景宽度范围。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。