一种集成成像光场显示的图像阵列生成方法与流程

文档序号:15395229发布日期:2018-09-08 02:01阅读:524来源:国知局

本发明属于集成成像三维显示领域,具体涉及集成成像三维显示系统的单元图像阵列生成方法。



背景技术:

集成成像(integralimaging)是一种自由立体三维显示技术,这种方法能让观察者拥有真彩色、全视差的三维体验。集成成像由法国科学家lippmann提出的集成摄像术演变而来,近年来随着成像技术和制造工艺的进步,集成成像展现出良好的应用前景。

一般来说,集成成像系统包括一块高分辨率显示面板和一个透镜阵列。在显示面板上显示的二维图像称之为单元图像阵列(elementalimagearray:eia),经过透镜阵列的折射,eia的不同部分在空间相交,并从不同方向进入观察者的眼睛,形成三维图像。

当前eia的生成方式主要有三种,通过透镜阵列和感光器件直接捕获(如使用光场相机捕获);通过使用多相机阵列捕获(包括使用单个相机进行移位捕获);利用计算机图形学技术(如虚拟相机)进行仿真生成。由于计算机图形学技术比较成熟,生成eia较为灵活,是目前普遍接受和认可的生成方法。

集成成像系统将三维信息编码在二维eia中,eia中每个像素代表一条光线。因此,生成eia需要求解每条光线的颜色值。传统方法采用光线追踪(raytracing)方法逐点求解,运算效率低(igarashiy,muratah,uedam.3-ddisplaysystemusingacomputergeneratedintegralphotograph.japanesejournalofappliedphysics,1978,17(9):1683-1684.)。麻省理工学院将每个单元透镜(elementallens)看作一个虚拟相机,提出了名为多视点渲染(multipleviewpointrendering,mvr)的eia生成方法(hallem.multipleviewpointrendering.proceedingsoftheconferenceoncomputergraphicsandinteractivetechniques,1998.),该方法的效率与透镜数量有关,且无法渲染横跨透镜阵列及透镜阵列后方的物体;肯塔基大学提出的平行光组渲染(parallelgrouprendering)方法通过重组逐次绘制的方向性视图(directionalscenes)来得到最终的eia(yangr,huangx,chens.efficientrenderingofintegralimages[m].acmsiggraph2005posters.losangeles,california;acm.2005:44.);视点向量渲染(viewpointvectorrendering,vvr)则通过重组一定范围内的视点获取的方向性视图来生成eia(parkks,minsw,choy.viewpointvectorrenderingforefficientelementalimagegeneration.ieicetransactionsoninformationandsystems,2007,90-d(1):233-241.)。

传统的集成成像方法由于光线记录和还原的方向不一致,导致存在赝像问题(pseudoscopicproblem)或深度反转问题。将记录的单元图像分别沿各自中心旋转180°,可以解决这个问题,但显示的三维图像是凹陷在显示面板内的虚像(okanof,hoshinoh,araij,etal.real-timepickupmethodforathree-dimensionalimagebasedonintegralphotography.appliedoptics,1997,36(7):1598-1603.),具有很大的局限性。navarro等人提出了解决赝像问题的智能赝像-正像转换方法(smartpseudoseopic-to-orthoscopicconversion:spoc),但所提方法依赖参考面选择,对于深度较大物体具有较大误差(navarroh,martnezcuencar,saavedrag,etal.3dintegralimagingdisplaybysmartpseudoscopic-to-orthoscopicconversion(spoc).opticsexpress,2010,18(25):25573-25583.)。利用集成成像系统的视区周期性收敛特性,借鉴多视角显示的像素分配方法,jung等提出了解决赝像问题的像素交织方法(modifiedinterweavingprocess:miwp)(jungjh,kimj,leeb.solutionofpseudoscopicprobleminintegralimagingforreal-timeprocessing.opticsletters,2013,38(1):76-78.)。这种方法局限性在于仅在特定的深度平面可以实施。

现有方法的问题在于,现有方法将eia生成和解决赝像问题当成两个独立问题来讨论,渲染得到的eia在实模式下存在赝像问题或需经过复杂的插值处理或只能工作在虚模式下。



技术实现要素:

本发明的目的是提出一种基于正交视图重组的无赝像的单元图像阵列(3)生成方法,应用在集成成像系统中可实现悬浮于空间的三维实像,凹陷在显示面板(1)内部的三维虚像或虚实结合的无赝像的三维立体效果,给人更佳的三维体验。

本发明是基于光线追踪原理,模拟透镜阵列(2)中的单元透镜(5)的中心对正交投影得到的视角图像(8)进行采样抽取。通过对采样抽取的结果进行拼接,得到无赝像的eia。

本发明的技术方案是:一种集成成像光场显示的单元图像阵列生成方法,包括以下步骤:

第一步:平行光场的划分

根据显示面板(1)与透镜阵列(2)的间距,显示面板(1)上像素尺寸和排布方式,和透镜阵列(2)的排列方式,将显示面板(1)上的像素划分为一系列平行光场(parallellightfield:plf),平行光场由与单元透镜(5)中心偏移量相同的像素发出的光线组成。在此过程中,需要预先确定透镜阵列(2)上每一个单元透镜(5)的中心与显示面板(1)的相对位置关系。

第二步:视角图像(8)的获取

利用建模软件中的虚拟相机(7)采集视角图像(8),虚拟相机(6)工作在正交投影模式。所有虚拟相机(7)配置在同一个水平面内,光轴汇聚为一点,采样得到的视角图像(8)的数量与划分的平行光场数一致,采样间隔与虚拟相机(7)到目标点的距离之比与第一步中像素间隔与显示面板(1)和透镜阵列(2)之间的间距之比相等。根据三维场景(6)最终要显示的大小和位置,确定虚拟相机(7)的汇聚点到虚拟三维物体的距离和虚拟相机(7)的视场角。

第三步:平行光场的非线性抽取

根据透镜阵列(2)上的单元透镜(5)的中心与显示面板(1)的相对位置对视角图像(8)进行抽取,抽取方法是与虚拟相机(7)的投影面(9)和基准面的夹角有关的非线性映射,抽取得到的图像所含像素个数与透镜阵列(2)所含单元透镜(5)的个数一致

第四步:像素重组与拼接

对抽取得到的图像进行重组拼接,得到最终的单元图像阵列(3),拼接的原则是,从虚拟相机阵列(3)左下角得到的视角图像(8),拼接时放在每个单元透镜(5)对应的单元图像(4)的右上角,以此类推。

本发明的第二、三、四步是为了描述方便而分开的,在实际的运用过程中可以将这三步合并起来进行,提高渲染效率和重组速度。

虚拟场景的渲染既可以通过现有建模软件(商用的如3dsmax等,开源的如blender等)进行,也可以使用计算机图形库如opengl等进行定制。使用现有软件进行时,操作灵活简单,使用计算机图形库定制实现时,因总渲染像素量仅为显示面板(1)的分辨率,在现有主流计算机系统上可以实现单元图像阵列(3)的实时生成。

本发明中,集成成像系统可以工作在实模式,虚模式或聚焦模式。所生成的单元图像阵列(3)既可以进行全实像模式显示,也可以进行全虚像模式显示,还可以进行虚实结合的混合模式显示。三维场景(6)的成像位置由虚拟相机(7)的视场角和虚拟相机(7)的汇聚点到三维场景(6)的距离共同决定。当使用本发明进行全虚像的三维显示时,集成成像系统也应尽量工作在虚模式;进行全实像显示时,三维场景(6)本身的纵向深度不宜太深,以免因超过系统清晰成像范围而影响显示效果;进行虚实结合的三维显示时,集成成像系统应尽量工作在聚焦模式,以获得更佳的三维显示体验。

本发明所提出的集成成像无赝像单元图像阵列生成方法简单高效,其核心在虚拟相机(7)的排列方式和参数确定、平行光场的抽取与像素重组。本发明能有效消除集成成像的赝像,通过改变预先设定的采样参数,实现显示深度可控的三维显示。

附图说明

实施例图:

本发明提供的一种集成成像光场显示的图像阵列生成方法的附图有6个

图1平行光场的划分方法示意图。

图2虚拟相机的排列方式示意图。

图3平行光场的抽取和重组示意图

图4该发明总体流程图

图5采用本发明生成的eia示例

图6显示效果图

图1~图6中,(1)-显示面板,(2)-透镜阵列,(3)-单元图像阵列,(4)-单元图像,(5)-单元透镜,(6)-三维场景,(7)-虚拟相机,(8)-视角图像,(9)-投影面。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明“一种集成成像光场显示的单元图像阵列生成方法”实施方式作进一步地详细描述。

图1为本发明实施第一步进行平行光场划分的示意图。图示集成成像系统中,像素间距为pp,显示面板(1)距离透镜阵列(2)的距离为g。显示面板(1)加载的单元图像阵列(3)上的像素,根据其与透镜阵列(2)上每个单元透镜(5)的中心的相对位置关系,划分到不同的平行光场。具体地,将像素与单元透镜(5)的中心偏移一致的像素点划归同一平行光场。假设透镜阵列(2)由m个单元透镜(5)组成,每个单元图像(4)包含n个像素,每个单元透镜(5)的中心记为xi,i=1,2,...m,单元图像(4)上的像素与其对应的单元透镜(5)的中心的相对偏移量为{-(n-1)/2,…,-1,0,1,…,(n-1)/2}个像素,(这里考虑的是n为奇数的情况,当n为偶数时与之类似),则所有与单元透镜(5)的中心偏移量为n的像素集合组成的平行光场可以表示为:

plf(n)={i(xi-n),i=1,2,...m}

其中,i(·)表示像素的灰度值。如图中阴影部分分别表示与单元透镜(5)偏移量为0的像素的发出的光线的集合plf(0)和偏移量为-1的plf(-1)。

图2为本发明中虚拟相机(7)的排列方式,所有的虚拟相机(7)成汇聚式排列在同一个平面上,其光轴汇聚点为o,虚拟相机(7)等间隔排列,其间隔记为dcp,汇聚点到相机平面的距离记为d。二者之间应满足pp/g=dcp/d,虚拟相机(7)的视场角根据三维像的大小和位置自行设定。虚拟相机(7)的视场角,汇聚点与三维场景(6)的深度中心平面之间的距离,共同决定三维像的最终位置。

图3为本发明中各虚拟相机(7)所得的视角图片(8)的与平行光场之间的映射关系。从图示几何关系可知,第-n个虚拟相机(7)c-n在正交投影模式下所得到的视角图像(8)与平行光场plf(n)相对应,具体的像素映射关系为:

其中,xi是第i个单元透镜(5)的中心坐标值,n为单元图像(4)上的像素点相对于所对应的单元透镜(5)的位置偏移量,同时也表示相机编号。h为显示面板(1)的横向分辨率,hc为虚拟相机(5)的横向分辨率,γ为第-n个相机投影面(9)与第0个相机投影面(9)的夹角。β为第-n个虚拟相机(5)与第0个虚拟相机(5)光轴的夹角,θ为虚拟相机(5)的视场角。idp(·)为显示面板(1)上的单元图像阵列(3)的像素灰度值,iop(·)为虚拟相机(5)在正交投影模式下得到的视角图像(8)的灰度值。上式完成了两个方面的工作,一个是实现了从正交投影模式下虚拟相机(5)得到的视角图像(8)到平行光场的抽取,另一个是实现了平行光场到单元图像阵列(3)的重组拼接。以上分析从一维情况展开,很容易将以上对应关系扩展到二维。

图4是本发明所提映射关系的总体流程图。左侧表示采样得到包含p×q个视角图像(9)的图像阵列,p与每个单元图像(4)的水平像素数相等,q与每个单元图像(4)的垂直像素数相等。右侧表示从视角图像阵列左下角取出的视角图像(9),将通过单元透镜中心(5)映射到单元图像阵列(3)中每个单元图像(4)的右上角。

图5是使用本发明生成的单元图像阵列(3)的示例图,该单元图像阵列(3)包含59(h)×33(v)个单元图像(4),每个单元图像(4)均包含69×69个像素。

图6为将使用本发明生成的图5加载到对应的集成成像系统的显示效果图。从上,中,下,左,右5个方向观察到的不同视图表明,该方法生成的单元图像阵列(3),显示效果好,可以给人极佳的三维体验。

以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1