专利名称：用于体视三维显示图像生成系统及方法
技术领域：
本发明涉及图像生成和显示方法，尤其涉及一种用于体视三维显示图像生成系统及方法。
背景技术：
图像拼接技术一直是计算机视觉和图像处理领域的研究热点，而随着三维全景显示技术的高速发展，以三维方式设计的图像生成系统成为众多三维显示装置图像源获取采用的主要手段。以三维方式设计的图像生成系统是根据透视投影绘制方法，将三维图像信息再现在二维显示系统上。现有的体视三维显示装置大都依据在横向或者纵向通过视场拼接的方式提供足够多的观察视角，让观察者两只眼睛横跨不同的视角以获得细腻的三维感知。据此原理，二维显示系统上再现的图像信息与具体的三维显示装置视角设计参数有关， 往往需要经过与所需呈现的视角信息相对应的图像处理过程。目前计算机图形学领域常用的处理思想是基于光场重建、像素点扫描的方式获取对应视角所需图像信息。该方法在计算机领域具有相当的普适性，并且所获取的各视角图像具有很高的分辨率与真实性，但该方案生成的图像并未考虑三维显示系统实际像差和系统精度问题，所生成的图像往往是理论情况下成像所需的图像，经过三维显示系统投影显示出来的效果并非尽如人意。通常情况下，成功的三维显示装置需要综合考虑图像分辨率、三维显示效果、计算成本等诸多方面，目前已经开发出的体视三维显示装置受限于系统结构等因素往往导致理论情况生成的图像并不能完美显示，探求一种易综合了考虑了系统成像像差和装置精度等问题的图像生成系统及方法更具实际应用价值。本发明的主要目的在于构建一种具备普适性的、可用于多种体视三维显示图像生成系统及方法，它包括具备较高拓展性的投影式三维显示装置及图像采集识别系统，其初衷在于综合了考虑了系统成像像差和装置精度的问题下从图像点实际投影显示的角度出发获得真实条件下显示所需的图像源，可广泛用于基于多投影显示或分时显示拼接原理的体视三维显示装置。
发明内容
本发明的目的是克服现有技术和图像生成方法的不足，提供一种用于体视三维显示图像生成系统及方法。所述的用于体视三维显示图像生成系统包括依次设置的二维显示单元阵列、透镜阵列、孔阑阵列、定向散射屏和精密导轨，其中，定向散射屏和精密导轨呈同心布置，在精密导轨上设有图像采集系统，二维显示单元阵列中所有显示单元显示的图像通过对应的透镜阵列、孔阑阵列投影到定向散射屏另一侧成像，计算机分别与图像采集系统和二维显示单元阵列相连接。所述的用于体视三维显示图像生成系统的二维显示单元阵列、透镜阵列和孔阑阵列为横向视差的N*1阵列，或为横向和纵向视差的N*M阵列。所述的用于体视三维显示图像生成系统的二维显示单元阵列为单个二维显示器
3或多个二维显示器组成的阵列，其中，二维显示器为IXD、LCOS, PDP、LED、CRT、OLED或投影机。所述的用于体视三维显示图像生成系统的图像采集系统为CXD或CMOS拍摄器件。所述的用于体视三维显示图像生成方法的步骤如下
1)图像采集系统首先设置于系统对称中心线上，并对准系统成像中心拍摄；
2)二维显示单元阵列中的显示单元显示一个坐标点Utl, Ytl)；
3)若图像采集系统捕获到相应坐标点信息，则判定为显示单元上显示的点属于该视角所需显示的图像，进行步骤4)；若图像采集系统未捕获到相应坐标点信息，则判定为显示单元上显示的点不属于该视角所需显示的图像，返回步骤2)循环扫描显示下一个坐标点；
4)分别记录下捕获的显示点在二维图像显示单元阵列中的坐标点信息(Xtl,Ytl)和在图像采集系统中的坐标点信息(X1, Y1),送入计算机生成相应的映射关系；循环扫描记录坐标点映射信息直至二维显示单元阵列中的显示单元所有显示点扫描结束；
5)计算机获取所要呈现三维物体相应视角的原始图像，根据映射关系进行从坐标点 (X11Y1)到坐标点(Xtl, Y0)的变化，得到所要呈现三维物体相应视角在二维显示单元阵列中的图像；
6)分别向左或向右移动图像采集系统至下一个相邻视角位置，其中，图像采集系统沿精密导轨移动的角度间隔与三维显示系统的视角间隔相匹配，重复步骤1)至步骤5)，直至计算机得到所要呈现三维物体所有视角在二维显示单元阵列中的图像；
7)计算机将所有所要呈现三维物体相应视角在二维显示单元阵列中的图像叠加生成最终二维显示单元阵列显示的图像并送入相应显示单元。所述的用于体视三维显示图像生成方法的三维物体原始视角图像为由计算机模拟拍摄虚拟三维模型各视角的图像，或由相机在对应视角实际拍摄三维物体的图像。本发明的主要优点在于提出了一种具备普适性的、可用于多种体视三维显示图像生成系统及方法，它包括具备较高拓展性的投影式三维显示装置及图像采集识别系统，其初衷在于综合了考虑了系统成像像差和装置精度的问题下从图像点实际投影显示的角度出发获得真实条件下显示所需的图像源，可广泛用于基于多投影显示或分时显示拼接原理的体视三维显示装置。
下面结合附图和实施例对本发明进一步说明。图1是用于体视三维显示的图像显示方法的装置基本结构示意图； 图2是用于体视三维显示的图像生成方法流程及示意图3是横向15个视角三维显示装置显示单元基本结构示意图； 图4、图5是横向15个视角三维显示装置对应的图像定标方法示意图； 图中，二维图像显示单元阵列1、透镜阵列2、孔阑阵列3、定向散射屏4、精密导轨5、图像采集系统6、计算机7。
具体实施例方式如图1所示，用于体视三维显示图像生成系统包括依次设置的二维显示单元阵列1、透镜阵列2、孔阑阵列3、定向散射屏4和精密导轨5，其中，定向散射屏4和精密导轨5呈同心布置，在精密导轨5上设有图像采集系统6，二维显示单元阵列1中所有显示单元显示的图像通过对应的透镜阵列2、孔阑阵列3投影到定向散射屏4另一侧成像，计算机7分别与图像采集系统6和二维显示单元阵列1相连接。二维显示单元阵列1、透镜阵列2和孔阑阵列3为横向视差的N*1阵列，或为横向和纵向视差的N*M阵列。二维显示单元阵列1为单个二维显示器或多个二维显示器组成的阵列，其中，二维显示器为LCD、LCOS、PDP、LED、CRT、OLED或投影机。图像采集系统6为CCD 或CMOS拍摄器件。如图2所示，用于体视三维显示图像生成方法的步骤如下
1)图像采集系统6首先设置于系统对称中心线上，并对准系统成像中心拍摄；
2)二维显示单元阵列1中的显示单元显示一个坐标点Utl, Ytl)；
3)若图像采集系统6捕获到相应坐标点信息，则判定为显示单元上显示的点属于该视角所需显示的图像，进行步骤4)；若图像采集系统6未捕获到相应坐标点信息，则判定为显示单元上显示的点不属于该视角所需显示的图像，返回步骤2)循环扫描显示下一个坐标占.
4)分别记录下捕获的显示点在二维图像显示单元阵列1中的坐标点信息(Xtl,Ytl)和在图像采集系统6中的坐标点信息(X1, Y1),送入计算机7生成相应的映射关系；循环扫描记录坐标点映射信息直至二维显示单元阵列1中的显示单元所有显示点扫描结束；
5)计算机7获取所要呈现三维物体相应视角的原始图像，根据映射关系进行从坐标点 (X1, Y1)到坐标点(Xtl, Ytl)的变化，得到所要呈现三维物体相应视角在二维显示单元阵列1中的图像；
6)分别向左或向右移动图像采集系统6至下一个相邻视角位置，其中，图像采集系统6 沿精密导轨5移动的角度间隔与三维显示系统的视角间隔相匹配，重复步骤1)至步骤5)， 直至计算机7得到所要呈现三维物体所有视角在二维显示单元阵列1中的图像；
7)计算机7将所有所要呈现三维物体相应视角在二维显示单元阵列1中的图像叠加生成最终二维显示单元阵列1显示的图像并送入相应显示单元。用于体视三维显示图像生成方法的三维物体原始视角图像为由计算机模拟拍摄虚拟三维模型各视角的图像，或由相机在对应视角实际拍摄三维物体的图像。以一个包含15个横向拼接图像的视场拼接三维显示装置生成一个视角的图像为示例，其余的视角均可类推得到。系统结构如图1所示，图像显示阵列1包括错位排布的15 个投影机，如图3所示，所谓投影机由图像显示阵列1的一部分、一个透镜和一个孔阑组成，孔阑紧贴在透镜前方；定向散射屏2为弧形，以系统中心0点为圆心，在纵向散射光线， 横向不散射光线。15个投影机在水平方向上对准设定的系统中心0，垂直方向上对准散射屏2上的同一高度。则15个投影机的图像均经过纵向散射屏2在纵向展开，从而在另一侧看到长条形图像，15幅图像正好拼接成一整幅完整图像。生成图像之前首先需要进行一次图像定标。先将图像采集系统6置于中间视角位置，如图1中实线表示的采集系统位置。然后在图像显示阵列1上显示一个白点，坐标为 (X0,\)，从显示阵列的左上角开始将白点逐行扫描，如图4所示；图像采集系统6在白点每移动一个像素就捕获一幅视角图像，分析获得的图像中白点有没有出现；如果有，说明此位置的白点是属于该视角的，将其在获取的视角图像中的坐标(X1, Y1)记录下来，如图5所示， 并与图像显示阵列中白点的坐标(H)建立映射关系。这样当图像显示阵列1上所有的像素点都被扫描过后，图像采集系统6捕获的区域内的所有出现过的白点的(X1, Y1)坐标都映射到图像显示阵列1上相应的(Xtl, Ytl),并且呈现一个分布区域，如图5的虚线框所示，这个区域就是系统可以显示的图像范围。这样一个视角就定标完成了。完成一个视角的图像定标后，将属于该视角的所有(Xtl, Ytl)设置成白色，其余设置成黑色，此时图像采集系统6应当采集到由15条白色竖条拼接成的一片白色区域；图像采集系统6沿着精密导轨5往右移动，直到某一个竖条图像完全变成黑色，则认为图像采集系统6已经到了下一个视角，转过的角度即为相邻视角的间隔。在下一个视角重复前文图像定标部分，直到所有视角都定标完成，最后可以得到所有视角上(X1, Y1)与相应Uo，Ytl)的映射关系。定标完成之后，在系统参数不改变的情况下即可根据已经获得的映射关系生成图像而无需再次定标。将最终要显示的三维模型或场景按照定标部分的视角间隔获取二维视角图像。将视角图像缩放至系统可以显示的图像范围大小，并将视角图像的像素点与相应视角上的(X1, Y1)—一对应，根据映射关系分配到(Xtl, Ytl)上，则该视角的所有像素(Xtl, Y0) 均由该视角的视角图像映射得到。其余视角操作由此类推，最终可以得到整个图像显示阵列1需要显示的图像。只要在图像显示阵列1上显示最终生成的图像，在观察区域就可以看到三维模型或场景。虽然这里是通过示意和举例的方式对本发明进行进一步描述的，但应该认识到， 本发明并不局限于上述实施方式和实施例，前文的描述只被认为是说明性的，而非限制性的，本领域技术人员可以做出多种变换或修改，只要没有离开所附权利要求中所确立的范围和精神实质，均视为在本发明的保护范围之内。
权利要求
1.一种用于体视三维显示图像生成系统，其特征在于包括依次设置的二维显示单元阵列(1)、透镜阵列(2)、孔阑阵列(3)、定向散射屏(4)和精密导轨(5)，其中，定向散射屏(4) 和精密导轨(5)呈同心布置，在精密导轨(5)上设有图像采集系统(6)，二维显示单元阵列 (1)中所有显示单元显示的图像通过对应的透镜阵列(2)、孔阑阵列(3)投影到定向散射屏 (4)另一侧成像，计算机(7)分别与图像采集系统(6)和二维显示单元阵列(1)相连接。
2.根据权利要求1所述的一种用于体视三维显示图像生成系统，其特征在于所述的二维显示单元阵列(1)、透镜阵列(2)和孔阑阵列(3)为横向视差的N*1阵列，或为横向和纵向视差的N*M阵列。
3.根据权利要求1所述的一种用于体视三维显示图像生成系统，其特征在于所述的二维显示单元阵列(1)为单个二维显示器或多个二维显示器组成的阵列，其中，二维显示器为 LCD、LCOS、PDP、LED、CRT、OLED 或投影机。
4.根据权利要求1所述的一种用于体视三维显示图像生成系统，其特征在于所述的图像采集系统(6)为CXD或CMOS拍摄器件。
5.一种使用如权利要求1所述系统的用于体视三维显示图像生成方法，其特征在于它的步骤如下1)图像采集系统(6)首先设置于系统对称中心线上，并对准系统成像中心拍摄；2)二维显示单元阵列(1)中的显示单元显示一个坐标点Utl, Y。)；3)若图像采集系统(6)捕获到相应坐标点信息，则判定为显示单元上显示的点属于该视角所需显示的图像，进行步骤4)；若图像采集系统(6)未捕获到相应坐标点信息，则判定为显示单元上显示的点不属于该视角所需显示的图像，返回步骤2)循环扫描显示下一个坐标点；4)分别记录下捕获的显示点在二维图像显示单元阵列(1)中的坐标点信息(Xtl,Ytl)和在图像采集系统(6)中的坐标点信息(X1, Y1),送入计算机(7)生成相应的映射关系；循环扫描记录坐标点映射信息直至二维显示单元阵列(1)中的显示单元所有显示点扫描结束；5)计算机(7)获取所要呈现三维物体相应视角的原始图像，根据映射关系进行从坐标点(X1, Y1)到坐标点(Xtl, Y0)的变化，得到所要呈现三维物体相应视角在二维显示单元阵列 (1)中的图像；6)分别向左或向右移动图像采集系统(6)至下一个相邻视角位置，其中，图像采集系统(6)沿精密导轨(5)移动的角度间隔与三维显示系统的视角间隔相匹配，重复步骤1)至步骤5)，直至计算机(7)得到所要呈现三维物体所有视角在二维显示单元阵列(1)中的图像；7)计算机(7)将所有所要呈现三维物体相应视角在二维显示单元阵列(1)中的图像叠加生成最终二维显示单元阵列(1)显示的图像并送入相应显示单元。
6.根据权利要求5所述的一种用于体视三维显示图像生成方法，其特征在于所述的三维物体原始视角图像为由计算机模拟拍摄虚拟三维模型各视角的图像，或由相机在对应视角实际拍摄三维物体的图像。
全文摘要
本发明公开了一种用于体视三维显示图像生成系统及方法。配合光场重建和视场拼接的显示原理获取现有大部分体视三维显示系统的图像源。生成系统包括二维显示单元阵列、透镜阵列、孔阑阵列、定向散射屏、精密导轨、图像采集系统及计算机。生成方法步骤包括循环扫描显示点；图像采集系统捕获识别；获取映射坐标关系；视角图像源变换；移动图像采集系统重复操作；对各图像进行叠加获取最终显示所需的图像源。本发明视具体的三维显示装置不同而采用灵活且操作性强图像处理方法，优点在于可用于基于平板显示器或多投影的体视三维显示系统中获取图像源。该系统及方法综合考虑了系统成像像差与系统精度问题，可在较低的计算复杂度下获得校正过的图像。
文档编号G02B27/22GK102404598SQ20111037298
公开日2012年4月4日 申请日期2011年11月22日 优先权日2011年11月22日
发明者刘旭, 彭祎帆, 李海峰, 钟擎 申请人:浙江大学