一种裸眼3D增强现实互动展示系统及其展示方法与流程

本发明涉及裸眼3D显示技术，具体涉及一种裸眼3D增强现实互动展示系统及其展示方法。
背景技术：
：人类生活在一个立体的世界中，利用立体视觉机制来感知这个立体世界。为了表达这个世界，人们已提出并发展了很多方式，其中图像是最直观的表达方式。然而，目前大多数显示设备只能实现2D(二维)显示，可表达出场景的内容却忽略了深度信息，因此人们只能通过平时生活中所累积的经验以及2D图像中的阴影等信息去判断物体间的前后位置关系。在信息化、数字化的时代，随着社会的发展，2D显示逐渐不能满足人类的需求，3D(三维)显示已成为显示研究人员的新研究目标，成为显示领域的新发展趋势。随着人们对3D显示的研究不断深入，已提出各种技术实现了多种3D显示方式。其中，多视点光栅式3D显示器可让多名观看者在较大观看视角内同时裸眼观看到立体图像，感受震撼的视觉体验，从而备受关注。相比于助视3D显示器，它摆脱了助视设备的限制；相比于其他裸视3D显示器，它具有结构简单、亮度高、数据量相对较小以及与现有的平板显示器兼容等优点。光栅3D显示根据所采用的光栅材料的不同分为狭缝光栅3D显示和柱透镜光栅3D显示，前者是基于狭缝光栅不透光部分对光线的遮挡作用来使得左右眼分别看到对应的左右视差图像，后者则是利用柱透镜的折射作用使得左右眼分别看到左右视差图像。随着计算机技术的发展，增强现实技术(AugmentedReality，简称为AR)能够将计算机生成的物体叠加到现实景物上，以便使它们一起出现在使用者的视场中。AR技术在军事、机械、游戏娱乐、医疗，教育和文化遗产复原等领域均具有更广阔的发展前景。但是，增强现实虽然实现了虚拟和现实的融合，但是其显示方式基本上还停留在2D显示或助视设备上。助视设备限制了人们随时随地观看3D显示的需求，并且尤其不适用于商场、机场等人流量密集的场所。技术实现要素：为了解决以上现有技术中存在的问题，本专利提出了基于裸眼3D显示的增强现实互动展示系统及其展示方法，可以实现无需佩戴助视设备，便能看到三维的虚拟与现实的融合，并可以借助互动单元，使观看者能与裸眼3D合成单元中的虚拟物体进行交互，极大增加了显示设备的趣味性和吸引性。本发明的一个目的在于提出一种裸眼3D增强现实互动展示系统。本发明的裸眼3D增强现实互动展示系统包括：光学采集单元、三维渲染单元、互动单元、裸眼3D合成单元和裸眼3D显示单元；其中，互动单元连接至三维渲染单元；光学采集单元和三维渲染单元共同连接至裸眼3D合成单元；裸眼3D合成单元连接至裸眼3D显示单元；互动单元获取观看者的动作姿态，并发送指令至三维渲染单元；三维渲染单元接收指令对三维虚拟物体或场景进行实时渲染，获得渲染图像；光学采集单元采集实际场景的不同视角的实际相机图像，并与三维渲染单元的渲染图像一起传到裸眼3D合成单元；裸眼3D合成单元将实际相机图像进行投影畸变校正，并与渲染图像进行叠加，得到视差图像，并按照裸眼3D显示单元的物理结构进行视差图像合成；裸眼3D合成单元将合成的视差图像输出至裸眼3D显示单元中进行三维显示。光学采集单元包括多目实际相机和数据采集单元，多目实际相机连接至数据采集单元，数据采集单元采集多目实际相机的数据，再将获得数据传输至裸眼3D合成单元。多目实际相机，构成立体相机阵列，从不同角度拍摄裸眼3D显示单元正前方的实际场景，从而获取到不同视角的实际相机图像。多目实际相机的硬件和软件参数均保持一致，硬件参数主要包括采集芯片(如CCD、CMOS)、相机电路和镜头的规格参数等，软件参数包括分辨率、曝光时间、白平衡、颜色校正、图像裁剪区域和Bayer(贝叶耳)转换类型等，这些参数均需保持一致，这样才能在裸眼3D显示单元上实现较好的合成效果。其中，实际相机采用立体相机，多目实际相机以会聚式结构排布，各实际相机的光心位于同一水平线上，光轴位于同一平面内，并且相邻的实际相机的间距相等，各实际相机的光轴相交于位于立体相机阵列前的一点，称之为会聚点。若采用偶数个实际相机，则会聚点位于中间两个实际相机的光心连线的中垂线上；若采用奇数个相机，则会聚点位于中间的实际相机的光轴上。为了降低整体系统的运行耗时，提高系统帧率，本发明中的数据采集单元采用多线程相机采集方案，即通过调用多核CPU来并行采集实际相机的数据，再将获得的数据送往裸眼3D合成单元进行加速合成，从而在很大程度上提高了系统运行帧率。三维渲染单元中，存储了三维虚拟物体或场景和预设规则路径。首先通过测量实际相机的位置、角度等参数，创建与实际相机数量相同的虚拟相机，并调整虚拟相机的参数使其与实际相机的参数保持一致，每一个实际相机对应一个参数相同的虚拟相机。接下来，基于互动单元的触发指令或操控指令，虚拟相机对三维虚拟物体或场景进行实时渲染，得到多幅渲染图像，渲染图像为带透明通道的渲染纹理，即纹理中无三维虚拟物体或场景的位置均为透明通道，这是为了接下来的与实际相机拍摄的实际相机图像进行叠加。其中，三维虚拟物体或场景的出现是基于互动单元进行触发和响应，当互动单元发出触发指令时，三维渲染单元触发特定三维物体或场景按照预设规则或者路径出现，多个虚拟相机进行实时渲染得到渲染图像，以便与实际相机采集的图像进行叠加；当互动单元发出操控指令时，三维渲染单元中的三维虚拟物体，如动物等，根据操控指令进行相应动作姿势的响应，多个虚拟相机进行实时渲染得到渲染图像，以便与实际相机采集的图像进行叠加。一个虚拟相机得到的渲染图像与相对应的实际相机拍摄的实际相机图像相对应。互动单元是指人机交互系统，通过与三维渲染单元连接协同工作，给三维渲染单元提供触发和响应指令；包括红外投影仪、红外摄像头和分析处理器，分析处理器对红外投影仪的光源进行控制编码；红外投影仪主动投射近红外光谱，照射到观看者和实际场景中，光谱发生扭曲，形成随机的反射斑点；红外摄像头采集红外影像；分析处理器分析红外摄像头采集的红外影像，然后逐帧生成准确的场景深度影像，并计算出观看者的骨骼节点信息；分析处理器通过信号传输线连接至三维渲染单元，根据观看者所处位置、姿势或动作，对三维渲染单元发布触发指令或操控指令。裸眼3D合成单元获取光学采集单元的实际相机图像，和三维渲染单元的实时渲染图像；实际相机数量为K，相应的虚拟相机的数量也为K，则传到裸眼3D合成单元的图像数量为2K，即K幅实际相机图像和K幅渲染图像。获取到图像后，首先要对实际相机的实际相机图像进行投影畸变校正，因为实际装配过程中难免会引入误差，由于多目实际相机之间的俯仰角不相等，会导致采集的图像出现很大的偏差，因此需要对多目实际相机拍摄得到的实际相机图像进行投影畸变校正；投影畸变校正后的K幅实际相机图像，与K幅渲染图像进行叠加，遍历整幅图像，当渲染图像为透明通道时，则显示实际相机图像；当渲染图像为非透明通道时，则显示渲染图像；叠加后，得到K幅实际相机与虚拟相机的混合图像，这K幅混合图像用于裸眼3D显示的视差图像；然后将K幅视差图像按照裸眼3D显示单元物体特性进行图像合成，将合成图像输出至裸眼3D显示单元。裸眼3D显示单元包括2D显示屏和光栅，裸眼3D显示单元将不同视差图像的光线在空间中进行分开，并使其在最佳观看距离处进行会聚，来实现不同视差图像的空间分离，当观看者的左右眼分别看到不同视差图像时，根据大脑的融合作用，便会在大脑中形成立体视觉。光栅为狭缝光栅或者为柱镜光栅。本发明的另一个目的在于提供一种基于裸眼3D显示的增强现实互动展示方法。本发明的基于裸眼3D显示的增强现实互动展示方法，包括以下步骤：1)前期调试光学采集单元；2)互动单元获取观看者所处位置、姿势或动作，并发送指令至三维渲染单元；3)三维渲染单元接收指令对三维虚拟物体或场景进行实时渲染，获得渲染图像；4)光学采集单元采集实际场景的不同视角的实际相机图像，并与三维渲染单元的渲染图像一起传输至裸眼3D合成单元；5)裸眼3D合成单元获取光学采集单元的实际相机图像，和三维渲染单元的实时的渲染图像，将实际相机图像进行投影畸变校正，并与渲染图像进行叠加得到视差图像，然后按照裸眼3D显示单元的物理结构进行视差图像合成；6)裸眼3D合成单元将合成的视差图像输出至裸眼3D显示单元中进行三维显示。其中，在步骤1)中，前期调试光学采集单元包括以下步骤：a)多目实际相机的硬件和软件参数均保持一致；b)多目实际相机以会聚式结构排布，各实际相机的光心位于同一水平线上，光轴位于同一平面内；c)相邻的实际相机的间距相等；d)各实际相机的光轴相交于位于立体相机阵列前的一点，称之为会聚点。在步骤2)中，互动单元获取观看者的动作姿态，并发送指令至三维渲染单元，包括以下步骤：a)分析处理器对红外投影仪的光源进行控制编码；红外投影仪主动投射近红外光谱，照射到观看者和实际场景中，光谱发生扭曲，形成随机的反射斑点；b)红外摄像头采集红外影像；分析处理器分析红外摄像头采集的红外影像，然后逐帧生成准确的场景深度影像，并计算出人物的骨骼节点信息；c)分析处理器通过信号传输线连接至三维渲染单元，根据观看者所处位置、姿势或动作，对三维渲染单元发布触发指令或操控指令。在步骤3)中，三维渲染单元获得渲染图像，包括以下步骤：a)通过测量实际相机的硬件参数和软件参数，创建与实际相机数量相同的虚拟相机，并调整虚拟相机的参数使其与多目实际相机的参数保持一致，每一个实际相机对应一个参数相同的虚拟相机；b)基于互动单元的触发指令或操控指令，虚拟相机对三维虚拟物体或场景进行实时渲染，得到多幅渲染图像，渲染图像为带透明通道的渲染纹理，即纹理中无虚拟物体或场景的位置均为透明通道；当互动单元发出触发指令时，三维渲染单元触发特定三维物体或场景按照预设规则或者路径出现，多个虚拟相机进行实时渲染得到渲染图像，以便与实际相机采集的图像进行叠加；当互动单元发出操控指令时，三维渲染单元中的三维虚拟物体，根据操控指令进行相应动作姿势的响应，多个虚拟相机进行实时渲染得到渲染图像，以便与实际相机采集的图像进行叠加。在步骤4)中，采用多线程相机采集方案，即数据采集单元通过调用多核CPU来并行采集实际相机的数据，再将获得的数据送往裸眼3D合成单元进行加速合成。在步骤5)中，裸眼3D合成单元将实际相机图像进行投影畸变校正，包括以下步骤：a)对图像进行投影变换：[x'y'1]＝[xy1]×T(1)其中，(x,y)为基准图像的任意点的位置坐标，(x',y')为该任意点对应到未校正图像的点的位置坐标，用基准图像中的多个点坐标来确定未校正图像的相应点的坐标，然后将未校正图像进行投影畸变校正；公式(1)中的T为投影变换矩阵，大小为3×3矩阵，可表示为：T=t11t12t13t21t22t23t31t321---(2)]]>b)将公式(1)化简为：x′=t11x+t12y+t13t31x+t32y+1y′=t21x+t22y+t23t31x+t32y+1]]>c)找到基准图像与未校正图像的4组对应点，建立8个方程，将T求解出来，根据公式(1)对实际相机图像进行投影畸变校正，基准图像指位于立体相机阵列中心的实际相机拍摄得到的实际相机图像，对于奇数个实际相机，基准图像指位于中心的实际相机拍摄的实际相机图像；对于偶数个实际相机，选中心两个实际相机中的任意一个拍摄的实际相机图像；未校正图像指与基准图像相比存在畸变的未校正的实际相机图像。在步骤5)中，投影畸变校正后的实际相机图像与渲染图像进行叠加得到视差图像，包括以下步骤：投影畸变校正后的实际相机图像，与对应的渲染图像进行叠加，遍历整幅图像，当渲染图像为透明通道时，则显示实际相机图像；当渲染图像为非透明通道时，则显示渲染图像；叠加后得到用于裸眼3D显示单元的视差图像。在步骤5)中，按照裸眼3D显示单元的物理结构进行视差图像合成包括：将K幅视差图像按照裸眼屏的物体特性进行图像合成，下面给出视差图像与裸眼3D显示单元的2D显示屏的子像素的映射关系公式：Q=(k+koff-3ltanα)modXXK---(3)]]>其中，Q表示每个子像素与视差图像的映射值，k和l为子像素的图像坐标，以左上角为零点；α为光栅相对于竖直方向的夹角，X为一个光栅水平周期所占的子像素个数，K为视点数，koff为显示屏左上角距离下一个光栅周期左边界的子像素个数，mod()为取余函数。本发明的优点：本发明在光学采集单元采用多目实际相机构成立体相机阵列，拍摄得到实际场景的多角度的实际相机图像，互动单元根据观看者所处位置、姿势或动作，对三维渲染单元发布触发和操控指令，三维渲染单元对三维虚拟物体和场景进行实时渲染，并与实际相机图像一起传输至裸眼3D合成单元，进行图像叠加，得到实际相机图像与渲染图像的混合图像作为视差图像，输出至裸眼3D显示单元中进行三维显示；观看者就能从裸眼3D合成单元上看到自己及所处的实际场景的三维立体显示效果，不仅如此，还混合着三维虚拟物体与实际场景的叠加，并且，观看者还可以与三维虚拟物体进行交互，大大增加了裸眼3D显示单元的趣味性，更容易吸引人们的注意力；本发明实现无需佩戴助视设备，便能看到三维的虚拟与现实的融合，并可以借助互动单元，使观看者能与裸眼3D合成单元中的展示的虚拟物体进行交互，极大增加了显示设备的趣味性和吸引性。附图说明图1为本发明的基于裸眼3D显示的增强现实互动展示系统的结构框图；图2为本发明的基于裸眼3D显示的增强现实互动展示系统的会聚式结构排布的多目实际相机的俯视图；图3为本发明的基于裸眼3D显示的增强现实互动展示系统的光学系统的侧视图，其中，(a)为原理图，(b)为五目实际相机的实施例图；图4为本发明的基于裸眼3D显示的增强现实互动展示方法的一个实施例的动物触发控制逻辑图；图5为根据本发明的基于裸眼3D显示的增强现实互动展示方法进行投影畸变校正的示意图。具体实施方式下面结合附图，通过具体实施例，进一步阐述本发明。如图1所示，本发明的裸眼3D增强现实互动展示系统包括：光学采集单元、三维渲染单元、互动单元、裸眼3D合成单元和裸眼3D显示单元；其中，互动单元连接至三维渲染单元；光学采集单元和三维渲染单元共同连接至裸眼3D合成单元；裸眼3D合成单元连接至裸眼3D显示单元。1.裸眼3D显示单元：包括2D显示屏和光栅，2D显示屏为P1.667的LED三合一显示屏，分辨率为1920×1080，显示屏尺寸为3.2m×1.8m，最佳观看距离为4m，视点数为5。2.光学采集单元：本实施例中，五目实际相机采用工业相机，保证硬件参数和软件参数一致，光学采集单元中的工业相机和镜头的规格分别如下所示：表1相机规格参数表表2镜头规格参数表如图2所示，光学采集单元构成立体相机阵列，以会聚式结构排布，各实际相机的光心位于同一水平线上，光轴位于同一平面内，并且相邻的实际相机的间距相等，各实际相机的光轴相交于位于立体相机阵列前的一点，称之为会聚点。采用奇数个相机，则会聚点位于中间的实际相机的光轴上。如图3(a)所示，多目相机架设在裸眼3D显示单元正上方，高度为h，相机在竖直方向上的视场角为FOV，会聚点O到相机光心所在直线的距离为Z0，称之为会聚距离。ZA为实际场景中的实际物体距离实际相机的最近距离，若实际物体离实际相机更近，则实际物体在多目实际相机中的视差量将超过人眼的融合范围。观看者假设身高为h0，最佳观看距离为H。FOV值等镜头参数及相机高度、俯仰角等参数需要根据实际环境和显示屏分辨率等进行设计选型。如图3(b)所示，在本实施例中，根据裸眼3D显示单元的规格尺寸以及双目融合能力，计算相邻的实际相机的间距为3.3cm，会聚距离Z0为5m，最近物体距离ZA为2.64m，CMOS实际使用像素点数为1920×1080，那么实际相机在竖直方向上的视场角约为42°，相机架在离地面2.5m的高度，相机光轴与地面的夹角调至为25.4°。3.互动单元：互动单元采用红外投影仪和红外摄像头对观看者的位置、姿势等进行检测。当观看者走到最佳观看距离处附近，这里的设计值为3～5m，红外摄像头会返回裸眼3D合成单元前有人的信号。当裸眼3D合成单元前方3～5m范围内无人，则会返回裸眼3D合成单元前无人的信号。当该范围内的观看者伸手想触摸虚拟物体时，则返回伸手的信号。互动单元会实时检测观看者的当前状态，并将状态信号传给三维渲染单元。4.三维渲染单元：当三维渲染单元接收到互动单元发过来的指令时，会根据相应的指令触发或操控相应的状态。当收到当前无人的信号，会启动计时器，当到达指定时间后，会出现一个虚拟动物(如豹子)从虚拟树林中走出来，三维虚拟物体的行走路径是控制在观看者与裸眼3D显示单元之间，即图3中2.38m～4m的范围内，以防止与实际人物发生穿帮。当收到当前有人的信号时，会触发下一个动物(如梅花鹿)从树林中走出来，并会走到屏幕中间停留，做一些吃草、四顾张望的动作。此时，观看者从裸眼3D显示单元中看到的仿佛自己身前真有一只实际的梅花鹿一样，此时若观看者忍不住想试图去摸摸梅花鹿，则会被互动单元检测到，回传一个伸手信号，三维渲染单元会触发梅花鹿产生惊慌跑开的动作，从而与观看者产生强烈的互动。三维虚拟物体的触发控制逻辑，如图4所示。三维渲染单元中，创建五目虚拟相机，虚拟相机参数需与光学采集单元中的五目实际相机的参数保持一致，这样才能保证三维虚拟物体和实际场景空间，如地面等能够很好的吻合，才不会出现动物视角不正确、或者动物没有踩在地面上的问题。五目虚拟相机渲染后的图像以渲染纹理的方式实时传输到裸眼3D合成单元中。5.裸眼3D合成单元裸眼3D合成单元接收到五目实际相机采集的实际相机图像后，首先对实际相机图像进行投影畸变校正，这里以中心相机即第3个相机为基准相机，将两边的四个相机的原始图像以此中心相机拍摄的实际相机图像为基准图像进行图像投影畸变校正。以从左数第2个相机和中心相机为例，第2个和第3个相机拍摄的原始图像存在非常严重的垂直畸变，这是因为相机的俯仰角调整误差所致。以第2个实际相机拍摄的原始图像作为未校正图像，第3个实际相机拍摄的原始图像作为基准图像，投影畸变校正是从第2个和第3个相机拍摄的原始图像中找四组对应点，代入到公式(2)中，计算出第2个相机的投影变换矩阵为：T=1.009-0.0100.2010.0050.99620.2530.0000.0001.000]]>然后，根据公式(1)，如图5所示，[x'y'1]＝[xy1]×T(1)对第2个相机的实际相机图像进行投影畸变校正。接下来，将校正后的实际相机图像与渲染图像，根据虚拟相机的渲染图像的透明通道为权重进行叠加，当渲染图像中某个像素为透明通道时，则对应的位置图像显示实际相机图像；当为非透明通道时，则对应的位置图像显示渲染图像。处理过后，得到5幅叠加的视差图像。然后根据裸眼3D合成原理进行视差图像合成，最后将合成后的图像送到裸眼3D显示单元进行显示。那么，观看者就能从裸眼3D显示单元上看到自己及所处的实际场景的三维立体显示效果，不仅如此，还混合着三维虚拟物体与实际场景的叠加，并且，观看者还可以与虚拟物体进行交互，大大增加了裸眼3D显示单元的趣味性，更容易吸引人们的注意力。最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。当前第1页1 2 3