一种三维图像重构系统的制作方法

本实用新型属于立体成像及交互应用领域，特别涉及一种三维图像重构系统。

背景技术：

近年来，随着计算机渲染技术和显示技术的不断发展，用户对图像的立体显示效果和质量要求不断提高，同时渴望能与影像进行交互。传统的远程图像重构方案是直接把物体的图像直接传输，虽然能保证实时性，但由于传输的原始的二维图像，没有立体显示效果且不能与之互动。此外，如今热门的虚拟现实设备虽然能够交互并且有一定的立体显示效果，但由于需要提前佩戴特定的设备，不能裸眼观看，比较麻烦，价格昂贵且不便于同时多人观看，并且虚拟现实的立体影像一般是提前预置在设备里的，实时性较差。综合来看，提供灵活、显示效果逼真、实时性良好、可裸眼观看的三维图像重构和交互系统是具有重要意义的。

实时传输三维图像并重构，对于系统的处理能力提出了更高的要求，因观看者需要变换观看的内容，则要求系统需迅速切换图像采集和处理、投影，这给系统带来了较大的计算、调控压力；同时目标物体的采集场所会一定程度限制图像采集效果，目标物体的形态大小也对采集手段和投影方式提出了更高要求。

技术实现要素：

本实用新型是为克服已有方案的不足，设计出了一种远程三维图像重构和交互系统，该系统提供了从原始图像采集、图像处理到终端全息显示及交互的完整方案。

本实用新型采用如下技术方案：

一种三维图像重构系统，包括依次数据连接的：

图像采集单元，用于采集目标物体的全景图像数据；

图像处理单元，用于规划采集路径并控制图像采集单元采集，以及处理全景图像数据获得物体三维模型；

全息投影单元，用于将二维影像经过投影、反射、形成全息影像；

所述图像处理单元包括：

第一处理器，与图像采集单元、第二处理器数据连接，用于规划图像采集路径，规划若干拍摄点，以确保能获取到目标物体的360°全景图像；所述第一处理器还用于利用立体视觉处理技术计算和合成物体的三维模型；

第二处理器，与全息投影单元、第一处理器数据连接，用于渲染三维模型，生成若干个可用于全息投影的不同角度视图二维影像，控制全息投影单元投影。

将控制图像采集和控制终端全息投影的两部分分别交由两个控制器独立控制，使得图像采集单元和全息投影单元的关系可以是“一对一”、“一对多”、“多对一”、“多对多”等，系统的拓展性强。

优选的，所述图像采集单元包括导轨、相机、滑块，所述相机安装于滑块上，所述滑块沿导轨运动；

所述的滑块包括载物平台、带动载物平台滑行的至少两个滑轮组成；

所述的导轨由若干段光滑连接的圆弧组成，每段圆弧均包括靠近目标物体一侧的第一凹槽、远离目标物体一侧的第二凹槽，从而使圆弧的横截面近似为“山”字形，部分滑轮在第一凹槽中运动，另一部分在第二凹槽中运动。

更进一步的，所述在第一凹槽中运动的滑轮数小于在第二凹槽中运动的滑轮数。以增强相机运动过程的稳定性。

更进一步的，所述相机通过高度可调支撑架固定于滑块上，固定处设有旋转件，相机随旋转件转动，随支撑架上下移动。通过导轨、滑块和支撑杆的设置使得只用一台相机就可实现对目标物体的全景图像拍摄，成本较为经济且效率高，同时可根据场地实际情况设置导轨形状，灵活性高。

优选的，所述全息投影单元数量与采集点数量一致，包括显示器、全息投影膜、透明玻璃；通过叠加各全息投影单元的立体影像显示，获得更清晰的显示效果。

所述全息投影膜覆盖在透明玻璃上组成投影面，所述显示器水平放置，与投影面呈45°夹角，全息投影膜覆盖在透明玻璃上；

全息影像首先显示在水平放置的显示器上，之后影像投影至投影面上，投影面上的全息投影膜和玻璃将影像反射，最终沿着反射路径反向延长形成一个虚像，由于全息投影膜是半透半反射的且玻璃是透明的，在视觉上该虚像就会一个悬浮在玻璃后的立体影像。

更进一步的，所述显示器水平放置在投影面下方且屏幕向上，投影面与显示器的夹角为45°。以投影较大体积目标物体。

优选的，所述重构系统还包括交互单元，与第二处理器数据连接，包括信号接收器和发送器，在第二处理器控制下分别用于接收用户的命令信号和发送提示信息；

所述第二处理器内置命令库，用于分析和处理命令信号，将命令信号与命令库中的命令进行比较，当所传输的信号与三维图像重构系统中命令库的命令相匹配时，更新全息影像并投影显示，若不匹配时发送器发送提示信息。

本实用新型的优点在于：

1、本实用新型将控制图像采集和控制终端全息投影的两部分分别交由两台主机独立控制，使得图像采集系统和全息投影部分的关系可以是“一对一”、“一对多”、“多对一”、“多对多”等，系统的拓展性强。

2、本实用新型提供的图像采集系统部分通过导轨、滑块和支撑杆的设置使得只用一台相机就可实现对目标物体的全景图像拍摄，成本较为经济且效率高，同时可根据场地实际情况设置导轨形状，灵活性高。

3、本实用新型提供的完整的图像采集、图像处理、全息显示和交互系统方案，可保证终端展示的全息影像能根据目标物体的状态变化而动态更新，实时性良好。

4、本实用新型提供的全息投影部分采用的是佩珀尔幻象原理，投影方案成熟，立体效果逼真，且全息投影系统可根据用户的经费预算和要展示的图像大小选择实施方式，灵活性高。

5、本实用新型允许用户通过语音命令和手势命令控制全息影像从而实现交互，体验效果良好。

附图说明

图1为本实用新型的整体系统示意图；

图2为基于本实用新型系统的实施方法流程图；

图3为图像采集系统示意图；

图4为相机拍摄点示意图；

图5为导轨横截面示意图；

图6为滑块整体示意图；

图7为滑块的三视图；

图8为全息投影及交互系统示意图；

图9为全息投影原理图；

图10为更优的全息投影系统示意图；

图1到图10中：

1为导轨；2为滑块；3为支撑杆；

4为相机；5为目标物体；6为载物平台；

7为第一滑轮；8为第二滑轮；9为第三滑轮；

10为第一凹槽；11为第二凹槽；12为显示器；

13为全息投影膜；14为玻璃；15为投影支架；

16为视觉传感器；17为语音传感器；18为扬声器；

19为图像采集单元；20为第一处理器；21为第二处理器；

22为全息投影单元。

具体实施方式

为了使本实用新型的目的、技术方案和优点更加清楚，下面将结合附图对本实用新型作进一步地详细描述，显然，所描述的实施例仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本实用新型保护的范围。

目前存在以下几种立体影像成像技术：

光学透镜折射聚焦技术。专利号：cn107703726a，名称：一种空中显示系统及空中显示方法，该方法公开了一种空中显示系统及空中显示方法，该方法具体为：通过设置显示器、罩体、全反射镜和折射聚焦的光学组件，显示器发出的光线镜反射镜反射和光学组件折射聚焦后光学组件前方形成焦点并发散成为与显示器图像对应的实像，该实像可被穿透性触摸，给人以真实感。然而，由于该实用新型的核心原理是通过三个光学组件折射聚焦而成，其不可避免地存在观看成像距离有限制、观看角度受限制等缺点，本实用新型则利用的是光的反射和佩珀尔幻象，不会存在上述缺点。

全息电扇。此技术利用了视觉暂留原理，通过led灯带的高速旋转来实现平面成像，由于led灯条在旋转时并非密不透风，观察者依然可以看到灯条后的物体，从而让观察者感觉画面悬浮在空中，实现立体成像的效果。该技术的缺点是设备需要高速旋转，危险性较高，同时由于转速也会有上限，图像的连贯性不强，led显示的像素点较大，图像不够清晰。

高速运动的幕布。voxon公司的voxonvx1产品基于此原理。该技术将三维物体切分成数百层的截面，每一时刻投影一个截面的光到幕布上。通过幕布往复运动，投影光随之持续切换投影对应位置处的截面，当幕布运动和投影切换速度足够快时，在人眼视觉暂留的作用下，同一时间内，人眼就能看到几百层截面被同时被显示出来，构成一个完整显示出来的三维物体。此技术的缺点是对投影设备的刷新频率要求较高、对立体图像渲染引擎较高；由于用到高速运动幕布，也存在危险性高、噪音大等隐患。

高速旋转镜子。该技术的原理镜子旋转的角度和投影仪是同步的。在每个时刻，投影仪从上方投出在那个镜子角度下能看到的截面图。旋转速度够快的话，由于人脑的视觉暂留，就能看到稳定的立体影像。由于也是用到高速旋转的设备，也存在危险性高、噪音大等隐患，同时对投影仪的刷新频率和立体图像渲染引擎要求高。

对比上述几种全息投影技术，本实用新型采用的基于佩珀尔幻象原理的立体成像技术，成像技术较简单，对投影仪刷新频率和立体图像渲染引擎的要求较低，安全性高。在保证投影终端投影效果的同时，也降低了对计算机性能和成本的要求，网络传输数据时较简单，可保证实时性。

实施例1

一种三维图像重构系统，如图1所示，包括依次数据连接的：

1、图像采集单元，用于采集目标物体的全景图像数据；

如图3所示，所述图像采集单元包括导轨、相机、滑块，所述相机安装于滑块上，所述滑块沿导轨运动；相机的类型包括但不限于单目摄像头、双目摄像头、深度摄像头。

如图6-7所示，所述的滑块包括载物平台、带动载物平台滑行的三个滑轮组成；

所述的导轨由四段光滑连接的圆弧组成的一个圆形导轨，如图5所示，每段圆弧均包括靠近目标物体一侧的第一凹槽、远离目标物体一侧的第二凹槽，从而使圆弧的横截面近似为“山”字形，一个滑轮在第一凹槽中运动，两个滑轮在第二凹槽中运动。以增强相机运动过程的稳定性。可根据所在场地的形状和大小设计成由闭合或不闭合的若干段光滑连接的圆弧组成。

所述相机通过长度可调支撑架固定于滑块上，固定处设有旋转件，相机随旋转件转动，随支撑架上下移动。通过导轨、滑块和支撑杆的设置使得只用一台相机就可实现对目标物体的全景图像拍摄，成本较为经济且效率高，同时可根据场地实际情况设置导轨形状，灵活性高。

2、图像处理单元，用于规划采集路径并控制图像采集单元采集，以及处理全景图像数据获得物体三维模型；所述图像处理单元包括：

第一处理器，与图像采集单元、第二处理器数据连接，用于规划图像采集路径，规划若干拍摄点，以确保能获取到目标物体的360°全景图像；本实施例规划采集路径为：在目标物体前、后、左、右四个方向上的四个采集点各拍摄，规划拍摄点的示意图如图4所示，若目标物体结构较复杂，还可增加采集点，并控制相机跟随旋转件移动以获取不同视角的目标物体细节。所述第一处理器还用于利用立体视觉处理技术(如slam技术)计算和合成物体的三维模型并将数据通过网络传输至第二处理器；

第二处理器，与全息投影单元、第一处理器数据连接，用于渲染第一处理器传输来的三维模型，生成若干个可用于全息投影的不同角度视图二维影像，传输二维影像数据给全息投影单元，并控制全息投影单元投影；所述第二处理器内置命令库，用于分析和处理命令信号，将命令信号与命令库中的命令进行比较，当所传输的信号与三维图像重构系统中命令库的命令相匹配时，更新全息影像并投影显示，若不匹配时发送器发送提示信息，其中，命令库的命令包括但不限于：放大图像、缩小图像、旋转图像。

本实施例第一、二处理器为计算机主机，也可选用任意的中央处理器(cpu)、图形处理器(gpu)。

将控制图像采集和控制终端全息投影的两部分分别交由两个控制器独立控制，使得图像采集单元和全息投影单元的关系可以是“一对一”、“一对多”、“多对一”、“多对多”等，系统的拓展性强。

3、全息投影单元，用于将二维影像经过投影、反射、形成全息影像；

所述全息投影单元有四组，如图8所示，每组包括投影支架，以及固定于投影支架上的显示器、全息投影膜、透明玻璃；通过叠加各全息投影单元的立体影像显示，获得更清晰的显示效果。

如图9所示，所述全息投影膜覆盖在透明玻璃上组成投影面，所述显示器水平放置，与投影面呈45°夹角，全息投影膜覆盖在透明玻璃上；

全息影像首先显示在水平放置的显示器上，之后影像投影至投影面上，投影面上的全息投影膜和玻璃将影像反射，最终沿着反射路径反向延长形成一个虚像，由于全息投影膜是半透半反射的且玻璃是透明的，在视觉上该虚像就会一个悬浮在玻璃后的立体影像。

如图10所示，若需要显示的全息影像的高度较大，所述显示器水平放置在投影面下方且屏幕向上，投影面与显示器的夹角为45°。

4、交互单元，与全息投影单元集成在一起，包括视觉传感器16、语音传感器17和扬声器18。视觉传感器16和语音传感器17分别用于收集用户的手势信号和语音信号，扬声器18用于播报语音。当所传输的信号与命令库的命令相匹配时，第二计算机主机按照对应命令重新更新全息影像并投影至显示器上，若不匹配时语音播报提示信息。

基于上述系统的三维图像重构方法步骤如图2所示，包括步骤：

根据目标物体大小和导轨形状规划拍摄点，以确保能获取到目标物体的360°全景图像，本实施例的目标物体较为规整，因此规划为目标物体前后左右四个方位拍摄；

采集目标物体的全景图像数据，并利用立体视觉处理技术计算和合成物体的三维模型；

渲染三维模型，生成若干角度视图二维影像；

基于佩珀尔幻象原理，将二维影像经过投影、反射、形成全息立体影像。

当接收到用户命令信号时，获取用户的手势信号和语音信号并分析和处理；

将命令信号与三维图像重构系统命令库中的命令进行比较，当所传输的信号与三维图像重构系统中命令库的命令相匹配时，更新全息影像并投影显示，若不匹配时发送提示信息。

远程三维图像重构和交互系统的整体系统如图1所示，该系统主要由图像采集系统、第一计算机主机、第二计算机主机、全息投影及交互系统集成在一起组成。系统的实施方法流程图如图2所示。

第一计算机主机首先根据导轨1的形状和目标物体5的大小为图像采集系统规划拍摄点，规划拍摄点的示意图如图4所示。

图像采集系统示意图如图3所示，该系统包括导轨1、滑块2、支撑架3、相机4、目标物体5。导轨1的横截面形状近似为“山”字形，其示意图如图5所示，导轨中有两条凹槽，靠近目标物体一侧的是第一凹槽10，远离目标物体一侧是第二凹槽11；滑块2由载物平台6和三个滑轮组成，其示意图和三视图分别如图6和图7所示，第一滑轮7在第一凹槽10中滑行，第二滑轮8和第三滑轮9在第二凹槽11中滑行；支撑架3的长度可调节；相机4用于采集目标物体的全景图像数据；目标物体5放置导轨1的中心位置。

全息投影及交互系统示意图如图8所示，该系统由显示器12、全息投影膜13、玻璃14、投影支架15、视觉传感器16、语音传感器17、扬声器18组成。

全息投影部分由显示器13、全息投影膜14、玻璃15和投影支架16组成，其原理图如图9所示，全息影像首先显示在水平放置的显示器12上，之后影像投影至位于显示器12下方呈45°倾斜的投影面上，投影面上的全息投影膜13和玻璃14将影像反射，最终沿着反射路径反向延长形成一个虚像，由于全息投影膜13是半透半反射的且玻璃14是透明的，在视觉上该虚像就会一个悬浮在玻璃后的立体影像，从而呈现立体显示的效果。

上述实施例为本实用新型较佳的实施方式，但本实用新型的实施方式并不受上述实施例的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本实用新型的保护范围之内。