一种基于AR的三维全息实时互动系统及方法与流程

本发明涉及全息交互设备技术领域，尤其涉及一种基于ar的三维全息实时互动系统及方法。

背景技术：

目前的远程交互系统一般通过网络摄像机和麦克风采集音频和视频信息，然后音视频流数据通过宽带传输，传输到目的地后再通过音箱显示器和等音视频播放设备进行呈现。

但是现有的远程交互系统中视频的展示效果都是平面化的，基本无立体感，这样在交流过程中缺乏面对面立体交互的感觉，影响交互体验。

因此，现有技术还有待改进。

技术实现要素：

鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于ar的三维全息实时互动系统及方法，使得a地主体能以全息投影的方式在b地立体再现，从而增加了交互沟通的体验。

为实现上述目的，本发明采取了以下技术方案：

第一方面，本发明提出了一种基于ar的三维全息实时互动系统，其中，包括：

设置于a地的3d融合处理设备，与3d融合处理设备连接的第一音视频采集设备及音视频播放设备，第一音视频采集设备用于采集a地场景内的音频及视频，3d融合处理设备用于对a地采集的视频进行3d融合以形成用于在b地全息投影立体显示的融合视频，并将a地采集的音频及融合后的视频发送至b地，音视频播放设备用于播放b地发送来的音频及视频；

设置于b地的音视频处理设备，与音视频处理设备连接的第二音视频采集设备、音频播放设备及全息投影显示设备，第二音视频采集设备用于采集b地场景内的音频及视频，音视频处理设备用于将b地采集的音频及视频发送至a地，音频播放设备用于播放a地发送来的音频，全息投影显示设备用于以全息投影的效果立体显示a地发送来的融合视频。

其中，所述全息投影显示设备包括灯箱，位于灯箱内的透明全息反射屏及设置在透明全息反射屏上方的投影机，灯箱，透明全息反射屏及投影机以全息投影效果立体呈现图像。

其中，所述3d融合处理设备包括第一主控单元及第一网络通信单元，第一主控单元用于对第一音视频采集设备采集的音频进行处理得到音频数据，对视频进行3d融合处理得到融合后的视频数据并将音视频数据通过第一网络通信单元发送至b地，同时用于将b地发送来的音频数据视频数据发送至音视频播放设备进行播放；

所述音视频处理设备包括第二主控单元及第二网络通信单元，第二主控单元用于对第二音视频采集设备采集的音频视频进行处理得到音频数据视频数据并通过第二网络通信单元发送至a地，同时用于将a地发送来的音频视频数据发送至音频播放设备及全息投影显示设备进行播放。

其中，所述第一音视频采集设备设置有第一压缩单元用于将采集的音频视频进行压缩后发送至3d融合处理设备；

所述第二音视频采集设备设置有第二压缩单元用于将采集的音频视频进行压缩后发送至音视频处理设备。

第二方面，本发明提出了一种基于ar的三维全息实时互动方法，应用于上述的系统，其中，包括下述步骤：

s10，第一音视频采集设备采集a地对象场景的音频视频，存储为音频视频文件或直接发送至3d融合处理设备；

s20，3d融合处理设备将从a地采集到的视频图像进行抠像处理以去除背景提取出主体，再将主体与各需要互动的场景内容进行3d建模融合得到融合视频；

s30，3d融合处理设备将音频及融合后的视频通过网络发送至b地的音视频处理设备，且3d融合处理设备还接收b地发送来的音频视频并通过音视频播放设备进行播放；

s40，音视频处理设备将a地发送来的音频通过音频播放设备播放，以及将a地发送来的融合视频通过全息投影显示设备进行立体再现；

s50，音视频处理设备将第二音视频采集设备从b地采集到的音频视频通过网络实时发送至a地的3d融合处理设备以与a地的主体进行互动。

其中，所述3d建模融合具体包括如下步骤：

s201,获取视频图像中抠像处理后的主体；

s202,对抠像后的主体进行特征识别，得到人的特定动作或物的特定标志；

s203,依据特定动作或特定标志触发导出3d模型库中已建好的对应3d模型；

s204,将导出的3d模型叠加至视频图像，形成新的视频。

其中，所述将导出的3d模型叠加至视频图像还包括将主体的动作变化的多帧图像与3d模型的多个状态进行关联叠加。

本发明的基于ar的三维全息实时互动系统，通过在a地将采集的视频使用3d融合处理设备进行3d融合后形成融合视频，然后在b地通过全息投影显示设备以全息投影的方式立体动态呈现该融合视频，使得交互过程中有身临其境面对面沟通的感觉，提升了交互体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明基于ar的三维全息实时互动系统第一实施例的组成示意图；

图2为本发明全息投影显示设备的组成示意图；

图3为本发明基于ar的三维全息实时互动方法第一实施例的流程示意图；

图4为本发明3d建模融合的流程示意图；

图5为本发明主体人物与3d模型融合过程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明一种基于ar的三维全息实时互动系统,应用于远程交互。

该系统包括设置于a地的3d融合处理设备11，与3d融合处理设备11连接的第一音视频采集设备12及音视频播放设备13，第一音视频采集设备12用于采集a地场景内的音频及视频，3d融合处理设备11用于对a地采集的视频进行3d融合以形成用于在b地全息投影立体显示的融合视频，并将a地采集的音频及融合后的视频发送至b地，音视频播放设备13用于播放b地发送来的音频及视频。

3d融合处理设备11可以采用普通的计算机进行3d融合处理，也可以采用专用的计算机来进行3d融合处理，以提高整个系统的处理速度。第一音视频采集设备12可以是高清摄像机或高清数码相机及麦克风对视频音频进行采集。音视频播放设备13可以是音箱及液晶显示器等对音频视频进行播放。

该系统还包括设置于b地的音视频处理设备21，与音视频处理设备21连接的第二音视频采集设备22、音频播放设备24及全息投影显示设备23，第二音视频采集设备22用于采集b地场景内的音频及视频，音视频处理设备21用于将b地采集的音频及视频发送至a地，音频播放设备24用于播放a地发送来的音频，全息投影显示设备23用于以全息投影的效果立体显示a地发送来的融合视频。音视频处理设备21也可以采用普通的计算机进行音视频的处理，如编码解码，格式转换等。第二音视频采集设备22可以是摄像头、摄像机或数码相机及麦克风对视频音频进行采集。音频播放设备24可以是音箱对音频进行播放。全息投影显示设备23则是可以全息投影进行立体显示的设备。

作为一种实施方式，如图2所示，本发明系统的全息投影显示设备23包括灯箱231，位于灯箱231内的透明全息反射屏232及设置在透明全息反射屏232上方的投影机233，灯箱231，透明全息反射屏232及投影机233以全息投影效果立体呈现图像。投影机233连接音视频处理设备21用于得到投影用的视频源，透明全息反射屏232可以是金字塔形状的四面锥体透明结构，投影机233投射出的视频内容在透明全息反射屏232中的特定位置和背景配合能达到悬浮在灯箱231中的立体视频效果，而得到类全息投影图像。

这样，本发明的互动系统将a地采集的音频及视频发送至b地进行再现，同时将b地采集的音频及视频发送至a地进行播放，从而实现远程互动，同时，由于a地发送的视频是经过3d融合处理后的视频，且通过b地的全息投影显示设备23进行立体显示，故本发明的互动系统能将a地的主体人物或内容以全息投影的方式在b地立体再现，使得b地的主体人物有面对面沟通，身临其境的交流感觉，提升了使用者沟通互动的体验。

可以理解，在本发明的其他实施例中，b地的音视频处理设备21也可以对视频进行3d融合处理，然后a地的音视频播放设备13也可以是全息投影显示设备，这样可以将b地的主体人物的视频在a地进行立体呈现。

优选地，如图1所示，本发明系统的3d融合处理设备11包括第一主控单元111及第一网络通信单元112，第一主控单元111用于对第一音视频采集设备12采集的音频进行处理得到音频数据，对视频进行3d融合处理得到融合后的视频数据并将音视频数据通过第一网络通信单元112发送至b地，同时用于将b地发送来的音频数据视频数据发送至音视频播放设备13进行播放。第一主控单元111可以采用高性能的cpu对视频进行3d融合处理。第一网络通信单元112可以是以太网，wifi，gprs等通信模块。优选地，本发明的3d融合处理设备11还包括数据库用于存储3d融合处理过程中所需要的3d模型。

所述音视频处理设备21包括第二主控单元211及第二网络通信单元212，第二主控单元211用于对第二音视频采集设备22采集的音频视频进行处理得到音频数据视频数据并通过第二网络通信单元212发送至a地，同时用于将a地发送来的音频视频数据发送至音频播放设备及全息投影显示设备23进行播放。第二主控单元211可以采用高性能的cpu对音视频进行处理。第二网络通信单元212可以是以太网，wifi，gprs等通信模块与第一网络通信单元112进行有线或无线通讯。

进一步地，本发明系统的第一音视频采集设备12设置有第一压缩单元121用于将采集的音频视频进行压缩后发送至3d融合处理设备11。

所述第二音视频采集设备22设置有第二压缩单元221用于将采集的音频视频进行压缩后发送至音视频处理设备21。

这样，音视频在传输过程中是压缩过后的音视频，从而减小带宽占用，提高视频传输速度，减少实时互动过程中的卡顿现象。

如图3所示，本发明还提出了一种基于ar的三维全息实时互动方法，应用于上述的系统，包括下述步骤：

s10，第一音视频采集设备采集a地对象场景的音频视频，存储为音频视频文件或直接发送至3d融合处理设备。

第一音视频采集设备12用于将a地对象场景内音频视频物理信号转换成电信号，并将电信号转换成数字信号后发送至3d融合处理设备11进行处理。

s20，3d融合处理设备将从a地采集到的视频图像进行抠像处理以去除背景提取出主体，再将主体与各需要互动的场景内容进行3d建模融合得到融合视频。

3d融合处理设备11将a地的音频数字信号转换成能播放的音频数据，并将a地采集到的视频先抠像处理，以得到视频图像中的主体，如人或标志性物体。然后将主体在各种互动场景中所需要展示的情景内容与进行3d建模，并与主体进行叠加融合得到融合的3d视频。

如a地的主体人物在与b地的主体人物沟通过程中，讲到下雨的天气，则系统进行触发后将下雨的场景进行3d建模并与主体人物进行融和，得到主体人物处于下雨环境的3d视频中并发送至b地进行立体呈现。

s30，3d融合处理设备将音频及融合后的视频通过网络发送至b地的音视频处理设备，且3d融合处理设备还接收b地发送来的音频视频并通过音视频播放设备进行播放。

s40，音视频处理设备将a地发送来的音频通过音频播放设备播放，以及将a地发送来的融合视频通过全息投影显示设备进行立体再现。

音视频处理设备21接收到a地发送来的音频和视频后，将音频与视频分开，音频发送至音频播放设备24进行播放，视频则发送至全息投影显示设备23进行立体呈现，这样本发明的方法相对现有的交互方法采用平面化的视频交互而言，增强了沟通交互的真实感，提升交互体验。

s50，音视频处理设备将第二音视频采集设备从b地采集到的音频视频通过网络实时发送至a地的3d融合处理设备以与a地的主体进行互动。

具体地，如图4所示，本发明方法的3d建模融合具体包括如下步骤：

s201,获取视频图像中抠像处理后的主体。

抠像处理是为了去除背景中的干扰，主体可以是人或物。

s202,对抠像后的主体进行特征识别，得到人的特定动作或物的特定标志。

特征识别采用图像识别技术，提取图像中主体特征，得到人的特定动作或物的特定标志。如人的手势，表情，物上面的二维码等。

如图5所示，抠像处理后主体进行特征识别后，得到了该人手部的特定动作，该动作为手里拿着一物品的动作。

s203,依据特定动作或特定标志触发导出3d模型库中已建好的对应3d模型。

特征识别后得到特定动作或特定标志与预设的特定动作或特定标志进行比对，如匹配则触发导出3d模型库中已建好的对应3d模型。

如图5所示，该特定动作触发了3d模型库中对一虚拟立方体进行展示的3d模型，虚拟立方体的两边还有虚拟现实屏进行立方体数据显示。

s204,将导出的3d模型叠加至视频图像，形成新的视频。

将触发导出的3d模型与主体进行叠加，得到新的叠加后的视频图像，并组成新的视频。

如图5所示，主体与对应的3d模型叠加后得到了该主体在展示该立方体的视频图像。

进一步地，本发明方法将导出的3d模型叠加至视频图像还包括将主体的动作变化的多帧图像与3d模型的多个状态进行关联叠加。这样可以形成一个连续的动画视频，如图，将图5中主体人物的360旋转动的每一帧图像都加入立方体3d模型在对应角度位置的形态，则可以形成该主体人物拿着立方体模型旋转360度的动画视频。

本发明实施例的基于ar的三维全息实时互动系统及方法，通过在a地将采集的视频使用3d融合处理设备进行3d融合后形成融合视频，然后在b地通过全息投影显示设备以全息投影的方式立体动态呈现该融合视频，使得交互过程中有身临其境面对面沟通的感觉，大大提升了交互体验。

以上所述仅为清楚地说明本发明所作的举例，并非因此限制本发明的专利范围，这里无法对所有的实施方式予以穷举，凡是在本发明的构思下，利用本发明技术方案中的内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。