一种基于增强现实的3D即时通讯系统与方法与流程

本发明涉及电子通讯领域，尤其涉及一种基于增强现实的3D即时通讯系统与方法。

背景技术：

目前人类的主要的即时通讯方式有利用手机通话、视频、邮件等，无论一种即时通讯方式都是以文本、音频、视频的方式支持使用者进行通讯交流。但是无论哪一种即时通讯方式都可以明显感受到通讯工具对通讯体验的限制，无法达到人们面对面聊天交流的沉浸感。

增强现实技术，即(Augmented Reality)技术，是指一种把虚拟化技术加到使用者感官知觉上再来观察世界的方式，通过科学技术模拟仿真后再叠加到现实世界被人类的感官所感知，从而达到超越现实的感官体验。近来较为通用的增强现实系统是安装了摄像头的移动设备，如智能手机。使用者通过智能手机上的摄像头进行拍摄，然后在后台处理获取信息，添加一些照片中无法直接获得的信息，操作过程较为复杂和繁琐，而且仅限于二维平面进行操作。

技术实现要素：

本发明的目的在于克服现有即时通讯方式由于通讯工具对通讯体验的限制造成即时通讯沉浸感不足，提供一种基于增强现实的3D即时通讯系统与方法，让使用者在即时通讯中获取真实感与立体感，优化通讯效果，增加即时通讯沉浸感。

本发明通过下述技术方案实现：

一种基于增强现实的3D即时通讯系统，其特征在于：包括结构相同的系统A和系统B，这两个系统分别包括使用者图像及音频采集单元、传输及接收单元、图像处理及重构单元、真实场景三维重建单元、动作捕捉单元以及图像输出单元；

所述使用者图像及音频采集单元依次连接传输及接收单元、图像处理及重构单元、图像输出单元；真实场景三维重建单元连接图像输出单元；动作捕捉单元连接图像输出单元；

所述使用者图像及音频采集单元，用于采集使用者全方位图像和使用者音频信息，并实时对使用者图像及音频信息进行记录；

所述的传输及接收单元，用于系统A与系统B之间进行图像及音频的传输；

所述图像处理及重构单元用于重构虚拟3D模型，即接收来自使用者图像及音频采集单元采集的使用者图像，通过图像预处理消除图像噪声和图像畸变；通过图像特征提取，找到特征点进行匹配；通过图像匹配获得物体的深度信息，根据获得的物体特征点以及深度信息进行模型重构；通过图形处理器对重构的模型进行实时渲染，生成虚拟3D模型；

所述真实场景三维重建单元通过使用者的移动，摄像头获取多个角度的真实场景深度图；通过即时迭代，对不同的深度图进行累计，精确计算出真实场景及物体的三维模型，确定虚拟3D物体投影位置、大小以及实时方向。

所述动作捕捉单元用于感知使用者及系统A和系统B的位置及运动状态，捕捉使用者头部运动轨迹以及眼球追踪，根据使用者的可视区域调整生成的虚拟3D物体位置和内容；

所述图像输出单元用于将三维重建后的图像根据场景深度图绘制于可视区域，投射到使用者眼中，并将虚拟3D物体与真实场景的物体信息一起显示。

所述使用者图像及音频采集单元包括多个全方位摄像头、耳机以及麦克风；其中，摄像头获取多张使用者的全方位图像，耳机与麦克风采集使用者音频信息，实时记录使用者图像及音频信息。

所述传输及接收单元采用无线网络方式连接，使系统A和系统B之间即时接收和传输图像及音频信息。

所述图像处理与重构单元，包括中央处理器以及图形处理器。

所述真实场景三维重建单元，包括两个及以上摄像头、中央处理器和图形处理器。

所述动作捕捉单元，包括三轴陀螺仪、加速度计以及红外摄像机。

所述图像输出单元包括显示器1、光学转象透镜组2、楔形反射镜3、全息反射镜4、后全息组合透镜5、前全息组合透镜6；

显示器1发出的光通过光孔进入光学转象透镜组2，通过楔形反射镜3将光线反射到上全息反射镜4上。通过倾斜的后全息组合透镜5将显示器1构成的图像成像在前全息组合透镜6的焦面上；光线通过带小刻蚀线的曲面玻璃制成的全息反射镜4衍射进入人眼7中；通过光的衍射作用，形成多束平行光进入到人眼7中，从而将显示器1构成的图像像距投影在无穷远处；通过模仿人眼观察真实场景事物获得立体感，对投射到使用者左、右眼的图像根据使用者的瞳距进行视差方面的处理，让使用者看到的虚拟物体产生一定的视差信息，获得与观察真实空间事物一样的3D立体感。

本发明基于增强现实的3D即时通讯方法如下：

步骤(1)：系统A与系统B的传输及接收单元通过无线网络连接，进行即时通讯；

步骤(2)：系统A将使用者的全方位图像和声音通过其传输及接收单元，即时发送给系统B，并实时接收来自系统B使用者的全方位图像和声音信息；

步骤(3)：系统B通过其图像处理及重构单元以及接收到的系统A使用者的全方位图像，生成系统A使用者的虚拟3D图像；

步骤(:4)：系统B通过其真实场景三维重建单元获取真实场景的深度图，并进行真实场景的三维重建，计算出真实场景及物体的三维模型，确定系统A使用者的虚拟3D图像的投影位置、大小以及实时方向；

步骤(5)：系统B通过其图像输出单元，将重构的系统A使用者全方位图像经过视差方面的处理，通过全息组合透镜以平行光形式投射到系统B使用者眼中，让系统B使用者看到的虚拟物体产生视差信息，获得与观察真实空间事物一样的3D立体感，从而实现虚拟物体与真实场景相叠加的3D即时通讯；

步骤(6)：系统B通过动作捕捉单元对使用者眼球转动、头部转动以及位置移动等运动状态进行感知和追踪；根据使用者可视区域的变化，通过图形处理器对生成的虚拟3D物体进行实时渲染，改变系统A使用者虚拟3D图像的位置和实时方向；

步骤(7)：系统A和系统B不断循环进行以上步骤，实现3D即时通讯。

本发明与传统的无即时通讯方式以文本、音频、视频的方式支持使用者进行通讯交流相比，采用基于增强现实的3D即时通讯方式解除了通讯工具对通讯体验的限制，增加了即时通讯的沉浸感，优化通讯体验。

附图说明

图1为本发明基于增强现实的3D即时通讯系统的架构示意图。

图2为本发明图像处理及重构单元工作流程图。

图3为本发明真实场景三维重建单元工作流程图。

图4为本发明图像显示方案示意图。

具体实施方式

下面结合具体实施例对本发明作进一步具体详细描述。

实施例

如图1至4所示。本发明公开了一种基于增强现实的3D即时通讯系统，其特征在于：包括结构相同的系统A和系统B，这两个系统分别包括使用者图像及音频采集单元、传输及接收单元、图像处理及重构单元、真实场景三维重建单元、动作捕捉单元以及图像输出单元；

所述使用者图像及音频采集单元依次连接传输及接收单元、图像处理及重构单元、图像输出单元；真实场景三维重建单元连接图像输出单元；动作捕捉单元连接图像输出单元；

所述使用者图像及音频采集单元，用于采集使用者全方位图像和使用者音频信息，并实时对使用者图像及音频信息进行记录；

所述的传输及接收单元，用于系统A与系统B之间进行图像及音频的传输；

所述图像处理及重构单元用于重构虚拟3D模型，即接收来自使用者图像及音频采集单元采集的使用者图像，通过图像预处理消除图像噪声和(明显的)图像畸变；通过图像特征提取，找到特征点进行匹配；通过图像匹配获得物体的深度信息，根据获得的物体特征点以及深度信息进行模型重构；通过图形处理器对重构的模型进行实时渲染，生成虚拟3D模型；

所述真实场景三维重建单元通过使用者的移动，摄像头获取多个角度的真实场景深度图；通过即时迭代，对不同的深度图进行累计，精确计算出真实场景及物体的三维模型，确定虚拟3D物体投影位置、大小以及实时方向；

所述动作捕捉单元用于感知使用者及系统A和系统B的位置及运动状态，捕捉使用者头部运动轨迹以及眼球追踪，根据使用者的可视区域调整生成的虚拟3D物体位置和内容；

所述图像输出单元用于将三维重建后的图像根据场景深度图绘制于可视区域，投射到使用者眼中，并将虚拟3D物体与真实场景的物体信息一起显示。

所述使用者图像及音频采集单元包括多个全方位摄像头、耳机以及麦克风；其中，摄像头获取多张使用者的全方位图像，耳机与麦克风采集使用者音频信息，实时记录使用者图像及音频信息。

所述传输及接收单元采用无线网络方式连接，使系统A和系统B之间即时接收和传输图像及音频信息。

所述图像处理与重构单元，包括中央处理器以及图形处理器。

所述真实场景三维重建单元，包括两个及以上摄像头(双目摄像头)、中央处理器和图形处理器。摄像头可采用两个摄像头进行真实场景信息的获取，深度信息获取的方法是：两个摄像头经过标定后计算出摄像头内参数与外参数；从不同的角度同时获取具有相同区域的图像；两幅图像经过图像处理和图像匹配，计算出基于视差原理两个摄像头拍摄出的相同区域真实场景的深度信息；利用一系列不同角度的双目摄像头拍摄的可视区域图片，获取整个可视区域完整的深度信息，构建可视区域深度图。

所述动作捕捉单元，包括三轴陀螺仪、加速度计以及红外摄像机。

所述图像输出单元包括(高亮度微型)显示器1、光学转象透镜组2、楔形反射镜3、全息反射镜4、后全息组合透镜5、前全息组合透镜6；

显示器1发出的光通过光孔进入光学转象透镜组2，通过楔形反射镜3将光线反射到上全息反射镜4上。通过倾斜的后全息组合透镜5将显示器1构成的图像成像在前全息组合透镜6的焦面上；光线通过带小刻蚀线的曲面玻璃制成的全息反射镜4衍射进入人眼7中；通过光的衍射作用，形成多束平行光进入到人眼7中，从而将显示器1构成的图像像距投影在无穷远处；通过模仿人眼观察真实场景事物获得立体感，对投射到使用者左、右眼的图像根据使用者的瞳距进行视差方面的处理，让使用者看到的虚拟物体产生一定的视差信息，获得与观察真实空间事物一样的3D立体感。

实现三维场景的增强现实需要通过定位数据和场景信息来保证所生成的虚拟3D物体精确处于真实场景中，因此实现三维场景下的增强现实需要包含几个基本处理步骤：

获取真实场景信息，包括深度信息；

对获取的真实场景信息进行处理，获取场景深度图；

通过图像处理和三维重建生成虚拟3D物体；

根据场景深度图将生成的3D物体绘制于可视区域，投射到使用者眼中，并将虚拟3D物体与真实场景的物体信息一起显示。

本发明基于增强现实的3D即时通讯方法如下：

步骤(1)：系统A与系统B的传输及接收单元通过无线网络连接，进行即时通讯；

步骤(2)：系统A将使用者的全方位图像和声音通过其传输及接收单元，即时发送给系统B，并实时接收来自系统B使用者的全方位图像和声音信息；

步骤(3)：系统B通过其图像处理及重构单元以及接收到的系统A使用者的全方位图像，生成系统A使用者的虚拟3D图像；

步骤(:4)：系统B通过其真实场景三维重建单元获取真实场景的深度图，并进行真实场景的三维重建，计算出真实场景及物体的三维模型，确定系统A使用者的虚拟3D图像的投影位置、大小以及实时方向；

步骤(5)：系统B通过其图像输出单元，将重构的系统A使用者全方位图像经过视差方面的处理，通过全息组合透镜以平行光形式投射到系统B使用者眼中，让系统B使用者看到的虚拟物体产生(一定的)视差信息，获得与观察真实空间事物一样的3D立体感，从而实现虚拟物体与真实场景相叠加的3D即时通讯；

步骤(6)：系统B通过动作捕捉单元对使用者眼球转动、头部转动以及位置移动等运动状态进行感知和追踪；根据使用者可视区域的变化，通过图形处理器对生成的虚拟3D物体进行实时渲染，改变系统A使用者虚拟3D图像的位置和实时方向；

步骤(7)：系统A和系统B不断循环进行以上步骤，实现3D即时通讯。

如上所述，本发明图像及音频采集单元用于采集通讯所用的图像及音频信息；通过传输与接收单元将图像转化为深度信息，构建深度图，并通过深度图进行三维重建；将构建的三维物体投射到使用者眼中，并与真实场景相叠加，形成复合场景。本系统将传统的即时通讯方式转化为3D即时通讯方式，有利于使用者提高通讯的体验，优化通讯效果。

本发明的实施方式并不受上述实施例的限制，其他任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。