一种基于增强现实的3D即时通讯系统与方法与流程

文档序号:12376230阅读:来源:国知局

技术特征:

1.一种基于增强现实的3D即时通讯系统,其特征在于:包括结构相同的系统A和系统B,这两个系统分别包括使用者图像及音频采集单元、传输及接收单元、图像处理及重构单元、真实场景三维重建单元、动作捕捉单元以及图像输出单元;

所述使用者图像及音频采集单元依次连接传输及接收单元、图像处理及重构单元、图像输出单元;真实场景三维重建单元连接图像输出单元;动作捕捉单元连接图像输出单元;

所述使用者图像及音频采集单元,用于采集使用者全方位图像和使用者音频信息,并实时对使用者图像及音频信息进行记录;

所述的传输及接收单元,用于系统A与系统B之间进行图像及音频的传输;

所述图像处理及重构单元用于重构虚拟3D模型,即接收来自使用者图像及音频采集单元采集的使用者图像,通过图像预处理消除图像噪声和图像畸变;通过图像特征提取,找到特征点进行匹配;通过图像匹配获得物体的深度信息,根据获得的物体特征点以及深度信息进行模型重构;通过图形处理器对重构的模型进行实时渲染,生成虚拟3D模型;

所述真实场景三维重建单元通过使用者的移动,摄像头获取多个角度的真实场景深度图;通过即时迭代,对不同的深度图进行累计,精确计算出真实场景及物体的三维模型,确定虚拟3D物体投影位置、大小以及实时方向;

所述动作捕捉单元用于感知使用者及系统A和系统B的位置及运动状态,捕捉使用者头部运动轨迹以及眼球追踪,根据使用者的可视区域调整生成的虚拟3D物体位置和内容;

所述图像输出单元用于将三维重建后的图像根据场景深度图绘制于可视区域,投射到使用者眼中,并将虚拟3D物体与真实场景的物体信息一起显示。

2.根据权利要求1所述基于增强现实的3D即时通讯系统,其特征在于:所述使用者图像及音频采集单元包括多个全方位摄像头、耳机以及麦克风;其中,摄像头获取多张使用者的全方位图像,耳机与麦克风采集使用者音频信息,实时记录使用者图像及音频信息。

3.根据权利要求1所述基于增强现实的3D即时通讯系统,其特征在于:所述传输及接收单元采用无线网络方式连接,使系统A和系统B之间即时接收和传输图像及音频信息。

4.根据权利要求1所述基于增强现实的3D即时通讯系统,其特征在于:所述图像处理与重构单元,包括中央处理器以及图形处理器。

5.根据权利要求1所述基于增强现实的3D即时通讯系统,其特征在于:所述真实场景三维重建单元,包括两个及以上摄像头、中央处理器和图形处理器。

6.根据权利要求1所述基于增强现实的3D即时通讯系统,其特征在于:所述动作捕捉单元,包括三轴陀螺仪、加速度计以及红外摄像机。

7.根据权利要求1所述基于增强现实的3D即时通讯系统,其特征在于:所述图像输出单元包括显示器(1)、光学转象透镜组(2)、楔形反射镜(3)、全息反射镜(4)、后全息组合透镜(5)、前全息组合透镜(6);

显示器(1)发出的光通过光孔进入光学转象透镜组(2),通过楔形反射镜(3)将光线反射到上全息反射镜(4)上;通过倾斜的后全息组合透镜(5)将显示器(1)构成的图像成像在前全息组合透镜(6)的焦面上;光线通过带小刻蚀线的曲面玻璃制成的全息反射镜(4)衍射进入人眼(7)中;通过光的衍射作用,形成多束平行光进入到人眼(7)中,从而将显示器(1)构成的图像像距投影在无穷远处;通过模仿人眼观察真实场景事物获得立体感,对投射到使用者左、右眼的图像根据使用者的瞳距进行视差方面的处理,让使用者看到的虚拟物体产生的视差信息,获得与观察真实空间事物一样的3D立体感。

8.一种基于增强现实的3D即时通讯方法,其特征在于采用权利要求1至7中任一项所述基于增强现实的3D即时通讯系统实现,其包括如下步骤:

步骤(1):系统A与系统B的传输及接收单元通过无线网络连接,进行即时通讯;

步骤(2):系统A将使用者的全方位图像和声音通过其传输及接收单元,即时发送给系统B,并实时接收来自系统B使用者的全方位图像和声音信息;

步骤(3):系统B通过其图像处理及重构单元以及接收到的系统A使用者的全方位图像,生成系统A使用者的虚拟3D图像;

步骤(:4):系统B通过其真实场景三维重建单元获取真实场景的深度图,并进行真实场景的三维重建,计算出真实场景及物体的三维模型,确定系统A使用者的虚拟3D图像的投影位置、大小以及实时方向;

步骤(5):系统B通过其图像输出单元,将重构的系统A使用者全方位图像经过视差方面的处理,通过全息组合透镜以平行光形式投射到系统B使用者眼中,让系统B使用者看到的虚拟物体产生视差信息,获得与观察真实空间事物一样的3D立体感,从而实现虚拟物体与真实场景相叠加的3D即时通讯;

步骤(6):系统B通过动作捕捉单元对使用者眼球转动、头部转动以及位置移动等运动状态进行感知和追踪;根据使用者可视区域的变化,通过图形处理器对生成的虚拟3D物体进行实时渲染,改变系统A使用者虚拟3D图像的位置和实时方向;

步骤(7):系统A和系统B不断循环进行以上步骤,实现3D即时通讯。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1