一种基于智能移动终端的实时增强虚拟现实系统及方法
【专利摘要】本发明涉及一种基于智能移动终端的实时增强虚拟现实系统及方法，包括：处理器、深度信息采集卡、RGB信息采集卡、存储单元以及显示屏，利用深度信息采集卡获得客观环境的三维深度信息；利用RGB信息采集卡获得客观环境基本信息；将上述三维深度信息和客观环境基本信息输入处理器进行处理，创建客观世界的三维模型；将处理的结果数据即客观世界的三维模型数据存储在存储单元中；利用接口电路进行增强虚拟现实的显示，实现人机交互。本发明系统设计合理，结构简单，实时性高，所需设备少，场景信息丢失少，可操作性强，应用范围广，成本较低等，能使用户真正体会到增强虚拟现实给人们带了的无穷魅力，构建的三维模型与实际客观环境模型误差小。
【专利说明】一种基于智能移动终端的实时增强虚拟现实系统及方法
[0001]
【技术领域】
[0002] 本发明涉及一种虚拟现实系统生成技术，具体的说是一种基于智能移动终端的实 时增强虚拟现实系统及方法。
【背景技术】
[0003] 增强现实技术（Augmented Reality, AR),是通过电脑技术将虚拟的信息应用到真 实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实 提供了生成一种逼真的视、听、力、触和动等感觉的虚拟环境，不同于人类可以感知的信息。 它不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠 力口。增强现实借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通 过传感技术将虚拟对象有机融入真实环境中，借助显示设备将虚拟对象与真实环境融为一 体，实现用户和环境直接进行自然交互。它是一种全新的人机交互技术，利用这样一种技 术，可以模拟真实的现场景观，它是以交互性和构想为基本特征的计算机高级人机界面。使 用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的"身临其境"的逼真性， 而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。因 此，AR具有三个基本要素，即现实与虚拟的结合、实时互动和三维定位。
[0004] 要达到AR的虚实结合，用户需要通过某种装置来观看。目前流行的技术主要有 透明装置和不透明装置两类，前者是利用透明装置，如3D眼镜和3D投影等装置，将虚拟影 像投影到装置上，使用户感受增强虚拟现实的场景，但需要多个特殊设备配合使用，使用的 场所、环境等都受到限制，已经逐渐不能满足人们随时随地进行增强虚拟现实要求的需要； 后者是利用计算机等处理器将处理好的已经虚拟现实结合的影像，如智能手机、平板电脑 等智能移动终端。由于智能移动终端具有复杂计算能力、录影、影像显示，还有GPS、网路连 线、触控、倾斜度侦测等的多项功能，价格也逐渐降低，于是在智能移动终端为平台的AR研 究越来越多。
[0005] 目前基于不透明装置的增强虚拟现实技术主流方法是通过图像视频采集卡进行 客观环境信息的采集，主要有单目、双目和多目摄像机进行同一场景的采集，然后利用图像 处理技术对不同摄像机采集到的同一场景进行特征提取，再利用特征匹配等算法进行场景 匹配，得到客观环境的三维信息，进行三维重建得到客观环境的三维模型，最后再进行增强 虚拟现实的实现。这样的方法缺点是：计算量巨大，需要进行大量的云数据处理与计算，三 维信息的获取对于处理器的能力要求非常高，且该方法几乎不能进行实时三维建模，且在 场景特征提取和三维重构过程中要丢失很多客观环境中有用的信息。
[0006] 为了进行实时三维模型建立，本发明采用RGB+D模型进行三维模型构建，直接利 用深度信息采集卡获取客观环境的三维深度信息（Depth Information),利用(XD视频图 像采集卡获取客观环境的基本信息(如色彩（RGB，Red，Green and Blue)、纹理信息、灰度信 息和强度信息等)，这样将客观环境信息中的三维深度信息的计算从处理器中解放出来，大 大提高了增强虚拟现实的实时性。
[0007] 在增强现实的环境中，使用者可以在看到周围真实环境的同时，还可以看到计算 机产生的增强信息。由于增强现实在虚拟现实与真实世界之间的沟壑上架起了一座桥梁， 因此，增强现实的应用潜力是相当巨大的，它可以广泛应用于智能机器人导航与避障、军 事、模式驾驶、三维导航、医学、制造与维修、游戏与娱乐等众多领域。
【发明内容】
[0008] 针对现有技术中三维信息的获取及计算对于处理器的能力要求非常高且、几乎不 能进行实时三维建模，且在场景特征提取和三维重构过程中会丢失很多客观环境中有用的 信息等不足，本发明要解决的技术问题是提供一种可将客观环境信息中的三维深度信息的 计算从处理器中解放出来，大大提高增强虚拟现实的实时性的基于智能移动终端的实时增 强虚拟现实系统及方法。
[0009] 为解决上述技术问题，本发明采用的技术方案是： 本发明一种基于智能移动终端的实时增强虚拟现实系统包括： 处理器、深度信息采集卡、RGB信息采集卡、存储单元以及显示屏，其中处理器接收由深 度信息采集卡和RGB信息采集卡采集的客观环境的三维深度信息和客观环境基本信息进 行处理、三维模型构建，将处理的结果数据存储至存储单元中；处理器通过接口电路连接显 示屏。
[0010] 所述深度信息采集卡为具有深度信息直接运算能力的摄像头，能够直接读取客观 环境的三维深度信息。
[0011] 本发明一种基于智能移动终端的实时增强虚拟现实方法包括以下步骤： 利用深度信息采集卡获得客观环境的三维深度信息； 利用RGB信息采集卡获得客观环境基本信息； 将上述三维深度信息和客观环境基本信息输入处理器进行处理，创建客观世界的三维 模型； 将处理的结果数据即客观世界的三维模型数据存储在存储单元中； 利用接口电路进行增强虚拟现实的显示，实现人机交互。
[0012] 创建客观世界的三维模型包括以下步骤： 信息滤波：对三维深度信息和客观环境基本信息即RGB+D图像即同时进行滤波，去除 噪声图像； 信息的跟踪算法：基于去噪后的RGB+ D信息的全部信息进行下一图像的估计； 基于RGB+ D信息的三维重构：利用三维世界信息的估计参数和典型的三角拼接法对 三维重构的最d、单元进行插值拼接，得到最终的客观世界三维模型。
[0013] 对RGB+D图像同时进行滤波通过以下公式实现：
【权利要求】
1. 一种基于智能移动终端的实时增强虚拟现实系统，其特征在于包括： 处理器、深度信息采集卡、RGB信息采集卡、存储单元以及显示屏，其中处理器接收由深 度信息采集卡和RGB信息采集卡采集的客观环境的三维深度信息和客观环境基本信息进 行处理、三维模型构建，将处理的结果数据存储至存储单元中；处理器通过接口电路连接显 示屏。
2. 按权利要求1所述的基于智能移动终端的实时增强虚拟现实系统，其特征在于：所 述深度信息采集卡为具有深度信息直接运算能力的摄像头，能够直接读取客观环境的三维 深度信息。
3. -种基于智能移动终端的实时增强虚拟现实方法，其特征在于包括以下步骤： 利用深度信息采集卡获得客观环境的三维深度信息； 利用RGB信息采集卡获得客观环境基本信息； 将上述三维深度信息和客观环境基本信息输入处理器进行处理，创建客观世界的三维 模型； 将处理的结果数据即客观世界的三维模型数据存储在存储单元中； 利用接口电路进行增强虚拟现实的显示，实现人机交互。
4. 按权利要求1所述的基于智能移动终端的实时增强虚拟现实方法，其特征在于：创 建客观世界的三维模型包括以下步骤： 信息滤波：对三维深度信息和客观环境基本信息即RGB+D图像即同时进行滤波，去除 噪声图像； 信息的跟踪算法：基于去噪后的RGB+ D信息的全部信息进行下一图像的估计； 基于RGB+ D信息的三维重构：利用三维世界信息的估计参数和典型的三角拼接法对 三适重最v'ijt进行插值拼接，得到最终的客观世界三维模型。
5. 按权利要求4所述的基于智能移动终端的实时增强虚拟现实方法，其特征在于对 RGB+D图像同时进行滤波通过以下公式实现：
(1) 其中，Γ(ι,)')为滤波去噪后的RGB+D图像；E为图像像素江}〇的邻域为滤波器 的权重系数；『(肌η)为含噪声的RGB+D图像，》，/?分别为邻域f中每一点的坐标值。
6. 按权利要求5所述的基于智能移动终端的实时增强虚拟现实方法，其特征在于：采 用典型高斯滤波器，即
其中，(ι·.)0为图像每个像素点坐标，（m,n)为滤波器在像素点(ι·,"ν)采用邻域s的集合， CT2为高斯函数的标准差。
7. 按权利要求4所述的基于智能移动终端的实时增强虚拟现实方法，其特征在于：对 于去噪后的三维世界信息的全部信息进行下一图像的估计为： 采用极大似然估计，即
其中为当前RGB+D图像；Ii为估计新RGB+D图像；G为当前图像和估计图像的李群 代数算子；P e为图像元素，Ω〇ι3RGB十D 为位姿估计模型；Di为深度信息采集卡获 取的深度信息；Vi为ο;的标准差；IHb为范数，且定义
其中，5为参数，S为变量，式中
8. 按权利要求4所述的基于智能移动终端的实时增强虚拟现实方法，其特征在于：通 过以下公式进行基于RGB+ D信息的三维重构：
其中，《⑷为三维重构的最小单元；Ku)为能量函数，且m满足Ku)最小；jt〇[)为智能 移动终端三维重构的地平面估计，这里采用简单的低通滤波器，即利用RGB+D信息的进行 地平面估计；〇1卩1为能量函数￡(沁的估计参数，物为《的梯度为RGB+D信息集合。 i it
9. 按权利要求4所述的基于智能移动终端的实时增强虚拟现实方法，其特征在于：还 包括以下步骤： 若移动终端的处理器的数据处理能力不足，则通过移动网络或者wifi将全部处理过程 上传到网络服务器或者个人PC机中处理，然后将处理后得到的数据再通过移动网络或者 wifi下载到移动智能终端。
10.按权利要求4所述的基于智能移动终端的实时增强虚拟现实方法，其特征在于：还 包括以下步骤： 若多个用户使用移动智能终端，则用户利用联网功能共享AR数据，多个用户在任何地 点、任何时间享受增强虚拟现实的应用。
【文档编号】G06F17/50GK104392045SQ201410688094
【公开日】2015年3月4日 申请日期:2014年11月25日 优先权日:2014年11月25日
【发明者】夏兴华 申请人:沈阳建筑大学