博物馆虚拟场景AR体验眼镜装置及其实现方法与流程

本发明涉及一种博物馆虚拟场景ar体验眼镜装置及其实现方法。

背景技术：

虚拟现实(virtualreality，简称vr，又译作灵境、幻真)是近年来出现的高新技术，也称灵境技术或人工环境。虚拟现实是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。

增强现实(augmentedreality，简称ar)，也被称之为混合现实。通过计算机技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。ar增强现实这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

vr头盔提供由封闭式3d场景，根本无法与人分享在虚拟世界中的乐趣，ar眼镜则必须有现实环境作为基础，强调的就是虚拟和真实互动，非常适合于多人分享。也是因此原因，两者的交互方式也是大不一样，vr采用的交互手段完全由人工设定，ar则更注重真实物体与虚拟效果的链接。

技术实现要素：

本发明的目的是克服现有技术存在的不足，提供一种博物馆虚拟场景ar体验眼镜装置及其实现方法。

本发明的目的通过以下技术方案来实现：

博物馆虚拟场景ar体验眼镜装置，特点是：包含眼镜组件、识别扫描装置以及体感设备装置，所述眼镜组件包括镜架、镜片和内核处理器，镜架具有两镜片支持部，两只镜片分别设置于两镜片支持部，镜片支持部上还设置有内核处理器；

所述识别扫描装置包括信息发射摄像头、第一处理器、信息接收摄像头以及第二处理器，信息发射摄像头和信息接收摄像头分别安装于两镜片支持部上，信息发射摄像头连接第一处理器，信息接收摄像头连接第二处理器，第一处理器和第二处理器均与内核处理器通讯连接；

所述体感设备装置包括动作捕捉摄像头、第三处理器、动作接收摄像头以及第四处理器，动作捕捉摄像头和动作接收摄像头分别安装于镜架两侧的前端，动作捕捉摄像头连接第三处理器，动作接收摄像头连接第四处理器，第三处理器和第四处理器均与内核处理器通讯连接。

进一步地，上述的博物馆虚拟场景ar体验眼镜装置，其中，所述动作接收摄像头为3d体感摄影机。

进一步地，上述的博物馆虚拟场景ar体验眼镜装置，其中，所述3d体感摄影机包含rgb摄像头以及位于其两侧的红外线发射器和红外线接收器。

进一步地，上述的博物馆虚拟场景ar体验眼镜装置，其中，所述3d体感摄影机的两侧设有用于声源定位和语音识别的四元麦克风阵列。

博物馆虚拟场景ar体验实现方法，其中，由识别扫描装置的信息发射摄像头和第一处理器对物体进行信息获取、进行摄像头标定、对场景中对象点在摄像头图像平面上的坐标位置与其世界空间坐标之间的映射关系进行确立，进而将图像反馈到信息接收摄像头，最后由第二处理器对图像信息处理，处理后的图像信息传输至内核处理器，镜片上有图像的显示，透明的状态，亦可看到具体的物体；

由体感设备装置的动作捕捉摄像头和第三处理器对手势动作进行获取，抬起手，捕捉手势的动作，进而反馈到动作接收摄像头上进行处理，最后由第四处理器对图像信息处理，信息传输至内核处理器；

内核处理器结合图像的识别处理与人体手势动作在空间上的坐标定位，实现ar场景；结合全息投影技术，打造四维空间，将整个要呈现的博物馆场景生成在空间里，在空间中来到展品画面前，镜片上提示有ar增强现实提示，抬起手，通过识别手势的动作，当手指点到与人眼看到镜片中ar位置一致时，此处即可呈现出ar场景。

进一步地，上述的博物馆虚拟场景ar体验实现方法，其中，由识别扫描装置进行图像获取、摄像机标定、特征提取、立体匹配、三维恢复和视频分析。

进一步地，上述的博物馆虚拟场景ar体验实现方法，其中，所述摄像机标定是对三维场景中对象点在左右摄像机图像平面上的坐标位置al(ul，vl)、ar(ur，vr)与其世界空间坐标a(x，y，z)之间的映射关系的确立，实现立体视觉三维模型重构。

进一步地，上述的博物馆虚拟场景ar体验实现方法，其中，所述特征提取，获取匹配赖以进行的图像特征，图像特征的性质与图像匹配的选择有密切的联系。

进一步地，上述的博物馆虚拟场景ar体验实现方法，其中，所述图像匹配是将三维空间中一点a(x，y，z)在左右摄像机的成像面cl和cr上的像点al(ul，vl)和ar(ur，vr)对应起来。

进一步地，上述的博物馆虚拟场景ar体验实现方法，其中，所述三维恢复是对被测对象表面点的三维信息进行恢复。

本发明与现有技术相比具有显著的优点和有益效果，具体体现在以下方面：

本发明设计独特，将增强现实和虚拟现实相结合，产生新的可视化环境；结合眼镜，呈现虚拟的四维场景；在四维场景中，体验ar技术；实现全新的体验模式，在某种意义上来说，是将博物馆搬回了家，可以在家中就能参观体验博物馆，不用去排队参观，从体验上来说，融合了科技的时代感，能够接触到最新的科学技术；可以与文物亲密接触，甚至可将文物拿在手中把玩，提升了博物馆的趣味性和教育意义。

附图说明

图1：本发明装置的结构示意图；

图2：本发明装置的工作原理示意图；

图3：识别扫描装置的工作原理示意图；

图4：体感设备装置的工作原理示意图；

图5：双目视觉的原理示意图；

图6：平行光轴的系统结构示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明具体实施方案。

如图1、图2所示，博物馆虚拟场景ar体验眼镜装置，包含眼镜组件、识别扫描装置以及体感设备装置，眼镜组件包括镜架11、镜片12和内核处理器13，镜架11具有两镜片支持部，两只镜片12分别设置于两镜片支持部，镜片支持部上还设置有内核处理器13。

识别扫描装置包括信息发射摄像头21、第一处理器22、信息接收摄像头23以及第二处理器24，信息发射摄像头21和信息接收摄像头23分别安装于两镜片支持部上，信息发射摄像头21连接第一处理器22，信息接收摄像头23连接第二处理器24，第一处理器22和第二处理器24均与内核处理器13通讯连接。

体感设备装置包括动作捕捉摄像头31、第三处理器32、动作接收摄像头33以及第四处理器34，动作捕捉摄像头31和动作接收摄像头33分别安装于镜架两侧的前端，动作捕捉摄像头31连接第三处理器32，动作接收摄像头33连接第四处理器34，第三处理器32和第四处理器34均与内核处理器13通讯连接。

动作接收摄像头31为3d体感摄影机，包含rgb摄像头以及位于其两侧的红外线发射器和红外线接收器，3d体感摄影机的两侧设有用于声源定位和语音识别的四元麦克风阵列。3d体感摄影机同时具有即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能；rgb摄像头用来获取640×480的彩色图像，每秒钟最多获取30帧图像；两边的是两个深度传感器，左侧的是红外线发射器，右侧的是红外线接收器，用来检测玩家的相对位置。两侧是一组四元麦克风阵列，用于声源定位和语音识别；下方还有一个带内置马达的底座，可以调整俯仰角。

如图2～4所示，由识别扫描装置的信息发射摄像头21和第一处理器22对物体进行信息获取、进行摄像头标定、对场景中对象点在摄像头图像平面上的坐标位置与其世界空间坐标之间的映射关系进行确立，进而将图像反馈到信息接收摄像头23，最后由第二处理器24对图像信息处理，处理后的图像信息传输至内核处理器13，镜片上有图像的显示，透明的状态，亦可看到具体的物体；

由体感设备装置的动作捕捉摄像头31和第三处理器32对手势动作进行获取，抬起手，捕捉手势的动作，进而反馈到动作接收摄像头33上进行处理，最后由第四处理器34对图像信息处理，信息传输至内核处理器13；

内核处理器13结合图像的识别处理与人体手势动作在空间上的坐标定位，实现ar场景；结合全息投影技术，打造四维空间，将整个要呈现的博物馆场景生成在空间里，在空间中来到展品画面前，镜片上提示有ar增强现实提示，抬起手，通过识别手势的动作，当手指点到与人眼看到镜片中ar位置一致时，此处即可呈现出ar场景。

左右两部摄像头(信息发射摄像头与信息接收摄像头)，如图5所示，图中分别以下标l和r标注左、右摄像头的相应参数。空间中一点a(x，y，z)在左右摄像机的成像面cl和cr上的像点分别为al(ul，vl)和ar(ur，vr)。这两个像点是空间中同一个对象点a的像，称为“共轭点”。知道了这两个共轭像点，分别作与各自相机的光心ol和or的连线，即投影线alol和aror，交点即为世界空间中的对象点a(x，y，z)。这就是双目视觉的基本原理。

平行光轴的系统结构，如图6所示，在平行光轴的立体视觉系统中，左右两台摄像头的焦距及其它内部参数均相等，光轴与摄像头的成像平面垂直，两台摄像头的x轴重合，y轴相互平行，因此将左摄像头沿着其x轴方向平移一段距离b(称为基线baseline)后与右摄像头重合。由空间点a及左右两摄像头的光心ol、or确定的极平面(epipolarplane)分别与左右成像平面cl、cr的交线pl、pr为共轭极线对，分别与各自成像平面的坐标轴ul、ur平行且共线。在这种理想的结构形式中，左右摄像头配置的几何关系最为简单，极线已具有很好的性质，为寻找对象点a在左右成像平面上的投影点al和ar之间的匹配关系提供了非常便利的条件。

由识别扫描装置进行图像获取、摄像机标定、特征提取、立体匹配、三维恢复和视频分析。

数字图像获取是立体视觉的信息来源，立体视觉图像一般为双目图像，有的采用多目图像。图像获取的方式有多种，由具体运用的场合和目的决定。立体图像的获取不仅要满足应用要求，而且要考虑视点差异、光照条件、摄像机性能和场景特点等方面的影响。

摄像机标定是对三维场景中对象点在左右摄像机图像平面上的坐标位置al(ul，vl)、ar(ur，vr)与其世界空间坐标a(x，y，z)之间的映射关系的确立，实现立体视觉三维模型重构。

特征提取，获取匹配赖以进行的图像特征，图像特征的性质与图像匹配的选择有密切的联系。相位作为匹配基元，本身反映信号的结构信息，对图像的高频噪声有很好的抑制作用，适于并行处理，能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题，需加入自适应滤波器解决。或者是像素的集合，也可以是抽象表达，如图像结构、图像目标和关系结构等。匹配特征主要有点状特征、线状特征和区域特征等。尺度较大的图像特征蕴含较多的图像信息，且特征本身的数目较少，匹配效率高。对于尺度较小的图像特征来说，对其进行表达和描述相对简单，定位精度较高；但由于其本身数目较多，所包含的图像信息少，在匹配时采较严格的约束条件和匹配策略，以尽可能地减少匹配歧义和提高匹配效率。好的匹配特征应具有要可区分性、不变性、唯一性以及有效解决匹配歧义的能力。

图像匹配是将三维空间中一点a(x，y，z)在左右摄像机的成像面cl和cr上的像点al(ul，vl)和ar(ur，vr)对应起来。

三维恢复是对被测对象表面点的三维信息进行恢复。影响三维测量精度的因素主要有摄像机标定误差、ccd成像设备的数字量化效应、特征提取和匹配定位精度等。

视频分析(运动检测、运动跟踪、规则判断、报警处理)，通过视差计算，得到全屏幕的视差图像后，采用背景建模的方式，得到运动前景物体的视差图像，再进行膨胀和腐蚀算法进行图像预处理，得到完整的可供分析的前景运动物体视差图。采用运动跟踪算法，全屏实时检测物体的大小、运动轨迹，并与事先设置的规则进行对比，如果有人进入或离开设置报警区域，系统则实时报警。

综上所述，本发明将增强现实和虚拟现实相结合，产生新的可视化环境；结合眼镜，呈现虚拟的四维场景；数据处理交互模式，实时运行，在四维场景中，体验ar技术。为全新的体验模式，在某种意义上来说，是将博物馆搬回了家，可以在家中就能参观体验博物馆，不用去排队参观，从体验上来说，融合了科技的时代感，能够接触到最新的科学技术。可以与文物亲密接触，甚至可将文物拿在手中把玩，提升了博物馆的趣味性和教育意义。

需要说明的是：以上所述仅为本发明的优选实施方式，并非用以限定本发明的权利范围；同时以上的描述，对于相关技术领域的专门人士应可明了及实施，因此其它未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含在申请专利范围中。