专利名称：一种基于增强现实的实景融合装置的制作方法
技术领域：
一种基于增强现实的实景融合装置技术领域[0001]本实用新型涉及一种图像增强现实视觉技术，具体地说是一种基于增强现实的实景融合装置。
背景技术：
[0002]目前大量使用的各类观瞄跟踪类装置的模拟训练器材主要是基于虚拟现实技术， 由计算机生成纯虚拟二维或三维场景，场景的纵深感、层次感、天气影响、场景变化等都与实际景物有十分明显的差异，场景逼真度较差。此外，由于采用纯虚拟场景，绝大部分此类器材是在室内使用，不能与其他室外训练结合，限制了训练装置的使用范围。实用新型内容[0003]针对现有技术中模拟训练器材视觉仿真效果存在场景逼真度较差、不能与其他室外训练结合等不足之处，本实用新型要解决的技术问题是提供一种真实性强、使用方便、能够在室外应用，更贴近于实战环境的增强现实的实景融合装置。[0004]为解决上述技术问题，本实用新型采用的技术方案是[0005]本实用新型基于增强现实的实景融合装置包括图像处理器、摄像机以及显示器， 其中摄像机的图像数据输出端与图像处理器的数据输入端相连，图像处理器的输出端接有显不器。[0006]所述摄像机采用工业彩色数字摄像机，扫描方式为逐行扫描，感光元件宽高比例为4 3，具有IEEE-1934b输出接口，能以RGB格式输出分辨率不低于640 X 480像素、刷新率不低于25fps的视频数据；快门与增益可控，带有自动曝光控制。[0007]所述的显示器采用双目式眼镜显示器，分辨率不低于640 X 480像素，刷新率不低于60Hz，色彩深度不低于16位，具有VGA信号输入接口。[0008]本实用新型的有益效果是[0009]1.能够大幅提观瞄跟踪类装置模拟训练的真实感。[0010]目前大量使用的各类观瞄跟踪类装置的计算机视景仿真模拟训练器材绝大多数是由计算机生成纯虚拟二维或三维场景，场景的纵深感、层次感、天气影响、场景变化等都与实际景物有十分明显的差异，场景逼真度较差。本实用新型是将真实的室外景象与计算机生成的虚拟景物结合，场景的主体是室外的真实景象，大幅提高了训练场景的真实感。[0011]2.将观瞄跟踪类装置模拟训练从室内扩展到室外[0012]由于目前大部分观瞄跟踪类装置模拟训练器材使用纯虚拟的训练场景，因此绝大部分只能在室内使用。本实用新型可以在室外应用，不仅拓展了模拟训练装置的使用范围， 还使模拟训练可以与其他室外训练科目相结合，有助于提高了受训人员的综合技能。
[0013]图1为本实用新型组成结构框图；[0014]图2为本实用新型采用的方法流程图；图3为本实用新型采用的方法中CVid类构架示意图；图4为CVid类模型示意图。
具体实施方式
下面通过结合附图对本实用新型作进一步详细说明。如图1所示，为本实用新型基于增强现实的实景融合装置的组成结构，包括图像处理器、摄像机以及显示器，其中摄像机的图像数据输出端与图像处理器的数据输入端相连，图像处理器的输出端接有显示器。本是实施例中，图像处理器为一台高性能计算机，通过IEEE_1394b接口连接彩色数字摄像机，通过VGA接口连接双目式眼镜显示器。图形引擎是一种基于某图形库(如 OpenGL、DirectX等)的换件平台或软件环境，运行于计算机之上。摄像机采用工业彩色数字摄像机，扫描方式为逐行扫描，感光元件宽高比例为4 3，具有IEEE-1934b输出接口， 能以RGB格式输出分辨率不低于640X480像素、刷新率不低于25fps的视频数据。快门与增益可控，带有自动曝光控制(自动快门法、自动增益法，能进行最大增益法控制曝光)。 本实施例采用Point Grey Research公司生产的Flea2彩色数字摄像机。安装时，数字彩色摄像机的光轴与模拟观瞄跟踪装置瞄准线重合。双目式眼镜显示器是一种分辨率不低于 640X480像素，刷新率不低于60Hz的眼睛是显示器，色彩深度不低于16位，具有VGA信号输入接口。本实施例采用的双目式眼镜显示器分辨率为800X600,32位色彩深度，刷新率 60Hz，带有VGA信号输入接口。本实用新型基于增强现实的实景融合装置通过以下方法实现其显示过程利用摄像机采集真实景物的视频数据，输入到图像处理器中进行处理；将上述视频数据转化成连续的单帧图像，将每一帧图像转换为纹理数据；利用三维图形引擎将此纹理数据映射到超过所有虚拟景物距离的矩形面上；在三维图形引擎中将上述矩形面与图像处理器生成的虚拟景物同时进行渲染，形成虚实结合的图像视频。利用三维图形引擎将此纹理数据映射到超过所有虚拟景物距离的矩形面上的过程为利用三维图形引擎在超过所有虚拟景物距离的空间上绘制一个与三维图形引擎的 FOV截面大小相同的矩形面；利用三维图形引擎对纹理数据进行纹理滤波；将此纹理数据绑定在上述矩形面上。摄像机采集真实景物的视频数据采用多线程采集方法，为每一路需要采集的视频开辟两个异步执行的采集线程。如图2所示，本是实施例中实景融合方法的实现过程如下来自于数字摄像机的视频数据经CVid类对象处理后成一序列的纹理数据。如图3所示，为CVid类构架示意图。CVid类对象构建于ARToolkit库与DSVL库之上，实现视频采集、将单帧视频转换为纹理数据的功能。CVid类对象主要实现了摄像机视频的连续采集和单帧图像的获取。如图2、4所示，为CVid类的模型。构造函数CVidO获得描述摄像机设置的.ml 文件。RimCaptureO读取这些设置并建立采集缓冲区、建立采集线程并开始采集视频。高性能采集方法是一种异步执行多线程采集方法，为每一路需要采集的视频开辟两个异步执行的采集线程以保证能够连续不间断地采集视频。其中DummyThreadProc (LPV0ID IpParameter)，是专门开辟的采集线程，为保证采集过程的性能，开辟了两个 DummyThreadProc线程，为的是能够不间断地采集视频。keneBlendO负责将实景的纹理数据与虚拟场景融合在一起，其具体处理过程如下调用CVid类对象的VideoGetlmage () 方法获得视频的当前一帧，保存在全局变量中；将获得的一帧视频变成纹理；利用三维图形引擎在超过所有虚拟景物距离的空间(本实施例设置为10000米处的空间上)上绘制一个刚好与三维图形引擎的FOV截面大小相同的矩形面；利用三维图形引擎对纹理数据进行纹理滤波；将此纹理数据绑定在上述矩形面上，并与虚拟场景进行混合。调用CVid对象的 VideoGetNextO方法获取下一帧图像。keneBlendO被调用并执行后，绘制的矩形和映射的纹理进入帧缓存，接下来由三维图形引擎内部实行深度测试与渲染等后续操作，最终生成一帧虚实结合的图形。这个过程循环在仿真软件主循环中循环地执行就形成了虚实结合的视频，最后输送给双目式眼镜显示器。
权利要求1.一种基于增强现实的实景融合装置，其特征在于包括图像处理器、摄像机以及显示器，其中摄像机的图像数据输出端与图像处理器的数据输入端相连，图像处理器的输出端接有显示器。
2.按权利要求1所述的基于增强现实的实景融合装置，其特征在于所述摄像机采用工业彩色数字摄像机，扫描方式为逐行扫描，感光元件宽高比例为4 3，具有IEEE-1934b 输出接口，能以RGB格式输出分辨率不低于640X480像素、刷新率不低于25fps的视频数据；快门与增益可控，带有自动曝光控制。
3.按权利要求1所述基于增强现实的实景融合装置，其特征是所述的显示器采用双目式眼镜显示器，分辨率不低于640 X 480像素，刷新率不低于60Hz，色彩深度不低于16位， 具有VGA信号输入接口。
专利摘要本实用新型涉及一种基于增强现实的实景融合装置，包括图像处理器、摄像机以及显示器，其中摄像机的图像数据输出端与图像处理器的数据输入端相连，图像处理器的输出端接有显示器；本实用新型能够大幅提观瞄跟踪类装置模拟训练的真实感，并将观瞄跟踪类装置模拟训练从室内扩展到室外。
文档编号G06T19/00GK202331865SQ20112049670
公开日2012年7月11日 申请日期2011年12月2日 优先权日2011年12月2日
发明者佟新鑫, 宫俊玲, 张心宇, 杨光宇, 赵刚 申请人:中国科学院沈阳自动化研究所