基于三维全景视图的变电站虚拟现实管理系统及其实现方法
【专利摘要】一种基于三维全景视图的变电站虚拟现实管理系统及其实现方法，管理系统包括用于将采集到的组图融合成完整全景图像的图像采集拼接模块，以及与图像采集拼接模块相连的三维重建贴图模块，三维重建贴图模块还连接有用于记录各场景中热点位置坐标和对应变电站设备性能参数的热点数据库；实现方法包括首先通过图像采集拼接模块采集现场照片并融合为完整的全景大图，然后通过热点数据库对设备的位置与参数进行录入和编辑，最后通过三维重建贴图模块将全景图像还原为视角能够调整并且表面热点信息能够编辑的球状三维全景视图。本发明能够随时对设备的信息进行添加和编辑，使得维护人员可以直观了解设备所在现实中的位置与技术信息，提高设备的维护效率。
【专利说明】基于三维全景视图的变电站虚拟现实管理系统及其实现方法
【技术领域】
[0001]本发明属于变电站的检修与维护领域，具体涉及一种基于三维全景视图的变电站虚拟现实管理系统及其实现方法。
【背景技术】
[0002]随着计算机虚拟现实技术的发展，在变电站的管理与维护工作中，对变电站的数字化、智能化，空间可视化以及设备管理自动化的管理系统方案和技术的研发也在不断深入，而将虚拟现实技术应用在变电站设备管理的思路却罕有研究人员尝试。
[0003]变电站管理维护是电力生产的一个重要环节。变电站生产的过程中需要和各种各样的电气设备打交道，所以需要经常查询设备技术参数以及设备的基本状况。同时，变电站运行管理和生产过程中只是通过手工记录或者Excel文档等纯数据或纯表格的方式管理设备，无法对设备的具体位置，具体空间场景有一个可视化的印象。当设备需要维护时，设备维修人员不能对待维修设备的基本信息、所在位置以及需要维修设备的环境的整体印象做一个快速准确的了解，不能满足在复杂的变电站工作环境中及时进行故障修复的需求。因此建立数字化、智能化、空间可视化的设备管理系统才更能适应未来变电站管理发展的客观需求。
[0004]虚拟现实(Virtual Reality，简称VR，又译为临境、灵境等)的概念在美国VPLResearch Inc.的J.Lainer在1989年提出，通常是指头蓝显示器和传感手套等一系列新型交互设备构造出的一种计算机软硬件环境，人们通过这些设施以自然的技能(如头的转动、身体的运动等)向计算机发送各种命令，并得到计算机对用户的视觉、听觉及触觉等多种感官的反馈，其目的就是要利用先进的硬件技术和软件工具，创造一种酷似客观环境又超越客观时空、能沉浸其中又能驾驭其中的和谐人机环境，也就是一种由多维信息构成的可操作空间。它最重要的目标就是真实的体验和方便自然的人机交互，能够达到或者部分达到这样目标的系统就统称为虚拟现实系统。从概念上讲，任何一个虚拟现实系统都可以用三个“I”来描述其特性，这就是“沉浸(Immers1n) ”、“交互(Interact1n) ”和“想象(Imaginat1n)”。
[0005]虚拟现实的实现有两种方法，传统上使用三维图形学方法进行建模和绘制，这种需要繁琐的建模工作和昂贵的专用绘图硬件，而且用三维模型很难真实表现自然景观。IBRdmage Based Rendering,基于图像渲染)技术是实现虚拟现实系统的另一种方法,其真实感强，绘制时间短，效果清晰，绘制时间和所需内存大小和场景的复杂度无关，仅仅和图像大小相关，这些优点非常适合三维全景的变电站虚拟现实管理系统的需要。
[0006]IBR的关键技术是获取全景图像，其采集方式根据镜头不同可分为平面图采集和鱼眼图采集。鱼眼镜头优势在于:极大的可视角度可令采集人员用较少的照片数量即可完成全景图的拼接，但鱼眼镜头的边缘扭曲失真比较严重且镜头成本较高。采用平面图时使用一般民用相机配合三脚架也能很好的完成采集，但需要采集的照片数量较多。
【发明内容】
[0007]本发明的目的在于针对上述现有技术中的问题，提供一种能够使维护人员直观了解到设备所在现实中的位置与技术信息的基于三维全景视图的变电站虚拟现实管理系统及其实现方法。
[0008]为了实现上述目的，本发明基于三维全景视图的变电站虚拟现实管理系统包括用于将采集到的组图融合成为完整全景图像的图像采集拼接模块，以及与图像采集拼接模块相连的三维重建贴图模块，三维重建贴图模块还连接有用于记录各场景中所有热点位置坐标信息和对应变电站设备性能参数的热点数据库。
[0009]所述的三维重建贴图模块包括负责显示热点参数信息的二维层以及负责显示全景图像球面模型的三维层；所述的热点数据库包括三维定位点以及二维追踪点，三维定位点附着在全景图像球面模型表面用于保存热点序号和空间坐标信息，二维追踪点记录热点的技术参数信息并能够跟踪三位定位点投影生成的二维坐标对应进行显示。
[0010]所述的热点数据库为XML格式的文件组，每个XML格式文件中记录对应场景的贴图地址以及所有热点的坐标和技术参数信息，每个热点按照编号顺序存储为一个单元。
[0011]所述的图像采集拼接模块包括用于采集图像的相机或云台。
[0012]所述的图像采集拼接模块图像的融合采用OpenCV图形库。
[0013]所述的三维重建贴图模块基于Flash Player进行显示并且采用Away3D引擎建立场景；热点数据库的存储数据采用XML格式，在FLASH内部实现显示及编辑。
[0014]本发明基于三维全景视图的变电站虚拟现实管理系统实现方法:
[0015]第一步，通过图像采集拼接模块采集现场照片，并将采集好的多张局部照片融合为完整的全景大图，然后将完整的全景大图切分为三维贴图输入三维重建贴图模块；
[0016]第二步，通过热点数据库对设备的位置与参数进行录入和编辑，热点数据库包括三位定位点以及二维追踪点，三位定位点附着在三维球面模型表面用于保存热点序号和空间坐标信息，二维追踪点记录热点的技术参数信息并能够跟踪三位定位点投影生成的二维坐标对应进行显示，处理后的热点数据通过XML格式输入三维重建贴图模块，每个XML格式文件中记录对应场景的贴图地址以及所有热点的坐标和技术参数信息；
[0017]第三步,通过基于Flash Player的三维重建贴图模块,采用Away3D引擎建立场景，将全景大图切分好的三维贴图还原为球状三维全景视图，并在球体内部中央架设能够调整视角的虚拟摄像机，热点数据通过Flash Player直接进行编辑并显示在虚拟现实的场景中；当热点位于虚拟摄像机的直线方向，需要获取虚拟摄像机指向每个热点球面位置的法矢量并和当前虚拟摄像机正前方视野的矢量并计算两者矢量点乘，当结果为负数时说明矢量夹角大于90°，判定该点在虚拟摄像机的后方，并将该点隐藏；编辑完成后的热点信息序列按照XML格式保存在指定目录下供日后读取，由此得到视角能够进行调整并且表面热点信息能够编辑的球状三维全景视图。
[0018]所述的图像采集拼接模块通过相机或云台采集现场照片。
[0019]所述的图像采集拼接模块采用OpenCV图形库进行图像的融合。
[0020]所述的热点数据编辑包括首先在球状三维全景视图上确定目标，然后新建一个三维定位点并将坐标信息推入数据库，同时二维追踪点完成热点定位并开启技术参数编辑窗口，最后输入相应的技术参数后将所有属性保存为一个数据单元推入XML数据库中。
[0021]与现有技术相比，本发明基于三维全景视图的变电站虚拟现实管理系统，通过图像采集拼接模块将设备现场照片融合为完整的全景大图并切分为三维贴图，然后再通过三维重建贴图模块还原为视角能够进行调整的球状三维全景视图，由于三维重建贴图模块还连接有用于记录各场景中所有热点位置坐标信息和对应变电站设备性能参数的热点数据库，工作人员能够随时对设备的信息进行添加和编辑，使得维护人员能够非常直观的定位所有设备在现实中的位置以及技术信息，提高了设备维护的效率。
[0022]进一步的，本发明基于三维全景视图的变电站虚拟现实管理系统图像的融合采用OpenCV图形库，采集到的图片首先进行规范化的重命名，并对相邻图像进行特征点识别匹配，最终映射为适用于球面贴图的完整全景贴图，通过基于Flash Player的三维重建贴图模块能够自动完成重建，无需人工设置，操作方便。
[0023]本发明基于三维全景视图的变电站虚拟现实管理系统实现方法，首先通过现场图片的采集与拼接融合为完整的全景大图，然后将全景大图切分成的三维贴图输入三维重建贴图模块中，再通过热点数据库对设备的位置与参数进行录入和编辑，并将处理后的热点数据通过XML格式输入三维重建贴图模块，最后基于Flash Player的三维重建贴图模块采用Away 3D引擎建立场景，将全景大图切分好的三维贴图还原为视角能够进行调整并且表面热点信息能够编辑的球状三维全景视图。为了充分利用定位的直观性而加入的技术指标热点数据能够根据具体场景内的设备信息随时通过计算机进行添加和编辑，因此维护人员即便发生交接，接手的工作人员也能直观清楚的熟悉当前变电站区域的设备分布与性能状况，提高了设备维护的效率。
【专利附图】
【附图说明】
[0024]图1本发明的整体结构模块框图；
[0025]图2本发明的工作流程示意图；
[0026]图3本发明热点位于屏幕投影直线方向的显示原理示意图；
[0027]附图中:1.图像采集拼接模块；2.三维重建贴图模块；3.热点数据库；4.计算机；
5.相机；6.虚拟摄像机。
【具体实施方式】
[0028]下面结合附图对本发明做进一步的详细说明。
[0029]参见图1，本发明基于三维全景视图的变电站虚拟现实管理系统，包括通过相机5或云台采集图像并将采集到的平面照片通过OpenCV图形库融合成为完整全景图像的图像采集拼接模块1，以及与图像采集拼接模块I相连的三维重建贴图模块2，三维重建贴图模块2连接外部的显示器以及互联网/LAN，三维重建贴图模块2还连接有用于记录各场景中所有热点位置坐标信息和对应变电站设备性能参数的热点数据库3，三维重建贴图模块2基于Flash Player进行显示并且采用Away 3D引擎建立场景，热点数据库3的存储数据采用XML格式，在FLASH内部实现显示及编辑，图像采集拼接模块I输出的全景图像通过三维重建贴图模块2还原为视角能够进行调整并且表面热点信息能够编辑的球状三维全景视图。
[0030]参见图2，本发明基于三维全景视图的变电站虚拟现实管理系统实现方法包括:
[0031]第一步，通过搭配有三脚架的相机5采集现场照片，并将采集好的多张局部照片借助计算机4通过OpenCV图形库融合为完整的全景大图，将完整的全景大图切分为三维贴图输入三维重建贴图模块2;
[0032]第二步，通过热点数据库3对设备的位置与参数进行录入和编辑，处理后的热点数据通过XML格式输入三维重建贴图模块2 ；
[0033]第三步,通过基于Flash Player的三维重建贴图模块2将全景大图切分好的三维贴图输入到三维舞台中作为球面模型的贴图，采用Away 3D引擎建立场景，并在球体内部中央架设能够调整视角的虚拟摄像机6，热点数据通过Flash Player直接进行编辑并显示在虚拟现实的场景中，编辑完成后的热点信息序列按照XML格式保存在指定目录下供日后读取。
[0034]本发明的图像采集拼接模块对于输入的图像并无特别要求，通常采用三脚架配合500万以上像素的数码相机即能够满足要求，无需额外购置专业的单反相机、鱼眼镜头或全景云台等设备，降低了系统的使用成本。
[0035]本发明的三维重建贴图模块2分为两层显示。上层为二维层，负责显示热点、按钮、参数信息等二维对象；下层为三维层，负责显示全景图像的球面模型。同样的，热点分为三维定位点和二维追踪点两部分，其中三维定位点为一不可见点，附着在三维球体模型的表面，保存了热点的序号和空间坐标信息；在启动系统后，每个三维坐标点的坐标将投影到屏幕坐标并生成一个二维坐标，二维追踪点将会跟踪对应序号的三维定位点所投影的坐标并在对应位置显示一个二维对象，二维追踪点记录了热点的技术参数信息，并可在鼠标移动至热点时将这些信息以表单方式显示。参见图3，当热点位于屏幕投影的直线方向，但实际位置在虚拟摄像机6背后时会错误显示实际在用户视线后方的二维追踪点，故需要获取虚拟摄像机6指向每个热点球面位置的法矢量并和当前虚拟摄像机6正前方视野的矢量并计算两者矢量点乘，当结果为负数时说明矢量夹角大于90°，判定该点在虚拟摄像机6的后方，并将该点隐藏。用于显示技术参数的表单是一个矩形二维对象，常规状态下为隐藏状态，仅当鼠标靠近热点时读取该热点属性并刷新文本显示在热点旁。
[0036]当新增热点时，首先要求用户在球面上用鼠标停留在所需的目标，确定后将新建一个三维定位点并将坐标信息推入数据库，同时二维追踪点完成热点的屏幕坐标定位并开启技术参数编辑窗口，输入相应的技术参数后所有属性保存为一个数据单元并推入XML数据库中。
[0037]本发明的热点数据库3为一组XML格式的文件，每个场景都拥有一个对应的XML数据列表，其中记录了该场景所使用的贴图地址以及所有热点的坐标和技术参数信息，每个热点按照编号顺序存储为一个单元，在三维重建贴图模块2开启的初始化过程中，首先读取贴图信息，然后按照编号顺序依次读入热点位置和参数并显示。本发明热点的坐标和对应文字信息均可反复编辑，当本系统用于变电站设备的维护时，可将型号、品牌、负责人、维护日期等内容人工进行录入并在日后根据实际情况进行更新，构建的球状三维全景视图配备鼠标能够实现拖动、放大缩小等互动操作，将热点以二维按钮的形式悬浮在三维场景中，当鼠标悬停时将直接在热点旁生成窗口，并显示对应信息。
[0038]本发明工作人员能够随时对设备的信息进行添加和编辑，热点的添加、删除、重定位、信息编辑等操作全部可在负责显示和互动的Flash Player中直接进行，使得维护人员能够非常直观的定位所有设备在现实中的位置以及技术信息，提高了设备维护的效率。
【权利要求】
1.一种基于三维全景视图的变电站虚拟现实管理系统，其特征在于:包括用于将采集到的组图融合成为完整全景图像的图像采集拼接模块(I)，以及与图像采集拼接模块(I)相连的三维重建贴图模块(2)，三维重建贴图模块(2)还连接有用于记录各场景中所有热点位置坐标信息和对应变电站设备性能参数的热点数据库(3)。
2.根据权利要求1所述的基于三维全景视图的变电站虚拟现实管理系统，其特征在于:所述的三维重建贴图模块(2)包括负责显示热点参数信息的二维层以及负责显示全景图像球面模型的三维层；所述的热点数据库(3)包括三维定位点以及二维追踪点，三维定位点附着在全景图像球面模型表面用于保存热点序号和空间坐标信息，二维追踪点记录热点的技术参数信息并能够跟踪三位定位点投影生成的二维坐标对应进行显示。
3.根据权利要求1或2所述的基于三维全景视图的变电站虚拟现实管理系统，其特征在于:所述的热点数据库⑶为XML格式的文件组，每个XML格式文件中记录对应场景的贴图地址以及所有热点的坐标和技术参数信息，每个热点按照编号顺序存储为一个单元。
4.根据权利要求1所述的基于三维全景视图的变电站虚拟现实管理系统，其特征在于:所述的图像采集拼接模块(I)包括用于采集图像的相机(5)或云台。
5.根据权利要求1或4所述的基于三维全景视图的变电站虚拟现实管理系统，其特征在于:所述的图像采集拼接模块(I)图像的融合采用OpenCV图形库。
6.根据权利要求1所述的基于三维全景视图的变电站虚拟现实管理系统，其特征在于:所述的三维重建贴图模块(2)基于Flash Player进行显示并且采用Away3D引擎建立场景；热点数据库(3)的存储数据采用XML格式，在FLASH内部实现显示及编辑。
7.一种基于三维全景视图的变电站虚拟现实管理系统实现方法，其特征在于: 第一步，通过图像采集拼接模块(I)采集现场照片，并将采集好的多张局部照片融合为完整的全景大图，然后将完整的全景大图切分为三维贴图输入三维重建贴图模块(2); 第二步，通过热点数据库(3)对设备的位置与参数进行录入和编辑，热点数据库(3)包括三位定位点以及二维追踪点，三位定位点附着在三维球面模型表面用于保存热点序号和空间坐标信息，二维追踪点记录热点的技术参数信息并能够跟踪三位定位点投影生成的二维坐标对应进行显示，处理后的热点数据通过XML格式输入三维重建贴图模块(2)，每个XML格式文件中记录对应场景的贴图地址以及所有热点的坐标和技术参数信息； 第三步，通过基于Flash Player的三维重建贴图模块(2),采用Away3D引擎建立场景，将全景大图切分好的三维贴图还原为球状三维全景视图，并在球体内部中央架设能够调整视角的虚拟摄像机出)，热点数据通过Flash Player直接进行编辑并显示在虚拟现实的场景中；当热点位于虚拟摄像机(6)的直线方向，需要获取虚拟摄像机(6)指向每个热点球面位置的法矢量并和当前虚拟摄像机(6)正前方视野的矢量并计算两者矢量点乘，当结果为负数时说明矢量夹角大于90°，判定该点在虚拟摄像机(6)的后方，并将该点隐藏；编辑完成后的热点信息序列按照XML格式保存在指定目录下供日后读取，由此得到视角能够进行调整并且表面热点信息能够编辑的球状三维全景视图。
8.根据权利要求7所述的基于三维全景视图的变电站虚拟现实管理系统实现方法，其特征在于:所述的图像采集拼接模块(I)通过相机(5)或云台采集现场照片。
9.根据权利要求7所述的基于三维全景视图的变电站虚拟现实管理系统实现方法，其特征在于:所述的图像采集拼接模块(I)采用OpenCV图形库进行图像的融合。
10.根据权利要求7所述的基于三维全景视图的变电站虚拟现实管理系统实现方法，其特征在于:所述的热点数据编辑包括首先在球状三维全景视图上确定目标，然后新建一个三维定位点并将坐标信息推入数据库，同时二维追踪点完成热点定位并开启技术参数编辑窗口，最后输入相应的技术参数后将所有属性保存为一个数据单元推入XML数据库中。
【文档编号】G06F17/30GK104268939SQ201410510803
【公开日】2015年1月7日 申请日期:2014年9月28日 优先权日:2014年9月28日
【发明者】张西卓, 魏成保, 杨磊, 刘义德, 张岳 申请人:国家电网公司, 国网陕西省电力公司延安供电公司