一种基于移动互联AR技术开展工程质量通病治理平台的制作方法

本发明涉及工程质量检测技术领域，尤其是一种基于移动互联ar技术开展工程质量通病治理平台。

背景技术：

随着我国现代化水平的提高和现代化进程的加快，社会对电力需求日益增加，为保证电能经济有效输出，电网建设项目正逐年递增。在日渐繁重的建设任务以及内外部环境因素日益复杂的情况下，变电工程质量通病防治等方面面临新的挑战。

在变电工程建设中，多数基建变电工程所处地理位置较为偏僻，施工现场环境恶劣且点多面广，施工现场存在较多质量通病，现场质量管控人员难以全方位管控施工质量，且作业人员素质参差不齐，对施工质量的认识和理解因人而异。国家电网公司为规范开展质量通病防治工作，落实质量通病防治技术措施，提高质量通病防治工作效果，制定了《国家电网公司输变电工程质量通病防治工作要求及技术措施》。基建变电工程中建设过程中，走形式、走过场，表面文章等对质量控制不到位的情形，导致质量通病治理工作未取得实效。保证变电工程施工质量管理和防治的规范，做到现场检查及安装人员按质量工艺规范操作、执行和及时整改，避免质量通病宣贯和培训走形式，对提升变电工程施工质量具有重要意义。

技术实现要素：

为解决现有技术中提及的问题，本发明提供一种基于移动互联ar技术开展工程质量通病治理平台，提高工程施工质量及效率，解决当前质量过程控制不严、质量验收把关不到位等问题，提升质量通病防治实效。

本发明具体采用如下技术方案实现：

本发明提供一种基于移动互联ar技术开展工程质量通病治理平台，包括智能终端及服务器端，所述智能终端与所述服务器端通过无线传输方式进行数据实时交互，

所述智能终端包括以下模块：

数据采集模块，用于拍照或录像将现场情况记录实时上传至所述服务器端，进行记录保存；

质量通病检查指引模块，用于将操作手册的内容通过电子化形式呈现，根据质量通病治理流程对现场进行流程式检查，可视化指导正常和不正常的检查目标信息；

深度学习识别功能模块，用于构建深度卷积神经网络训练深度学习算法，实现快速的识别目标，通过深度学习功能完整的图像识别过程包括预处理、图像分割、特征提取、分类识别，多方位建立识别算法以及识别图形的建立，研究并调用跟踪定位算法，对整个场景精准定位识别，快速找出现场目标的实际现场状态；

混合现实功能模块，用于三维电力塔模型对不同检查场景的自适应性，在每个检查点，结合现场图像，识别当前检查场景，在任意一个平面位置，通过研究调用定位跟踪方法将虚拟电力塔模型融合至现场环境，再利用三维电力塔模型动画实现电力塔的爆炸图效果，让现场检验任意更加了解电力塔结构及质量通病点；

所述服务器端包括以下模块：

用户管理模块，用于用户权限管理及账号分发；

自定义任务模块，用于自定义质量防治检查流程，自定义编辑任务和修改操作手册，以及发布输变电工程质量检查任务；

历史查询模块，用于后台查看历史检查记录；

报表分析模块，用于智能生成质量通病检查报表，并分析统计检查异常；

数据录入模块，用于根据操作手册录入全部工程质量通病数据。

作为优选，所述深度学习识别功能模块中，图像识别用于识别检测和跟踪自然场景中的三维物体，是所述智能终端认出识别物并追踪到它在显示场景中的三维位置信息，快速的识别质量通病相关装置的开关、显示灯、压板开关状态，定值调整按钮灯设备相应控制单元。

作为优选，所述混合现实功能模块中定位跟踪方法采用通过求图像特征点的方式计算模板和实时帧图像间变换关系，求出两幅图像上特征点计算模板和实时帧图像间变换关系，在求取过程中加入最近距离和次最近距离的比值约束、应用ransac鲁棒方法通过几何一致性检验去除野点，初步估计几何约束模型、在几何模型的约束下对其余可能的匹配点对进行验证、去除由于图像自相似或对称性造成的可能的错误匹配点对。

作为优选，所述混合现实功能模块中定位跟踪方法采用通过基于cmt封装的描述模板和实时帧图像间变换关系的算法，该方法在所述智能终稿的摄像头移动的过程中，即使目标跟丢了，当目标重新回到视野中时，仍能继续进行跟踪。

作为优选，所述数据采集模块还包括大数据智能统计模块，所述大数据智能统计模块对采集人的工作数据、采集作业过程中作业人员的所有工作过程数据，通过大数据统计运维巡检流程，智能化生成标准化运维巡检流程，通过对平台内累积的大量的运维巡检数据进行统计，成电力质量通病智慧引擎。

作为优选，所述数据采集模块还包括大数据智能分析模块，用于对作业人员进行智能化评价，并优化其运维巡检流程，并根据大数据的云计算智能分析得到提前显示可能会发生的危险警告。

作为优选，所述数据采集模块还包括数据可视化模块，借助于图形化手段，清晰有效地传达与沟通信息，便于相关者对数据的理解和认识。

本发明提供的一种基于移动互联ar技术开展工程质量通病治理平台，其有益效果在于：可在不增加现场人员投入的情况下实现变电工程施工作业质量通病治理全过程、全方位的实时监督和交底，避免走形式、走过场，表面文章等对质量控制不到位的情形；依靠该系统解决了现有变电工程质量通病治理系统缺乏现场交互性的难题。指导现场检查及安装人员按质量工艺规范操作、执行，及时整改。

附图说明

图1为本发明基于移动互联ar技术开展工程质量通病治理平台的总体架构图。

具体实施方式

为进一步说明各实施例，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

本实施例提供的一种基于移动互联ar技术开展工程质量通病治理平台，如图1所示，包括智能终端及服务器端，智能终端可采用智能手机、平板电脑等常见智能手持设备，通过4g网络或wifi与服务器端进行数据实时交互。

在智能手机和服务器端的软件架构，分为三大层级，符合变电站现场作业流程，具体为：

1.“管理层”，是输变电工程质量通病智慧管控平台最高的一级，统一负责管理工作任务；管理层使用pc端及数据存储服务器来进行项目的增删改查。

2.“班组层”，是用于具体存储作业数据并与管理层和作业层进行数据的传送的接受；主要使用数据存储服务器进行数据的存储。

3.“作业层”，是具体实施调试任务的层级，在每一个任务中都会有一个工作负责人和多名工作组成员，在作业层可以使用任意移动端设备。

本平台采用mvc的编程模式，mvc模型是一种架构型的模式，并不会在之前设计的基础上添加新的功能。mvc编程模型所想要表达的是分而治之的编程思想。平台架构各层：

(1)表现层：作业人员通过ar移动终端进行现场的数据采集；后台管理平台的平台管理员通过浏览器访问、管理平台。

(2)业务逻辑层：实现平台的逻辑功能，包括用户管理、施工项目管理等。

(3)数据层：底层数据库采用mysql数据库，数据操作采用mybatis完成，使用mybatis提供的缓存机制，有利于提供更好的数据库处理能力，提升管理效率。

具体而言，在服务器端，主要包括以下模块：

用户管理模块，用于用户权限管理及账号分发；

自定义任务模块，用于自定义质量防治检查流程，自定义编辑任务和修改操作手册，例如《国家电网有限公司输变电工程质量通病防治手册(2019年版)》，以及发布输变电工程质量检查任务；

历史查询模块，用于后台查看历史检查记录，例如现场照片、视频、检查结果、异常原因；

报表分析模块，用于智能生成质量通病检查报表，并分析统计检查异常，例如现场异常影像资料、异常描述、故障地点、检验人员、检查时间；

数据录入模块，用于根据操作手册录入全部工程质量通病数据。

智能终端包括以下模块：

数据采集模块，用于拍照或录像将现场情况记录实时上传至所述服务器端，进行记录保存；

质量通病检查指引模块，用于将操作手册的内容通过电子化形式呈现，根据质量通病治理流程对现场进行流程式检查，可视化指导正常和不正常的检查目标信息；

深度学习识别功能模块，用于构建深度卷积神经网络训练深度学习算法，实现快速的识别目标，通过深度学习功能完整的图像识别过程包括预处理、图像分割、特征提取、分类识别，多方位建立识别算法以及识别图形的建立，研究并调用跟踪定位算法，对整个场景精准定位识别，快速找出现场目标的实际现场状态；

混合现实功能模块，用于三维电力塔模型对不同检查场景的自适应性，在每个检查点，结合现场图像，识别当前检查场景，在任意一个平面位置，通过研究调用定位跟踪方法将虚拟电力塔模型融合至现场环境，再利用三维电力塔模型动画实现电力塔的爆炸图效果，让现场检验任意更加了解电力塔结构及质量通病点；

其中，在深度学习识别功能模块中，图像识别用于识别检测和跟踪自然场景中的三维物体，是智能终端认出识别物并追踪到它在显示场景中的三维位置信息，快速的识别质量通病相关装置的开关、显示灯、压板开关状态，定值调整按钮灯设备相应控制单元。多方位建立识别算法，和识别图形的建立，对整个装置设备面板精准定位识别，快速找出设备的实际工作状态，目的是让工作高效率的找到设备对应状态，规范操作流程和操作规范的现场人员。

混合现实功能模块中定位跟踪方法采用通过求图像特征点的方式计算模板和实时帧图像间变换关系，求出两幅图像上特征点计算模板和实时帧图像间变换关系，在求取过程中加入最近距离和次最近距离的比值约束、应用ransac鲁棒方法通过几何一致性检验去除野点，初步估计几何约束模型、在几何模型的约束下对其余可能的匹配点对进行验证、去除由于图像自相似或对称性造成的可能的错误匹配点对。

混合现实功能模块中定位跟踪方法采用通过基于cmt封装的描述模板和实时帧图像间变换关系的算法，该方法在所述智能终稿的摄像头移动的过程中，即使目标跟丢了，当目标重新回到视野中时，仍能继续进行跟踪。

对平面图像目标进行检测和跟踪，在每一帧中通过跟踪到的目标位置计算出当前相机的三维姿态，也就是旋转矩阵(r)和平移矩阵(t)，而此r和t参考的世界坐标系始终在帧图像中平面图像目标矩形的正中心。通过跟踪实时帧图像中的平面目标位置计算出相机的三维姿态，然后通过opengl或者其他的图形渲染库，在世界坐标系(以图像目标中心为坐标原点)上绘制出虚拟模型。

本平台还结合了大数据技术，包括大数据智能统计模块、大数据智能分析模块及数据可视化模块。其中，

大数据智能统计模块对采集人的工作数据、采集作业过程中作业人员的所有工作过程数据，通过大数据统计运维巡检流程，智能化生成标准化运维巡检流程，通过对平台内累积的大量的运维巡检数据进行统计，成电力质量通病智慧引擎。有效的预防和迅速排除故障。最终为保证电网安全运行、提高供电、用电管理自动化水平和工作效率，提高经济效益和社会效益提供了有效的手段。

大数据智能分析模块，用于对作业人员进行智能化评价，并优化其运维巡检流程，并根据大数据的云计算智能分析得到提前显示可能会发生的危险警告。通过对平台内累积的大量的运维巡检数据进行跟踪分析可以得到故障出现的各种规律，形成电力质量通病智慧引擎，有效的预防和迅速排除故障。最终为保证电网安全运行、提高供电、用电管理自动化水平和工作效率。

数据可视化模块，借助于图形化手段，清晰有效地传达与沟通信息，便于相关者对数据的理解和认识。数据可视化与信息图形、信息可视化、科学可视化以及统计图形密切相关。

本实施例提供的平台，首先开发变电工程智能移动终端app，应用在智能手机等智能移动终端上，再利用计算机实景融合技术，实现变电站实物与虚拟三维设计图的融合显示与人机互动，实现施工过程质量管控中质量通病快速智能核查。智能移动终端接收智能专家远程施工过程质量管控平台指定的任务，现场核查人员根据智能移动终端的引导快速定位质量通病，采用非接触式智能测智能分析后量，主要有：①变电站主要构建物及设备施工过程质量管控设计标准查询；②变电站主要构建物及设备施工过程质量管控质量通病管理。完成质量通病并将现场数据实时回传给后台。

本实施例提供的平台利用智能手机和自然的交互方式，采集质量通病的实操数据(利用文字、语音、图片、视频、动作图像识别记录其工作过程中的每个细节)，实时捕获学员操作过程中好的经验和技能，智能生成实战型知识课件。能够将隐性知识结构化，沉淀于平台，按需获取，同时，将结构知识行为化，固化操作行为，让平台成为知识管理的过滤器和沉淀器。

本实施例提供的平台将混合现实和深度学习技术相结合，在变电工程质量管理通病增加创新功能模块。混合现实模块利用mr技术实现三维电力塔模型对不同检查场景的自适应性，在每个检查点，结合现场图像，识别当前检查场景，在任意一个平面位置，通过研究调用slam定位跟踪技术将虚拟电力塔模型融合至现场环境。并利用三维电力塔模型动画实现电力塔的爆炸图效果，让现场检验人员更加了解电力塔结构以及质量通病点。深度学习模块构建深度卷积神经网络训练深度学习算法，快速的识别“插座检测仪”和“螺栓未露扣”，通过深度学习功能完整的图像识别过程包括预处理、图像分割、特征提取、分类识别等步骤，多方位建立识别算法，和识别图形的建立，研究并调用跟踪定位算法，对整个场景精准定位识别，快速找出现场目标的实际现场状态。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。