面向极端天气环境的电力作业增强现实导航系统和方法

本发明涉及电力维修领域，具体涉及面向极端天气环境的电力作业增强现实导航系统和方法。

背景技术：

台风、雷电、暴雨、覆冰、海啸、暴雪等各种极端自然灾害破坏力巨大，极易摧毁电力系统设备导致电力系统故障。例如我国东南沿海地区台风灾害频繁，台风刮倒电线杆塔刮倒建筑、雨水导致电力设备短路或断线；雷电带来巨大电流，直接损毁输电线路或带来过高电压，导致继电保护设备动作跳闸，引起停电。

现有公开技术中，cn201710779761.5基于增强现实的变电设备运维仿真培训系统和方法，本发明提供一种基于增强现实的变电设备运维仿真培训系统和方法，包括：培训管理服务器、ar子系统、培训实景视觉监测子系统；ar子系统：用于对目标设备识别、跟踪和注册的双目立体视觉三维感知单元，将显示虚拟场景叠加在实际场景上的显示单元，用于识别使用者动作的手势识别单元，用于识别使用者语音的语音识别单元；培训实景视觉监测子系统包括设置在实际场景内的多目立体视觉测量和跟踪摄像头和设备状态监测摄像机；设备状态监测摄像机用于识别变电设备的工作状态，多目立体视觉测量和跟踪摄像头用于获取实际场景中的变电设备的三维空间坐标、测量受训人员在培训现场的三维空间坐标，并跟踪测量受训人员的行走轨迹，但上述公开技术均是在正常环境下对电力设备进行维修模拟。

极端天气环境下，电力设备的抢修难度加大。由于增强现实系统能够将虚拟信息实时叠加到真实场景，本发明将增强现实技术应用于极端环境下的电力作业中，能够有效提高作业安全性，是智能化的一种体现。

技术实现要素：

本发明的目的在于克服现有技术的不足，采用图像处理技术、三维跟踪注册技术增强了系统的智能性，在电力系统出现故障时，作业人员通过佩戴增强现实设备，就可以结合导航信息实时获取故障位置，在人眼视线前方会显示出故障与维修信息。这种导航方式能够提高极端环境下的电力作业效率与安全性。

通过以下技术方案来实现的：一方面，用户通过佩戴增强显示设备进而在虚拟场景中进行故障设备的定位，其中，通过佩戴增强显示设备将虚拟场景投射到用户的人眼视线前方，虚拟场景为待模拟场景在极端环境下的情景，通过在非极端环境下获取待模拟场景的图像作为初始地图，结合极端环境下实例目标提取，用户通过在现实中移动进而在虚拟场景中定位到故障设备，其中定位采用三维跟踪注册方法。

优选的，极端环境下实例目标提取的方法包括下列步骤：

步骤21：通过深度相机获取极端天气下的电力图像并构建数据集，其中，数据集采用via图像标注工具，执行步骤22；

步骤22：获取点云坐标，对三维信息进行恢复后，通过点云去噪处理，提取分割后的三维实例目标深度卷积神经网络，执行步骤23；

步骤23：将实例目标提取结果与故障设备区域对比识别，匹配到虚拟场景中故障设备区域。

优选的，所述三维跟踪注册方法为，通过激光雷达获取两组实例目标点云，设pb为当前图像帧中的点，其坐标值的法向量相近的点为pf，法向量为nf，设法向量的角度差为ωf，此时的三维跟踪估计误差为εd，得到带有实例目标约束下的几何误差表达式，

εd＝(pd-pf)·nf+ωf

若场景中存在k类实例目标，则建立的误差表达式需包括k类实例目标的误差结果，

通过建立实例目标约束模型，以提高三维跟踪算法在稀疏特征场景下的鲁棒性，式中为几何误差，得到跟踪注册参数。

优选的，佩戴增强显示设备后，在构建的虚拟场景中，用户的可视虚拟场景视野跟随用户在现实场景中的移动而变化，通过增强显示设备上的图像获取模块，将对应的虚拟场景的环境信息发送至计算机，对极端环境下的虚拟场景进行目标识别，当故障的电力设备被识别后，通过增强显示设备进行标记和提示。

优选的，还包括有电力故障分析模块，能够对电力设备故障的具体部位进行筛选。

另一方面，所述计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个计算机程序被一个或多个处理器执行时实现如上所述的极端天气环境的电力作业增强现实导航方法。

另一方面，包括：一个或多个处理器；计算机可读存储介质，其存储有一个或多个计算机程序；所述一个或多个所述计算机程序被所述一个或多个处理器执行时实现如上所述的极端天气环境的电力作业增强现实导航方法。

另一方面，所述系统包括图像处理单元、增强显示设备和计算机，图像处理单元用于将采集到的非极端环境下待模拟场景的图像进行处理，得到极端环境下的待模拟场景的虚拟场景，增强显示设备实现极端环境下的虚拟场景中，用户对故障设备的抢修时的定位，提高虚拟场景的真实性，计算机用于根据用户在虚拟场景中的定位信息对其视野进行更新，计算机内包含有一个或多个处理器；计算机可读存储介质，其存储有一个或多个计算机程序；所述一个或多个所述计算机程序被所述一个或多个处理器执行时实现如权利要求1～5任一项所述的极端天气环境的电力作业增强现实导航方法。

另一方面，如上所述的极端天气环境的电力作业增强现实导航方法用于电力设备的模拟维修演练、极限环境下的场景模拟、极限环境下的场景模拟中定位的用途。

本发明的有益效果是：

(1)构建极端环境下的增强现实导航系统，建立标定模型。然后构建数据集，利用深度学习算法识别出雨、雪、雾等极端环境下电力场景中的实例目标，利用激光雷达获取深度信息，根据目标对系统实时定位，即三维跟踪注册。在电力系统出现故障时，作业人员通过佩戴增强现实设备，就可以结合导航信息实时获取故障位置，在人眼视线前方会显示出故障与维修信息。这种导航方式能够提高极端环境下的电力作业效率与安全性。

附图说明

图1为本发明的三维实例目标提取的原理图；

图2为本发明实施例中的工作流程示意图；

图3为本发明的一个实施例中相机获取图像示意图；

图4为本发明实施例中二维图像目标提取结果的示意图；

图5为本发明实施例中三维点云信息恢复的示意图；

图6为本发明实施例中故障识别的示意图。

具体实施方式

下面结合本发明的附图1～6，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施。

在本发明的描述中，需要理解的是，术语“逆时针”、“顺时针”“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例1：

增强现实显示平台可采用任意一款光学透射式增强现实眼镜，本发明采用微软公司的hololens2增强现实智能眼镜，与计算机算法相结合，在智能眼镜上进行实现和测试，由于目前的实例目标获取多是基于正常天气环境，而针对极端天气环境的电力场景，实例目标提取难度更大。本发明通过分别获取雨、雪、雾天环境下电力设备的图像信息，构建极端天气下的电力环境数据集。利用实例目标提取方法对数据集进行训练，输出实例目标的提取结果。

极端环境下的增强现实系统三维跟踪注册是指实时地获取设备运动的位置，也就是对设备进行实时定位，并解算出虚拟图像应该叠加到场景中的位置。首先要进行地图的构建，地图构建是在正常天气环境下进行的，作为初始地图。而在极端天气下，通过对电力目标的识别，结合三维跟踪注册算法获取设备在初始地图中实时运动的位置，并将地图实时更新，降低三维跟踪注册的误差。当运动到某一地点时，系统能够准确的获取当前状态下的位置信息。激光雷达获取了两组实例目标点云，对于两组点云中的同一个目标来说，它们表面存在相似的曲率，除此之外点云曲面特征还包括法向量特征。因此在建立误差项时，除了考虑对应点的欧式距离外，也考虑对应点的法向量的角度差。

通过激光雷达获取两组实例目标点云，设pb为当前图像帧中的点，其坐标值的法向量相近的点为pf，法向量为nf，设法向量的角度差为ωf，此时的三维跟踪估计误差为εd，得到带有实例目标约束下的几何误差表达式，

εd＝(pd-pf)·nf+ωf

若场景中存在k类实例目标，则建立的误差表达式需包括k类实例目标的误差结果，

通过建立实例目标约束模型，以提高三维跟踪算法在稀疏特征场景下的鲁棒性，式中εdk为几何误差，得到跟踪注册参数，跟踪注册参数包含ar设备投射的虚拟信息在场景中投射位置的六自由度参数，沿三个方向平移量和绕三个轴旋转量。现有三维跟踪注册计算模型中未考虑角度差ωf，专利中加入角度差进行误差估计，提高三维跟踪注册精度。

值得说明的是，极端场景为雨、雾、雪等天气场景，由于在极端天气下人眼对现实场景的能见度较低，将虚拟信息投射到人眼视线前方能够增强用户对周围环境的理解能力。结合极端环境下实例目标提取，用户通过在能见度较低的环境中移动进而在眼前的虚拟信息中定位到电力系统故障设备，采用的方法是利用激光雷达获取极端环境下的实例目标点云，根据点云关系建立三维跟踪注册模型，其中定位采用三维跟踪注册方法。

值得说明的是，ar设备是运动的，ar设备投射的虚拟信息的位置就需要根据ar设备的参数实时改变，也就是要对这个位置进行实时跟踪，即三维跟踪注册技术。目前的三维跟踪注册基本上解决了晴朗、稳定环境下的定位任务，但是在极端环境下场景的内容难以提取，三维跟踪注册模型也需要进一步修正和优化。这里不需要渲染出整个虚拟场景，只需要能够将想要投射到人眼前的信息放置在场景中的正确位置就可以。所以雨、雪、雾等状态也不是并存的，只需要在某一个环境中实现虚实融合就可以，但是这个提出的三维跟踪注册算法适用于这几种天气情况。所以几种天气状态是可以切换的。

值得说明的是，目前的三维跟踪注册基本上解决了晴朗、稳定环境下的定位任务，但是在极端环境下场景的内容难以提取，三维跟踪注册模型也需要进一步修正和优化。这里不需要渲染出整个虚拟场景，只需要能够将想要投射到人眼前的信息放置在场景中的正确位置就可以。所以雨、雪、雾等状态也不是并存的，只需要在某一个环境中实现虚实融合就可以，但是这个提出的三维跟踪注册算法适用于这几种天气情况。所以几种天气状态是可以切换的，用户佩戴佩戴增强现实显示设备后能够在虚拟场景中定位到故障的电力设备，主要是完成定位任务，故障的位置可以采用电力系统分析的方法进行定位(为电力电网领域中的现有技术)，用户通过佩戴佩戴增强现实显示设备找到相应位置并采取措施。

综上所述，电力作业人员在佩戴增强现实显示设备后，作业人员及设备在构建的地图中的位置随运动而改变，若运动到某一位置下，此时的位置信息能够传递给计算机。同时，设备上的图像获取模块将环境信息传递给计算机，对极端环境下的场景目标进行识别，如果某一电力设备被识别出故障，增强现实眼镜将会给予提示，并给出作业信息、导航提示、解决方案。另外，在后台的电力故障分析模块，也能分析出故障的部位，在电力作业人员运动到故障位置时，增强现实眼镜也会给予提示。