本发明涉及计算机技术领域，具体而言，涉及一种变电站场景与设备的监控方法及装置。
背景技术：
在无人值守变电站中，基于安全性和对意外事件及时响应的要求，需要配置必要的实时自动化监控手段，掌握变电站设备的变化状态和变电设备运行状况，提高变电站运检工作的效率，减少无效和低效劳动量。
技术实现要素：
本发明实施例的目的在于提供一种变电站场景与设备的实时监控方法及装置。
本发明所述一种变电站场景与设备的监控方法包括：
获取采集设备采集的变电站场景的第一图像序列数据；
根据所述第一图像序列数据对所述变电站场景进行模拟得到所述变电站场景的模拟现场图；
获取所述采集设备实时采集的所述变电站设备状态的第二图像数据，根据所述第二图像数据对所述模拟现场图局部区域数据贴图更新，得到所述变电站设备的实时状态模拟图。
本发明实施例还提供一种变电站场景与设备的监控装置，所述变电站监控装置包括：
第一获取模块，用于获取采集设备采集的变电站场景的第一图像序列数据；
重构模块，用于根据所述第一图像序列数据对所述变电站场景进行模拟重构得到所述变电站场景的模拟现场图；
第二获取模块，用于获取所述采集设备实时采集的所述变电站设备状态的第二图像数据；
更新模块，用于根据所述第二图像数据对所述模拟现场图局部区域数据贴图更新，得到所述变电站设备的实时状态模拟图。
与现有技术相比，本发明实施例的变电站场景与设备的监控方法及装置，结合视频数据与变电站区域场景数据，首先通过图像数据对变电站区域场景进行模拟重构以得到所述变电站区域场景的模拟现场图；其次，考虑到变电站运检安全和高效，基于变电站已布点摄像机，充分发挥监控和采集设备数据精细图片，采集设备状态数据信息对所述模拟现场图局部区域数据更新得到所述变电站设备的实时状态模拟图；最后，变电站运检人员可通过所述设备实时状态模拟图实时掌握所述变电站现场情况；实践证明此方法对变电站的运维有实用价值。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。需要说明，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例提供的变电站场景与设备的监控方法的流程图。
图2为本发明较佳实施例提供的变电站场景与设备的监控方法的步骤s104的详细流程图。
图3为本发明较佳实施例提供的变电站场景与设备的监控方法的步骤s1042的详细流程图。
图4为本发明较佳实施例提供的电子终端的方框示意图。
图5为本发明较佳实施例提供的变电站场景与设备的监控装置的功能模块示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
三维重建技术是基于一组有序的或无序的有一定重叠度的图片或图像，采用计算机视觉和多视图立体几何学原理，构建出与多角度图片展示的场景相近似的三维场景，供使用者更加全面地掌握被监测场景的变化情况。
由于激光扫描仪扫描精度的提高，激发了人们对三维重构技术的热潮，目标是通过低廉的成本达到扫描仪的精度；随着人工智能技术的发展，以及对一些np(non-deterministicpolynomialproblems，存在多项式算法能够解决的非决定性问题)问题的解决，越来越多的智能可视化应用被大家熟悉和了解，在文物考古、设计领域以及制造业致力于通过三维重构技术来模型还原或自动建模，更好的保存或展示模型；同时我们的产品也希望结合相关的应用，实现设备的虚拟可视化智能实时监控。
在无人值守变电站的一个场景中，基于安全性和发生意外的高效性考虑，我们结合视频数据与变电站场景图像，采用高清摄像机采集变电站局部区域场景图像结合视频监控目标设备视频数据(安全性考虑，某些设备更清晰的图像无法近距离拍摄)，以目标对象的几何完整性和视觉效果为目标，实现目标对象重构的虚拟可视化设备展示；自动采集监控设备状态变化的视频数据，采用增量重构和贴图更新的方式基于图像和视频相结合实现虚拟场景设备状态的实时更新；实践证明此方法对变电站的运维有实用价值，有效提高巡检工作效率、减少劳动强度。下面通过几个实施例详细描述。
实施例1
请参阅图1，是本发明较佳实施例提供的应用于电子终端的变电站监控方法的流程图。下面将对图1所示的具体流程进行详细阐述。
步骤s101，获取采集设备采集的变电站场景的第一图像序列数据。
本实施例中，所述采集设备可以是摄像机，采用带有一个中心投影畸变的摄像机投影模型；即：
其中，f表示焦距；s表示畸变系数；cx,cy表示摄像机中心坐标。
即
图像特征点
在一种实施方式中，所述采集设备可以与所述电子终端通信连接，所述采集设备采集到所述第一图像序列数据后，通过网络将所述第一图像序列数据传输给所述电子终端。在另一种实施方式中，所述采集设备采集到的所述第一图像序列数据后，将所述第一图像序列数据通过数据线导入所述电子终端内。再一种实施方式中，所述电子终端中存储有所述第一图像序列数据，需要使用时从存储器中获取所述第一图像序列数据。
进一步地，为保证结果完整性和视觉质量，所述采集设备可以是高清摄像机。使用高清摄像机拍摄所述变电站场景的图像数据，图片重叠度最好在60％以上。具体地，所述高清摄像机在视角为5～15度范围拍摄，所述变电站场景中的目标对象重复数量至少三张。
步骤s102，根据所述第一图像序列数据对所述变电站场景进行模拟重构得到所述变电站场景的模拟现场图。
本实施例中，所述模拟现场图可以是三维图。
本实施例中，构建所述模拟现场图可以包括点云重构、表面重构、表面优化和表面贴图等几个步骤，基于视觉投影的三维重构技术，采用增量sfm算法实现稀疏点云重构，同时得到准确的摄像机参数信息和匹配特征点数据；基于补丁采样的近似邻近域搜索算法实现稠密重构；基于cgal(computationalgeometryalgorithmslibrary，计算几何算法库)生成表面三角网格；基于最小图割算法进行表面优化；基于模型表面分割、表面参数化和纹理打包的方法实现表面贴图。
步骤s103，获取所述采集设备采集的所述变电站设备状态的第二图像数据。
本实施例中，所述变电站设备周边安装有采集设备，例如，可以是监控摄像机，所述采集设备按照预设预置位采集所述变电站设备状态的图像数据。
本实施例中，所述第二图像数据可以包括：1)单张图像的设备状态数据，例如，视频截图，格式jpg；2)监控目标对象采集设备的视频流数据；3)在多个监控摄像机的情况下，取监控摄像机重叠区域的图像或视频流数据。所述采集的视频流数据按帧率转换为图像数据，例如，可以转换为格式jpg。
步骤s104，根据所述第二图像数据对所述模拟现场图局部区域数据贴图更新，得到所述变电站设备的实时状态模拟图。
本实施例中，所述实时状态模拟图可以是随着所述第二图像数据的更新呈现的实时三维画面。
所述步骤s104包括增量重构和贴图更新的过程。详细地，如图2所示，描述为两个步骤。
步骤s1041，获取的第二图像数据以增量的方式加入到所述第一图像序列数据中，根据可见特征点个数加入分组图像中，基于三角定位、光束平差和过滤错误匹配特征点的迭代方法，计算所述采集设备参数和匹配特征点。
步骤s1041为贴图更新提供保证。
步骤s1042，根据所述特征点与所述模拟现场图之间的平面投影和反投影关系，生成保角图；基于可见性约束和保角图与所述第二图像数据的图像之间的级联关系提取纹理数据，更新纹理图集，以通过局部区域数据贴图更新。
具体地。所述贴图更新可以是一种特征点的表面参数化的纹理替换方法，考虑到仪表和开关是平面的纹理替换，单张图像数据的特征点基于平面的投影和反投影生成保角图、基于可见性约束和保角图与图像数据之间的级联关系提取纹理数据，更新纹理图集，实现贴图更新；基于多张图像数据，根据特征点可见性约束选择最佳视图，基于单张视图的贴图更新方法实现纹理替换。
按照所述第二图像数据的类型不同所述步骤s1041的增量重构采用不同的处理方法，具体描述如下，在一种实施方式中，当所述第二图像数据为单张图像的设备状态数据时，基于增量重构原理，计算监控摄像机参数信息和匹配特征点对应关系；基于贴图更新原理，实现设备状态更新。
在另一种实施方式中，当所述第二图像数据为视频流数据时，所述视频流数据包括：无变化视频流和ptz控制的视频流；所述视频流数据为无变化视频流时，采用增量重构方法，计算采集设备的参数和匹配特征点；当所述视频流数据为ptz控制的视频流时，所述视频流数据是按帧率转换的图像数据，当图像个数大于等于三时，采用增量sfm算法，计算摄像机参数和匹配特征点；当图像个数小于三时，采用增量重构原理，计算采集设备的参数和匹配特征点。
当所述第二图像数据为视频流数据时，按情况又分为无变化视频流，和ptz(pan/tilt/zoom)控制的视频流；第一种情况，可以转换为所述单张图像的设备状态数据情况处理。第二种情况，所述视频流数据是按帧率转换的图像数据(jpg)，在图像数据大于等于三时，采用增量sfm算法，计算摄像机参数信息和匹配特征点；图像个数小于三时采用增量重构原理，计算采集设备的参数和匹配特征点；基于贴图更新原理中第二种情况，实现设备状态更新。
再一种实施方式中，所述变电站限定范围内安装有多个监控摄像机时，取监控摄像机重叠区域的图像或视频流数据，视频流按帧率转换为图像数据(转换的图像数据的格式是jpg)。理解为，根据重叠区域的特征点，计算特征点与模拟现场图之间的关系，此种情况根据图像个数决定采用增量sfm或增量重构的方法；另外，若采集设备采集的数据无重叠，或重叠度较少，导致失败概率较大，目前现场此种情况比较少，故略去。
本实施例中，所述变电站场景中被监控的设备主要分为三种类型：a、仪表；b、开关(文字型或符号型开关)；c、隔离开关和刀闸(状态变化)。仪表和开关状态变化的结果采用贴图更新的技术；根据目前的方法，有效解决在贴图更新的过程中存在的缝隙、遮挡等情况；采集设备获取数据分辨率与第一图像序列数据分辨率存在较大差异，视觉效果不佳，采用融合超级分辨率技术解决。
所述考虑到第二图像数据中的图像有遮挡或自遮挡情况、图像与视频监控图像贴图有缝隙、光照等、情况，为提高视觉效果，本实施例中，如图3所示。所述步骤s1042还可包括：步骤s10421和步骤s10422。
步骤s10421，计算所述模拟现场图与第二图像数据中目标视图之间的几何对应关系，确定最佳视图图像的摄像机参数信息和匹配特征点，基于平面方程验证边界特征点。
本实施例中，所述目标视图可以是所述第二图像数据中的相对匹配更好的视图。
本实施例中，所述仪表和开关是平面贴图，即采用平面方程：
f(xi,yi,zi):axi+byi+czi+d＝0；(3)
其中，(xr,xl)、(yr,yl)、(zr,zl)分别表示图像边界特征点对应的所述模拟现场图的目标场景形成的空间点的x、y、z值。基于平面方程验证图像特征点所对应的模型空间点是否在同一个平面，若误差过小，可以优化；误差过大，说明两种情况：1、摄像机参数需要优化或匹配特征点有外点，采用三角定位和光束平差法的迭代方法，验证匹配特征点和优化摄像机参数；2、图像数据采集失败，可以直接结束。
进一步地，对x，y，z分别求导，即可得法线向量：
即，
步骤s10422，基于所述模拟现场图与第二图像数据特征点之间的几何对应关系，采用基于特征点的表面参数化方法模拟现场图到图像的投影和图像到模型现场图的反向投影的平面双向投影关系，生成保角图；基于特征点可见性约束和三角面片区域扩展原理建立保角图与图像数据的级联关系，生成纹理数据，更新保角图集，将纹理数据更新到模型表面，实现纹理替换，进而得到所述变电站设备的实时状态模拟图。
具体地，
π表面正向投影，β表示反向投影；
基于所述模拟现场图与第二图像数据特征点之间的对应关系(公式2)，基于特征点对应关系的表面参数化方法(模拟现场图到图像的投影和图像到模型现场图的反向投影)双向平面投影关系，生成保角图；基于特征点可见性约束(公式4)和三角面片扩展原理建立保角图与第二图像数据的图像级联关系，生成纹理数据，更新保角图集，将纹理数据更新到模型表面，实现纹理替换，得到所述变电站设备的实时状态模拟图。对结果影响因子是匹配特征点和摄像机参数的准确性、拍摄照片时产生的畸变和光照等。
本发明实施例的一种变电站场景与设备的监控方法，结合视频数据与变电站区域场景数据，首先通过第一图像序列数据对变电站区域场景进行模拟重构得到所述变电站区域场景的模拟现场图；其次，采集变电站设备状态数据对所述模拟现场图更新得到所述变电站设备的实时状态模拟图；基于本实施例中的方法，采集数据有效的基础上，重构出几何完整性和高视觉质量的变电站场景模拟图，变电站运检人员可实时掌握所述变电站现场情况；实践证明此方法对变电站的运维有实用价值。
实施例2
如图4所示，是一电子终端100的方框示意图。所述电子终端100包括变电站监控装置110、存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对电子终端100的结构造成限定。例如，电子终端100还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。本实施例所述的电子终端100可以是个人计算机、图像处理服务器、或者移动电子设备等具有图像处理能力的计算设备。
所述存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及显示单元116各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述变电站监控装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述电子终端100的操作系统(operatingsystem，os)中的软件功能模块。所述处理器113用于执行存储器中存储的可执行模块，例如所述变电站监控装置110包括的软件功能模块或计算机程序。
其中，所述存储器111可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序，本发明实施例任一实施例揭示的过程定义的电子终端100所执行的方法可以应用于处理器113中，或者由处理器113实现。
所述处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述外设接口114将各种输入/输入装置耦合至处理器113以及存储器111。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
所述输入输出单元115用于提供给用户输入数据。所述输入输出单元115可以是，但不限于，鼠标和键盘等。
所述显示单元116在所述电子终端100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。
具体地，所述存储器111中存储有操作系统，在一个实例中，所述操作系统可以是windows764bit，当然也可以是更高配置的操作系统。所述电子终端的内存可以是16gbram，128gbssdfortheos,1tbhddformain(programsanddatawererunfromthehdd)。所述电子终端100的显卡可以是nvidiagtx970gpu，当然，所述显卡也可以是配置更高的显卡。所述处理器113可以intelcorei7-4790kcpu(4cores/8threads,upto4.4ghz)，当然，所述处理器113可以是通过处理能力的处理器，也可以是处理能力更好的处理器。具体地，本领域的技术人员可以根据需求选择所述电子终端100的各个配件的配置。
请参阅图5，是本发明较佳实施例提供的图4所述的变电站监控装置110的功能模块示意图。本发明实施例中的变电站监控装置110中的各个模块及单元用于执行上述方法实施例中的各个步骤。所述变电站监控装置110包括：第一获取模块1101、重构模块1102、第二获取模块1103以及更新模块1104。
所述第一获取模块1101，用于获取采集设备采集的变电站场景的第一图像序列数据。
所述重构模块1102，用于根据所述第一图像序列数据对所述变电站场景进行模拟重构得到所述变电站场景的模拟现场图。
所述第二获取模块1103，用于获取所述采集设备实时采集的所述变电站设备状态的第二图像数据。
所述更新模块1104，用于根据所述第二图像数据对所述模拟现场图局部区域数据贴图更新，得到所述变电站设备的实时状态模拟图。
本实施例中，所述更新模块1104可包括：特征点获取单元及贴图单元。
所述特征点获取单元，用于增量重构，所述增量重构包括获取的第二图像数据以增量的方式加入到所述第一图像序列数据中，根据可见特征点个数加入分组图像中，基于三角定位、光束平差和过滤错误匹配特征点的迭代方法，计算得到所述采集设备参数和获取匹配特征点。
所述贴图单元，用于贴图更新，所述贴图更新包括根据所述特征点与所述模拟现场图之间的平面投影和反投影关系，生成保角图；基于可见性约束和保角图与所述第二图像数据的图像之间的级联关系提取纹理数据，更新纹理图集，并通过局部区域数据贴图更新。
本实施例中，所述特征点获取单元还用于当所述第二图像数据为单张图像设备状态数据时，基于增量重构方法，计算采集设备的参数和匹配特征点；当所述第二图像数据为视频流数据时，所述视频流数据包括：无变化视频流和ptz控制的视频流；所述视频流数据为无变化视频流时，基于增量重构方法，计算采集设备的参数和匹配特征点；当所述视频流数据为ptz控制的视频流时，将所述视频流数据按帧率转换的图像数据，当图像数据个数大于等于三时，采用增量sfm算法，计算摄像机参数和匹配特征点；当图像数据个数3时，采用增量重构原理，计算采集设备的参数和匹配特征点。
所述贴图单元还用于计算所述模拟现场图与第二图像中最佳视图之间的几何对应关系，确定目标视图的摄像机参数和匹配特征点，基于平面方程验证特征点；基于所述模拟现场图与第二图像数据特征点之间的几何对应关系，采用特征点的表面参数化方法模拟现场图到图像的投影和图像到模型现场图的反向投影的平面双向投影关系，生成保角图；基于特征点可见性约束和三角面片区域扩展原理建立保角图与图像数据的级联关系，生成纹理数据，更新保角图集，将纹理数据更新到模型表面，实现纹理替换，以得到所述变电站设备的实时状态模拟图。
本实施例中，所述第一获取模块1101还用于获取所述采集设备的视角在5～15度，并且变电站中的目标对象的图像重复个数至少三张的图像形成的第一图像序列数据。
关于本实施例的其它细节可以进一步地参考上述方法实施例中的描述，在此不再赘述。
本发明实施例的变电站监控装置，通过使用图像数据对变电站进行重构以得到所述变电站的模拟现场图，再通过采集到的第二图像数据对所述模拟现场图进行更新得到所述实时状态模拟图，可以使相关人员能够通过所述实时状态模拟图查看所述变电站现场情况。另外，通过模拟图使监控画面更形象，相关人员能够更清楚地了解变电站的现场情况。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。