石化企业智能巡检中装置三维空间快速构建方法与流程

本发明涉及一种石化企业智能巡检中装置三维空间快速构建方法。

背景技术：

石化产业在中国国民经济的发展中具有重要作用，是中国的支柱产业部门之一。随着石化企业综合自动化程度的提高和计算机信息技术的飞速发展，利用三维技术进行石化企业多层次业务流程的信息呈现与人机交互成为石化“智能工厂”的建设目标之一。石化企业智能巡检系统是“智能工厂”建设的核心模块之一，智能巡检能够有效的保证石化行业安全生产。三维技术的应用为智能巡检提供了新的方式和方法，能够为员工在巡检过程中提供真实的场景，更好的实现对设备运行状态的感知。

目前基于三维技术的石化企业应用，综合考虑三维场景的实时性、渲染效果及交互友好性等多方面需求，企业更倾向于选择人工交互式几何建模重建的方法，但该方法在三维工厂数字化建模过程中工作量庞大。王宇等人在《石化企业设备设备三维建模技术初探》中提出构建化工装置设备模型，若要建立精度较高的真三维模型，采用几何精细建模方法，将会导致建模周期长，效率低等问题。另外，虽然激光扫描仪能够快速获取设备的三维点云数据，但存在点云数据量大，数据处理难度大，易丢失数据等问题。

本发明提出了一种利用装置三维空间快速构建方法，实现对装置空间的快速识别和感知，实现装置三维场景的快速构建，从而能够为反算巡检人员的空间位置信息提供支持，实现巡检人员的到位监督，并自动生成巡检路线，为企业的巡检路线的智能规划提供支撑。

技术实现要素：

本发明所要解决的技术问题是现有技术中人员定位不准确、工作量大的问题，提供一种新的石化企业智能巡检中装置三维空间快速构建方法。该方法具有人员定位准确、工作量小的优点。

为解决上述问题，本发明采用的技术方案如下：一种石化企业智能巡检中装置三维空间快速构建方法，结合石化设备三维模型库，提取关键帧中局部特征显著的设备信息，实现基准部件识别及位置匹配，学习石化装置的设计语法，训练生成部件空间关系语法约束库，提取复杂管道的空间布局信息，最终利用阀门的识别信息及约束关系来校正已重建的三维模型，最终实现石化装置的快速重建。主要技术方案包括：

(1)利用移动防爆终端的摄像设备按照装置巡检路线拍摄装置现场视频；

(2)对视频序列帧进行特征提取，在为每一帧独立抽取特征点后，逐帧匹配这些特征点，并利用随机采样一致性算法(ransac)消除噪声匹配点，根据特征点反算移动终端摄像头的位置和方向信息，计算出点云信息及连续的相机定标信息；

(3)选择最佳的三个关键帧进行场景三维初始化；

(4)设计设备与管道、管道与阀门、阀门与阀门及其他设备之间多对多的空间位置约束关系，通过这些语法构建三维阀门空间定位约束语法库，进一步匹配校准建立的三维场景，提高场景构建的准确性与精度；

(5)采用图像的底层视觉特征，结合形状语法来进行管道三维建模；

(6)基于特征点匹配识别的结果，实现设备和管道的快速构建，完成装置的三维建模；

(7)根据匹配过程中相机的定标分析，完成巡检人员的空间定位和巡检路线的自动记录。

上述技术方案中，优选地，基于语义识别、语法建模方法实现巡检过程中石化装置的快速建模，生成装置三维场景。

上述技术方案中，优选地，利用装置三维场景实现智能巡检过程中的人员空间定位识别。

上述技术方案中，优选地，基于三维场景和人员定位实现巡检路线自动记录及规划。

针对石化企业装置建模，现有的几何建模方式存在工作量大，需要消耗大量人力物力等问题；激光扫描仪三维建模方式存在数据量大，数据处理难度大，易丢失数据，与现场不一致等问题。本发明专利提出的装置三维快速构建方法操作简便，面向布局复杂、安全性要求极高的石化企业运行环境实行性较强，既能提升装置的自动化建模效率，又能提高建模精度，能够弥补现有三维建模方式效率低下等问题。现有石化企业智能巡检系统中，针对人员定位主要采用全球定位系统(globalpositioningsystem，gps)或无线射频识别(radiofrequencyidentification，rfid)方法来确定人员位置，由于石化装置本身的复杂性，导致gps定位不准确，rfid需要在装置上安装新的电子设备，为装置安全带来了隐患。本发明专利提出的利用三维空间实现人员的定位方法即准确又方便，在保障企业安全运行的基础上能够实现人员的准确定位，取得了较好的技术效果。

附图说明

图1智能巡检中装置三维空间快速构建方法流程图。

图2关键帧匹配及管道三维建模方法流程图。

下面通过实施例对本发明作进一步的阐述，但不仅限于本实施例。

具体实施方式

【实施例1】

一种石化企业智能巡检中装置三维空间快速构建方法，如图1所示。

1、整体技术方法。

(1)从预处理视频序列中恢复石化装置场景的稀疏三维点云及相机定标；

(2)融合多源数据提取装置部件的空间关系语法约束库；

(3)在设备模型库中，集成真实感光照渲染算法，着重提取与分析预设的石化设备组建模型或图像的特征点信息及分布规律，实现基准设备的图像语义匹配；

(4)基于底层视觉特征分析复杂装置管架、管廊、管道等非设备模型的上下文形状语法，剔除噪声并提取管道的矢量信息；

(5)最终实现三维点云的语义理解，结合空间关系语法实现石化装置的快速构建。

2、利用移动防爆终端的摄像设备对巡检过程中的装置进行视频采集，形成装置空间视频影像资料。

3、装置场景三维特征点提取及关键帧相机定标。

(1)利用尺度不变特征转换算法(sift)对序列帧图片进行特征提取，在为视频序列上的每一帧图像独立抽取特征点后，逐帧匹配这些特征点；

(2)利用随机采样一致性算法消除匹配点中的噪声和误匹配点；

(3)利用定标理论算法获取摄像机的位置和方向信息；

(4)进一步自动选择在多帧图像中稳定出现的特征点，并确定关键帧，选择最佳的三个关键帧进行场景三维的初始化，渐进式地求解所有关键帧，最终对整个序列的结构和相机参数进一步优化。

4、构建石化装置基准设备、管道、阀门的空间关系语法库。

(1)采用机器学习的方法，自动化学习矢量、文本信息，在与模型库相同尺度空间中重点提取基准设备、管道、阀门的空间关系语法；

(2)将约束语法训练为设备与管道、管道与阀门、阀门与阀门及其他部件之间多对多的空间位置约束关系。

5、关键帧图像基准设备映射及管道提取，如图2所示。

(1)采用图像局部特征描述算法提取设备图像中的关键结构信息，与虚拟设备库中的设备图像进行匹配，从而识别该设备；

(2)对于匹配不准的模型，采用中间图像标注的方式实现三维模型与实体模型的自动连接。

6、基于特征点匹配识别的结果，实现设备和管道的快速重建，完成装置的三维建模。

(1)对于基准设备，需首先建立关键帧设备与三维设备图像间相机标定转换矩阵，然后建立二维与三维点云之间的转换矩阵，由此可根据特征显著的特征点信息计算虚拟基准设备的模型变换矩阵，从而实现点云语义的嵌入及局部点云的模型匹配，实现基准设备的重建；

(2)根据关键帧图像中管道二三维的匹配结果，提取该矢量所在三维空间中具有管道约束的三维特征点云，以噪声较少的局部点云为训练样本，提取管道的三维矢量及管径信息，实现管道的三维建模。

7、根据匹配过程中相机的定标分析，完成巡检人员的空间定位和巡检路线的自动记录。