基于点云的配电线路作业场景三维重建方法与流程

本发明涉及带电作业机器人环境感知领域，尤其涉及一种基于点云的配电线路作业场景三维重建方法。

背景技术：

随着机器人技术的发展，机器人在各个领域都发挥着越来越重要的作用。将机器人技术应用到电力产业中，代替人工进行电力维护检修工作，可以很大程度上提高作业的安全性和效率。

采用机器人进行带电作业，一般有遥操作模式和自主模式，而无论是哪一种模式都需要对作业场景进行三维重建，一是提供视觉临场感，让遥操作人员能够基于虚拟现实进行沉浸感较强的人机交互操作；二是使机器人具有场景感知能力，可以进行自主避障和运动规划

基于点云的三维重建主要包括点云预处理、点云配准和曲面重建。其中，点云配准对三维重建准确度和效率的关键技术，目前常用的配准方法是结合粗配准和精配准。对于粗配准，通常先要提取点云的几何特征，为建立点云的对应关系做准备，目前流行的基于ransac的粗配准方法随机性比较强，影响配准效率，降低了建模的速度。对于精配准，一般采用icp算法，但是传统的icp算法将所有点集作为待配准点集，并且没有排除错误点对，不仅影响了配准的速度，还降低了配准的精度

技术实现要素：

本发明的目的在于提供一种基于点云的配电线路作业场景的三维重建方法。

实现本发明目的的技术方案为：一种基于点云的配电线路作业场景三维重建方法，包括以下步骤：

步骤1，采集作业场景点云，对其进行预处理操作；

步骤2，采用颜色区域增长法进行点云场景的分割；

步骤3，采用粗配准和精配准方法对多视角下的点云进行配准；

步骤4，建立离线模型库，包括避雷器和横担；

步骤5，对作业场景进行实时三维重建；

步骤6，采用泊松算法对步骤5得到的点云进行曲面重建。

本发明与现有技术相比，显著优点为：本发明针对配电线路场景的特殊性，采用有效的预处理方法获得零部件点云，优化了配准方法，提高了三维重建的速度。并且对于配电线路作业场景，可以半自主地进行三维重建，减小了人工干预，提高了作业场景重建的效率。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明基于点云的配电线路作业场景三维重建流程图。

图2为改进的点云配准流程图。

图3为多视角点云配准示意图。

图4为实时局部点云替换为相应模型流程图。

图5为配电线路场景预处理结果图。

图6为配电线路场景点云分割示意图。

图7为配电线路场景点云分割结果图，其中图(a)为横担点云，图(b)为左避雷器点云，图(c)为右避雷器点云。

图8为两个视角下横担配准示意图，其中图(a)为配准之前的两幅横担点云，图(b)为配准之后的两幅横担点云。

图9为两个视角下避雷器配准示意图，其中图(a)为配准之前的两幅避雷器点云，图(b)为配准之后的两幅避雷器点云。

具体实施方式

以下结合附图对本发明基于点云的配电线路作业场景三维重建方法的具体实施方式进行说明：

对于离线建立模型库阶段，视觉采集设备手持移动绕场景内物体采集多个视角下的点云数据；对于实时显示作业场景，视觉设备固定在作业场景一定距离外。

基于点云的配电线路作业场景三维重建流程图如图1所示，包括以下步骤：

步骤1、采集作业场景点云，对其进行预处理操作；具体步骤如下：

步骤1-1、采用条件滤波法，选择感兴趣区域：

由于点云是三维坐标的集合，可以根据先验知识，限定点云在x，y，z方向上的范围，确定场景大概所在区域；

步骤1-2、对步骤1-1所得点云，进行自适应体素降采样，并去除离群点；为点云创建三维体素栅格，假设立方体的棱长与点云的平均最近邻欧氏距离线性相关，用每个体素内点集的重心来近似表示这个体素，以实现点云的降采样；采用基于统计的方法去除稀疏离群点；

步骤2、采用颜色区域增长法进行红色避雷器与灰色横担的自动分割；

步骤3、采用粗配准和精配准方法对两个视角下同一个物体的点云进行配准，如图2所示，具体步骤如下：

步骤3-1、采用sift3d算法提取点云的关键点，并计算关键点的fpfh特征，具体为：

步骤3-1-1、对尺度空间特征点进行检测，所用尺度空间及高斯差分函数如下：

尺度空间：l(x,y,z,σ)＝g(x,y,z,σ)*p(x,y,z)

高斯差分函数：d(x,y,z,k1ⁱσ)＝l(x,y,z,k1⁽ⁱ⁺¹⁾σ)-l(x,y,z,k1ⁱσ),i∈[0,s+2]

其中，g(x,y,z,σ)为高斯核，p(x,y,z)为点云中的点，σ为尺度空间因子，k1为常数乘法因子，s为金字塔组内层数；

步骤3-1-2、剔除对比度低的特征点和边缘响应点，具体为：

将特征点(x,y,z)代入高斯差分函数，若所得值的绝对值大于阈值τ1，则保留，否则剔除；之后去除边缘点；

步骤3-1-3、确定关键点主方向；关键点及其k邻域点到邻域中心点的幅值m(x,y,z)、方位角θ(x,y,z)以及俯仰角φ(x,y,z)分别为：

θ(x,y,z)＝tan^-1((yi-yc)/(xi-xc))

φ(x,y,z)＝sin^-1((zi-zc)/m(x,y,z))

其中，(xi,yi,zi)(i＝1,2,...,k,k+1)为关键点及其k邻域点，(xc,yc,zc)为邻域中心点；利用直方图统计关键点邻域内的方位角θ(x,y,z)和俯仰角φ(x,y,z)，以幅值m(x,y,z)作为权值，选择直方图的主峰值作为关键点的主方向；

步骤3-1-4、建立关键点的fpfh特征描述：

其中，pi为关键点，pk为近邻点，以pi与pk的距离作为权值ωk，spfh为简单点特征直方图；

步骤3-2、对不同视角下的点云进行基于采样一致性的粗配准，具体流程为：

步骤3-2-1、从源点云p中随机选择s个关键点，确保点与点之间的距离大于预设的最小距离dmin；

步骤3-2-2、对于每一个关键点si，在目标点云q中，找到与si有相似fpfh特征的点集，从中随机抽取一个点来代表样本点si的对应点；

步骤3-2-3、由包含s个点对的集合估计刚体变换矩阵，通过计算误差度量来评价刚体变换的质量，误差度量通常由huber评价公式计算：

其中，ei表示经过刚体变换后第i个点对的欧式距离，te为常数，lh(ei)为第i个点对的误差度量；

步骤3-2-4、如果误差达到预期的范围内，或是达到最大迭代次数m时，结束迭代过程，否则返回步骤3-2-1；

步骤3-3、对不同视角下的点云进行基于改进icp算法的精配准，具体为：

步骤3-3-1、确定对应点对：在目标点云q中寻找源点云p中关键点集合{pi}相应的最近点集合{qi}；

步骤3-3-2、确定点对权值：

其中，distmax是所有点对间距离的最大值，weighti为每个点对的权值，给定阈值t，若weighti＜t，则剔除该点；

步骤3-3-3、采用svd方法估计旋转矩阵r和平移矩阵t，对源点云p旋转变换和平移变换，并计算误差和函数：

步骤3-3-4、判断误差和是否小于阈值τ，判断是否达到最大迭代次数n，满足其一则结束，完成精配准，否则返回步骤3-3-1；

步骤4，建立离线模型库，包括避雷器q1和横担q2；具体为：

步骤4-1、通过采集多视角下作业场景的点云，通过步骤1的预处理以及步骤2的点云分割，分别获得多视角下的避雷器点云和横担点云；

步骤4-2、以视角1为基准点云，其他视角下点云都通过步骤3配准到该视角下，形成完整的避雷器点云和横担点云，即完成了离线模型库的构建。如图3所示；

步骤5，完成作业场景实时三维重建；如图4所示，具体步骤为：

步骤5-1、实时采集场景点云数据；

步骤5-2、对其进行步骤1的预处理，采用步骤2的方法进行自动分割；

步骤5-3、将分割结果pi依次采用步骤3的方法分别与模型库避雷器点云q1和横担点云q2进行配准，得到配准误差eij(j＝1,2)；

步骤5-4、取配准误差结果小的模型为pi的对应模型，并对模型点云进行刚体变换，替换当前的点云pi

步骤6，采用泊松曲面重建算法对步骤5得到的点云进行曲面重建。

本发明实现了配电线路场景的半自主三维重建，减小了人工干预，针对配准是三维重建的重要步骤，采用sift3d关键点提取和fpfh特征描述向量，保证了关键点的质量，并且对点对关系设置权值，排除错误点对，加快了配准速度，提高了三维重建的效率。

下面结合实施例对本发明做进一步详细的描述。

实施例

(1)对象

针对依据电力标准搭建的模拟真实配电线路场景，通过kinect2采集场景点云。

(2)过程结果

本发明方法核心在于三个过程：预处理、分割以及配准，下面就这三方面展示方法的实验仿真效果。

首先经过条件滤波、降采样、离群点去除操作，得到预处理结果图，如图5所示.这些操作可以选择作业场景中感兴趣的区域，均匀采样原本过于密集的点云使得点云数量合适，并且去除了噪声造成的干扰。

然后采用颜色区域增长法实现避雷器与横担的自动分割，分割效果图如图6所示，以及分割结果图如图7所示。

将不同视角下同一物体点云配准到同一视角下，利用本文方法，横担和避雷器配准前后的示意图分别如图8和9所示。

此方法与基于ransac粗配准结合传统icp配准的方法相比，就避雷器配准的准确度和速度的对比如表1所示

表1

如表1所示，本发明方法用时更短，配准精度更高。

(3)结果

基于以上预处理操作、点云分割以及点云配准技术，先建立好各零部件的完整离线模型，实时数据再与离线模型进行配准，最终完成配电线路作业场景的三维重建。