一种基于三目视觉的输电导线弧垂的三维重建方法及系统与流程

本申请涉及数据处理技术领域，特别涉及一种基于三目视觉的输电导线弧垂的三维重建方法及系统。

背景技术：

高压输电通道极易因为下方存在吊车、挖掘机、很高的树木等造成放电，带来影响输电安全的严重事故。为此除了需要检测吊车、挖掘机、很高的树木等危险源，还要对输电导线的弧垂进行三维重建，确定这些危险源与输电导线的距离，如果距离太近就要及时预警，以保障高压输电的安全进行。

目前常用的三维场景重建方法是基于双目视觉的。采用两个视觉传感器模拟人的视觉成像实现三维场景重建。也有采用雷达实现三维重建。

在目前电力系统中，利用三目视觉实现输电导线弧垂的三维重建尚未出现。现有的基于双目视觉的方法，在输电导线弧垂重建时准确性不高；而就基于雷达的三维重建方法虽然重建的准确性比较高，但成本太高。

技术实现要素：

本申请的目的在于提供一种基于三目视觉的输电导线弧垂的三维重建方法及系统，能够精确地利用三目视觉实现输电导线弧垂的三维重建。

为实现上述目的，本申请提供一种基于三目视觉的输电导线弧垂的三维重建方法，所述方法包括：

标定三目视觉系统中的三目摄像机，并通过视点平面扫描技术为完成三目标定的各个摄像机计算空间概率图；

利用半全局代价空间优化方法优化各个所述空间概率图，并基于优化后的空间概率图生成三个深度点云；

对所述三个深度点云进行融合和过滤，以得到重建后的深度图，并基于所述重建后的深度图拟合导线弧垂。

进一步地，标定三目视觉系统中的三目摄像机包括：

采用张氏标定法独立标定所述三目视觉系统中各个摄像机的内部参数和畸变参数；

通过独立标定后的各个所述摄像机采集图像，并基于所述图像中标记的控制点，两两标定所述三目视觉系统中的各对摄像机；

基于所述图像中的所述控制点，对完成两两标定的摄像机采用光束平差参数优化方法标定三目摄像机。

进一步地，所述内部参数用于表征摄像机的内部结构参数，所述畸变参数用于表征摄像机的径向畸变和切向畸变；按照以下公式完成各个摄像机的独立标定：

其中，表示平移变量矩阵，表示畸变变量矩阵，fx和fy表示偏移量参数，cx和cy表示横宽系数，rij和tk表示畸变系数，s表示变换参数，(u，v)表示像素点的成像坐标，(x，y，z)表示三维坐标。

进一步地，基于所述图像中标记的控制点，两两标定所述三目视觉系统中的各对摄像机包括：

计算所述控制点上的sift特征描述子，并使用hamming距离两两匹配不同图像中的对应控制点，采用随机采样一致性过滤掉控制点之间的错误匹配，以建立两个摄像机之间的姿态关系；其中，所述控制点是图像中在某方面属性突出的像素点，是在某些属性上强度最大或者最小的孤立点、线段的终点。

进一步地，各对摄像机按照以下公式标定出左右摄像机坐标系之间的相对关系：

r＝r2r1^-1

t＝t2-r2r1^-1t1

其中，r和t分别为用于表征左右两个摄像机的相对关系的旋转矩阵和平移距阵，r1和t1分别为第一个摄像机经过独立标定得到的相对标定物的旋转矩阵和平移向量，r2和t2分别为第二个摄像机经过独立标定得到的相对标定物的旋转矩阵和平移向量。

进一步地，对完成两两标定的摄像机采用光束平差参数优化方法标定三目摄像机包括：

采用光束平差参数优化方法，对完成两两标定的三个摄像机的内部参数、外部参数和畸变参数同时优化，在各个摄相机对应的视图之间消除畸变并实现行对准，使得左右视图的成像原点坐标一致、摄像机的光轴平行、左右成像平面共面、对极线行对齐，以完成三目摄像机的标定；其中，三目摄像机的三个摄像机安装在同一水平线上，并且各个摄像机的光轴保持水平，以及中间的摄像机与左右两边的两个摄像机具备相等间隔。

进一步地，光束平差参数优化方法实现以下公式表征的最小化问题：

其中，m为3，代表三个摄像机拍到三个图像，n是在三个图像中共同可见的控制点的数量，xij是图像j上的第i个控制点的坐标，vij是一个开关量，如果控制点i在图像j上有映射，则vij＝1，否则vij＝0，图像j由向量aj参数化表示，每个控制点i由bi参数化表示，q(aj,bi)表示控制点i在图像j上的通过各个参数计算得到的坐标，d(p,q)表示向量(p,q)的欧式距离。

进一步地，对所述三个深度点云进行融合和过滤包括：

将三个深度点云上的点映射到三维世界坐标系中，在每个三维世界坐标系中的点对应三个深度值；

如果同一个点对应的三个深度值之间的差别超出预设范围，滤出这个点；否则将三个深度值取中值作为最终的深度值。

进一步地，基于所述重建后的深度图拟合导线弧垂包括：

从重建后的深度图中随机选择n个三维重建的点；

通过随机选择的点拟合二次方程，并计算除所述随机选择的点之外的数据点在所述二次方程中的误差，若该误差小于预设误差阈值，将所述数据点加入至随机选择的点中；

若当前随机选择的点的总数量大于预设数量阈值，基于当前随机选择的点再次拟合二次方式，并计算当前随机选择的点在再次拟合的二次方程中的误差；

若计算得到的误差小于当前的最优误差，保存所述计算得到的误差和再次拟合得到的二次方式；

判断当前的迭代次数是否达到最大迭代次数，若达到，输出当前的拟合模型；若没有达到，返回从重建后的深度图中随机选择n个三维重建的点的步骤。

为实现上述目的，本申请还提供一种基于三目视觉的输电导线弧垂的三维重建系统，所述系统包括：

空间概率图计算单元，用于标定三目视觉系统中的三目摄像机，并通过视点平面扫描技术为完成三目标定的各个摄像机计算空间概率图；

深度点云生成单元，用于利用半全局代价空间优化方法优化各个所述空间概率图，并基于优化后的空间概率图生成三个深度点云；

导线弧垂拟合单元，用于对所述三个深度点云进行融合和过滤，以得到重建后的深度图，并基于所述重建后的深度图拟合导线弧垂。

由上可见，本发明基于三目视觉的输电导线弧垂的三维重建技术，相比于常见的基于双目视觉的三维重建，可以得到更多的信息，更好地检测噪声点等异常点，更好地判断弧垂的重建是否正确，克服现有双目重建精度不够高的问题，实现弧垂的准确重建。此外，可以准确地重建出导线弧垂的实际三维场景，重建的误差在水平和垂直方向精度小于0.1米。在深度方向偏差平均值小于0.3米，满足电力系统的实际需求，有效保证输电导线的安全和居民用电的稳定性，具有良好的社会效益和较好的经济效果。

附图说明

图1为本申请实施例中基于三目视觉的输电导线弧垂的三维重建方法的步骤图；

图2为本申请实施例中基于三目视觉的输电导线弧垂的三维重建系统的功能模块示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都应当属于本申请保护的范围。

本申请提供一种基于三目视觉的输电导线弧垂的三维重建方法，请参阅图1，所述方法包括以下步骤。

s1：标定三目视觉系统中的三目摄像机，并通过视点平面扫描技术为完成三目标定的各个摄像机计算空间概率图。

s2：利用半全局代价空间优化方法优化各个所述空间概率图，并基于优化后的空间概率图生成三个深度点云。

s3：对所述三个深度点云进行融合和过滤，以得到重建后的深度图，并基于所述重建后的深度图拟合导线弧垂。

具体地，在标定三目视觉系统中的三目摄像机时，首先可以使用熟知的张氏标定法，单独标定摄像机的内部和畸变等参数。采用张氏标定法基于棋盘格图像确定摄像机的内部和畸变参数。内部参数是双目摄像机的内部结构参数；畸变参数是径向畸变和切向畸变。

然后，可以实现双目摄像机之间的两两标定。基于每个摄像机采集的图像，手动标记每个图中都有的控制点，并计算这些控制点上熟知的sift(scaleinvariantfeaturetransform，尺度不变特征变换)特征描述子，使用熟知的hamming距离两两匹配不同图像中的对应控制点，采用熟知的随机采样一致性(randomsampleconsensus，ransac)来过滤掉控制点之间的错误匹配，建立任意两个相机之间的姿态关系。

其中，控制点是图像中在某方面属性特别突出的像素点，是在某些属性上强度最大或者最小的孤立点、线段的终点等。

最终，可以基于上述图像中的控制点，采用光束平差参数优化方法，对三个摄相机的内部、外部和畸变参数同时优化，实现在各个摄相机对应的视图之间消除畸变和行对准，使得左右视图的成像原点坐标一致、摄像机的光轴平行、左右成像平面共面、对极线行对齐，完成三目相机的标定。其中，三个摄相机安装在同一个水平线上，摄相机的光轴也都是水平的，并且中间的摄相机和左右两边的摄相机等间隔。

在一个具体应用示例中，所述内部参数用于表征摄像机的内部结构参数，所述畸变参数用于表征摄像机的径向畸变和切向畸变，并且按照以下公式完成各个摄像机的独立标定：

其中，表示平移变量矩阵，表示畸变变量矩阵，fx和fy表示偏移量参数，cx和cy表示横宽系数，rij和tk表示畸变系数，s表示变换参数，(u，v)表示像素点的成像坐标，(x，y，z)表示三维坐标。通过采集一系列的(u，v，x，y，z)来计算其他最佳系数，实现单目标定。

在一个实施方式中，基于所述图像中标记的控制点，两两标定所述三目视觉系统中的各对摄像机包括：

计算所述控制点上的128维的sift特征描述子，并使用hamming距离两两匹配不同图像中的对应控制点，采用随机采样一致性过滤掉控制点之间的错误匹配，以建立两个摄像机之间的姿态关系；其中，所述控制点是图像中在某方面属性突出的像素点，是在某些属性上强度最大或者最小的孤立点、线段的终点。

在一个实施方式中，双目摄像机需要标定出左右摄像机坐标系之间的相对关系。采用旋转矩阵r和平移矩阵t来描述左右两个相机坐标系的相对关系，具体为：在相机1上建立世界坐标系。假设空间中有一点q，其在世界坐标系下的坐标为qw，其在相机1和相机2坐标系下的坐标可以表示为：

q1＝r1qw+t1

q2＝r2qw+t2

进一步可得到

q2＝r2r1^-1(q1-t1)+t2＝r2r1^-1q1+t2-r2r1^-1t1

综合上式，可知，各对摄像机按照以下公式标定出左右摄像机坐标系之间的相对关系：

r＝r2r1^-1

t＝t2-r2r1^-1t1

其中，r和t分别为用于表征左右两个摄像机的相对关系的旋转矩阵和平移距阵，r1和t1分别为第一个摄像机经过独立标定得到的相对标定物的旋转矩阵和平移向量，r2和t2分别为第二个摄像机经过独立标定得到的相对标定物的旋转矩阵和平移向量。

在一个实施方式中，对完成两两标定的摄像机采用光束平差参数优化方法标定三目摄像机包括：

采用光束平差参数优化方法，对完成两两标定的三个摄像机的内部参数、外部参数和畸变参数同时优化，在各个摄相机对应的视图之间消除畸变并实现行对准，使得左右视图的成像原点坐标一致、摄像机的光轴平行、左右成像平面共面、对极线行对齐，以完成三目摄像机的标定。

在一个实施方式中，三目摄像机的三个摄像机安装在同一水平线上，并且各个摄像机的光轴保持水平，以及中间的摄像机与左右两边的两个摄像机具备相等间隔。

在一个实施方式中，光束平差参数优化方法实现以下公式表征的最小化问题：

其中，m为3，代表三个摄像机拍到三个图像，n是在三个图像中共同可见的控制点的数量，xij是图像j上的第i个控制点的坐标，vij是一个开关量，如果控制点i在图像j上有映射，则vij＝1，否则vij＝0，图像j由向量aj参数化表示，每个控制点i由bi参数化表示，q(aj,bi)表示控制点i在图像j上的通过各个参数计算得到的坐标，d(p,q)表示向量(p,q)的欧式距离。公式可以最小化n个控制点在三幅图上投影的误差，从而标定三个摄相机。

在对三目摄像机完成标定后，可以使用标定好的三个相机采集三个图像，通过多视点平面扫描技术依次为三个相机计算其所对应的三维空间中的各点成为场景中物体的概率，得到三个概率图。

具体地，每个相机可拍摄三维空间中的一个锥形空间。通过前面的三目相机标定，上述锥形空间和各个相机的图像空间之间建立了对应的映射关系。利用这些映射关系，可以将三个图像映射到上述的锥形空间，得到三个映射后的图像mk(k＝1，2，3)。接着，在锥形空间中任选一个点p，并以该点为中心在每个映射后的图像上取一个局部窗口wpk(k＝1，2，3)，计算三个图像上的上述三个局部窗口上熟知的互信息，得到的互信息的值作为该点成为场景中物体的概率。

由于单幅图像中的上述概率在估算过程中是在每个像素上独立进行的，没有考虑到像素间的制约关系，且上述的三个图像之间可能会有尺度、光照上的差异，这些不确定因素都会引起初始相邻像素间的概率相差过大，进而导致所得到的概率图不具有连续性。因此，采用半全局代价空间优化方法，去除不连续的噪点。

半全局代价空间优化方法在待匹配像素处沿多个(通常为8或4个)方向作动态规划，并基于各个方向计算匹配代价的和，保证概率图的连续性。

以摄像为原点，通过射线的方式遍历上述概率图，概率最大的位置对应的深度就是这个位置的深度值，从而得到对应的深度点云图。三个相机可以得到三个深度点云图。

后续，可以进行深度点云的融合和过滤，得到重建后的深度图。

具体地，将三个深度点云上的点映射到三维世界坐标系中，在每个三维世界坐标系中的点对应三个深度值dk(k＝1，2，3)。如果同一个点对应的三个深度值差别较大，就滤出这个点；否则就将三个深度值dk(k＝1，2，3)取中值作为最终的深度值d。这样，就得到了重建后的深度图，完成三维重建。

在实际应用中，在三维世界坐标系中，如果每个点对应三个深度值的差距|d1-d2|/[(d1+d2)/2]，|d2-d3|/[(d2+d3)/2]，|d1-d3|/[(d1+d3)/2]均大于阈值a(比如，1％)就认为该点在三个深度点云图像上没有对应点，滤掉这个点。

在实际应用中，由于弧垂较细，重建后容易断开，可以通过随机采样一致性拟合出导线弧垂，实现弧垂完整的三维重建。具体地，该过程可以包括以下步骤：

1)随机选择n个三维重建的点rnd_points。

2)拟合二次方程m，并计算每个不在rnd_points的数据点在这个拟合好的模型m上的误差。如果小于一个预设误差阈值t，就将这个数据点加到rnd_points里。

3)如果rnd_points的点的个数大于预设数量阈值d，使用rnd_points中的点再次拟合二次方程m，并计算rnd_points中的所有点在新的m中的误差，如果小于当前的最优的误差，就保存这个误差和对应的二次方程m。

4)如果当前迭代次数没有达到最大的迭代次数，转到1)，否则结束。

5)输出最好的拟合模型m'。

请参阅图2，本申请还提供一种基于三目视觉的输电导线弧垂的三维重建系统，所述系统包括：

空间概率图计算单元，用于标定三目视觉系统中的三目摄像机，并通过视点平面扫描技术为完成三目标定的各个摄像机计算空间概率图；

深度点云生成单元，用于利用半全局代价空间优化方法优化各个所述空间概率图，并基于优化后的空间概率图生成三个深度点云；

导线弧垂拟合单元，用于对所述三个深度点云进行融合和过滤，以得到重建后的深度图，并基于所述重建后的深度图拟合导线弧垂。

由上可见，本发明基于三目视觉的输电导线弧垂的三维重建技术，相比于常见的基于双目视觉的三维重建，可以得到更多的信息，更好地检测噪声点等异常点，更好地判断弧垂的重建是否正确，克服现有双目重建精度不够高的问题，实现弧垂的准确重建。此外，可以准确地重建出导线弧垂的实际三维场景，重建的误差在水平和垂直方向精度小于0.1米。在深度方向偏差平均值小于0.3米，满足电力系统的实际需求，有效保证输电导线的安全和居民用电的稳定性，具有良好的社会效益和较好的经济效果。

上面对本申请的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述，本申请的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此，虽然已经具体讨论了一些另选的实施方式，但是其它实施方式将是显而易见的，或者本领域技术人员相对容易得出。本申请旨在包括在此已经讨论过的本发明的所有替代、修改、和变化，以及落在上述申请的精神和范围内的其它实施方式。