一种顾及杆塔电力线遮挡的电力走廊三维模型纹理映射方法与流程

本发明涉及基于倾斜数字摄影的大范围三维场景重建技术领域，特别涉及一种顾及杆塔电力线遮挡的电力走廊三维模型纹理映射方法。

背景技术：

近年来，无人机(unmannedaerialvehicle，uav)软硬件平台的快速发展和应用领域的不断扩展，使其成为一种广泛使用的新型数据采集方式。与传统的航天、航空摄影测量平台相比较，uav具备经济成本低、操作简便，以及获取高空间分辨率和高时间分辨率影像的能力，并在农业管理、智慧城市、地形测绘等领域得到了越来越深入的应用。其中，基于倾斜数字摄影的电力巡线发展尤为迅速。通过uav对大范围电力走廊进行巡检，不仅可以获取到高分辨率的地表影像，用于监测电力走廊周围的植被，坡度以及电力塔的具体情况，更重要的是可以通过三维重建技术来重现出电力走廊的三维模型，基于重建的三维模型可以对电力走廊的布局、规划、检测等做进一步的应用。

但是，目前基于多视影像的三维重建技术得到的电力走廊三维模型中存在一些悬空漂浮不连续的电力线结构，这种细小狭长的残留结构会导致无法准确地识别出被其遮挡住的地形结构，使得电力线的纹理信息被错误地映射到了地面，从而影响了纹理模型的质量和精度。并且这种错误的纹理映射，难以通过人工编辑的方式在重建的纹理模型中消除。

技术实现要素：

本发明所要解决的技术问题在于，提供一种顾及杆塔电力线遮挡的电力走廊三维模型纹理映射方法，以提高重建模型的美观程度和精度，为基于重建模型作进一步的应用提供准确的基础。

为解决上述技术问题，本发明提供一种顾及杆塔电力线遮挡的电力走廊三维模型纹理映射方法，包括：

步骤s1，检测并移除重建模型中的电力线；

步骤s2，基于矢量悬垂电力线拟合出具有矢量面元性质的电力线；

步骤s3，基于三维空间射线碰撞检测算法对重建模型进行遮挡检测；

步骤s4，基于图割算法优化纹理单元集合；

步骤s5，基于wallis算法进行影像色彩归一化；

步骤s6，基于书架后序放置算法对纹理信息打包。

其中，所述步骤s2具体包括：

步骤s21，根据矢量悬垂电力线的跨度，将其进行n等分，得到分段电力线组li(i＝0,1…n)；

步骤s22，对每段分组li构建斜圆柱面oc；

步骤s23，在斜柱面oc上均匀内插m个点，并使用德洛内算法进行构网，得到拟合的具有矢量面元性质的电力线结构。

其中，所述步骤s3具体以当前影像的视点作为射线起点,以重建模型中的一点作为射线终点，检测由这一对点组成的空间射线与重建模型的交点情况；如果射线与重建模型的交点数超过2个，则射线终点所在的三角面元是被遮挡住的面元。

其中，所述步骤s3具体包括：

步骤s31，基于kdt数据结构在xyz三个维度上对重建模型进行分级分块化的空间组织；

步骤s32，从航拍时每张影像的成像位置出发，向重建模型中的目标面元发射射线，基于kdt空间索引结构，找到与射线相交的三角面元；

步骤s33，判断射线与三维模型交点的数量innum，如果innum>＝2则表明该目标面元在该影像的成像视角下不可见；否则目标面元可见；

步骤s34，如果被检测出来的可见面元属于拟合出来的电力线结构，则仍然标记其为不可见，以防其残留在重建后的纹理模型中。

其中，所述步骤s31中，kdt数据结构的构建过程包括：

步骤s311，设kdt的层数为h，在每一层数上统计出全局最优plod模型的包围盒在xyz三个维度上的最大者并对最大者使用垂直于轴的超平面在中点处进行二叉切分，从而得到在每一层上的划分准则；

步骤s312，从层数为0的根节点出发，遍历全局最优plod模型中的三角面元，将重心位于超平面左侧的三角面元组织为左子树，将重心位于超平面右侧的三角面元组织为右子树；

步骤s313，从层数为1的左子树和右子树出发，按照步骤s312中的方式递归地对位于子树下面的三角面元进行二叉组织，直至到达最大层数或者子树中的三角面元数不大于指定的阈值为止，kdt构建完成。

其中，所述步骤s1中检测重建模型中的电力线的流程具体包括：

分别获取两个电力塔的顶部参数四元组，并据此确立空间包围盒；

对所述空间包围盒的空间范围进行胞体细化，检测每个胞体内是否包含重建出来的电力线结构，并统计出包含在其内的三角面元集合；

计算每个胞体内由三角面元集合顶点构成的空间包围盒体，如果所述空间包围盒体满足以下条件，则判定所述三角面元集合属于残留的电力线信息：

其中，xrange，yrange，zrange是空间包围盒体的空间尺度，α是最小尺度控制率，yflag是指定的y轴方向上的跨度值。

其中，所述最小尺度控制率α为0.25，指定的y轴方向上的跨度值yflag＝2.5×gsd，gsd表示倾斜影像的地面分辨率。

其中，所述步骤s4具体是基于图割算法对纹理单元的多标记选择过程进行迭代优化。

其中，所述步骤s5具体包括：

步骤s51，根据航向，选择出最接近正射摄影的下视影像作为参考影像，并统计出其标准差dref和均值avgref；

步骤s52，对测区其他影像统计出其标准差dorg和均值avgorg后，按以下公式对其进行色彩归一化：

f(x,y)＝[g(x,y)-avgorg]r0+r1

r1＝bavgref+(1-b)avgorg

上式中，g(x,y)为变换前的像素值；f(x,y)为wallis变换后的像素值；c∈[0,1]为影像离散波动的控制系数；b∈[0,1]为影像的亮度控制系数，当b→1时影像的均值被强制到avgref，当b→0时影像的均值被强制到avgorg；wallis滤波器中c＝1，b＝1，此时wallis滤波公式变为：

其中，所述步骤s6具体包括：

步骤s61，初始时书架为空，则根据首个三角面元对应的纹理单元的空间尺寸(wi,hi)来决定放置方式：如果hi>wi则将其侧向地放置在第一层书架上，使得该层书架的高度hs尽可能的小；如果hi≤wi,则正常放置；

步骤s62，根据纹理单元的空间尺寸(wi,hi)，按顺序地放置每个三角面元对应的纹理单元：如果max(wi,hi)<hs，则该纹理单元可以被放置在该层书架上，如果hi>wi则将其侧向地放置在第一层书架上，否则正常放置；

步骤s63，如果min(wi,hi)>hs或者当前书架的宽度wi达到饱和，则另起下一层书架，重复步骤s61和步骤s62的操作来放置纹理单元，直到所有的纹理单元都被放置好或者纹理影像的尺寸达到饱和。

本发明实施例的有益效果在于：兼顾了杆塔电力线遮挡问题，避免了电力线的纹理信息被映射到重建模型的地表，从而提高了重建模型的质量和精度，为基于重建模型作进一步的应用提供基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种顾及杆塔电力线遮挡的电力走廊三维模型纹理映射方法的流程示意图。

图2为本发明实施例中检测并移除残留在重建模型中的电力线的示意图。

图3为本发明实施例中基于rct算法进行遮挡检测的示意图。

图4为本发明实施例中基于图割算法优化纹理单元集合的示意图。

图5为本发明实施例中基于wallis算法对影像色彩进行归一化的示意图。

图6为本发明实施例中基于snf算法对纹理单元进行打包的示意图。

具体实施方式

以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。

本发明是为了避免重建模型中电力线的纹理信息被错误地映射到地表，由此，请参照图1所示，本发明实施例提供一种顾及杆塔电力线遮挡的电力走廊三维模型纹理映射方法，包括：

步骤s1，检测并移除重建模型中的电力线；

步骤s2，基于矢量悬垂电力线拟合出具有矢量面元性质的电力线；

步骤s3，基于三维空间射线碰撞检测算法对重建模型进行遮挡检测；

步骤s4，基于图割算法优化纹理单元集合；

步骤s5，基于wallis算法进行影像色彩归一化；

步骤s6，基于书架后序放置算法对纹理信息打包。

以下结合图2-图6分别对各步骤进行详细说明。

首先请参照图2所示，电力走廊的重建模型中含有间断悬浮的狭长电力线，这样的残留结构一方面影响重建模型的美观程度，因此在基于电力走廊的重建模型作进一步应用时，会用精确计算出来的矢量悬垂电力线替代之；另一方面，其细小狭长的结构会造成难以检测出被其遮挡的地形信息。因此，本发明实施例步骤s1在兼顾其遮挡，对重建模型进行纹理映射之前，将检测并移除掉这样的冗余信息。由于残留的电力线位于两杆塔a和b的塔顶之间，基于杆塔的空间结构检测残留电力线的主要流程分为以下几步：

(1)在塔a的顶部平面的东南角取一点aa，以aa为参考点分别在y和z方向上偏移oy和oz得到塔a顶部参数四元组pa(aa,ab,ac,ad,)；在塔b顶部平面的西南叫取一点ba，按同样的方式得到塔b顶部参数四元组pb(ba,bb,bc,bd,)，以pa和pb确立空间包围盒boundboxab，其中oy＝s×wi，s是截面宽度缩小倍率，本发明中取0.25，wi是塔的最后一个截面的宽度；oz＝hi-hp，hi是塔高，hp是塔的最后一个截面的中心点高程；

(2)对boundboxab的空间范围进行胞体细化，检测每个胞体内是否包含重建出来的电力线结构，并统计出包含在其内的三角面元集合sett，其中胞体细化的方式为：

上式中，lab，wab，hab分别是boundboxab的长，宽，高；lcell，wcell，hcell是每个胞体的大小尺寸，为了保证所有的细化胞体可以充分覆盖住boundboxab，对胞体进行了外延扩增处理；

(3)计算每个胞体内由sett顶点构成的空间包围盒体s。根据电力线细小狭长的空间结构特征，如果s满足以下条件则说明sett属于残留的电力线信息：

其中，xrange，yrange，zrange是s的空间尺度，α是最小尺度控制率，本发明中α＝0.25，yflag是指定的y轴方向上的跨度值，本发明中取yflag＝2.5×gsd,代表电力线投影到影像平面上占据2.5个像素时所对应的实际范围，gsd表示倾斜影像的地面分辨率。

根据以上步骤，将识别出来的重建电力线面元进行剔除，得到不含有残留电力线的重建模型。

为了在纹理映射的过程中，能识别出被电力线结构遮挡住的地表面元，防止包含电力线的纹理单元被映射到地表部分，本发明通过步骤s2对精确计算出来的连续悬垂电力线l进行面元拟合，旨在通过拟合后的具有面元的电力线结构，提高遮挡检测的精度。拟合的具体步骤如下：

步骤s21，根据l的跨度，将其进行n等分，得到分段电力线组li(i＝0,1…n)；

步骤s22，对每段分组li以其起点(sx,sy)为圆心，yflag为半径在垂直于li的平面上确立圆c，并以圆c为准线，li为母线，形成如下斜柱面oc的方程：

步骤s23，在斜柱面oc上均匀内插m个点，并使用德洛内(delaunay)算法进行构网，得到拟合的具有面元性质的电力线结构。

将拟合后的具有面元性质的电力线与剔除了原始电力线结构的重建模型进行合并，得到用于纹理映射的目标模型。

基于多视影像构建的三维模型，从某一影像视角观察它时，会有一些面元由于模型的自身遮挡无法被看到。这样的遮挡问题在对三维模型进行纹理映射时必须被检测出来，否则会导致纹理模型的失真。在经过上述步骤s1和步骤s2后，本发明步骤s3采用基于三维空间射线碰撞检测(raycollisiontest，rct)算法进行遮挡检测。

rct算法的思想是给定一对点(s,e)，由s向e发射一条射线l，检测l与目标模型(即重建模型)是否有碰撞，并求出具体的碰撞交点。基于这一思想，遮挡检测的过程可以表述为：以当前影像的视点作为射线起点s，以目标模型中的一点作为射线终点e，检测由这一对点组成的空间射线与目标模型的交点情况；如果射线l与模型的交点数超过2个，则射线终点e所在的三角面元是被遮挡住的面元。

同时，为了提高基于rct算法进行遮挡检测的效率，在本发明中基于kdt(kdimensiontree)算法对目标模型进行空间切分组织。kdt是一种支持多维空间的二叉分割结构，根据规定的准则，将数据集合在每一维度上递归地分成左右两颗子数，直到不能分割为止。kdt的空间切分思想可以快速地定位到射线碰撞的目标区域，避免与模型中的不相干面元进行碰撞检测。

在本发明中，按照如下方式对全局最优模型进行kdt分层组织：

步骤s311，设kdt的层数为h，在每一层数上统计出全局最优plod模型的包围盒在xyz三个维度上的最大者并对最大者使用垂直于轴的超平面在中点处进行二叉切分，从而得到在每一层上的划分准则；

步骤s312，从层数为0的根节点出发，遍历全局最优plod模型中的三角面元，将重心位于超平面左侧的三角面元组织为左子树leftchild1；将重心位于超平面右侧的三角面元组织为右子树rightchild1；

步骤s313，从层数为1的leftchild1和rightchild1子树出发，按照步骤s312中的方式递归地对位于子树下面的三角面元进行二叉组织，直至到达最大层数或者子树中的三角面元数不大于指定的阈值为止，kdt构建完成。

按照以上方式构建出来的kdt，树中每个节点都是一个长方体包围盒，其中非叶子节点记录了其左右两颗子树的索引；叶子节点记录那些重心包含在其内的三角面元的索引。当一条空间直线穿过该树状结构时，按照以下方式进行碰撞检测：

(1)首先从根节点的包围盒开始，判断这条射线是否穿过由包围盒的8个点组成的空间区域。如果没有则说明该射线与目标模型没有交点；如果有则转步骤(2)；

(2)分别遍历左右两颗子树，判断它们的外包盒是否与射线相交。如果相交，则判断相交的子树是否为叶子节点。如果不是叶子节点，则继续向下遍历其对应的左右两颗子树；如果是叶子节点则转步骤(3)；

(3)遍历包含在叶子节点中每个面元，得到那些与射线有交点的三角面元并记录交点位置。求取三维射线与三角面元的交点，可以先计算出三维射线与三角面元所在平面的交点，然后判断该交点是否在三角面元内部，如果在内部则记录之；

(4)如果被检测出来的可见面元属于拟合出来的电力线结构，则仍然标记其为不可见，以防其残留在重建后的纹理模型中。

基于kdt的空间索引序列，结合图3所示，步骤s3检测遮挡的具体流程如下：

步骤s31，对于经过步骤1和步骤2处理后的三维模型，基于kdt数据结构在xyz三个维度上进行分级分块组织；

步骤s32，从航拍时每张影像的成像位置出发，向三维模型中的目标面元发射射线，基于步骤s31中的kdt空间索引结构，快速找到与射线相交的三角面元；

步骤s33，判断射线与三维模型交点的数量innum，如果innum>＝2则说明该目标面元在该影像的成像视角下不可见；否则目标面元可见；

步骤s34，如果被检测出来的可见面元属于拟合出来的电力线结构，则仍然标记其为不可见，以防其残留在重建后的纹理模型中。

经过遮挡检测后，基于多视影像影像对三维模型进行纹理映射时，每一个三角面元对应的可见影像一般有数张以上。为所有的面元选取最合适的可见影像作为纹理单元的来源，以保证得到的纹理模型具有逼真、平滑无缝的效果。因此，纹理单元的选择可以看出是多标记(multi-labeling)的过程。本发明步骤s4基于图割(graphcut)算法对纹理单元的多标记选择过程进行迭代优化。

如图4所示，基于graphcut算法对纹理单元的多标记选择的模型可以抽象为带有一个源点source和一个汇点sink的邻接矩阵图：源点和汇点分别代表可见面元的纹理来源影像；邻接矩阵图中的其他结点node代表一个可见面元，相邻的可见面元结点之间通过n-link连接；源点和汇点分别通过t-link边与其他结点发生关系。t-link边上的权重代表该面元的纹理单元取自于对应影像的先验概率，n-link代表相邻面元之间纹理单元选择的差异程度。基于这样图状数据结构求解最佳标签结合的问题等价于求解最大化的后验概率，可以归结为对能量函数最小化的求解：

e(l)＝d(l)+n(l)

d(l)＝∑d(p)

其中，d(l)为数据项代表所有t-link边上的能量总和，n(l)为平滑项代表所有n-link边上的能量总和，n(p,q)代表马尔科夫随机场(mrf)中的一个邻域基团。

在倾斜摄影中，可见面元的最佳纹理影像需要满足两个基本条件：a.最佳影像的摄影光束与该面元的法线夹角在所有候选影像中是最小的，保证尽可能取到正视的纹理单元；b.该面元在最佳影像上的投影面积在所有候选影像中是最大的，保证尽可能取到近景航拍时的纹理单元。基于这两点，本发明中的d(p)定义为：

其中，α代表当前面元的法线与第k张可见影像的摄影光束之间的夹角，a代表当前面元在第k张可见影像上的投影面积，θ＝0.75，ρ＝0.25分别代表夹角与面积因素对最佳影像贡献的程度。

考虑到邻接面元的纹理取自于同一张影像时的差异度为0，取自不同影像时的差异度较大，则平滑项的内容在本发明中被定义为如下：

其中，m代表当前面元投影到可见影像上的覆盖范围内的像素均值，d代表标准差，σ²为方差，ω＝0.5。

用图割的思想对上述能量函数进行最小化，等价于用一条割边cutedge切断图中几条具有最小能量和的边集合，并且这条割边将图中的节点划分为两类：一类节点的纹理信息属于源点source所代表的影像；另一类节点的纹理信息属于源点sink所代表的影像。为了不再赘述，关于如何利用图割的思想最小化能量函数可以参见文献《fastapproximateenergyminimizationviagraphcuts》。

当相邻的三角面元的纹理信息来源于不同影像时，由于影像的色彩间存在差异性，纹理模型的邻接面元之间会存在接缝现象。为了消除接缝痕迹，本发明步骤s5利用wallis算法对影像的色彩进行归一化处理。

wallis算法的主要思想是根据参考影像的色调色彩信息，调整候选影像的颜色分布，使得二者的色调色彩趋于一致。请结合图5所示，归一化处理的主要的步骤包括：

步骤s51，根据航向，选择出最接近正射摄影的下视影像作为参考影像，并统计出其标准差dref，均值avgref；

步骤s52，对测区其他影像统计出其标准差dorg和均值avgorg后，按以下公式对其进行色彩归一化：

f(x,y)＝[g(x,y)-avgorg]r0+r1

r1＝bavgref+(1-b)avgorg

上式中，g(x,y)为变换前的像素值；f(x,y)为wallis变换后的像素值；c∈[0,1]为影像离散波动的控制系数；b∈[0,1]为影像的亮度控制系数，当b→1时影像的均值被强制到avgref，当b→0时影像的均值被强制到avgorg。典型的wallis滤波器中c＝1，b＝1，此时wallis滤波公式变为：

此时候选影像的亮度和色彩变化情况被归一化到参考影像的框架中，从而实现色调色彩的统一。

由于纹理映射的结果由很多零散细小的纹理单元组成，为了降低纹理模型的空间大小以及提高渲染纹理模型的效率，需要对这些纹理单元进行统一规则化的组织，以降低最终纹理影像的尺寸。本发明步骤s6采用书架后序放置(shelfnextfit，snf)算法对这些零散细小的纹理单元进行打包，其打包的思想如同根据书本的大小顺序地将其放到书架的不同层级上。设最终纹理影像的尺寸大小为(ws,hs)，如图6所示，snf的处理流程如下：

步骤s61，初始时书架为空，则根据首个三角面元对应的纹理单元的空间尺寸(wi,hi)来决定放置方式：如果hi>wi则将其侧向地放置在第一层书架上，使得该层书架的高度hs尽可能的小；如果hi≤wi,则正常放置；

步骤s62，根据纹理单元的尺寸(wi,hi)，按顺序地放置每个三角面元对应的纹理单元：如果max(wi,hi)<hs，则该纹理单元可以被放置在该层书架上，如果hi>wi则将其侧向地放置在第一层书架上，否则正常放置；

步骤s63，如果min(wi,hi)>hs或者当前书架的宽度wi达到饱和，则另起下一层书架，重复步骤(1)和(2)的操作来放置纹理单元，直到所有的纹理单元都被放置好或者纹理影像的尺寸达到饱和。

通过上述说明可知，与现有技术相比，本发明实施例带来的有益效果在于：兼顾了杆塔电力线遮挡问题，避免了电力线的纹理信息被映射到重建模型的地表，从而提高了重建模型的质量和精度，为基于重建模型作进一步的应用提供基础。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。