基于多分辨率三维统计信息的屋顶分割方法、系统及设备与流程
本发明涉及计算机视觉领域，具体涉及一种基于多分辨率三维统计信息的屋顶分割方法、系统及设备。
背景技术：
建筑物是航拍图像中一个重要的组成部分，基于航拍图像的建筑物提取在城市规划、城市场景三维重建及虚拟飞行模拟等各个领域有着广泛的用途。然而虽然针对建筑物的提取取得了很大的进步，但是如何快速、鲁棒、通用地提取建筑物仍然是一个非常具有挑战性的问题。这是因为随着光照条件的变化、阴影条件的不一致以及图像分辨率和质量的差异，建筑物的外观特征往往呈现出丰富的多样性。同时，建筑物往往具有复杂的形状结构，而且会被建筑物周围的建筑侧面、其他建筑物或者树木遮挡，导致屋顶分割会出现错误。
有鉴于此，特提出本发明。
技术实现要素：
为了解决现有技术中的上述问题，本发明提出了一种基于多分辨率三维统计信息的屋顶分割方法、系统及设备，实现了快速、鲁棒地进行屋顶分割。
本发明的一方面，提出了一种基于多分辨率三维统计信息的屋顶分割方法，所述方法包括：
从多视角航拍图像获取高精度深度及稠密三维点云信息；
根据所述三维点云信息提取不同分辨率的三维点云特征统计信息，利用全局能量优化对三维点云场景进行语义分类，得到建筑物的点云；
将所述建筑物的点云作为初始先验，对所述多视角航拍图像进行精细建筑物分割；
基于深度信息的建筑物过渡区域计算，从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰，得到精细屋顶分割结果。
优选地，“从多视角航拍图像获取高精度深度及稠密三维点云信息”的步骤具体包括：
多视角航拍图像立体匹配图像对计算、基于片元匹配的高精度稠密深度估计、基于多视角深度信息融合的三维点云重建。
优选地，所述多视角航拍图像立体匹配图像对计算具体包括：
根据所述多视角航拍图像，计算摄像机i和j的主视图方向之间的角度θij；
计算摄像机i和j的光学中心之间的距离dij；
在满足θ1≤θij≤θ2的所述多视角航拍图像中，删除dij>d1或dij<d2的图像，得到剩余图像；
若所述剩余图像的数量小于k1，则将所述剩余图像作为第i个图像的相邻图像集，记为n(i)；否则，将所述剩余图像根据θij·dij的值进行升序排序，并选取前k1个图像作为相邻图像集n(i)；
在相邻图像集n(i)中选取θij·dij最小的图像，作为第i个图像的参考图像，从而形成立体图像对。
优选地，所述基于片元匹配的高精度稠密深度估计具体包括：
根据下式计算图像对间的单应性变换矩阵：
其中，ii为所述多视角航拍图像集中第i个输入图像，ij为图像ii的参照图像，图像ii和ij对应的摄像机参数分别为{ki,ri,ci}和{kj,rj,cj}，ki、kj为摄像机内参数，ri、rj为旋转矩阵，ci、cj为摄像机中心，ni为当前像素在空间的法线，xi为当前像素在空间的三维坐标；
在输入图像ii中，以像素p为中心设定一个矩形窗口b＝w×w；
对窗口b中的每个像素q，使用单应性矩阵hij(q)寻找在参考图像ij中对应的像素；
根据下式计算每个像素p在代价函数最小时对应的深度值：
其中，fp为像素在空间的平面表示，同时包含三维坐标点和法线。
优选地，所述基于多视角深度信息融合的三维点云重建具体包括：
对每个视图进行深度优化，得到优化后的深度图；
对每个所述优化后的深度图去除冗余信息；
将所有去除冗余信息后的深度图投影到三维形式，进而合并成一个单一完整的点云。
优选地，“对每个视图进行深度优化，得到优化后的深度图”的步骤具体包括：
对于图像ii的每个像素点p，根据该像素对应的深度信息λ和相机参数，利用下式的反投影方程将该像素点反投影到三维空间：
其中，p为像素的齐次坐标，x为像素点p反投影到世界坐标系上的三维点；
将x重新投影到图像ii的相邻图像集n(i)；
对于相邻图像集n(i)中第k个相邻图像，若满足
则确定x在图像ii和图像nk中是一致的；其中，d(x,nk)为图像nk的深度信息，κ(x,nk)为重投影后的深度值，τ2为阈值；
若x在相邻图像集n(i)中至少有2个相邻图像是一致的，则x被认为是一个可靠的场景点，将图像ii中对应像素p的深度值保留，否则将对应像素p的深度值去除。
优选地，“对每个所述优化后的深度图去除冗余信息”的步骤具体包括：
对于第i个所述优化后的深度图中的每个像素，重新利用所述反投影方程将该像素反投影到三维空间，得到点x；
将点x重新投影到相邻图像集n(i)；
若x的深度相对于某个相邻图像的深度较小，则证明第i个图像在该相邻图像中的投影x被遮挡，进而从该相邻图像的深度图中删除对应像素的深度值；
若这两个深度差值小于预设的阈值，则证明在该相邻图像中的投影x表示相同的点，进而从该相邻图像的深度图中删除对应像素的深度值。
优选地，“根据所述三维点云信息提取不同分辨率的三维点云特征统计信息，利用全局能量优化对三维点云场景进行语义分类，得到建筑物的点云”的步骤具体包括：
多分辨率三维点云特征的统计分析、基于全局能量优化的点云分类标记。
优选地，所述多分辨率三维点云特征的统计分析具体包括：
通过将点云映射到地面上，获得相应的2d支撑网格，并对每个网格单元计算出投射到该网格单元的点的属性；
根据下式的三个鉴定函数测量某个网格单元属于三种不同的预设类别的概率：
ftree＝min(α·σh+β·σnz,1)
其中，所述预设类别包括：建筑物、地面和植被；fground、fbuilding和ftree分别表示当前网格单元属于建筑物、地面和植被的概率；hi表示从网格单元中的点集到地面的最大高度，hi＝max{pi→z}-zground，pi为网格单元中的像素，z为对应像素的高度，zground为地平面的标准高度；
优选地，所述基于全局能量优化的点云分类标记包括：
通过对下式能量函数的代价值最小化求解，对点云进行语义标签分配：
其中，
e(f)为能量函数；fc为类别标签；c为网格单元的标号；c为网格单元的集合；ξ为权重；p和q为两个相邻网格单元；n为相邻网格单元集合；i(p,q)为一个示性函数，当相邻网格单元p和q拥有相同标签时该函数值为0，否则为1；γ′为权重，用于保持数据代价函数d(c,fc)和平滑代价函数vp,q数量级的一致性；hp、hq分别为网格单元p和q的高度。
优选地，“将所述建筑物的点云作为初始先验，对所述多视角航拍图像进行精细建筑物分割”的步骤具体包括：
以所述建筑物的点云为初始先验，将所述建筑物的点云在所述多视角航拍图像中的对应像素标记为前景建筑物，其他像素随机采样标记为背景区域，从而对所述多视角航拍图像中的像素进行初始分类；
利用所述初始分类的像素分别对图像前景区域和背景区域训练高斯混合模型
结合所述高斯混合模型，根据下式获得精确建筑物分割结果：
其中，
ec(xp,xq)＝|xp-xq|
ed(xp)为数据项，用来计算像素p分类为xp的概率；ζ为权重；ec(xp,xq)为平滑项，用来确保近邻像素分类的一致性；高斯混合模型
优选地，“基于深度信息的建筑物过渡区域计算，从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰，得到精细屋顶分割结果”的步骤具体包括：
根据深度图像，利用下式计算过渡区域的中每个像素的法向量n(x)在主方向z的投影大小：
δn(x)＝<z,n(x)>
其中，<·,·>代表两个变量的内积操作；
计算深度图的梯度变化图δh；
根据δn(x)和δh的加权平均生成过渡区域概率图；
根据所述过渡区域概率图消除建筑侧面的影响，生成所述精细屋顶分割结果。
本发明的另一方面，提出了一种基于多分辨率三维统计信息的屋顶分割系统，所述系统包括：三维点云信息获取模块、建筑物点云生成模块、建筑物分割模块、建筑物侧面去除模块；
所述三维点云信息获取模块配置为：从多视角航拍图像获取高精度深度及稠密三维点云信息；
所述建筑物点云生成模块配置为：根据所述三维点云信息提取不同分辨率的三维点云特征统计信息，利用全局能量优化对三维点云场景进行语义分类，得到建筑物的点云；
所述建筑物分割模块配置为：将所述建筑物的点云作为初始先验，对所述多视角航拍图像进行精细建筑物分割；
所述建筑物侧面去除模块配置为：基于深度信息的建筑物过渡区域计算，从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰，得到精细屋顶分割结果。
本发明的第三方面，提出一种存储设备，其存储有程序，其特征在于，所述程序适于由处理器加载并执行，以实现上面所述的基于多分辨率三维统计信息的屋顶分割方法。
本发明的第四方面，提出一种处理设备，包括：处理器和存储器；
所述处理器，适于执行程序；
所述存储器，适于存储该程序；
所述程序适于由所述处理器加载并执行，以实现上面所述的基于多分辨率三维统计信息的屋顶分割方法。
与最接近的现有技术相比，本发明具有如下有益效果：
本发明的屋顶分割方法首先根据多视角航拍图像计算三维深度及点云信息；然后，根据三维统计信息对点云进行分类；其次，利用点云分类计算初始建筑物分割结果；最后，利用深度信息计算建筑物过渡区域，用于去除建筑物侧面对精细屋顶分割的干扰，从而获得精细屋顶分割结果。本发明实现了快速、鲁棒、通用地进行屋顶分割，而且有效去除了建筑物侧面过渡区域的影响，提高了屋顶分割的精细度。
附图说明
图1是本发明实施例中基于多分辨率三维统计信息的屋顶分割方法的主要步骤示意图；
图2a-图2c是本发明实施例中输入的多视角航拍图像示例；
图3a-图3c是本发明实施例中多视角航拍图像的深度估计结果；
图4a-图4b是本发明实施例中基于多视角航拍深度图聚合的三维点云；
图5a-图5c是本发明实施例中建筑物过渡区域估计结果；
图6a-图6c是本发明实施例中多视角航拍图像精细屋顶分割结果；
图7是本发明实施例中基于多分辨率三维统计信息的屋顶分割系统的主要构成示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
图1是本发明一种基于多分辨率三维统计信息的屋顶分割方法实施例的主要步骤示意图。如图1所示，本事实施例的屋顶分割方法包括步骤s100-s400：
在步骤s100中，从多视角航拍图像获取高精度深度及稠密三维点云信息。该步骤中包括：多视角航拍图像立体匹配图像对计算、基于片元匹配的高精度稠密深度估计、基于多视角深度信息融合的三维点云重建。
其中，进行多视角航拍图像立体匹配图像对计算时，基于极线几何约束来选择符合条件的立体图像对，具体包括步骤s101-s105：
步骤s101，根据多视角航拍图像，对于第i个图像，计算对应的摄像机i和j的主视图方向之间的角度θij。
其中，j＝1,......,n，n为图像总数；如果相机的姿态通过运动结构恢复算法(sfm)来标定，则一组稀疏的三维点云和它们的可见性作为sfm的一种副产物产生，随后摄像机i和j间一个更好的θij可以被计算为可见点和摄像机中心之间的角度的平均值。
步骤s102，计算摄像机i和j的光学中心之间的距离dij；
步骤s103，在满足θ1≤θij≤θ2的多视角航拍图像中，删除dij>d1或dij<d2的图像，得到剩余图像。其中，θ1、θ2为预设的阈值；本实施例中，θ1＝5°，θ2＝60°，
步骤s104，若剩余图像的数量小于k1(本实施例中k1＝10)，则将剩余图像作为第i个图像的相邻图像集，记为n(i)；否则，将剩余图像根据θij·dij的值进行升序排序，并选取前k1个图像作为相邻图像集n(i)；
步骤s105，在相邻图像集n(i)中选取θij·dij最小的图像，作为第i个图像的参考图像，从而形成立体图像对。
基于片元匹配的高精度稠密深度估计具体包括步骤s106-s109：
步骤s106，根据公式(1)计算图像对间的单应性变换矩阵：
其中，ii为多视角航拍图像集中第i个输入图像，ij为图像ii的参照图像，图像ii和ij对应的摄像机参数分别为{ki,ri,ci}和{kj,rj,cj}，ki、kj为摄像机内参数，ri、rj为旋转矩阵，ci、cj为摄像机中心，ni为当前像素在空间的法线，xi为当前像素在空间的三维坐标；
步骤s107，在输入图像ii中，以像素p为中心设定一个矩形窗口b＝w×w；本实施例中设置w＝7个像素；
步骤s108，对窗口b中的每个像素q，使用单应性矩阵hij(q)寻找在参考图像ij中对应的像素；
步骤s109，根据公式(2)计算每个像素p在代价函数最小时对应的深度值：
其中，fp为像素在空间的平面表示，同时包含三维坐标点和法线。
图2a-图2c中示例性地给出了输入的多视角航拍图像。其中，图2a是第一个视角的航拍图像，图2b是第二个视角的航拍图像，图2c是第三个视角的航拍图像。
图3a-图3c中示例性地给出了多视角航拍图像的深度估计结果。其中，图3a是第一个视角航拍图像的深度图，图3b是第二个视角航拍图像的深度图，图3c是第三个视角航拍图像的深度图。
基于多视角深度信息融合的三维点云重建具体包括步骤s110-s112：
步骤s110，对每个视图进行深度优化，得到优化后的深度图。该步骤具体包括如下内容：
对于图像ii的每个像素点p，根据该像素对应的深度信息λ和相机参数，利用公式(3)的反投影方程将该像素点反投影到三维空间：
其中，p为像素的齐次坐标，x为像素点p反投影到世界坐标系上的三维点；
将x重新投影到图像ii的相邻图像集n(i)，n(i)是在立体图像对选择阶段产生的；
对于相邻图像集n(i)中第k个相邻图像，若满足公式(4)所示的条件：
则确定x在图像ii和图像nk中是一致的；其中，d(x,nk)为图像nk的深度信息，κ(x,nk)为重投影后的深度值，τ2为阈值；
若x在相邻图像集n(i)中至少有2个相邻图像是一致的，则x被认为是一个可靠的场景点，将图像ii中对应像素p的深度值保留，否则将对应像素p的深度值去除。
经过上述优化过程后，大多数错误信息可以被删除，这会得到一个在每个视图下相对比较干净的深度图。
步骤s111，对每个优化后的深度图去除冗余信息。
深度优化之后，我们将利用所有的深度图通过聚合来重建三维点云场景。然而，直接合并深度图将含有大量的冗余三维点云，因为不同的深度图之间可以具有共同的场景覆盖，特别是对于相邻图像。因此，我们在本步骤中要去除冗余信息，具体包括：
对于第i个优化后的深度图中的每个像素，重新利用公式(3)的反投影方程将该像素反投影到三维空间，得到点x；
将点x重新投影到相邻图像集n(i)；
若x的深度相对于某个相邻图像的深度较小，则证明第i个图像在该相邻图像中的投影x被遮挡，进而从该相邻图像的深度图中删除对应像素的深度值；
若这两个深度差值小于预设的阈值，则证明在该相邻图像中的投影x表示相同的点，进而从该相邻图像的深度图中删除对应像素的深度值。
步骤s112，将所有去除冗余信息后的深度图投影到三维形式，进而合并成一个单一完整的点云。
图4a-图4b示例性地给出了基于多视角航拍深度图聚合的三维点云。其中，图4a、图4b分别是聚合得到的三维点云的不同视角图像。
在步骤s200中，根据三维点云信息提取不同分辨率的三维点云特征统计信息，利用全局能量优化对三维点云场景进行语义分类，得到建筑物的点云。该步骤包括多分辨率三维点云特征的统计分析、基于全局能量优化的点云分类标记。
其中，多分辨率三维点云特征的统计分析具体包括步骤s201-s202：
步骤s201，为了将点云分别分类到不同的类别(建筑物、地面和植被)，我们通过将点云映射到地面上，获得相应的2d支撑网格(网络分辨率可以人工设定为rg)，并对每个网格单元计算出投射到该网格单元的点的属性；其中每个网格单元是标准的四邻接域；
步骤s202，根据公式(5)所示的三个鉴定函数测量某个网格单元属于三种不同的预设类别的概率：
其中，预设类别包括：建筑物、地面和植被；fground、fbuilding和ftree分别表示当前网格单元属于建筑物、地面和植被的概率；hi表示从网格单元中的点集到地面的最大高度，hi＝max{pi→z}-zground，pi为网格单元中的像素，z为对应像素的高度，zground为地平面的标准高度；
基于全局能量优化的点云分类标记具体包括步骤s203：
步骤s203，通过对公式(6)所示的能量函数的代价值最小化求解，对点云进行语义标签分配：
其中，数据代价函数d(c,fc)将计算如何更好的分配单元格c适合的标签。在点云特征的统计分析过程中，归一化的鉴定函数为所有单元格提供了初始标记的估计值。平滑代价函数将测量邻近单元间的空间相关性。数据代价函数d(c,fc)和平滑代价函数vp,q分别如公式(7)、(8)所示：
e(f)为能量函数；fc为类别标签；c为网格单元的标号；c为网格单元的集合；ξ为权重；p和q为两个相邻网格单元；n为相邻网格单元集合；i(p,q)为一个示性函数，当相邻网格单元p和q拥有相同标签时该函数值为0，否则为1；直观上，平滑代价函数会惩罚给一对相邻单元格(p,q)分配不同的标签的情况，代价函数同时要确保它们之间存在更小的高度差|hp-hq|。γ′为权重，用于保持数据代价函数d(c,fc)和平滑代价函数vp,q数量级的一致性；hp、hq分别为网格单元p和q的高度。
在步骤s300中，将建筑物的点云作为初始先验，对多视角航拍图像进行精细建筑物分割。具体包括步骤s301-s303：
步骤s301，以建筑物的点云为初始先验，将建筑物的点云在多视角航拍图像中的对应像素标记为前景建筑物，其他像素随机采样标记为背景区域，从而对多视角航拍图像中的像素进行初始分类；
步骤s302，利用初始分类的像素分别对图像前景区域和背景区域训练高斯混合模型
步骤s303，结合高斯混合模型，根据公式(9)获得精确建筑物分割结果：
其中，ed(xp)为数据项，用来计算像素p分类为xp的概率，如公式(10)所示：
ζ为权重；ec(xp,xq)为平滑项，用来确保近邻像素分类的一致性，如公式(11)所示：
ec(xp,xq)＝|xp-xq|(11)
高斯混合模型
步骤s400，基于深度信息的建筑物过渡区域计算，从精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰，得到精细屋顶分割结果。
考虑到不是所有建筑都是俯视拍摄，因此建筑分割结果包括建筑侧面区域，因此需要基于深度图求取过渡区域，也就是深度变化比较明显的区域是建筑物侧面。因此，本步骤具体包括步骤s401-s404：
步骤s401，根据深度图像，利用公式(12)计算过渡区域的中每个像素的法向量n(x)在主方向z的投影大小：
δn(x)＝<z,n(x)>(12)
其中，<·,·>代表两个变量的内积操作；
步骤s402，计算深度图的梯度变化图δh；
步骤s403，根据δn(x)和δh的加权平均生成过渡区域概率图；
步骤s404，根据过渡区域概率图消除建筑侧面的影响，生成精细屋顶分割结果。
图5a-图5c中示例性地给出了本实施例中建筑物过渡区域估计结果。其中，图5a、图5b、图5c分别是第一个视角航拍图像的建筑物过渡区域计算结果、第二个视角航拍图像的建筑物过渡区域计算结果、第三个视角航拍图像的建筑物过渡区域计算结果。
图6a-图6c中示例性地给出了本实施例中多视角航拍图像精细屋顶分割结果。其中，图6a、图6b、图6c分别是第一个视角航拍图像屋顶分割结果、第二个视角航拍图像屋顶分割结果、第三个视角航拍图像屋顶分割结果。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
基于与上面的屋顶分割方法相同的技术构思，本发明还提出了一种屋顶分割系统的实施例，下面进行具体说明。
图7是本发明的一种基于多分辨率三维统计信息的屋顶分割系统实施例的主要构成示意图。如图7所示，本实施例的屋顶分割系统1包括：三维点云信息获取模块10、建筑物点云生成模块20、建筑物分割模块30、建筑物侧面去除模块40。
其中，三维点云信息获取模块10配置为：从多视角航拍图像获取高精度深度及稠密三维点云信息；建筑物点云生成模块20配置为：根据所述三维点云信息提取不同分辨率的三维点云特征统计信息，利用全局能量优化对三维点云场景进行语义分类，得到建筑物的点云；建筑物分割模块30配置为：将所述建筑物的点云作为初始先验，对所述多视角航拍图像进行精细建筑物分割；建筑物侧面去除模块40配置为：基于深度信息的建筑物过渡区域计算，从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰，得到精细屋顶分割结果。
具体到每个模块中的详细功能配置可参看上面的屋顶分割方法中相关部分，此处不再赘述。
基于上面的屋顶分割方法，本发明还提出一种存储设备的实施例。该存储设备中存储有程序，所述程序适于由处理器加载并执行，以实现上面所述的基于多分辨率三维统计信息的屋顶分割方法。
进一步的，本发明还提出一种处理设备的实施例。该处理设备包括：处理器和存储器。其中，处理器适于执行程序；存储器适于存储该程序；所述程序适于由所述处理器加载并执行，以实现上面所述的基于多分辨率三维统计信息的屋顶分割方法。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤、模块，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！