基于多尺度三维先验信息的屋顶分割方法、系统与设备与流程

本发明涉及计算机视觉领域，具体涉及一种基于多尺度三维先验信息的屋顶分割方法、系统与设备。

背景技术：

从航拍数据中提取建筑物在城市规划、三维城市重建等领域有着广泛的用途。尽管该方面的研究在最近几年取得了较大的进展，但是想要设计一个通用、鲁棒的方法仍然十分具有挑战性。因为随着光照条件、反射率、图像分辨率和图像质量的变化，建筑物往往呈现出不同的外观。

大部分现有的建筑物提取方法都是基于一些设定对图像特征进行分析和处理。作为人造物体，建筑物往往具有规则的形状、一致的颜色分布以及与周围环境明显区分等特点。尽管上述特点的有效性在很多研究中得到证明，问题在于图像特征和设定都存在不确定性。一方面，这些设定并不是对每一个建筑物都正确的，另一方面，从图像中提取的用于支撑这些设定的特征也往往存在错误信息，而且这些错误难以完全避免。

有鉴于此，特提出本发明。

技术实现要素：

为了解决现有技术中的上述问题，本发明提出了一种基于多尺度三维先验信息的屋顶分割方法、系统与设备，提高了屋顶分割的精度。

本发明的一方面，提出一种基于多尺度三维先验信息的屋顶分割方法，包括以下步骤：

对航拍图像进行多尺度超像素分割，得到多尺度的分割图层；

针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息，并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图；

利用概率图模型融合多个尺度的所述混合概率图得到最终概率图，并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果；

根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果。

优选地，“对航拍图像进行多尺度超像素分割，得到多尺度的分割图层”的步骤包括：

利用均值漂移分割算法(mean-shift)将所述航拍图像初始分割成多个过分割区域；

计算每个过分割区域的最大内切圆直径，以该直径的大小作为该过分割区域的尺度；

根据预先设定的3个递增的尺度阈值{th1,th2,th3}，先后对尺度小于所述尺度阈值的过分割区域进行近邻超像素区域融合，每次融合的输入都是上一层的输出，最终生成3个尺度递增的分割图层；

其中，所述近邻超像素区域融合利用基于密度的聚类算法dbscan(density-basedspatialclusteringofapplicationswithnoise)计算相应的超像素特征，将位置相邻且特征欧式距离最小的两个超像素融合成一个超像素。

优选地，针对每个尺度的所述分割图层，计算所述基于混合暗通道先验的逐像素深度信息，具体包括：

将所述航拍图像中暗通道值小于暗通道阈值的区域划分为近景区域，其余部分划分为远景区域；

计算所述近景区域中各像素点的r、g、b颜色通道中的最小值；

计算所述远景区域中预设大小的近邻区域内所有像素包含的r、g、b颜色通道中的最小值；

将所述航拍图像中亮度大于亮度阈值的像素区域内的暗通道值进行衰减；

将所述航拍图像各个像素的暗通道值取倒数，得到所述基于混合暗通道先验的逐像素深度信息d。

优选地，针对每个尺度的所述分割图层，根据下式计算所述分割图层对应分割区域的近邻对比度信息：

其中，

w(rj)为近邻区域rj的权重，d(ri,rj)为两个近邻区域ri、rj之间的颜色及深度距离，

i、j为近邻区域的序号，且i≠j；δ为近邻区域距离的标准差；xi、xj分别为两个近邻区域的中心点坐标；vi、vj分别为两个近邻区域的颜色与深度的组合变量；vi、vj均包含4个分量[r,g,b,d]，r、g、b分别为三个通道的颜色值，d为所述基于混合暗通道先验的逐像素深度信息。

优选地，针对每个尺度的所述分割图层，计算所述分割图层对应分割区域的形状先验信息，具体包括：

将所述分割图层重新标记为4邻域相连的区块；

计算每一个区块的偏心率先验信息，并归一化为0到255范围内的值；

计算每一个区块的紧致性先验信息，并归一化为0到255范围内的值；

其中，

所述分割区域的形状先验信息包括：偏心率先验信息和紧致性先验信息；

所述每一个区块的偏心率先验信息为与该区块具有相同二次矩的椭圆的短轴长度与长轴长度之比；

所述每一个区块的紧致性为c＝4a/p²，a和p代表该区块的面积和周长。

优选地，针对每个尺度的所述分割图层，根据下式计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图：

s＝ii(src+set×scp)

其中，

s为所述混合概率图中的初始概率值；src为所述分割图层对应分割区域的近邻对比度信息；set为所述偏心率先验信息；scp为所述紧致性先验信息；ii代表混合概率图的归一化操作，用于将混合概率图取值范围归一化为0到255。

优选地，“利用概率图模型融合多个尺度的所述混合概率图得到最终概率图”具体包括：

利用下式的多级推理概率图模型融合多个尺度的所述混合概率图，对每个所述分割图层中各分割区域的概率值进行最小优化更新：

其中，

s为融合概率值的集合；l为分割图层的序号；i为分割区域的序号；nl为第l个分割图层对应的分割区域总数；为要计算的集合s中第l个分割图层中第i个分割区域的概率值；为数据项，为所述混合概率图中第l个分割图层中第i个分割区域的初始概率值；为多级推理项；分别为第l个、第l+1个分割图层对应分割区域的集合；

选取第1个所述分割图层中各分割区域最小优化更新后的概率值，构成多尺度推理得到的所述最终概率图。

优选地，“根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果”具体包括：

根据下式计算概率阈值：

基于计算得到的概率阈值τ，根据下式从概率图中区分屋顶区域与非屋顶区域，获得所述初始屋顶分割结果：

其中，p(i)为所述最终概率图中的概率值；

r(x,y)＝1表示位置(x,y)上的像素分类为屋顶，s(x,y)表示所述最终概率图中位置(x,y)处的概率值，i表示像素的序号。

优选地，“根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果”具体包括：

根据所述初始屋顶分割结果，利用下式的高阶条件随机场模型计算出所述精确屋顶分割结果：

其中，

一元项为所述初始屋顶分割结果中像素i被分为屋顶的概率值的对数似然的负值；

二元项为光滑项，用于使相邻的像素具有相同的标记：

高阶项为区域一致项，用来保证属于同一超像素内的像素具有相同的标记；

v表示图像中所有像素的集合，f为8邻域像素点对集，p为过分割区域的集合，yi、yj分别表示像素i和j的标记，yc为分割区域c中所有像素标记的集合；ii和ij表示像素i和j的颜色向量，θλ为常量，用来控制各个项之间的平衡关系。

本发明的另一发面，提出一种基于多尺度三维先验信息的屋顶分割系统，基于上面所述的基于多尺度三维先验信息的屋顶分割方法；所述系统包括：超像素分割模块、混合概率图计算模块、初始屋顶分割模块、精确屋顶分割模块；

所述超像素分割模块配置为：对航拍图像进行多尺度超像素分割，得到多尺度的分割图层；

所述混合概率图计算模块配置为：针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息，并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图；

所述初始屋顶分割模块配置为：利用概率图模型融合多个尺度的所述混合概率图得到最终概率图，并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果；

所述精确屋顶分割模块配置为：根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果。

本发明的第三方面，提出一种存储设备，其存储有程序，所述程序适于由处理器加载并执行，以实现上面所述的基于多尺度三维先验信息的屋顶分割方法。

本发明的第四方面，提出一种处理设备，包括：处理器和存储器；

所述处理器，适于执行程序；

所述存储器，适于存储该程序；

所述程序适于由所述处理器加载并执行，以实现上面所述的基于多尺度三维先验信息的屋顶分割方法。

与最接近的现有技术相比，本发明至少具有如下有益效果：

本发明的屋顶分割方法首先对航拍图像进行多尺度分割；然后，计算每个分割图层的三维先验信息的混合概率图；其次对概率图进行多尺度融合及阈值自动分割；最后，利用高阶条件随机场进行优化，从而获得精细屋顶分割结果。本发明的分割方法提高了屋顶分割的准确度和精细度，有效去除了道路、植被及建筑侧面等干扰像素。

附图说明

图1是本发明实施例中基于多尺度三维先验信息的屋顶分割方法的主要步骤示意图；

图2a-图2c是本发明实施例中航拍图像的混合暗通道计算结果及对应的深度信息先验；

图3是本发明实施例中航拍图像的多尺度分割结果及对应分割图层的区域对比度结果；

图4是本发明实施例中不同尺度的三维先验信息混合概率图结果及三个尺度推理出来的最终概率图结果；

图5a-图5f是本发明实施例中基于不同先验信息屋顶分割的结果及所有先验信息融合后屋顶分割的结果；

图6是本发明实施例中基于多尺度三维先验信息的屋顶分割系统的主要构成示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

图1是本发明一种基于多尺度三维先验信息的屋顶分割方法实施例的主要步骤示意图。如图1所示，本实施例的分割方法包括步骤s1-s4：

在步骤s1中，对航拍图像进行多尺度超像素分割，得到多尺度的分割图层。具体包括步骤s11-s13：

步骤s11，利用均值漂移分割算法将航拍图像初始分割成多个过分割区域；

步骤s12，计算每个过分割区域的最大内切圆直径，以该直径的大小作为该过分割区域的尺度；

步骤s13，根据预先设定的3个递增的尺度阈值{th1,th2,th3}(本实施例中为{7,15,21})，先后对尺度小于尺度阈值的过分割区域进行近邻超像素区域融合，每次融合的输入都是上一层的输出，最终生成3个尺度递增的分割图层；

其中，近邻超像素区域融合利用基于密度的聚类算法计算相应的超像素特征，将位置相邻且特征欧式距离最小的两个超像素融合成一个超像素。

在步骤s2中，针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、分割图层对应分割区域的近邻对比度信息、分割图层对应分割区域的形状先验信息，并计算分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图。具体包括步骤s21-s24：

在步骤s21中，针对每个尺度的分割图层，计算基于混合暗通道先验的逐像素深度信息，具体包括步骤s211-s214：

步骤s211，将航拍图像中暗通道值小于暗通道阈值(本实施例中为t＝100)的区域划分为近景区域，其余部分划分为远景区域；

步骤s212，计算近景区域中各像素点的r、g、b颜色通道中的最小值i^minc(p)；其中，p表示需要计算最小值的像素。

步骤s213，对远景区域计算原始暗通道值i^dark(p)，即计算远景区域中预设大小(如5x5)的近邻区域内所有像素包含的r、g、b颜色通道中的最小值；

步骤s214，为了克服航拍图像中高亮区域带来的误差，将航拍图像中亮度大于预设的亮度阈值(如200)的像素区域内的暗通道值进行衰减，即亮度大于200的像素区域暗通道值衰减为i^dark(p)^0.95。进一步地，将输入的航拍图像各个像素的暗通道值取倒数，即可得到对应的深度信息d。

图2a-图2c分别是本实施例中航拍图像的混合暗通道计算结果及对应的深度信息先验。其中，图2a是输入的航拍图像，图2b是混合暗通道计算结果，图2c是深度信息计算结果。

在步骤s22中，针对每个尺度的所述分割图层，根据公式(1)计算分割图层对应分割区域的近邻对比度信息：

其中，w(rj)为近邻区域rj的权重，即区域内像素个数，d(ri,rj)为两个近邻区域ri、rj之间的颜色及深度距离，如公式(2)所示：

i、j为近邻区域的序号，且i≠j；δ为近邻区域距离的标准差；xi、xj分别为两个近邻区域的中心点坐标；vi、vj分别为两个近邻区域的颜色与深度的组合变量；vi、vj均包含4个分量[r,g,b,d]，r、g、b分别为三个通道的颜色值，d为步骤s21中计算出的基于混合暗通道先验的逐像素深度信息。近邻区域的对比度信息用来衡量每个超像素与相邻超像素之间的对比强度，当前超像素内颜色及深度越特别，与周边超像素的颜色及深度距离越大，它所得的区域对比度应该越高。图3是本实施例中航拍图像的多尺度分割结果及对应分割图层的区域对比度结果。其中，图3中左边一列从上到下分别是输入航拍图像的三个分割图层，中间一列从上到下分别是当前分割图层对应区域的放大结果，分割区域逐渐合并，右边一列从上到下分别是当前分割图层计算得到的深度信息。

在步骤s23中，针对每个尺度的分割图层，计算该分割图层对应分割区域的形状先验信息，具体包括步骤s231-s233：

步骤s231，将分割图层重新标记为4邻域相连的区块；

步骤s232，计算每一个区块的偏心率先验信息，并归一化为0到255范围内的值；

步骤s233，计算每一个区块的紧致性先验信息，并归一化为0到255范围内的值。

其中，分割区域的形状先验信息包括：偏心率先验信息和紧致性先验信息；每一个区块的偏心率先验信息为与该区块具有相同二次矩的椭圆的短轴长度与长轴长度之比；每一个区块的紧致性为c＝4a/p²，a和p代表该区块的面积和周长。

在步骤s24中，针对每个尺度的分割图层，根据公式(3)计算该分割图层对应分割区域的近邻对比度信息和该分割图层对应分割区域的形状先验信息的混合概率图：

s＝ii(src+set×scp)(3)

其中，s为混合概率图中的初始概率值；src为分割图层对应分割区域的近邻对比度信息；set为偏心率先验信息；scp为紧致性先验信息；ii代表混合概率图的归一化操作，用于将混合概率图取值范围归一化为0到255。

在步骤s3中，利用概率图模型融合多个尺度的混合概率图得到最终概率图，并根据最终概率图结合自动阈值分割方法获得初始屋顶分割结果。具体包括步骤s31-s32：

在步骤s31中，利用概率图模型融合多个尺度的所述混合概率图得到最终概率图，具体包括s311-s312：

步骤s311，利用多级推理概率图模型融合多个尺度的混合概率图，对每个分割图层中各分割区域的概率值进行最小优化更新，如公式(4)-(6)所示：

s为本实施例要计算的融合概率值的集合；l为分割图层的序号，本实施例中分割尺度为3层；i为分割区域的序号；nl为第l个分割图层对应的分割区域总数；为要计算的集合s中第l个分割图层中第i个分割区域的概率值；为数据项，为所述混合概率图中第l个分割图层中第i个分割区域的初始概率值；为多级推理项；分别为第l个、第l+1个分割图层对应分割区域的集合。

步骤s312，选取第1个分割图层中各分割区域最小优化更新后的概率值，构成多尺度推理得到的最终概率图。

图4是本实施例中不同尺度的三维先验信息混合概率图结果及三个尺度推理出来的最终概率图结果。如图4所示，其中左上方的图为分割图层1得到的概率图结果，右上方的图为分割图层2得到的概率图结果，左下方的图为分割图层3得到的分割结果，右下方的图为不同尺度的三个分割图层混合得到的概率图结果。

在步骤s32中，根据最终概率图结合自动阈值分割方法获得初始屋顶分割结果，具体包括步骤s321-s322：

步骤s321,采用ostu自动阈值化方法确定二值化阈值，概率阈值τ的计算方法如公式(7)-(11)所示：

其中，p(i)为最终概率图中的概率值，i表示像素的序号。

步骤s322,基于计算得到的阈值τ，根据最终概率图中每个像素位置上的概率值将对应像素分为屋顶区域及非屋顶区域，如公式(12)所示：

r(x,y)＝1表示位置(x,y)上的像素分类为屋顶，s(x,y)表示所述最终概率图中位置(x,y)处的概率值。

在步骤s4中，根据混合概率图，利用高阶条件随机场生成精确屋顶分割结果，如公式(13)-(14)所示：

其中，一元项为公式(12)中初始分割结果中像素i处分为屋顶标记的概率值的对数似然的负值；二元项为光滑项，用于使相邻的像素具有相同的标记；高阶项为区域一致项，用来保证属于同一超像素内的像素具有相同的标记；v表示图像中所有像素的集合，f为8邻域像素点对集，p为过分割区域的集合，yi、yj分别表示像素i和j的标记，yc为分割区域c中所有像素标记的集合；ii和ij表示像素i和j的颜色向量，θλ为常量，用来控制各个项之间的平衡关系。

最终通过求解上述能量项，得到精确的屋顶分割结果。

图5a-图5f是基于不同先验信息屋顶分割的结果及所有先验信息融合后屋顶分割的结果。其中，图5a表示第一个分割图层计算得到的概率结果，图5b表示利用第一个分割图层概率得到的屋顶分割结果，图5c表示不同尺度分割图层得到的混合概率结果，图5d表示利用混合概率得到的屋顶分割结果，图5e表示高阶条件随机场优化得到的概率结果，图5f表示高阶条件随机场优化得到的屋顶分割结果，可见，最终得到的屋顶分割结果像素精确度明显提高，有效去除了道路、植被及建筑侧面等干扰像素。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

与上面的分割方法基于同样的技术构思，本发明还提出一种基于多尺度三维先验信息的屋顶分割系统，下面进行说明。

图6是本发明的一种基于多尺度三维先验信息的屋顶分割系统实施例的主要构成示意图。如图6所示，基于上面所述的基于多尺度三维先验信息的屋顶分割方法；本实施例的分割系统1包括：超像素分割模块10、混合概率图计算模块20、初始屋顶分割模块30、精确屋顶分割模块40。

超像素分割模块10配置为：对航拍图像进行多尺度超像素分割，得到多尺度的分割图层。

混合概率图计算模块20配置为：针对每个尺度的所述分割图层，计算基于混合暗通道先验的逐像素深度信息、所述分割图层对应分割区域的近邻对比度信息、所述分割图层对应分割区域的形状先验信息，并计算所述分割图层对应分割区域的近邻对比度信息和所述分割图层对应分割区域的形状先验信息的混合概率图。

初始屋顶分割模块30配置为：利用概率图模型融合多个尺度的所述混合概率图得到最终概率图，并根据所述最终概率图结合自动阈值分割方法获得初始屋顶分割结果。

精确屋顶分割模块40配置为：根据所述初始屋顶分割结果，利用高阶条件随机场生成精确屋顶分割结果。

关于每个模块的具体功能可参看前面分割方法实施例中的描述，此处不再赘述。

基于上面的分割方法，本发明还提出一种存储设备的实施例，其存储有程序，所述程序适于由处理器加载并执行，以实现上面所述的基于多尺度三维先验信息的屋顶分割方法。

进一步地，本发明还提出一种处理设备的实施例，包括：处理器和存储器。处理器适于执行程序；存储器适于存储该程序；所述程序适于由所述处理器加载并执行，以实现上面所述的基于多尺度三维先验信息的屋顶分割方法。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤、模块，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。