一种基于重复性的建筑物照片分割方法
【专利摘要】一种基于重复性的建筑物照片分割方法，通过计算建筑物重复组件间的视差，并结合边缘信息对建筑物照片进行前后层分割。本发明充分利用普遍存在于建筑物上的重复性，在建筑物照片上进行精确的前后层分割，其结果可以用于建筑物的几何及外观建模。
【专利说明】一种基于重复性的建筑物照片分割方法【技术领域】
[0001]本发明涉及一种基于重复性的建筑物照片分割方法，属于计算机视觉领域。
【背景技术】[0002]利用计算机对真实世界中的不同建筑物进行建模并逼真再现在动漫游戏、影视制作等领域具有广泛的应用空间。但是真实世界中的建筑物构造复杂，尤其是对于广泛存在的前后层结构，由于建筑物前后层颜色相近，结构相似，难以自动对其进行分割。因此，需要研究建筑物的前后层自动分割技术，实现建模自动化。
[0003]现代建筑物分层方法分为交互式的和自动的两类:
[0004](I)交互的分层技术通过用户在图像上进行勾画轮廓线实现。文献I一JiangY, Tan P,Cheong L F.Symmetric architecture modeling with a single image.ACMSIGGRAPH Asia 2009 papers: 113:1-113:8.2009.要求用户勾出屋顶和柱子的轮廓，这一方法需要用户具有一定的建筑知识，并且轮廓线要足够精确，因此很难再现建筑物的细节。
[0005](2)自动分层技术不需要用户的参与，通常引入重复性信息作为分割依据。文献 2—Wu C，Frahm J-M, Pollefeys M.Repetition-based Dense Single-ViewReconstruction.CVPR.2011.在单张照片上利用前后层重复区间长度的不同进行分层，这一方法没有利用建筑物图像的边缘信息，因此分割边界通常为多边形，丢失了组件细节。
【发明内容】
[0006]本发明的技术解决问题:克服现有技术的不足，提供一种基于重复性的建筑物照片分割方法，该方法通过计算重复区域间的视差进行分割，并利用边缘信息进一步优化，使分割结果足够准确，能够完整地保持组件细节。
[0007]本发明的技术解决方案:一种基于重复性的建筑物照片分割方法，实现步骤如下:
[0008](I)基于SFM方法生成的稀疏点云检测图像重复性；
[0009](2)计算图像重复区域间的SIFT流，以SIFT流的x分量为标准进行区域分割，并在重复区域间投票分割结果，生成分割置信度图；
[0010](3)以置信度图为数据项，以边缘响应为平滑项，构造分割能量函数，利用图割方法进行优化，得到重复区域的分割结果；
[0011](4)通过比较建筑物的相似组件，对非重复区域进行分割。
[0012]根据权利要求1所述基于重复性的建筑物照片分割的方法，其特征在于:所述的步骤(2)中生成分割置信度图的方法为:首先分别计算某一区域相对于其他区域的SIFT流，若该流向量的X分量小于视差，则标记为前层，否则标记为后层，从而生成单区域的置信度图。其次将所有区域的置信度相加，得到统一的置信度图。
[0013]根据权利要求1所述基于重复性的建筑物照片分割的方法，其特征在于:所述步骤(3)中的能量函数为E= a *E (confidence) + β *E (smooth),其中E(smooth)=e-(edge(p)+edge(<1))/dist(p，q)。
[0014]根据权利要求1所述基于重复性的建筑物照片分割的方法，其特征在于:所述步骤(4)中的非重复区域分割方法:提取建筑物的前层组件，在图像上水平搜索相似组件，将搜索到的区域同样标记为前层。
[0015]本发明与现有技术相比的优点在于:
[0016](I)利用SFM方法生成的稀疏点云，从中得到分割所需的重复性、对称性、深度等信息，避免了用户参与，加快了建模速度；
[0017](2)结合视差信息和边缘信息进行优化，所得的分割结果准确，组件细节信息完
難
iF.0
【专利附图】
【附图说明】
[0018]图1为本发明的实现流程图(①重复性检测②按视差分割③重复区域投票④分割优化⑤非重复区域分割)
[0019]图2为优化结果示意图；
[0020]图3为利用本发明所得组件对建筑进行建模的结果。
【具体实施方式】
[0021]如图1所示，本发明的具体步骤如下:
[0022]1.重复性检测
[0023]首先利用SFM点云计算图像消隐点，随后用文献3 — Wu C，Frahm J-M, PollefeysM.Detecting Large Repetitive Structures With Salient Boundaries.ECCV.2010.提出的方法检测重复性，最后对重复性结果加以对称性限制。
[0024]2.按视差分割
[0025]对于每个重复区域，计算它与其他重复区域间的SIFT流(文献4一Liu C，YuenJjTorralba A, Freeman W.T.SIFT flow-dense correspondence across differentscenes.ECCV.2008.)。该方法逐个计算每一像素的SIFT描述子，以描述子为数据项，优化类似于光流的SIFT流。如果某一像素的流向量的X分量小于视差d，则标记为前层，否则标记为后层，于是得到每个重复区域的分割置信度图。视差d是由相机参数和重复区间长度估计的。
[0026]3.重复区域投票
[0027]将各重复区域的置信度图相加，即得到用于下一步优化的一致的分割置信度图。
[0028]4.分割优化
[0029]以置信度图为数据项，以边缘响应为平滑项，构造分割能量函数，利用图割方法进行优化，得到重复区域的分割结果。
[0030]能量函数为E= a *E (confidence) + β *E (smooth)，其中 E (smooth) =e-(edge(p)+edge(<1))/dist(p, q) o其中edge(p)为点p的边缘响应，dist(p, q)为p, q两点间的距离，α、β为权重系数，E (confidence)为上一步骤得到的置信度图。
[0031]5.非重复区域分割
[0032]提取建筑物的前层组件，在图像上水平搜索相似组件，将搜索到的区域同样标记为前层。
[0033]6.利用分割所得的组件进行建模
[0034]图像分割完成后，用分割后的图像作为纹理重建建筑的各个立面即可得到逼真的建筑模型。图3所示为用例建筑的建模结果。
【权利要求】
1.一种基于重复性的建筑物照片分割方法，其特征在于步骤如下: (1)基于SFM方法生成的稀疏点云检测图像重复性； (2)计算图像重复区域间的SIFT流，以SIFT流的X分量为标准进行区域分割，并在重复区域间投票分割结果，生成分割置信度图； (3)以置信度图为数据项，以边缘响应为平滑项，构造分割能量函数，利用图割方法进行优化，得到重复区域的分割结果； (4)通过比较建筑物的相似组件，对非重复区域进行分割。
2.根据权利要求1所述基于重复性的建筑物照片分割方法，其特征在于:所述的步骤(2)中生成分割置信度图的方法为:首先分别计算某一区域相对于其他区域的SIFT流，若该流向量的X分量小于视差，则标记为前层，否则标记为后层，从而生成单区域的置信度图；其次将所有区域的置信度相加，得到统一的置信度图。
3.根据权利要求1所述基于重复性的建筑物照片分割方法，其特征在于:所述步骤(3)中的能量函数为E= a *E (confidence) + β *E (smooth),其中 E (smooth) =e-(edge(p)+edge(q))/dist(p, q);其中edge (p)为点p的边缘响应，dist(p, q)为p, q两点间的距离,α、β为权重系数，E (confidence)为上一步骤得到的置信度图。
4.根据权利要求1所述基于重复性的建筑物照片分割方法，其特征在于:所述步骤(4)中的非重复区域分割方法:提取建筑物的前层组件，在图像上水平搜索相似组件，将搜索到的区域同样标记为前层。
【文档编号】G06T7/00GK103530871SQ201310314003
【公开日】2014年1月22日 申请日期:2013年7月20日 优先权日:2013年7月20日
【发明者】齐越, 胡勇, 储备 申请人:北京航空航天大学