一种基于几何约束的深度图融合与点云过滤方法
【专利摘要】基于光度一致性的点云过滤算法准确性比较低，为此，本发明提出了一种新的基于几何一致性的深度图融合与点云过滤算法。为测量几何一致性和局部点云与全局点云的相似性，提出了一种新的表面几何特征描述子（Histogram of Truncated Icosahedron，HTI）。为了使重建完整度高，本发明又提出了基于最优化框架的多尺度深度图融合方法，该方法同时考虑了几何一致性和三维点之间的冲突与支持情况。经实验表明，该算法相较于其他算法，可以获得更加完整准确的三维模型。
【专利说明】
一种基于几何约束的深度图融合与点云过滤方法
技术领域
[0001] 本发明设计一种深度图融合与点云过滤方法，该方法是一种基于几何约束的深度 图融合方法。
【背景技术】
[0002] 虽然基于深度图融合的三维重建方法已经被广泛研究，但该类方法仍未达到其他 类型的重建方法准确性和完整性;例如，在基于深度图的重建中仅仅利用局部的邻接图像 来计算一致性，而在基于块的方法中（PMVS)，匹配一致性是基于全局的，重建结果就会更加 准确；尽管一些已有深度图融合方法（如Cro ss_vi ew Vi s ib i I i ty Cons i s tency Filtering，CVCF)可以加强深度图的全局一致性，但是在处理噪声较大的深度图方面仍面 临较大困难。
【发明内容】
[0003] 提出了一种新的深度图融合与点云过滤方法来处理包含噪声的深度图，该方法基 于如下假设：由单张深度图估计得到的物体表面局部应该与由多幅深度图像融合得到的物 体表面相似，然而一个噪声点云的几何特征是不稳定的，因此，表面特征的相似性为融合深 度图提供了线索。为测量相似性，本发明从局部与全局点云中提取了一种全新设计的表面 几何特征描述子;同时，为了增加重建的完整性，本发明又利用了基于图的方法来融合多尺 度深度图；本发明的具体内容可分为五个步骤。
[0004] 深度图的计算，本发明采用的是基于多尺度块的方法来计算深度图像，该方法主 要有三个特点：深度图经过多尺度计算后获得;在经过全局选图之后，每个像素点可以得到 自己的随机选择局部视图，这些视图可以同深度和法向量一起进行传播;匹配最佳值，而不 是平均值，作为匹配代价函数;此步骤为接下来的融合过程提供了输入深度图。
[0005] 局部与全局点云的产生，局部表面或者说局部点云是指由单幅深度图像产生的点 云，而全局表面或点云是指将所有局部表面或点云融合成单个的模型，由于深度图是采用 多尺度计算的，应首先利用最近邻插值将它们调整到最好的尺度;对于每幅深度图，局部点 云可以经过反投影获得，对于每个点P，利用离它最近的k个点，计算协方差矩阵，方法如下 述公式
随后计算协方差矩阵的特征值h和与之相关的特征向量巧(j=0，l，2)。之后，就可以将 最小特征值对应的特征向量作为P点处的法向量。而表面曲率c可以由下述公式估算
之后，在每个尺度上对深度图进行过滤，通过反投影每幅深度图可以到一个局部点云， 随后，初始全局点云就可以通过将所有局部点云合并得到。
[0006] 表面几何特征提取，几何约束基于局部表面与全局表面之间的相似性。然而，现有 特征描述子不能满足描述局部几何特征与全局几何特征一致性的要求。因此，本发明提出 了一种简单迅速的几何特征描述子HTI(Histogram of Truncated Icosahedron)，HTI结构 由十二个正五边面和二十个正六边面组成，该描述子是基于在查询点给定半径内对表面法 向量统计的结果，所有法向量按照它所指的HTI面被分为32组，当所有的在搜寻范围内的法 向量处理完毕后将直方图归一化，形成最终的HTI特征。
[0007] 几何支持，几何支持可以利用上边提到的HTI特征描述子进行计算，对于一个查询 点P，实施最近邻查找并计算出相应的局部HTI特征和全局HTI特征，定义局部特征心和全局 特征h g之间的相似性g为
除了几何特征的相似性外，局部表面曲率c也可以被包含在几何支持s中，定义如下
此处，α表示权重参数，t是在接下来进行基于图的优化过程中的阈值;将曲率包含到几 何支持中主要有两个原因：第一，由于曲率可以用来估计局部表面的光滑性，大的几何支持 (小曲率)意味着使表面更加趋近于平面，符合局部微分小平面假设;第二，由于曲率估算它 依赖于协方差矩阵的最小特征值，易受噪声干扰，较小的曲率通常意味着较小的噪声。
[0008] 基于图的多尺度融合，为了融合多尺度的深度图，本发明提出了一种基于图的最 优化框架。基本思想是，如果一个点可以提供额外的信息，那么在较粗糙尺度中就保留此 点，若没有额外的信息就删除这些点。更具体地说，在点云上建立具有两种边类型的图，G= (P，S，C)，在此处P表示顶点集，对应于点云中的点，S和C分别表示定向的支持边和冲突边集 合，为了建立这些边，首生对_个而占杂々一个影晌坐释为
此处，d表示在此点处的深度，f表示此点对应摄像机的焦距长度，η是深度图的尺度，X 表示基轴反方向与法向量之间的内积;此时，两种不同类型的边可以按如下方法建立:如果 在一点q的影响半径内存在另一个点P，且P的影响半径比q要小，P既可以支持q，也可以与q 冲突。如果q也在P的影响半径之内，冲突边(P，q)就被加入到图中，因为P更加准确，并且q未 能提供更多的信息;否则支持边(P，q)就被添加到图中，因为q可以在P的影响范围之内提供 更多的信息；之后，将所有点按照它们的影响半径大小来排序，从具有最小半径的点开始， 我们只需检测在其影响半径之内的其他点，因此该算法时间复杂度为CKnlog η)。随着图的 建立，可以赋予它一个能量方程，目标能量E由几何支持能量Eg，点支持能量Es和点冲突能量 Ec构成，它的定义如下：
此处β和γ是两个仪里穸数，父重1定1冢系选徉称S组成的N重，对于点P，标签I (P)=I， 如果P是被选择的，否则1(Ρ)=〇。几何支持能量Eg的定义如下：
对于单个点P的支持能量，采用所有支持P的点的几何支持之和的相反数来定义，然后 采用P的影响半径对支持能量进行归一化，具体定义如下：
最后冲关能量定乂如下：
为了最小化E(I)，逐点检测点的能量贡献并改变标签1，基于上述公式，单个点最总能 量E的贡献可以由下述公式测量
在实际应用中，通常对整个点云进行10次扫描，即可保证该优化方法接近局部最优点。
【主权项】
1. 一种新的深度图融合与点云过滤方法用来处理包含噪声的深度图，该方法基于如下 假设：由深度图得到的局部物体表面应该与由多幅深度图像融合得到的物体表面相似，为 了增加重建的完整性，本发明又利用了基于图的方法来融合多尺度深度图。2. 具体步骤为： 1) 深度图计算，采用基于多尺度块的方法来计算深度图像 2) 局部点云与全局点云的生成，通过反投影每幅深度图可W到一个局部点云，将所有 局部点云最终合并为一个全局点云 3) 表面几何特征提取，提出了一种简单迅速的几何特征描述子HTI (Histogram of Truncated Icosahe化on)该描述子的结构类似于足球，具有20个六边形，12个五边形 4) 几何支持，计算HTI特征描述子，利用利用下述公式得到几何支持5) 基于图的多尺度融合，采用基于图的最优化框架，赋予图一个能量方程，定义如下该能量方程包含；个部分:几何支持能量Eg、点支持能量Es和点冲突能量E。，定义如下
【文档编号】G06T17/00GK105844639SQ201610170969
【公开日】2016年8月10日
【申请日】2016年3月24日
【发明人】刘怡光, 吴鹏飞, 董鹏飞, 曹丽萍
【申请人】四川大学