一种三维重建过程中空洞填充的方法与流程

1.本发明涉及三维重建技术领域，尤其涉及一种三维重建过程中空洞填充的方法。


背景技术：

2.三维重建是指基于对环境或者物体的一系列不同角度的照片，通过一系列的处理，获得环境或物体的三维模型。其通常表达方式包括：点云、网格、体素、深度图等。
3.比较常见的流程是：
4.提取图像特征(如sift、surf等)；
5.利用特征将图像计算图像之间的特征匹配；
6.基于匹配的特征进行稀疏重建，得到各个图像的相机位姿和稀疏的特征点云(sfm)；
7.基于相机位姿进行稠密重建，得到稠密点云(pmvs/cmvs)；
8.基于点云重建网格、体素或者纹理；
9.因为地形地貌或者是影像拍摄角度的问题，在最终成果中经常会有空洞的存在，如图1所示。
10.实际应用中，针对空洞最常见的处理方式是，将空洞作为平面进行补充，用其最长边最后一行像素进行简单地拉伸用以填充空洞，效果如图2所示：填充效果非常僵硬和呆板。传统的做法中，将空洞作为整体平面进行填充，无法与周围模型的空间变化信息很好的保持一致，导致最终结果看起来僵硬的呆板。
11.基于此，需要研发一种三维重建过程中空洞填充的方法来解决上述问题。


技术实现要素：

12.本发明的目的就在于为了解决上述问题设计了一种三维重建过程中空洞填充的方法。
13.本发明通过以下技术方案来实现上述目的：
14.一种三维重建过程中空洞填充的方法，包括以下步骤：
15.s1、确定一片空洞填充区域，进入下一步骤；
16.s2、获取空洞的空间几何中心点；计算空洞周围颜色rgb均值且分别加上一个正负10％的随机值；将该颜色值赋予该中心点，进入下一步骤；
17.s3、判断中心点到每个周围顶点的平均距离是否小于顶点间的平均距离，如否则进入步骤s4，如是则进入步骤s5；
18.s4、由该空间几何中心逐一与空洞边缘连续的两个tin顶点构成新的空间区域，进入步骤s2；
19.s5、空洞点云补充完成，进入下一步骤；
20.s6、由补充的点云与空洞周围原有点云一起生成新的tin面，进入下一步骤；
21.s7、由空洞边缘的tin面开始，使用边缘最后一行像素，向顶点颜色进行渐变tin面
颜色填充；并重复这一过程直到所有tin面颜色填充完成，则进入下一步；
22.s8、空洞填充结束。
23.本发明的有益效果在于：
24.通过模拟空洞周边的空间变化率来对空洞进行非平面填充，且通过周围环境的颜色聚合来进行表面纹理恢复，以实现比传统空洞填充方式更好的视觉效果和场景恢复效果，以达到更好的展示效果。
附图说明
25.图1为现有技术中三维模型的示意图。
26.图2为现有技术中填补空洞后的三维模型的示意图。
27.图3为本技术的流程图。
28.图4为本技术的处理流程图一。
29.图5为本技术的处理流程图二。
30.图6为本技术的处理结果示意图，其中，a为现有技术修补空洞后效果图；b为本技术修补空洞后效果图。
具体实施方式
31.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
32.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
34.在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
35.此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
36.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
37.下面结合附图，对本发明的具体实施方式进行详细说明。
38.如图3所示，一种三维重建过程中空洞填充的方法，包括以下步骤：
39.s1、确定一片空洞填充区域，进入下一步骤；
40.s2、获取空洞的空间几何中心点；计算空洞周围颜色rgb均值且分别加上一个正负10％的随机值；将该颜色值赋予该中心点，进入下一步骤；
41.s3、判断中心点到每个周围顶点的平均距离是否小于顶点间的平均距离，如否则进入步骤s4，如是则进入步骤s5；
42.s4、由该空间几何中心逐一与空洞边缘连续的两个tin顶点构成新的空间区域，进入步骤s2；
43.s5、空洞点云补充完成，进入下一步骤；
44.s6、由补充的点云与空洞周围原有点云一起生成新的tin面，进入下一步骤；
45.s7、由空洞边缘的tin面开始，使用边缘最后一行像素，向顶点颜色进行渐变tin面颜色填充；并重复这一过程直到所有tin面颜色填充完成，则进入下一步；
46.s8、空洞填充结束。
47.在一些实施例中：
48.1、确定一片空洞区域。如图4所示：假设有一个空洞，周围有7个空间点，分别用p1-p7表示；
49.2、计算其空间中心点位置c，以及用p1-p7的颜色均值
±
10％作为c点的颜色yc；
50.3、计算c点到p1-p7的平均距离l1，和p1-p7之间的平均距离l2(p1与p2之间距离、p2与p3之间距离、p3与p4之间距离、p4与p5之间距离、p5与p6之间距离、p6与p7之间距离、p7与p1之间距离的平均值)，如果l1≤l2，则表明补充空间点完成，否则，c点分别与p1-p7进行连线，组成7个三角面；
51.4、之后重复2-3的过程，直到所有的空间补充完成，且所有补充的点都获取到了带有随机属性的颜色。
52.步骤1-4过程和结果如图4所示；
53.5、从p1-p7的边使用连线上的颜色向三角面顶点进行颜色过度填充(该算法非常成熟，不在本专利所描述范围内)；
54.6、逐级填充，最终到达中心点c，整个空洞填补过程结束。
55.步骤5-6过程如图5所示。
56.如图6所示，示出了经过本发明方法处理与现有技术处理空洞的对比结果。
57.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。