基于投影的点云几何压缩网格孔洞失真修复方法与流程

本发明属于图片处理，具体涉及一种基于投影的点云几何压缩网格孔洞失真修复方法。

背景技术：

1、随着多媒体相关技术的飞速发展，人们对于多媒体应用沉浸式体验的追求逐步提升，彩色点云作为一种高效的媒体表现形式，被广泛应用于具有沉浸、交互和真实感要求的多媒体领域。近年来，3d采集技术的发展导致了高精度点云数据量的激增，从而推动了点云编码技术的发展。著名的动态图像专家组中的三维图像编码组(mpeg 3d graphicscoding,mpeg-3dg)专门成立了面向点云压缩的小组开发了面向静态点云的基于几何的点云压缩标准(geometry-based point cloud compression，g-pcc)。该压缩标准使用八叉树来编码几何信息，然后使用插值来计算残差来编码其属性。由于压缩过程中引入的压缩误差，压缩后的彩色点云可能会遭受质量退化并产生网格孔洞失真，降低了视觉质量。

2、现有的彩色点云编码失真修复方法主要集中于压缩过程的优化。这些方法仍然受到传输带宽的限制。事实上，在许多实际系统和应用中，只能获得压缩和传输后的彩色点云，并且不能修改压缩过程。在这种情况下，解码器的后处理修复方式是可选的和可行的，并且在许多实际场景中更适用。但到目前为止，针对彩色点云编码失真提出的后处理修复方法很少

技术实现思路

1、鉴于以上存在的问题，本发明提供一种基于投影的点云几何压缩网格孔洞失真修复方法，用于解决经三维图像编码组所提出的面向静态点云的基于几何的点云压缩标准压缩后的彩色点云，可能会遭受质量退化并产生网格孔洞失真，造成其视觉质量显著降低的问题。

2、为解决上述技术问题，本发明采用如下的技术方案：

3、一种基于投影的点云几何压缩网格孔洞失真修复方法，包括以下步骤：

4、s1，将失真点云pd进行多视角投影得到几何投影图gv和彩色投影图tv；

5、s2，将所述几何投影图gv进行孔洞失真检测获得孔洞失真掩模图mv；

6、s3，采用3×3去零中值滤波器对几何投影图的孔洞失真区域进行修复，获得修复几何投影图

7、s4，通过掩模图mv确定彩色投影图tv中待修复的像素，从孔洞失真区域的边界开始，由外向内逐渐填充孔洞失真区域，得到初步修复后的彩色投影图cv；

8、s5，对于所有修复像素进行异常点检测和去除操作，得到最终修复彩色投影图

9、s6，对于修复后的彩色投影图和几何投影图通过逆投影重建修复彩色点云；对从不同视角投影图逆投影重建得到的几何结构和彩色信息进行级联，得到重建点云pc；

10、s7，将重建点云pc与输入失真点云pd级联得到最终修复点云p。

11、一种可能的实施方式中，s1中将失真点云pd进行多视角投影得到几何投影图gv和彩色投影图tv包括：

12、给定失真点云pd，所述失真点云pd包括一系列包含空间坐标信息(x,y,z)和彩色属性(r,g,b)的点；

13、在投影之前，对失真点云pd进行体素化，得到体素化点云po:

14、po(vx,vy,vx,r′,g′,b′)＝v(pd(x,y,z,r,g,b))

15、其中，v()表示体素化转换函数，(vx,vy,vx)代表体素的三维空间坐标，(r′,g′,b′)代表体素的彩色属性。

16、一种可能的实施方式中，s1中将失真点云pd进行多视角投影得到几何投影图gv和彩色投影图tv进一步包括：

17、在对给定彩色点云进行体素化之后，确定投影平面；

18、对于每个体素，其x和y坐标对应于2d平面上的对应位置，体素的z坐标被用作几何投影图中像素的深度值，并且体素的彩色属性被用作彩色投影图上对应位置像素的颜色信息，彩色和几何投影图的分辨率均为1280×1280，彩色点云的六平面正交投影公式表示如下：

19、tv＝ξα,+(po(r′,g′,b′))

20、gv＝ψα,+(po(vx,vy,vx))

21、其中，ξα,+()和ψ()分别表示彩色投影函数和几何投影函数，(α,β)∈{(0,0),(0,π/2),(0,π),(0,-π/2),(π/2,0),(-π/2,0)}表示不同的正交投影视图，v∈{1,2,...,6}表示不同的投影平面。

22、一种可能的实施方式中，s2中将所述几何投影图gv进行孔洞失真检测获得孔洞失真掩模图mv包括：

23、对于几何投影图gv，使用二值化处理来区分深度值为0的区域和非0的区域，并获得二值化图bv；

24、对二值化图bv执行像素反转操作得到中间结果iv；

25、通过彩色点云的占用信息将背景区域信息设置为0，获得孔洞失真掩模图mv，其中，像素值为1的区域表示孔洞失真区域，孔洞失真检测和掩模图生成的公式表示如下：

26、bu＝ε(gu)

27、iu＝ζ(bu)

28、mu＝η(iy)

29、其中，ε()代表二值化操作，ζ()代表像素反转操作，η()代表背景去除操作。

30、一种可能的实施方式中，s4中通过掩模图mv确定彩色投影图tv中待修复的像素包括：

31、待修复的像素被周围局部邻域中所有已知像素的归一化加权和代替：

32、

33、其中，p是待修复像素，i(p)为其对应的像素值，n(p)该像素的邻域，位于待修复像素的边界法线附近和边界轮廓线上的像素将被分配更大的权重。

34、一种可能的实施方式中，s4中从孔洞失真区域的边界开始，由外向内逐渐填充孔洞失真区域，得到初步修复后的彩色投影图cv包括：

35、生成修复像素后，使用快速移动方法fmm将其移动到下一个最近的像素，彩色投影图修复的过程的公式表达为：

36、cv＝γ(tv,mv)

37、其中，γ()代表基于fmm的彩色图像修复过程。

38、一种可能的实施方式中，s5中对于所有修复像素进行异常点检测和去除操作，得到最终修复彩色投影图包括：

39、对于所有修复像素，计算其邻域中其他未修复像素的平均值；如果像素点和平均值之间的差大于某个阈值，则确定该点是异常点并将其设置为0，在对孔洞失真区域中所有待修复的像素重复上述操作之后，得到修复彩色投影图

40、

41、其中，ω()代表异常点去除操作。

42、一种可能的实施方式中，s6中对于修复后的彩色投影图和几何投影图通过逆投影重建修复彩色点云包括：

43、对于像素重建，根据掩模图mv确定所有需要进行逆投影重建的像素位置；不同视角中每个像素的x、y坐标以及深度值对应于其在3d空间中的几何坐标信息；根据不同视角的几何投影函数ξ()，得到相应的几何逆投影函数ξ′()；通过几何投影函数ξ′()，将几何投影图中所有需要逆投影重建的像素映射回3d空间：

44、

45、其中表示需要进行逆投影重建的像素，表示重建得到的几何信息。

46、一种可能的实施方式中，s6中对于修复后的彩色投影图和几何投影图通过逆投影重建修复彩色点云包括：

47、在彩色信息重建部分，对于彩色投影图中每个需要进行逆投影重建的像素，找到其在几何投影图中对应位置的像素，并将彩色投影图上该像素的信息提供给从几何投影图的相应像素重建的3d点：

48、

49、其中，φ′()表示彩色信息重建过程，表示从彩色投影图重建的彩色信息。

50、采用本发明具有如下的有益效果：通过本发明获得的修复彩色点云优于编码后的失真彩色点云，可以有效地修复点云几何压缩后彩色点云的几何失真。对于同一测试彩色点云样本，不同程度编码失真的修复效果也不同。失真等级越高，psnr提高越明显，几何质量改善越显著。