一种基于非对称自编码器结构的点云几何压缩方法

1.本发明涉及点云压缩技术领域，特别涉及一种基于非对称自编码器结构的点云几何压缩方法。


背景技术：

2.点云因其高分辨率和高保真度而被广泛应用于一些新兴行业(如3d建模、ar/vr、沉浸式通信)。海量的点云数据促进了对高效的点云压缩方法的需求。
3.移动图像专家组(mpeg)提出了两个著名的点云压缩方法，分别是用于动态点云的基于视频的点云压缩方法(v-pcc)和用于静态点云的基于几何的点云压缩方法(g-pcc)。v-pcc将三维点云投射到二维空间，然后应用图像/视频编码器进行编码。而g-pcc利用三维模型(如八叉树或三角形表面)直接对三维信息进行编码。随着深度学习的兴起，学者开始利用3d卷积探索3d空间内体素的相关性。深度神经网络(dnn)被用于这些基于学习的方法中，它们中的大多数利用变分自动编码器(vae)架构，通过提取紧凑的潜在特征表示，实现更好的压缩。
4.尽管基于学习的点云压缩算法已经取得了出色的率失真性能，但仍有一些问题需要解决。首先，现有算法中普遍采用对称的自编码器结构，在速率失真优化方面可能无法实现最佳性能。现有算法采用结构上一致的编码器和解码器，然而解码器实际上是相对更重要的。因为编码器影响率失真优化的两个损失，而解码器只对失真损失造成影响。
5.点云的边缘区域通常很难恢复，如何重建得到更高质量的点云是一个亟待解决的问题。
6.在失真计算方面，目前的多尺度损失对所有尺度下的点云失真损失进行简单求和，忽略了不同尺度的失真损失对重建点云影响并不相同。


技术实现要素：

7.基于上述问题，本发明提供了一种基于非对称自编码器结构的点云几何压缩方法，实现了更好的率失真性能及更高点云重建质量。
8.具体方案包括：
9.(1)对预先获取的点云数据集进行预处理，得到训练数据；
10.(2)构建非对称点云几何压缩网络模型，所述非对称点云几何压缩网络包括非对称的编码器网络和解码器网络；
11.(3)构建多尺度加权失真损失函数，对所述非对称点云几何压缩网络进行训练；
12.(4)将所述点云数据输入至训练好的所述非对称点云几何压缩网络实现点云压缩。
13.进一步的，所述对预先获取的点云数据集进行预处理包括：
14.对所述点云数据集进行随机采样得到随机数目的点云数据；
15.对所述点云数据进行随机旋转增加数据多样性；
16.通过坐标量化，得到符合要求的所述训练数据。
17.进一步的，构建非对称点云几何压缩网络模型包括：
18.相对所述解码器网络，设计更为复杂的所述编码器网络，有利于实现更好的率失真性能；
19.所述编码器网络包含多组下采样模块与注意力模块，通过所述编码器网络得到下采样点云几何信息与属性信息，将其分别进行压缩，实现点云编码；
20.所述解码器网络包含多组上采样模块与宽感受野模块，将压缩文件输入所述解码器网络，通过所述上采样实现点云数目恢复，通过所述宽感受野模块得到更高质量的重建点云，得到解码数据。
21.进一步的，所述下采样模块通过步长为2的卷积模块实现；
22.所述注意力模块包含注意力分支和并行残差分支，所述注意力分支通过残差模块提取特征，sigmoid非线性激活计算得到注意力掩码；所述并行残差分支通过三个并行残差网络提取点云特征图；将所述点云特征图与所述注意力掩码逐元素相乘，得到所述下采样点云几何信息与属性信息。
23.进一步的，所述上采样模块通过步长为2的转置卷积模块实现；
24.所述宽感受野模块由宽感受野网络与残差模块组成；所述宽感受野模块通过宽的感受野，提取特征信息；将所述特征信息输入所述残差模块，得到高质量的重建点云。
25.进一步的，所述对下采样点云几何信息与属性信息分别进行压缩包括：
26.对所述点云几何信息通过八叉树编码器进行无损压缩，确保几何信息的准确；
27.对所述点云属性信息通过算术编码器进行有损压缩，对所述点云属性信息先进行量化，再通过超先验提高属性信息的条件概率估计。
28.进一步的，所述多尺度加权失真损失函数为：
29.根据每个尺度所述重建点云，通过二分类交叉熵损失对体素占用情况进行判断，所述二进制交叉熵损失表达式为：
[0030][0031]
其中xi是当前体素的真实标签，pi为预测的体素被占用的概率，n是生成点云中点的数量，k为解码层序号；
[0032]
根据所述二进制交叉熵损失，构建多尺度加权失真损失，表达式为：
[0033][0034]
其中，dk为不同尺度下的二进制交叉熵损失，δk为相应的失真度系数。
[0035]
本发明还提供了一种基于非对称自编码器结构的点云几何压缩系统，包括：
[0036]
获取模块：用于对预先获取的点云数据集进行预处理，得到训练数据；
[0037]
建模模块：用于构建非对称点云几何压缩网络模型，所述非对称点云几何压缩网络包括非对称的编码器网络和解码器网络；
[0038]
训练模块：用于构建多尺度加权失真损失函数，对所述非对称点云几何压缩网络进行训练；
[0039]
验证模块：用于将所述点云数据输入至训练好的所述非对称点云几何压缩网络实现点云压缩。
[0040]
本发明还提供了一种设备，包括存储器、处理器以及存储在存储器中并能在存储器上执行的计算机程序，所述处理器执行计算机程序时实现基于非对称自编码器结构的点云几何压缩方法。
[0041]
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行基于非对称自编码器结构的点云几何压缩方法。
[0042]
本发明的有益效果：
[0043]
本发明实现了3d点云数据更好的压缩性能，与mepg方法相比，本发明在率失真性能上远超过了mpeg的g-pcc与v-pcc。同时，在相近的位率下，本发明重建出的点云可视化效果比mpeg方法表现更好。
附图说明
[0044]
图1是本发明实施例基于非对称自编码器结构的点云几何压缩方法的流程示意图。
[0045]
图2是本发明实施例基于非对称自编码器结构的点云几何压缩方法的结构示意图。
[0046]
图3是本发明实施例注意力模块结构示意图。
[0047]
图4是本发明实施例宽感受野模块结构示意图。
[0048]
图5是本发明实施例方法与v-pcc、g-pcc以及pcgcv2方法通过率失真曲线仿真结果。
具体实施方式
[0049]
为了使本发明目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
[0050]
如图1所示，本发明实施例提供了一种基于非对称自编码器结构的点云几何压缩方法，包括如下步骤：
[0051]
s101、对预先获取的点云数据集进行预处理，得到训练数据；
[0052]
本实施例中，使用3d形状数据集shapenet，对其随机采样得到随机数目点云数据。通过随机旋转增加数据多样性，通过量化将点云每个坐标维度量化为了9位的精度，得到符合要求的数据集。
[0053]
s102、构建非对称点云几何压缩网络模型，所述非对称点云几何压缩网络包括非对称的编码器网络和解码器网络；
[0054]
非对称点云几何压缩网络包括非对称的编码器网络和解码器网络，相对解码器网络，设计更为复杂的编码器网络，有利于实现更好的率失真性能。
[0055]
编码器网络包含多组下采样模块与注意力模块，编码器网络通过连续的下采样输出更为紧密的点云，通过注意力模块关注边缘区域；通过编码器网络得到下采样点云几何信息与属性信息，将其分别进行压缩，实现点云编码。
[0056]
其中下采样模块通过步长为2的卷积模块实现，注意力模块包含注意力分支和并
行残差分支。
[0057]
如图3所示，注意力分支通过残差模块提取特征，sigmoid非线性激活计算得到注意力掩码；并行残差分支通过三个并行残差网络提取点云特征图；将点云特征图与所述注意力掩码逐元素相乘，得到下采样点云几何信息与属性信息。
[0058]
对点云几何信息通过八叉树编码器进行无损压缩，确保几何信息的准确。
[0059]
对点云属性信息通过算术编码器进行有损压缩，对属性信息先进行量化，再通过超先验提高属性信息的条件概率估计。
[0060]
在训练过程中，通过加入随机噪声替代量化过程，实现模型的反向传播。
[0061]
解码器网络包含多组上采样模块与宽感受野模块，将压缩文件输入所述解码器网络，通过上采样实现点云数目恢复，通过宽感受野模块得到更高质量的重建点云，得到解码数据。
[0062]
其中上采样模块通过步长为2的转置卷积实现；宽感受野模块由宽感受野网络与残差模块组成；宽感受野模块通过宽的感受野，提取特征信息；将其输入所述残差模块，得到高质量的重建点云。
[0063]
如图4所示，宽感受野模块由宽感受野网络与残差模块组成。宽感受野模块通过更宽的感受野，提取更加丰富的特征信息。然后通过残差模块，得到更深的特征。
[0064]
s103、构建多尺度加权失真损失函数，对所述非对称点云几何压缩网络进行训练；
[0065]
需要说明的是，本发明将点云重建任务转化为体素的二进制分类问题，通过计算当前体素占用概率来判断体素占用情况。
[0066]
训练结合多尺度加权失真损失，构建率失真优化目标函数对非对称点云几何压缩网络进行训练，包括：
[0067]
根据每个尺度重建点云，通过二分类交叉熵损失对体素占用情况进行判断，所述二进制交叉熵损失表达式为：
[0068][0069]
其中xi是当前体素的真实标签，pi为预测的体素被占用的概率，n是生成点云中点的数量，k为解码层序号。根据所述二进制交叉熵损失，构建多尺度加权失真损失，表达式为：
[0070][0071]
其中，dk为不同尺度下的二进制交叉熵损失，δk为相应的失真度系数。
[0072]
根据多尺度加权失真损失，对非对称点云几何压缩网络进行训练。
[0073]
需要说明的是，训练过程基于上述非对称点云几何压缩网络，通过大量点云数据完成网络训练。根据多尺度加权失真损失构建目标优化函数，多尺度加权失真损失通过分类的方式确定体素占用情况，多尺度的损失计算有利于提高点云重建质量，通过损失系数衡量不同尺度下失真损失的重要程度，最终完成高质量的点云重建结果。
[0074]
s104、将所述点云数据输入至训练好的所述非对称点云几何压缩网络实现点云压缩。
[0075]
最后，测试本发明的压缩成果，包括：
[0076]
与mpeg提出的处理动态点云的压缩方案v-pcc、处理静态点云的压缩方案g-pcc以及基于学习的压缩方法pcgcv2通过率失真曲线比较。其中gpcc包含包含两种模型表示方法：octree模型和trisoup模型，将其记为gpcc(octree)和gpcc(trisoup)。图5中横坐标表示每个点占据的平均比特数(bits per point)，纵坐标为点对点(d1)psnr和点对面(d2)psnr作为失真矩阵，绘制率失真曲线作为客观评价标准，结果参照图5。可以看到本发明取得了最优的率失真性能，尤其在高位率下，本发明取得的性能优势更加明显。
[0077]
本发明实施例还提供了一种基于非对称自编码器结构的点云几何压缩系统，包括：
[0078]
获取模块：用于对预先获取的点云数据集进行预处理，得到训练数据；
[0079]
建模模块：用于构建非对称点云几何压缩网络模型，所述非对称点云几何压缩网络包括非对称的编码器网络和解码器网络；
[0080]
训练模块：用于构建多尺度加权失真损失函数，对所述非对称点云几何压缩网络进行训练；
[0081]
验证模块：用于将所述点云数据输入至训练好的所述非对称点云几何压缩网络实现点云压缩。
[0082]
本发明实施例还提供了一种设备，包括存储器、处理器以及存储在存储器中并能在存储器上执行的计算机程序，所述处理器执行计算机程序时实现基于非对称自编码器结构的点云几何压缩方法。
[0083]
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行基于非对称自编码器结构的点云几何压缩方法。
[0084]
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
[0085]
综上所述，针对直接处理点云坐标的点云压缩技术，固定了点云输入的数目，很难实现高精度的点云重建，以及针对基于体素域的点云压缩技术，广泛使用对称自编码器结构，平等地构建编码器与解码器网络，无法取得最优的率失真性能，点云重建中点云的细节难以恢复，点云重建质量不高的问题。本发明提出基于非对称自编码结构的点云几何压缩方法，通过设计更深的编码层实现更好的率失真优化。编码器加入注意力模块，提高点云的细节恢复效果。编码器使用宽感受野网络，提高重建点云整体重建质量。设计多尺度加权失真损失作为目标优化函数，提高了压缩模型的性能。
[0086]
以上详细地描述了本发明的具体实施例，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。
[0087]
可尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行不同的变化、修改、变形，本发明的范围由权利要求及其等同物限定。