一种基于密度约束自适应图卷积的点云几何压缩方法

本发明属于点云压缩，尤其涉及一种基于密度约束自适应图卷积的点云几何压缩方法。

背景技术：

1、点云是一种先进的表示三维空间中物体和场景的数据，它利用大量空间坐标点的集合离散地表示三维物体表面信息。点云数据由几何信息(三维空间坐标x,y,z)以及属性信息(如颜色、法向量、反射强度等)组成，一般通过多方位相机、深度传感器和激光雷达等3d采集设备获取。相比于传统2d图像和视频，3d点云能够提供更全面、灵活的表示三维信息，具有极强的交互式和沉浸式效果。随着三维信息感知技术的飞速发展，点云已广泛应用于自动驾驶、机器人视觉、虚拟/增强现实(vr/ar)、沉浸式媒体等领域。然而，高维度的数据特点和高精度、大场景的使用需求造成点云的数据量巨大，这给它的存储和传输带来了压力和挑战。因此，对点云数据进行有效的压缩编码对于点云的广泛应用具有重要意义，逐渐成为目前相关技术研究和标准化领域的研究热点。

2、近年来，3d点云几何压缩方法已得到广泛的研究，目前相关的研究工作可分为基于传统方法的点云压缩方法和基于深度学习的点云压缩方法。由于点云在空间中分布无序、不规则的特性，传统的点云压缩方法先将点云转换成有组织的数据结构，然后对转换后的数据进行压缩编码。其中基于树结构的、基于表面近似的，以及基于映射的编码技术是几种主要的几何编码方案。其中最具有代表性的是mpeg组织提出的基于几何的点云压缩(g-pcc)和基于视频的点云压缩(v-pcc)标准[1]。

3、随着人工智能技术的飞速发展，使用深度学习方法处理点云数据成为了一个研究热点，基于深度学习的点云压缩方法也相继被提出。基于深度学习的点云几何压缩方法目前可以分为基于八叉树的方法、基于体素的方法和基于点方法。

4、基于八叉树的方法通过将点云表示为八叉树结构，设计基于上下文的熵编码、预测等实现对八叉树节点占用信息的高效压缩编码，目前多应用于大规模稀疏lidar点云。文[2]设计了一个八叉树结构的条件熵模型，通过在八叉树的节点上提取和聚合特征来预测符号出现的概率。文[3]进一步扩大熵模型的上下文感受野，对兄弟和祖先上下文进行特征建模，并通过注意机制利用相邻节点之间的强依赖性。基于体素的方法适用于密集点云，它将点云转换成体积模型，使用三维卷积设计编解码变换网络。文[4]首先提出了基于3dcnn的深度点云几何压缩方案。文[5]提出了一种基于稀疏张量和稀疏卷积的多尺度几何压缩方法，通过只在被占据的体素上卷积显著降低复杂度。基于点的方法直接将原始坐标作为输入，摆脱了数据表示方式的限制。文[6]首先提出基于pointnet的点云压缩自动编码器框架。文[7]基于pointnet++提出了基于稀疏编码的点云几何压缩方法，并采用分层重建来恢复点云。文[8]开发了一种更高效的基于变分自编码器结构(vae)的点云几何压缩框架，利用多尺度神经图采样(ngs)从点云中提取潜在表示，并在解码端使用转置卷积重构点云。目前基于点的点云几何压缩方法已经在稀疏的小型点云上取得了低码率下令人满意的性能，并可以通过分块压缩扩展到大型点云上。然而，由于缺乏一种有效的方法来很好地建模点云的局部几何、利用点云局部几何相关性，现有的方法并不能准确地提取出精细的局部特征，因此很难获得点云局部几何结构的高质量重建。

5、上述参考文献为：

6、[1]schwarz s,preda m,baroncini v,et al.emerging mpeg standards forpoint cloud compression[j].ieee journal on emerging and selected topics incircuits and systems,2018,9(1):133-148.

7、[2]huang l,wang s,wong k,et al.octsqueeze:octree-structured entropymodel for lidar compression[c]//proceedings of the ieee/cvf conference oncomputer vision and pattern recognition.2020:1313-1323.

8、[3]fu c,li g,song r,et al.octattention:octree-based large-scalecontexts model for point cloud compression[j].arxiv preprint arxiv:2202.06028,2022.

9、[4]guarda a f r,rodrigues n m m,pereira f.point cloud coding:adoptinga deep learning-based approach[c]//2019picture coding symposium(pcs).ieee,2019:1-5.

10、[5]wang j,ding d,li z,et al.multiscale point cloud geometrycompression[c]//2021data compression conference(dcc).ieee,2021:73-82.

11、[6]yan w,liu s,li t h,et al.deep autoencoder-based lossy geometrycompression for point clouds[j].arxiv preprint arxiv:1905.03691,2019.

12、[7]huang t,liu y.3d point cloud geometry compression on deep learning[c]//proceedings of the 27th acm international conference on multimedia.2019:890-898.

13、[8]gao l,fan t,wan j,et al.point cloud geometry compression vianeural graph sampling[c]//2021ieee international conference on imageprocessing(icip).ieee,2021:3373-3377.

技术实现思路

1、本发明解决的问题是：克服现有点云几何压缩方法对于局部几何表达存在的不足，提出了一种基于密度约束自适应图卷积的点云几何压缩方法，在压缩过程中高效保留局部几何信息，获得几何细节更精确的高质量重建点云。

2、为实现上述目的，本发明采用如下的技术方案：

3、一、基于密度约束自适应图卷积的点云几何压缩方法：

4、步骤1、对于获取的点云数据进行预处理；

5、步骤2、构建提取和聚合点云几何特征的编码器，获取点云紧致几何特征，其中包括密度约束自适应图卷积模块(dcagc)、下采样模块和最大池化模块；

6、步骤3、使用具有超先验的熵编码器对点云几何特征进行压缩编码；

7、步骤4、构建恢复点云坐标和特征的解码器，其中包括坐标重建模块(cr)；

8、步骤5、构建损失函数，其中包括多尺度倒角距离损失lcd和局部密度损失lld；

9、步骤6、根据所述编码器、熵编码器和解码器构建基于密度约束自适应图卷积的点云几何压缩网络模型，根据所述损失函数对网络进行端到端训练；

10、步骤7、将点云数据输入训练完成的模型，实现点云压缩。

11、每个步骤的具体操作如下：

12、步骤一的具体操作：获取点云数据作为训练集，将每个点云三维坐标归一化至单位圆内。

13、步骤二的具体操作：

14、步骤2-1、使用基于密度约束的图卷积模块(dcagc)提取点云几何特征，通过适应地学习相邻点特征并将其附加到关键点；

15、步骤2-2、使用最远点采样方法(fps)对点云进行下采样，减少点云点数；

16、步骤2-3、重复步骤2-1和步骤2-2，逐步扩大感受野，同时高效聚合点云几何特征；

17、步骤2-4、通过最大池化模块获得点云一维紧致特征。

18、步骤三的具体操作：使用熵编码器对点云几何特征进行压缩，其中熵编码器为变分自动编码器(vae)，包括量化模块、算数编码和超先验模型。

19、步骤四的具体操作：

20、步骤4-1：使用坐标重建模块(cr)对点云三维坐标与几何特征进行上采样；

21、步骤4-2：重复步骤4-1，逐步恢复点云三维坐标和特征，最终重建点云。

22、步骤五的具体操作：根据率失真优化(rdo)构建损失函数。其中压缩率表示为经过熵编码后比特流的比特数，失真使用重建质量衡量，包括多尺度倒角距离损失lcd和局部密度损失lld。其中局部密度损失表示为原始点云和重建点云关键点局部点云密度的差异。

23、步骤六的具体操作：根据所述编码器、熵编码器和解码器构建端到端点云几何压缩网络模型，通过控制不同的率失真权重训练具有不同压缩率的模型。

24、步骤七的具体操作：将待压缩的点云输入训练完成的模型，得到压缩后的重建点云。

25、二、密度约束自适应图卷积模块(dcagc)：

26、步骤1、对于点云中的每个点使用knn算法找到其k近邻点，构造局部有向图；

27、步骤2、通过中心点的坐标和特征，计算中心点与邻居点的坐标差与特征差，融合全局特征和局部特征；

28、步骤3、使用核密度估计(kde)计算局部图中每个点的局部密度，使用逆密度作为权重尺度约束邻居点特征，通过多层感知器(mlp)对中心点和邻居点对生成自适应核；

29、步骤4、使用自适应核对中心点和邻居点对坐标进行卷积，动态的地获取特征响应，并将几何空间信息有效地合并到每个层中；

30、步骤5、通过多层感知器(mlp)对约束特征进行残差连接操作，合并卷积特征和残差特征以获得中心点和邻居点对之间的边缘特征；

31、步骤6、对局部邻域中的所有边缘特征应用聚集函数，获得中心点最终的输出特征。

32、三、坐标重建模块(cr)：

33、步骤1、拼接点云三维坐标和几何特征，使用转置卷积上采样获得聚合特征；

34、步骤2、聚合特征通过多层感知器(mlp)获得上采样点云坐标；

35、步骤3、再次拼接点云三维坐标和几何特征作为模块的输出。

36、有益效果

37、本发明的一种基于密度约束自适应图卷积的点云几何压缩方法的有益效果在于：在编码端通过密度约束自适应图卷积提取点云几何特征，可以有效的保留点云的局部几何信息。在解码端分层逐步重建点云，可以逐步恢复点云几何细节。添加局部密度损失约束有助于保持重建点云和原始点云的局部几何一致性。使用本发明所提出的基于密度约束自适应图卷积的点云几何压缩方法对点云数据进行压缩，可以实现更优的率失真优化，并获得在几何细节表现方面质量更优的重建点云。