基于二维规则化平面投影的点云序列编解码方法及装置与流程

1.本发明属于编解码技术领域，具体涉及一种基于二维规则化平面投影的点云序列编解码方法及装置。


背景技术：

2.随着三维扫描设备的不断发展，高精度点云的获取已经变为可能。点云序列可以用来表示运动中的人、物体以及动态场景，在诸如虚拟现实、增强现实、3d视频会议系统、3d自由视角赛事回放系统等新兴的沉浸式多媒体中得到了广泛的应用。然而点云序列具有较大的数据量，给其传输及存储带来了挑战，因此研究高效的点云序列编解码技术具有重要意义。
3.目前对于点云序列的代表性编码方法包括动态图像专家组(moving picture experts group，mpeg)制定的基于八叉树的编码(g-pcc,geometry-based point cloud compression)和基于视频的编码(v-pcc，video-based point cloud compression)。
4.对于基于八叉树的点云序列编码：输入的点云包括当前帧点云和前一帧即参考帧点云，首先对输入的参考帧点云数据进行全局运动补偿，具体是通过估计参考帧和当前帧点云之间的全局运动矢量(mv,motion vector)并对参考帧进行全局运动变换来实现；然后对参考帧和当前帧点云数据进行八叉树划分；当八叉树划分到一定深度时，若开启局部运动估计，则可以利用当前帧对参考帧点云进行局部运动补偿并编码估计的mv信息，否则对当前帧进行帧内预测，并判断是否直接对点的几何坐标进行编码；最后当八叉树划分到叶子节点时，编码每个叶子节点的几何信息。
5.对于基于视频的点云序列编码：在进行编码时，首先将三维点云信息分解为一组patch，然后将这些patch通过简单的正交投影独立地映射到对应的二维平面上，从而将点云的几何和属性信息转换成分段平滑的二维图像，接下来对这些二维图像进行填充和组合并使用传统的视频/图像编解码器进行编码，如avc、hevc甚至jpeg。此外，需将投影得到的额外信息进行打包编码，以帮助解码器重建三维点云。
6.然而，由于点云具有较强的空间稀疏性，对于使用八叉树结构的点云序列编码技术而言，该结构会导致划分得到的空节点占比较高，无法充分体现点云的时域相关性，影响点云序列的时域编码效率。基于视频的点云序列编码技术主要用于稠密点云序列的编码，且其采用立方体投影，直接将三维点云投影到多个二维平面上，破坏了部分区域的时域和空域相关性，从而影响稀疏点云序列的编码效率。


技术实现要素：

7.为了解决现有技术中存在的上述问题，本发明提供了一种基于二维规则化平面投影的点云序列编解码方法及装置。本发明要解决的技术问题通过以下技术方案实现：
8.一种基于二维规则化平面投影的点云序列编码方法，包括：
9.获取参考帧点云数据和当前帧点云数据；
10.对所述参考帧点云数据进行二维规则化平面投影，得到第一二维投影平面结构；同时对所述当前帧点云数据进行二维规则化平面投影，得到第二二维投影平面结构；
11.基于所述第一二维投影平面结构得到的若干第一二维图信息和所述第二二维投影平面结构得到的若干第二二维图信息进行运动补偿，并进行编码，得到当前帧点云数据的码流信息；
12.重复上述步骤，直至完成点云序列所有帧的编码。
13.在本发明的一个实施例中，对所述参考帧点云数据进行二维规则化平面投影之前，还包括：
14.根据所述当前帧点云数据对所述参考帧点云数据进行全局运动补偿。
15.在本发明的一个实施例中，所述第一二维图信息包括第一几何信息图；相应的，所述第二二维图信息包括第二几何信息图。
16.在本发明的一个实施例中，所述第一二维图信息还包括第一属性信息图；相应的，所述第二二维图信息还包括第二属性信息图。
17.在本发明的一个实施例中，基于所述第一二维投影平面结构得到的若干第一二维图信息和所述第二二维投影平面结构得到的若干第二二维图信息进行运动补偿，并进行编码，得到当前帧点云数据的码流信息，包括：
18.对所述第一二维图信息与所述第二二维图信息进行运动估计，得到对应的mv；
19.根据所述mv对与其相应的第二二维图信息进行运动补偿，得到预测残差；
20.对所述预测残差和所述mv信息进行编码，得到当前帧点云数据的码流信息。
21.在本发明的一个实施例中，基于所述第一二维投影平面结构得到的若干第一二维图信息和所述第二二维投影平面结构得到的若干第二二维图信息进行运动补偿，并进行编码，得到当前帧点云数据的码流信息，还包括：
22.对所述第一二维图信息中的第一几何信息图与所述第二二维图信息中的第二几何信息图进行运动估计，得到对应的mv；
23.根据所述mv对与其相应的第二几何信息图进行运动补偿，得到几何预测残差；
24.对所述几何预测残差和所述mv信息进行编码，得到当前帧点云数据的几何信息码流；
25.根据所述几何信息码流进行几何重建，得到重建后的点云几何信息；
26.基于重建后的点云几何信息对所述当前帧点云数据的属性信息进行编码，得到当前帧点云数据的属性信息码流。
27.在本发明的一个实施例中，所述第一几何信息图包括第一占位信息图、第一深度信息图、第一投影残差信息图以及第一坐标转换误差信息图；相应的，所述第二几何信息图包括第二占位信息图、第二深度信息图、第二投影残差信息图以及第二坐标转换误差信息图。
28.本发明的另一个实施例还提供了一种基于二维规则化平面投影的点云序列编码装置，包括：
29.第一数据获取模块，用于获取参考帧点云数据和当前帧点云数据；
30.第一投影模块，用于对所述参考帧点云数据进行二维规则化平面投影，得到第一二维投影平面结构；同时对所述当前帧点云数据进行二维规则化平面投影，得到第二二维
投影平面结构；
31.第一运动补偿模块，基于所述第一二维投影平面结构得到的若干第一二维图信息和所述第二二维投影平面结构得到的若干第二二维图信息进行运动补偿，并进行编码，得到当前帧点云数据的码流信息。
32.本发明的又一个实施例还提供了一种基于二维规则化平面投影的点云序列解码方法，包括：
33.获取参考帧点云数据和当前帧点云数据的码流信息，并对所述当前帧点云数据的码流信息进行解码，得到解析数据；
34.对所述参考帧点云数据进行二维规则化平面投影，得到第一二维投影平面结构；
35.根据所述解析数据和所述第一二维投影平面结构得到的若干第一二维图信息进行运动补偿，得到若干重构的第二二维图信息；
36.根据所述若干重构的第二二维图信息得到第二二维投影平面结构；
37.利用所述第二二维投影平面结构重建当前帧点云；
38.重复上述步骤，直至完成点云序列所有帧的重建。
39.本发明的再一个实施例还提供了一种基于二维规则化平面投影的点云序列解码装置，包括：
40.第二数据获取模块，用于获取参考帧点云数据和当前帧点云数据的码流信息，并对所述当前帧点云数据的码流信息进行解码，得到解析数据；
41.第二投影模块，用于对所述参考帧点云数据进行二维规则化平面投影，得到第一二维投影平面结构；
42.第二运动补偿模块，根据所述解析数据和所述第一二维投影平面结构得到的若干第一二维图信息进行运动补偿，得到若干重构的第二二维图信息；
43.重构模块，根据所述若干重构的第二二维图信息重构第二二维投影平面结构；
44.点云重建模块，用于利用所述第二二维投影平面结构重建当前帧点云。
45.本发明的有益效果：
46.本发明通过将三维空间中的点云序列投影到对应的二维规则化投影平面结构当中，对点云在垂直方向和水平方向上进行了规则化校正，既避免了三维表示结构中存在的稀疏性，又更好的体现了点云序列的时域和空域相关性，从而可以更好的利用时域相关性进行有效的时域预测编码，减小点云序列的时域冗余，因此可以进一步提升点云序列的编码效率。
47.以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
48.图1是本发明实施例提供的一种基于二维规则化平面投影的点云序列编码方法示意图；
49.图2是本发明实施例提供的点云序列的几何信息编码框架图；
50.图3是本发明实施例提供的点的柱面坐标与二维投影平面中像素的对应关系示意图；
51.图4是本发明实施例提供的点云的二维投影平面结构示意图；
52.图5是本发明实施例提供的局部运动补偿示意图；
53.图6是本发明实施例提供的点云序列几何信息和属性信息同时进行编码的框架图；
54.图7是本发明实施例提供的基于重建几何信息进行属性信息编码的框架图；
55.图8是本发明实施例提供的一种基于二维规则化平面投影的点云序列编码装置结构示意图；
56.图9是本发明实施例提供的一种基于二维规则化平面投影的点云序列解码方法示意图；
57.图10是本发明实施例提供的一种基于二维规则化平面投影的点云序列解码装置结构示意图。
具体实施方式
58.下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
59.实施例一
60.请参见图1，图1是本发明实施例提供的一种基于二维规则化平面投影的点云序列编码方法示意图，包括以下步骤：
61.s1：获取参考帧点云数据和当前帧点云数据。
62.一般而言，当前帧点云是指当前时刻待编码的点云数据。参考帧点云是指当前时刻已编解码并重建的用来参考的点云数据，其可以是当前帧点云的前一帧或前几帧，也可以是当前帧点云的后一帧或后几帧。
63.本实施例采用当前帧点云的前一帧点云作为参考帧点云。
64.在本实施例中，设获取到的参考帧点云数据和当前帧点云数据的几何位置信息均基于笛卡尔坐标系进行表示。
65.s2：对参考帧点云数据进行二维规则化平面投影，得到第一二维投影平面结构；同时对当前帧点云数据进行二维规则化平面投影，得到第二二维投影平面结构。
66.请参见图2，图2是本发明实施例提供的点云序列的几何信息编码框架图。在本实施例中，对参考帧点云数据进行二维规则化平面投影之前，还包括：根据当前帧点云数据对参考帧点云数据进行全局运动补偿。
67.由于点云序列获取的三维场景是动态的，因此不同帧点云数据之间具有某种运动关系，全局运动补偿即利用该运动关系来补偿参考帧点云，对参考帧点云进行运动变换，从而可以更好的利用其与当前帧点云之间的相关性。
68.下面对全局运动补偿的过程进行详细介绍。
69.对参考帧点云进行全局运动补偿，首先需要搜索匹配参考帧点云和当前帧点云中的对应点集。搜索匹配算法的精确度会极大的影响全局运动估计的准确度，因此需要找到参考帧点云和当前帧点云的最佳匹配点对，一种比较合理的方法是搜索那些相对于世界坐标系不变的点集，例如场景中地面或者树木等静止的物体。具体的，可按照基于八叉树的点云序列编码技术中的现有方法进行不变点集的搜索匹配。
70.然后根据参考帧和当前帧中对应的不变点集来估计参考帧点云与当前帧点云之
间的全局mv。具体的，可利用现有的最小均方(lms,least mean square)算法计算参考帧和当前帧中对应不变点集之间的全局mv。
71.最后根据估计的全局mv对参考帧点云进行全局运动变换来实现对参考帧点云的全局运动补偿。具体的，经过全局运动估计得到参考帧与当前帧点云的全局mv后，利用该mv信息对参考帧中的每个点进行变换，得到全局运动补偿后的参考帧点云。令y为参考帧点云，y'为全局运动补偿后的参考帧点云，则具体变换如下：
72.y'＝my+v
73.其中，全局mv信息中的m表示旋转，v表示平移。
74.然后进行二维规则化平面投影。
75.具体的，在本实施例中，在对参考帧点云和当前帧点云进行二维规则化平面投影之前，还可以对当前帧点云数据进行预处理，如体素化处理等，以方便后续编码。
76.首先，初始化二维投影平面结构。
77.初始化点云的二维规则化投影平面结构需要利用规则化参数。规则化参数通常由制造厂商进行精细测定并作为必备的数据之一提供给消费者，例如激光雷达的采集范围，水平方位角的采样角分辨率或采样点数，以及每个激光扫描器的距离校正因子、激光扫描器沿垂直方向和水平方向的偏移信息vo和ho、激光扫描器沿俯仰角和水平方位角的偏移信息θo和α。
78.需要说明的是，规则化参数不限于以上给出的这些参数，其可以利用给定的激光雷达的标定参数，也可以在激光雷达的标定参数没有给定的情况下，通过优化估计、数据拟合等方式得到。
79.点云的二维规则化投影平面结构为一个包含m行、n列像素的数据结构，三维点云中的点经过投影后与该数据结构中的像素对应。并且该数据结构中的像素(i,j)可与柱面坐标分量(θ,φ)相关联，如可利用以下公式找到柱面坐标(r,θ,φ)对应的像素(i,j)。
[0080][0081][0082]
具体地，请参见图3，图3是本发明实施例提供的点的柱面坐标与二维投影平面中像素的对应关系示意图。
[0083]
需要说明的是，此处像素的对应并不限于柱面坐标。
[0084]
进一步地，二维规则化投影平面的分辨率可由规则化参数获得，如假设二维规则化投影平面的分辨率为m
×
n，则可利用规则化参数中激光扫描器的个数来初始化m，并利用水平方位角的采样角分辨率(或者激光扫描器的采样点数)来初始化n，例如可采用如下公式，最终即可完成二维投影平面结构的初始化，得到一个包含m
×
n个像素的平面结构。
[0085]
m＝lasernum；
[0086]
或n＝pointnumperlaser。
[0087]
其次，确定原始点云数据与二维投影平面结构的映射关系，以将原始点云数据投影到二维投影平面结构上。
[0088]
该部分通过逐点判断输入点云在二维投影平面结构中的位置，将原本在笛卡尔坐
标系下杂乱分布的点云映射至均匀分布的二维规则化投影平面结构中。具体的，针对输入点云中的每一个点，在二维投影平面结构中确定对应的像素，例如可选择与点在二维平面中投影位置空间距离最小的像素作为该点的对应像素。
[0089]
若利用柱面坐标系进行二维投影，则确定输入点云对应像素的具体流程如下：
[0090]
a.对于输入点云中的每一个输入点，利用以下公式计算该点的柱面坐标分量r：
[0091][0092]
b.可选择是否估计该输入点对应像素在二维投影平面结构中的搜索区域，若不进行估计，则在整个二维投影平面结构中搜索该输入点对应的像素；若进行估计，则可通过该输入点的柱面坐标分量俯仰角θ和方位角φ来估计对应像素在二维投影平面结构中的搜索区域，或通过其他方式估计得到。
[0093]
c.确定搜索区域后，对其中的每个像素(i,j)，利用规则化参数即激光雷达第i个激光扫描器的标定参数θ0、vo、ho和α，计算当前像素在笛卡尔坐标系中的位置(xl,yl,zl)，具体计算公式如下：
[0094]
θi＝θ0[0095][0096]
xl＝r
·
sin(φ
j-α)-ho·
cos(φ
j-α)
[0097]
yl＝r
·
cos(φ
j-α)+ho·
sin(φ
j-α)
[0098]
zl＝r
·
tanθi+vo[0099]
d.得到当前像素在笛卡尔坐标系中的位置(xl,yl,zl)后，计算其与输入点(x,y,z)之间的空间距离并将其作为误差err，即：
[0100]
err＝dist{(x,y,z),(xl,yl,zl)}
[0101]
若该误差err小于当前最小误差minerr，则用其更新最小误差minerr，并用当前像素对应的i和j更新输入点所对应像素的i和j；若该误差err大于最小误差minerr，则不进行以上更新过程。
[0102]
e.当搜索区域内的所有像素均被遍历完成后，即可确定当前输入点在二维投影平面结构中的对应像素(i,j)。
[0103]
当输入点云中的所有点均完成上述操作后，即完成了点云的二维规则化平面投影。具体地，请参见图4，图4是本发明实施例提供的点云的二维投影平面结构示意图，其中，每个输入点均被映射至该结构中的对应像素。
[0104]
需要说明的是，在点云的二维规则化平面投影过程中，可能会出现点云中的多个点对应到二维投影平面结构中的同一像素。若要避免这种情况发生，可选择在投影时将这些空间点投影到不同的像素中，例如，对某一点进行投影时，若其对应的像素中已有对应点，则将该点投影至该像素的邻近空像素中。此外，若点云中的多个点已投影到二维投影平面结构中的同一像素，则在基于二维投影平面结构进行编码时，应额外编码每个像素中的对应点数，并根据该点数对像素中的每个对应点信息进行编码。
[0105]
以上是对点云数据进行二维规则化平面投影的过程，在本实施例中需按照此过程分别对参考帧点云和当前帧点云进行二维规则化平面投影，得到参考帧点云对应的二维投影平面结构即第一二维投影平面结构和当前帧点云对应的二维投影平面结构即第二二维
投影平面结构。具体过程不再赘述。
[0106]
本发明通过将三维空间中的点云序列投影到对应的二维规则化投影平面结构当中，对点云在垂直方向和水平方向上进行了规则化校正，既避免了三维表示结构中存在的稀疏性，又更好的体现了点云序列的时域和空域相关性。
[0107]
s3：基于第一二维投影平面结构得到的若干第一二维图信息和第二二维投影平面结构得到的若干第二二维图信息进行运动补偿，并进行编码，得到当前帧点云数据的码流信息。
[0108]
本实施例中的第一二维图信息包括第一几何信息图，第二二维图信息包括第二几何信息图，上述几何信息图可以包括但不限于占位信息图、深度信息图、投影残差信息图以及坐标转换误差信息图。
[0109]
其中，占位信息图用来标识二维规则化投影平面结构中像素是否被占据，即每个像素是否与点云中的点相对应，若被占据，则称该像素非空，否则，称该像素为空。由此可根据点云的二维投影平面结构得到其占位信息图。
[0110]
深度信息图用来表示二维规则化投影平面结构中每个被占据像素的对应点与坐标原点之间的距离。如可采用该像素对应点的柱面坐标r分量作为该像素的深度。基于此，二维规则化投影平面结构中每个被占据的像素都会有一个深度值，从而得到对应的深度信息图。
[0111]
投影残差信息图用来表示二维规则化投影平面结构中每个被占据像素的对应位置与实际投影位置之间的残差。基于此，二维规则化投影平面中每个被占据的像素都会有一个投影残差，从而得到点云对应的投影残差信息图。
[0112]
坐标转换误差信息图用来表示二维规则化投影平面结构中每个被占据像素逆投影所得的空间位置与该像素对应原始点的空间位置之间的残差。基于此，二维规则化投影平面结构中每个被占据的像素都会有一个坐标转换误差，从而得到点云对应的坐标转换误差信息图。
[0113]
为了方便描述，本实施例中将参考帧点云相关的信息称为第一信息，例如第一二维图信息、第一几何信息图、第一属性信息图、第一占位信息图、第一深度信息图、第一投影残差信息图以及第一坐标转换误差信息图等，将当前帧点云相关的信息称为第二信息，例如第二二维图信息、第二几何信息图、第二属性信息图、第二占位信息图、第二深度信息图、第二投影残差信息图以及第二坐标转换误差信息图等。
[0114]
在本实施例中，基于第一二维图信息和第二二维图信息进行运动补偿可以是全局运动补偿，也可以是局部运动补偿，或者同时进行全局和局部运动补偿。
[0115]
下面以局部运动补偿为例对其补偿和编码过程进行详细介绍，具体以一个几何信息图为例进行说明。
[0116]
在进行局部运动补偿时，可以根据参考帧点云对当前帧点云进行补偿，也可以根据当前帧点云对参考帧点云进行补偿，本实施例以利用参考帧点云对当前帧点云进行补偿为例进行详细说明。
[0117]
在本实施例中，步骤s3具体包括：
[0118]
31)对第一二维图信息与第二二维图信息进行运动估计，得到对应的mv。
[0119]
首先设置局部像素块的大小，并按照一定的扫描顺序遍历第二几何信息图中的每
个像素块。
[0120]
然后进行局部运动估计，为第二几何信息图中的当前像素块在第一几何信息图中寻找一个最佳匹配块，并计算两匹配块之间的位移即得到局部mv。
[0121]
具体的，可利用现有的全搜索算法或快速搜索算法(如h.266/vvc中的tzsearch算法)在第一几何信息图中搜索候选匹配块，然后选择率失真代价最小的候选匹配块作为当前像素块的匹配块，在率失真优化中可将当前像素块和候选匹配块的几何信息差异作为失真，并对当前像素块和候选匹配块之间的位移进行压缩作为码率。最终两匹配块之间的位移即为当前像素块的局部mv。请参见图5，图5是本发明实施例提供的局部运动补偿示意图，其中，右边为第二几何信息图，虚线框内为当前像素块，左边为第一几何信息图，虚线框内为匹配像素块，箭头所表示的位移为当前像素块的局部mv。
[0122]
32)根据mv对与其相应的第二二维图信息进行运动补偿，得到预测残差。
[0123]
具体的，利用局部mv信息对第二几何信息图中的当前像素块在第一几何信息图中找到其匹配块，然后利用该匹配块中的重建几何信息来预测当前像素块中的几何信息，得到当前像素块的几何信息预测残差。
[0124]
在本实施例中，除了使用像素块来实现局部运动补偿之外，还可以使用图像中的某些像素集合来实现局部运动补偿。
[0125]
33)对预测残差和mv信息进行编码，得到当前帧点云数据的码流信息。
[0126]
在编码过程中，需要编码每个像素块的局部mv信息以及每个像素块的预测残差信息。
[0127]
具体的，对于每个像素块的局部mv信息可采用现有的预测技术进行预测，并采用现有的熵编码技术进行编码。对于每个像素块的预测残差可采用现有的预测技术进行预测，并采用现有的熵编码技术进行编码；也可采用jpeg、jpeg2000、heif、h.264\avc、h.265\hevc等图像\视频编码方案对预测残差所生成的二维图信息进行压缩。
[0128]
对于其他几何信息图，或使用上述得到的局部mv直接进行局部运动补偿，得到预测残差并进行编码；或参考上述局部运动补偿过程，依次估计局部mv并进行局部运动补偿，并对得到的局部mv及预测残差进行编码。
[0129]
需要说明的是，若在进行二维规则化平面投影之前，根据当前帧点云数据对参考帧点云数据进行了全局运动补偿，则还需对全局mv信息进行编码。
[0130]
至此，得到了当前帧点云数据的几何信息码流。
[0131]
s4：重复上述步骤，直至完成点云序列所有帧的编码。
[0132]
具体的，上述步骤仅对当前帧点云数据进行了编码，因此仍需重复上述步骤，直至完成点云序列所有帧的编码。
[0133]
至此，完成了点云序列所有帧的几何信息编码。
[0134]
本发明通过将三维空间中的点云序列投影到对应的二维规则化投影平面结构当中，对点云在垂直方向和水平方向上进行了规则化校正，既避免了三维表示结构中存在的稀疏性，又更好的体现了点云序列的时域和空域相关性，从而可以更好的利用时域相关性进行有效的时域预测编码，减小点云序列的时域冗余，从而进一步提升点云序列的编码效率。
[0135]
实施例二
[0136]
在上述实施例一的基础上，还可以将几何信息和属性信息一起编码。具体地，请参见图6，图6是本发明实施例提供的点云几何信息和属性信息同时进行编码的框架图。
[0137]
其中，根据第一二维投影平面结构得到的第一二维图信息还包括第一属性信息图；相应的，根据第二二维投影平面结构得到的第二二维图信息还包括第二属性信息图。
[0138]
具体地，可参考实施例一中的运动补偿方法，对第二属性信息图进行运动补偿并编码，得到当前帧点云数据的属性信息码流。
[0139]
实施例三
[0140]
本实施例在对当前帧点云数据进行编码时，是基于重建的几何信息来对属性信息进行编码的，请参见图7，图7是本发明实施例提供的基于重建几何信息进行属性信息编码的框架图。
[0141]
在上述实施例一的基础上，步骤s3还可以包括：
[0142]
3a)对第一二维图信息中的第一几何信息图与第二二维图信息中的第二几何信息图进行运动估计，得到对应的mv；
[0143]
3b)根据mv对与其相应的第二几何信息图进行运动补偿，得到几何预测残差；
[0144]
3c)对几何预测残差和mv信息进行编码，得到当前帧点云数据的几何信息码流；
[0145]
具体地，在本实施例中，步骤3a)-3c)的具体实现方式可参考上述实施例一。
[0146]
3d)根据几何信息码流进行几何重建，得到重建后的点云几何信息；
[0147]
3e)基于重建后的点云几何信息对当前帧点云数据的属性信息进行编码，得到当前帧点云数据的属性信息码流。
[0148]
属性信息编码一般针对空间点的颜色和反射率信息进行。可利用现有技术基于当前帧点云数据的几何重构信息对当前帧点云数据的属性信息进行编码。例如，首先将属性中的颜色信息从rgb颜色空间转换到yuv颜色空间。然后，利用重建的几何信息对点云重新着色，使得未编码的属性信息与重建的几何信息对应起来。用莫顿码或希尔伯特码对点云进行排序后，利用已编码点的重建属性值对待预测点进行插值预测得到预测属性值，然后将真实属性值和预测属性值进行差分得到预测残差，最后对预测残差进行量化并编码，生成二进制码流。
[0149]
实施例四
[0150]
在上述实施例一至三的基础上，本实施例提供了一种基于二维规则化平面投影的点云编码装置，请参见图8，图8是本发明实施例提供的一种基于二维规则化平面投影的点云序列编码装置结构示意图，其包括：
[0151]
第一数据获取模块11，用于获取参考帧点云数据和当前帧点云数据；
[0152]
第一投影模块12，用于对参考帧点云数据进行二维规则化平面投影，得到第一二维投影平面结构；同时对当前帧点云数据进行二维规则化平面投影，得到第二二维投影平面结构；
[0153]
第一运动补偿模块13，基于第一二维投影平面结构得到的若干第一二维图信息和第二二维投影平面结构得到的若干第二二维图信息进行运动补偿，并进行编码，得到当前帧点云数据的码流信息。
[0154]
本实施例提供的编码装置可以实现上述实施例一至三所述的编码方法，详细过程在此不再赘述。
[0155]
实施例五
[0156]
请参见图9，图9是本发明实施例提供的一种基于二维规则化平面投影的点云序列解码方法示意图，该方法包括：
[0157]
步骤1：获取参考帧点云数据和当前帧点云数据的码流信息，并对当前帧点云数据的码流信息进行解码，得到解析数据。
[0158]
解码端获取编码端使用的参考帧点云数据，并获取压缩的码流信息，然后采用相应的预测和熵解码技术对码流信息进行相应的解码，得到解析后的数据。
[0159]
步骤2：对参考帧点云数据进行二维规则化平面投影，得到第一二维投影平面结构。
[0160]
在本实施例中，若编码端进行了全局运动补偿，则对参考帧点云数据进行二维规则化平面投影之前，还包括：利用解析出来的全局mv对参考帧点云数据进行全局运动补偿，具体补偿方法如实施例一中s2所述，从而得到全局运动补偿后的参考帧点云。
[0161]
然后对参考帧点云进行二维规则化平面投影。
[0162]
具体的，按照实施例一中s2所述的对点云进行二维规则化平面投影的过程，对参考帧点云数据进行二维规则化平面投影，得到参考帧点云对应的二维投影平面结构即第一二维投影平面结构。
[0163]
步骤3：根据解析数据和第一二维投影平面结构得到的若干第一二维图信息进行运动补偿，得到若干重构的第二二维图信息；
[0164]
本实施例中的第一二维图信息和第二二维图信息均为几何信息图，其可以包括但不限于占位信息图、深度信息图、投影残差信息图以及坐标转换误差信息图。
[0165]
运动补偿包括全局运动补偿和局部运动补偿，本实施例与编码端保持一致，以局部运动补偿为例，并一个几何信息图为例进行说明。基于此，解析数据主要包括几何信息的预测残差、局部mv信息等。
[0166]
由于编码端设置了局部像素块的大小并采用了某种扫描顺序遍历第二几何信息图中的像素块并对相应信息进行编码，那么解码端所得到的像素块的预测残差信息和局部mv信息同样是按照此种顺序，且解码端可通过规则化参数获得第二几何信息图的分辨率，具体参见实施例一中s2初始化二维投影平面结构部分。因此，解码端可获知当前待重构像素块在第二几何信息图中的位置。
[0167]
对于第二几何信息图中的当前待重构像素块，可利用解析出的局部mv信息进行局部运动补偿。即利用解析出的局部mv信息在第一几何信息图中找到对应的匹配块，然后利用该匹配块中的重建几何信息来预测当前待重构像素块中的几何信息，最后根据得到的预测值和解析出来的预测残差重建当前像素块的几何信息。
[0168]
重构完第二几何信息图中的每个像素块后，即可得到重构的第二几何信息图。
[0169]
对于其他几何信息图，或使用上述解析得到的局部mv直接进行局部运动补偿，并根据预测残差重建几何信息；或利用自身解析得到的局部mv进行局部运动补偿，并根据预测残差重建几何信息。
[0170]
步骤4：根据若干重构的第二二维图信息得到第二二维投影平面结构；
[0171]
由于第二二维投影平面结构的分辨率与第二二维图信息的分辨率一致，且第二二维图信息已被重构，因此可知第二二维投影平面结构中每个像素的几何信息，从而得到重
构的第二二维投影平面结构。
[0172]
相应的，重构的第二二维投影平面结构中还可以包括点云的属性信息。
[0173]
步骤5：利用第二二维投影平面结构重建当前帧点云；
[0174]
具体地，按照某一扫描顺序遍历重构的第二二维投影平面结构中的像素，可知每个像素的几何信息，包括但不限于占位信息、深度信息、投影残差信息和坐标转换误差信息。若当前像素(i,j)的占位信息为非空，则可按照如下方式根据当前像素的深度信息即该像素对应点的柱面坐标r分量、投影残差信息即该像素对应位置与实际投影位置之间的残差(δφ,δi)和坐标转换误差信息即该像素逆投影所得空间位置与该像素对应原始点空间位置之间的残差(δx,δy,δz)来重构该像素对应的空间点(x,y,z)。
[0175]
当前像素(i,j)的对应位置可表示为(φj,i)，则当前像素对应空间点的实际投影位置(φ',i')为：
[0176][0177]
φ'＝φj+δφ
[0178]
i'＝i+δi
[0179]
利用规则化参数和以下公式将当前像素逆投影回笛卡尔坐标系，得到对应的笛卡尔坐标(xl,yl,zl)：
[0180]
θi＝θ0[0181]
xl＝r
·
sin(φ
j-α)-ho·
cos(φ
j-α)
[0182]
yl＝r
·
cos(φ
j-α)+ho·
sin(φ
j-α)
[0183]
zl＝r
·
tanθi+vo[0184]
利用以下公式根据当前像素逆投影所得空间位置(xl,yl,zl)与坐标转换误差(δx,δy,δz)重建当前像素对应空间点(x,y,z)。
[0185]
x＝xl+δx
[0186]
y＝yl+δy
[0187]
z＝zl+δz
[0188]
根据以上计算即可对第二二维投影结构中的每个非空像素重构其对应空间点，从而得到重建的当前帧点云。
[0189]
需要说明的是，在解码端对当前帧点云进行重建时，可根据编码端中当前帧点云的几何信息和属性信息的编码方式适应的选择重建方式，以得到重建的当前帧点云。
[0190]
步骤6：重复上述步骤，直至完成点云序列所有帧的重建。
[0191]
具体的，上述步骤仅对当前帧点云数据进行了解码，因此仍需重复上述步骤，直至完成点云序列所有帧的解码。
[0192]
实施例六
[0193]
在上述实施例五的基础上，本实施例提供了一种基于二维规则化平面投影的点云序列解码装置，请参见图10，图10是本发明实施例提供的一种基于二维规则化平面投影的点云序列解码装置结构示意图，其包括：
[0194]
第二数据获取模块21，用于获取参考帧点云数据和当前帧点云数据的码流信息，并对当前帧点云数据的码流信息进行解码，得到解析数据；
[0195]
第二投影模块22，用于对参考帧点云数据进行二维规则化平面投影，得到第一二
维投影平面结构；
[0196]
第二运动补偿模块23，根据解析数据和第一二维投影平面结构得到的若干第一二维图信息进行运动补偿，得到若干重构的第二二维图信息；
[0197]
重构模块24，根据若干重构的第二二维图信息重构第二二维投影平面结构；
[0198]
点云重建模块25，用于利用第二二维投影平面结构重建当前帧点云。
[0199]
本实施例提供的解码装置可以实现上述实施例五所述的解码方法，详细过程在此不再赘述。
[0200]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。