编码/解码由至少一个传感器感测的点云几何数据的方法和装置与流程

本技术一般涉及点云压缩，并且特别地涉及对由至少一个传感器感测的点云几何数据进行编码/解码方法和装置。

背景技术：

1、本节旨在向读者介绍领域的各个方面，这些方面可以与下面描述和/或要求的本技术的至少一个示例性实施例的各个方面有关。此讨论被认为有助于为读者提供背景信息，以促进更好地理解本技术的各个方面。

2、作为表示3d数据的格式，点云最近受到了关注，因为它们在表示所有类型的物理对象或场景方面具有广泛的能力。点云可用于各种目的，诸如文化遗产/建筑物，其中以3d方式扫描诸如雕像或建筑物的对象，以便在不发送或不访问对象的情况下共享对象的空间配置。此外，它也是一种确保保存对象的知识的方法，以防它可能被破坏；例如，被地震破坏的寺庙。这种点云通常是静态的、彩色的和巨大的。

3、另一个用例是在地形学和制图学中，其中使用3d表示允许地图不限于平面，并且可以包括浮雕。谷歌地图现在是3d地图的一个很好的示例，但使用网格而不是点云。然而，点云可以是一种适合3d地图的数据格式，并且这种点云通常是静态的、彩色的和巨大的。

4、虚拟现实(vr)、增强现实(ar)和沉浸式世界最近成为热门话题，被许多人预见为2d平面视频的未来。它的基本理念是让观众沉浸在周围的环境中，而标准电视只允许观众看到他/她面前的虚拟世界。根据观众在环境中的自由度，沉浸感有几个层次。点云是分布vr/ar世界的良好格式候选。

5、汽车行业，特别是可预见的自主驾驶汽车，也是点云可被密集使用的领域。自主驾驶汽车应该能够“探测”其环境，基于检测到的它们紧邻对象的存在和性质以及道路配置做出良好的驾驶决策。

6、点云是位于三维(3d)空间中的一组点，可选地为每个点附加额外的值。这些额外的值通常称为属性。属性可以是，例如三分量颜色、材料特性，如反射率和/或与点相关联的表面的两分量法向量。

7、因此，点云是几何数据(3d空间中点的位置通常用3d笛卡尔坐标x，y和z表示)和属性的组合。

8、点云可以被各种类型的设备感测，如相机的阵列、深度传感器、激光器(光探测和测距，也称为激光雷达)、雷达，也可以由计算机生成(例如在电影后期制作中)。取决于用例，点云可以具有数千到数十亿个点，用于制图应用。点云的原始表示要求每个点的比特数非常多，每个笛卡尔坐标x、y或z至少有12个比特，并且可选地为更多的比特用于(一个或多个)属性，例如3乘以10个比特用于颜色。

9、在许多应用中，重要的是能够通过只消耗合理的比特率或存储空间将点云分发给终端用户或将它们存储在服务器中，同时保持可接受的(或优选地非常好的)体验质量。为了使许多沉浸式世界的分发链实用，有效地压缩这些点云是关键点。

10、对于分发给终端用户和由终端用户可视化，例如在ar/vr眼镜或任何其他支持3d的设备上，压缩可能是有损的(如视频压缩)。其他用例确实需要无损压缩，如医疗应用或自主驾驶，以避免改变从压缩和传输的点云的后续分析中获得的决策结果。

11、直到最近，点云压缩(又名pcc)还没有被大众市场解决，也没有标准化的点云编解码器可用。2017年，标准化工作组iso/jct1/sc29/wg11，又名运动图像专家组或mpeg，启动了点云压缩的工作项目。这导致了两个标准，即

12、·mpeg-i第5部分(iso/iec23090-5)或基于视频的点云压缩(又名v-pcc)；

13、·mpeg-i第9部分(iso/iec23090-9)或基于几何的点云压缩(又名g-pcc)

14、v-pcc编码方法通过对3d对象进行多次投影来压缩点云，以获得打包成图像(或在处理动态点云时为视频)的2d块。然后使用现有的图像/视频编解码器对获得的图像或视频进行压缩，从而允许充分利用已经部署的图像和视频解决方案。就其本质而言，v-pcc仅在密集和连续的点云上是有效率的，因为图像/视频编解码器无法压缩非平滑的块，如从激光雷达感测的稀疏几何数据的投影中获得的非平滑的块。

15、g-pcc编码方法对感测到的稀疏几何数据的压缩有两种方案。

16、第一种方案基于占用树，局部可以是八叉树、四叉树或二叉树中的任何类型的树，表示点云几何形状。被占用的节点(即与包括点云中至少一个点的立方体/长方体相关联的节点)被分割，直到达到一定的大小，并且被占用的叶节点提供点的3d位置，通常在这些节点的中心。占用信息由占用数据(二进制数据，标志)携带，占用数据发信号通知节点的每个子节点的占用状态。通过使用基于邻居的预测技术，可以获得密集点云的占用数据的高水平压缩。稀疏点云也可以通过直接编码非最小尺寸的节点内的点的位置来处理，当节点内仅存在孤立点时停止树构造；此技术被称为直接编码模式(dcm)。

17、第二种方案基于预测树，其中每个节点表示一个点的3d位置，并且节点之间的父/子关系表示从父节点到子节点的空间预测。此方法只能处理稀疏点云数据，并提供与占用树相比延迟更低、解码更简单的优点。然而，与第一种基于占用的方法相比，压缩性能仅稍微好一点，而且编码也是复杂的，因为在构造预测树时，编码器必须(在潜在预测器的长列表中)密集地寻找最佳预测器。

18、在这两种方案中，属性(解)编码都是在完成几何(解)编码之后进行的，实际上导致了两遍编码。因此，联合几何/属性低延迟是通过使用将3d空间分解为独立编码的子体积的切片获得的，而无需在子体积之间进行预测。当使用多个切片时，这可能会严重影响压缩性能。

19、将对编码器和解码器的简单性、低延迟和压缩性能的要求结合在一起仍然是现有的点云编解码器尚未令人满意地解决的问题。

20、重要的用例是传输由安装在移动车辆上的至少一个传感器感测到的稀疏几何数据。这通常需要简单且低延迟的装载编码器。要求简单性，因为编码器很可能部署在并行执行其他处理(诸如(半)自主驾驶)的计算单元上，从而限制了点云编码器可用的处理能力。还要求低延迟以允许从汽车到云端的快速传输，以便基于多辆车辆采集实时查看本地交通，并基于交通信息采取足够快的决策。虽然使用5g可以使传输延迟足够低，但编码器本身不应因为编码而引入太多延迟。此外，压缩性能非常重要，因为从数百万辆汽车到云端的数据流预计将非常庞大。

21、g-pcc中已经利用了与旋转激光雷达感测的稀疏几何数据相关的特定先验，并已经导致了非常显著的压缩增益。

22、首先，g-pcc利用来自旋转激光雷达头10的感测的仰角(相对于水平地面)，如图1和图2所示。激光雷达头10包括一组传感器11(例如激光器)，这里示出有5个传感器。旋转激光雷达头10可以围绕竖直轴z旋转，以感测物理对象的几何数据。激光雷达感测到的几何数据用球坐标(r3d,φ,θ)表示，其中r3d是点p到激光雷达头的中心的距离，φ是激光雷达头相对于参考物旋转的方位角，以及θ是旋转激光雷达头10的传感器k相对于水平参考平面的仰角。

23、已经在激光雷达感测的数据上观察到沿方位角的规律性分布，如图3所示。此规律用于g-pcc中以获得点云的准1d表示，其中，直到噪音，只有半径r3d属于连续的值范围，而角度φ和θ只取离散数量的值，至i-1，其中i是用于点的感测的方位角度的数量，以及其中j是旋转激光雷达头10的传感器的数量。基本上，g-pcc表示二维(离散)角坐标空间(φ,θ)上的激光雷达感测的稀疏几何数据，如图3所示，以及每个点的半径值r3d。

24、通过在球坐标空间中，使用角度的离散性质基于已经编码的点来预测当前点的位置，在g-pcc中在占用树和预测树两者中都利用了这种准1d性质，。

25、更准确地说，占用树密集地使用dcm，并且通过使用上下文自适应熵编码器对节点内的点的直接位置进行熵编码。然后，从点位置到角坐标(φ,θ)的局部转换以及这些角坐标相对于从先前编码的点获得的离散角坐标(θi,θj)的位置获得上下文。使用此角坐标空间的准1d性质(r2d,φi,θj)，预测树直接编码角坐标(r2d,φ,θ)中的点位置的第一版本，其中r2d是水平xy平面上的投影半径，如图4所示。然后，球坐标(r2d,φ,θ)转换为3d笛卡尔坐标(x，y，z)，并编码xyz残差来解决坐标转换的误差，仰角和方位角的近似以及潜在的噪声。

26、g-pcc确实使用角度先验更好地压缩旋转激光雷达感测的稀疏几何数据，但没有使编码结构适应感测顺序。根据其本质，占用树必须在输出点之前编码到它的最后深度。此占用数据是根据所谓的广度优先顺序编码的：首先对根节点的占用数据进行编码，指示它的被占用子节点；然后对每个被占用子节点的占用数据进行编码，指示被占用子孙节点；并且依此类推，在树的深度上迭代，直到可以确定叶节点，并将对应点提供/输出到应用或(一个或多个)属性编码方案。关于预测树，编码器可以自由选择树中的点的顺序，但为了获得良好的压缩性能、优化预测精度，g-pcc提出为每个传感器编码一棵树。这主要具有与每个传感器使用一个编码切片相同的缺点，即非最佳的压缩性能，因为不允许在传感器之间进行预测，并且不能提供编码器低延迟。更糟糕的是，每个传感器应该有一个编码处理，并且核心编码单元的数量应该等于传感器的数量；这并不实际。

27、简而言之，在用于感测点云的稀疏几何数据的旋转传感器头的框架中，现有技术没有解决将编码和解码的简单性、低延迟和压缩性能相结合的问题。

28、此外，通过使用旋转传感器头感测点云的稀疏几何数据具有一些缺陷，并且可以使用其他类型的传感器头。

29、旋转传感器头的产生旋转(转动)的机械部件容易破损，而且成本很高。同样，通过构造，视角必然是2π。这不允许以高频率感测特定的感兴趣区域，例如，在车辆前面感测可能比在车辆后面感测更有趣。实际上，在大多数情况下，当传感器附接到车辆时，车辆本身会遮挡大部分2π视角，并且不需要感测被遮挡的视角。

30、最近出现了新型传感器，允许更灵活地选择待感测的区域。在大多数的最近设计中，传感器可以更自由地并且以电子方式(从而避免脆弱的机械部件)移动，以在3d场景中获得各种感测路径，如图5所示。图5中示出了一组4个传感器。它们的相对感测方向，即方位角和仰角，相对于彼此是固定的，但是它们总体上跟随二维角坐标(φ,θ)空间上的虚线描绘的可编程感测路径来感测场景。然后可以沿着感测路径规律地感测点云的点。当检测到感兴趣区域r时，一些传感器头也可以通过增加其感测频率来调整其感测频率，如图6所示。这种感兴趣区域r可能与例如在前一帧中先前分段的或在感测期间动态分段的接近对象、移动对象、或任何对象(行人，其他车辆等)相关联。图7示意性地示出了感测路径的另一个示例(典型的之字形感测路径)，该感测路径由包括两个传感器的传感器头使用，当检测到感兴趣区域(灰色阴影点和灰色散列点)时，这两个传感器能够增加其感测频率。使用之字形感测路径可有利地用于感测3d场景的有限(方位角)角扇区。因为传感器可以附接到车辆，所以它们的感兴趣的视口必然受到阻挡场景的车辆本身的存在的限制，除非传感器位于汽车的顶部。因此，探测角度有限的传感器受到高度关注，并且更容易集成到车辆中。

31、如图8所示，包括单个传感器的传感器头也可以用于感测多个位置(图8上的两个竖直位置)，例如使用随旋转(此处为竖直旋转)振荡的镜上的反射。在这种情况下，不使用一组传感器，而是使用沿感测路径(这里是之字形感测路径)处于不同角度位置(即在图8中具有不同的仰角)的单个传感器来模拟使用一组多个传感器的感测。

32、为简单起见，在以下描述和权利要求中，“传感器头”可以指一组物理传感器或模拟一组传感器的一组感测仰角索引。此外，本领域技术人员将理解“传感器”也可以指在每个感测仰角索引位置的传感器。

33、将编码器和解码器的简便性、低延迟和由任何类型传感器感测的点云的压缩性能的要求结合在一起仍然是现有的点云编解码器尚未令人满意地解决的问题。

34、考虑到前述内容，设计了本技术的至少一个示例性实施例。

技术实现思路

1、为了提供对本技术的某些方面的基本理解，下一节给出对至少一个示例性实施例的简化概要。本概要不是示例性实施例的详尽概述。它不意在识别实施例的关键或重要元素。下面的概要仅以简化形式呈现至少一个示例性实施例的一些方面，作为本文档中的其他地方提供的更详细描述的前言。

2、根据本技术的第一方面，提供了将与传感器索引相关联的至少一个传感器感测到的点云几何数据编码为比特流的方法，所述点云几何数据由占用二维空间的一组离散位置的某些离散位置的有序粗略点表示，每个占用粗略点，通过与感测到与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引，定位于二维空间内，每个占用粗略点与基于点云的点距参考物的距离的半径相关联。该方法包括：对于具有第一传感器索引并与第一半径相关联的第一占用粗略点，从与具有不同于第一传感器索引的第二传感器索引的至少一个第二占用粗略点相关联的至少一个第二半径以及与具有等于第一传感器索引的传感器索引的至少一个第三占用粗略点相关联的至少一个第三半径中选择所选预测半径；将指示所选预测半径是等于第二半径还是等于第三半径的数据编码到比特流中；以及将第一半径和所选预测半径之间的残余半径预测编码到比特流中。

3、根据本技术的第二方面，提供了从比特流解码由与传感器索引相关联的至少一个传感器感测的点云几何数据的方法，所述点云几何数据由占用二维空间的一组离散位置的某些离散位置的有序粗略点表示，每个占用粗略点，通过与感测到与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引，定位于二维空间内，每个占用粗略点与基于点云的点距参考物的距离的半径相关联。该方法包括：对于具有第一传感器索引的第一占用粗略点，从比特流中解码指示所选预测半径是等于第二半径还是等于第三半径的数据，所述所选预测半径是从与具有不同于第一传感器索引的第二传感器索引的至少一个第二占用粗略点相关联的至少一个第二半径以及与具有等于第一传感器索引的传感器索引的至少一个第三占用粗略点相关联的至少一个第三半径中选择的；对于第一占用粗略点，从比特流中解码残余半径；以及基于残余半径和从数据获得的所选预测半径，获得与用于第一占用粗略点的点云的点相关联的半径。

4、在一个示例性实施例中，数据包括指示所选预测半径是第二半径还是第三半径的二进制数据。

5、在一个示例性实施例中，所述至少一个第二半径形成第一半径列表，所述至少一个第三半径形成第二半径列表，并且二进制数据指示所选预测半径是属于第一半径列表还是属于第二半径列表。

6、在一个示例性实施例中，数据进一步包括预测器索引，预测器索引指示所选预测半径等于第一半径列表或第二半径列表中的哪个半径。

7、在一个示例性实施例中，在单个第二半径和至少一个第三半径的列表中选择所选预测半径，数据包括预测器索引，使得如果预测器索引不等于预定索引值，则预测器索引指示所选预测半径等于列表中的哪个半径，否则数据进一步包括指示所选预测半径是等于第二半径还是半径列表中由预定索引值指示的第三半径的二进制数据。

8、在一个示例性实施例中，所述至少一个第二半径和至少一个第三半径形成单个半径列表，以及数据包括指示所选预测半径等于半径列表中的哪个半径的预测器索引。

9、在一个示例性实施例中，在统计上从被选择最多的一个到被选择最少的一个对单个半径列表的半径进行排序。

10、根据本技术的第三方面，提供了表示由与传感器索引相关联的至少一个传感器感测的点云几何数据的经编码点云数据的比特流，所述点云几何数据由占用二维空间的一组离散位置的某些离散位置的有序粗略点表示，每个占用粗略点通过与感测与所述占用粗略点相关联的点云的点的传感器相关联的传感器索引以及与点云的点已被感测到的感测时刻相关联的样本索引而定位于二维空间内，每个占用粗略点与基于点云的点距参考物的距离的半径相关联。比特流包括表示与第一占用粗略点相关联的半径与所选预测半径之间的残余半径的经编码点云数据；以及指示所选预测半径是等于第二半径还是等于第三半径的数据；所述第一占用粗略点在二维空间内具有第一传感器索引；所述第二半径与具有不同于第一传感器索引的二维空间内的第二传感器索引的第二占用粗略点相关联；以及所述半径与具有等于第一传感器索引的二维空间内的传感器索引的至少一个第三占用粗略点相关联。

11、根据本技术的第四方面，提供了将由与传感器索引相关联的至少一个传感器感测的点云几何数据编码为比特流的装置，所述点云几何数据由占用二维空间的一组离散位置的某些离散位置的有序粗略点表示。该装置包括被配置为执行根据本技术的第一方面的方法的一个或多个处理器。

12、根据本技术的第五方面，提供了从比特流解码由与传感器索引相关联的至少一个传感器感测的点云几何数据的装置，所述点云几何数据由占用二维空间的一组离散位置的某些离散位置的有序粗略点表示。该装置包括被配置为执行根据本技术的第二方面的方法的一个或多个处理器。

13、根据本技术的第六方面，提供了计算机程序产品，包括指令，当程序被一个或多个处理器执行时，该指令使该一个或多个处理器执行根据本技术的第一方面的方法。

14、根据本技术的第七方面，提供了携带用于执行根据本技术的第一方面的方法的程序代码指令的非暂时性存储介质。

15、根据本技术的第八方面，提供了计算机程序产品，包括指令，当程序被一个或多个处理器执行时，该指令使一个或多个处理器执行根据本技术的第二方面的方法。

16、根据本技术的第九方面，提供了携带用于执行根据本技术的第二方面的方法的程序代码指令的非暂时性存储介质。

17、实施例中的至少一个的具体性质以及该实施例中的至少一个的其他目的、优点、特征和用途将从以下结合附图对示例的描述中变得显而意见。