点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法与流程

实施例涉及用于处理点云内容的方法和装置。

背景技术：

1、点云内容是由点云表示的内容，其是属于表示三维空间(或者体积)的坐标系的点的集合。点云内容可以表达以三个维度配置的媒体，并且被用于提供诸如虚拟现实(vr)、增强现实(ar)、混合现实(mr)、扩展现实(xr)和自驾驶服务的各种服务。然而，需要几万到几十万的点数据来表示点云内容。因此，需要用于高效处理大量点数据的方法。

技术实现思路

1、技术问题

2、为解决上述问题而设计的本公开的目的是提供一种用于有效地发送和接收点云的点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法。

3、本公开的另一个目的是提供一种用于解决时延和编码/解码复杂度的点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法。

4、本公开的另一目的是提供一种点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法，其通过改进对基于几何的点云压缩(g-pcc)的属性信息进行编码的技术来改进点云的压缩性能。

5、本公开的另一个目的是提供一种点云数据发送设备、点云数据传输方法、点云数据接收设备和点云数据接收方法，其用于高效地压缩和发送通过lidar(激光雷达)设备捕获的点云数据并且接收该点云数据。

6、本公开的另一个目的是提供一种用于对通过lidar设备捕获的点云数据进行高效的帧间预测压缩的点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法。

7、本公开的另一目的是提供一种点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法，其用于将点云数据拆分成用于通过lidar设备捕获的点云数据的高效帧间预测压缩的特定单元。

8、本公开的目的不限于前述目的，并且本领域的普通技术人员在查阅以下描述时，以上未提到的本公开的其他目的将变得清楚。

9、技术方案

10、为了实现这些目的和其他优点并且根据本公开的目的，如本文所体现和广泛描述的，根据实施例的发送点云数据的方法可以包括对点云数据的几何数据进行编码、基于几何数据对点云数据的属性数据进行编码、以及发送编码的几何数据、编码的属性数据和信令数据。

11、在一个实施例中，对几何数据进行编码可以包括将几何数据拆分成一个或多个预测单元并且在拆分的预测单元中的每个中对几何数据进行帧间预测编码。

12、在一个实施例中，点云数据由包括一个或多个激光器的激光雷达捕获。

13、在一个实施例中，拆分可以包括基于仰角、半径或方位角中的一个或者两个或更多个的组合将几何数据拆分成一个或多个预测单元。

14、在一个实施例中，信令数据可以包括用于识别仰角的量值的信息、用于识别半径的量值的信息或用于识别方位角的量值的信息中的至少一个，其中该信息可以形成将几何数据拆分成一个或多个预测单元的基础。

15、在一些实施例中，用于帧间预测的运动矢量可以被应用于拆分的预测单元中的每个，其中信令数据可以包括用于指示运动矢量是否被应用于拆分的预测单元中的每个的指示信息，其中根据指示信息，信令数据可以进一步包括运动矢量。

16、根据实施例的点云数据发送设备可以包括：几何编码器，其被配置成对点云数据的几何数据进行编码；属性编码器，其被配置成基于几何数据对点云数据的属性数据进行编码；以及发射器，其被配置成发送编码的几何数据、编码的属性数据和信令数据。

17、在实施例中，几何编码器可以包括拆分器，其被配置成将几何数据拆分成一个或多个预测单元；以及帧间预测器，其被配置成针对拆分的预测单元中的每个对几何数据进行帧间预测编码。

18、在一个实施例中，点云数据由包括一个或多个激光器的lidar捕获。

19、在一个实施例中，拆分器可以基于仰角、半径或方位角中的一个或者两个或更多个的组合，将几何数据拆分成一个或多个预测单元。

20、在一个实施例中，信令数据可以包括用于识别仰角的量值的信息、用于识别半径的量值的信息或用于识别方位角的量值的信息中的至少一个，其中该信息可以形成将几何数据拆分成一个或多个预测单元的基础。

21、在一些实施例中，用于帧间预测的运动矢量可以被应用于拆分的预测单元中的每个，其中信令数据可以包括用于指示运动矢量是否被应用于拆分的预测单元中的每个的指示信息，以及其中根据指示信息，该信令数据可以进一步包括运动矢量。

22、根据实施例的接收点云数据的方法可以包括接收几何数据、属性数据和信令数据；基于信令数据来解码几何数据；基于信令数据和解码的几何数据对属性数据进行解码；以及渲染基于解码的几何数据和解码的属性数据重构的点云数据。

23、在一个实施例中，几何解码可以包括基于信令数据将用于几何数据的参考数据拆分成一个或多个预测单元，以及针对拆分的预测单元中的每个对几何数据进行帧间预测解码。

24、在一个实施例中，点云数据由在发送侧处的包括一个或多个激光器的lidar捕获。

25、在一个实施例中，拆分可以包括基于信令数据将参考数据拆分成基于仰角、半径或方位角中的一个或者两个或更多个的组合的一个或多个预测单元。

26、在一个实施例中，信令数据可以包括用于识别仰角的量值的信息、用于识别半径的量值的信息或用于识别方位角的量值的信息中的至少一个，其中该信息可以形成将几何数据拆分成一个或多个预测单元的基础。

27、在一些实施例中，用于帧间预测的运动矢量可以被应用于拆分的预测单元中的每个，其中信令数据可以包括用于指示运动矢量是否被应用于拆分的预测单元中的每个的指示信息，其中根据指示信息，信令数据可以进一步包括运动矢量。

28、有益效果

29、根据实施例的点云数据发送方法、点云数据发送设备、点云数据接收方法和点云数据接收设备可以提供好质量的点云服务。

30、根据实施例的点云数据发送方法、点云数据发送设备、点云数据接收方法和点云数据接收设备可以实现各种视频编解码方法。

31、根据实施例的点云数据发送方法、点云数据发送设备、点云数据接收方法和点云数据接收设备可以提供通用点云内容，诸如自主驾驶服务。

32、根据实施例的点云数据发送方法、点云数据发送设备、点云数据接收方法和点云数据接收设备可以执行用于独立编码和解码点云数据的点云数据的空间自适应分区，从而改进并行处理并提供可缩放性。

33、根据实施例的点云数据发送方法、点云数据发送设备、点云数据接收方法和点云数据接收设备可以通过以图块和/或切片为单位分区点云数据来执行编码和解码，并为其用信号发送必要的数据，从而改进点云的编码和解码性能。

34、考虑到内容的特性，根据实施例的点云数据发送方法、点云数据发送设备、点云数据接收方法和点云数据接收设备可以支持将点云数据拆分成作为预测单元的lpu/pu的方法。因此，基于通过参考帧的帧间预测的压缩技术可以被应用于由lidar捕获的并且具有多个帧的点云。由此，可以通过扩展由局部运动矢量可预测的区域来减少用于编码点云数据所需的时间，使得不需要额外的计算。