实施方式涉及用于处理点云内容的方法和设备。
背景技术:
1、点云内容是由点云表示的内容,点云是属于表示三维空间(或体积)的坐标系的点的集合。点云内容可以表示以三维配置的媒体,并用于提供诸如虚拟现实(vr)、增强现实(ar)、混合现实(mr)、扩展现实(xr)和自驾驶这样的各种服务。然而,需要几万到几十万个点数据来表示点云内容。因此,需要高效处理大量点数据的方法。
2、换言之,需要高吞吐量以发送和接收点云数据。因此,在发送和接收点云数据的过程中,其中执行用于压缩的编码和用于解压缩的解码,由于点云数据的量大,计算操作复杂并且耗时。
技术实现思路
1、技术问题
2、为解决上述问题而设计的本公开的目的是提供用于高效发送和接收点云的点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法。
3、本公开的另一目的是提供用于应对等待时间和编码/解码复杂度的点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法。
4、本公开的另一目的是提供点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法,其在多个切片之间给定熵连续性时可以允许接收装置高效地执行缓冲管理。
5、本公开的目的不限于以上提到的目的,并且本领域的普通技术人员在查阅了以下描述后,以上未提到的本公开的其它目的将变得清楚。
6、技术方案
7、为了实现这些目的和其它优点并且根据本公开的目的,如本文中具体实现并广义描述的,一种发送点云数据的方法可以包括以下步骤:对点云数据的几何数据进行编码;基于几何数据对点云数据的属性数据进行编码;以及发送编码的几何数据、编码的属性数据和信令数据。
8、根据实施方式,编码的几何数据被分段为多个切片,并且多个切片中的一个的上下文被至少一个其它切片引用。
9、根据实施方式,信令数据包括切片相关信息和缓冲控制相关信息。
10、根据实施方式,缓冲控制相关信息至少包括用于指示当前切片的上下文是否被至少一个其它切片引用的信息,或者当当前切片的上下文被至少一个其它切片引用时用于标识当前切片的上下文被引用的次数的信息。
11、根据实施方式,一种用于发送点云数据的设备可以包括:几何编码器,其被配置为对点云数据的几何数据进行编码;属性编码器,其被配置为基于几何数据对点云数据的属性数据进行编码;以及发送器,其被配置为发送编码的几何数据、编码的属性数据和信令数据。
12、根据实施方式,编码的几何数据被分段为多个切片,并且多个切片中的一个的上下文被至少一个其它切片引用。
13、根据实施方式,信令数据包括切片相关信息和缓冲控制相关信息。
14、根据实施方式,缓冲控制相关信息至少包括用于指示当前切片的上下文是否被至少一个其它切片引用的信息,或者当当前切片的上下文被至少一个其它切片引用时用于标识当前切片的上下文被引用的次数的信息。
15、根据实施方式,一种接收点云数据的方法可以包括以下步骤:接收几何数据、属性数据和信令数据;基于信令数据对几何数据进行解码;基于信令数据和解码的几何数据对属性数据进行解码;以及基于信令数据渲染解码的点云数据。
16、根据实施方式,几何数据被包括在多个切片中,并且多个切片中的一个的上下文被至少一个其它切片引用。
17、根据实施方式,信令数据包括切片相关信息和缓冲控制相关信息。
18、根据实施方式,缓冲控制相关信息至少包括用于指示当前切片的上下文是否被至少一个其它切片引用的信息,或者当当前切片的上下文被至少一个其它切片引用时用于标识当前切片的上下文被引用的次数的信息。
19、根据实施方式,几何数据的解码包括:基于切片相关信息和缓冲控制相关信息来控制当前切片的上下文的缓冲存储。
20、根据实施方式,几何数据的解码包括:当基于切片相关信息和缓冲控制相关信息确定当前切片的上下文未被至少一个其它切片引用时,从缓冲器删除当前切片的上下文。
21、根据实施方式,几何数据的解码包括:当基于切片相关信息和缓冲控制相关信息确定当前切片的上下文被至少一个其它切片引用时,在当前切片的上下文被至少一个其它切片引用之后从缓冲器删除当前切片的上下文。
22、有益效果
23、根据实施方式的点云数据发送方法、点云数据发送装置、点云数据接收方法和点云接收装置可以提供高质量的点云服务。
24、根据实施方式的点云数据发送方法、点云数据发送装置、点云数据接收方法和点云接收装置可以实现各种视频编解码方法。
25、根据实施方式的点云数据发送方法、点云数据发送装置、点云数据接收方法和点云接收装置可以提供诸如自主驾驶服务这样的通用点云内容。
26、根据实施方式的点云数据发送方法、点云数据发送装置、点云数据接收方法和点云数据接收装置可以执行点云数据的空间自适应分割以独立地对点云数据进行编码和解码,由此提高并行处理并提供可扩展性。
27、根据实施方式的点云数据发送方法、点云数据发送装置、点云数据接收方法和点云数据接收装置可以通过以拼块和/或切片为单位对点云数据进行分割来执行编码和解码并因此用信号通知其必要数据,由此提高点云的编码和解码性能。
28、对于点云数据,根据实施方式的点云数据发送方法、点云数据发送装置、点云数据接收方法和点云数据接收装置可以根据预定标准来划分和发送压缩数据。另外,当使用分层编码时,可以根据层来划分和发送压缩数据。因此,发送装置的存储和传输效率可以增加。
29、利用根据实施方式的点云数据发送方法、点云数据发送装置、点云数据接收方法和点云数据接收装置,当比特流以片划分和发送时,接收器可以根据要根据解码器性能或应用字段表示的点云数据的密度将比特流选择性地传送到解码器。在这种情况下,由于在解码之前进行选择,所以解码器效率可增加,并且可以支持各种性能的解码器。
30、利用根据实施方式的点云数据发送方法、点云数据发送装置、点云数据接收方法和点云数据接收装置,可以提供信令以指示在后续切片中是否使用关于当前切片的编码信息/节点信息,并且可以基于该指示来管理当前切片的上下文在缓冲器中的存储和删除,以便高效管理接收装置的缓冲器(或上下文缓冲器)。由此,可以高效地管理接收器的缓冲器。即,即使当发送装置将点云数据划分成多个切片并发送时,也可以通过允许使用连续编码信息和/或邻居节点信息来增强压缩效率。另外,由于接收装置被允许识别在后续切片中是否使用关于当前切片的编码信息/节点信息,所以可以高效地执行缓冲管理。例如,接收器可以通过预先确定在后续切片中是否使用当前切片的上下文来高效地管理资源。
1.一种发送点云数据的方法,该方法包括以下步骤:
2.根据权利要求1所述的方法,
3.根据权利要求2所述的方法,
4.根据权利要求3所述的方法,
5.一种用于发送点云数据的设备,该设备包括:
6.根据权利要求5所述的设备,
7.根据权利要求6所述的设备,
8.根据权利要求7所述的设备,其中,所述缓冲控制相关信息至少包括用于指示当前切片的上下文是否被至少一个其它切片引用的信息,或者当所述当前切片的所述上下文被所述至少一个其它切片引用时用于标识所述当前切片的所述上下文被引用的次数的信息。
9.一种接收点云数据的方法,该方法包括以下步骤:
10.根据权利要求9所述的方法,
11.根据权利要求10所述的方法,
12.根据权利要求11所述的方法,
13.根据权利要求11所述的方法,其中,对所述几何数据进行解码的步骤包括以下步骤:
14.根据权利要求13所述的方法,其中,对所述几何数据进行解码的步骤包括以下步骤:
15.根据权利要求13所述的方法,其中,对所述几何数据进行解码的步骤包括以下步骤: