具有多个测量结果的3D点云增强的制作方法

具有多个测量结果的3d点云增强
1.相关申请的交叉引用
2.本技术是2020年2月6日提交的名称为“具有多个测量结果的3d点云增强(3d point cloud enhancement with multiple measurements)”的美国临时专利申请号62/970,956的非临时提交，并且根据35u.s.c.
§
119(e)要求该美国临时专利申请的权益，该美国临时专利申请全文以引用方式并入本文。


背景技术：

3.本公开涉及点云处理和压缩的领域。本领域涉及点云信号的分析、内插和表示。
4.作为3d空间中连续表面的离散表示，点云可被分类为包括以下项的类别：有组织的点云，诸如由类相机的3d传感器或3d激光扫描仪收集并布置在网格上的点云；和无组织的点云，诸如由于其复杂结构而从多个视点扫描并随后融合在一起从而导致索引排序丢失的点云。有组织的点云可更容易处理，因为底层的网格意味着可反映感测顺序的自然空间连通性。相反，对无组织的点云的处理可能更具挑战性。这是由于无组织的点云不同于与规则点阵相关联的1d语音数据或2d图像的事实。相反，它们往往稀疏且不规则地散布在3d空间中；这使得传统的基于点阵的算法难以处理3d点云。例如，卷积算子在规则点阵上被很好地定义，但不能直接应用于3d点云。
5.此外，点云可表示包含多个移动对象的相同场景的顺序表示。与从静态场景或静态对象捕获的静态点云相比，它们被称为动态点云。动态点云可被组织成帧，其中不同的帧在不同的时间被捕获。
6.点云可用于各种目的，诸如表示文化遗产的对象，其中如雕像或建筑物的对象以3d形式扫描，以便在不发送或访问对象的情况下共享该对象的空间构型。而且，这是一种确保在对象可能被破坏的情况下保存其知识的方式；例如，地震后的寺庙。此类点云通常是静态的、有色的并且往往包括大量的点。
7.另一种用例是在地形图和制图中，其中使用3d表示，地图不限于平面并且可包括地形凹凸。谷歌地图现在是3d地图的良好示例，但其通常使用网格而不是点云。然而，点云可以是用于3d地图的合适的数据格式，并且此类点云通常是静态的、有色的并且往往包括大量的点。
8.汽车工业和自动驾驶汽车技术也是可使用点云的领域。自动驾驶汽车应该能够“探测”其环境，以基于其紧邻区域的实际情况采取良好的驾驶决策。典型的传感器如激光雷达产生由决策引擎使用的动态点云。这些点云并非旨在被人看到，并且它们通常是小的，不一定是彩色的，并且是动态的，具有高的捕获频率。点云可具有其他属性，如由激光雷达提供的反射率，因为该属性良好地指示被感测对象的材料，并且可有助于做出决策。
9.虚拟现实和沉浸式世界越来越受到关注。此类技术试图使观察者沉浸在其周围的环境中，而不像标准tv那样只能看着面前的虚拟世界。根据观察者在环境中的自由度，沉浸感有若干层次。点云是分布虚拟现实(或vr)世界的良好格式候选。它们可以是静态的或动态的，并且通常具有平均大小，比如一次不超过数百万个点。
10.期望能够以合理的比特率消耗向最终用户分布动态点云，同时保持可接受的(或优选非常好的)体验质量。这些动态点云的有效压缩可有助于使沉浸式世界的分布链变得实用。


技术实现要素：

11.根据一些实施方案的点云解码方法包括：获得至少表示第一点云和第二点云的数据；获得至少识别与第一点云相关联的第一组量化器移位的信息；以及至少基于第一点云、第一组量化器移位和第二点云来获得细化的点云数据。
12.根据一些实施方案的点云解码器装置包括被配置为至少执行以下操作的处理器：获得至少表示第一点云和第二点云的数据；获得至少识别与第一点云相关联的第一组量化器移位的信息；以及至少基于第一点云、第一组量化器移位和第二点云来获得细化的点云数据。
13.在一些实施方案中，获得细化的点云数据包括至少基于第一组量化器移位来执行减法。
14.一些实施方案还包括获得识别与第二点云相关联的第二组量化器移位的信息，该第二组量化器移位不同于第一组量化器移位；其中获得细化的点云数据还基于第二组量化器移位。在一些此类实施方案中，获得细化的点云数据包括至少基于第一组量化器移位和第二组量化器移位来执行减法。
15.在一些实施方案中，第一点云表示场景的左视图，并且第二点云表示场景的右视图。
16.在一些实施方案中，第一点云和第二点云是与不同的时间相关联的帧。
17.在一些实施方案中，第一组量化器移位至少包括与第一点云中的第一点相关联的第一移位和与第一点云中的第二点相关联的不同的第二移位。
18.在一些实施方案中，表示第一点云的数据包括具有第一量化范围的第一参数(y1)，表示第二点云的数据包括具有第二量化范围的第二参数(y2)，并且其中获得细化的点云数据包括获得第一参数(y1)和第二参数(y2)两者的量化范围中的第三参数
19.在一些实施方案中，基于第一点云(y
l
)和第二点云(yr)来获得细化的点云数据(x
l
)包括选择细化的第一点云(x
l
)以基本上最大化包括以下因子中的一个或多个因子的因子的乘积：
20.·
给定细化的第一点云(x
l
)的第一点云(y
l
)的条件概率pr(y
l
|x
l
)，
21.·
给定第二细化的点云(xr)的估计值g(x
l
)的第二点云(yr)的条件概率pr(yr|g(x
l
))，其中估计值g(x
l
)基于第一细化的点云(x
l
)，
22.·
第一细化的点云数据(x
l
)的先验概率pr(x
l
)，和
23.·
第二细化的点云(xr)的估计值g(x
l
)的先验概率pr(g(x
l
))。
24.根据一些实施方案的点云编码方法包括：获得至少表示第一点云和第二点云的数据；量化第一点云和第二点云，其中量化点云数据包括向第一点云数据至少添加第一组量化器移位；以及在比特流中编码经量化的第一点云和第二点云。
25.根据一些实施方案的点云编码装置包括被配置为至少执行以下操作的处理器：获得至少表示第一点云和第二点云的数据；量化第一点云和第二点云，其中量化点云数据包
括向第一点云数据至少添加第一组量化器移位；以及在比特流中编码经量化的第一点云和第二点云。
26.一些实施方案还包括在比特流中编码指示第一组量化器移位的信息。
27.在一些实施方案中，量化第一点云和第二点云还包括向第二点云添加第二组量化器移位，还包括在比特流中编码指示该第二组量化器移位的信息。
28.在一些实施方案中，第一点云表示场景的左视图，并且第二点云表示场景的右视图。
29.在一个示例性实施方案中，方法包括：接收初始第一点云数据(y
l
)和至少初始第二点云数据(yr)；以及选择细化的第一点云数据(x
l
)以基本上最大化因子的乘积，其中该因子至少包括：给定细化的第一点云数据(x
l
)的初始第一点云数据(y
l
)的条件概率pr(y
l
|x
l
)；给定细化的第二点云数据(xr)的估计值g(x
l
)的初始第二点云数据(yr)的条件概率pr(yr|g(x
l
))，其中估计值g(x
l
)基于细化的第一点云数据x
l
；细化的第一点云数据(x
l
)的先验概率pr(x
l
)；和细化的第二点云数据(xr)的估计值g(x
l
)的先验概率pr(g(x
l
))。
30.一些实施方案还包括，在选择细化的第一点云数据(x
l
)之后，从细化的第一点云数据中减去量化器移位δ
l
。
31.在一些实施方案中，迭代地执行选择细化的第一点云数据(x
l
)。
32.在一些实施方案中，选择细化的第一点云数据(x
l
)以基本上最大化因子的乘积包括选择细化的第一点云数据(x
l
)以基本上最小化因子的负对数之和。可使用梯度下降方法来执行选择细化的第一点云数据(x
l
)以基本上最小化因子的负对数之和。
33.在一些实施方案中，给定细化的第一点云数据(x
l
)的初始第一点云数据(y
l
)的条件概率pr(y
l
|x
l
)由初始第一点云数据(y
l
)与细化的第一点云数据(x
l
)之间的差值的线性函数来表示。
34.在一些实施方案中，细化的第二点云数据(xr)的估计值g(x
l
)是细化的第二点云数据(xr)的线性函数。
35.在一些实施方案中，给定细化的第二点云数据(xr)的估计值g(x
l
)的初始第二点云数据(yr)的条件概率pr(yr|g(x
l
))由初始第二点云数据(yr)与细化的第二点云数据(xr)的估计值g(x
l
)之间的差值的线性函数来表示。
36.在一些实施方案中，细化的第一点云数据(x
l
)的先验概率pr(x
l
)由表示，其中l
l
是图拉普拉斯矩阵。
37.在一些实施方案中，细化的第二点云数据(xr)的估计值g(x
l
)的先验概率pr(g(x
l
))由exp(-g(x
l
)
t
lrg(x
l
)/σ2)表示，其中lr是图拉普拉斯矩阵。
38.一些实施方案还包括接收第一点云数据和至少第二点云数据；以及至少使用第二点云数据来细化第一点云数据。一些此类实施方案还包括，在细化第一点云数据之后，从细化的第一点云数据中减去量化器移位。在一些实施方案中，量化器移位是预定的量化器移位。
39.在一些实施方案中，编码方法包括：接收初始第一点云数据和至少初始第二点云数据；通过包括向第一点云数据添加第一组量化器移位δ1的方法来处理初始第一点云数据和初始第二点云数据；以及对经处理的第一点云数据和第二点云数据进行编码。
40.在一些实施方案中，处理初始第一点云数据和初始第二点云数据还包括向第二点云数据添加第二组量化器移位δ2。第一组量化器移位δ1可不同于第二组量化器移位δ2。
41.在一些实施方案中，该编码方法还包括提供识别(i)第一组量化器移位δ1或(ii)第二组量化器移位δ2中的至少一者的信息以及经编码的第一点云数据和第二点云数据。
42.在一些实施方案中，解码方法包括：接收经编码的第一点云数据和至少经编码的第二点云数据；接收至少识别第一组量化器移位δ1的信息；解码第一点云数据和至少第二点云数据；使用经解码的第二点云数据来细化经解码的第一点云数据；以及从第一点云数据中减去第一组量化器移位δ1。
43.在一些实施方案中，本文所述的系统或方法中的任一者可用于以点云格式以外的格式来细化深度数据。例如，本文所述的系统和方法可用于细化rgb-d或其他深度图格式的深度数据(例如，深度数据xl、xr)。
44.装置的一些实施方案包括被配置为执行本文所述的方法中的至少一种或多种方法的处理器。
45.装置的一些实施方案包括处理器和计算机可读介质，该计算机可读介质存储操作用于执行本文所述的方法中的至少一种或多种方法的指令。计算机可读介质可以是非暂态计算机可读介质。
46.一些实施方案包括计算机可读介质，该计算机可读介质存储使用本文所述的方法中的一种或多种方法编码的点云数据。该介质可以是非暂态计算机可读介质。
附图说明
47.图1a是示出在其中一个或多个所公开的实施方案可得以实施的示例性通信系统的系统图。
48.图1b是根据实施方案的示出可在图1a所示的通信系统内使用的示例性无线发射/接收单元(wtru)的系统图。
49.图2a是提供对来自相同点的两个独立测量结果的点云数据进行细化的示例的示意图。
50.图2b是示出当两个相机视图形成立体钻塔形时，如果量化bin对准良好则无法实现深度细化的示意图。
51.图3是示出根据一些实施方案，当两个相机视图形成立体钻塔形时，移位量化bin可用于实现深度细化的示意图。
52.图4是示出根据一些实施方案，在相同的观察中，当将移位引入到单个测量结果的量化bin时，对于高度相关的测量结果可实现细化的示意图。
53.图5示出了在一些实施方案中使用的相机系统的示例。
54.图6示出了使用高斯分布的线性近似的示例。
55.图7是在一些实施方案中使用的用于点云压缩的示例性编码器的框图。
56.图8是根据一些实施方案的使用联合细化的解码器的框图。
57.图9是根据一些实施方案的当不应用细化时的解码器的框图。
58.图10是示出根据一些实施方案的解码器的细化模块的部件的框图。
59.图11是在一些实施方案中使用的视频编码器的框图。
60.图12是在一些实施方案中使用的视频解码器的框图。
61.图13是其中实现了各个方面和实施方案的系统的示例的框图。
62.图14是根据一些实施方案的示例性点云编码方法的流程图。
63.图15是根据一些实施方案的示例性点云解码方法的流程图。
64.用于实现实施方案的示例性网络
65.图1a是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的示意图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信系统100可采用一个或多个信道接入方法，诸如码分多址接入(cdma)、时分多址接入(tdma)、频分多址接入(fdma)、正交fdma(ofdma)、单载波fdma(sc-fdma)、零尾唯一字dft扩展ofdm(zt uw dts-s ofdm)、唯一字ofdm(uw-ofdm)、资源块滤波ofdm、滤波器组多载波(fbmc)等。
66.如图1a所示，通信系统100可包括无线发射/接收单元(wtru)102a、102b、102c、102d、ran 104、cn 106、公共交换电话网(pstn)108、互联网110和其他网络112，但是应当理解，所公开的实施方案设想了任意数量的wtru、基站、网络和/或网络元件。wtru 102a、102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例，wtru 102a、102b、102c、102d(其中任何一个均可被称为“站”和/或“sta”)可被配置为传输和/或接收无线信号，并且可包括用户设备(ue)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(pda)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、热点或mi-fi设备、物联网(iot)设备、手表或其他可穿戴设备、头戴式显示器(hmd)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。wtru 102a、102b、102c和102d中的任一者可互换地称为ue。
67.通信系统100还可包括基站114a和/或基站114b。基站114a、114b中的每一者可为任何类型的设备，其被配置为与wtru 102a、102b、102c、102d中的至少一者无线对接以促进对一个或多个通信网络(诸如cn 106、互联网110和/或其他网络112)的访问。作为示例，基站114a、114b可为基站收发台(bts)、节点b、演进节点b、家庭节点b、家庭演进节点b、gnb、nr节点b、站点控制器、接入点(ap)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件，但应当理解，基站114a、114b可包括任何数量的互连基站和/或网络元件。
68.基站114a可以是ran 104的一部分，该ran还可包括其他基站和/或网络元件(未示出)，诸如基站控制器(bsc)、无线电网络控制器(rnc)、中继节点等。基站114a和/或基站114b可被配置为在一个或多个载波频率(其可称为小区(未示出))上发射和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖，该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如，与基站114a相关联的小区可被划分为三个扇区。因此，在一个实施方案中，基站114a可包括三个收发器，小区的每个扇区一个收发器。在一个实施方案中，基站114a可采用多输入多输出(mimo)技术并且可针对小区的每个扇区利用多个收发器。例如，可使用波束成形在所需的空间方向上传输和/或接收信号。
69.基站114a、114b可通过空中接口116与wtru 102a、102b、102c、102d中的一者或多者通信，该空中接口可为任何合适的无线通信链路(例如，射频(rf)、微波、厘米波、微米波、红外(ir)、紫外(uv)、可见光等)。可使用任何合适的无线电接入技术(rat)来建立空中接口116。
70.更具体地讲，如上所指出，通信系统100可为多址接入系统，并且可采用一个或多个信道接入方案，诸如cdma、tdma、fdma、ofdma、sc-fdma等。例如，ran 104中的基站114a和wtru 102a、102b、102c可实现诸如通用移动通信系统(umts)陆地无线电接入(utra)之类的无线电技术，其可使用宽带cdma(wcdma)来建立空中接口115/116/117。wcdma可包括诸如高速分组接入(hspa)和/或演进的hspa(hspa+)之类的通信协议。hspa可包括高速下行链路(dl)分组接入(hsdpa)和/或高速ul分组接入(hsupa)。
71.在一个实施方案中，基站114a和wtru 102a、102b、102c可实现诸如演进的umts陆地无线电接入(e-utra)的无线电技术，其可使用长期演进(lte)和/高级lte(lte-a)和/或高级lte pro(lte-a pro)来建立空中接口116。
72.在一个实施方案中，基站114a和wtru 102a、102b、102c可实现诸如nr无线电接入之类的无线电技术，其可使用新无线电(nr)来建立空中接口116。
73.在实施方案中，基站114a和wtru 102a、102b、102c可实现多种无线电接入技术。例如，基站114a和wtru 102a、102b、102c可例如使用双连接(dc)原理一起实现lte无线电接入和nr无线电接入。因此，wtru 102a、102b、102c所使用的空中接口可由多种类型的无线电接入技术和/或向/从多种类型的基站(例如，enb和gnb)发送的传输来表征。
74.在其他实施方案中，基站114a和wtru 102a、102b、102c可实现诸如ieee 802.11(无线保真(wifi))、ieee 802.16(全球微波接入互操作性(wimax))、cdma2000、cdma2000 1x、cdma2000 ev-do、暂行标准2000(is-2000)、暂行标准95(is-95)、暂行标准856(is-856)、全球移动通信系统(gsm)、增强数据率的gsm演进(edge)、gsm edge(geran)等无线电技术。
75.图1a中的基站114b可为例如无线路由器、家庭节点b、家庭演进节点b或接入点，并且可利用任何合适的rat来促进诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等局部区域中的无线连接。在实施方案中，基站114b和wtru 102c、102d可实现诸如ieee 802.11之类的无线电技术以建立无线局域网(wlan)。在实施方案中，基站114b和wtru 102c、102d可实现诸如ieee 802.15之类的无线电技术以建立无线个域网(wpan)。在又一个实施方案中，基站114b和wtru 102c、102d可利用基于蜂窝的rat(例如，wcdma、cdma2000、gsm、lte、lte-a、lte-a pro、nr等)来建立微微小区或毫微微小区。如图1a所示，基站114b可具有与互联网110的直接连接。因此，基站114b可不需要经由cn 106访问互联网110。
76.ran 104可与cn 106通信，该cn可以是被配置为向wtru 102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(voip)服务的任何类型的网络。数据可具有不同的服务质量(qos)要求，诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。cn 106可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等，和/或执行高级安全功能，诸如用户认证。尽管未在图1a中示出，但是应当理解，ran 104和/或cn 106可与采用与ran 104相
同的rat或不同rat的其他ran进行直接或间接通信。例如，除了连接到可利用nr无线电技术的ran 104之外，cn 106还可与采用gsm、umts、cdma 2000、wimax、e-utra或wifi无线电技术的另一ran(未示出)通信。
77.cn 106也可充当wtru 102a、102b、102c、102d的网关，以访问pstn 108、互联网110和/或其他网络112。pstn 108可包括提供普通老式电话服务(pots)的电路交换电话网络。互联网110可包括使用常见通信协议(诸如传输控制协议(tcp)、用户数据报协议(udp)和/或tcp/ip互联网协议组中的互联网协议(ip))的互连计算机网络和设备的全球系统。网络112可包括由其他服务提供商拥有和/或运营的有线和/或无线通信网络。例如，网络112可包括连接到一个或多个ran的另一个cn，其可采用与ran 104相同的rat或不同的rat。
78.通信系统100中的一些或所有wtru 102a、102b、102c、102d可包括多模式能力(例如，wtru 102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如，图1a所示的wtru 102c可被配置为与可采用基于蜂窝的无线电技术的基站114a通信，并且与可采用ieee 802无线电技术的基站114b通信。
79.图1b是示出示例性wtru 102的系统图。如图1b所示，wtru 102可包括处理器118、收发器120、发射/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源134、全球定位系统(gps)芯片组136和/或其他外围设备138等。应当理解，在与实施方案保持一致的同时，wtru 102可包括前述元件的任何子组合。
80.处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、多个微处理器、与dsp核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(asic)、现场可编程门阵列(fpga)电路、任何其他类型的集成电路(ic)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能，这些其他功能使wtru 102能够在无线环境中工作。处理器118可耦合到收发器120，该收发器可耦合到发射/接收元件122。虽然图1b将处理器118和收发器120描绘为单独的部件，但是应当理解，处理器118和收发器120可在电子封装或芯片中集成在一起。
81.发射/接收元件122可被配置为通过空中接口116向基站(例如，基站114a)发射信号或从基站接收信号。例如，在一个实施方案中，发射/接收元件122可以是被配置为发射和/或接收rf信号的天线。在一个实施方案中，发射/接收元件122可以是被配置为发射和/或接收例如ir、uv或可见光信号的发射器/检测器。在又一个实施方案中，发射/接收元件122可被配置为发射和/或接收rf和光信号两者。应当理解，发射/接收元件122可被配置为发射和/或接收无线信号的任何组合。
82.尽管发射/接收元件122在图1b中被描绘为单个元件，但是wtru 102可包括任何数量的发射/接收元件122。更具体地讲，wtru 102可采用mimo技术。因此，在一个实施方案中，wtru 102可包括用于通过空中接口116发射和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。
83.收发器120可被配置为调制将由发射/接收元件122发射的信号并且解调由发射/接收元件122接收的信号。如上所指出，wtru 102可具有多模式能力。例如，因此，收发器120可包括多个收发器，以便使wtru 102能够经由多种rat(诸如nr和ieee 802.11)进行通信。
84.wtru 102的处理器118可耦合到扬声器/麦克风124、小键盘126和/或显示器/触摸
板128(例如，液晶显示器(lcd)显示单元或有机发光二极管(oled)显示单元)并且可从其接收用户输入数据。处理器118还可将用户数据输出到扬声器/麦克风124、小键盘126和/或显示器/触摸板128。此外，处理器118可从任何类型的合适存储器(诸如不可移动存储器130和/或可移动存储器132)访问信息，并且将数据存储在其中。不可移动存储器130可包括随机存取存储器(ram)、只读存储器(rom)、硬盘或任何其他类型的存储器存储设备。可移动存储器132可包括用户身份模块(sim)卡、记忆棒、安全数字(sd)存储卡等。在其他实施方案中，处理器118可从未物理上定位在wtru 102上(诸如，服务器或家用计算机(未示出)上)的存储器访问信息，并且将数据存储在该存储器中。
85.处理器118可从电源134接收电力，并且可被配置为向wtru 102中的其他部件分配和/或控制电力。电源134可以是用于为wtru 102供电的任何合适的设备。例如，电源134可包括一个或多个干电池组(例如，镍镉(nicd)、镍锌(nizn)、镍金属氢化物(nimh)、锂离子(li-ion)等)、太阳能电池、燃料电池等。
86.处理器118还可耦合到gps芯片组136，该gps芯片组可被配置为提供关于wtru 102的当前位置的位置信息(例如，经度和纬度)。除了来自gps芯片组136的信息之外或代替该信息，wtru 102可通过空中接口116从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个附近基站接收到信号的定时来确定其位置。应当理解，在与实施方案保持一致的同时，wtru 102可通过任何合适的位置确定方法来获取位置信息。
87.处理器118还可耦合到其他外围设备138，该其他外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块和/或硬件模块。例如，外围设备138可包括加速度计、电子指南针、卫星收发器、数字相机(用于照片和/或视频)、通用串行总线(usb)端口、振动设备、电视收发器、免提头戴式耳机、模块、调频(fm)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(vr/ar)设备、活动跟踪器等。外围设备138可包括一个或多个传感器，该传感器可为以下一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器；地理位置传感器；测高计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物识别传感器和/或湿度传感器。
88.wtru 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的发射和接收(例如，与用于ul(例如，用于发射)和下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。全双工无线电台可包括干扰管理单元，该干扰管理单元用于经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器118)进行的信号处理来减少和/或基本上消除自干扰。在一个实施方案中，wtru 102可包括半双工无线电台，对于该半双工无线电台，一些或所有信号的发射和接收(例如，与用于ul(例如，用于发射)或下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。
89.尽管wtru在图1a至图1b中被描述为无线终端，但是可以设想，在某些代表性实施方案中，此类终端可(例如，临时或永久)使用与通信网络的有线通信接口。
90.在代表性实施方案中，其他网络112可为wlan。
91.鉴于图1a至图1b以及对应描述，本文参照以下中的一者或多者描述的功能中的一个或多个功能或全部功能可由一个或多个仿真设备(未示出)执行：wtru 102a-102d、基站114a-114b和/或本文所述的任何其他设备。仿真设备可以是被配置为模仿本文所述的一个
或多个或所有功能的一个或多个设备。例如，仿真设备可用于测试其他设备和/或模拟网络和/或wtru功能。
92.仿真设备可被设计为在实验室环境和/或运营商网络环境中实现其他设备的一个或多个测试。例如，该一个或多个仿真设备可执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能，同时临时被实现/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。
93.该一个或多个仿真设备可执行一个或多个(包括所有)功能，同时不被实现/部署为有线和/或无线通信网络的一部分。例如，仿真设备可在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试装备。经由rf电路(例如，其可包括一个或多个天线)进行的直接rf耦合和/或无线通信可由仿真设备用于传输和/或接收数据。
具体实施方式
94.3d点云数据可表示对象或场景的表面上的样本。当收集/处理动态点云时，相同对象的数据样本往往出现在不同的观察中，其通过2d到3d投影强相关。换句话讲，在不同观察之间的重叠区域中，对相同3d场景具有多个测量结果，例如图2b。在给定测量结果高度相关的信息的情况下，即使对于出现在相同观察中的测量结果，也可将它们视为相同对象的不同测量结果，例如图4。示例性实施方案操作用于利用点云中的不同观察之间的相关性来改善点云的质量。
95.一些实施方案经由来自多个观察的相关测量结果来联合执行3d点云数据的去噪和解量化。不仅是量化的观察，而且每个测量结果的噪声破坏的观察也可被认为是用于重构性能的经编码的量化bin。一些实施方案有意地移位应用于噪声破坏的点云数据的量化bin。通过如此操作，当考虑多个观察的相关性时，与其中量化bin严格对准的情况相比，这可进一步缩小测量结果的合理范围。
96.示例性实施方案不限于从任何特定类型的深度传感器获得的点云数据。从低端传感器(如飞行时间(tof)传感器和结构化光传感器)到高端传感器(如激光雷达、激光扫描仪等)的各种不同的深度传感器或使用计算机图形的合成数据都是可用于各种实施方案的数据源。
97.在一些实施方案中，本文所公开的系统和方法用于在使用深度传感器进行采集期间增强3d点云质量。在其他实施方案中，本文的系统和方法被应用于点云压缩(pcc)。在一些现有的pcc方法中，要处理的当前帧可使用一个或多个参考帧进行压缩。在一些实施方案中，参考帧还使用来自当前帧的信息来增强其自身的重构，使得点云帧可彼此参考以进行重构。在编码器侧，有能力有意地移位被应用于点云数据的量化bin；而在解码器侧，可组合多个相关观察以增强点云数据，从而导致更高精度的重构。如本文所述的系统和方法具有各种基于pcc的用例。一些实施方案操作用于提高使用帧间编码或帧内编码进行编码的点云数据的精度。一些实施方案在于编码器处使用任何特定编码结构(例如，八叉树)时应用。如果对点云视频的编码采用变换编码，则一些实施方案直接在变换域中操作以提供更高的
精度。
98.虽然深度传感器现在重量轻并且常见，但所获得的测量结果往往在精度上是粗糙的并且可被噪声破坏。然而，当捕获3d数据(特别是特定场景中的3d数据序列)时，相同的(或高度相关的)场景(或对象)可能已被捕获多次。换句话讲，可能已对大致相同的对象进行了不同的观察。因此，示例性实施方案在点云数据的深度测量结果中使用相同对象的不同观察来共同提高观察的精度，而这些观察可能被噪声破坏并且经历量化误差。此类技术在一些实施方案中可应用于点云压缩。
99.示例性实施方案的概述
100.示例性实施方案在点云数据中使用不同的观察来共同提高测量结果的质量。图2a示出了由两个不同的观察(观察1和观察2)对点p的深度的测量。这里的观察可以是在采集期间由深度传感器测量的视图，或者其在点云压缩的情况下可以是点云序列中的帧。在该示例中，为了简化描述，假设测量是无噪声的。测量结果由两个量化器q1和q2量化，以便用一定数量的比特表示。量化导致了两个不同的不确定性范围。假定相机位姿是已知的(或者可通过所获得的点云数据或其他方式来估计)，则可考虑这两个不确定性范围的交集，从而导致更窄的不确定性范围，并且继而导致更高的准确度。示例性实施方案不限于仅两个观察：当对相同的对象进行三个或更多个观察或测量时，可应用类似的推理。
101.当使用两个相机来测量场景时，它们可被布置为立体钻塔形，如图2b所示。在这种情况下，当量化器具有对准的量化bin时，取不确定性范围的交集并不导致更高的准确度。为了解决这一问题，一些实施方案提供了移位量化bin的选项，如图3所示，这可缩小不确定性范围。
102.一些实施方案未采用多个观察。图4示出了其中仅进行一次观察的实施方案。在这种情况下，假定被测量的两个点a和b是高度相关的，具有非常相似的测量结果，则可将操作用于移位量化bin的实施方案分别应用于这两个点。因此，当取两个不确定性范围的交集时，可提高深度精度。
103.示例性实施方案可采用有损点云压缩。在编码器侧，点云数据(在其原始空间域中或在变换域中)被量化，其中量化bin被有意地移位，并且量化的信号随后被编码。指示量化器的移位的信息可用于编码器和解码器两者。例如，编码器可向解码器发信号通知移位。在解码器侧，可通过考虑量化器移位来处理测量相同场景的点云数据。用于点云压缩的此类技术的应用的示例在下文的“点云压缩”部分中进行描述。
104.经由多个观察的点云增强
105.下面描述使用来自两个相机视图的不精确深度测量来增强3d点云数据的实施方案。示例性实施方案利用了凸优化。虽然关于来自两个相机视图的测量结果描述了示例，但应当指出的是，所述技术在其他实施方案中也适用于使用三个或更多个视图的实施方案。
106.因为从相同3d对象到两个图像平面上的2d投影是彼此的相关映射，所以示例性实施方案操作用于通过同时优化两个视图的似然和先验来提高重构3d点的质量。在数学上，像素行中的信号和噪声相关性可使用图形来建模，该图形是使用来自先前行的数据经由受约束的l1范数最小化来学习的。可能形成最大后验(map)问题，其在适当的线性近似之后产生无约束的凸可微目标，可使用快速梯度方法(fgm)来解决。
107.立体捕获系统
structured light”，发表于《2003ieee computer society conference on computer vision and pattern recognition,2003,proceedings》，第1卷，第i
–
i页，ieee,2003；以及j.jin,a.wang,y.zhao,c.lin和b.zeng，“region-aware 3-d warping for dibr.《ieee transactions on multimedia》，18(6):953
–
966,2016。对于左视图中的第j个像素x
l,j
，其在投影之后在右视图中的水平位置s(j,x
l,j
)为
117.s(j，x
l，j
)＝j-d(x
l，j
)
[0118][0119]
其中d为(非整数)视差，f为相机焦距，并且d为表示左视图与右视图之间的距离的基线。需注意，s是左像素位置j和值x
l,j
两者的函数。
[0120]
假设对象表面是平滑的，在给定左像素x
l
的情况下将右像素xr内插为
[0121]
xr＝wx
l
＝g(x
l
)
ꢀꢀꢀ
(3)其中w∈rn×n是具有元素ω
ij
的权重矩阵。具体地，x
r,i
与x
l,j
之间的权重ω
ij
可被建模为
[0122][0123]
在该示例中，如果x
l,j
中的像素j的投影位置s(j,x
l,j
)与xr中的目标像素位置i之间的距离较小，则权重ω
ij
较大。
[0124]
可通过使用归一化常数来简化公式(4)
[0125][0126]
与(2)相结合，(4)可被重写为
[0127][0128]
由于g(x
l
)是可微的，所以一阶泰勒级数展开式可被定义为约以得到线性近似，其中是第一估计值。因此，
[0129][0130]
其中是g(x
l
)在处的一阶导数，并且是常数向量。
[0131]
似然项和信号先验
[0132]
示例性实施方案在零均值加性噪声n
l
∈rn遵循联合高斯分布的假设下操作，其中n
l
的概率密度函数(pdf)为
[0133][0134]
其中p是正定(pd)精度矩阵，并且是噪声方差。给定观察y
l
，似然项pr(y
l
|x
l
)为
[0135][0136]
其中执行积分(8)的区域r
l
为
[0137][0138]
其为与y
l,i
相关联的量化bin。在该示例中，假设噪声项n
l
和nr是独立的。
[0139]
(8)中对联合高斯pdf的积分是非平凡的。然而，pr(n
l
)可在区域r
l
上近似为仿射函数
[0140][0141]
其中a∈rn和b∈r是可经由给定(7)的y
l-x
l
处的泰勒级数展开式计算的常数。出于说明的目的，在图6中示出了一维示例。公式(8)然后可表示为
[0142][0143]
有了线性形式的似然项，现在让我们在公式化map问题之前转向信号。已经观察到，深度图是分段平滑的(pws)。假设先前的k行已经被重构，并且下一个像素行i遵循类似的图像结构。在该示例中，选择使用图拉普拉斯正则器作为信号先验，例如使用如在gene cheung,enrico magli,yuichi tanaka和michael k ng，“graph spectral image processing”，proceedings of the ieee,106(5):907
–
930,2018中描述的技术。拉普拉斯正则器的使用使得信号x
l
相对于某个图形g(具有被表示为l
l
的相关联的图拉普拉斯矩阵)应当是平滑的假设生效，使得项是小的。在该示例中，左行x
l
的先验可表示为
[0144][0145]
在该示例中，不限制图形g的构造。可基于先前重构的结果或当前被破坏的测量结果y
l
来构建适当的图形。其他实施方案可使用其他技术来确定先验pr(x
l
)。在一些此类实施方案中，pr(x
l
)的值随着x
l
的平滑度(或分段平滑度)的水平的增加而增加，其中可使用一种或多种不同的技术来表示平滑度。
[0146]
最大后验(map)公式
[0147]
在一些实施方案中，如下公式化map问题以获得估计值
[0148][0149]
其中在(15)中用g(x
l
)替换xr，并且在(16)中拆分第一项，因为左噪声n
l
和右噪声nr是独立的。
[0150]
为了便于优化，改为最小化(17)的负对数：
[0151][0152]
公式(19)是无约束的凸可微目标；其可使用梯度下降方法求解。当应用上述公式(19)时，不需要限制拉普拉斯矩阵的选择和估计噪声参数的方法。在已求解(19)之后，可从估计值中减去量化器移位δ
l
。在一些实施方案中，向量可用作估计值在其他实施方案中，可通过在反转下标l和r的同时执行上述方法来获得估计值
[0153]
在一些实施方案中，可使用多于两个测量结果来执行细化。例如，一些实施方案可采用一组k个测量结果(例如，来自k个不同的相机位置)。可定义一组函数gi(
·
)，以便根据公式xi＝gi(x1)将来自参考视图x1的测量结果映射到任何其他测量结果xi(i≥2)。在一些实施方案中，可根据公式20生成细化的点云数据
[0154][0155]
一些实施方案中，公式(20)可根据公式(17)、(18)和(19)中所示的过程使用一阶近似来公式化，从而导致可有效解决的无约束的凸优化问题。
[0156]
点云压缩
[0157]
使用如上所述的系统和方法，示例性实施方案用于在采集期间提高3d点云数据的精度。另外的实施方案在执行有损点云压缩(pcc)时采用此类系统和方法。
[0158]
在pcc中，通常执行量化。pcc的量化具有与在采集期间执行的量化类似的效果。如上文所指出的，移位量化bin的操作类似于将预先设计的量添加到正在编码的点云信号。
[0159]
图7是示例性点云编码器的功能框图。在图7中，表示要编码的点云数据的n帧。数据可在其原始空间域或变换域中。模块q表示量化器，而e表示编码器模块，其可包括熵编码或诸如信道编码的其他后处理步骤。量可被预定义并且在量化之前被添加
到点云数据。将该量添加到类似于将q的量化bin移位类似于将q的量化bin移位的添加可被称为量化移位。量为编码器和解码器两者所知，类似于量化表。编码器的输出表示为
[0160]
在解码器侧，在接收到经编码的点云之后，可向用户提供使用细化(图8)或不使用细化(图9)对其进行解码的选项。图9示出了不应用细化的情况。在这种情况下，经编码的点云最初通过应用e的逆运算(表示为e-1
)来解码。然后使用q-1
对其进行解量化。此后，由于在编码期间将量化移位添加到点云信号，因此减去这些量化移位以获得最终的解码信号在该解码实施方案中，尽管在精度方面没有增益，但计算成本相对较低。
[0161]
如图8所示，当在解码阶段中应用细化时，最初由e-1
解码。此后，内的相关帧(和/或的任何一个帧中的相关区域)通过经由多视图几何形状考虑它们的相关性来联合细化。在一些实施方案中，还采用额外的边信息(si)，诸如相机参数和量化移位这里的si可使用各种不同技术中的任一种技术或以各种不同语法元素来提供，诸如以序列参数集、图片参数集或补充增强信息消息来提供。量化移位和任何边信息的应用由图8中的模块r表示，并且其输出可以是最终解码的点云模块r可采用map公式来细化像素行x
l
和xr，如(19)中所示，这考虑了噪声和量化两者的影响。
[0162]
在一些实施方案中，可使用如图10所示的部件来实现图8的模块r。一个模块执行相关信号的识别。该模块可操作用于识别输入点云数据中的相关帧或相关区域。一个示例是如上所述的立体相机中的视图映射。该步骤可利用额外的边信息，如相机参数和位姿信息。图10所示的另一模块可执行联合精度增强。精度增强可包括组合量化移位和点云数据中的相关观察两者来生成更精确的深度测量结果。该步骤可基于不同的过程来执行，诸如使用公式(19)进行的优化，或对点云数据进行的联合过滤，以及其他可能性。
[0163]
在一些情况下，量化移位δi可被设置为零。在这种情况下，只要可识别不同点云帧中的多个观察，应用细化r(图8)就仍然可提供更高精度的深度测量结果。例如，参考图2a的说明，其中两个相机视点不平行，可通过取得两个测量结果的不确定性范围的交集来提高精度。
[0164]
在一些实施方案中，点云数据的编码和解码可如下进行。针对第一点云中的点获得第一参数x1，并且针对第二点云中的点获得第二参数x2。例如，参数x1和x2都可以是深度值，或者它们可以是其他类型的值(例如，表示水平或垂直位置)。参数x1和x2是相关的，例如它们可使用由相同或不同的相机在相同或不同的时间捕获的值来表示对象的表面上的相同或附近的点。
[0165]
在一些实施方案中，这些参数x1和x2通过包括添加量化器移位δ1和δ2的方法被量化为值y1和y2。例如，在量化步长为1的情况下，参数x1和x2可如下量化：
[0166]
y1＝round(x1+δ1)
[0167]
y2＝round(x2+δ2)
[0168]
可使用大小不为1的量化步长，并且对于两个参数，步长不必相同。在一些实施方案中，移位中的一者(δ1或δ2)可以是零。在一些实施方案中，相同的移位δ1可用于第一点云中的所有点，并且相同的移位δ2可用于第二点云中的所有点；在其他实施方案中，可对点云内的不同点(或对不同参数)使用不同的量化器移位。
[0169]
一旦已经获得经量化的点云参数y1和y2，就可将它们编码到例如比特流中，用于存储和/或传输到解码器。在一些实施方案中，量化器移位δ1和δ2也可被编码到比特流中。在一些实施方案中，量化器移位δ1和δ2可例如在一个或多个补充增强信息消息中被单独提供给解码器。
[0170]
根据一些实施方案，在解码器处获得点云参数y1和y2以及量化器移位δ1和δ2。例如，参数y1和y2可以编码形式接收，并且可由解码器解码。
[0171]
给定提供给解码器的信息，可认为以下上限和界限适用于被移位的参数(x1+δ1)和(x2+δ2)：
[0172][0173][0174]
其中根据不同的量化技术(例如，不为1的量化步长大小)进行适当调整。使用基于量化移位的减法，得出下列上限和下限适用于原始参数x1和x2：
[0175][0176][0177]
第一量化范围可对应于例如图3或图4所示的“y1的范围”，并且第二量化范围可对应于例如相同附图的“y2的范围”。在一些实施方案中，通过在这些范围重叠的区域中选择点云数据(例如，参数)来获得细化的点云数据。这样的区域可对应于例如图3或图4所示的“细化后的范围”。根据哪个范围更高，重叠范围是
[0178][0179]
或者
[0180][0181]
在一些实施方案中，可执行细化的点云参数x的选择，使得参数x落在重叠范围内(在y1和y2两者的量化范围内)。使用基于量化移位的减法获得重叠范围的中点为在一些实施方案中，细化的参数可被选择为等于中点，使得
[0182][0183]
在一些实施方案中，解码器可使用多种技术中的一种或多种技术来细化所接收的
点云数据，包括但不限于上述最大先验(map)细化。
[0184]
图14示出了示例性解码方法。在该示例性解码方法中，获得至少表示第一点云和第二点云的数据(1402)。获得至少识别与第一点云相关联的第一组量化器移位的信息(1404)。在第一组量化器移位中，移位对于不同的点或不同的参数可以是相同的，或者对于不同的点或不同的参数可以是不同的。基于第一点云和第二点云来获得细化的点云数据(1406)，其中获得细化的点云数据包括至少基于第一组量化器移位来执行减法。
[0185]
图15示出了示例性编码方法。在该示例性编码方法中，获得至少表示第一点云和第二点云的数据(1502)。通过包括向第一点云添加第一组量化器移位的方法来量化第一点云和第二点云(1504)。在比特流中编码经量化的第一点云和第二点云以及指示第一组量化器移位的信息(1506)。
[0186]
示例性应用
[0187]
使用pcc的各种实施方案包括以下各项。
[0188]
一些实施方案与帧间编码一起使用。当使用其他帧对来自点云视频的帧进行编码时，一些实施方案共同考虑量化移位和在已经观察到相同场景的该当前帧之前或之后的其他辅助帧。来自其他帧的信息可用于提高解码器处的重构精度。
[0189]
一些实施方案与帧内编码一起使用。当来自点云视频的帧被单独编码时，一些实施方案考虑所引入的量化移位和相同点云帧中的高度相关的区域以增加重构的精度。
[0190]
一些实施方案与基于八叉树的点云压缩一起使用。当八叉树被用作点云的编码结构时，示例性实施方案操作用于主动地构造具有小量化移位的不同树根。然后，解码器可执行重构和优化，不管帧是被编码为帧间的还是帧内的。
[0191]
一些实施方案与变换编码一起使用。当使用变换编码并且将量化应用于变换系数时，一些实施方案操作用于在变换系数待优化的变换域中执行精度增强。
[0192]
另外的实施方案和信息
[0193]
在一些实施方案中，点云解码方法包括：接收初始第一点云数据(y
l
)和至少初始第二点云数据(yr)；以及选择细化的第一点云数据(x
l
)以基本上最大化包括以下各项中的一项或多项的因子的乘积：给定细化的第一点云数据(x
l
)的初始第一点云数据(y
l
)的条件概率pr(y
l
|x
l
)；给定细化的第二点云数据(xr)的估计值g(x
l
)的初始第二点云数据(yr)的条件概率pr(yr|g(x
l
))，其中估计值g(x
l
)基于细化的第一点云数据(x
l
)；细化的第一点云数据(x
l
)的先验概率pr(x
l
)；和细化的第二点云数据(xr)的估计值g(x
l
)的先验概率pr(g(x
l
))。
[0194]
一些此类实施方案包括，在选择细化的第一点云数据(x
l
)之后，从细化的第一点云数据中减去量化器移位δ
l
。
[0195]
在一些实施方案中，迭代地执行选择细化的第一点云数据(x
l
)。
[0196]
在一些实施方案中，选择细化的第一点云数据(x
l
)以基本上最大化因子的乘积包括选择细化的第一点云数据(x
l
)以基本上最小化因子的负对数之和。
[0197]
在一些实施方案中，使用梯度下降方法来执行选择细化的第一点云数据(x
l
)以基本上最小化因子的负对数之和。
[0198]
在一些实施方案中，给定细化的第一点云数据(x
l
)的初始第一点云数据(y
l
)的条件概率pr(y
l
|x
l
)由初始第一点云数据(y
l
)与细化的第一点云数据(x
l
)之间的差值的线性
函数来表示。
[0199]
在一些实施方案中，细化的第二点云数据(xr)的估计值g(x
l
)是细化的第二点云数据(xr)的线性函数。
[0200]
在一些实施方案中，给定细化的第二点云数据(xr)的估计值g(x
l
)的初始第二点云数据(yr)的条件概率pr(yr|g(x
l
))由初始第二点云数据(yr)与细化的第二点云数据(xr)的估计值g(x
l
)之间的差值的线性函数来表示。
[0201]
在一些实施方案中，细化的第一点云数据(x
l
)的先验概率pr(x
l
)由表示，其中l
l
是图拉普拉斯矩阵。
[0202]
在一些实施方案中，细化的第二点云数据(xr)的估计值g(x
l
)的先验概率pr(g(x
l
))由exp(-g(x
l
)
t
lrg(x
l
)/σ2)表示，其中lr是图拉普拉斯矩阵。
[0203]
根据一些实施方案的方法包括：接收第一点云数据和至少第二点云数据；以及至少使用第二点云数据来细化第一点云数据。
[0204]
一些此类实施方案还包括，在细化第一点云数据之后，从细化的第一点云数据中减去量化器移位。在一些实施方案中，量化器移位是预定的量化器移位。
[0205]
根据一些实施方案的编码方法包括：接收初始第一点云数据和至少初始第二点云数据；通过包括向第一点云数据添加第一组量化器移位δ1的方法来处理初始第一点云数据和初始第二点云数据；以及对经处理的第一点云数据和第二点云数据进行编码。
[0206]
在一些实施方案中，处理初始第一点云数据和初始第二点云数据还包括向第二点云数据添加第二组量化器移位δ2。
[0207]
在一些实施方案中，第一组量化器移位δ1不同于第二组量化器移位δ2。
[0208]
一些实施方案还包括提供识别(i)第一组量化器移位δ1或(ii)第二组量化器移位δ2中的至少一者的信息以及经编码的第一点云数据和第二点云数据。
[0209]
根据一些实施方案的解码方法包括接收经编码的第一点云数据和至少经编码的第二点云数据；接收至少识别第一组量化器移位δ1的信息；解码第一点云数据和至少第二点云数据；使用经解码的第二点云数据来细化经解码的第一点云数据；以及从第一点云数据中减去第一组量化器移位δ1。
[0210]
根据一些实施方案的装置包括处理器，该处理器被配置为至少执行根据本文所述的过程中的任何过程的方法。
[0211]
根据一些实施方案的装置包括处理器和计算机可读介质，该计算机可读介质存储操作用于至少执行根据本文所述的过程中的任何过程的方法的指令。在一些此类实施方案中，计算机可读介质是非暂态计算机可读介质。
[0212]
一些实施方案包括计算机可读介质，该计算机可读介质存储使用本文所述的方法中的任何方法编码的点云数据。在一些此类实施方案中，计算机可读介质是非暂态计算机可读介质。
[0213]
本说明书描述了各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，并且至少示出个体特性，通常以可能听起来有限的方式描述。然而，这是出于描述清楚的目的，并且不限制本公开或那些方面的范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组
合和互换。
[0214]
本公开中描述和设想的方面可以许多不同的形式实现。下面的图11、图12和图13提供了一些实施方案，但是设想了其他实施方案，并且图11、图12和图13的讨论不限制实施方式的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及发射生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。
[0215]
在本公开中，术语“重构的”和“解码的”可互换使用，术语“像素”和“样本”可互换使用，术语“图像”、“画面”和“帧”可互换使用。通常，但不一定，术语“重构”在编码端使用，而“解码”在解码端使用。
[0216]
本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。此外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、分量、步骤、操作等，诸如“第一解码”和“第二解码”。除非特定需要，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或重叠的时间段发生。
[0217]
本公开中所述的各种方法和其他方面可用于修改视频编码器100和解码器200的模块(例如，帧内预测、熵编码和/或解码模块(160、360、145、330))，如图11和图12所示。此外，本发明方面不限于vvc或hevc，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括vvc和hevc)。除非另外指明或在技术上排除，否则本公开中描述的方面可单独或组合使用。
[0218]
在本公开中使用各种数值。具体值是为了示例目的，并且所述方面不限于这些具体值。
[0219]
图11示出了编码器200。设想了这一编码器200的变型，但是为了清楚起见，下文描述了编码器200而不描述所有预期的变型。
[0220]
在编码之前，视频序列可经过预编码处理(204)，例如，将颜色变换应用于输入彩色图片(例如，从rgb 4:4:4到ycbcr 4:2:0的转换)，或执行输入图片分量的重新映射，以便获得对压缩更具弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附加到比特流。
[0221]
在编码器200中，图片由编码器元件进行编码，如下所述。以例如cu为单位对要编码的图片进行分区(206)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当单元以帧内模式进行编码时，其执行帧内预测(208)。在帧间模式中，执行运动估计和补偿(210)。编码器决定(214)帧内模式或帧间模式中的哪一者用于对单元进行编码，并且通过例如预测模式标记来指示帧内/帧间决策。例如通过从原始图像块减去(216)预测块来计算预测残差。
[0222]
然后，对预测残差进行变换(218)和量化(220)。对经量化的变换系数以及运动向量和其他语法元素进行熵编码(232)，以输出比特流。编码器可跳过变换，并对未变换的残余信号直接应用量化。编码器可绕过变换和量化两者，在这种情况下，直接对残差进行编码而不应用变换或量化过程。
[0223]
编码器对编码块进行解码以提供用于进一步预测的参考。对经量化的变换系数进行解量化(222)和逆变换(224)以对预测残差进行解码。组合(226)经解码的预测残差和预测块，重构图像块。将环路滤波器(228)应用到重构的图片，以执行例如去块/sao(样本自适应偏移)滤波，从而减少编码伪影。经滤波的图像存储在参考图片缓冲器(212)中。
[0224]
图12示出了视频解码器250的框图。在解码器250中，比特流由解码器元件进行解码，如下所述。视频解码器250通常执行与如图11所述的编码过程相反的解码过程。编码器200通常还执行视频解码作为对视频数据编码的一部分。
[0225]
具体地，解码器的输入包括视频比特流，该视频比特流可由视频编码器200生成。首先对比特流进行熵解码(254)以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此，解码器可以根据解码图片分区信息划分(256)图片。对变换系数进行解量化(262)和逆变换(264)以对预测残差进行解码。组合(266)经解码的预测残差和预测块，重构图像块。可从帧内预测(258)或运动补偿预测(即帧间预测)(260)获得(271)预测块。向重构图像应用环路滤波器(268)。经滤波的图像存储在参考图片缓冲器(270)中。
[0226]
经解码的图片还可经过解码后处理(274)，例如，逆颜色变换(例如，从ycbcr 4:2:0到rgb 4:4:4的变换)或执行在预编码处理(204)中执行的重新映射的逆过程的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中发信号通知的元数据。
[0227]
图13是其中实现了各个方面和实施方案的系统的示例的框图。系统1000可体现为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统1000的元件可单独地或组合地体现在单个集成电路(ic)、多个ic和/或分立部件中。例如，在至少一个实施方案中，系统1000的处理和编码器/解码器元件分布在多个ic和/或分立元件上。在各种实施方案中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统1000被配置为实现本文档中所述的一个或多个方面。
[0228]
系统1000包括至少一个处理器1010，该至少一个处理器被配置为执行加载到其中的指令，以用于实现例如本文档中所述的各个方面。处理器1010可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(eeprom)、只读存储器(rom)、可编程只读存储器(prom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可包括内部存储设备、附接存储设备(包括可拆和不可拆的存储设备)和/或网络可访问的存储设备。
[0229]
系统1000包括编码器/解码器模块1030，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可包括其自身的处理器和存储器。编码器/解码器模块1030表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。此外，编码器/解码器模块
1030可实现为系统1000的独立元件，或者可结合在处理器1010内作为本领域技术人员已知的硬件和软件的组合。
[0230]
要加载到处理器1010或编码器/解码器1030上以执行本文档中所述的各个方面的程序代码可存储在存储设备1040中，并且随后被加载到存储器1020上以供处理器1010执行。根据各种实施方案，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可在本文档中所述过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。
[0231]
在一些实施方案中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令和提供工作存储器以用于在编码或解码期间需要的处理。然而，在其他实施方案中，处理设备外部的存储器(例如，处理设备可以是处理器1010或编码器/解码器模块1030)用于这些功能中的一个或多个功能。外部存储器可以是存储器1020和/或存储设备1040，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如ram用作视频编码和解码操作的工作存储器，诸如mpeg-2(mpeg是指运动图片专家组，mpeg-2也称为iso/iec 13818，并且13818-1也称为h.222，13818-2也称为h.262)、hevc(hevc是指高效视频编码，也称为h.265和mpeg-h部分2)或vvc(通用视频编码，由联合视频专家小组(jvet)开发的新标准)。
[0232]
对系统1000的元件的输入可通过如框1130中所示的各种输入设备提供。此类输入设备包括但不限于：(i)射频(rf)部分，其接收例如由广播器通过空中发射的rf信号；(ii)分量(comp)输入端子(或一组comp输入端子)；(iii)通用串行总线(usb)输入端子；和/或(iv)高清晰度多媒体接口(hdmi)输入端子。图10中未示出的其他示例包括复合视频。
[0233]
在各种实施方案中，框1130的输入设备具有如本领域已知的相关联的相应输入处理元件。例如，rf部分可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的rf部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。rf部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，rf部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的rf信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，rf部分包括天线。
[0234]
此外，usb和/或hdmi端子可包括用于跨usb和/或hdmi连接将系统1000连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如reed-solomon纠错)的各个方面可根据需要例如在单独的输入处理ic内或在处理器1010内实现。类似地，usb或hdmi接口处理的方面可根据需要在单独的接口ic内或在处理器1010内实现。将解调流、纠错流和解复用
流提供给各种处理元件，包括例如处理器1010以及编码器/解码器1030，该处理元件与存储器和存储元件结合操作以根据需要处理数据流以呈现在输出设备上。
[0235]
系统1000的各种元件可设置在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置1140(例如，本领域已知的内部总线，包括ic间(i2c)总线、布线和印刷电路板)互连并且在这些元件之间传输数据。
[0236]
系统1000包括能够经由通信信道1060与其他设备通信的通信接口1050。通信接口1050可包括但不限于被配置为通过通信信道1060发射和接收数据的收发器。通信接口1050可包括但不限于调制解调器或网卡，并且通信信道1060可例如在有线和/或无线介质内实现。
[0237]
在各种实施方案中，使用无线网络诸如wi-fi网络例如ieee 802.11(ieee是指电气和电子工程师协会)将数据流式发射或以其他方式提供给系统1000。这些实施方案的wi-fi信号通过适用于wi-fi通信的通信信道1060和通信接口1050接收。这些实施方案的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流式应用和其他云上通信。其他实施方案使用通过输入块1130的hdmi连接传递数据的机顶盒向系统1000提供流式数据。还有其他实施方案使用输入块1130的rf连接向系统1000提供流式数据。如上所述，各种实施方案以非流式的方式提供数据。此外，各种实施方案使用除了wi-fi以外的无线网络，例如蜂窝网络或蓝牙网络。
[0238]
系统1000可将输出信号提供到各种输出设备，包括显示器1100、扬声器1110和其他外围设备1120。各种实施方案的显示器1100包括例如触摸屏显示器、有机发光二极管(oled)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器1100可用于电视机、平板、笔记本、蜂窝电话(移动电话)或其他设备。显示器1100还可与其他部件集成在一起(例如，如在智能电话中)，或者是单独的(例如，笔记本电脑的外部监视器)。在实施方案的各种示例中，其他外围设备1120包括独立数字视频光盘(或数字多功能光盘，两个术语都是dvr)、光盘播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用提供基于系统1000的输出的功能的一个或多个外围设备1120。例如，盘播放器执行播放系统1000的输出的功能。
[0239]
在各种实施方案中，控制信号使用诸如av.link、消费电子产品控制(cec)或其他通信协议的信令在系统1000与显示器1100、扬声器1110或其他外围设备1120之间传送，该其他通信协议使得能够在有或没有用户干预的情况下进行设备到设备控制。输出设备可通过相应接口1070、1080和1090经由专用连接通信地耦接到系统1000。另选地，输出设备可使用通信信道1060经由通信接口1050连接到系统1000。显示器1100和扬声器1110可与电子设备(诸如电视机)中的系统1000的其他部件集成在单个单元中。在各种实施方案中，显示接口1070包括显示驱动器，诸如例如定时控制器(t con)芯片。
[0240]
另选地，如果输入1130的rf部分是单独机顶盒的一部分，则显示器1100和扬声器1110可选地与其他部件中的一个或多个部件分开。在显示器1100和扬声器1110为外部部件的各种实施方案中，输出信号可经由专用输出连接(包括例如hdmi端口、usb端口或comp输出)提供。
[0241]
这些实施方案可由处理器1010或由硬件或由硬件和软件的组合实现的计算机软件执行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。作为非限制性示
例，存储器1020可以是适合于技术环境的任意类型，并且可使用任何适当的数据存储技术来实现，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。作为非限制性示例，处理器1010可以是适合于技术环境的任意类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
[0242]
各种具体实施参与解码。如本公开中所用，“解码”可涵盖例如对接收的编码序列执行的全部或部分过程，以便产生适用于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或另选地包括由本公开中描述的各种具体实施的解码器执行的过程，例如，细化点云数据和/或从点云数据应用或移除量化器移位。
[0243]
作为进一步的示例，在实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
[0244]
各种具体实施参与编码。以与上文关于“解码”的讨论类似的方式，如在本公开中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码的比特流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本公开中描述的各种具体实施的编码器执行的过程，例如，细化点云数据和/或从点云数据应用或移除量化器移位。
[0245]
作为进一步的示例，在实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
[0246]
需注意，如本文所用的语法元素，例如序列参数集、图片参数集或补充增强信息消息是描述性术语。因此，它们不排除使用其他语法元素名称。
[0247]
当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
[0248]
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，
[0249]
该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“pda”)以及便于最终用户之间信息通信的其他设备。
[0250]
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本公开通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
[0251]
此外，本公开可指“确定”各条信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。
[0252]
此外，本公开可指“访问”各条信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
[0253]
此外，本公开可指“接收”各条信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
[0254]
应当理解，例如，在“a/b”、“a和/或b”以及“a和b中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或选择两个选项(a和b)。作为进一步的示例，在“a、b和/或c”和“a、b和c中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或仅选择第三列出的选项(c)，或仅选择第一列出的选项和第二列出的选项(a和b)，或仅选择第一列出的选项和第三列出的选项(a和c)，或仅选择第二列出的选项和第三列出的选项(b和c)，或选择所有三个选项(a和b和c)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
[0255]
而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器发信号通知特定的量化bin移位或移位集合。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施方案中实现了位节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标记等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。
[0256]
对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的各种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
[0257]
我们描述了多个实施方案。这些实施方案的特征可在各种权利要求类别和类型中单独地或以任何组合提供。此外，实施方案可包括以下特征、设备或方面中的一者或多者，单独地或以任何组合，跨各种权利要求类别和类型：实施方案包括：包括一个或多个所描述的语法元素或其变型的比特流或信号；包括根据所描述的实施方案中的任一实施方案生成的语法传达信息的比特流或信号；创建和/或发射和/或接收和/或解码包括一个或多个所描述的语法元素或其变型的比特流或信号；根据所描述的实施方案中的任一实施方案创建
和/或发射和/或接收和/或解码；以及根据所描述的实施方案中的任一实施方案的方法、过程、装置、存储指令的介质、存储数据的介质或信号。
[0258]
需注意，所述实施方案中的一个或多个实施方案的各种硬件元件被称为进行(例如，执行、实行等)本文结合相应模块所述的各种功能的“模块”。如本文所用，模块包括相关领域的技术人员认为适合于给定具体实施的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(asic)、一个或多个现场可编程门阵列(fpga)、一个或多个存储器设备)。每个所述的模块还可包括用于执行被描述为由相应模块执行的一个或多个功能的可执行指令，并且需注意，这些指令可采取以下指令的形式或包括以下指令：硬件(即，硬连线)指令、固件指令、软件指令等，并且可被存储在任何合适的一个或多个非暂态计算机可读介质(诸如通常称为ram、rom等)中。
[0259]
尽管上文以特定组合描述了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。另外，本文所述的方法可在结合于计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实现。计算机可读存储介质的示例包括但不限于只读存储器(rom)、随机存取存储器(ram)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如cd-rom磁盘和数字通用光盘(dvd)。与软件相关联的处理器可用于实现用于wtru、ue、终端、基站、rnc或任何主计算机的射频收发器。