处理360度虚拟现实图像的方法和装置与流程

处理360度虚拟现实图像的方法和装置
1.【交叉引用】
2.本技术要求申请日为2017年7月19日，美国临时申请号为62/534，275以及申请日为2018年7月13日，美国申请号为16/034,601的美国申请案的优先权，上述临时申请案的内容一并并入本技术。
【技术领域】
3.本发明有关于360度虚拟现实(virtual reality，简写为vr)图像的图像处理。更具体来说，本发明有关于通过使用后处理滤波(post-processing filtering)来降低已编码vr图像中的不连续边界处的伪像(artifact)。


背景技术：

4.360度视频，也称为沉浸式视频，是一种新兴技术，可以提供“身临其境的感觉(feeling as sensation of present)”。通过对用户围绕覆盖全景视图的环绕场景，特别是360度视野来实现沉浸感。通过立体渲染可以进一步改善“身临其境的感觉”。因此，全景视频被广泛用于虚拟现实(vr)应用中。
5.沉浸式视频涉及使用多个相机捕获场景以覆盖全景视图，例如360度视野。沉浸式相机通常使用全景相机或一组相机布置来捕捉360度视野。通常，两个或更多个相机用做沉浸式相机。所有视频必须同时拍摄，并记录场景的单独片段(也称为单独的视角)。此外，该组摄像机通常被布置成水平地捕获视图，摄像机也可能是其他布置。
6.可以使用360度球体形全景相机捕获360度虚拟现实(vr)图像，或者布置多个图像以覆盖360度的所有视野。使用传统的图像/视频处理设备难以处理或存储三维(3d)球体形图像。因此，通常使用3d到2d投影方法将360度vr图像转换为二维(2d)格式。例如，等距离长方圆柱体投影(erp)和立方体贴图投影(cubemap projection，简写为cmp)一直是常用的投影方法。因此，可以以等距离长方圆柱体投影格式存储360度图像(image)。等距离长方圆柱体投影将球体的整个表面映射到平面图像上。纵轴是纬度，横轴是经度。图1a示出了根据等距离长方圆柱体投影将球体110投射到矩形图像120中的示例，其中每个经度线被映射到erp图片(picture)的垂直线。图1b示出了erp图片130的示例。对于erp投影，球体的北极和南极的区域比赤道附近的区域拉伸得更严重(即，从单个点到线)。此外，由于拉伸引起的失真，特别是在两极附近，预测编码工具经常无法做出良好的预测，导致编码效率降低。图2示出了具有六个面的立方体210，其中可以根据立方体贴图投影将360度虚拟现实(vr)图像投影到立方体上的六个面。有多种方法可以将六个面从立方体上取出(lift the six faces off the cube)并将它们重新装入矩形图片中。图2所示的例子将六个面分成两个部分(220a和220b)，其中每个部分由三个连接面组成。这两个部分可以展开成两个条带(strip)(230a和230b)，其中每个条带对应于连续的图片。根据如图2所示的一个cmp布局，两个条带可以连接以形成矩形图片240(其中两个条带240a和240b分别对应于条带230a和230b)。然而，由于存在一些空白区域，所以布局不是非常有效。因此，使用紧凑布局250，其中在两个
条带(250a和250b)之间存在指示的边界252。但是，图像内容在每个条带内是连续的。
7.除了erp和cmp格式之外，还有各种其他vr投影格式，例如八面体投影(octahedron projection，简写为ohp)、二十面体投影(icosahedron projection，简写为isp)、分段球体投影(segmented sphere projection，简写为ssp)和旋转球体投影(rotated sphere projection，简写为rsp)，它们在该领域被广泛使用。
8.图3a示出了八面体投影(ohp)的示例，其中球体投影到8面的八面体310的面上。从八面体310拿出(lifted from)的八个面320可以通过切开面1和5之间的面边缘以及旋转面1和5以分别连接到面2和6，并对面3和7应用类似的处理，来将八个面转换为中间格式330。中间格式可以打包(pack)成矩形图片340。图3b示出了八面体投影(ohp)图片350的示例，其中指示了不连续的面边缘352和354。如布局格式340所示，不连续面边缘352和354对应于如布局320中所示的面1和面5之间的共用面边缘。
9.图4a示出了二十面体投影(isp)的示例，其中球体投影到20面的二十面体410的面上。来自二十面体410的二十个面420可以被打包成矩形图片430(称为投影布局)，其中不连续的面边界由粗虚线432指示。在图4b中示出了经由isp的经转换的矩形图片440的示例，其中不连续的面边界由白色虚线442指示。
10.在jvet-e0025(zhang等人，“ahg8：segmented sphere projection for360-degree video”，联合视频研究组(joint video exploration team，简写为jvet)itu-t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11，第5次会议：日内瓦，ch，2017年1月12日至20日，文件：jvet-e0025)中已经公开了分段球体投影(ssp)作为将球体形图像转换为ssp格式的方法。图5a示出了分段球体投影的示例，其中球体形图像500被映射到北极图像510、南极图像520和赤道分段图像530。3个区段的边界对应于纬度45
°
n(502)和45
°
s(504)，其中0
°
对应于赤道(506)。北极和南极映射到2个圆形区域(即510和520)，赤道段的投影可以与erp或等面积投影(equal-area projection，简写为eap)相同。圆的直径等于赤道段的宽度，因为极段(pole segment)和赤道段具有90
°
纬度跨度。如图5b中的示例所示，北极图像510、南极图像520和赤道分段图像530可以被打包成矩形图像540，其中指示了不同分段之间的不连续边界542、544和546。
11.图5c示出了旋转球体投影(rsp)的示例，其中球体550被划分为中间270
°
x90
°
区域552和剩余部分554。这两个rsp部分可以在顶侧和底侧进一步拉伸以产生变形部分556，其在顶部和底部具有椭圆形边界557和558，如虚线所示。图5d示出了rsp图片560的示例，其中两个旋转分段之间的不连续边界562和564由虚线指示。
12.由于与虚拟现实相关联的图像或视频可能需要大量空间来存储或者需要大量带宽来传输，因此通常使用图像/视频压缩来减少所需的存储空间或传输带宽。然而，当三维(3d)虚拟现实图像被转换为二维(2d)图片时，通过各种投影方法，在打包的图片(packed picture)中可能存在面之间的一些边界。例如，根据图2中的cmp，水平边界252存在于转换图像250的中间。面之间的边界也通过其他投影方法(如图3至图5所示)存在于转换图片中。如本领域人士所知，图像/视频编码通常导致原始图像/视频与重建图像/视频之间的一些失真，其在重建的图像/视频中表现出可见的伪像。
13.图6a示出了用于erp的球体上的重建3d图片中的伪像的示例。将原始3d球面图像610投影到2d帧620以进行压缩，这可以引入伪像。重建的2d帧被投射回3d球面图像630。在
该示例中，图片内容从左边缘到右边缘是连续的。但是，使用的视频压缩技术通常忽略了这一事实。当两个边缘被投射回3d球面图像时，对应于两个边缘的接缝处的不连续性可能变得明显，如具有十字线632的线所示。图6b示出了在不连续边界的接缝处如箭头所示的可见的伪像的示例。当该接缝投影到2d erp帧，接缝投影到2d erp帧的非边界部分时，该伪像将是明显的。对于其他投影，2d帧内存在一个或多个不连续边界。
14.因此，期望开发能够减轻不连续边界的接缝处的伪像的可见性的方法。


技术实现要素：

15.公开了处理360度虚拟现实图像的方法和装置。根据一种方法，接收2d(二维)帧的输入数据，其中使用目标投影从3d(三维)球体投影2d帧。2d帧被分成多个块。通过将对应于3d球体上的两个相邻块的任何两个块的增量量化参数限制在阈值内，使用量化参数对多个块进行编码或解码。
16.在一个实施例中，增量量化参数被限制为
±
x，其中x是大于0并且小于2d帧的整个帧中的任何两个块的最大增量量化的整数。目标投影可对应于等距离长方圆柱体投影(erp)和立方体贴图投影(cmp)、调整的立方体贴图投影(acp)、等面积投影(eap)、八面体投影(ohp)、二十面体投影(isp)、分段球体投影(ssp)、旋转球体投影(rsp)或圆柱体投影(clp)。
17.根据另一种方法，接收2d(二维)帧的输入数据，其中使用目标投影从3d(三维)球体投影2d帧。将一个或多个保护带添加到在2d帧中不连续但在3d球体中连续的一个或多个边缘，其中所述一个或多个保护带填充有填充数据。将淡化处理应用于所述一个或多个保护带，以生成一个或多个淡化的保护带。利用一个或多个淡化的保护带对2d帧进行编码或解码。
18.对于该方法，使用几何填充来填充所述一个或多个保护带，并且其中几何填充使用3d球体上的相邻样本在2d帧的所述一个或多个边缘之外延伸样本。可以通过扩展所述一个或多个边缘的边界样本来填充所述一个或多个保护带。所述一个或多个保护带可以填充有来自所述一个或多个边缘的相应边缘区域的复制样本。当存在重叠区域时，淡化过程可用于通过将所述一个或多个保护带与重叠区域混合(blend)来产生所述一个或多个淡化保护带，当重叠区域不存在时，淡化过程可用于通过将所述一个或多个保护带与预定义区域混合来可用于产生所述一个或多个淡化保护带。目标投影可对应于等距离长方圆柱体投影(erp)和立方体贴图投影(cmp)、调整立方体贴图投影(acp)、等面积投影(eap)、八面体投影(ohp)、二十面体投影(isp)、分段球体投影(ssp)、旋转球体投影(rsp)或圆柱体投影(clp)。
19.公开了一种处理解码器侧的360度虚拟现实图像的方法。接收包括具有一个或多个淡化保护带的2d(二维)帧的扩展2d帧的编码数据，其中2d帧使用目标投影从3d(三维)球体投影。编码数据被解码成解码的扩展2d帧，其包括具有一个或多个解码的淡化保护带的解码的2d帧。从解码的扩展2d帧导出重建的2d帧。
20.可以通过裁剪所述一个或多个解码的淡化保护带从解码的扩展2d帧生成重建的2d帧。当一个或多个保护带填充有来自一个或多个边缘的相应边缘区域的样本的复制区域时，通过混合所述一个或多个解码的渐变保护带和重建的复制区域，可以从解码的扩展2d帧生成重建的2d帧，并且其中通过将所述一个或多个保护带与复制区域混合来产生一个或
多个淡化保护带。目标投影可对应于等距离长方圆柱体投影(erp)和立方体贴图投影(cmp)、调整的立方体贴图投影(acp)、等面积投影(eap)、八面体投影(ohp)、二十面体投影(isp)、分段球体投影(ssp)、旋转球体投影(rsp)或圆柱体投影(clp)。
【附图说明】
21.图1a示出了根据等距离长方圆柱体投影将球体投射到矩形图像中的示例，其中每个经度线被映射到erp图片的垂直线。
22.图1b示出了erp图片的示例。
23.图2示出了具有六个面的立方体，其中可以根据立方体贴图投影将360度虚拟现实(vr)图像投影到立方体上的六个面。
24.图3a示出了八面体投影(ohp)的示例，其中球体投影到8面的八面体的面上。
25.图3b示出了八面体投影(ohp)图片的示例，其中指示了不连续的面边缘。
26.图4a示出了二十面体投影(isp)的示例，其中球体投影到20面的二十面体的面上。
27.图4b示出了二十面体投影(isp)图片的示例，其中白色虚线442指示了不连续的面边界。
28.图5a示出了分段球体投影(ssp)的示例，其中球形图像被映射到北极图像、南极图像和赤道分段图像。
29.图5b示出了分段球体投影(ssp)图片的示例，其中指示了不同分段之间的不连续边界。
30.图5c示出了旋转球体投影(rsp)的示例，其中球体被划分为中间270
°
x90
°
区域和剩余部分。rsp的这两个部分可以在顶侧和底侧进一步拉伸，以在顶部和底部产生具有椭圆形边界的变形部分。
31.图5d示出了旋转球体投影(rsp)图片的示例，其中指示了不同分段之间的不连续边界。
32.图6a示出了用于erp的球体上的重建3d图片中的伪像的示例。
33.图6b示出了在不连续边界的接缝处由箭头指示的可见伪像的示例。
34.图7示出了传统编码方法可能导致3d图片中的相邻块之间的大qp差异的示例。
35.图8示出了针对3d图片中的相邻块限制最大增量qp的示例。
36.图9a示出了用于erp的3d图片中的相邻块上的受限最大增量qp的示例。
37.图9b示出了用于cmp的3d图片中的相邻块上的受限最大增量qp的示例。
38.图9c示出了针对ssp的3d图片中的相邻块上的受限制的最大增量qp的示例。
39.图9d示出了针对ohp的3d图片中的相邻块上的受限最大增量qp的示例。
40.图9e示出了用于isp的3d图片中的相邻块上的受限最大增量qp的示例。
41.图9f示出了用于等面积投影(eap)的3d图片中的相邻块上的受限最大增量qp的示例。
42.图9g示出了用于acp的3d图片中的相邻块上的受限最大增量qp的示例。
43.图9h示出了针对rsp的3d图片中的相邻块上的受限最大增量qp的示例。
44.图9i示出了用于圆柱体投影的3d图片中的相邻块上的受限最大增量qp的示例。
45.图10示出了为erp应用保护带的示例。
46.图11示出了为cmp应用保护带的示例。
47.图12a示出了为cmp帧应用保护带的示例。
48.图12b示出了为ssp帧应用保护带的示例。
49.图12c示出了为ohp帧应用保护带的示例。
50.图12d示出了为eap帧应用保护带的示例。
51.图12e示出了为isp帧应用保护带的示例。
52.图12f示出了为acp应用保护带的示例。
53.图12g示出了为rsp应用保护带的示例。
54.图12h示出了为圆柱体投影帧应用保护带的示例。对于圆柱体投影帧1280，在左边和右边添加保护带1281-1282。
55.图13示出了对从3d投影转换的2d帧使用保护带的视频编码系统的处理流程的示例。
56.图14示出了对从3d投影转换的2d帧使用保护带的视频编码系统的处理流程的示例。
57.图15示出了结合受限增量量化参数(qp)以减轻由于转换图像中的不连续边缘而导致的伪像的系统的示例性框图。
58.图16示出了编码器系统的另一示例性流程图，该编码器系统将一个或多个保护带添加到在2d帧中不连续但在3d球体中连续的一个或多个边缘。
59.图17示出了解码器系统的另一示例性流程图，该解码器系统重建将一个或多个保护带添加到一个或多个边缘的图像，所述边缘在2d帧中是不连续的但在3d球体中是连续的。
【具体实施方式】
60.以下描述是实现本发明的最佳方案。进行该描述是为了说明本发明的一般原理，而不应被视为具有限制意义。本发明的范围通过参考所附权利要求确定。
61.如上所述，由于使用各种3d到2d投影方法的转换图像中的不连续边缘和边界，重建投影图片中可能存在伪像。在图6a和6b中，示出了erp帧的重建图片中的伪像的示例。
62.通过限制3d中相邻块之间的最大增量(delta)qp来缓解伪像
63.如对视频编码所知，量化参数(qp)已被用作调整比特率的参数。较大的量化步长将导致较低的比特率并且由于量化误差而导致较大的失真。当两个相邻块具有非常不同的qp时，块边界之间的质量差异将变得更明显并且使得接缝更加可见。
64.为了减轻重建的vr图像/视频中的伪像，本发明的方法限制2d帧中的相邻块的最大可允许增量qp(即，两个qp之间的差异)以确保3d图片中相邻块之间的qp差异在限制范围内。图7示出了传统编码方法可能在3d图片中的相邻块之间引起大的qp差异的示例。通过传统的编码方法对2d帧710中的一行编码单元(cu)712进行编码，该编码方法可以将任意两个相邻块之间的qp调整
±
1。因此，可能发生qp从左到右顺序增加，其中第一cu 714的qp＝0，而最后cu 716的qp＝+5。当2d帧被投射回到3d图片720时，第一cu 724和最后的cu 726可以变得相邻。块边界728处的qp差异为5。这种大的qp差异将使接缝更明显。
65.根据本发明的方法，限制了3d中相邻块的最大可允许增量qp。对于360度沉浸式视
频中的块，其总是有一些周围的块。根据该方法，在3d中对其所有周围块应用最大可允许增量qp。这可以减少由不连续边界处的大增量qp引起的可见伪像。图8示出了针对3d图片中的相邻块限制最大增量qp的示例。通过本发明的编码方法对2d帧810中的一行编码单元(cu)812进行编码，其可以将3d图片中的任何两个相邻块之间的qp调整
±
1。因此，对于cu行812上的第一cu 814和最后一个块816，因为它们在3d图片中是相邻的，最大可允许增量qp是
±
1。当2d帧被投射回3d图片820时，第一cu 824和最后的cu 826在3d图片中相邻。块边界828处的qp差异为1。因此，接缝变得不太明显。
66.图9a至图9i示出了针对各种投影格式的3d图片中的相邻块上的受限最大增量qp的示例。在这些示例中，假设作为不连续边界的块的qp是ni。假设3d图片中的相邻块的最大可允许增量qp是
±
1x，其中x是大于1的整数。图9a示出了用于erp的3d图片中的相邻块上的受限最大增量qp的示例。在图9a中，2d帧910对应于erp帧。三行cu(即912、914和916)显示在2d帧的上侧。在2d帧的左边界处的cu的qp是n1、n2和n3。如对于erp帧所知的，2d帧的左边缘处的块与2d帧的右边缘处的块相邻。因此，2d帧右边缘处的块的qp被限制为同一行中2d帧的左边缘处的块的qp
±
1x。
67.图9b示出了用于cmp的3d图片中的相邻块上的受限最大增量qp的示例。在图9b中，示出了立方体贴图920。在一个面的边缘处的块922与在另一个面的边缘处的块924相邻。在一个面的边缘处的块926与在另一个面的边缘处的块928相邻。因此，相邻块的qp(即块922和924或块926和928)被限制为
±
1x。
68.图9c示出了用于ssp的3d图片中的相邻块上的受限制的最大增量qp的实例。在图9c中，2d帧930对应于ssp帧。在2d帧上示出了三对相邻块(即，931-932、933-934和935-936)。因此，相邻块的qp(即块931和932、块933和934或块935和936)的差值被限制为
±
1x。
69.图9d示出了针对ohp的3d图片中的相邻块上的受限制的最大增量qp的示例。在图9d中，2d帧940对应于ohp帧。在2d帧上示出了两对相邻块(即，942-944和946-948)。因此，相邻块的qp(即块942和944，或块946和948)的差值被限制为
±
1x。
70.图9e示出了用于isp的3d图片中的相邻块上的受限最大增量qp的示例。在图9e中，2d帧950对应于isp帧。在2d帧上示出了两对相邻块(即，952-954和956-958)。因此，相邻块的qp(即块952和954，或块956和958)的差值被限制为
±
1x。
71.图9f示出了用于等面积投影(eap)的3d图片中的相邻块上的受限最大增量qp的示例。在图9f中，2d帧960对应于eap帧。三行cu(即962、964和966)显示在2d帧的上侧。在2d帧的左边界处的cu的qp是n1、n2和n3。如对于erp帧所知的，2d帧的左边缘处的块与2d帧的右边缘处的块相邻。因此，2d帧右边缘处的块的qp被限制为同一行中2d帧的左边缘处的块的qp
±
1x。
72.图9g示出了用于acp的3d图片中的相邻块上的受限最大增量qp的示例。在图9g中，2d帧970对应于acp帧。在2d帧上示出了两对相邻块(即，972-974和976-978)。因此，相邻块的qp(即块972和974，或块976和978)的差值被限制为
±
1x。
73.图9h示出了用于rsp的3d图片中的相邻块上的受限制的最大增量qp的实例。在图9h中，2d帧980对应于rsp帧。在2d帧上示出了两对相邻块(即，982-984和986-988)。因此，相邻块的qp(即块982和984，或块986和988)的差值被限制为
±
1x。
74.除了上述这些投影之外，还使用圆柱体投影将3d球体投影到2d帧中。从概念上讲，
如图9i所示，通过围绕球体998外部包裹圆柱体997并将光线通过球体投射到圆柱体上来产生圆柱体投影。圆柱体投影将经线展现为笔直的、平均间隔的垂直线，并将纬线展现为笔直的水平线。经线和纬线以直角相交，就像它们在地球上一样。根据光源的位置，生成各种clp。图9i示出了用于圆柱体投影的3d图片中的相邻块上的受限最大增量qp的示例。在图9i中，2d帧990对应于圆柱体投影帧。三行cu(即992、994和996)显示在2d帧的顶侧。在2d帧的左边界处的cu的qp是n1、n2和n3。如对于erp帧所知的，2d帧的左边缘处的块与2d帧的右边缘处的块相邻。因此，2d帧右边缘处的块的qp被限制为同一行中2d帧的左边缘处的块的qp
±
1x。
75.通过应用保护带(guard band)来缓解伪像
76.在图6a和6b中，描述了用于erp的球面上的重建3d图片中的伪像的示例。在这种情况下，图片内容从左边缘到右边缘是连续的。但是，使用的视频压缩技术通常忽略了这一事实。当两个边缘被投射回3d球面图像时，对应于两个边缘的接缝处的不连续性可能变得显著。对于其他投影格式，2d帧可以包含一个或多个不连续边界。各种投影格式的不连续边界已在图2、图3b、图4b、图5b和图5d示出。当应用视频压缩时，在不连续边界处编码伪像可能更明显。
77.为了减轻不连续边界处的伪像，公开了一种在2d帧上不连续但在3d中连续的边缘上应用保护带的方法。根据该方法，通过“几何填充(geometry padding)”或其他填充方法填充保护带区域。然后，在应用压缩之前，保护带中的内容逐渐淡化(fade)。在压缩之后，2d帧被投射回(即，拼接(stitch))到3d图片。在2d到3d投影(即，拼接处理)期间，可以裁剪保护带或者可以将重叠的保护带混合到原始帧中。几何填充是用于3d视频处理的已知技术，其中在执行填充时考虑几何投影格式。特别地，通过直线投影导出面边界之外的对应样本(其可以来自同一面中的另一侧或来自另一面)。
78.图10示出了应用erp保护带的示例。对于erp帧1010，将保护带(即，1020和1030)添加到左边缘和右边缘。然后用像素值填满(filling up)保护带1040以变成填充的保护带1050。例如，像素值可以对应于相邻的图像值。然后填充的保护带1050淡化以形成淡化的保护带1060。在erp帧的情况下，保护带从erp帧扩展到不存在的区域(non-existing area)，淡化过程(fading process)将填充的保护带与不存在的区域的假定值混合。例如，不存在的区域可以全部为白色(即，最高强度)。混合处理可以使用加权和来通过向填充的保护带和不存在的区域分配不同的权重来生成淡化的保护带。
79.图11示出了对cmp应用保护带的示例。对于cmp面1110，将保护带1122-1128添加到面1120的四个边缘以形成填充面(padded face)。可以用相邻图像的像素值填充保护带1122-1128。然后，填充的保护带1122-1128淡化，以在面1140周围形成淡化的保护带1142-1148，以形成带填充的淡化面1130。对于淡化处理，填充的保护带可以与预定区域(例如白色区域或灰色区域)混合。
80.图12a示出了根据图2中的布局格式250为cmp帧应用保护带的示例。对于cmp帧1210，将保护带1211-1216添加到cmp帧1210的两个条带(1217,1218)的边缘。如前所述，保护带1211-1216可以用相邻图像的像素值填充，然后淡化以形成淡化的保护带。
81.图12b示出了根据图5b中的旋转布局格式540为ssp帧应用保护带的示例。对于ssp帧1220，将保护带1221-1226添加到ssp帧1220的两个极(1227,1228)和主要部分1229的边
缘。如前所述，可以用相邻图像的像素值填充保护带1211-1216，然后淡化形成淡化的保护带。
82.图12c示出了根据图3b中的布局格式350应用ohp帧的保护带的示例。对于ohp帧1230，将保护带1231-1236添加到ohp帧1230的部分的边缘。如前所述，保护带1231-1236可以用相邻图像的像素值填充，然后淡化以形成淡化的保护带。
83.图12d示出了为eap帧应用保护带的示例。对于eap帧1240，将保护带1241-1242添加到eap帧1240的左边缘和右边缘。如前所述，保护带1241-1242可以用相邻图像的像素值填充，然后淡化以形成淡化的保护带。
84.图12e示出了根据图4b中的布局格式440为isp帧应用保护带的示例。对于isp帧1250，保护带1251-1255被添加到isp帧1250的部分的边缘。如前所述，保护带1251-1255可以用相邻图像的像素值填充，然后淡化以形成淡化的保护带。
85.图12f示出了为acp帧1260应用保护带的示例。对于acp帧1260，将保护带1261-1266添加到acp帧1260的两个条带(1267,1268)的边缘。如上所述，保护带1261-1266可以填充相邻图像的像素值，然后淡化以形成淡化的保护带。
86.图12g示出了为rsp帧1270应用保护带的示例。对于rsp帧1270，将保护带1271-1272添加到rsp帧1270的两个部分的边缘。如前所述，保护带1271-1272可以填充相邻图像的像素值，然后淡化以形成淡化的保护带。
87.图12h示出了为圆柱体投影帧应用保护带的示例。对于圆柱体投影帧1280，将保护带1281-1282添加到圆柱体投影帧1280的左边缘和右边缘。如前所述，保护带1281-1282可以用相邻图像的像素值填充，然后淡化形成淡化的保护带。
88.图13示出了使用用于从3d投影转换的2d帧的保护带的视频编码系统的处理流程的示例。输入图像1310对应于erp帧。保护带(1321,1323)被添加到2d帧的左边缘1322和右边缘1324以形成填充帧(padded frame)1320。由于erp帧的图像内容从左边缘到右边缘是连续的，因此在一个实施例中，如箭头1326所示，左侧的保护带1321可以从右边缘上的图像区域1325复制。类似地，右侧的保护带1323可以从左边缘上的图像区域1327复制，如箭头1328所示。然后将填充的帧1320编码到帧1330中，其中指示原始图像边缘1322和1324。为了重建erp帧，可以如图所示裁剪帧1340的图像边缘1322和1324外部的保护带，或者可以如图所示混合帧1350的复制区域(duplicated area)。对于混合处理，左侧的保护带1351对应于右侧的复制区域1355。因此，保护带1351与复制区域1355混合，如箭头1356所示。类似地，保护带1353与复制区域1357混合，如箭头1358所示。在混合之后，保护带不再被需要并且可以将保护带移除以形成最终的重建帧1360。
89.图14示出了使用用于从3d投影转换的2d帧的保护带的视频编码系统的处理流程的示例。输入图像1410对应于erp帧。erp帧可以进一步转换为其他2d帧格式(过程1420)，例如erp 1421、eap 1422、cmp 1423和ssp 1424。从erp格式转换为其他投影格式的公式在本领域中是已知的。在erp转换为erp格式的情况下，转换对应于身份转换(identity conversion)(表示格式不变，但可能发生图像大小、视角等改变)。通过复制来自3d空间中的相邻图像区域的样本，将保护带添加到相应的2d格式以形成填充的erp 1431、填充的eap 1432、填充的cmp 1433和填充的ssp 1434(过程1430)。然后将视频编码应用于填充帧以生成相应的编码erp 1441、eap 1442、cmp 1443和ssp 1444(过程1440)。当转换回erp格式
1450时，可以裁剪、混合或过滤复制的样本。
90.图15中示出了包含受限增量量化参数(qp)以减轻由于转换图像中的不连续边缘引起的伪像的系统的示例性框图。流程图中所示的步骤可以实现为在编码器侧的一个或多个处理器(例如，一个或多个cpu)上可执行的程序代码。流程图中示出的步骤还可以基于诸如被布置为执行流程图中的步骤的一个或多个电子设备或处理器的硬件来实现。根据该方法，在步骤1510中接收用于2d(二维)帧的输入数据，其中使用目标投影从3d(三维)球体投影2d帧。在步骤1520中将2d帧划分为多个块。在步骤1530中，通过将对应于3d球体上的两个相邻块的任何两个块的增量量化参数限制在阈值内，使用量化参数对所述多个块进行编码或解码。
91.图16示出了编码器系统的另一示例性流程图，该编码器系统将一个或多个保护带添加到在2d帧中不连续但在3d球体中连续的一个或多个边缘。根据该方法，在步骤1610中接收用于2d(二维)帧的输入数据，其中使用目标投影从3d(三维)球体投影2d帧。在步骤1620中，将一个或多个保护带添加到2d帧中不连续但在3d球体中连续的一个或多个边缘。在步骤1630，用填充数据填充所述一个或多个保护带以形成一个或多个填充的保护带。在步骤1640，将淡化过程应用于所述一个或多个填充的保护带以产生一个或多个淡化的保护带。在步骤1650中编码包括具有所述一个或多个淡化保护带的2d帧的扩展2d帧。
92.图17示出了解码器系统的另一示例性流程图，该解码器系统重建将一个或多个保护带添加到一个或多个边缘的图像，所述边缘在2d帧中是不连续的但在3d球体中是连续的。根据该方法，在步骤1710中接收包括具有一个或多个淡化保护带的2d(二维)帧的扩展2d帧的编码数据，其中使用目标投影从3d(三维)球体投影2d帧。在步骤1720，将编码数据解码成包括具有一个或多个解码的淡化保护带的解码2d帧的解码扩展2d帧。在步骤1730，从解码的扩展2d帧导出重建的2d帧。
93.以上所示的流程图旨在用作示例以说明本发明的实施例。本领域技术人员可以通过在不脱离本发明的精神的情况下修改各个步骤，分裂或组合步骤来实践本发明。
94.呈现以上描述是为了使得本领域普通技术人员能够实践在特定应用及其要求的上下文中提供的本发明。对所描述的实施例的各种修改对于本领域技术人员来说是显而易见的，并且本文定义的一般原理可以应用于其他实施例。因此，本发明不限于所示出和描述的特定实施例，而是与符合本文所公开的原理和新颖特征的最宽范围相一致。在以上详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以实施本发明。
95.如上所述的本发明的实施例可以以各种硬件、软件代码或两者的组合来实现。例如，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电子电路或集成到视频压缩软件中的程序代码，以执行这里描述的处理。本发明的实施例还可以是要在数字信号处理器(dsp)上执行的程序代码，以执行这里描述的处理。本发明还可以涉及由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(fpga)执行的许多功能。这些处理器可以被配置为通过执行定义本发明所体现的特定方法的机器可读软件代码或固件代码来执行根据本发明的特定任务。软件代码或固件代码可以用不同的编程语言和不同的格式或样式开发。还可以针对不同的目标平台编译软件代码。然而，软件代码的不同代码格式、样式和语言以及配置代码以执行根据本发明的任务的其他方式将不脱离本发明的精神和范围。
96.在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的示例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前面的描述表示。在权利要求的含义和等同范围内的所有变化都包含在其范围内。