具有基于投影的帧的保护带配置的语法元素发送的视频编码方法以及相关的视频解码方法和装置与流程

具有基于投影的帧的保护带配置的语法元素发送的视频编码方法以及相关的视频解码方法和装置
1.相关引用
2.本技术要求于2019年7月2日提交的美国临时申请62/869,627、2019年7月3日提交的美国临时申请62/870,139、2019年9月20日提交的美国临时申请62/903,056，以及2019年12月30日提交的美国临时申请62/954,814的优先权。相关申请的全部内容，包括美国临时申请62/869,627、美国临时申请62/870,139、美国临时申请62/903,056和美国临时申请62/954,814的全部内容通过引用并入本文。
技术领域
3.本发明涉及视频编码和视频解码，更具体地，涉及具有基于投影的帧的保护带配置的语法元素发送的视频编码方法以及相关的视频解码方法和装置。


背景技术：

4.具有头戴式显示器(head-mounted display，简称hmd)的虚拟现实(virtual reality,简称vr)与多种应用相关联。向用户显示宽视野内容的能力可用于提供身临其境的视觉体验。必须从各个方向捕捉真实世界的环境，从而产生与视域相对应的全方位视频。随着摄像头设备和hmd的进步，由于呈现这种360度内容所需的高比特率，vr内容的传送可能很快就会成为瓶颈。当全向视频的分辨率为4k或更高时，数据压缩/编码对于降低比特率至关重要。
5.一般而言，将球体对应的全向视频转换为具有以360度虚拟现实(360vr)投影布局排列的投影面表示的360度图像内容的帧，然后得到的帧被编码成比特流进行传输。如果采用的360vr投影布局的配置是固定的，不允许对其进行任何调整，则视频编码器对360度图像内容进行编码的灵活性较低。因此，需要允许決定/选择基于投影的帧的保护带配置和与基于投影的帧的保护带配置相关联的信号语法元素的灵活设计。


技术实现要素：

6.本发明的目的之一是提供一种具有基于投影的帧的保护带配置的语法元素发送的视频编码方法以及相关的视频解码方法和装置。
7.根据本发明的第一方面，一种示例性视频解码方法被公开。示例性视频解码方法包括：解码比特流的一部分以生成解码帧，其中解码帧是基于投影的帧，其包括以基于立方体的投影布局打包的投影面，以及球体的至少一部分的360度内容通过基于立方体的投影映射到投影面；以及从比特流解析至少一个语法元素，其中至少一个语法元素指示基于投影的帧的保护带配置。
8.根据本发明的第二方面，一种示例性电子设备被公开。示例性电子设备包括解码电路。解码电路用以解码比特流的一部分以产生解码帧，以及从比特流中解析出至少一个语法元素。解码帧是基于投影的帧，其包括以基于立方体的投影布局打包的投影面。球体的
至少一部分360度内容通过基于立方体的投影映射到投影面。至少一个语法元素指示基于投影的帧的保护带配置。
9.根据本发明的第三方面，一种示例性视频编码方法被公开。示例性视频编码方法包括：对基于投影的帧进行编码以生成比特流的一部分，其中球体的至少一部分360度内容通过基于立方体的投影被映射到投影面，以及基于投影的帧具有以基于立方体的投影布局打包的投影面；以及通过比特流发送至少一个语法元素，其中至少一个语法元素指示基于投影的帧的保护带配置。
10.本发明的这些和其他目的在阅读了以下在各个附图和附图中示出的优选实施例的详细描述后，对于本领域普通技术人员来说无疑将变得显而易见。
附图说明
11.图1示出根据本发明实施例的360度虚拟现实(360vr)系统的图。
12.图2示出根据本发明的实施例的基于立方体的投影的图。
13.图3示出根据本发明的实施例的另一个基于立方体的投影的图。
14.图4-图6示出根据本发明的实施例的两个语法元素的组合的一种规范的图。
15.图7-图9示出根据本发明的实施例的两个语法元素的组合的另一种规范的图。
具体实施方式
16.贯穿以下描述和权利要求使用了特定术语，它们指的是特定元件。正如本领域技术人员所理解的，电子设备制造商可能会用不同的名称来指代一个元件。本文档不打算区分名称不同但功能不同的元件。在以下描述和权利要求中，术语“包括”和“包含”以开放式方式使用，因此应解释为“包括但不限于
……”
。此外，术语“耦合”旨在表示间接或直接电连接。因此，如果一个设备耦合到另一设备，则该连接可以是通过直接电连接，或通过经由其他设备和连接的间接电连接。
17.图1示出根据本发明实施例的360度虚拟现实(360vr)系统的图。360vr系统100包括源电子设备102和目的地设备104。源电子设备102包括视频采集设备112、转换电路114和视频编码器116。例如，视频采集设备112可以是一个全向相机。转换电路114根据与球体对应的全向视频帧s_in产生具有360度虚拟现实(360vr)投影布局l_vr的基于投影的帧img，其中全向视频帧s_in包含球体的360度内容。视频编码器116为编码电路，其对基于投影的帧img(其具有打包在360vr投影布局l_vr中的投影面)进行编码以生成比特流bs的一部分，以及将比特流bs输出至目的地电子设备104经由诸如有线/无线通信链路或存储介质之类的传输装置103。
18.目的地电子设备104可以是头戴式显示器(hmd)设备。如图1所示，目的地电子设备104包括视频解码器122、图形渲染电路124和显示装置126。视频解码器122是从传输装置103(例如有线/无线通信链接或存储介质)接收比特流bs的解码电路，并对接收到的比特流bs的一部分进行解码以生成解码帧img'。在本实施例中，由视频编码器116编码的基于投影的帧img具有360vr投影布局l_vr。因此，在部分比特流bs被视频解码器122解码后，解码帧(即，重构帧)img'具有相同的360vr投影布局l_vr。换句话说，解码帧img'也是一个基于投影的帧，其投影面被打包在360vr投影布局l_vr中。图形渲染电路124用于驱动显示装置126
显示用户选择的视口区域的图像内容。图形渲染电路124可以包括转换电路125，其被布置为处理由解码帧img'承载的图像内容的一部分，以获得与所选视口区域的图像内容相关联的像素数据。
19.在本实施例中，360vr投影布局l_vr是基于立方体的投影布局。因此，球体的360度内容的至少一部分(即，部分或全部)通过基于立方体的投影被映射到投影面，以及来自三维物体(例如，一个立方体或一个半球立方体)的不同面的投影面被打包在基于投影的帧img/解码帧img'采用的基于二维立方体的投影布局中。
20.在一个实施例中，可以采用具有代表360
°
x180
°
全向视频(即，球体的所有360度内容)的六个正方形投影面的基于立方体的投影。关于源电子装置102的转换电路114，基于立方体的投影被用来在三维(3d)空间中产生立方体的正方形投影面。图2示出根据本发明实施例的基于立方体的投影的图。球体200上的整个360度内容被投影到立方体201的六个正方形面上，包括顶面(用“顶”标记)、底面(标记为“底”)、左面(标记为“左”)、正面(标记为“正”)、右面(标记为“右”)和背面(标记为“背”)。如图2所示，球体200的北极区域的图像内容被投影到顶面“顶”上，球体200的南极区域的图像内容被投影到底面“底”上，以及图像内容球体200的赤道区域的图像内容被投影到左面“左”、正面“正”、右面“右”和背面“背”上。
21.在由x轴、y轴和z轴定义的3d空间中，六个投影面上的每个点位于(x,y,z)处，其中x,y,z∈[-1,1]。在图2所示的这个例子中，正面“正”在x＝1的x平面上，背面“背”在x＝-1的x平面上，顶面“顶”在z＝1的z平面上，底面“底”在z＝-1的z平面上，左面“左”在y＝1的y平面上，右面“右”在y＝-1的y平面上。在可选设计中，正面“正”可以在x＝1的x平面上，背面“背”可以在x＝-1的x平面上，顶面“顶”可以是在y＝1的y平面上，底面“底”可能在y＝-1的y平面上，右面“右”可能在z＝1的z平面上，左边“左”面可能位于z＝-1的z平面上。
[0022]
前向变换用于从3d空间(x,y,z)变换到2d平面(u,v)。因此，3d空间中立方体201的顶面“顶”、底面“底”、左面“左”、正面“正”、右面“右”和背面“背”被变换为二维平面上的顶面(标记为“2”)、底面(标记为“3”)、左面(标记为“5”)、正面(标记为“0”)、右面(标记为“4”)和背面(标记为“1”)。每个面都位于由u轴和v轴定义的一个2d平面上，以及每个点都位于(u,v)处。
[0023]
逆变换用于从2d平面(u,v)变换到3d空间(x,y,z)。因此，二维平面上的顶面(标记为“2”)、底面(标记为“3”)、左面(标记为“5”)、正面(标记为“0”)、右面(标记为“4”)和背面(标记为“1”)被转换为在3d空间中立方体201的顶面“顶”，底面“底”，左面“左”，正面“正”，右面“右”和背面“背”。
[0024]
逆变换可由源电子装置102的转换电路114用来产生顶面“2”、底面“3”、左面“5”、正面“0”、右面“4”，背面“1”。二维平面上的顶面“2”、底面“3”、左面“5”、正面“0”、右面“4”和背面“1”被打包形成将由视频编码器116进行编码的基于投影的帧img。
[0025]
视频解码器122从传输装置103接收比特流bs，并对接收到的比特流bs的一部分进行解码以生成与编码器侧采用的投影布局l_vr相同的解码帧img'。对于目的地电子设备104的转换电路125，前向变换被用来从3d空间(x,y,z)变换到2d平面(u,v)，以确定顶面“顶”，底面“底”，左面“左”，正面“正”，右面“右”和背面“后”中任一面中的像素的像素值。或者逆变换被用来从2d空间(u,v)变换到3d平面(x,y,z)以将基于投影的帧的样本位置重新映射到球体。
[0026]
如上所述，顶面“2”、底面“3”、左面“5”、正面“0”、右面“4”和背面“1”被压缩以形成基于投影的帧img。例如，转换电路114可以选择一种封装类型，使得基于投影的帧img可以具有布置在基于立方体的投影布局202中的投影图像数据。又例如，转换电路114可以选择另一种封装类型，使得基于投影的帧img可以具有布置在基于立方体的投影布局204中的投影图像数据，基于立方体的投影布局204不同于基于立方体的投影布局202。
[0027]
在另一实施例中，具有代表180
°
x180
°
全向视频(即，球体的360度内容的一部分)的五个投影面(包括一个全面和四个半面)的基于立方体的投影可被采用。关于源电子装置102的转换电路114，基于立方体的投影被用来在3d空间中产生立方体的一个全面和四个半面。图3示出根据本发明的实施例的另一种基于立方体的投影的图。球体200上的360度内容只有一半被投影到立方体201的面上，包括顶半面(标记为“顶_h”)、底半面(标记为“底_h”)、左半面(标记为“左_h”)、正全面(标记为“正”)和右半面(标记为“右_h”)。在该示例中，半球立方体(例如，立方体201的一半)被用于半球立方体贴图投影，其中半球(例如，球体200的一半)内接于半球立方体(例如，立方体201的一半)。如图3所示，球体200的北极区域的一半的图像内容被投影到顶半面“顶_h”上，球体200的南极区域的一半的图像内容被投影到底半面“底_h”，球体200的半个赤道区域的图像内容被投影到左半面“左_h”、正全面“正”和右半面“右_h”上。
[0028]
在由x轴、y轴和z轴定义的3d空间中，五个投影面上的每个点位于(x,y,z)处，其中x,y,z∈[-1,1]。在图3所示的这个例子中，正全面“正”在x＝1的x平面上，顶半面“顶_h”在z＝1的z平面上，底半面“底_h”在z＝-1的z平面上，左半面“左_h”在y＝1的y平面上，右半面“右_h”在y＝-1的y平面上。在可选设计中，正全面“正”可以在x＝1的x平面上，顶半面“顶_h”可以在y＝1的y平面上，底半面“底_h”可以在y＝-1的y平面上，右半面“右_h”可以在z＝1的z平面上，以及左半面“左_h”可以在z＝-1的z平面上。
[0029]
前向变换用于从3d空间(x,y,z)变换到2d平面(u,v)。因此，3d空间中立方体201的顶半面“顶_h”、底半面“底_h”、左半面“左_h”、正全面“正”和右半面“右_h”被变换为2d平面上的顶半面(标记为“2”)、底半面(标记为“3”)、左半面(标记为“5”)、正全面(标记为“0”)和右半面(标记为“4”)。每个面都位于由u轴和v轴定义的一个2d平面上，以及其中每个点都位于(u,v)处。另外，正全面(标记为“0”)的尺寸是上半面(标记为“2”)、下半面(标记为“3”)、左半面(标记为“5”)和右半面(标记为“4”)的尺寸的两倍。
[0030]
逆变换被用来从2d平面(u,v)变换到3d空间(x,y,z)。因此，2d平面上的顶半面(标记为“2”)、底半面(标记为“3”)、左半面(标记为“5”)、正全面(标记为“0”)和右半面(标记为“4”)被变换为3d空间中立方体201的顶半面“顶_h”、底半面“底_h”、左半面“左_h”、正全面“正”和右半面“右_h”。
[0031]
逆变换可由源电子装置102的转换电路114用来产生顶半面“2”、底半面“3”、左半面“5”、正全面“0”，和右半面“4”。2d平面上的顶半面“2”、底半面“3”、左半面“5”、正全面“0”和右半面“4”被打包以形成将由视频编码器116编码的基于投影的帧img。
[0032]
视频解码器122从传输装置103接收比特流bs，以及对接收到的比特流bs的一部分进行解码以生成与编码器侧采用的投影布局l_vr相同的解码帧img'。对于目的地电子设备104的转换电路125，前向变换被用来从3d空间(x,y,z)变换到2d平面(u,v)以确定顶半面“顶_h”，底半面“底_h”，左半面“左_h”，正全面“正”，右半面“右_h”中任一面的像素的像素
值。或者逆变换被用来从2d空间(u,v)变换到3d平面(x,y,z)以将基于投影的帧的样本位置重新映射到球体。
[0033]
如上所述，顶半面“2”、底半面“3”、左半面“5”、正全面“0”和右半面“4”被打包以形成基于投影的帧img。例如，转换电路114可以选择一种封装类型，使得基于投影的帧img可以具有布置在基于立方体的投影布局302中的投影图像数据。又例如，转换电路114可以选择另一种封装类型，使得基于投影的帧img可以具有布置在基于立方体的投影布局304中的投影图像数据，基于立方体的投影布局304不同于基于立方体的投影布局302。在该实施例中，正面被选择为打包在基于立方体的投影布局302/304中的全面(full face)。实际上，在基于立方体的投影布局302/304中打包的全面可以是顶面、底面、正面、背面、左面和右面中的任一，填充在基于立方体的投影布局302/304中的四个半面取决于全面的选择。
[0034]
关于图2所示的实施例，投影面采用常规cmp布局，没有保护带(或填充)202/204。关于图3所示的实施例，投影面被填充在没有保护带(或填充)302/304的半球cmp布局中。然而，编解码后的基于投影的帧img可能由于cmp布局的不连续布局边界(可能是常规cmp布局或半球cmp布局)和/或cmp布局的不连续边缘(可能是常规cmp布局或半球cmp布局)而产生伪影。例如，没有保护带(或填充)的cmp布局具有顶部不连续布局边界、底部不连续布局边界、左侧不连续布局边界和右侧不连续布局边界。此外，cmp布局中的两个相邻投影面之间至少有一个图像内容不连续边缘，没有保护带(或填充)。以基于立方体的投影布局202/204为例，一条不连续边缘存在于底面“3”的一个面边界与左面“5”的一个面边界之间，一条不连续边缘存在于背面“1”的一个面边界和正面“0”的一个面边界之间，一条不连续边缘存在于顶面“2”的一个面边界和右面“4”的一个面边界之间。以基于立方体的投影布局302/304为例，一条不连续边缘存在于底面“3”的一个面边界与左面“5”的一个面边界之间，一条不连续边缘存在于右面“4”的一个面边界和顶面“2”的一个面边界之间。
[0035]
为了解决这个问题，360vr投影布局l_vr可以通过具有保护带(或填充)的基于立方体的投影布局来设置。例如，在布局边界和/或不连续边缘周围，例如由像素填充生成的额外保护带可被插入以减少接缝伪影。或者，在布局边界和/或连续边缘周围，例如由像素填充产生的额外保护带可被插入。
[0036]
在该实施例中，转换电路114确定基于投影的帧img的保护带配置，该基于投影的帧img由从基于立方体的投影(例如，图2所示的常规立方体贴图投影或图3所示的半球立方体贴图投影)导出的投影面组成，以及视频编码器116经由比特流bs发送与基于投影的帧img的保护带配置相关联的语法元素se。因此，视频解码器122可从比特流bs解析与保护带配置相关联的语法元素se。
[0037]
为了更好地理解本发明的技术特征，下面描述一种示例性语法发送方法。视频编码器116可以采用所提出的语法发送方法来发送语法元素se，该语法元素se指示由转换电路114添加的保护频带的配置信息，以及视频解码器122可以解析由视频编码器116采用的一个提议的语法发送方法发送的语法元素se'，以及可以向图形渲染电路124(特别是，转换电路125)提供解析的语法元素se'，使得图形渲染电路124(特别是，转换电路125)获知转换电路114添加的保护带配置信息。这样，转换电路125在确定用户选择的视口区域的图像内容时，可以参考保护带配置信息正确地进行转换。理想地，由视频编码器116编码到比特流bs中的语法元素se与由视频解码器122从比特流bs解析的语法元素se’相同。
[0038]
应当注意，以下示例性语法表中的描述符指定了每个语法元素的解析过程。例如，语法元素可以通过固定长度编解码(例如，u(n))进行编码。以描述符u(n)为例，它用n位描述了一个无符号整数。然而，这仅用于说明目的，并不意味着对本发明的限制。在实践中，语法元素可以通过固定长度编码(例如，f(n)、i(n)或u(n))和/或可变长度编码(例如，ce(v)、se(v)或ue(v))。描述符f(n)表示固定模式的比特字串，它使用左比特优先写入(从左到右)的n比特。描述符i(n)表示使用n比特的有符号整数。描述符u(n)表示使用n比特的无符号整数。描述符ce(v)表示左比特在前的上下文自适应可变长度熵编码语法元素。描述符se(v)表示左比特在前的有符号整数exp-golomb编码语法元素。语法元素ue(v)表示左比特在前的无符号整数exp-golomb编码语法元素。
[0039]
根据所提出的语法发送方法，以下语法表可被采用。
[0040][0041]
语法元素gcmp_guard_band_flag被布置为指示基于投影的帧(例如，img或img')是否包含至少一个保护带。如果语法元素gcmp_guard_band_flag等于0，则表示编码图片不包含保护带区域。如果语法元素gcmp_guard_band_flag等于1，则表示编码图片包含大小由语法元素gcmp_guard_band_samples_minus1指定的保护带区域。
[0042]
语法元素gcmp_guard_band_boundary_exterior_flag被布置为指示打包在基于投影的帧(例如，img或img')中的至少一个保护带是否包括充当基于立方体的投影布局的边界的保护带。
[0043]
语法元素gcmp_guard_band_samples_minusl被布置为提供打包在基于投影的帧(例如，img或img')中的每个保护带的大小信息。例如gcmp_guard_band_samples_minus1加1指定立方体贴图投影图片中使用的保护带样本的数量，以亮度样本(luma sample)为单位。当参数chromaformatidc等于1(4:2:0色度格式)或2(4:2:2色度格式)时，gcmp_guard_band_samples_minus1加1对应偶数个亮度样本(luma sample)。即在使用4:2:0色度格式或4:2:2色度格式时，gcmp_guard_band_samples_minus1加1对应偶数个亮度样本(luma sample)。
[0044]
图4-6示出根据本发明的实施例的两个语法元素gcmp_packing_type和gcmp_
guard_band_boundary_exterior_flag的组合的一种规范的图。在该示例中，语法元素gcmp_packing_type指定了基于立方体的投影布局中的投影面的打包的打包类型，以及进一步指定了分配给所选打包类型下的面位置的位置索引的预定布置。当gcmp_packing_type的值在0到3的范围内(包含端点)时，具有六个面的常规立方体贴图打包被使用，其中每个打包类型与分别被分配位置索引{0,1,2,3,4,5}的六个面位置相关联。当gcmp_packing_type为4或5时，具有一个全面和四个半面的半球立方体贴图打包被使用，其中每个打包类型与分别被分配位置索引{0,1,2,3,4}的五个面位置相关联。gcmp_packing_type的值应在0到5的范围内(包含端点)。gcmp_packing_type的其他值保留供将来使用。此外，语法元素gcmp_face_index[i](未示出)可以指定由语法元素gcmp_packing_type指定的打包类型下的位置索引i的面索引。
[0045]
以常规立方体贴图投影为例，正面可被分配面索引gcmp_face_index[i]＝＝0，背面可被分配面索引gcmp_face_index[i]＝＝1，顶面可被分配面索引gcmp_face_index[i]＝＝2，底面可被分配面索引gcmp_face_index[i]＝＝3，右面可被分配面索引gcmp_face_index[i]＝＝4,左面可被分配面索引gcmp_face_index[i]＝＝5。当语法元素gcmp_packing_type设置为0、1、2或3时，语法元素gcmp_face_index[i]指定投影面(例如，图2所示的正面“0”、背面“1”、顶面“2”、底面“3”、右面“4”或左面“5”)的面索引，其中具有由语法元素gcmp_face_index[i]指定的面索引的投影面被打包在所选打包类型下具有位置索引i的面位置。
[0046]
以半球立方体贴图投影为例，正全面可被分配面索引gcmp_face_index[i]＝＝0，上半面可被分配面索引gcmp_face_index[i]＝＝2，下半面可被分配面索引gcmp_face_index[i]＝＝3，右半面可被分配面脸索引gcmp_face_index[i]＝＝4，左半面可被分配面脸索gcmp_face_index[i]＝＝5。当语法元素gcmp_packing_type设置为4或5时，语法元素gcmp_face_index[i](未示出)指定投影面的面索引(例如图3中的正面“0”、背面“1”、顶面“2”、底面“3”、右面“4”或左面“5”)，其中具有由语法元素gcmp_face_index[i]指定的面索引的投影面被打包在所选打包类型下位置索引为i的面位置。
[0047]
由于本发明专注于保护带语法发送，为简洁起见，这里省略了对基于立方体投影的投影面的打包的进一步描述。
[0048]
如图4所示，在语法元素gcmp_guard_band_flag被设置为1的情况下，当语法元素gcmp_packing_type被设置为0以及语法元素gcmp_guard_band_boundary_exterior_flag被设置为0时，第一保护带被添加到打包在位置索引i＝2的面位置的第一投影面的底面边界，第二保护带被添加在打包在位置索引i＝3的面位置的第二投影面的顶面边界，其中第一保护带和第二保护带保护带具有与由gcmp_guard_band_samples_minus1加1指定的相同保护带大小d。如果第一个投影面的底面边界与第二个投影面的顶面边界直接相连，则一条边缘(例如，不连续边缘或连续边缘)存在于第一投影面和第二投影面之间。可以在第一投影面和第二投影面之间的边缘增加保护带。例如，对于3d空间中的立方体，第一投影面(立方体的一个正方形面)的底面边界可以与第二投影面的顶面边界相连，也可以不相连(这是立方体的另一个方面)；对于2d平面上基于立方体的投影布局，第一投影面的底面边界与第二投影面的顶面边界平行，以及第一保护带和第二保护带都在第一投影面及第二投影面之间，用以隔离第一投影面的底面边界与第二投影面的顶面边界，其中第一保护带连接第一
投影面的底面边界及第二保护带，以及第二保护带连接第一保护带与第二投影面的顶面边界。此外，一个保护带区域(由第一保护带和第二保护带组成，被插入第一投影面(在位置索引i＝2的面位置打包)和第二投影面(在位置索引i＝3的面位置打包)之间)的宽度等于2*d。
[0049]
如图4所示，在语法元素gcmp_guard_band_flag被设置为1的情况下，当语法元素gcmp_packing_type被设置为0以及语法元素gcmp_guard_band_boundary_exterior_flag被设置为1时，第一保护带被添加到在位置索引i＝2的面位置打包的投影面的底面边界，第二保护带被添加到在位置索引i＝3的面位置打包的投影面的顶面边界，第三保护带被添加到在位置索引i＝0的面位置打包的投影面的顶面边界，第四保护带被添加到在位置索引i＝5的面位置打包的投影面的底面边界，第五保护带被添加到在位置索引i＝0-5的多个面位置打包的多个投影面的多个左面边界，以及第六保护带被添加到在位置索引i＝0-5的多个面位置打包的多个投影面的多个右面边界，其中第一保护带、第二保护带、第三保护带、第四保护带、第五保护带和第六保护带具有与由gcmp_guard_band_samples_minus1加1指定的相同的保护带大小d。具体来说，第三保护带，第四保护带、第五保护带和第六保护带作为基于立方体的投影布局的边界。此外，插入两个投影面(在位置索引i＝2和i＝3的面位置处打包的)之间的一个保护带区域(由两个保护带组成)的宽度等于2*d。
[0050]
由于本领域技术人员在阅读以上段落后可以容易地理解图5和图6所示的其他保护带配置的细节，为简洁起见，在此不再赘述。
[0051]
如上所述，语法元素gcmp_guard_band_samples_minusl被布置为提供打包在基于投影的帧(例如，img或img')中的每个保护带的大小信息。在本发明的一些实施例中，解码器侧转换电路125可以参考从比特流bs解析的语法元素gcmp_guard_band_samples_minus1以在图4到图6中所示的保护带配置之一下对特定应用进行计算。
[0052]
例如，由语法元素gcmp_guard_band_samples_minus1指定的尺寸信息可以涉及在具有保护带的基于立方体的投影布局中打包的每个投影面的尺寸的计算。此过程的输入可以包括基于投影的帧(例如，解码帧img')的宽度picturewidth和高度pictureheight。该过程的输出可以包括打包在基于投影的帧(例如，解码帧img')中的投影面的宽度facewidth和高度faceheight。
[0053]
输出(outputs)可以如下导出：
[0054]
[0055]
[0056][0057]
又例如，由语法元素gcmp_guard_band_samples_minusl指定的大小信息可能涉及从解码帧img'内的样本位置到打包在具有保护带的基于立方体的投影布局中的投影面之一内的局部样本位置的转换。该过程的输入可以包括投影面的宽度facewidth和高度faceheight，还可以包括基于投影的帧(例如解码帧img')的样本位置(hpos，vpos)。该过程的输出可以包括打包在基于投影的帧(例如，解码帧img')中的投影面的局部样本位置(hposface、vposface)。
[0058]
输出(outputs)可以如下导出：
[0059]
[0060][0061]
图7-9示出根据本发明的实施例的两个语法元素gcmp_packing_type和gcmp_guard_band_boundary_exterior_flag的组合的另一规范的图。像图4到图6中所示的例子一样。参照图4-6，语法元素gcmp_packing_type指定了基于立方体的投影布局中投影面的打包的打包类型，以及进一步指定了在所选打包类型下分配给面位置的位置索引的预定配置。因此，当gcmp_packing_type的值在0到3的范围内(包括端点)时，具有六个面的常规立方体贴图打包被使用，其中每个打包类型与分别分配有位置索引{0,1,2,3,4,5}的六个面位置相关联。当gcmp_packing_type为4或5时，具有一个全面和四个半面的半球立方体贴图打包被使用，其中每个打包类型与分别分配有位置索引{0,1,2,3,4}的五个面位置相关联。此外，语法元素gcmp_face_index[i](未示出)可以在由语法元素gcmp_packing_type指定的打包类型下指定位置索引i的面索引。
[0062]
由于本发明侧重于保护带语法发送，为简洁起见，这里省略了对基于立方体投影的投影面的打包的进一步描述。
[0063]
图4-6中所示的保护带配置与图7-9中所示的保护带配置之间的主要区别在于：单个保护带被添加在基于立方体的投影布局中打包的两个相邻投影面之间的边缘(例如，不连续边缘或连续边缘)，该基于立方体的投影布局具有的gcmp_packing_type的值在0到3的范围内。如图7所示，在语法元素gcmp_guard_band_flag被设置为1的情况下，当语法元素gcmp_packing_type被设置为0以及语法元素gcmp_guard_band_boundary_exterior_flag被设置为0时，保护带被插入在第一投影面(被打包在具有面索引i＝2的面位置)的底面边界和第二投影面(被打包在具有面索引i＝3的面位置)的顶面边界之间，其中该保护带具有由gcmp_guard_band_samples_minus1加1指定的保护带大小d。如果第一投影面的底面边界
与第二投影面的顶面边界直接相连，则第一投影面和第二投影面之间存在边缘(例如，不连续边缘或连续边缘)。一个保护带被添加在第一投影面和第二投影面之间的边缘。例如，对于3d空间中的立方体，第一投影面(立方体的一个正方形面)的底面边界可以与第二投影面(立方体的另一个方面)的顶面边界相连，也可以不相连；对于2d平面上的基于立方体的投影布局，第一投影面的底面边界与第二投影面的顶面边界平行，保护带位于第一投影面和第二投影面之间用于隔离第一投影面的底面边界与第二投影面的顶面边界，其中保护带与第一投影面的底面边界相连，也与第二投影面的顶面边界相连。因此，插入在第一个投影面(打包在位置索引i＝2的面位置处)和第二个投影面(打包在位置索引i＝3的面位置处)之间的保护带区域(由单个保护带组成)的宽度等于d。
[0064]
如图7所示，在语法元素gcmp_guard_band_flag设置为1的情况下，当语法元素gcmp_packing_type被设置为0以及语法元素gcmp_guard_band_boundary_exterior_flag被设置为1时，第一保护带被添加在投影面(在位置索引i＝2的面位置打包)的底面边界和在投影面(在位置索引i＝3的面位置打包)的顶面边界之间，第二保护带被添加在位置索引i＝0的面位置打包的投影面的顶面边界，第三保护带被添加在位置索引i＝5的面位置打包的投影面的底面边界，第四保护带被添加在位置索引i＝0-5的多个面位置打包的多个投影面的多个左面边界，第五保护带被添加在位置索引i＝0-5的多个面位置打包的多个投影面的多个右面边界，其中第一保护带，第二保护带、第三保护带、第四保护带和第五保护带具有与由gcmp_guard_band_samples_minus1加1指定的相同的保护带大小d。具体来说，第二保护带、第三保护带、第四保护带、第五保护带作为基于立方体的投影布局的边界。此外，插入两个投影面(在位置索引i＝2和i＝3的面位置打包)之间的一个保护带区域(由单个保护带组成)的宽度等于d。
[0065]
由于本领域技术人员在阅读上述段落后可以容易地理解图8和图9所示的其他保护带配置的细节，为简洁起见，在此省略进一步的描述。
[0066]
如上所述，语法元素gcmp_guard_band_samples_minusl被布置为提供打包在基于投影的帧(例如，img或img')中的每个保护带的大小信息。在本发明的一些实施例中，解码器侧转换电路125可以参考从比特流bs解析的语法元素gcmp_guard_band_samples_minus1以在图7-9中所示的保护带配置之一下对特定应用进行计算。
[0067]
例如，由语法元素gcmp_guard_band_samples_minus1指定的尺寸信息可以涉及在具有保护带的基于立方体的投影布局中打包的每个投影面的尺寸的计算。此过程的输入可以包括基于投影的帧(例如，解码帧img')的宽度picturewidth和高度pictureheight。该过程的输出可以包括打包在基于投影的帧(例如，解码帧img')中的投影面的宽度facewidth和高度faceheight。
[0068]
输出(outputs)可以如下导出：
[0069]
[0070]
[0071][0072]
对于另一示例，由语法元素gcmp_guard_band_samples_minusl指定的尺寸信息可能涉及从解码帧img'内的样本位置到打包在具有保护带的基于立方体的投影布局中的投影面之一内的局部样本位置的转换。该过程的输入可以包括投影面的宽度facewidth和高度faceheight，还可以包括基于投影的帧(例如解码帧img')的样本位置(hpos，vpos)。该过程的输出可以包括打包在基于投影的帧(例如，解码帧img')中的投影面的局部样本位置(hposface、vposface)。
[0073]
输出(outputs)可以如下导出：
[0074]
[0075][0076]
本领域技术人员将容易地观察到，在保留本发明的教导的同时，可以对装置和方法进行多种修改和改变。因此，上述公开应被解释为仅受所附权利要求的界限和界限的限制。