用于处理包括封装在360度虚拟现实投影布局中的至少一个投影面的基于投影的帧的方法与流程

本申请是在2008年12月3日提交的第15/917,844号的美国专利申请的部分延续申请，并要求在2017年9月27日提交的第62/563,787号的美国临时申请，在2017年11月8日提交的第62/583,078号的美国临时申请，和在2017年11月9日提交的第62/583,573号的美国临时申请的优先权，其中第15/917,844号的美国专利申请要求在2017年3月13日提交的第62/470,425号的美国临时申请的优先权。

相关申请的全部内容，包括第15/917,844号的美国专利申请，第62/563,787号的美国临时申请，第62/583,078号的美国临时申请，第62/583,573号的美国临时申请和第62/470,425号的美国临时申请，在此合并参考上述申请案的申请标的。

本发明有关于处理全向图像/视频内容。更具体地，本发明涉及一种用于处理基于投影的帧的方法，该基于投影的帧包括至少一个封装在360度虚拟现实(360-degreevirtualreality，360vr)投影布局中的投影面。

背景技术：

具有头戴式显示器(head-mounteddisplays，hmds)的虚拟现实(vr)与各种应用相关联。向用户显示宽视野内容的能力可用于提供沉浸式视觉体验。必须在所有方向上捕获真实世界环境，从而产生对应于球体的全向图像/视频内容。随着摄像机装备和hmds的进步，由于表示这种360度图像/视频内容所需的高比特率，vr内容的传送可能很快成为瓶颈。当全向视频的分辨率为4k或更高时，资料压缩/编码对于降低比特率至关重要。

通常，对应于球体的全向图像/视频内容被转换为图像序列，每个图像是基于投影的帧，其具有由在360度虚拟现实(360vr)投影布局中排列的一个或多个投影面表示的360度图像/视频内容，然后基于投影的帧的序列被编码成比特流以进行传输。基于投影的帧在布局边界和/或面边界处可能具有图像内容不连续性。因此在压缩之后，布局边界和/或面边界周围的图像质量可能较差。此外，通过解码的基于投影的帧的投影布局转换可能引入伪影，从而导致转换的基于投影的帧的图像质量劣化。

技术实现要素：

本发明的目的之一是提供一种用于处理基于投影的帧的方法，该基于投影的帧包括封装在360度虚拟现实(360vr)投影布局中的至少一个投影面。

根据本发明的第一方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：从球体的全向内容获得多个投影面，其中球体的全向内容通过立方体投影被映射到投影面上，并且该多个投影面包括第一投影面；通过重采样电路，通过非均匀映射对第一投影面的至少一部分进行重采样，获得第一重采样投影面，其中第一投影面具有第一源区域和第二源区域，第一重采样投影面具有第一重采样区域和第二重采样区域，第一重采样区域是从第一源区域以第一采样密度进行重采样得到的，第二重采样区域是从第二源区域以第二重采样密度进行重采样得到的，第一采样密度不同于第二采样密度；根据立方体投影的投影布局生成基于投影的帧，其中基于投影的帧包括封装在投影布局中的第一重采样投影面；以及对基于投影的帧进行编码以生成比特流的一部分。

根据本发明的第二方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：根据立方体投影从球体的全向内容获得多个投影面；通过填充电路产生至少一个填充区域；通过封装在立方体投影的投影布局中的该多个投影面和该至少一个填充区域来生成基于投影的帧，其中，封装在投影布局中的该多个投影面包括第一投影面；封装在投影布局中的该至少一个填充区域包括第一填充区域；第一填充区域至少与第一投影面连接，并形成投影布局的一个边界的至少一部分；以及对基于投影的帧进行编码以生成比特流的一部分。

根据本发明的第三方面，公开了一种示例性视频处理方法。该示例性视频处理方法包括：接收比特流的一部分，以及解码比特流的一部分以生成解码的基于投影的帧，其中基于投影的帧具有封装在360度虚拟现实(360vr)投影布局中的至少一个投影面和至少一个填充区域。解码比特流的一部分以生成解码的基于投影的帧的步骤包括：通过混合包括在该至少一个填充区域中的第一像素获得的解码像素值和包括在该至少一个投影面中的第二像素获得的解码像素值，重建包括在该至少一个填充区域中的该第一像素。

在阅读了在以下详细描述的各个附图和附图中示出的优选实施例之后，对所属领域中具有通常知识者而言，本发明的这些和其他目的无疑将显而易见。

附图说明

图1是根据本发明的实施例的第一种360度虚拟现实(360vr)系统的示意图。

图2是从球体到未经旋转的八面体(octahedron)的投影获得的基于八面体投影格式中的三角形投影面的示意图。

图3是根据本发明的实施例的第一种紧凑八面体投影布局(compactoctahedronprojectionlayout)的示意图。

图4是从球体到经过旋转的八面体的投影获得的基于八面体投影格式中的三角形投影面的示意图。

图5是根据本发明的实施例的第二种紧凑八面体投影布局的示意图。

图6是根据本发明的实施例的具有填充的第一种紧凑八面体投影布局的示意图。

图7是根据本发明的实施例的具有填充的第二种紧凑八面体投影布局的示意图。

图8是由图1中所示的填充电路执行的插值的示意图。

图9是由图1中所示的填充电路执行的几何填充的示意图。

图10是根据本发明的实施例的具有填充的紧凑立方体(cubemap)投影布局的示意图。

图11是根据本发明的实施例的具有填充的第三种紧凑八面体投影布局的示意图。

图12是根据本发明的实施例的具有填充的第一种erp/eap布局的示意图。

图13是根据本发明的实施例的具有填充的第二种erp/eap布局的示意图。

图14是根据本发明的实施例的具有填充的第三种erp/eap布局的示意图。

图15是根据本发明的实施例的具有填充的八面体投影布局的示意图。

图16是根据本发明的实施例的具有填充的立方体投影布局的示意图。

图17是根据本发明的实施例的具有填充的第四种紧凑八面体投影布局的示意图。

图18是根据本发明的实施例的具有填充的紧凑立方体投影布局的示意图。

图19是根据本发明的实施例的第二种360vr系统的示意图。

图20是根据从球体经过立方体投影(cubemapprojection，cmp)获得的立方体投影布局中的六个正方形投影面的示意图。

图21是根据本发明的实施例的通过均匀映射对立方体投影获得的正方形投影面进行重采样的示意图。

图22是根据本发明的实施例的均匀映射函数曲线的示意图。

图23是根据本发明的实施例的通过非均匀映射对立方体投影获得的正方形投影面进行重采样的第一示例的示意图。

图24是根据本发明的实施例的通过非均匀映射对立方体投影获得的正方形投影面进行重采样的第二示例的示意图。

图25是根据本发明的实施例的第一非均匀映射函数曲线的示意图。

图26是根据本发明的实施例的第二非均匀映射函数曲线的示意图。

图27是根据本发明的实施例的第三种360vr系统的示意图。

图28是根据本发明的实施例的对立方体投影布局进行内部边界填充(edgepadding)的示意图。

图29是根据本发明的实施例的对立方体投影布局进行外部边界填充(boundarypadding)和内部边界填充的示意图。

图30是根据本发明的实施例的对其他立方体投影布局进行外部边界填充和内部边界填充的示意图。

图31是根据本发明实施例的通过复制另一投影面中的部分区域来产生一个投影面的填充区域的填充设计的示意图。

图32是根据本发明的实施例的第四种360vr系统的示意图。

图33是根据本发明的实施例的第五种360vr系统的示意图。

图34是根据本发明的实施例的解码器侧混合操作的示意图。

图35是根据本发明实施例的更新投影面中的像素的像素值所涉及的像素的权重值与像素的索引值之间关系的示意图。

图36是根据本发明实施例的更新投影面中的像素的像素值所涉及的像素的权重值与像素的索引值之间另一种关系的示意图。

图37是根据本发明的实施例的第六种360vr系统的示意图。

图38是根据本发明的实施例的第七种360vr系统的示意图。

图39是根据本发明的实施例的更新投影面中的像素的像素值和填充区域中的填充像素的像素值，所涉及的像素的权重值与像素的索引值之间关系的示意图。

图40是根据本发明的实施例的更新投影面中的像素的像素值和填充区域中的填充像素的像素值，所涉及的像素的权重值与像素的索引值之间另一种关系的示意图。

具体实施方式

在说明书及权利要求书当中使用了某些词汇来指称特定的元件。本领域的技术人员应可理解，电子装置制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的准则。在通篇说明书和权利要求书当中所提及的“包括”和“包含”为开放式的用语，故应解释成「包括但不限定于......」。以外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接到一第二装置，则代表该第一装置可直接电气连接于该第二装置，或通过其他装置或连接手段间接地电气连接至该第二装置。

图1是根据本发明的实施例的第一种360度虚拟现实(360vr)系统的示意图。360vr系统100包括两个视频处理装置(例如，源电子设备102和目标电子设备104)。源电子设备102包括视频捕获设备112，转换电路114和视频编码器116。例如，视频捕获设备112可以是用于提供对应于球体的全向图像/视频内容(例如，覆盖整个周围环境的多个图像)s_in的一组相机。转换电路114耦接在视频捕获设备112和视频编码器116之间。转换电路114根据全向图像/视频内容s_in生成具有360度虚拟现实投影布局l_vr的基于投影的帧img。例如，基于投影的帧img可以是包括在从转换电路114生成的基于投影的帧的序列中的一个帧。视频编码器116是用于编码/压缩基于投影的帧img以生成比特流bs的一部分的编码电路。此外，视频编码器116经由传输装置103将比特流bs输出到目标电子设备104。例如，可以将基于投影的帧的序列编码到比特流bs中，并且传输装置103可以是有线/无线通讯链路或存储介质。

目标电子设备104可以是头戴式显示器(hmd)设备。如图1所示，目标电子设备104包括解码电路122，图形渲染电路124和显示屏幕126。解码电路122从传输装置103(例如，有线/无线通讯链路或存储器)接收比特流bs，然后，执行视频解码器功能，用于解码所接收的比特流bs的一部分以生成解码帧img'。例如，解码电路122通过对接收的比特流bs进行解码来生成解码帧的序列，其中解码帧img'是包括在解码帧的序列中的一个帧。在该实施例中，由编码器侧的视频编码器116编码的基于投影的帧img具有360vr投影格式和投影布局。因此，在解码器侧的解码电路122对比特流bs进行解码之后，解码帧img'是具有相同的360vr投影格式和相同投影布局的解码的基于投影的帧。图形渲染电路124耦接在解码电路122和显示屏幕126之间。图形渲染电路124根据解码帧img'在显示屏幕126上渲染并显示输出图像资料。例如，与由解码帧img'承载的360度图像/视频内容的一部分相关联的视埠区域可以经由图形渲染电路124显示在显示屏幕126上。

如上所述，转换电路114根据360vr投影布局l_vr和全向图像/视频内容s_in生成基于投影的帧img。如果360vr投影布局l_vr是不具有填充的紧凑投影布局，则投影面的封装可能导致相邻投影面之间存在图像内容不连续边界。

图2是从球体到未经旋转的八面体投影获得的基于八面体投影格式中的三角形投影面的示意图。球体202的全向图像/视频内容被映射到未经旋转的八面体204的八个三角形投影面(标记为“1”，“2”，“3”，“4”，“5”，“6”，“7”，和“8”)。如图2所示，三角形投影面“1”-“8”以八面体投影布局206排列。每个三角形投影面“1”-“8”的形状是等边三角形。对于三角形投影面“k”(k＝1-8)，该面具有三个边，表示为sk1，sk2和sk3。球体202由顶部半球(例如，北半球)和底部半球(例如，南半球)组成。由于基于未经旋转的八面体204的八面体投影，三角形投影面“1”，“2”，“3”和“4”都来自顶部半球，三角形投影面“5”，“6”“7”，和“8”都来自底部半球，并且球体202的赤道208沿着三角形投影面“1”-“8”的边s13，s23，s33，s43，s53，s63，s73和s83被映射，如图2中的虚线所示。

将要编码的基于投影的帧img需要是矩形的。如果八面体投影布局206直接用于创建基于投影的帧img，基于投影的帧img无法具有紧凑的帧布局，在基于投影的帧img中需要对许多空置区域进行填充(例如，填充为黑色，灰色或白色的区域)。因此，需要一种紧凑八面体投影布局，其可以避免出现空置区域(例如，填充为黑色，灰色或白色的区域)。

请结合参考图2和图3。图3是根据本发明的实施例的第一种紧凑八面体投影布局的示意图。球体202的赤道208沿着三角形投影面“1”-“8”的边被映射，如图3中的虚线所示。紧凑八面体投影布局310是通过三角形投影面旋转和三角形投影面分割来从八面体投影布局206导出的。如图3的中间部分所示，在八面体投影布局206中的三角形投影面“1”顺时针旋转60°，在八面体投影布局206中的三角形投影面“3”逆时针旋转60°，在八面体投影布局206的三角形投影面“5”逆时针旋转60°，以及在八面体投影布局206中的三角形投影面“7”顺时针旋转60°。因此，三角形投影面“2”的边s21与三角形投影面“1”的边s12连接，三角形投影面“2”的边s22与三角形投影面“3”的边s31连接。三角形投影面“6”的边s62与三角形投影面“5”的边s51连接，三角形投影面“6”的边s61与三角形投影面“7”的边s72连接。

如图3的中间部分所示，在三角形投影面“2”的边s21和三角形投影面“1”的边s12之间存在图像内容连续性边界(即，内容连续地表示在三角形投影面“1”和“2”中)，在三角形投影面“2”的边s22和三角形投影面“3”的边s31之间存在图像内容连续性边界(即，内容连续地表示在三角形投影面“2”和“3”中)，在三角形投影面“2”的边s23和三角形投影面“6”的边s63之间存在图像内容连续性边界(即，内容连续地表示在三角形投影面“2”和“6”中)，在三角形投影面“6”的边s62和三角形投影面“5”的边s51之间存在图像内容连续性边界(即，内容连续地表示在三角形投影面“5”和“6”中)，并且在三角形投影面“6”的边s61和三角形投影面“7”的边s72之间存在图像内容连续性边界(即，内容连续地表示在三角形投影面“6”和“7”中)。

另外，八面体投影布局206中的三角形投影面“8”被分成两个直角三角形部分302和304，并且八面体投影布局206中的三角形投影面“4”被分成两个直角三角形部分306和308。如图3的底部所示，三角形投影面“8”的直角三角形部分304和三角形投影面“4”的直角三角形部分308分别连接到三角形投影面“7”和“3”；三角形投影面“8”的直角三角形部分302和三角形投影面“4”的直角三角形部分306分别重新定位并连接到三角形投影面“5”和“1”。

三角形投影面“8”的直角三角形部分302具有三个边s811，s812和s83_1，其中边s811是三角形投影面“8”的边s81，并且边s83_1是三角形投影面“8”的边s83的第一部分。三角形投影面“8”的直角三角形部分304具有三个边s821，s822和s83_2，其中边s821是三角形投影面“8”的边s82，而边s83_2是三角形投影面“8”的边s83的第二部分。

三角形投影面“4”的直角三角形部分306具有三个边s421，s422和s43_1，其中边s421是三角形投影面“4”的边s42，并且边s43_1是三角形投影面“4”的边s43的第一部分。三角形投影面“4”的直角三角形部分308具有三个边s411，s412和s43_2，其中边s411是三角形投影面“4”的边s41，而边s43_2是三角形投影面“4”的边s43的第二部分。

根据紧凑八面体投影布局310，三角形投影面“8”的直角三角形部分304的边s821与三角形投影面“7”的边s73连接，三角形投影面“8”的直角三角形部分304的边s83_2与三角形投影面“4”的直角三角形部分308的边s43_2连接，三角形投影面“4”的直角三角形部分308的边s411与三角形投影面“3”的边s33连接，三角形投影面“8”的直角三角形部分302的边s811与三角形投影面“5”的边s53连接，三角形投影面“8”的直角三角形部分302的边s83_1与三角形投影面“4”的直角三角形部分306的边s43_1连接，三角形投影面“4”的三角形部分306的边s421与三角形投影面“1”的边s13连接。

在三角形投影面“8”的直角三角形部分304的边s83_2与三角形投影面“4”的直角三角形部分308的边s43_2之间存在图像内容连续性边界。在三角形投影面“8”的直角三角形部分302的边s83_1与三角形投影面“4”的直角三角形部分306的边s43_1之间存在图像内容连续性边界。也就是说，内容连续地表示在三角形投影面“4”和“8”中。此外，在三角形投影面“8”的直角三角形部分304的边s821与三角形投影面“7”的边s73之间存在图像内容不连续边界，在三角形投影面“4”的直角三角形部分308的边s411和三角形投影面“3”的边s33之间存在图像内容不连续边界，在三角形投影面“8”的直角三角形部分302的边s811和三角形投影面“5”的边s53之间存在图像内容不连续边界，以及在三角形投影面“4”的直角三角形部分306的边s421和三角形投影面“1”的边s13之间存在图像内容不连续边界。

如图3的底部所示，由紧凑八面体投影布局310设置的360vr投影布局l_vr是没有任何虚设区域(例如，黑色区域或白色区域)的矩形。另外，360度图像/视频内容的部分在三角形投影面“1”，“2”，“3”，“5”，“6”，“7”中连续表示，没有图像内容不连续。然而，一些图像内容不连续边界仍然不可避免地存在于紧凑八面体投影布局310中。因此，如果通过紧凑八面体投影布局310来设置360vr投影布局l_vr，则压缩之后的图像内容不连续边界附近的图像质量可能较差。

当如图2所示的三角形投影面“1”-“8”被重新排列并封装在紧凑八面体投影布局310中时，一些三角形投影面必须被分割和重新定位，从而导致基于投影的帧img中的赤道208的图像内容不连续。通常，球体202的顶部和底部区域通常分别代表“天空”和“地面”，并且周围环境中的移动物体大多位于球体202的赤道208处。如果表示在基于投影的帧img中的赤道208具有图像内容不连续性，则编码效率和图像质量会显著降低。如果球体202的赤道208沿三角形投影面的中间或除三角形投影面的边之外的任何位置被映射，则可以提高编码效率和图像质量。

图4是从球体到经过旋转的八面体投影获得的基于八面体投影格式中的三角形投影面的示意图。球体202的全向图像/视频内容被映射到经过旋转的八面体404的八个三角形投影面(标记为“1”，“2”，“3”，“4”，“5”，“6”，“7”和“8”)。图4中所示的经过旋转的八面体404可以通过向图2中所示的八面体204施加90度旋转来获得。如图4所示，三角形投影面“1”-“8”被封装在八面体投影布局406中。每个三角形投影面“1”-“8”的形状是等边三角形。对于三角形投影面“k”(k＝1-8)，该面具有三个边，表示为sk1，sk2和sk3。球体202由左半球和右半球组成。三角形投影面“1”，“2”，“3”和“4”都来自右半球，三角形投影面“5”，“6”，“7”和“8”是全部来自左半球。由于旋转的八面体404上的八面体投影，球体202的赤道208未沿着每个三角形投影面的任何一边被映射。在该实施例中，球体202的赤道208沿三角形投影面“2”，“4”，“6”和“8”的中间被映射，如图4中的虚线所示。如上所述，将要编码的基于投影的帧img需要是矩形的。因此，基于投影的帧img应该使用紧凑八面体投影布局。

请结合参考图4和图5。图5是根据本发明的实施例的第二种紧凑八面体投影布局的示意图。球体202的赤道208沿三角形投影面“2”，“4”，“6”和“8”的中间被映射，如图5中的虚线所示。紧凑八面体投影布局510是通过三角形投影面旋转和三角形投影面分割来从八面体投影布局406导出的。如图5的中间部分所示，在八面体投影布局406中的三角形投影面“7”顺时针旋转60°，在八面体投影布局406中的三角形投影面“5”逆时针旋转60°，在八面体投影布局406的三角形投影面“3”逆时针旋转60°，并且在八面体投影布局406中的三角形投影面“1”顺时针旋转60°。因此，三角形投影面“7”的边s72与三角形投影面“6”的边s61连接，三角形投影面“5”的边s51与三角形投影面“6”的边s62连接。“三角形投影面“3”的边s31与三角形投影面“2”的边s22连接，三角形投影面“1”的边s12与三角形投影面“2”的边s21连接。

如图5的中间部分所示，在三角形投影面“7”的边s72和三角形投影面“6”的边s61之间存在图像内容连续性边界(即，内容连续地表示在三角形投影面“6”和“7”中)，在三角形投影面“5”的边s51和三角形投影面“6”的边s62之间存在图像内容连续性边界(即，内容连续地表示在三角形投影面“5”和“6”中)，在三角形投影面“3”的边s31和三角形投影面“2”的边s22之间存在图像内容连续性边界(即，内容连续地表示在三角形投影面“2”和“3”中)，在三角形投影面“1”的边s12和三角形投影面“2”的边s21之间存在图像内容连续性边界(即，内容连续地表示在三角形投影面“1”和“2”中)，以及在三角形投影面“2”的边s23和三角形投影面“6”的边s63之间存在图像内容连续性边界(即，内容连续地表示在三角形投影面“2”和“6”中)。

另外，八面体投影布局406中的三角形投影面“4”被分成两个直角三角形部分502和504，以及八面体投影布局406中的三角形投影面“8”被分成两个直角三角形部分506和508。如图5的右部所示，三角形投影面“4”的直角三角形部分504和三角形投影面“8”的直角三角形部分508分别连接到三角形投影面“1”和“5”；三角形投影面“4”的直角三角形部分502和三角形投影面“8”的直角三角形部分506分别重新定位并连接到三角形投影面“3”和“7”。

三角形投影面“4”的直角三角形部分502具有三个边s411，s412和s43_1，其中边s411是三角形投影面“4”的边s41，并且边s43_1是三角形投影面“4”的边s43的第一部分。三角形投影面“4”的直角三角形部分504具有三个边s421，s422和s43_2，其中边s421是三角形投影面“4”的边s42，并且边s43_2是三角形投影面“4”的边s43的第二部分。

三角形投影面“8”的直角三角形部分506具有三个边s821，s822和s83_1，其中边s821是三角形投影面“8”的边s82，并且边s83_1是三角形投影面“8”的边s83的第一部分。三角形投影面“8”的直角三角形部分508具有三个边s811，s812和s83_2，其中边s811是三角形投影面“8”的边s81，而边s83_2是三角形投影面“8”的边s83的第二部分。

根据紧凑八面体投影布局510，三角形投影面“4”的直角三角形部分504的边s421与三角形投影面“1”的边s13连接，三角形投影面“4”的直角三角形部分504的边s43_2与三角形投影面“8”的直角三角形部分508的边s83_2连接，三角形投影面“8”的直角三角形部分508的边s811与三角形投影面“5”的边s53连接，三角形投影面“4”的直角三角形部分502的边s411与三角形投影面“3”的边s33连接，三角形投影面“4”的直角三角形部分502的边s43_1与三角形投影面“8”的直角三角形部分506的边s83_1连接，以及三角形投影面“8”的三角形部分506的边s821与三角形投影面“7”的边s73连接。

在三角形投影面“4”的直角三角形部分504的边s43_2与三角形投影面“8”的直角三角形部分508的边s83_2之间存在图像内容连续性边界。在三角形投影面“4”的直角三角形部分502的边s43_1与三角形投影面“8”的直角三角形部分506的边s83_1之间存在图像内容连续性边界。也就是说，内容连续地表示在三角形投影面“4”和“8”中。此外，在三角形投影面“4”的直角三角形部分504的边s421与三角形投影面“1”的边s13之间存在图像内容不连续边界，在三角形投影面“8”的直角三角形部分508的边s811和三角形投影面“5”的边s53之间存在图像内容不连续边界，在三角形投影面“4”的直角三角形部分502的边s411和三角形投影面“3”的边s33之间存在图像内容不连续边界，在三角形投影面“8”的直角三角形部分506的边s821和三角形投影面“7”的边s73之间存在图像内容不连续边界。

在图5的右侧部分中，由紧凑八面体投影布局510的形状布置的360vr投影布局l_vr是不具有任何空置区域(例如，填充为黑色，灰色或白色的区域)的矩形。另外，360度图像/视频内容的部分在三角形投影面“1”，“2”，“3”，“5”，“6”，“7”中连续表示，没有图像内容不连续。此外，在基于投影的图像img(其使用紧凑八面体投影布局510)中由三角形投影面“2”，“4”，“6”和“8”表示的赤道208没有由于三角投影面分割导致的图像内容不连续性。然而，一些图像内容不连续边界仍然不可避免地存在于紧凑八面体投影布局510中。因此，如果通过紧凑八面体投影布局510设置360vr投影布局l_vr，则压缩之后图像内容不连续边界附近的图像质量可能较差。

为解决上述图像质量劣化问题，本发明提出了一种具有填充的创新360vr投影布局设计，其能够在压缩之后改善投影面边界处的图像质量。例如，360vr投影布局l_vr可以通过具有填充的紧凑立方体布局或具有填充的紧凑八面体布局来设置。具体地，转换电路114从视频捕获设备112接收球体202的全向图像/视频内容，并从球体202的全向图像/视频内容中获得多个投影面，其中球体202的全向图像/视频内容通过选定的360vr投影(例如，立方体投影或八面体投影)映射到投影面上。如图1所示，转换电路114具有填充电路115，其被布置为产生至少一个填充区域。转换电路114通过在360vr投影布局l_vr(例如，具有填充的紧凑立方体布局或具有填充的紧凑八面体布局)中封装多个投影面和至少一个填充区域来创建基于投影的帧img。

例如，封装在360vr投影布局l_vr中的投影面包括第一投影面和第二投影面，其中如果第一投影面的第一边与第二投影面的第一边连接，并在第一投影面的第一边与第二投影面的第一边之间存在图像内容不连续边界。在360vr投影布局l_vr中封装的至少一个填充区域包括第一填充区域，其中第一填充区域与第一投影面的第一边和第二投影面的第一边连接，用于将360vr投影布局l_vr中的第一投影面的第一边和第二投影面的第一边隔离开。有意插入第一填充区域以提供压缩过程的更多信息。这样一来，可以提高压缩后的第一投影面的第一边和第二投影面的第一边的图像质量。

图6是根据本发明的实施例的具有填充的第一种紧凑八面体投影布局的示意图。转换电路114采用的360vr投影布局l_vr可以通过图6所示的紧凑八面体投影布局310'来设置。紧凑八面体投影布局310'可以从图3中所示的紧凑八面体投影布局310导出。关于图3中所示的紧凑八面体投影布局310，在三角形投影面“8”的直角三角形部分304的边s821与三角形投影面“7”的边s73之间存在图像内容不连续边界，在三角形投影面“4”的直角三角形部分308的边s411和三角形投影面“3”的边s33之间存在图像内容不连续边界，在三角形投影面“8”的直角三角形部分302的边s811和三角形投影面“5”的边s53之间存在图像内容不连续边界，在三角形投影面“4”的直角三角形部分306的边s421和三角形投影面“1”的边s13之间存在图像内容不连续边界。如图6所示，插入第一填充区域pr_1，以与三角形投影面“4”的直角三角形部分306的边s421(其也是投影面“4”的边s42)和投影面“1”的边s13连接；插入第二填充区域pr_2，以与三角形投影面“4”的直角三角形部分308的边s411(其也是投影面“4”的边s41)和投影面“3”的边s33连接；插入第三填充区域pr_3，以与三角形投影面“8”的直角三角形部分302的边s811(其也是投影面“8”的边s81)和投影面“5”的边s53连接；以及插入第四填充区域pr_4，以与三角形投影“8”的直角三角形部分304的边s821(其也是投影面“8”的边s82)和投影面“7”的边s73连接。假设每个填充区域的宽度是d，并且图3中所示的紧凑八面体投影布局310具有宽度w和高度h，图6所示的紧凑八面体投影布局310'具有宽度w+2d和高度h。例如，每个填充区域的宽度d可以是16个像素。

图7是根据本发明的实施例的具有填充的第二种紧凑八面体投影布局的示意图。转换电路114采用的360vr投影布局l_vr可以通过图7所示的紧凑八面体投影布局510'来设置。紧凑八面体投影布局510'可以从图5中所示的紧凑八面体投影布局510导出。关于图5中所示的紧凑八面体投影布局510，在三角形投影面“8”的直角三角形部分506的边s821与三角形投影面“7”的边s73之间存在图像内容不连续边界，在三角形投影面“4”的直角三角形部分502的边s411和三角形投影面“3”的边s33之间存在图像内容不连续边界，在三角形投影面“8”的直角三角形部分508的边s811和三角形投影面“5”的边s53之间存在图像内容不连续边界，在三角形投影面“4”的直角三角形部分504的边s421和三角形投影面“1”的边s13之间存在图像内容不连续边界。如图7所示，插入第一填充区域pr_1，以与三角形投影面“4”的直角三角形部分504的边s421(其也是投影面“4”的边s42)和投影面“1”的边s13连接；插入第二填充区域pr_2，以与三角形投影面“4”的直角三角形部分502的边s411(其也是投影面“4”的边s41)和投影面“3”的边s33连接；插入第三填充区域pr_3，以与三角形投影面“8”的直角三角形部分508的边s811(也是投影面“8”的边s81)和投影面“5”的边s53连接；以及插入第四填充区域pr_4，以与三角形投影面“8”的直角三角形部分506的边s821(其也是投影面“8”的边s82)和投影面“7”的边s73连接。假设每个填充区域的高度是d，并且图5中所示的紧凑八面体投影布局510具有宽度w和高度h，则图7所示的紧凑八面体投影布局510'具有宽度w和高度h+2d。例如，每个填充区域的高度d可以是16个像素。

在一个示例性填充实现中，填充电路115通过基于连接到填充区域的相邻投影面中所包括像素的像素值进行插值运算，来设置填充区域中所包括像素的像素值。关于图6中所示的紧凑八面体投影布局310'和图7中所示的紧凑八面体投影布局510'中的每一个，通过基于在相邻投影面“1”和“4”中所包括像素的像素值进行插值运算，来获取第一填充区域pr_1中所包括像素的像素值；通过基于在相邻投影面“3”和“4”中所包括像素的像素值进行插值运算，来获取第二填充区域pr_2中所包括像素的像素值；通过基于在相邻的投影面“3”和“5”中所包括像素的像素值进行插值运算，来获取第三填充区域pr_3中所包括像素的像素值；通过基于相邻投影面“7”和“8”中所包括像素的像素值进行插值算，来获取第四填充区域pr_4中所包括像素的像素值。

所采用的插值可以是最近相邻插值(nearestneighborinterpolation)，线性插值，双线性插值或其他合适的插值算法。所采用的插值所使用的采样点可以从单个方向或不同方向获得。图8是由图1中所示的填充电路115执行的插值的示意图。填充区域pr需要插入在相邻投影面a1和a2之间，所述投影面a1和a2是从球体的所选360vr投影获得的，其中如果投影面a1与投影面a2连接，则在相邻投影面a1和a2之间存在图像内容不连续边界。如图8的子图(a)所示，对在垂直方向上从相邻投影面a1和a2获得的采样点(即，像素)p1和p2执行插值。因此，根据采样点p1和p2的采样值，采样点p1和插值采样点s之间的距离以及采样点p2和插值采样点s之间的距离，来确定插值采样点(即，插值像素)s。

如图8的子图(b)所示，对在水平方向上从相邻投影面a1和a2获得的采样点(即像素)q1和q2进行插值。因此，根据采样点q1和q2的采样值，采样点q1和插值采样点s之间的距离，以及采样点q2和插值采样点s之间的距离，来确定插值采样点(即，插值像素)s。

如图8的子图(c)所示，对在垂直方向上从相邻投影面a1和a2获得的采样点(即，像素)p1和p2以及在水平方向上从相邻投影面a1和a2获得的采样点(即，像素)q1和q2执行插值。因此，根据采样点p1，p2，q1和q2的采样值，采样点p1与插值采样点s之间的距离，采样点p2和插值采样点s之间的距离，采样点q1和插值采样点s之间的距离，以及采样点q2和插值采样点s之间的距离，来确定插值采样点(即，插值像素)s。

在另一示例性填充实现中，填充电路115将第一次几何填充应用于一个相邻投影面以确定填充区域中所包括像素的第一像素值，将第二次几何填充应用于另一个相邻投影面以确定填充区域中所包括像素的第二像素值，并通过混合从第一次几何填充导出的第一像素值和从第二次几何填充导出的第二像素值来设置填充区域中所包括像素的像素值。图9是由图1中所示的填充电路115执行几何填充的示意图。填充区域pr需要插入在相邻的投影面a1和a2之间，这些投影面a1和a2是通过球体的选定的360vr投影获得的，其中如果投影面a1与投影面a2连接，则在相邻的投影面a1和a2之间存在图像内容不连续边界。应用于投影面a1的第一次几何填充确定一几何映射区域a1_gp，其中几何映射区域a1_gp是通过将球体(例如，图2/图4中所示的球体202)上的区域的内容映射到填充区域pr上而获得的，其中球体上的区域与获得投影面a1的区域相邻。因此，在投影面a1和从投影面a1延伸的几何映射区域a1_gp之间存在图像内容连续性边界(即，内容连续地表示在投影面a1和几何映射区域a1_gp中)。

应用于投影面a2的第二次几何填充确定另一几何映射区域a2_gp，其中几何映射区域a2_gp是通过将球体(例如，图2/图4中所示的球体202)上的区域的内容映射到填充区域pr上而获得的，其中球体上的区域与获得投影面a2的区域相邻。因此，在投影面a2和从投影面a2延伸的几何映射区域a2_gp之间存在图像内容连续性边界(即，内容连续地表示在投影面a2和几何映射区域a2_gp中)。

在获得与相同填充区域pr相关联的几何映射区域a1_gp和a2_gp之后，填充电路115混合几何映射区域a1_gp和a2_gp以确定填充区域pr中所包括像素的像素值。即，pr＝f(a1_gp，a2_gp)，其中f()是混合函数。例如，混合函数f()可以是平均函数。关于填充区域pr中的每个像素，填充区域pr中的像素的像素值由几何映射区域a1_gp中的像素的第一像素值和几何映射区域a2_gp中的像素的第二像素值的平均值来设置。

在又一示例性填充实现中，填充电路115通过复制在相邻投影面中所包括像素的像素值来设置填充区域中所包括像素的像素值，所述相邻投影面是从球体的所选360vr投影获得的。例如，复制投影面a1的一边的边界像素以创建从投影面a1的一边延伸的填充像素，并且复制投影面a2的一边的边界像素以创建从投影面a2的一边延伸的填充像素。换句话说，填充区域pr的第一部分所包括的填充像素，其中每个填充像素是投影面a1的一个边界像素的复制品，填充区域pr的第二部分所包括的填充像素，其中每个填充像素是投影面a2的一个边界像素的复制品。

如果第一投影面的第一边与第二投影面的第一边连接，并在第一投影面的第一边和第二投影面的第一边之间具有图像内容不连续边界，借助于在第一投影面和第二投影面之间插入一个填充区域，可以提高压缩后的第一投影面的第一边的图像质量和压缩后的第二投影面的第一边的图像质量。包括在由解码电路122生成的解码帧img'中的投影面可以具有更好的图像质量。如上所述，图形渲染电路124根据解码的帧img'在显示屏幕126上渲染并显示输出图像资料。由于解码帧img'中的填充区域被另外添加并且可能不会显示，因此在从解码电路122生成解码帧img'之后，图形渲染电路124可以丢弃/忽略解码帧img'中的填充区域。

如图6和图7所示，填充被添加到紧凑八面体投影布局中，用于图像内容不连续边界处的压缩的图像质量改善。然而，这些仅用于说明目的，并不意味着是对本发明的限制。实际上，可以将填充添加到其他360vr投影布局中，以提高图像内容不连续边界处的压缩的图像质量。这些具有填充的替代投影设计都属于本发明的范围。

图10是根据本发明的实施例的具有填充的紧凑立方体投影布局的示意图。通过立方体投影将球体的全向图像/视频内容映射到六个正方形投影面上，其中正方形投影面包括标记为“l”的左侧投影面，标记为“fr”的正投影面，标记为“r”的右侧投影面，标记为“t”的顶部投影面，标记为“bk”的背投影面和标记为“b”的底部投影面。如果在不具有填充的紧凑立方体投影布局中的左侧投影面“l”的底边与底部投影面“b”的顶边连接，则在左侧投影面“l”和底部投影面“b”之间存在图像内容不连续边界。如果在不具有填充的紧凑立方体投影布局中的正投影面fr的底边与背投影面bk的顶边连接，则在正投影面fr和背投影面bk之间存在图像内容不连续边界。如果在不具有填充的紧凑立方体投影布局中的右侧投影面r的底边与顶部投影面t的顶边连接，则在右侧投影面r和顶部投影面t之间存在图像内容不连续边界。根据图10中所示的紧凑立方体投影布局1002，在左侧投影面l和顶部投影面t之间插入第一填充区域pr_1，在正投影面fr和背投影面bk之间插入第二填充区域pr_2，并在右侧投影面r和底部投影面b之间插入第三填充区域pr_3。可以通过使用上述插值方式，选择几何填充方式和复制方式之一来生成每个填充区域pr_1-pr_3。

例如，所提出的填充技术所使用的复制方式可以扩展投影面的边界像素。因此，插入在第一投影面和第二投影面之间的填充区域的第一部分所包括的填充像素，其中每个填充像素是第一投影面的一个边界像素的复制品，并且插入在第一投影面和第二投影面之间的填充区域的第二部分所包括的填充像素，其中每个填充像素是第二投影面的一个边界像素的复制品。

再例如，所提出的填充技术所使用的复制方式，可以通过复制包括在第一投影面和第二投影面中,但与第一投影面和第二投影面之间的填充区域并不连接的像素的像素值，来设置包括在填充区域中的像素的像素值。在所提出的填充技术使用的复制方式获得投影面中的部分区域的复制品的情况下。插入在第一投影面和第二投影面之间的填充区域的第一部分是第一投影面的部分区域的复制品，以及插入在第一投影面和第二投影面之间的填充区域的第二部分是第二投影面的部分区域的复制品，其中该第一投影面的部分区域和该第二投影面的部分区域都不与插入在第一投影面和第二投影面之间的填充区域连接。

再例如，所提出的填充技术所使用的复制方式，可以通过复制包括在与第一投影面和第二投影面不同的至少一个投影面中的像素的像素值，来设置插入在第一投影面和第二投影面之间的填充区域中包括的像素的像素值。采用图10中所示的紧凑立方体投影布局1002为例，可以通过复制至少一个投影面(例如，fr，bk，r和/或t，其不是左侧投影面l和底部投影面b中的任何一个)中的像素(例如，部分区域的像素)，来设置插入在左侧投影面l和底部投影面b之间的第一填充区域pr_1。可以通过复制至少一个投影面(例如，l，b，r和/或t，其不是正投影面fr和后投影面bk中的任何一个)中的像素(例如，部分区域的像素)，来设置插入在正投影面fr和背投影面bk之间的第二填充区域pr_2，和/或可以通过复制至少一个投影面(例如，l，b，fr和/或bk，其不是右侧投影面r和顶部投影面t中的任何一个)中的像素(例如，部分区域的像素)，来设置插入在右侧投影面r和顶部投影面t之间的第三填充区域pr_3。

图11是根据本发明的实施例的具有填充的第三种紧凑八面体投影布局的示意图。通过八面体投影，球体的全向图像/视频内容被映射到八个三角形投影面(标记为参考数字“1”，“2”，“3”，“4”，“5”，“6”，“7”和“8”)。三角形投影面“8”被分成两个直角三角形部分。如果在不具有填充的紧凑八面体投影布局中的三角形投影面“8”的一个直角三角形部分的一边与三角形投影面“1”的一边连接，则在三角形投影面“8”的一个直角三角形部分和三角形投影面“1”之间存在图像内容不连续边界。如果在不具有填充的紧凑八面体投影布局中的三角形投影面“1”的另一边与三角形投影面“5”的一边连接，则在三角形投影面“1”和“5”之间存在图像内容不连续边界。如果在不具有填充的紧凑八面体投影布局中的三角形投影面“5”的另一边与三角形投影面“2”的一边连接，则在三角形投影面“5”和“2”之间存在图像内容不连续边界。如果在不具有填充的紧凑八面体投影布局中的三角形投影面“2”的另一边与三角形投影面“6”的一边连接，则在三角形投影面“2”和“6”之间存在图像内容不连续边界。如果在不具有填充的紧凑八面体投影布局中的投影面“6”的另一边与三角形投影面“3”的一边连接，则在三角形投影面“6”和“3”之间存在图像内容不连续边界。如果在不具有填充的紧凑八面体投影布局中的三角形投影面“3”的另一边与三角形投影面“7”的一边连接，则在三角形投影面“3”和“7”之间存在图像内容不连续边界。如果在不具有填充的紧凑八面体投影布局中的投影面“7”的另一边与三角形投影面“4”的一边连接，则在三角形投影面“7”和“4”之间存在图像内容不连续边界。如果在不具有填充的紧凑八面体投影布局中的三角形投影面“8”的另一个直角三角形部分的一边与三角形投影“4”的另一边连接，则在三角形投影面“8”的另一个直角三角形部分和三角形投影面“4”之间存在图像内容不连续边界。

根据图11中所示的紧凑八面体投影布局1102，在三角形投影面“1”和三角形投影面“8”的一个直角三角形部分之间插入第一填充区域pr_1，在三角形投影面“1”和“5”之间插入第二填充区域pr_2，在三角形投影面“5”和“2”之间插入第三填充区域pr_3，在三角形投影面“2”和“6”之间插入第四填充区域pr_4，在三角形投影面“6”和“3”之间插入第五填充区域pr_5，，在三角形投影面“3”和“7”之间插入第六填充区域pr_6，在三角形投影面“7”和“4”之间插入第七填充区域pr_7，在三角形投影面“4”和三角形投影面“8”的另一个直角三角形部分之间插入第八填充区域pr_8。可以通过使用上述插值方式，选择几何填充方式和复制方式之一来生成填充区域pr_1-pr_8中的每一个。

除了压缩之后的图像内容不连续边界的图像质量之外，可以通过所提出的填充技术来提高压缩之后的布局边界的图像质量。例如，当通过等距矩形投影(equirectangularprojection，erp)或等面积投影(equal-areaprojection，eap)映射球体的全向图像/视频内容时，仅生成单个投影面并将其布置在erp/eap布局中。如果视埠的视角是180度，并选择位于erp/eap布局的左侧边界的解码的部分区域和位于erp/eap布局的右侧边界的解码的部分区域，组合以形成将要显示的视埠区域。由于典型erp/eap布局的左侧边界处的块和右侧边界处的块是独立编码的，由位于erp/eap布局的左侧边界的解码的部分区域和位于erp/eap布局的右侧边界的解码的部分区域的组合产生视埠区域，因此视埠区域中可能沿布局边界的位置产生伪影。为了解决该问题，本发明进一步提出将填充区域添加到布局边界以提供用于压缩处理的更多信息。

图12是根据本发明的实施例的具有填充的第一种erp/eap布局的示意图。具有顶边s_t，底边s_b，左侧边s_l和右侧边s_r的单个投影面a布置在不具有填充的erp/eap布局1202中。顶边s_t，底边s_b，左侧边s_l和右侧边s_r是erp/eap布局1202的四个边界。另外，erp/eap布局1202中的投影面a具有第一部分区域p_l和第二部分区域p_r，其中第一部分区域p_l包括左侧边s_l处的边界像素，第二部分区域p_r包括右侧边s_r处的边界像素。转换电路114采用的360vr投影布局l_vr可以由图12中所示的erp/eap布局1202'来设置。erp/eap布局1202'可以从erp/eap布局1202导出。投影面a是通过球体的等距矩形投影/等面积投影获得的。投影面a，第一填充区域pr_l和第二填充区域pr_r被封装在erp/eap布局1202'中。如图12所示，第一填充区域pr_l与投影面a的左侧边s_l连接，并形成erp/eap布局1202'的左侧边界，第二填充区域pr_r与投影面a的右侧边s_r连接，并形成erp/eap布局1202'的右侧边界。例如，第一填充区域pr_l的宽度可以是8个像素，第二填充区域pr_r的宽度可以是8个像素。由于投影面a的左侧边s_l和右侧边s_r是相对侧，所以第一填充区域pr_l不与投影面a的右侧边s_r连接，并且第二填充区域pr_r不与投影面a的左侧边s_l连接。

在该实施例中，第一填充区域pr_l是投影面a的第二部分区域p_r的复制品，并且第二填充区域pr_r是投影面a的第一部分区域p_l的复制品。因此，第一填充区域pr_l的像素包括投影面a的右侧边s_r处的边界像素，但是不包括投影面a的左侧边s_l处的边界像素；第二填充区域pr_r的像素包括投影面a的左侧边s_l处的边界像素，但是不包括投影面a的右侧边s_r处的边界像素。由于等距矩形投影/等面积投影的固有特性，在封装在erp/eap布局1202'中的第一填充区域pr_l和投影面a之间存在图像内容连续性边界(即，内容连续地表示在投影面a和第一填充区域pr_l中)，并且在封装在erp/eap布局1202'中的投影面a和第二填充区域pr_r之间存在图像内容连续性边界(即，内容连续地表示在投影面a和第二填充区域pr_r中)。

除了将填充区域添加到通过等距矩形投影/等面积投影获得的投影面的左侧边和右侧边之外，还可以将填充区域添加到投影面的顶边和底边，为压缩过程提供更多信息。

图13是根据本发明的实施例的具有填充的第二种erp/eap布局的示意图。具有顶边s_t，底边s_b，左侧边s_l和右侧边s_r的单个投影面a布置在不具有填充的erp/eap布局1302中。顶边s_t，底边s_b，左侧边s_l和右侧边s_r是erp/eap布局1302的四个边界。另外，erp/eap布局1302中的投影面a具有多个图像区域(标记为“1”，“2”，“3”，“4”，“5”，“6”，“7”和“8”)。图像区域“1”-“3”形成一个部分区域，并包括顶边s_t处的边界像素。图像区域“3”-“5”形成一个部分区域，并且包括右侧边s_r处的边界像素。图像区域“5”-“7”形成一个部分区域，并包括底边s_b处的边界像素。图像区域“1”，“8”和“7”形成一个部分区域，并且包括左侧边s_l处的边界像素。

转换电路114采用的360vr投影布局l_vr可以由图13中所示的erp/eap布局1302'来设置。可以从erp/eap布局1302导出erp/eap布局1302'。通过球体的等距矩形投影/等面积投影获得投影面a。如图13所示，通过复制投影面a的图像区域“3”-“5”，来生成与投影面a的左侧边s_l连接的第一填充区域；通过复制投影面a的图像区域“1”，“8”和“7”，来生成与投影面a的右侧边s_r连接的第二填充区域；通过复制投影面a的图像区域“1”-“3”获得复制的部分区域，然后翻转(flipping)该复制的部分区域，来生成与投影面a的顶边s_t连接的第三填充区域；以及通过复制投影面a的图像区域“5”-“7”获得复制的部分区域，然后翻转该复制的部分区域，来生成与投影面a的底边s_b连接的第四填充区域。

为了使erp/eap布局1302'的形状变为矩形，通过复制图像区域“3”获得复制的填充区域，然后翻转该复制的填充区域，来生成左上角填充区域；通过复制图像区域“1”获得复制的填充区域，然后翻转该复制的填充区域，来生成右上角填充区域；通过复制图像区域“5”获得复制的填充区域，然后翻转该复制的填充区域，来生成左下角填充区域；以及通过复制图像区域“7”获得复制的填充区域，然后翻转该复制的填充区域，来生成右下角填充区域。

由于等距矩形投影/等面积投影的固有特性，在左上角填充区域和第一填充区域之间存在图像内容连续性边界，在左上角填充区域和第三填充区域之间存在图像内容连续性边界，在右上角填充区域和第二填充区域之间存在图像内容连续性边界，在右上角填充区域和第三填充区域之间存在图像内容连续性边界，在左下角填充区域和第一填充区域之间存在图像内容连续性边界，在左下角填充区域和第四填充区域之间存在图像内容连续性边界，在右下角填充区域和第二填充区域之间存在图像内容连续性边界，以及在右下角填充区域和第四填充区域之间存在图像内容连续性边界。

如图13所示，与投影面a的左侧边s_l连接的第一填充区域形成erp/eap布局1302'的左侧边界的一部分，与投影面a的右侧边s_r连接的第二填充区域形成erp/eap布局1302'的右侧边界的一部分，与投影面a的顶边s_t连接的第三填充区域形成erp/eap布局1302'的顶部边界的一部分，以及与投影面a的底边s_b连接的第四填充区域形成erp/eap布局1302'的底部边界的一部分。由于等距矩形投影/等面积投影的固有特性，在封装在erp/eap布局1302'中的第一填充区域和投影面a之间存在图像内容连续性边界(即，内容连续地表示在第一个填充区域和投影面a中)，在封装在erp/eap布局1302'中的第二填充区域和投影面a之间存在图像内容连续性边界(即，内容连续地表示在第二填充区域和投影面a中中)，在封装在erp/eap布局1302'中的第三填充区域和投影面a之间存在图像内容连续性边界(即，内容连续地表示在第三填充区域和投影面a中)，并且在封装在erp/eap布局1302'中的第四填充区域和投影面a之间存在图像内容连续性边界(即，内容连续地表示在第四填充区域和投影面a中)。

图14是根据本发明的实施例的具有填充的第三种erp/eap布局的示意图。具有顶边s_t，底边s_b，左侧边s_l和右侧边s_r的单个投影面a布置在不具有填充的erp/eap布局1402中。顶边s_t，底边s_b，左侧边s_l和右侧边s_r是erp/eap布局1402的四个边界。另外，erp/eap布局1402中的投影面a具有多个图像区域(标记为“1”，“2”，“3”，“4”，“5”，“6”，“7”和“8”)。图像区域“1”-“3”形成一个部分区域，并包括顶边s_t处的边界像素。图像区域“3”-“5”形成一个部分区域，并且包括右侧边s_r处的边界像素。图像区域“5”-“7”形成一个部分区域，并包括底边s_b处的边界像素。图像区域“7”-“8”和“1”形成一个部分区域，并且包括左侧边s_l处的边界像素。

转换电路114采用的360vr投影布局l_vr可以由图14中所示的erp/eap布局1402'来设置。erp/eap布局1402'可以从典型的erp/eap布局1402导出。投影面a是通过球的等距矩形投影/等面积投影获得的。如图14所示，通过复制投影面a的图像区域“3”-“5”，生成与投影面a的左侧边s_l连接的第一填充区域；通过复制投影面a的图像区域“1”，“8”和“7”，来生成与投影面a的右侧边s_r连接的第二填充区域；通过复制投影面a的图像区域“1”-“3”获得复制的部分区域，然后将该复制的部分区域旋转(rotating)180°，来生成与投影面a的顶边s_t连接的第三填充区域；以及通过复制投影面a的图像区域“5”-“7”获得复制的部分区域，然后将该复制的部分区域旋转180°，来生成与投影面a的底边s_b连接的第四填充区域。

为了使erp/eap布局1402'的形状变为矩形，通过复制图像区域“1”获得复制的填充区域，然后将该复制的填充区域旋转180°，来生成左上角填充区域；通过复制图像区域“3”获得复制的填充区域，然后将该复制的填充区域旋转180°，来生成右上角填充区域；通过复制图像区域“7”获得复制的填充区域，然后将该复制的填充区域旋转180°，来生成左下角填充区域；以及通过复制图像区域“5”获得复制的填充区域，然后将该复制的填充区域旋转180°，来生成右下角填充区域。

由于等距矩形投影/等面积投影的固有特性，在左上角填充区域和第一填充区域之间存在图像内容连续性边界，在左上角填充和第三填充区域之间存在图像内容连续性边界区域，在右上角填充区域和第二填充区域之间存在图像内容连续性边界，在右上角填充区域和第三填充区域之间存在图像内容连续性边界，在左下角填充区域和第一填充区域之间存在图像内容连续性边界，在左下角填充区域和第四填充区域之间存在图像内容连续性边界，在右下角填充区域和第二填充区域之间存在图像内容连续性边界，以及在右下角填充区域和第四填充区域之间存在图像内容连续性边界。

如图14所示，与投影面a的左侧边s_l连接的第一填充区域形成erp/eap布局1402'的左侧边界的一部分，与投影面a的右侧边s_r连接的第二填充区域形成erp/eap布局1402'的右侧边界的一部分，与投影面a的顶边s_t连接的第三填充区域形成erp/eap布局1402'的顶部边界的一部分，以及与投影面a的底边s_b连接的第四填充区域形成erp/eap布局1402'的底部边界的一部分。由于等距矩形投影/等面积投影的固有特性，在封装在erp/eap布局1402'中的第一填充区域和投影面a之间存在图像内容连续性边界(即，内容连续地表示在第一填充区域和投影面a中)，在封装在erp/eap布局1402'中的第二填充区域和投影面a之间存在图像内容连续性边界(即，内容连续地表示在第二填充区域和投影面a中)，在封装在erp/eap布局1402'中的第三填充区域和投影面a之间存在图像内容连续性边界(即，内容连续地表示在第三填充区域和投影面a中)，并且在封装在erp/eap布局1402'中的第四填充区域和投影面a之间存在图像内容连续性边界(即，内容连续地表示在第四填充区域和投影面a中)。

如图12-图14所示，填充被添加到erp/eap布局中，用于在布局边界处改进压缩的图像质量。然而，这些仅用于说明目的，并不意味着是对本发明的限制。在实践中，可以将填充添加到其他360vr投影布局中，以在布局边界处提高压缩的图像质量。这些具有填充的替代投影设计都属于本发明的范围。

图15是根据本发明的实施例的具有填充的八面体投影布局的示意图。图16是根据本发明的实施例的具有填充的立方体投影布局的示意图。图17是根据本发明的实施例的具有填充的第四种紧凑八面体投影布局的示意图。图18是根据本发明的实施例的具有填充的紧凑立方体投影布局的示意图。封装在投影布局1502/1602/1702/1802中的填充区域可以通过上述几何填充方式生成，该方式将几何填充应用于投影面以确定包括在与投影面连接的填充区域中的像素的像素值；或者可以通过上述复制方式生成，该复制方式通过复制投影面的边界像素的像素值，或者通过复制包括在投影面中但不与填充区域连接的像素的像素值，或者通过复制不包括在投影面中的像素的像素值，来设置包括在与投影面连接的填充区域中的像素的像素值。

应注意，前述布局示例仅用于说明目的，并不意味着是对本发明的限制。在本发明的其他实施例中，可以通过将填充区域添加到其他投影格式的布局，例如金字塔(pyramid)投影布局，四面体(tetrahedron)投影布局，基于四边形石英的投影布局(tetragonquartz-basedprojectionlayout)，二十面体(icosahedron)投影布局，或基于六边形石英的投影布局(hexagonquartz-basedprojectionlayout)，来获得具有填充的360vr投影布局。

借助于添加到投影布局的边界的填充区域，可以提高压缩之后的边界的图像质量。如上所述，图形渲染电路124根据解码的帧img'在显示屏幕126上渲染并显示输出图像资料。由于解码帧img'中的填充区域被另外添加并且可能不会显示，因此在从解码电路122生成解码帧img'之后，图形渲染电路124可以丢弃/忽略解码帧img'中的填充区域。

图19是根据本发明的实施例的第二种360vr系统的示意图。360vr系统100和1900之间的主要区别在于源电子设备1902的转换电路1914具有重采样电路1915，其被布置为执行所提出的编码器侧投影面重采样功能以调节采样密度(或采样率)。例如，编码器侧投影面重采样功能可以在编码之前将下采样(down-sampling)应用于投影面。又例如，编码器侧投影面重采样功能可以在编码之前将上采样(up-sampling)应用于投影面。对于又一示例，编码器侧投影面重采样功能可以在编码之前将不具有尺寸改变的重采样应用于投影面。

在本发明的一些实施例中，360vr投影布局l_vr是立方体投影布局，其是基于非视埠的投影布局(non-viewportbasedprojectionlayout)。因此，转换电路1914从球体的全向图像/视频内容获得多个正方形投影面，其中球体的全向图像/视频内容经由立方体投影(cubemapprojection，cmp)被映射到该多个正方形投影面上。图20是根据从球体的立方体投影获得的立方体投影布局的六个正方形投影面的示意图。球体2002的全向图像/视频内容被映射到立方体2004的六个正方形投影面(标记为“l”，“f”，“r”，“bk”，“t”和“b”)上。正方形投影面“l”表示立方体2004的左侧面。正方形投影面“f”表示立方体2004的正面。正方形投影面“r”表示立方体2004的右侧面。正方形投影面“bk”表示立方体2004的背面。正方形投影面“t”表示立方体2004的顶面。正方形投影面“b”表示立方体2004的底面。如图20所示，正方形投影面“l”，“f”，“r”，“bk”，“t”和“b”布置在对应于展开的立方体的cmp布局2006中。将要编码的基于投影的帧img需要是矩形的。如果cmp布局2006直接用于创建基于投影的帧img，则基于投影的帧img必须填充空置区域(例如，填充为黑色，灰色或白色的区域)以形成用于编码的矩形帧。因此，正方形投影面“l”，“f”，“r”，“bk”，“t”和“b”可以封装在另一种cmp布局中，例如1x6立方体布局，6x1立方体布局，3x2立方体布局，或2x3立方体布局。以这种方式，可以提高编码效率。

正方形投影面“l”，“f”，“r”，“bk”，“t”和“b”中的一个或多个可以在被封装到360vr投影布局l_vr中之前被重采样电路1915处理，该360vr投影布局l_vr是cmp布局(例如，1x6立方体布局，6x1立方体布局，3x2立方体布局或2x3立方体布局)。例如，重采样电路1915通过所提出的编码器侧投影面重采样功能，对一个正方形投影面的至少一部分(即，部分或全部)进行重采样来获得一个重采样投影面。转换电路1914根据所采用的cmp布局(例如，1x6立方体布局，6x1立方体布局，3x2立方体布局或2x3立方体布局)生成基于投影的帧img，其中基于投影的帧img具有一个或多个封装在所采用的cmp布局中的重采样投影面。编码器侧投影面重采样功能可以是具有非均匀映射的重采样功能或具有均匀映射的重采样功能，这取决于实际的设计考虑。均匀映射和非均匀映射的进一步细节描述如下。

请结合参考图21和图22。图21是根据本发明的实施例的通过均匀映射对从立方体投影获得的正方形投影面进行重采样的示意图。图22是根据本发明的实施例的均匀映射函数曲线的示意图。将要重采样的正方形投影面2102可以是图20中所示的正方形投影面“l”，“f”，“r”，“bk”，“t”，“b”中的任何一个。在该示例中，正方形投影面2104是从正方形投影面2102在其高度方向和宽度方向上进行下采样得到的，其中正方形投影面2102具有宽度w和高度h(h＝w)，以及正方形投影面2104具有宽度w和高度h(w＝h<h)。也就是说，通过均匀映射执行从高度h到高度h的下采样，以及通过均匀映射执行从宽度w到宽度w的下采样。作为示例而非限制，相同的均匀映射函数应用于宽度方向(即，x轴方向)和高度方向(即，y轴方向)。例如，可以使用以下公式表示不同方向上的均匀映射函数。

因此，利用位于正方形投影面2104中的y轴坐标y处的整数像素位置，可以根据公式(1)中表示的均匀映射函数来确定位于正方形投影面2102中的y轴坐标y处的对应采样点。由于在高度方向上的均匀映射，正方形投影面2102中的两个垂直相邻的采样点以恒定距离d均匀地分布。类似地，利用位于正方形投影面2104中的x轴坐标x处的整数像素位置，可以根据公式(2)中表示的均匀映射函数来确定位于正方形投影面2102中的x轴坐标x处的对应采样点。由于在宽度方向上的均匀映射，矩形投影面2102中的两个水平相邻的采样点以恒定距离d'均匀分布。根据公式(1)和(2)，使用在正方形投影面2102中找到的相应采样位置p'的像素值导出正方形投影面2104中的位置p的像素值。

正方形投影面2102中的采样点(即，获得的像素位置p')可以不在整数位置。如果正方形投影面2102中的采样点的x轴坐标x和y轴坐标y中的至少一个是非整数位置，则转换电路1914(具体地，重采样电路1915)中的插值滤波器(未示出)可以应用于正方形投影面2102中的采样点周围的整数像素，以导出采样点的像素值。

为了保留投影面内的特定区域的更多细节，本发明还提出通过非均匀映射对从立方体投影获得的正方形投影面进行重采样。图23是根据本发明的实施例的通过非均匀映射对从立方体投影获得的正方形投影面进行重采样的第一示例的示意图。将要重采样的正方形投影面2302可以是图20中所示的正方形投影面“l”，“f”，“r”，“bk”，“t”，“b”中的任何一个。在该示例中，正方形投影面2304是从正方形投影面2302在其高度方向(即，y轴方向)和宽度方向(即，x轴方向)上进行下采样获得的，其中，正方形投影面2302具有宽度w和高度h(h＝w)，以及正方形投影面2304具有宽度w和高度h(w＝h<h)。

利用位于正方形投影面2304中的y轴坐标处的整数像素位置，可以根据非均匀映射函数来确定位于正方形投影面2302中的y轴坐标处的对应采样点。如图23所示，两个垂直相邻的采样点之间的间隔不是常数。例如，两个垂直相邻的采样点之间的间隔可以是d1，d2，d3和d4中的一个，其中d4>d3>d2>d1。具体地，采样点在正方形投影面2302的高度方向上不均匀地分布。例如，通过对正方形投影面2302的第一源区域2312重采样，来获得正方形投影面2304的第一重采样区域2322中的像素；以及通过对正方形投影面2302的第二源区域2314进行重采样，来获得正方形投影面2304的第二重采样区域2324中的像素。由于在在高度方向上的非均匀映射，从第一源区域2312获得的采样点的密度不同于从第二源区域2314获得的采样点的密度。换句话说，在正方形投影面2302的高度方向上使用不同的采样率。第一重采样区域2322是从在高度方向上以第一采样率(或第一采样密度)重采样第一源区域2312得到的，并且第二重采样区域2324是从在高度方向上以第二采样率(或第二采样密度)重采样第二源区域2314得到的，其中第二采样率(或第二采样密度)不同于第一采样率(或第一次采样密度)。

类似地，利用位于正方形矩形投影面2304中的x轴坐标处的整数像素位置，可以通过非均匀映射函数来确定位于正方形投影面2302中的x轴坐标处的对应采样点。如图23所示，两个水平相邻的采样点之间的间隔不是常数。例如，两个水平相邻的采样点之间的间隔可以是d1'，d2'，d3'和d4'中的一个，其中d4'>d3'>d2'>d1'。具体地，采样点在正方形投影面2302的宽度方向上不均匀地分布。例如，通过对第一源区域2316进行重采样，来获得正方形投影面2304的第一重采样区域2326中的像素；以及通过对正方形投影面2302的第二源区域2318进行重采样，来获得正方形投影面2304的第二重采样区域2328中的像素。由于在宽度方向上的非均匀映射，从第一源区域2316获得的采样点的密度不同于从第二源区域2318获得的采样点的密度。换句话说，在正方形投影面2302的宽度方向上使用不同的采样率。第一重采样区域2326是从在宽度方向上以第一采样率(或第一采样密度)重采样第一源区域2316得到的，以及第二重采样区域2326是从在宽度方向上以第二采样率(或第二采样密度)重采样第二源区域2318得到的，其中第二采样率(或第二采样密度)不同于第一采样率(或者第一次采样密度)。

正方形投影面2304中位置p的像素值是根据在x轴方向和y轴方向中使用的非均匀映射函数，使用在正方形投影面2302中找到的对应采样位置p'的像素值导出的。正方形投影面2302中的采样点(即，获得的像素位置p')可以不在整数位置。如果正方形投影面2302中的采样点的x轴坐标x和y轴坐标y中的至少一个是非整数位置，则转换电路1914(具体地，重采样电路1915)中的插值滤波器(未示出)可以应用于正方形投影面2302中的采样点周围的整数像素，以导出采样点的像素值。

在该示例中，应用于正方形投影面2302的非均匀映射包括用于在第一方向(例如，宽度方向和高度方向中的一个)上对正方形投影面2302的至少一部分(即，部分或全部)进行重采样的第一非均匀映射函数和用于在第二方向(例如，宽度方向和高度方向中的另一个)上对正方形投影面2302的至少一部分(即，部分或全部)进行重采样的第二非均匀映射函数。在一个示例性设计中，第一非均匀映射函数可以与第二非均匀映射函数相同。也就是说，第一方向和第二方向(例如，宽度方向和高度方向)可以使用相同的非均匀映射曲线。在另一示例性设计中，第一非均匀映射函数可以与第二非均匀映射函数不同。也就是说，第一方向和第二方向(例如，宽度方向和高度方向)可以使用不同的非均匀映射曲线。

在图23所示的示例中，通过非均匀映射将下采样应用于原始正方形投影面，来导出重采样的正方形投影面。然而，这仅用于说明目的，并不意味着是对本发明的限制。或者，可以通过非均匀映射将上采样应用于原始正方形投影面来导出重采样的正方形投影面，或者可以通过非均匀映射对原始正方形投影面应用不进行尺寸改变的重采样来导出重采样的正方形投影面。图24是根据本发明的实施例的通过非均匀映射对从立方体投影获得的正方形投影面进行重采样的第二示例的示意图。将要重采样的正方形投影面2402可以是图20中所示的正方形投影面“l”，“f”，“r”，“bk”，“t”，“b”中的任何一个。在该示例中，采用不改变尺寸的重采样。因此，正方形投影面2404通过在其高度方向(即，y轴方向)和宽度方向(即，x轴方向)上对正方形投影面2402进行重采样而得到，其中正方形投影面2302具有宽度w和高度h(h＝w)，并且正方形投影面2304具有宽度w和高度h(w＝h＝h)。利用位于正方形矩形投影面2404中的y轴坐标处的整数像素位置，可以在y轴方向上根据非均匀映射函数来确定位于正方形投影面2402中的y轴坐标处的对应采样点。利用位于正方形矩形投影面2404中的x轴坐标处的整数像素位置，可以在x轴方向上根据非均匀映射函数来确定位于正方形投影面2402中的x轴坐标处的对应采样点，其中在x轴方向上使用的非均匀映射函数可以与在y轴方向上使用的非均匀映射函数相同或不同。

实际上，可以使用经过坐标点(0,0)和(1,1)的任何非递减函数(non-decreasingfunction)来实现非均匀映射函数。也就是说，非递减非均匀映射函数(non-decreasingnon-uniformmappingfunction)的曲线从坐标点(0,0)处开始并且在坐标点(1,1)处结束。例如，非均匀映射函数可以是分段线性函数(piecewise-linearfunction)，指数函数(exponentialfunction)，二次方程函数(quadraticequationfunction)或其他函数。图25是根据本发明的实施例的第一非均匀映射函数曲线的示意图。图26是根据本发明的实施例的第二非均匀映射函数曲线的示意图。第25-26图中所示的非均匀映射曲线仅用于说明目的，并不意味着是对本发明的限制。

考虑通过二次方程函数设置非均匀映射函数的情况。二次方程函数可以定义为f(p)＝a*p²+b*p，其中a+b＝1，p表示在所选方向(例如，x轴方向或者y轴方向)上的源正方形投影面内的像素位置，并且f(p)表示在所选方向上的重采样的正方形投影面内的像素位置。根据实验结果，a可以设置为-0.385，b可以设置为1.385，以使非均匀映射函数具有最佳bd-rate(rate)。

此外，应用于通过立方体投影获得的不同正方形投影面的非均匀映射函数不一定相同。例如，重采样电路1915通过非均匀映射对第一正方形投影面(例如，图20中所示的正方形投影面“l”，“f”，“r”，“bk”，“t”和“b”中的一个)的至少一部分(即，部分或全部)进行重采样，来获得第一重采样的投影面；通过非均匀映射对第二投影面(例如，图20中所示的正方形投影面“l”，“f”，“r”，“bk”，“t”和“b”中的另一个)的至少一部分(即，部分或全部)进行重采样，来获得第二重采样投影面，其中封装成360vr投影布局l_vr(其为cmp布局)的基于投影的帧img中包含第一重采样投影面和第二重采样投影面，并且用于重采样第一投影面的至少一个非均匀映射函数(例如，宽度方向上的非均匀映射函数和/或高度方向上的非均匀映射函数)与用于重采样第二投影面的至少一个非均匀映射函数(例如，宽度方向上的非均匀映射函数和/或高度方向上的非均匀映射函数)不同。

图27是根据本发明的实施例的第三种360vr系统的示意图。360vr系统1900和2700之间的主要区别在于：源电子设备2702的转换电路2714具有重采样电路2715和填充电路2716。类似于图19中所示的重采样电路1915，重采样电路2715被布置为执行所提出的编码器侧的投影面重采样功能，以调节采样密度(或采样率)。类似于图1中所示的填充电路115，填充电路2716被布置为产生至少一个填充区域以用于减少伪影。转换电路2714通过在具有填充的投影布局中对重采样的投影面和至少一个填充区域进行封装，来创建基于投影的帧img。例如，360vr投影布局l_vr是具有填充的cmp布局。

关于图19中所示的实施例，重采样的正方形投影面被封装在不具有填充的cmp布局中，例如1x6立方体布局，6x1立方体布局，3x2立方体布局或2x3立方体布局。然而，编码之后的基于投影的帧img可能由于cmp的布局边界和/或cmp布局的不连续边界而具有伪影。例如，不具有填充的cmp布局具有顶部布局边界，底部布局边界，左侧布局边界和右侧布局边界。另外，在不具有填充的cmp布局中封装的两个相邻的重采样的正方形投影面之间存在至少一个图像内容不连续边界。围绕布局边界，不连续边界和/或采样率的转变，可以插入由像素填充产生的附加保护带(additionalguardband)以减少接缝伪影(seamartifact)。

在第一示例性保护带设计中，可以仅在不连续边界处添加像素填充。图28是根据本发明的实施例的具有内部边界填充的立方体投影布局的示意图。图2的子图(a)示出了所提出的具有内部边界填充的3×2立方体布局2802。重采样的正方形投影面由“0”，“1”，“2”，“3”，“4”和“5”标记。例如，通过将非均匀映射应用于图20所示的正方形投影面“f”来生成重采样的正方形投影面“0”，通过将非均匀映射应用于图20所示的正方形投影面“l”来生成重采样的正方形投影面“1”，通过将非均匀映射应用于图20所示的正方形投影面“r”来生成重采样的正方形投影面“2”，通过将非均匀映射应用于图20所示的正方形投影面“bk”来生成重采样的正方形投影面“3”，通过将非均匀映射应用于图20所示的正方形投影面“t”来生成重采样的正方形投影面“4”，通过将非均匀映射应用于图20所示的正方形投影面“b”来生成重采样的正方形投影面“5”。

在不具有填充的典型的3x2立方体投影布局中，如果重采样的正方形投影面“1”的底边与重采样的正方形投影面“4”的顶边连接，则在重采样的正方形投影面“1”和“4”之间存在图像内容不连续边界。在不具有填充的典型的3x2立方体投影布局中，如果重采样的正方形投影面“0”的底边与重采样的正方形投影面“3”的顶边连接，则在重采样的正方形投影面“0”和“3”之间存在图像内容不连续边界。在不具有填充的典型的3x2立方体投影布局中，如果重采样的正方形投影面“2”的底边与重采样的正方形投影面“5”的顶边连接，则在重采样的正方形投影面“2”和“5”之间存在图像内容不连续边界。根据所提出的具有填充的3×2立方体投影布局2802，在重采样的正方形投影面“1”和“4”之间插入填充区域pr_de1，在重采样的正方形投影面“0”和“3”之间插入填充区域pr_de2，在重采样的正方形投影面“2”和“5”之间插入填充区域pr_de3。

第一填充区域pr_de1包括重采样的正方形投影面“1”的保护带和重采样的正方形投影面“4”的保护带，因此在投影布局2802中将重采样的正方形投影面“1”的底边和重采样的正方形投影面“4”的顶边隔离开来。第二填充区域pr_de2包括重采样的正方形投影面“0”的保护带和重采样的正方形投影面“3”的保护带，因此在投影布局2802中将重采样的正方形投影面“0”的底边与重采样的正方形投影面“3”的顶边隔离开来。第三填充区域pr_de3包括重采样的正方形投影面“2”的保护带和重采样的正方形投影面“5”的保护带，因此在投影布局2802中将重采样的正方形投影“2”的底边与重采样的正方形投影面“5”的顶边隔离开来。每个保护带具有保护带尺寸sgb。因此，填充区域pr_de1/pr_de2/pr_de3的每个的宽度等于2*sgb。例如，保护带尺寸sgb的宽度可以是8个像素。应注意，保护带尺寸sgb是可调节的。作为一种选择，保护带尺寸sgb的宽度可以是4个像素，16个像素，或者任意数量的像素。

图28的子图(b)示出了所提出的具有内部边界填充的6×1立方体布局2804。在不具有填充的典型的6x1立方体投影布局中，如果重采样的正方形投影面“2”的右边与重采样的正方形投影面“4”的左边连接，则在重采样的正方形投影面“2”和“4”之间存在图像内容不连续边界。根据所提出的具有填充的6×1立方体投影布局2804，在重采样的正方形投影面“2”和“4”之间插入填充区域pr_de。填充区域pr_de包括重采样的正方形投影面“2”的保护带和重采样的正方形投影面“4”的保护带，因此在投影布局2804中，将重采样的正方形投影面“2”的右边与重采样的正方形投影面“4”的左边隔离开来。每个保护带具有保护带尺寸sgb。因此，填充区域pr_de的宽度等于2*sgb。例如，保护带尺寸sgb的宽度可以是8个像素。应注意，保护带尺寸sgb是可调节的。作为一种选择，保护带尺寸sgb的宽度可以是4个像素，16个像素，或者任意数量的像素。

在第二示例性保护带设计中，可以在布局边界和不连续边界处添加填充。图29是根据本发明的实施例的具有外部边界填充和内部边界填充的立方体投影布局的示意图。图29子图(a)示出了所提出的具有外部边界填充和内部边界填充的3×2立方体布局2902。如果重采样的正方形投影面“0”，“1”，“2”，“3”，“4”和“5”被封装在不具有填充的典型的3x2立方体投影布局中，则重采样的正方形投影面“1”，“0”和“2”的顶边形成顶部布局边界，重采样的正方形投影面“4”，“3”和“5”的底边形成底部布局边界，重采样的正方形投影面“1”和“4”的左边形成左侧布局边界，并且重采样的正方形投影面的“2”和“5”的右边形成右侧布局边界。可以通过将外部边界填充添加到所提出的具有内部边界填充的3x2立方体布局2802，来导出所提出的具有外部边界填充和内部边界填充的3x2立方体布局2902。因此除了在不连续边界处的填充区域pr_de1，pr_de2，pr_de3之外，所提出的具有外部边界填充和内部边界填充的3x2立方体布局2902还具有：与重采样的正方形投影面“1”，“0”和“2”的顶边连接的顶部填充区域pr_t，与重采样的正方形投影面“4”，“3”和“5”的底边连接的底部填充区域pr_b，与重采样的正方形投影面“1”和“4”的左边连接的左侧填充区域pr_l，以及与重采样的正方形投影面“2”和“5”的右边连接的右侧填充区域pr_r。

顶部填充区域pr_t包括重采样的正方形投影面“1”的保护带，重采样的正方形投影面“0”的保护带，以及重采样的正方形投影面“2”的保护带。底部填充区域pr_b包括重采样的正方形投影面“4”的保护带，重采样的正方形投影面“3”的保护带，以及重采样的正方形投影面“5”的保护带。左侧填充区域pr_l包括重采样的正方形投影面“1”的保护带和重采样的正方形投影面“4”的保护带。右侧填充区域pr_r包括重采样的正方形投影面“2”的保护带和重采样的正方形投影面“5”的保护带。每个保护带具有保护带尺寸sgb。因此，外部边界填充区域pr_t/pr_b/pr_l/pr_r的每个的宽度等于sgb。例如，保护带尺寸sgb的宽度可以是8个像素。应注意，保护带尺寸sgb是可调节的。作为一种选择，保护带尺寸sgb的宽度可以是4个像素，16个像素，或者任意数量的像素。

图29的子图(b)示出了所提出的具有外部边界填充和内部边界填充的6×1立方体布局2904。如果重采样的正方形投影面“0”，“1”，“2”，“3”，“4”和“5”被封装在不具有填充的典型的6x1立方体投影布局，则重采样的正方形投影面“1”，“0”，“2”，“4”，“3”和“5”的顶边形成顶部布局边界，重采样的正方形投影面“1”，“0”，“2”，“4”，“3”和“5”的底边形成底部布局边界，重采样的正方形投影面“1”的左边形成左侧布局边界，并且重采样的正方形投影面“5”的右边形成右侧布局边界。可以通过将外部边界填充添加到所提出的具有内部边界填充的6x1立方体布局2804，来导出所提出的具有外部边界填充和内部边界填充的6x1立方体布局2904。因此，除了不连续边界处的填充区域pr_de之外，所提出的具有外部边界填充和内部边界填充的6x1立方体布局还具有：与重采样的正方形投影面“1”，“0”，“2”，“4”，“3”和“5”的顶边连接的顶部填充区域pr_t，与重采样的正方形投影面“1”，“0”，“2”，“4”，“3”和“5”的底边连接的底部填充区域pr_b，与重采样的正方形投影面“1”的左边连接的左侧填充区域pr_l，以及与重采样的正方形投影面“5”的右边连接的右侧填充区域pr_r。

顶部填充区域pr_t包括重采样的正方形投影面“1”的保护带，重采样的正方形投影面“0”的保护带，重采样的正方形投影面“2”的保护带，重采样的正方形投影面“4”的保护带，重采样的正方形投影面“3”的保护带，以及重采样的正方形投影面“5”的保护带。底部填充区域pr_b包括重采样的正方形投影面“1”的保护带，重采样的正方形投影面“0”的保护带，重采样的正方形投影面“2”的保护带，重采样的正方形投影面“4”的保护带，重采样的正方形投影面“3”的保护带，以及重采样的正方形投影面“5”的保护带。左侧填充区域pr_l包括重采样的正方形投影面“1”的保护带。右侧填充区域pr_r包括重采样的正方形投影面“5”的保护带。每个保护带具有保护带尺寸sgb。因此，外部边界填充区域pr_t/pr_b/pr_l/pr_r的每个的宽度等于sgb。例如，保护带尺寸sgb的宽度可以是8个像素。应注意，保护带尺寸sgb是可调节的。作为一种选择，保护带尺寸sgb的宽度可以是4个像素，16个像素，或者任意数量的像素。

在第三示例性保护带设计中，可以在布局边界，不连续边界和连续边界处添加填充。图30是根据本发明的实施例的具有外部边界填充和内部边界填充的其他立方体投影布局的示意图。图30的子图(a)示出了提出的另一个具有外部边界填充和内部边界填充的3×2立方体布局3002。在不具有填充的典型3x2立方体投影布局中，如果重采样的正方形投影面“1”的右边与重采样的正方形投影面”0“的左边连接，则在重采样的正方形投影面“1”和“0”之间存在图像内容连续性边界。在不具有填充的典型3x2立方体投影布局中，如果重采样的正方形投影面“0”的右边与重采样的正方形投影面“2”的左边连接，则在重采样的正方形投影面“0”和“2”之间存在图像内容连续性边界。在不具有填充的典型3x2立方体投影布局中，如果重采样的正方形投影面“4”的右边与重采样的正方形投影面“3”的左边连接，则在重采样的正方形投影面“4”和“3”之间存在图像内容连续性边界。在不具有填充的典型3x2立方体投影布局中，如果重采样的正方形投影面“3”的右边与重采样的正方形投影面“5”的左边连接，则在重采样的正方形投影面“3”和“5”之间存在图像内容连续性边界。可以通过向所提出的具有外部边界填充和内部边界填充的3×2立方体布局2902添加更多填充，来导出所提出的具有外部边界填充和内部边界填充的3×2立方体布局3002。因此，除了在不连续边界处的填充区域pr_de1，pr_de2，pr_de3和在布局边界处的填充区域pr_t，pr_b，pr_l，pr_r之外，所提出的具有外部边界填充和内部边界填充的立方体布局3002还具有：与重采样的正方形投影面“1”的右边和重采样的正方形投影面“0”的左边连接的填充区域pr_ce1，与重采样的正方形投影面“0”的右边和重采样的正方形投影面“2”的左边连接的填充区域pr_ce2，与重采样的正方形投影面“4”的右边和重采样的正方形投影面“3”的左边连接的填充区域pr_ce3，以及与重采样的正方形投影面“3”的右边和重采样的正方形投影面“5”的左边连接的填充区域pr_ce4。

填充区域pr_ce1包括重采样的正方形投影面“1”的保护带和重采样的正方形投影面“0”的保护带，因此在投影布局3002中将重采样的正方形投影面“1”的右边与重采样的正方形投影面“0”的左边隔离开来。填充区域pr_ce2包括重采样的正方形投影面“0”的保护带和重采样的正方形投影面“2”的保护带，因此在投影布局3002中将重采样的正方形投影面“0”的右边与重采样的正方形投影面“1”的左边隔离开来。填充区域pr_ce3包括重采样的正方形投影面“4”的保护带和重采样的正方形投影面“3”的保护带，因此在投影布局3002中将重采样的正方形投影面“4”的右边与重采样的正方形投影面“3”的左边隔离开来。填充区域pr_ce4包括重采样的正方形投影面“3”的保护带和重采样的正方形投影面“5”的保护带，因此在投影布局3002中将重采样的正方形投影面“3”的右边与重采样的正方形投影面“5”的左边隔离开来。每个保护带具有保护带尺寸sgb。因此，填充区域pr_ce1/pr_ce2/pr_ce3/pr_ce4的每个的宽度等于2*sgb。例如，保护带尺寸sgb的宽度可以是8个像素。应注意，保护带尺寸sgb是可调节的。作为一种选择，保护带尺寸sgb的宽度可以是4个像素，16个像素，或者任意数量的像素。

图30的子图(b)示出了所提出的另一个具有外部边界填充和内部边界填充的6×1立方体布局3004。在不具有填充的典型的6x1立方体投影布局中，如果重采样的正方形投影面“1”的右边与重采样的正方形投影面“0”的左边连接，则在重采样的正方形投影面“1”和“0”之间存在图像内容连续性边界。在不具有填充的典型的6x1立方体投影布局中，如果重采样的正方形投影面“0”的右边与重采样的正方形投影面“2”的左边连接，则在重采样的正方形投影面“0”和“2”之间存在图像内容连续性边界。在不具有填充的典型的6x1立方体投影布局中，如果重采样的正方形投影面“4”的右边与重采样的正方形投影面“3”的左边连接，则在重采样的正方形投影面“4”和“3”之间存在图像内容连续性边界。在不具有填充的典型的6x1立方体投影布局中，如果重采样的正方形投影面“3”的右边与重采样的正方形投影面“5”的左边连接，则在重采样的正方形投影面“3”和“5”之间存在图像内容连续性边界。

可以通过向所提出的具有外部边界填充和内部边界填充的6×1立方体布局2904添加更多填充，来导出所提出的具有外部边界填充和内部边界填充的6×1立方体布局3004。因此，除了不连续边界处的填充区域pr_de和在布局边界处的填充区域pr_t，pr_b，pr_l，pr_r之外，所提出的具有外部边界填充和内部边界填充的立方体布局3004还具有：与重采样的正方形投影面“1”的右边和重采样的正方形投影面“0”的左边连接的填充区域pr_ce1，与重采样的正方形投影面“0”的右边和重采样的正方形投影面“2”的左边连接的填充区域pr_ce2，与重采样的正方形投影面“4”的右边和重采样的正方形投影面“3”的左边连接的填充区域pr_ce3，以及与重采样的正方形投影面“3”的右边和重采样的正方形投影面“5”的左边连接的填充区域pr_ce4。

填充区域pr_ce1包括重采样的正方形投影面“1”的保护带和重采样的正方形投影面“0”的保护带，在投影布局3004中将重采样的正方形投影面“1”的右边与重采样的正方形投影面“0”的左边隔离开来。填充区域pr_ce2包括重采样的正方形投影面“0”的保护带和重采样的正方形投影面“2”的保护带，在投影布局3004中将重采样的正方形投影面“0”的右边与重采样的正方形投影面“2”的左边隔离开来。填充区域pr_ce3包括重采样的正方形投影面“4”的保护带和重采样的正方形投影面“3”的保护带，在投影布局3004中将重采样的正方形投影面“4”的右边与重采样的正方形投影面“3”的左边隔离开来。填充区域pr_ce4包括重采样的正方形投影面“3”的保护带和重采样的正方形投影面“5”的保护带，在投影布局3004中将重采样的正方形投影面“3”的右边与重采样的正方形投影面“5”的左边隔离开来。每个保护带具有保护带尺寸sgb。因此，填充区域pr_ce1/pr_ce2/pr_ce3/pr_ce4的每个的宽度等于2*sgb。例如，保护带尺寸sgb的宽度可以是8个像素。应注意，保护带尺寸sgb可调节的。作为一种选择，保护带尺寸sgb的宽度可以是4个像素，16个像素，或者任意数量的像素。

在第一示例性填充设计中，填充电路2716将几何填充应用于投影面，以确定与投影面连接的填充区域(例如，pr_de，pr_de1-pr_de3，pr_t，pr_b，pr_l，pr_r，和pr_ce1-pr_ce4之一)中包括的像素的像素值。采用图29的子图(a)中所示的填充区域pr_t为例，其包括左侧几何映射区域，中间几何映射区域和右侧几何映射区域，其中左侧几何映射区域用作重采样的正方形投影面“1”的保护带，中间几何映射区域用作重采样的正方形投影面“0”的保护带，右侧几何映射区域用作重采样的正方形投影面“2”的保护带。球体上的区域(例如，图20中所示的球体2002)的内容被映射到填充区域pr_t的左侧几何映射区域，其中该球体上的区域与获得正方形投影面“l”的区域相邻，并且重采样的正方形投影面“1”是通过将非均匀映射应用于正方形投影面“l”来获得的。球体上的区域(例如，图20中所示的球体2002)的内容被映射到填充区域pr_t的中间几何映射区域，其中该球体上的区域与获得正方形投影面“f”的区域相邻，并且重采样的正方形投影面“0”是通过将非均匀映射应用于正方形投影面“f”来获得的。球体上的区域(例如，图20中所示的球体2002)的内容被映射到填充区域pr_t的右侧几何映射区域，其中该球体上的区域与获得正方形投影面“r”的区域相邻，并且重采样的正方形投影面“2”是通过将非均匀映射应用于正方形投影面“r”来获得的。因此，在重采样的正方形投影面“1”和填充区域pr_t的左侧几何映射区域之间存在图像内容连续性，在重采样的正方形投影面“0”和填充区域pr_t的中间几何映射区域之间存在图像内容连续性，并且在重采样的正方形投影面“2”和填充区域pr_t的右侧几何映射区域之间存在图像内容连续性。也就是说，内容连续地表示在重采样的投影面“1”和填充区域pr_t的左侧几个映射区域中，内容连续地表示在重采样的正方形投影面“0”和填充区域pr_t的中间几何映射区域中，内容连续地表示在重采样的正方形投影面“2”和填充区域pr_t的右侧几何映射区域中。

在第二示例性填充设计中，填充电路2716通过复制包括在与填充区域连接的投影面中的像素的像素值，来设置填充区域(例如，pr_de，pr_de1-pr_de3，pr_t，pr_b，pr_l，pr_r和pr_ce1-pr_ce4中的一个)中包括的像素的像素值。例如，复制投影面的边界像素以创建与投影面连接的填充区域的填充像素。采用图29的子图(a)中所示的填充区域pr_t为例，其包括左侧复制区域，中间复制区域和右侧复制区域，其中左侧复制区域用作重采样的正方形投影面“1”的保护带，中间复制区域用作重采样的正方形投影面的保护带“0”，右侧复制区域作为重采样的正方形投影面“2”的保护带。由于左侧复制区域与重采样的正方形投影面“1”的顶边连接，因此位于重采样的正方形投影面“1”的顶边的边界像素被直接复制以设置填充区域pr_t的左侧复制区域的像素的像素值。由于中间复制区域与重采样的正方形投影面“0”的顶边连接，所以位于重采样的正方形投影面“0”的顶边的边界像素被直接复制以设置填充区域pr_t的中间复制区域的像素的像素值。由于中间复制区域与重采样的正方形投影面“2”的顶边连接，所以位于重采样的正方形投影面“2”的顶边的边界像素被直接复制以设置填充区域pr_t的右侧复制区域的像素的像素值。

在第三示例性填充设计中，填充电路2716通过复制包括在不与填充区域连接的第二投影面中的像素的像素值，来设置第一投影面的填充区域(例如，pr_de，pr_de1-pr_de3，pr_t，pr_b，pr_l，pr_r和pr_ce1-pr_ce4之一)中包括的像素的像素值。例如，第一投影面和第二投影面对应于3d空间中的立方体的相邻面(例如，图20中所示的立方体2004的相邻面)。图31是根据本发明实施例的通过复制另一投影面中的部分区域来产生一个投影面的填充区域的填充设计的示意图。在该示例中，通过将非均匀映射应用于图20中所示的正方形投影面“f”来生成重采样的正方形投影面“0”，通过将非均匀映射应用于图20所示的正方形投影面“l”来生成重采样的正方形投影面“1”，通过将非均匀映射应用于图20所示的正方形投影面“r”来生成重采样的正方形投影面“2”，通过将非均匀映射应用于图20所示的正方形投影面“bk”来生成重采样的正方形投影面“3”，通过将非均匀映射应用于图20所示的正方形投影面“t”来生成重采样的正方形投影面“4”，以及通过将非均匀映射应用于图20所示的正方形投影面“b”来生成重采样的正方形投影面“5”。此外，采用如图29的子图(a)所示的所提出的具有外部边界填充和内部边界填充的3×2立方体布局2902。

基于图像内容连续性特征，插入在重采样的正方形投影面“1”和“4”之间的填充区域pr_de1包括重采样的正方形投影面“5”中的部分区域pk的复制品和在重采样的正方形投影面“1”中的部分区域pa的复制品；插入在重采样的正方形投影面“0”和“3”之间的填充区域pr_de2包括重采样的正方形投影面“5”的部分区域pm的复制品和重采样的正方形投影面“1”中的部分区域pd的复制品；插入在重采样的正方形投影面“2”和“5”之间的填充区域pr_de3包括重采样的正方形投影面“5”中的部分区域pp的复制品和重采样的正方形投影面“1”中的部分区域pe的复制品。

此外，基于图像内容连续性特征，与重采样的正方形投影面“1”，“0”和“2”连接的顶部填充区域pr_t包括重采样正方形投影面“4”的部分区域pi的复制品，重采样正方形投影面“4”中的部分区域pl的复制品，以及重采样的正方形投影面“4”中的部分区域pn的复制品；与重采样的正方形投影面“4”，“3”和“5”连接的底部填充区域pr_b包括重采样的正方形投影面“2”中的部分区域pc的复制品，重采样的正方形投影面“2”中的部分区域ph的复制品，以及重采样的正方形投影面“2”中的部分区域pg的复制品；与重采样的正方形投影面“1”和“4”连接的左侧填充区域pr_l包括重采样的正方形投影面“3”中的部分区域pj的复制品和重采样的正方形投影面“0”的部分区域pb的复制品；与重采样的正方形投影面“2”和“5”连接的右侧填充区域pr_r包括重采样的正方形投影面“3”中的部分区域po的复制品和重采样的正方形投影面“0”的部分区域pf的复制品。

此外，执行角落填充，即在重采样的投影面“1”，“2”，“4”和“5”的某些角落周围设置角落填充区域。具体地，角落填充区域中的每个填充像素的像素值是利用相邻填充区域的边界像素执行插值导出的。以角落填充区域3102为例，通过对复制的部分区域pb的边界像素cy和复制的部分区域pc的边界像素cx执行插值来设置填充像素c的像素值，其中填充像素c和边界像素cy具有相同的y轴坐标，填充像素c和边界像素cx具有相同的x轴坐标。填充像素c和边界像素cx之间的水平距离由i表示。填充像素c和边界像素cy之间的垂直距离由j表示。可以使用以下公式来表示插值。

关于图27中所示的实施例，转换电路2714具有重采样电路2715和填充电路2716，根据360vr投影布局l_vr，该布局由所提出的具有填充的cmp布局设置，使得从重采样电路2715产生的重采样的正方形投影面和从填充电路2716产生的填充区域被封装在基于投影的帧img中。然而，这仅用于说明目的，并不意味着是对本发明的限制。例如，所提出的具有填充的cmp布局可以由图1中所示的转换电路114使用。因此，图28-31中所示的填充区域可以由填充电路115产生，并且图28-31中所示的投影面“0”，“1”，“2”，“3”，“4”，“5”可以是图20中所示的正方形投影面“l”，“f”，“r”，“bk”，“t”，“b”。根据360vr投影布局l_vr，该布局由所提出的具有填充的cmp布局设置，直接通过立方体投影而不需重采样获得的正方形投影面“l”，“f”，“r”，“bk”，“t”，“b”，以及从填充电路114产生的填充区域被封装在基于投影的帧img中。

可以根据从如上所述的第一示例性保护带设计，第二示例性保护带设计和第三示例性保护带设计中选择的一个保护带设计来设置保护带。另外，保护带尺寸sgb的宽度可以是4个像素，8个像素，16个像素，或者任意数量的像素。并且可以在比特流bs中发送保护带信息，以进一步用于解码器侧的重建/渲染。根据所提出的语法信令方法，可以采用以下语法表。

应注意，以上示例性语法表中的描述符指定每个语法元素的解析过程。例如，描述符u(n)描述使用n位的无符号整数(unsignedinteger)。

语法元素guard_band_width以亮度样本为单位指定每个投影面的顶部/左侧/右侧/底部尺寸上的保护带的宽度。当解码图像具有4：2：0或4：2：2色度格式时，guard_band_width应为偶数。

语法元素guard_band_type指定保护带上的像素填充方法。当未指定围绕投影面的保护带时，可以将语法元素guard_band_type设置为0(即，guard_band_type＝＝0)。当从复制投影面的边界像素来导出保护带中的像素时，语法元素guard_band_type可以设置为1(即，guard_band_type＝＝1)。当从复制3d空间中的相邻面来导出保护带中的像素时，可以将语法元素guard_band_type设置为2(即，guard_band_type＝＝2)。当通过将几何填充应用于投影面来导出投影面的保护带中的像素时，语法元素guard_band_type可以设置为3(即，guard_band_type＝＝3)。

如上所述，目标电子设备104的解码电路122从传输装置103(例如，有线/无线通讯链路或存储介质)接收比特流bs，并执行解码器功能，以解码接收到的比特流bs的一部分，来生成解码帧img'，该解码帧img'是具有由源电子设备102/2702的转换电路114/2714采用的相同360vr投影布局l_vr的基于投影的帧。在通过具有填充的投影布局(例如，具有外部边界填充的投影布局，具有内部边界填充的投影布局，或具有外部边界填充和内部边界填充的投影布局)来设置360vr投影布局l_vr的情况下，解码的帧img'具有位于投影布局的布局边界和/或面边界的填充区域。在一个实施例中，解码电路122可以裁剪填充区域，使得仅重建非填充区域(例如，从360vr投影获得的投影面中表示的全向图像/视频内容，或者从360vr投影并进行重采样后的投影中导出的重采样投影面中表示的全向图像/视频内容)。在替代设计中，可以修改解码电路122以基于填充区域中的填充像素和非填充区域中的像素执行混合。例如，可以通过将投影面中的像素的原始像素值与填充区域中的对应填充像素的像素值进行混合来更新投影面中的像素的像素值。又例如，可以通过将填充区域中的填充像素的原始像素值与投影面中的对应像素的像素值进行混合来更新填充区域中的填充像素的像素值。

图32是根据本发明的实施例的第四种360vr系统的示意图。360vr系统2700和3200之间的主要区别在于目标电子设备3204的解码电路3222具有混合电路3224，其被配置为在编码之后执行混合。图33是根据本发明的实施例的第五种360vr系统的示意图。360vr系统100和3300之间的主要区别在于目标电子设备3304的解码电路3322具有混合电路3324，其被配置为在编码之后执行混合。

解码电路3222/3322被布置为解码比特流bs的一部分以生成解码帧(即，解码的基于投影的帧)img'，其具有封装在360vr投影布局l_vr(例如，具有外部边界填充的投影布局，具有内部边界填充的投影布局，或具有外部边界填充和内部边界填充的投影布局)中的至少一个投影面和至少一个填充的填充区域。在生成解码帧img'的解码处理期间，解码电路3222/3322通过使用混合电路3224/3324，将包括在投影面中的为第一像素获得的解码像素值和包括在填充区域中的为第二像素获得的解码像素值进行混合，以重建投影面中的第一像素。例如，通过使用上述第三示例性填充设计，由编码器侧(即，源电子设备2702/102)的填充电路2716/115生成填充区域。这样封装在基于投影的帧img中的填充区域中的第二像素的像素值，是由包括在投影面中的部分区域的像素复制产生的。再例如，通过使用上述第一示例性填充设计，由编码器侧(即源电子设备2702/102)的填充电路2716/115生成填充区域。这样封装在基于投影的帧img中的填充区域中的第二像素的像素值，是由包括在投影面中的像素的几何映射产生的。在本发明的一些实施例中，混合电路3224/3324可以采用基于距离的权重方案。

关于混合电路3224，可以用于更新从重采样处理获得的投影面中的像素的像素值。关于混合电路3324，可以用于更新未经历重采样处理的投影面中的像素的像素值。混合电路3224和3324可以采用相同的基于距离的权重方案。在以下基于距离的权重方案的描述中，术语“投影面”可以表示从重采样处理获得的投影面或未经过重采样处理的投影面。

图34是根据本发明的实施例的解码器侧混合操作的示意图。假设填充电路2716/115采用图31中所示的示例性填充设计。因此，根据上述第三示例性填充设计，通过复制另一投影面中的部分区域来获得一个投影面的填充区域。基于图像内容连续性特征，在图34中的投影面“4”的左侧添加的填充区域，是通过复制正方形投影面“0”中的部分区域pb来设置的。然而，正方形投影面“0”中的部分区域pb的编码结果和添加到投影面“4”的左侧的填充区域的编码结果不一定相同。因此，在解码器侧(例如，目标电子设备3204/3304)，从正方形投影面“0”中的部分区域pb的解码获得的解码像素可以与从添加到投影面“4”的左侧的填充区域的解码获得的解码像素混合。如果由于填充而投影面具有不同的宽度和/或高度，则需要根据不同宽度和/或高度的比率对填充区域进行重采样(例如，插值填充像素)以进行混合。

投影面中的目标像素(即，具有将被更新的像素值的源像素)的重建像素值是更新的像素值，可以通过使用以下公式计算。

在上面的公式(4)中，srec表示投影面中的目标像素(例如，正方形投影面“0”中的像素a)的重建像素值(更新的像素值)，s表示为目标像素获得的解码像素值(原始像素值)，t表示为填充区域中的对应填充像素(例如，添加到正方形投影面“4”的左侧的填充区域中的填充像素a')获得的解码像素值。m表示填充区域的填充宽度，n表示目标像素与投影面的一边之间的距离。在图34中，像素a和正方形投影面“0”的顶边之间的距离由d表示(n＝d)，并且填充像素a'和正方形投影面“4”的左边之间的距离由d'表示。根据上述第三示例性填充设计，由于通过复制另一投影面中的部分区域来获得一个投影面的填充区域，因此在填充区域中，填充像素a'位于整数位置(即，(x，y)，其中x和y是整数位置)，并且d的值等于d'的值。

然而，如果根据前述第一示例性填充设计，通过将几何填充应用于投影面来获得投影面的填充区域，则填充像素a'可以位于非整数位置(即，(x，y)，在填充区域中x不是整数位置，和/或y不是整数位置)，并且d的值可以与d'的值不同。具体地，由于几何映射，填充像素a'的2d坐标是从像素a的2d坐标转换得到的。也就是说，位于正方形投影面“0”中的整数位置(即，(x，y)，其中x和y是整数位置)的像素a可以被映射到填充区域中的位于非整数位置(即，(x，y)，其中x不是整数位置，和/或y不是整数位置)的填充像素a'。由于位于非整数位置的填充像素a'的像素值在填充区域中不可直接获得，因此混合电路3224/3324可以通过使用插值滤波器来处理位于填充区域中的整数位置处的填充像素，来确定位于填充区域中的非整数位置的填充像素a'的像素值。在确定位于非整数位置的填充像素a'的像素值之后，使用上述公式(4)来计算正方形投影面“0”中的像素a的更新的像素值。

在上面的公式(4)中，n表示目标像素与投影面的一边之间的距离。在第一示例性设计中，n由正整数值设置。例如，n＝i+1，其中i是从投影面的一边计数的索引(距离)，并且0≤i<m。图35是根据本发明实施例的更新投影面中的像素的像素值所涉及的像素的权重值与像素的索引值之间关系的示意图。假设m＝4且n＝i+1。上述公式(4)可以改写如下。

在上面的公式(5)中，ai表示为投影面中的具有索引i的目标像素获得的解码像素值，ai,updated表示投影面中的目标像素的重建像素值(更新的像素值)，a'i表示为填充区域中的对应填充像素获得的解码像素值。如图35所示，目标像素a3(即，i＝3的ai)的权重等于8(即，4+3+1)，并且对应的填充像素a'3(即，i＝3的a'i)的权重等于0(即4-3-1)；目标像素a2(即，i＝2的ai)的权重等于7(即4+2+1)，并且对应的填充像素a'2(即，i＝2的a'i)的权重等于1(即4-2-1)；目标像素a1(即，i＝1的ai)的权重等于6(即4+1+1)，并且对应的填充像素a'1(即，i＝1的a'i)的权重等于2(即4-1-1)；以及目标像素a0(即，i＝0的ai)的权重等于5(即4+0+1)，并且填充像素a'0(即，i＝0的a'i)的权重等于3(即4-0-1)。

如图35所示，由于相邻权重值“5”和“3”之间的差等于2，权重并不是随索引(距离)以恒定的步长(constantstepsize)从8减小到0。为了解决这个问题，本发明提出目标像素与投影面的一边之间的距离的另一个设定。在第二示例性设计中，n由正的非整数值设置。例如，n＝i+0.5，其中i是从投影面的一边计数的索引(距离)，并且0≤i<m。图36是根据本发明实施例的更新投影面中的像素的像素值所涉及的像素的权重值与像素的索引值之间的另一关系的示意图。假设m＝4且n＝i+0.5。上述公式(4)可以改写如下。

在上面的公式(6)中，ai表示为投影面中的具有索引i的目标像素获得的解码像素值，ai,updated表示投影面中的目标像素的重建像素值(更新的像素值)，a'i表示为填充区域中的对应填充像素获得的解码像素值。如图36所示，目标像素a3(即，i＝3的ai)的权重等于7.5(即，4+3+0.5)，并且对应的填充像素a'3(即，，i＝3的a'i)的权重等于0.5(即4-3-0.5)；目标像素a2(即，i＝2的ai)的权重等于6.5(即4+2+0.5)，并且对应的填充像素a'2(即，i＝2的a'i)的权重等于1.5(即4-2-0.5)；目标像素a1(即，i＝1的ai)的权重等于5.5(即4+1+0.5)，并且对应的填充像素a'1(即，i＝1的a'i)的权重等于2.5(即4-1-0.5)；以及目标像素a0(即，i＝0的ai)的权重等于4.5(即4+0+0.5)，并且填充像素a'0(即，i＝0的a'i)的权重等于3.5(即4-0-0.5)。权重以恒定的步长，从7.5减小到0.5。

对于某些应用，可以在目标电子设备中实现转换电路，以将具有第一360vr投影格式的投影布局的解码帧转换为具有与第一360vr投影格式不同的第二360vr投影格式的投影布局的转换帧。例如，从解码电路生成的解码帧可以是基于投影的帧，其具有封装在具有填充的立方体投影布局中的投影面和填充区域；并且由转换电路生成并由后续图形渲染电路使用的转换帧(convertedframe)可以是基于投影的帧，其具有封装在不具有填充的典型的等距矩形投影布局中的投影面。位于转换帧中的整数位置(即，(x，y)，其中x和y是整数位置)的像素可以被映射到位于解码帧中非整数位置的像素(即，(x'，y')，其中x'不是整数位置和/或y'不是整数位置)。也就是说，当执行投影布局转换时，转换电路可能将位于转换帧中的整数位置处的像素的像素值映射为位于解码帧中的非整数位置处的像素的像素值。由于位于非整数位置的像素的像素值在解码帧中不可直接获得，因此转换电路可通过使用插值滤波器处理位于解码帧中的整数位置的像素，来确定位于解码帧中的非整数位置的像素的像素值。在具有非整数位置的像素位于解码帧中的投影布局的布局边界处或不连续边界附近的情况下，插值滤波器使用的像素可能包括从投影面中选择的至少一个像素和从对应的填充区域中选择的至少一个像素。之后通过混合(例如，基于距离的权重)来更新投影面中的像素的像素值。然而，如果相应填充区域中的填充像素的像素值不通过混合(例如，基于距离的权重)来更新。由于使用投影面中像素的更新像素值和对应填充区域中的填充像素的原始(未更新)像素值执行插值，结果有可能引入伪影。为解决该问题，本发明提出了另一种混合方案，即对投影面中的像素和填充区域中的填充像素都通过混合来更新像素值。

图37是根据本发明的实施例的第六种360vr系统的示意图。360vr系统3200和3700之间的主要区别在于：目标电子设备3704的解码电路3722中的混合电路3724被布置为对投影面中的像素和填充区域中的填充像素都通过混合来更新像素值，以及目标电子设备3704还包括转换电路3726，其被设置为将具有一个360vr投影布局的解码帧(即，解码的基于投影的帧)img'转换为具有不同的360vr投影布局的转换帧(即，转换后的基于投影的帧)img”。在本发明的一个实施例中，360vr投影布局l_vr可以是具有填充的cmp布局，并且转换的360vr投影布局可以是不具有填充的erp布局。然而，这仅用于说明目的，并不意味着是对本发明的限制。

图38是根据本发明的实施例的第七种360vr系统的示意图。360vr系统3300和3800之间的主要区别在于：目标电子设备3804的解码电路3822中的混合电路3824被布置为对投影面中的像素和填充区域中的填充像素都通过混合来更新像素值，以及目标电子设备3804还包括转换电路3826，转换电路3826被布置成将具有一个360vr投影布局的解码帧img'转换为具有不同的360vr投影布局的转换帧img”。在本发明的一个实施例中，360vr投影布局l_vr可以是cmp布局，并且转换后的360vr投影布局可以是erp布局。然而，这仅用于说明目的，并不意味着是对本发明的限制。

关于图37和图38中所示的实施例，基于投影的帧img和解码帧img'使用的360vr投影布局l_vr可以是一个360vr投影格式的投影布局，其不同于与转换帧img”相关联的另一个360vr投影格式。例如，解码帧img'和转换帧img”使用的不同投影布局可以从一组投影布局中选择，包括erp布局，多个基于立方体的投影布局(例如，cmp布局，金字塔投影布局，截断的正方形金字塔投影布局和基于视埠的立方投影布局)，多个基于三角形的投影布局(例如，八面体投影布局，二十面体投影布局，四面体投影布局，基于四边形石英的投影布局，以及基于六边形石英的投影布局)，分段球体投影(segmentedsphereprojection，ssp)布局，赤道圆柱投影布局，旋转球体投影布局等。

在本发明的一些实施例中，混合电路3724/3824可以采用基于距离的权重方案。关于混合电路3724，它可以用于更新从重采样处理获得的投影面中的像素的像素值，并且还可以用于更新填充区域中的填充像素的像素值。关于混合电路3824，它可以用于更新未经历重采样处理的投影面中的像素的像素值，并且还可以用于更新填充区域中的填充像素的像素值。混合电路3724和3824可以采用相同的基于距离的权重方案。在以下基于距离的权重方案的描述中，术语“投影面”可以表示从重采样处理获得的投影面或未经过重采样处理的投影面。

请再次参考图34。假设填充电路2716/115采用图31中所示的示例性填充设计。因此，根据上述第三示例性填充设计，通过复制另一投影面中的部分区域来获得一个投影面的填充区域。基于图像内容连续性特征，添加到投影面“4”的左边的填充区域由正方形投影面“0”中的部分区域pb的复制品来设置。然而，正方形投影面“0”中的部分区域pb的编码结果和添加到投影面“4”的左边的填充区域的编码结果不一定相同。因此，在解码器侧(例如，目标电子设备3704/3804)，从正方形投影面“0”中的部分区域pb的解码获得的解码像素可以与从添加到投影面“4”的左边的填充区域的解码获得的解码像素进行混合。在本实施例中，混合电路3724/3824用于通过混合正方形投影面“0”的部分区域pb中的像素的原始像素值和添加到投影面“4”的左边的填充区域中的填充像素的原始像素值，来更新正方形投影面“0”中的部分区域pb中的像素的像素值；以及混合电路3724/3824还用于通过混合添加到投影面“4”的左边的填充区域中的填充像素的原始像素值与正方形投影面“0”的部分区域pb中的像素的原始像素值，来更新添加到投影面“4”的左边的填充区域中的填充像素的像素值。如果由于填充而投影面具有不同的宽度和/或高度，则需要根据不同宽度和/或高度的比率对填充区域进行重采样(例如，填充像素的插值)以进行混合。

在投影面和填充区域的任何一个中的目标像素(即，具有将要更新的像素值的源像素)的重建像素值，可以通过使用以下公式来计算更新的像素值。

在上面的公式(7)中，s'rec表示目标像素(例如，图34中所示的正方形投影面“0”中的像素a，或添加到图34中所示的正方形投影面“4”的左边的填充区域中的填充像素a')的重建像素值(更新的像素值)，s'表示为目标像素获得的解码像素值(原始像素值)，t表示为将与目标像素混合的对应像素(例如，添加到图34中所示的正方形投影面“4”的左边的填充区域中的填充像素a'，或者如图34所示的正方形投影面“0”中的像素a)获得的解码像素值；m表示填充区域的填充宽度，n'表示目标像素与投影面的一边之间的距离。在目标像素是图34所示的正方形投影面“0”中的像素a的情况下，n'由表示像素a和正方形投影面“0”的顶边之间的距离的值来设定。在目标像素是被添加到图34所示的正方形投影面“4”的左边的填充区域中的填充像素a'的另一种情况下，n'由表示填充像素a'和正方形投影面“4”的左边之间的距离的值来设定。

在图34中，像素a和正方形投影面“0”的顶边之间的距离由d表示，并且填充像素a'和正方形投影面“4”的左边之间的距离由d'表示。根据上述第三示例性填充设计，由于通过复制另一投影面中的部分区域来获得一个投影面的填充区域，因此填充区域中的填充像素a'位于整数位置(即，(x，y)，其中x和y是整数位置)，并且d的值等于d'的值。

然而，根据前述第一示例性填充设计，如果通过将几何填充应用于投影面来获得投影面的填充区域，若目标像素(具有将要更新的像素值)位于整数位置(即，(x，y)，其中x和y是整数位置)，则非目标像素(其将与目标像素混合的对应像素)可能位于非整数位置(即，(x'，y')，其中x'不是整数位置，和/或y'不是整数位置)。在目标像素是正方形投影面“0”中的像素a的情况下，非目标像素是填充像素a'，其可能位于填充区域中的非整数位置，因此d可能与d'的值不同。具体地，由于几何映射，填充像素a'的2d坐标是从像素a的2d坐标转换的。也就是说，位于正方形投影面“0”中的整数位置(即，(x，y)，其中x和y是整数位置)的像素a可能被映射到填充区域中的位于非整数位置(即，(x'，y')，其中x'不是整数位置，和/或y'不是整数位置)的填充像素a'。由于位于非整数位置的填充像素a'的像素值在填充区域中不可直接获得，因此混合电路3724/3824可以通过使用插值滤波器处理位于填充区域中的整数位置处的填充像素，来确定位于填充区域中的非整数位置的填充像素a'的像素值。在确定位于非整数位置的填充像素a'的像素值之后，使用上述公式(7)来计算像素a的更新的像素值。

在目标像素是添加到正方形投影面“4”的左边的填充区域中的填充像素a'的另一种情况下，非目标像素可能是位于正方形投影面“0”中的非整数位置(即，(x'，y')，其中x'不是整数位置，和/或y'不是整数位置)的像素a，因此d的值可能与d'的值不同。具体地，由于几何映射，像素a的2d坐标是从填充像素a'的2d坐标转换的。也就是说，填充区域中位于整数位置(即，(x，y)，其中x和y是整数位置)的填充像素a'可能被映射到位于正方形投影面“0”中的非整数位置(即，(x'，y')，其中x'不是整数位置，和/或y'不是整数位置)的像素a。由于位于非整数位置的像素a的像素值在正方形投影面“0”中不可直接获得，因此混合电路3724/3824可通过使用插值滤波器处理位于正方形投影面“0”中的整数位置的像素，来确定位于正方形投影面“0”中的非整数位置的像素a的像素值。在确定位于非整数位置的像素a的像素值之后，使用上述公式(7)来计算填充像素a'的更新的像素值。

在上面的公式(7)中，n'表示目标像素与投影面的一边之间的距离，其中目标像素可以是投影面中的像素或填充区域中的填充像素。在第一示例性设计中，n'由非整数值设置。例如，n'＝i+0.5，其中i是从投影面的一边计数的索引(距离)。在本实施例中，当目标像素是位于投影面外部的填充区域中的填充像素时，i被设置为负整数值；并且当目标像素是包括在投影面中的像素时，i被设置为非负整数值。图39是根据本发明的实施例的更新投影面中的像素的像素值和填充区域中的填充像素的像素值所涉及的像素的权重值与像素的索引值之间关系的示意图。假设m＝4且n＝i+0.5。上述公式(7)可以改写如下。

在上面的公式(8)中，ai表示为具有索引i的目标像素获得的解码像素值，ai,updated表示目标像素的重建像素值(更新的像素值)，并且a'i表示为对应的非目标像素获得的解码像素值。如图39所示，投影面中的目标像素a3(即，i＝3的ai)的权重等于7.5(即，4+3+0.5)，并且填充区域中的对应的非目标像素a'3(即，i＝3的a'i)的权重等于0.5(即，4-3-0.5)；投影面中目标像素a2(即，i＝2的ai)的权重等于6.5(即4+2+0.5)，并且填充区域中对应的非目标像素a'2(即，i＝2的a'i)的权重等于1.5(即4-2-0.5)；投影面中目标像素a1(即，i＝1的ai)的权重等于5.5(即4+1+0.5)，并且填充区域中对应的非目标像素a'1(即，i＝1的a'i)的权重等于2.5(即4-1-0.5)；以及投影面中的目标像素a0(即，i＝0的ai)的权重等于4.5(即，4+0+0.5)，并且填充区域中的对应的非目标像素a'0(即，i＝0的a'i)的权重等于3.5(即，4-0-0.5)。

此外，如图39所示，填充区域中的目标像素a-1(即，i＝-1的ai)的权重等于3.5(即，4-1+0.5)，并且投影面中的对应的非目标像素a'-1(即，具有i＝-1的a'i)的权重等于4.5(即，4+1-0.5)；填充区域中的目标像素a-2(即，i＝-2的ai)的权重等于2.5(即，4-2+0.5)，并且投影面中的对应的非目标像素a'-2(即，i＝-2的a'i)的权重等于5.5(即4+2-0.5)；填充区域中的目标像素a-3(即，i＝-3的ai)的权重等于1.5(即，4-3+0.5)，并且投影面中的对应的非目标像素a'-3(即，i＝-3的a'i)的权重等于6.5(即4+3-0.5)；以及填充区域中的目标像素a-4(即，i＝-4的ai)的权重等于0.5(即，4-4+0.5)，并且投影面中的对应的非目标像素a'-4(即，i＝-4的a'i)的权重等于7.5(即4+4-0.5)。

在第二示例性设计中，n'由整数值来设置。例如，n'＝i+1，其中i是从投影面的一边计数的索引(距离)。在该实施例中，当目标像素是填充区域中的填充像素时，i被设置为负整数值，以及当目标像素是投影面中的像素时，i被设置为非负整数值。图40是根据本发明的实施例的更新投影面中的像素的像素值和填充区域中的填充像素的像素值所涉及的像素的权重值与像素的索引值之间另一种关系的示意图。假设m＝4且n'＝i+1。上述公式(7)可以改写如下。

在上面的公式(9)中，ai表示为具有索引i的目标像素获得的解码像素值，ai,updated表示目标像素的重建像素值(更新的像素值)，并且a'i表示为对应的非目标像素获得的解码像素值。如图40所示，投影面中的目标像素a3(即，i＝3的ai)的权重等于8(即，4+3+1)，并且填充区域中的对应的非目标像素a'3(即，i＝3的a'i)的权重等于0(即，4-3-1)；投影面中的目标像素a2(即，i＝2的ai)的权重等于7(即4+2+1)，并且填充区域中的对应的非目标像素a'2(即，i＝2的a'i)的权重等于1(即4-2-1)；投影面中的目标像素a1(即，i＝1的ai)的权重等于6(即4+1+1)，并且填充区域中的对应的非目标像素a'1(即，i＝1的a'i)的权重等于2(即4-1-1)；以及投影面中的目标像素a0(即，i＝0的ai)的权重等于5(即，4+0+1)，并且填充区域中的对应的非目标像素a'0(即，i＝0的a'i)的权重等于3(即，4-0-1)。

此外，如图40所示，填充区域中的目标像素a-1(即，i＝-1的ai)的权重等于4(即，4-1+1)，并且投影面中的对应的非目标像素a'-1(即，i＝-1的a'i)的权重等于4(即4+1-1)；填充区域中的目标像素a-2(即，具有i＝-2的ai)的权重等于3(即，4-2+1)，并且投影面中的对应的非目标像素a'-2(即，具有i＝-2的a'i)的权重等于5(即，4+2-1)；填充区域中的目标像素a-3(即，i＝-3的ai)的权重等于2(即，4-3+1)，并且投影面中的对应的非目标像素a'-3(即，i＝-3的a'i)的权重等于6(即4+3-1)；以及填充区域中的目标像素a-4(即，i＝-4的ai)的权重等于1(即，4-4+1)，并且投影面中的对应的非目标像素a'-4(即，i＝-4的a'i)的权重等于7(即4+4-1)。

本领域的技术人员将容易地观察到，可以在保留本发明的教导的同时对装置和方法进行多种修改和更改。因此，上述公开内容应被解释为仅受所附权利要求的范围和界限的限制。