图像压缩的画面内预测方法与系统与流程

本公开涉及一种图像压缩的画面内预测方法与系统。

背景技术：

随着计算机硬件、网络通信设备以及显示器的发展，高动态范围、虚拟实境以及360度全景的影片越来越受到重视，为了得到好的使用者体验，这些影片的解析度需求通常非常的高。并且，若是使用头戴式显示器观赏360度全景影片，使用者的眼睛距离屏幕非常的近，故画面变得粗糙，而会大幅降低使用者的观感。因此，为了让画面更精细，需要提高画面的解析度，并且画面更新率需求也须提升至30～90，造成数据传输上的需求更加严苛。如此一来，需要发展一个压缩效率更高的视频压缩标准以符合未来的需求。

技术实现要素：

本公开有关于一种图像压缩的画面内预测方法与系统。

根据本公开的一实施例，提出一种图像压缩的画面内预测(intraprediction)方法。该画面内预测方法用以对目标编码区块进行画面内预测。该画面内预测方法包括以下步骤。获得邻近于该目标编码区块的第一邻近编码区块的第一邻近预测方向。获得邻近于该目标编码区块的第二邻近编码区块的第二邻近预测方向，该第二邻近编码区块不同于该第一邻近编码区块。至少依据该第一邻近预测方向及该第二邻近预测方向，从该第一邻近编码区块及该第二邻近编码区块获得该目标编码区块的多个目标像素的多个目标预测值。

根据本公开的另一实施例，提出一种图像压缩的画面内预测(intraprediction)系统。该画面内预测系统用以对目标编码区块进行画面内预测。该画面内预测系统包括方向单元及预测单元。该方向单元用以获得邻近于该目标编码区块的第一邻近编码区块的第一邻近预测方向，并获得邻近于该目标编码区块的第二邻近编码区块的第二邻近预测方向，该第二邻近编码区块不同于该第一邻近编码区块。该预测单元用以至少依据该第一邻近预测方向及该第二邻近预测方向，从该第一邻近编码区块及该第二邻近编码区块获得该目标编码区块的多个目标像素的多个目标预测值。

为了对本公开的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：

附图说明

图1绘示根据一实施例的图像压缩的画面内预测(intraprediction)的示意图。

图2绘示根据一实施例的全景图像的示意图。

图3绘示根据一实施例的图像压缩的画面内预测系统的示意图。

图4绘示根据一实施例的图像压缩的画面内预测方法的流程图。

图5～图6说明图4的各步骤的示例图。

图7绘示根据一实施例的步骤s134的示例图。

图8绘示根据一另实施例的步骤s134的示例图。

图9绘示根据另一实施例的图像压缩的画面内预测系统的示意图。

图10绘示根据另一实施例的图像压缩的画面内预测方法的流程图。

图11绘示图10的步骤s230的示例图。

图12绘示根据另一实施例的图像压缩的画面内预测系统的示意图。

图13绘示根据另一实施例的图像压缩的画面内预测方法的流程图。

图14绘示图12的步骤s330的示例图。

【符号说明】

110、210、310：方向单元

130、230、330：预测单元

131、231、331：第一预测器

132、232、332：第二预测器

134、234：组合器

140、240：权重单元

233：第三预测器

334：选择器

900：全景图像

1000、2000、3000：画面内预测系统

b11：第一邻近编码区块

b12：第二邻近编码区块

b19、b99：目标编码区块

b900：区块

d11：第一邻近预测方向

d12：第二邻近预测方向

d20、d91、d900：预定预测方向

ds1：第一距离

ds2：第二距离

l1：斜对称轴

l11：第一侧边

l12：第二侧边

p19、p99：目标像素

p11、p12、p91：邻近像素

t900：纹路

v11：第一邻近预测值

v12：第二邻近预测值

v19、v29、v39、v91：目标预测值

v20：预定预测值

v99：原始值

v92：剩余值

w11、w21：第一权重

w12、w22：第二权重

w23：第三权重

s110、s120、s131、s132、s134、s210、s220、s233、s231、s232、s234、s310、s320、s331、s332、s334：步骤

具体实施方式

请参照图1，其绘示根据一实施例的图像压缩的画面内预测(intraprediction)的示意图。在进行画面内预测时，会先提供目标编码区块b99的数个目标像素p99的原始值v99。并且，依据一预定预测方向d91，以邻近像素p91，获得目标编码区块b99的目标像素p99的目标预测值v91。此些目标预测值v91又称为预测区块(predictionblock)。

接着，计算原始值v99与目标预测值v91的差异，以获得目标编码区块b99的剩余值v92。此些剩余值v92又称为剩余区块(residualblock)。如图1所示，此些剩余值v92的位数较低，而能够有效提高压缩效率。

请参照图2，其绘示根据一实施例的全景图像900的示意图。在全景图像900中，部分画面会有弯曲现象。如右下角的区块b900所示，区块b900的纹路t900呈现弯曲状。如右上角的区块b900所示，若采固定的预定预测方向d900，可能会与纹路t900有较大的差异，进而影响压缩效率。

请参照图3，其绘示根据一实施例的图像压缩的画面内预测系统1000的示意图。画面内预测系统1000包括一方向单元110、一预测单元130及一权重单元140。方向单元110用以获得预测方向。预测单元130用以进行画面内预测。权重单元140用以提供权重。方向单元110、预测单元130及权重单元140例如是芯片、电路、电路板、或存储数组程序代码的非暂态计算机可读取介质。画面内预测系统1000通过多预测方向的技术，可以针对全景图像提供更高的压缩效率。以下更搭配一流程图详细说明各项元件的运作方式。

请参照图4～6，图4绘示根据一实施例的图像压缩的画面内预测方法的流程图，第5～6图说明图4的各步骤的示例图。如图5所示，画面内预测系统1000用以以对一目标编码区块(targetcodingunit)b19进行画面内预测。在步骤s110中，方向单元110获得邻近于目标编码区块b19的一第一邻近编码区块(firstadjacentcodingunit)b11的一第一邻近预测方向d11。第一邻近编码区块b11可以是数行及数列所组成的区块。第一邻近编码区块b11已完成画面内预测，其主要采用第一邻近预测方向d11进行预测。

接着，在步骤s120中，方向单元110获得邻近于目标编码区块b19的一第二邻近编码区块(secondadjacentcodingunit)b12的一第二邻近预测方向d12。第二邻近编码区块b12不同于第一邻近编码区块b11。第二邻近编码区块b12可以是数行及数列所组成的区块。第二邻近编码区块b12已完成画面内预测，其主要采用第二邻近预测方向d12进行预测。

如图5所示，第一邻近编码区块b11位于目标编码区块b19的一第一侧边l11，第二邻近编码区块b12位于目标编码区块b19的一第二侧边l12。第一侧边l11连接第二侧边l12。

上述步骤s110及步骤s120的执行顺序并不局限于图4的示例。在一实施例中，步骤s120可先执行于步骤s110之前。或者，步骤s110及步骤s120可同时执行。

然后，在步骤s130中，预测单元130于目标编码区块b19内，至少依据第一邻近预测方向d11及第二邻近预测方向d12，从第一邻近编码区块b11及第二邻近编码区块b12获得目标编码区块b19的数个目标像素p19的数个目标预测值v19(标示于图3)。

在图4的实施例中，步骤s130包括步骤s131、步骤s132、步骤s134。在步骤s131中，预测单元130的第一预测器131依据第一邻近预测方向d11，从第一邻近编码区块b11获得此些目标像素p19的数个第一邻近预测值v11。举例来说，如图6的右侧所示，第一预测器131可沿着第一邻近预测方向d11，将第一邻近编码区块b11的邻近像素p11的像素值填入此些目标像素p19，以获得此些此些目标像素p19的此些第一邻近预测值v11。补充说明的是，第一预测器131选择并据以填入目标像素p19的内容，是依据所选择的第一邻近预测方向d11不同而调整，也可能是选择左侧的第二邻近编码区块b12。

接着，在步骤s132中，预测单元130的第二预测器132依据第二邻近预测方向d12，从第二邻近编码区块b12获得此些目标像素p19的数个第二邻近预测值v12。举例来说，如图6的左侧所示，第二预测器132可沿着第二邻近预测方向d12，将第二邻近编码区块b12的邻近像素p12的像素值填入此些目标像素p19，以获得此些此些目标像素p19的此些第二邻近预测值v12。补充说明的是，第二预测器132选择并据以填入目标像素p19的内容，是依据所选择的第二邻近预测方向d12不同而调整，也可能是选择第一邻近编码区块b11。

上述步骤s131及步骤s132的执行顺序并不局限于图4的示例。在一实施例中，步骤s132可先执行于步骤s131之前。或者，步骤s131及步骤s132可同时执行。

然后，在步骤s134中，预测单元130的组合器134组合各个第一邻近预测值v11及各个第二邻近预测值v12，以获得各个目标像素的目标预测值v19。举例来说，组合器134以下式(1)组合出目标预测值v19。

v19(x，y)＝w11(x，y)*v11(x，y)+w12(x，y)*v12(x，y)

其中

w11(x，y)＝f1(x，y，v11(x，y)，v12(x，y))

w12(x，y)＝g1(x，y，v11(x，y)，v12(x，y))…………………….(1)

组合器134加总数个第一权重w11与此些第一邻近预测值v11的个别乘积及数个第二权重w12与此些第二邻近预测值v12的个别乘积，以获得各个目标像素p19的目标预测值v19。在一实施例中，各个第一权重w11可以不同于各个第二权重w12。第一权重w11及第二权重w12由权重单元140提供。

如式(1)所示，对应于此些目标像素p19的此些第一权重w11为位置、第一邻近预测值v11及第二邻近预测值v12的函数值，其在不同的位置不完全相同。对应于此些目标像素p19的此些第二权重w12为位置、第一邻近预测值v11及第二邻近预测值v12的函数值，其在不同的位置不完全相同。

举例来说，请参照图7，其绘示根据一实施例的步骤s134的示例图。在一实施例中，组合器134以下式(2)组合出目标预测值v19。

在式(2)中，第一权重w11为第二权重w12为也就是说，此目标像素p19与第一邻近编码区块b11的距离愈远时，(y+1)的数值越大，使得第一邻近预测值v11的第一权重w11(即)越小；此目标像素p19与第一邻近编码区块b11的距离愈近，(y+1)的数值越小，使得第一邻近预测值v11的第一权重w11(即)越大。

此目标像素p19与第二邻近编码区块b12的距离愈远，(x+1)的数值越大，使得第二邻近预测值v12的第二权重w12(即)越小；此目标像素p19与第二邻近编码区块b12的距离愈近，(x+1)的数值越小，使得第二邻近预测值v12的第二权重w12(即)越大。

因此，在计算目标预测值v19时，较靠近第一邻近编码区块b11的目标像素p19，考虑到较多的第一邻近预测值v11；较靠近第二邻近编码区块b12的目标像素p19，考虑到较多的第二邻近预测值v12。

再举一例来说，请参照图8，其绘示根据一另实施例的步骤s134的示例图。沿第一邻近预测方向d11，可以计算出目标像素p19与第一邻近编码区块b11之间的第一距离ds1。沿第二邻近预测方向d12，可以计算出目标像素p19与第二邻近编码区块b12之间的第二距离ds2。在另一实施例中，组合器134以下式(3)组合出目标预测值v19。

在式(3)中，第一权重w11为第二权重w12为也就是说，此目标像素p19与第一邻近编码区块b11的第一距离ds1愈大，将使得第一邻近预测值v11的第一权重w11(即)越小；此目标像素p19与第一邻近编码区块b11的第一距离ds1愈小，将使得第一邻近预测值v11的第一权重w11(即)越大。

此目标像素p19与第二邻近编码区块b12的第二距离ds2愈大，使得第二邻近预测值v12的第二权重w12(即)越小；此目标像素p19与第二邻近编码区块b12的第二距离ds2愈小，使得第二邻近预测值v12的第二权重w12(即)越大。

因此，在计算目标预测值v19时，较靠近第一邻近编码区块b11的目标像素p19，考虑到较多的第一邻近预测值v11；较靠近第二邻近编码区块b12的目标像素p19，考虑到较多的第二邻近预测值v12。

除了可以根据第一邻近预测方向d11及第二邻近预测方向d12来进行画面内预测，也可同时考虑到原本预定的预定预测方向d20来进行画面内预测。请参照第9～11图，图9绘示根据另一实施例的图像压缩的画面内预测系统2000的示意图，图10绘示根据另一实施例的图像压缩的画面内预测方法的流程图，图11绘示图10的步骤s230的示例图。在步骤s210、s220中，方向单元210获得第一邻近预测方向d11及第二邻近预测方向d12。步骤s210、s220类似于上述步骤s110、s120，在此不再重复叙述。

步骤s230包括步骤s233、s231、s232、s234。在步骤s233中，预测单元230的第三预测器233依据预定预测方向d20，从第一邻近编码区块b11和/或第二邻近编码区块b12获得此些目标像素p19的数个预定预测值v20。预定预测方向d20为整张画面所预先设定好的，而不会随着演算过程变更。举例来说，如图11之上侧所示，第三预测器233可沿着预定预测方向d20，将第一邻近编码区块b11和/或第二邻近编码区块b12的邻近像素p11、p12的像素值填入此些目标像素p19，以获得此些此些目标像素p19的此些预定预测值v20。

接着，在步骤s231，预测单元230的第一预测器231依据第一邻近预测方向d11，从第一邻近编码区块b11获得此些目标像素p19的数个第一邻近预测值v11。举例来说，如图11的右侧所示，第一预测器231可沿着第一邻近预测方向d11，将第一邻近编码区块b11的邻近像素p11的像素值填入此些目标像素p19，以获得此些此些目标像素p19的此些第一邻近预测值v11。

然后，在步骤s232中，预测单元230的第二预测器232依据第二邻近预测方向d12，从第二邻近编码区块b12获得此些目标像素p19的数个第二邻近预测值v12。举例来说，如图11的左侧所示，第二预测器232可沿着第二邻近预测方向d12，将第二邻近编码区块b12的邻近像素p12的像素值填入此些目标像素p19，以获得此些此些目标像素p19的此些第二邻近预测值v12。

接着，在步骤s234中，预测单元230的组合器234组合各个预定预测值v20、各个第一邻近预测值v11及各个第二邻近预测值v12，以获得各个目标像素的目标预测值v29。举例来说，组合器234以下式(4)组合出目标预测值v29。

v29(x，y)＝w21(x，y)*v11(x，y)+w22(x，y)*v12(x，y)+w23(x，y)*v20(x，y)

其中

w21(x，y)＝f2(x，y，v11(x，y)，v12(x，y)，v20(x，y))

w22(x，y)＝g2(x，y，v11(x，y)，v12(x，y)，v20(x，y))

w23(x，y)＝

h2(x，y，v11(x，y)，v12(x，y)，v20(x，y))……………(4)

组合器234加总此些第一权重w21与此些第一邻近预测值v11的个别乘积、此些第二权重w22与此些第二邻近预测值v12的个别乘积及此些第三权重w23与此些预定预测值v20的个别乘积，以获得各个目标像素p19的目标预测值v29。各个第一权重w21、各个第二权重w22及各个第三权重w23不完全相同。第一权重w21、第二权重w22及第三权重w23由权重单元240提供。

如式(4)所示，对应于此些目标像素p19的此些第一权重w21为位置、第一邻近预测值v11、第二邻近预测值v12及预定预测值v20的函数值，其在不同的位置不完全相同。对应于此些目标像素p19的此些第二权重w22为位置、第一邻近预测值v11、第二邻近预测值v12及预定预测值v20的函数值，其在不同的位置不完全相同。对应于此些目标像素p19的此些第三权重w23为位置、第一邻近预测值v11、第二邻近预测值v12及预定预测值v20的函数值，其在不同的位置不完全相同。

也就是说，除了可以根据第一邻近预测方向d11及第二邻近预测方向d12来进行画面内预测，预测单元230可以进一步考虑到原本预定的预定预测方向d20来进行画面内预测。

此外，在另一实施例中，除了可以利用组合的方式来进行画面内预测，也可利用选择的方式来进行画面内预测。请参照第12～14图，图12绘示根据另一实施例的图像压缩的画面内预测系统3000的示意图，图13绘示根据另一实施例的图像压缩的画面内预测方法的流程图，图14绘示图12的步骤s330的示例图。在步骤s310、s320中，方向单元310获得第一邻近预测方向d11及第二邻近预测方向d12。步骤s310、s320类似于上述步骤s110、s120，在此不再重复叙述。

步骤s330包括步骤s331、s332、s334。在步骤s331，预测单元330的第一预测器331依据第一邻近预测方向d11，从第一邻近编码区块b11获得此些目标像素p19的数个第一邻近预测值v11。

然后，在步骤s332中，预测单元330的第二预测器332依据第二邻近预测方向d12，从第二邻近编码区块b12获得此些目标像素p19的数个第二邻近预测值v12。

接着，在步骤s334中，预测单元230的选择器334选择此些第一邻近预测值v11，作为部分的目标像素p19的目标预测值v39，并选择此些第二邻近预测值v12，作为另一部分的目标像素p19的目标预测值v39。举例来说，选择器334以下式(5)选择出目标预测值v39。

在较靠近第一邻近编码区块b11的目标像素p19，选择器334选择第一邻近预测值v11作为目标预测值v39(标示于图12)；较靠近第二邻近编码区块b12的目标像素p19，选择器334选择第二邻近预测值v12作为目标预测值v39；在斜对称轴l1上的目标像素p19，选择器334选择第一邻近预测值v11与第二邻近预测值v12的平均作为目标预测值v39。

也就是说，除了可以采用组合的方式来进行画面内预测，预测单元330可以采用选择的方式来进行画面内预测。

根据上述各种实施例，画面内预测(intraprediction)可以通过多预测方向的技术，来对全景图像提供更高的压缩效率，以符合未来的需求。

综上所述，虽然本公开已以实施例公开如上，然其并非用以限定本公开。本公开所属技术领域的技术人员，在不脱离本公开的精神和范围内，当可作各种的更动与润饰。因此，本公开的保护范围当视所附权利要求书界定范围为准。