本发明涉及一种选择画面内预测的预测模式的方法、视频编码装置及处理设备。
背景技术：
：随着网络、通信系统、显示器及计算机等应用的新技术的近期发展中，许多应用都须要高效的视频编码的解决方案，例如高视频压缩率、虚拟现实(virtualreality；vr)及360度视频内容。为提供身历其境的视觉效果，提升视频解析度以在视频中看见更多细节是常见作法。vr技术通常是以头戴式装置(headmounteddevice；hmd)实现，且头戴式装置与眼睛之间的距离十分接近，因此需要视频内容的解析度希望能够增加到当前的4k到8k解析度、甚至32k解析度以上。此外，画面刷新率也会影响到vr的使用体验，因此希望将画面刷新率增加到每秒30张、每秒90张甚至是每秒120张。基于上述需求，目前所使用的高效率视频编码(highefficiencyvideocoding；hevc)(又可称为h.265)似乎不足以对使用者提供更佳的视觉效果及体验。为了进一步提升针对数字视频的编码效率及提升图像质量，联合视频探索小组(jointvideoexplorationteam；jvet)将数种解决潜在需求的强化型视频编码技术应用在联合探索测试平台(jointexplorationtestmodel；jem)中，以尝试性地推动视频编码技术的进步。jem所采用的画面内预测(intraprediction)技术由原本hevc所具备的35种预测模式扩展到67种预测模式，藉以用于更为准确地进行角度预测。此外，jem还在转换单元(transformunit；tu)中引入模式依赖(mode-dependent)非分离式二次转换(non-separablesecondarytransform；nsst)技术。nsst可在视频编码器的首次转换(primarytransform)(又称为内核转换(coretransform)或第一转换(firsttransform))与量化(quantization)之间中实现，nsst也会在视频解码器的解量化(de-quantization)与反向首次转换中实现。nsst能够在定向纹理图案(directionaltexturepattern)中达到更好的压缩效率，但需要较为复杂的运算。技术实现要素：本公开提供一种选择画面内预测的预测模式的方法、视频编码装置及图像处理设备，其可提升视频编码的效率及处理速度，同时可降低视频编码的硬件实作成本。本公开的选择画面内预测的预测模式的方法包括下列步骤。在转换单元依据预设转换索引进行操作的情况下，依据输入图像的区块来计算对画面内预测中的多个预测模式所对应的多个预测成本。基于所述多个预测成本以从所述多个预测模式中选择多个候选预测模式。基于所述区块以及所述多个候选预测模式所对应的所述预测成本来计算所述多个候选预测模式在多个转换索引下所对应的多个失真成本。所述预设转换索引为所述多个转换索引的其中之一。以及，依据所述失真成本以从所述多个候选预测模式中选择其中之一来作为对应于所述区块的画面内预测的将使用预测模式。本公开的视频编码装置至少包括转换单元以及画面内预测单元。转换单元用以依据多个转换索引来转换输入图像的区块所对应的残余值。画面内预测单元耦接所述转换单元。在所述转换单元依据预设转换索引进行操作的情况下，画面内预测单元获得输入图像的区块并依据所述区块计算对画面内预测中的多个预测模式所对应的多个预测成本。所述预设转换索引为所述多个转换索引的其中之一。画面内预测单元基于所述预测成本以从所述预测模式中选择多个候选预测模式，基于所述区块以及所述多个候选预测模式所对应的所述预测成本来计算所述多个候选预测模式在所述转换单元的所述多个转换索引下所对应的多个失真成本，并且依据所述失真成本以从所述候选预测模式中选择其中之一来作为对应于所述区块的画面内预测的将使用预测模式。本公开的图像处理设备包括处理器以及存储器。所述处理器在依据预设转换索引以对残余值进行转换的情况下，依据输入图像的区块来计算对画面内预测中的多个预测模式所对应的多个预测成本。所述残余值对应所述区块。处理器基于所述预测成本以从所述多个预测模式中选择多个候选预测模式，基于所述区块以及所述候选预测模式所对应的所述预测成本来计算所述候选预测模式在多个转换索引下所对应的多个失真成本。所述预设转换索引为所述多个转换索引的其中之一。处理器依据所述失真成本以从所述多个候选预测模式中选择其中之一来作为对应于所述区块的画面内预测的将使用预测模式。基于上述，本公开实施例所述的画面内预测的模式选择法、视频编码装置及图像处理设备在进行画面内预测的预测模式选择时，将会先行把转换单元设定为预设的转换索引(例如，将转换单元设定为禁用第二转换单元且仅以第一转换单元进行残余值转换的操作模式)，再基于输入图像的区块来计算画面内预测中的每个预测模式所对应的预测成本，以从这些预测模式中选择多个候选预测模式。接着，利用候选预测模式对应的预测成本以及所述区块来从这些候选预测模式中找出具备最佳(例如，最低)失真成本的候选预测模式来做为将使用的预测模式。换句话说，本公开实施例不会针对转换单元中的不同操作模式(意即，依据不同的转换索引进行残余值转换的情况下)都分别计算出每个预测模式所对应的预测成本，而是针对转换单元中的预测操作模式(意即，依据预设转换索引进行残余值转换的情况下)计算一次画面内预测中每个预测模式所对应的预测成本。然后，则是通过上述预测成本配合转换单元在不同的转换索引进行残余值转换的情况来实现失真成本的计算，从而进行后续的候选预测模式的选择。藉此，本公开实施例可大幅减少对于预测成本的运算量、提升视频编码的效率及处理速度，同时可降低视频编码的硬件实作成本。为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。附图说明图1是依据本公开实施例的一种视频编码装置的结构方块图。图2是符合本发明实施例的一种图像处理设备的方块图。图3绘示一种联合探索测试平台(jem)中画面内预测的两阶段示意图。图4是符合本发明实施例的一种选择画面内预测的预测模式的方法的流程图。【符号说明】100：视频编码装置110：转换与量化单元112：转换单元113：第一转换单元114：第二转换单元115：量化单元120：反向量化与反向转换单元122：反向量化单元124：反向转换单元130：预测单元132：画面内预测单元134：画面间预测单元140、150：加法器160：画面缓冲器170：熵编码单元200：图像处理设备210：处理器220：存储器s410～s480：选择画面内预测的预测模式的方法的步骤st1：粗略模式检测(rmd)阶段st11：画面内预测的satd成本计算st12：选择候选预测模式st2：速率失真优化(rdo)阶段st21：进行第一转换st22：进行第二转换st23：进行量化编码st24：选择当前区块的将使用预测模式im：输入图像mr：输入图像的剩余值td、da：数据vd：图像数据n1：视频编码装置的输入端n2：反向量化与转换单元的输出端具体实施方式图1是依据本公开实施例的一种视频编码装置100的结构方块图。视频编码装置100依据获得输入图像中的多张输入图像im来进行视频编码，藉以降低输入图像的数据量，让输入图像能够易于传输与存储。视频编码装置100所使用的视频编码可以是联合探索测试平台(jem)，也可以是符合本公开实施例的、在视频转换中具备第一转换以及第二转换(如，nsst)的视频编码。本实施例的视频编码装置100主要包括转换与量化单元110、反向量化与反向转换单元120、预测单元130、位于视频编码装置100输入端n1的加法器140、位于反向量化与转换单元120输出端n2的加法器150、画面缓冲器160以及熵编码单元170。转换与量化单元110包括转换单元112以及量化单元115。预测单元130包括画面内预测单元132以及画面间预测单元134。加法器140藉由预测单元130提供的信息来与输入图像im相减以获得输入图像im的剩余值mr。在jem中，转换单元112包括第一转换单元113以及第二转换单元114。第一转换单元113对输入图像im的残余值mr进行第一转换(又称为内核转换或首次转换)。第二转换单元114则是对已进行第一转换的残余值进行第二转换。此处的第二转换为模式依赖型非分离式二次转换(nsst)。nsst的残余值处理可以与预测单元130(如，画面内预测单元132)所选择及使用的画面内预测模式有关。jem中的nsst可具备三种转换内核，画面内预测单元可选择性地使用这些转换内核来强化残余值编码的效能。换句话说，jem可选择性地启用第一转换以及nsst中三种转换内核的其中之一来进行残余值编码，或是仅使用第一转换且禁用nsst来进行残余值编码。本实施例以多个“转换索引”来代表nsst的操作模式。其中一个转换索引用以表示转换单元112不使用第二转换单元114来对当前区块的残余值进行转换，此种操作模式可利用“预设转换索引”来表示。预设转换索引以外的其他转换索引用以表示，转换单元112使用第二转换单元114中至少一个转换内核(本公开使用的nsst具备三种转换内核)的其中之一来对当前区块的残余值进行转换的操作模式。换句话说，本公开具备四种转换索引，以分别代表禁用nsst(转换索引为“0”)、使用第一转换内核来进行nsst(转换索引为“1”)、使用第二转换内核来进行nsst(转换索引为“2”)、以及使用第三转换内核来进行nsst(转换索引为“3”)。已被转换单元112进行残余值转换后的数据td则由量化单元115处理后成为数据da，并通过熵编码单元170处理成为经压缩后的图像数据vd。图像数据vd除了数据da以外还可包括预测单元130所产生的各种画面内预测模式与画面间预测模式。为了模拟视频解码后的数据，视频编码器100利用反向量化与反向转换单元120中的反向量化单元122以及反向转换单元124将数据da还原成经视频解码后的图像数据。此图像数据经由加法器150与输入图像im的处理后暂存于画面缓冲器160中。视频解码后的图像数据可供画面内预测单元132以及画面间预测单元134作为当前区块的模式预测使用。画面内预测单元132是利用同一个画面中已解析的区块来对正在处理的区块进行像素数值预测以及残余值转换。画面间预测单元134则是针对连续的多个输入图像之间的区块进行像素预测以及残余值转换。图1中的各个功能方块可以是以硬件方式实现，也可以是以软件程序或固件模块的方式实现。图2是符合本发明实施例的一种图像处理设备200的方块图。当图1中的视频编码装置100是以软件程序或固件模块实现时，可通过图像处理设备200中的处理器210及存储器220来执行，以实现本公开实施例。存储器220可存储以指令呈现的视频编码装置100中的各个软件程序或固件模块。处理器210可存取存储器220已执行这些软件程序或固件模块。处理器210可以是中央处理单元、绘图处理单元、为处理器、现场可编程逻辑门阵列…等。在jem的画面内预测技术中，将通过两个阶段来决定哪个画面内编码的预测模式来用于进行编码的当前区块。图3绘示一种jem中画面内预测的两阶段示意图。第一阶段st1是粗略模式检测(roughmodedetection；rmd)阶段。详细来说，rmd阶段包括两个子阶段st11及st12。这两个子阶段st11及st12可由图1中的画面内预测模式132来实现。子阶段st11是使用satd方式来计算当前区块对应的多个画面内预测模式(在jem中具备35至67种画面内预测模式)的预测成本(也可称为是satd成本)，在此称为是“画面内预测的satd成本计算”。子阶段st12则是基于这些预测成本以从上述多个画面内预测模式中选择多个候选预测模式，在此称为是“选择候选预测模式”。应用本实施例者可依其需求来调整候选预测模式的被选择数量，例如可选择具备较低satd成本的3个或5个画面内预测模式作为候选预测模式。本实施例以“选择3个预测模式作为后选预测模式”来实现本公开实施例。第二阶段st2则是速率失真优化(rate-distortionoptimization；rdo)阶段。详细来说，阶段st21包括四个子阶段st21至st24。子阶段st21可由图1的第一转换单元113实现；子阶段st22可由图1的第二转换单元114实现；子阶段st23可由图1的量化单元115实现；子阶段st24可由图1的画面内预测单元132或量化单元115择一实现。应用本发明实施例者也可依其需求来调整实现上述各个子阶段的功能方块，本公开不被限制于此。子阶段st21针对当前区块以及这些后选预测模式进行第一转换/内核转换/首次转换。并且，为了强化编码效能，本实施例在子阶段st22中针对已进行第一转换的当前区块残余值数据进行第二转换(如，nsst)。子阶段st23是将通过子阶段st22的当前区块残余值数据进行量化编码以计算每个候选预测模式所对应的位率失真成本(rate-distortioncost；rdcost)以作为失真成本。本公开以所述位率失真成本作为所述失真成本。子阶段st24用以选择出在真实编码位的数量与量化失真之间具备最佳位率失真成本的候选预测模式来作为对应于此当前区块的画面内预测的将使用预测模式，在此称为是“选择当前区块的将使用预测模式”。在jem的设计中，nsst具备三种转换单元，因此拥有四种操作模式。这些操作模式是以不同的转换索引来表示。因此，每个候选预测模式都需要在不同的nsst操作模式下分别计算。需特别注意的是，jem具备67种的画面内预测模式以及4种nsst的操作模式(以nsst转换索引(“0”至“3”)表示)。为了精确计算出最佳的画面内预测模式、且不同的nsst操作模式将可能导致rdo阶段的结果(对于候选预测模式的选择)有所不同，因此jem会让每种画面内预测模式在不同nsst的操作模式下分别执行rmd阶段st1以及rdo阶段st2，如此才会认为所选择出的画面内预测模式较为正确。以另一角度来说，nsst适用于画面内预设的第二转换，以更为降低残余值的位数量。对于上述4种nsst转换索引的画面内模式选择的处理流程可大致上描述如下述运算1至运算8：运算1：在nsst转换索引为“0”时的rmd阶段(基于satd成本以从67个画面内预测模式中选择3个候选预测模式)运算2：在nsst转换索引为“0”时的rdo阶段(从3个候选预测模式中选择最佳的画面内预测模式)运算3：在nsst转换索引为“1”时的rmd阶段(基于satd成本以从67个画面内预测模式中选择3个候选预测模式)运算4：在nsst转换索引为”1”时的rdo阶段(从3个候选预测模式中选择最佳的画面内预测模式)运算5：在nsst转换索引为“2”时的rmd阶段(基于satd成本以从67个画面内预测模式中选择3个候选预测模式)运算6：在nsst转换索引为“2”时的rdo阶段(从3个候选预测模式中选择最佳的画面内预测模式)运算7：在nsst转换索引为“3”时的rmd阶段(基于satd成本以从67个画面内预测模式中选择3个候选预测模式)运算8：在nsst转换索引为“3”时的rdo阶段(从3个候选预测模式中选择最佳的画面内预测模式)基于上述运算1至运算8可知，就算是satd方式为一种能够快速计算出以哪个画面内编码模式对区块进行编码会具备最小成本的算法，在rmd阶段仍然需要进行多次计算(如，运算1、运算3、运算5、运算7)才能在3个候选预测模式中计算出最小satd成本。然而，本公开实施例认为，在图3的子阶段st11中对于satd成本的计算跟nsst的操作模式无直接关联，换句话说，satd成本的计算跟nsst的操作模式对于最终的视频编码结果影响不大。因此，在不同nsst转换索引下各个画面内预测模式的satd成本应可以利用同一组satd成本来作为后续rdo阶段在不同的nsst的操作模式计算之用。藉此，本公开实施例仅在将nsst设定为预设转换索引(如，将nsst的转换索引设定为“0”)时对这些画面内预测模式计算一次satd成本，将这些satd成本暂存，并把“nsst设定为其他转换索引(如，将nsst的转换索引设定为“1”至“3”)时的satd成本计算”的步骤移除，便可大幅节省运算流程。换句话说，本公开实施例可将上述运算1的satd成本计算结果暂存，并省略上述运算3、5、7，改由运算1计算获得的satd成本来进行运算4、6、8，从而节省运算量。图4是符合本发明实施例的一种选择画面内预测的预测模式的方法的流程图。图4所述的方法可适用于图1所述的视频编码装置100以及图2所述的图像处理装置200。请参考图1及图4，在步骤s410中，将转换单元112中第二转换单元114的操作模式设定为禁能，亦即，将第二转换单元114的转换索引设定为“0”。在步骤s420中，在第二转换单元114依据所述预设转换索引进行操作的情况下，画面内预测单元132以绝对变换插的和(satd)方式依据输入图像im的当前区块来计算对画面内预测中的多个预测模式所对应的多个预测成本。所述预测成本为satd成本。在步骤s430中，画面内预测单元132基于步骤s420的预测成本以从多个画面内预测模式(如，67个画面内预测模式)中选择多个候选预测模式。本实施例可从67个画面内预测模式所对应的预测成本中找寻最佳的预测成本。画面内预测模式的数量大于候选预测模式的被选择数量。例如，从这些预测成本中找寻具备最低的3个预测成本所对应的画面内预测模式作为预选预测模式。在步骤s440中，在选择出这些候选预测模式之后，画面内预测单元132便会暂存这些候选预测模式所对应的预测成本，以供后续步骤使用。于部分实施例中，画面内预测单元132也可以将每个画面内预测模式所对应的预测成本皆进行暂存。在步骤s450中，可通过转换及量化单元110中的第一转换单元113、第二转换单元114以及量化单元115而基于所述当前区块以及步骤s430选择出的多个候选预测模式所对应的预测成本来进行位率失真最佳化(rate-distortionoptimization；rdo)检查以计算这些候选预测模式在多个转换索引(本实施例具备4个转换索引”0”至”3”)下所对应的多个失真成本。本公开实施例的失真成本是以图3中rdo阶段st2中的子阶段st23所述的位率失真成本来实现。换句话说，步骤s430的失真成本计算方式可参照图3中的rdo阶段st2。在步骤s460中，判断第二转换单元114中所设定的转换索引是否为最后一个转换索引(亦即，是否为转换索引”3”)。若第二转换单元114中所设定的转换索引并非为转换索引”3”，则从步骤s460进入步骤s470以将第二转换单元114中所设定的转换索引加1。并且，在转换索引加1之后，便回到步骤s450以计算在此nsst的转换索引的情况下各个候选预测成本所对应的失真成本。基于步骤s450至s470，本公开便可计算这些候选预测模式在不同的转换索引的情况下所对应的失真成本。在步骤s480中，画面内预测单元134(或执行步骤s480的其他元件)可依据步骤s450计算得到的失真成本以从这些候选预测模式中选择其中之一来作为对应于所述当前区块的画面内预测的将使用预测模式。表1是采用本公开实施例的视频压缩率以及图像质量的比较。表1中的“y”、“u”、“v”为一种颜色编码方法。“y”表示明亮度(luminance)，“u”和“v”则分别表示色度(chrominance)及浓度(chroma)。表1测试图样yuv编码时间(％)图样a10.02％-0.11％0.00％90％图样a20.03％-0.04％0.07％92％图样b0.02％0.07％-0.04％91％图样c0.01％-0.07％-0.04％90％图样d0.03％-0.14％-0.01％92％图样e0.04％0.06％-0.09％92％平均0.03％-0.04％-0.04％91％表1是在使用本公开实施例以让视频编码后再行解码的图像与原本的图样相比对的结果。可看出经视频编码后的图像的y、u、v值跟原本的图样相比差异十分微小，但编码时间则缩短了9％，可谓是大幅增加视频编码的处理速度。综上所述，本公开实施例所述的画面内预测的模式选择法、视频编码装置及图像处理设备在进行画面内预测的预测模式选择时，将会先行把转换单元设定为预设的转换索引(例如，将转换单元设定为禁用第二转换单元且仅以第一转换单元进行残余值转换的操作模式)，再基于输入图像的区块来计算画面内预测中的每个预测模式所对应的预测成本，以从这些预测模式中选择多个候选预测模式。接着，利用候选预测模式对应的预测成本以及所述区块来从这些候选预测模式中找出具备最佳(例如，最低)失真成本的候选预测模式来做为将使用的预测模式。换句话说，本公开实施例不会针对转换单元中的不同操作模式(意即，依据不同的转换索引进行残余值转换的情况下)都分别计算出每个预测模式所对应的预测成本，而是针对转换单元中的预测操作模式(意即，依据预设转换索引进行残余值转换的情况下)计算一次画面内预测中每个预测模式所对应的预测成本。然后，则是通过上述预测成本配合转换单元在不同的转换索引进行残余值转换的情况来实现失真成本的计算，从而进行后续的候选预测模式的选择。藉此，本公开实施例可大幅减少对于预测成本的运算量、提升视频编码的效率及处理速度，同时可降低视频编码的硬件实作成本。虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书界定范围为准。当前第1页12