帧内预测模式的决策方法、决策装置和计算机可读存储介质与流程

本申请属于图像处理技术领域，尤其是帧内预测模式的决策方法及决策装置。

背景技术：

在视频编解码过程中，帧内预测一般用来去除帧内的空域冗余，具体地，利用已经编码块的重构值预测当前编码块来获得一个较小的残差，从而有利于视频的压缩。

高级视频编码(advancedvideocoding，简称avc)作为一种视频编解码技术，帧内预测模式共有9种。高效视频编码(highefficiencyvideocoding，简称hevc)作为视频编解码采用的一种新的压缩标准，其帧内预测的方向拓展到35种，这有利于帧内预测的精细度和准确度。目前，从多种帧内预测模式中选取当前帧内预测模式，需要对每种帧内预测模式都做一次率失真代价计算，即，对每一种帧内预测模式做一次预测、变换、量化、熵编码、反量化、反变换、求失真，这使得编码器的计算复杂度成几何倍数增长。尤其是对于hevc的35个帧内预测模式，帧内预测模式的决策速度会更慢。在移动端中运行该决策方法进行编解码，很难满足实时编解码的要求。

针对帧内预测模式的传统决策方法速度较慢的技术问题，现有技术中缺乏有效的解决方案。

技术实现要素：

为缓解相关技术中存在的问题，本申请公开一种帧内预测模式的决策方法和决策装置。

第一方面，本发明实施例提供了一种帧内预测模式的决策方法，包括：

获取当前编码块；

对每种帧内预测模式，计算所述当前编码块中右下角部分像素点的绝对残差和，得到多个绝对残差和，其中，所述绝对残差和与所述帧内预测模式一一对应；

将多个所述绝对残差和中的最小值所对应的帧内预测模式，确定为当前预测模式。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，计算所述当前编码块中右下角部分像素点的绝对残差和，包括：

从所述当前编码块的右下角像素点开始，将按照逆序zigzag扫描顺序扫描到的目标数值个像素点确定为所述右下角部分像素点；

计算所述右下角部分像素点的绝对残差和，其中，

所述目标数值为一个不小于于1且不大于于n的整数，n为所述当前编码块的像素总点数。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述目标数值为预先配置的一个数值。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，计算所述右下角部分像素点的绝对残差和，包括：

获取所述右下角部分像素点的原始值，得到多个原始值；

预测所述右下角部分像素点的预测值，得到多个预测值；

对于所述右下角部分像素点中每个像素点，计算所述预测值和所述原始值之间差的绝对值，得到多个绝对值；

将多个所述绝对值之和确定为所述绝对残差和。

第二方面，本发明实施例提供了一种帧内预测模式的决策装置，包括：

获取模块，用于获取当前编码块；

计算模块，用于对每种帧内预测模式，计算所述当前编码块中右下角部分像素点的绝对残差和，得到多个绝对残差和，其中，所述绝对残差和与所述帧内预测模式一一对应；

确定模块，用于将多个所述绝对残差和中的最小值所对应的帧内预测模式，确定为当前预测模式。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述计算模块包括：

扫描单元，用于从所述当前编码块的右下角像素点开始，将按照逆序zigzag扫描顺序扫描到的目标数值个像素点确定为所述右下角部分像素点；

计算单元，用于计算所述右下角部分像素点的绝对残差和，其中，

所述目标数值为一个不小于于1且不大于于n的整数，n为所述当前编码块的像素总点数。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述目标数值为预先配置的一个数值。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述计算单元用于：

获取所述右下角部分像素点的原始值，得到多个原始值；

预测所述右下角部分像素点的预测值，得到多个预测值；

对于所述右下角部分像素点中每个像素点，计算所述预测值和所述原始值之间差的绝对值，得到多个绝对值；

将多个所述绝对值之和确定为所述绝对残差和。

第三方面，本发明实施例提供了一种帧内预测模式的决策装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行第一方面所述的决策方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现第一方面所述的决策方法。

本申请的实施例提供的技术方案可以包括以下有益效果：

该决策方法包括：获取当前编码块；对每种帧内预测模式，计算当前编码块中右下角部分像素点的绝对残差和，得到多个绝对残差和，其中，绝对残差和与帧内预测模式一一对应；将多个绝对残差和中的最小值所对应的帧内预测模式，确定为当前预测模式。

该决策方法中，计算当前编码块中右下角部分像素点的绝对残差和；然后将多个绝对残差和中的最小值所对应的帧内预测模式，确定为当前预测模式，即，通过右下角部分像素点的绝对残差和对帧内预测模式进行决策。由于在整个当前编码块预测中，右下角的像素点预测最为不准确，采用右下角部分像素点的绝对残差和对帧内预测模式进行决策，不仅减少了计算中所涉及像素点的数目，而且绝对残差和的得出步骤较少，从而缓解了帧内预测模式的传统决策方法速度较慢的技术问题。

附图说明

图1所示为hevc中的35种帧内预测模式；

图2所示为一当前编码块示例；

图3所示为图2所示当前编码块经预测后所得到的图像；

图4所示为本发明实施例一提供的一种帧内预测模式的决策方法流程图；

图5所示为一种逆序zigzag扫描顺序的示意图；

图6所示为另一种逆序zigzag扫描顺序的示意图；

图7所示为本发明实施例二提供的一种帧内预测模式的决策装置结构框图；

图8所示为本发明实施例三提供的一种帧内预测模式的决策装置结构框图；

图9所示为本发明实施例三提供的另一种帧内预测模式的决策装置结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

为便于对本实施例进行理解，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

目前，从多种预测模式中选取当前预测模式，需要对每种预测模式都做一次率失真代价计算，尤其是对于hevc来说，帧内预测模式达到35种，如图1所示，包括33个预测方向相对应的预测模式和一个dc模式、一个planar模式，那么需要进行35次率失真代价计算。

例如，对图2中各个黑色块所表示的待预测块(16个待预测块组成了当前编码块)进行预测，得到图3中所示的图像。若在该过程中，采用帧内预测模式的传统决策方法，针对每种预测模式(对于avc为9种预测模式，对于hevc为35种预测模式)，都要实施如下一整套过程：

s1、设当前编码块为fec，通过当前预测模式得到的预测块为pre；

s2、计算当前编码块在当前预测模式的残差块res＝fec–pre；

s3、对当前编码块作变换，使残差块时域信号变换成频域信号，得到变换后残差块；

s4、对变换后残差块通过量化步长来修改当前编码值，得到量化后的块：

fq＝round(y/qp)

其中，y为变换后残差块的当前编码值，qp为量化步长，fq为y的量化值，round()函数为取整函数；

s5、对量化后的块进行熵编码得到当前编码块占用的比特数目r；

s6、对量化后的块的样本点编码，作反量化，得到反量化后的解码值：

y’＝fq*qp，

及解码块；

s7、将反量化后的解码块做反变换，使得残差块频域信号变换为时域信号，得到解码残差块r’；

s8、计算当前的重构解码块rec,其中：rec＝r’+pre；

s9、计算当前编码块的失真d＝fec–rec；

s10、计算当前预测模式的率失真代价j＝d+λr，其中λ为lagrange系数。

在对每种帧内预测模式，都实施了如上所述的步骤s1-s10后，最终通过最小率失真代价的原则选取当前预测模式。

可见：对每一种帧内预测模式做一次预测、变换、量化、熵编码、反量化、反变换、求失真。在这种帧内预测模式的决策方法中，编码器的计算复杂度成几何倍数增长，存在决策速度较慢的技术问题。在移动端中运行该种决策方法来进行编解码，很难满足实时编解码的要求。基于此，本发明实施例提供了一种帧内预测模式的决策方法和决策装置，以缓解帧内预测模式的传统决策方法速度较慢的技术问题。

实施例一

本发明实施例提供了一种帧内预测模式的决策方法，如图4所示，包括：

步骤s102，获取当前编码块；

步骤s104，对每种帧内预测模式，计算当前编码块中右下角部分像素点的绝对残差和，得到多个绝对残差和，其中，绝对残差和与帧内预测模式一一对应；

步骤s106，将多个绝对残差和中的最小值所对应的帧内预测模式，确定为当前预测模式。

本发明实施例中，计算当前编码块中右下角部分像素点的绝对残差和；然后将多个绝对残差和中的最小值所对应的帧内预测模式，确定为当前预测模式，即，通过右下角部分像素点的绝对残差和对帧内预测模式进行决策。由于在整个当前编码块预测中，右下角的像素点预测最为不准确，采用右下角部分像素点的绝对残差和对帧内预测模式进行决策，不仅减少了计算中所涉及像素点的数目，而且绝对残差和的得出步骤较少，从而缓解了帧内预测模式的传统决策方法速度较慢的技术问题。

本发明的一个可选实施方式中，在步骤s104，计算当前编码块中右下角部分像素点的绝对残差和，包括：

从当前编码块的右下角像素点开始，将按照逆序zigzag扫描顺序扫描到的目标数值个像素点确定为右下角部分像素点；

计算右下角部分像素点的绝对残差和，其中，

目标数值为一个不小于于1且不大于于n的整数，n为当前编码块的像素总点数。

需要说明的是，zigzag扫描顺序，属于一种曲线扫描方法。在对方块矩阵进行zigzag扫描时，按照第一方向、倾斜方向、第二方向、反倾斜方向这样循环进行，但在边沿处需要中断循环以不超出方块矩阵，其中，第一方向和第二方向为相互垂直的两个方向，倾斜方向和反倾斜方向为相互相反的两个方向。逆序zigzag扫描顺序中，第一方向、第二方向为向左、向上。具体地，参照图5和图6中箭头所示路径对两种逆序zigzag扫描顺序进行理解，图5和图6中都各自包括16个像素点。

下面以图5为例进行进一步说明，每个像素点以像素点上的数字作为标志：

首先，n取值为16；

其次，如果目标数值为1，则右下角部分像素点选取图5中的{1}；如果目标数值为7，则右下角部分像素点选取图5中的{1，2，3，4，5，6，7}。

本发明实施例中，提供了一种确定右下角部分像素点的方法，保证按照逆序zigzag扫描顺序扫描到的目标数值个像素点为右下角部分像素点，且有序性较强。

本发明的另一个可选实施方式中，目标数值为预先配置的一个数值。

需要说明的是，目标数值越小，本发明实施例提供的帧内预测模式的决策方法运行时间越短。预先配置目标数值，可以是通过编码器预先指定，也可以是根据当前编码内容自适应配置，还可以根据编码结束条件进行配置。

本发明实施例中，目标数值为预先配置的一个数值，有利于通过目标数值的调整来满足编码过程中的不同需求。

本发明的另一个可选实施方式中，计算右下角部分像素点的绝对残差和，包括：

获取右下角部分像素点的原始值，得到多个原始值；

预测右下角部分像素点的预测值，得到多个预测值；

对于右下角部分像素点中每个像素点，计算预测值和原始值之间差的绝对值，得到多个绝对值；

将多个绝对值之和确定为绝对残差和。

具体地，假设目标数值为n，右下角部分像素点的原始值记为：f＝{f1,f2,...,fn}，右下角部分像素点的预测值记为：p＝{p1,p2,...,pn},则第i种预测模式的绝对残差和为：

本发明实施例提供了一种右下角部分像素点的绝对残差和的计算方法，绝对残差和的计算只需要对右下角部分像素点做一次预测即可，无需传统决策方法中的变换、量化、熵编码、反量化、反变换等步骤，减缩了计算过程，从而缓解了帧内预测模式的传统决策方法速度较慢的技术问题。

上述提供了的帧内预测模式的决策方法，使得移动端的编码达到了实时的效果。相比于帧内预测模式的传统决策方法，本发明实施例提供的帧内预测模式的决策方法，使得帧内预测模式的决策速度提升50％以上。

实施例二

本发明实施例提供一种帧内预测模式的决策装置，如图7所示，包括：

获取模块100，用于获取当前编码块；

计算模块200，用于对每种帧内预测模式，计算当前编码块中右下角部分像素点的绝对残差和，得到多个绝对残差和，其中，绝对残差和与帧内预测模式一一对应；

确定模块300，用于将多个绝对残差和中的最小值所对应的帧内预测模式，确定为当前预测模式。

本发明实施例提供的帧内预测模式的决策装置，计算当前编码块中右下角部分像素点的绝对残差和；然后将多个绝对残差和中的最小值所对应的帧内预测模式，确定为当前预测模式，即，通过右下角部分像素点的绝对残差和对帧内预测模式进行决策。由于在整个当前编码块预测中，右下角的像素点预测最为不准确，采用右下角部分像素点的绝对残差和对帧内预测模式进行决策，不仅减少了计算中所涉及像素点的数目，而且绝对残差和的得出步骤较少，从而缓解了帧内预测模式的传统决策方法速度较慢的技术问题。

本发明实施例的一个可选实施方式中，计算模块包括：

扫描单元，用于从当前编码块的右下角像素点开始，将按照逆序zigzag扫描顺序扫描到的目标数值个像素点确定为右下角部分像素点；

计算单元，用于计算右下角部分像素点的绝对残差和，其中，

目标数值为一个不小于于1且不大于于n的整数，n为当前编码块的像素总点数。

本发明实施例的另一个可选实施方式中，目标数值为预先配置的一个数值。

本发明实施例的另一个可选实施方式中，计算单元用于：

获取右下角部分像素点的原始值，得到多个原始值；

预测右下角部分像素点的预测值，得到多个预测值；

对于右下角部分像素点中每个像素点，计算预测值和原始值之间差的绝对值，得到多个绝对值；

将多个绝对值之和确定为绝对残差和。

实施例三

本发明实施例提供了一种帧内预测模式的决策装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为执行实施例一的决策方法。

本发明实施例中，处理器被配置为执行实施例一的决策方法，即，获取当前编码块；对每种帧内预测模式，计算当前编码块中右下角部分像素点的绝对残差和，得到多个绝对残差和，其中，绝对残差和与帧内预测模式一一对应；将多个绝对残差和中的最小值所对应的帧内预测模式，确定为当前预测模式。在该决策方法中，计算当前编码块中右下角部分像素点的绝对残差和；然后将多个绝对残差和中的最小值所对应的帧内预测模式，确定为当前预测模式，即，通过右下角部分像素点的绝对残差和对帧内预测模式进行决策。由于在整个当前编码块预测中，右下角的像素点预测最为不准确，采用右下角部分像素点的绝对残差和对帧内预测模式进行决策，不仅减少了计算中所涉及像素点的数目，而且绝对残差和的得出步骤较少，从而缓解了帧内预测模式的传统决策方法速度较慢的技术问题。

图8所示为一种决策装置800的结构框图。参照图8，决策装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件805，多媒体组件808，音频组件810，输入/输出(i/o)接口812，传感器组件814，以及通信组件815。

处理组件802通常控制决策装置800的整体操作，诸如与显示，数据通信，和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在决策装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电源组件805为装置800的各种组件提供电力。电源组件805可以包括电源管理系统，一个或多个电源，及其他与为决策装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当决策装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件815发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如组件为决策装置800的显示器和小键盘，传感器组件814还可以检测决策装置800或决策装置800一个组件的位置改变，用户与决策装置800接触的存在或不存在，决策装置800方位或加速/减速和决策装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件815被配置为便于决策装置800和其他设备之间有线或无线方式的通信。决策装置800可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件815经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件815还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，决策装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

图9所示为另一种决策装置900的结构框图。例如，决策装置900可以被提供为一服务器。参照图9，决策装置900包括处理组件922，其进一步包括一个或多个处理器，以及由存储器932所代表的存储器资源，用于存储可由处理组件922的执行的指令，例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件922被配置为执行指令，以执行上述信息列表显示方法。

决策装置900还可以包括一个电源组件925被配置为执行决策装置900的电源管理，一个有线或无线网络接口950被配置为将决策装置900连接到网络，和一个输入输出(i/o)接口958。决策装置900可以操作基于存储在存储器932的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似。

实施例四

本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被执行时实现实施例一的决策方法。

具体地，计算机可读存储介质，例如包括指令的存储器804，上述指令可由决策装置800的处理器820执行以完成上述方法。例如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本发明实施例中，计算机指令被执行时实现实施例一的决策方法，即，获取当前编码块；对每种帧内预测模式，计算当前编码块中右下角部分像素点的绝对残差和，得到多个绝对残差和，其中，绝对残差和与帧内预测模式一一对应；将多个绝对残差和中的最小值所对应的帧内预测模式，确定为当前预测模式。在该决策方法中，计算当前编码块中右下角部分像素点的绝对残差和；然后将多个绝对残差和中的最小值所对应的帧内预测模式，确定为当前预测模式，即，通过右下角部分像素点的绝对残差和对帧内预测模式进行决策。由于在整个当前编码块预测中，右下角的像素点预测最为不准确，采用右下角部分像素点的绝对残差和对帧内预测模式进行决策，不仅减少了计算中所涉及像素点的数目，而且绝对残差和的得出步骤较少，从而缓解了帧内预测模式的传统决策方法速度较慢的技术问题。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。