视频图像编码模式的预测方法及相关设备与流程

文档序号:16130543发布日期:2018-12-01 00:16阅读:147来源:国知局

本申请涉及图像处理技术领域,更具体地,是视频图像编码模式的预测方法及相关设备。

背景技术

视频压缩是一种视频图像处理技术,其通过去除视频图像序列中的冗余信息实现压缩,进而实现减少视频图像在存储、传输等过程中耗费的资源。

视频编码的主要过程包括以下内容:一帧视频图像送入编码器,首先根据预设最大编码单元尺寸,将视频图像分割成多个编码单元块,然后每个编码单元块再逐层做编码单元的深度划分,直至划分至最小编码单元尺寸。对每个编码单元进行帧内及帧间预测,得到预测值。预测值与输入的帧视频图像相减,得到数据残差。对数据残差进行离散余弦变换(discretecosinetransform,dct)以及量化,得到残差系数。残差系数被送入至熵编码模块输出码流。同时,残差系数经反量化反变换后,得到重构图像的残差值。残差值与帧内或帧间的预测值相加,以得到重构图像。重构图像经环内滤波后,进入参考帧队列,作为下一帧视频图像编码过程的参考图像,以实现下一帧视频图像的编码。

以上对编码单元进行帧内及帧间预测的步骤,称为预测编码步骤。现有的预测编码步骤,编码效率较低,从而影响了视频压缩整个过程的效率。



技术实现要素:

有鉴于此,本申请提供了一种视频图像编码模式的预测方法,用于提高预测编码步骤的编码效率。

为实现所述目的,本申请提供的技术方案如下:

第一方面,本申请提供了一种视频图像编码模式的预测方法,包括:

获得对视频图像进行划分后得到的预测单元;其中视频图像被划分为编码单元,预测单元为由编码单元划分后得到的且用于作为编码模式预测的单位块;

针对一预测单元,判断所述预测单元的备选编码模式为合并模式还是跳过模式;

若所述备选编码模式为合并模式,则获得所述预测单元的关联预测单元的目标编码模式;

若所述关联预测单元的目标编码模式满足与合并模式关联的预设条件,则将合并模式确定为所述预测单元的目标编码模式。

第二方面,本申请提供了一种视频图像编码模式的预测装置,包括:

预测单元获得模块,用于获得对视频图像进行划分后得到的预测单元;其中视频图像被划分为编码单元,预测单元为由编码单元划分后得到的且用于作为编码模式预测的单位块;

备选编码模式确定模块,用于针对一预测单元,判断所述预测单元的备选编码模式为合并模式还是跳过模式;

关联单元模式确定模块,用于若所述备选编码模式为合并模式,则获得所述预测单元的关联预测单元的目标编码模式;

目标编码模式确定模块,用于若所述关联预测单元的目标编码模式满足与合并模式关联的预设条件,则将合并模式确定为所述预测单元的目标编码模式。

第三方面,本申请提供了一种视频图像编码模式的预测设备,包括:处理器和存储器,所述处理器通过运行存储在所述存储器内的软件程序、调用存储在所述存储器内的数据,至少执行如下步骤:

获得对视频图像进行划分后得到的预测单元;其中视频图像被划分为编码单元,预测单元为由编码单元划分后得到的且用于作为编码模式预测的单位块;

针对一预测单元,判断所述预测单元的备选编码模式为合并模式还是跳过模式;

若所述备选编码模式为合并模式,则获得所述预测单元的关联预测单元的目标编码模式;

若所述关联预测单元的目标编码模式满足与合并模式关联的预设条件,则将合并模式确定为所述预测单元的目标编码模式。

第四方面,本申请提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器加载并执行时,以实现上述的视频图像编码模式的预测方法。

由以上技术方案可知,本申请提供了一种视频图像编码模式的预测方法,该方法在获得预测单元后,首先确定该预测单元的备选编码模式是否为合并模式,若预测单元的备选编码模式为合并模式,则获得该预测单元具有关联关系的预测单元的目标编码模式,如果关联预测单元的目标编码模式符合预设条件,则将合并模式确定为该预测单元的目标编码模式。可见,本申请在经过初步判断,确定预测单元使用合并模式后,将关联预测单元的目标编码模式作为参考信息,若参考信息满足预设条件,则可以直接将合并模式作为最终编码模式,从而跳过对运动估计模式的预测,避免运动估计模式预测过程的计算量,提高预测编码步骤的效率,进而提高视频图像处理过程的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本申请提供的视频图像编码模式的预测方法的一个流程图;

图2为本申请提供的编码单元的一种划分方式示例图;

图3为本申请提供的预测单元的八种划分方式示例图;

图4为本申请提供的视频图像编码模式的预测方法的另一流程图;

图5为本申请提供的视频图像编码模式的预测装置的一个结构示意图;

图6为本申请提供的视频图像编码模式的预测设备的一个架构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

视频的发展趋势是高清晰度、高帧率及高压缩率,视频压缩技术包括但不局限于h.264、hevc(highefficiencyvideocoding,高效视频编码)等。目前的视频压缩技术的编码协议较为复杂,编码流程计算量较大,对执行视频图像处理的设备的运算能力要求较高。

目前的编码协议中,包含预测编码步骤,该步骤针对预测单元需要在多种编码模式中依次进行尝试,以找到效果最佳的编码模式,从而导致编码效率较低。本申请主要解决的是预测编码步骤中计算量较大导致的编码效率较低的问题。

见图1,其示出了本申请提供的视频图像编码模式的预测方法的一种流程。如图1所示,该方法具体包括步骤s101~s104。

s101:获得对视频图像进行划分后得到的预测单元;其中视频图像被划分为编码单元,预测单元由编码单元划分后得到且作为编码模式预测的单位块。

前已述及,视频图像处理流程首先将视频图像划分为编码单元,然后再进行预测编码。为了便于理解预测编码步骤,首先对划分编码单元步骤进行说明。

获得一帧视频图像后,对该视频图像划分编码单元可以是逐层完成的。具体地,首先根据预设的最大单元块尺寸,将一帧视频图像分割成若干个编码树块(codingtreeblocks,ctb),然后再对编码树块逐层做深度划分,直到某层的编码树块满足预设的最小单元块尺寸。

例如,一帧图像可以首先被划分为多个64×64的编码树块,然后以某个64×64的编码树块为例,可以进一步被划分为32×32的编码块,再进一步将某个或某些32×32的编码块划分为16×16的编码块,更进一步地,将某个或某些16×16的编码块划分为8×8的编码块。

经过划分后,一帧图像被划分为各种尺寸大小的编码块,如64×64、32×32、16×16、8×8。或称为编码单元(codeunit,简称cu)。每个编码单元cu可以完成独立的编码预测、变换及量化、熵编码等操作。

需要说明的是,编码单元之间是有层次结构的,较大尺寸的编码单元可以划分出较小尺寸的编码单元,从而形成上下层的编码单元结构。

上层编码单元首先按照划分规则,划分出下层编码单元,但这种划分是预划分或者称为模拟划分,最终是否进行下层划分要基于下文的预测编码步骤的结果来决定。也就是说,一个上层编码单元可能具有下层编码单元,也可能不具有下层编码单元。见图2,其示出了一个划分编码单元示例。如图2所示,一个64×64的编码单元cu,被划分为4个32×32的编码单元cu,其中右上角及左下角的32×32的编码单元进行下层划分,即划分为4个16×16的编码单元,但左上角及右下角的32×32的编码单元并未进行下层划分;进一步地,左下角4个16×16的编码单元中,左上角及右下角的编码单元被划分为8×8的编码单元,但右上角及左下角的编码单元并未被划分为8×8的编码单元。

前已述及,如何确定某个编码单元是否进行下层划分,是由预测编码步骤的结果决定的,以下对预测编码步骤进行详细说明。

视频包括时间上连续的多帧图像,视频编码需要依次对每帧图像分别执行编码过程。编码过程包括预测编码步骤,预测编码是基于视频帧图像时间或者空间上的相关性,使用已经编码像素的相关信息对未编码像素进行预测,得到预测值,将未编码像素的实际值与预测值作差后,对差值进行编码,从而去除冗余。

预测编码步骤中,需要使用预测单元(predictunit,简称pu)。预测单元pu是进行预测运算的基本单元,为了实现预测编码,编码单元cu需要按照预设划分方式,划分得到预测单元pu。需要说明的是,编码单元cu到预测单元pu的划分最多只有一层,尺寸最小的pu为4×4。

划分可以是对称的,也可以是不对称的。对于帧间预测,一个2n×2n(n可以是4、8、16、32等)的编码单元cu可以按照7种方式来划分预测单元pu,从而得到7种不同类型的预测单元pu。

如图3所示,7种划分方式分别为:2n×2n、2n×n、n×2n、2n×nu、2n×nd、nl×2n及nr×2n。其中,nu表示划分线在编码单元cu的横式中线的上方,nd表示划分线在编码单元cu的横式中线的下方,nl表示划分线在编码单元cu的竖式中线的左方,nr表示划分线在编码单元cu的竖式中线的右方。

不同的划分方法可以得到不同类型的预测单元pu,如上述得到的7种预测单元pu。

需要说明的是,与编码单元cu的划分同理,预测单元pu的划分方式也是模拟划分,需要从该几种划分方式中确定一种最终的划分方式,以下具体说明如何确定一个预测单元pu的划分方式以及该预测单元pu所使用的编码模式。

将编码单元cu预划分为7种形式的预测单元pu,每种形式的预测单元也需要进行预测,即预测该种形式的预测单元pu使用何种方式的编码模式。编码模式可以包括但不局限于合并(merge)模式、跳过(skip)模式、运动估计(motionestimation,me)模式。需要说明的是,这些编码模式为现有的编码模式,不同的编码模式下,对预测单元pu编码效果不同。编码效果的一种体现形式为率失真代价(ratedistortioncost,rdcost),率失真代价越低,说明编码效果越好,反之效果越差。

需要说明的是,不同划分形式得到预测单元所可能使用的编码模式是不同的,需要在每种预测单元所可能使用的编码模式中,预测该种预测单元所使用的编码模式。具体地,对于2n×2n的预测单元,其可能使用的编码模式包括合并模式、跳过模式、运动估计模式,因此需要在这三种模式中选择一种作为最终的编码模式;对于2n×n、n×2n、2n×nu、2n×nd、nl×2n及nr×2n这六种预测单元,其可能使用的编码模式包括合并模式及运动估计模式两种,因此只需要在这两种编码模式中进行选择。

在合并模式计算过程中,需要计算该预测单元周围5个预测单元块的运动向量,并在该5个运动向量中选择一个率失真代价最小的运动向量。需要说明的是,2n×n、n×2n、2n×nu、2n×nd、nl×2n及nr×2n这六种预测单元使用的率失真代价计算方式,与2n×2n的不同。

具体地,2n×2n的预测单元的率失真代价计算方式为:rdcost=ssd+λ×bit。其中,rdcost表示的是率失真代价;ssd(sumofsquareddifference,差值平方和)表示原始像素与重构像素误差的平方和,为了得到该值需要对残差信号做dct变化、量化、逆量化、逆变换的步骤,计算复杂度较大;λ表示的是拉格朗日常数;bit表示的是编码模式需要消耗的码子个数。需要说明的是,对于该种形式的预测单元,其选择使用合并模式作为最终预测模式的概率较大。

其余六种的预测单元的率失真代价计算方式为:rdcost=satd+λ×bit。其中satd(sumofabsolutetransformeddifference)表示的是,哈达玛(hadamard)变换后再绝对值求和,该方法是计算失真的一种方式,具体是在得到预测单元的残差信号后进行哈达玛变换,再求变换后得到的各元素的绝对值之和;其余的公式参数参见上述。

需要说明的是,相较于satd,ssd的计算复杂度较大,因此2n×2n的合并模式预测过程更慢。

为了便于理解,对跳过模式进行简要说明。跳过模式是合并模式的一种特殊情况,具体是在合并模式的基础上,假设当前残差为0的特殊情况。如果跳过模式的率失真代价更小,则会选择使用跳过模式作为预测单元的编码模式。需要说明的是,跳过模式只适用于划分方式为2n×2n的预测单元。

按照某种划分方式,划分得到预测单元pu后,需要根据编码效果的优劣,确定预测单元pu所使用的编码模式。然后再将不同划分方式得到的预测单元pu的编码效果进行对比,得到预测单元pu最终使用哪种划分方式。

例如,编码单元cu按照2n×n的方式划分后,确定该种划分方式下使用合并模式时编码效果最优,然后再将这种情况下的编码效果与其他划分方式如n×2n的编码模式的编码效果进行比对,以确定最终使用2n×n的划分方式还是其他划分方式。

通过具体应用场景进行说明。假设视频图像记录的是人在讲台上走动,假设在某一帧视频图像中,人的身体背景为黑板,但在另一帧视频图像中,人的一半身体背景是黑板,另一半身体背景是白墙。因此可以理解的是,在前一帧视频图像中,人所在的视频块整体切的编码效果是最好的,但在后一帧视频图像中,人所在的视频块按照左右划分的方式所得到的预测单元,编码效果优于其他的划分方式。此种划分方式的说明,仅仅是一种具体场景,在其他应用场景中,通过比较可以确定出某种划分方式得到的预测单元,编码效果会优于其他划分方式。这也说明了为什么需要进行编码模式的预测,即是为了找一种编码效果最佳的预测单元划分方式。

可见,预测编码过程需要多次执行相同的步骤,其中包括针对一个预测单元,确定该预测单元在不同编码模式下的编码效果,然后将这些编码效果进行比对,以确定该预测单元的最优编码模式。由于需要计算多种不同编码模式的编码效果,计算量较大,从而导致预测编码步骤效率较低,进而导致整个视频图像处理过程效率较低。

为了提高预测编码的效率,本申请通过参考预测单元周围的信息,来使预测单元跳过某些编码模式的预测,直接确定出该预测单元所使用的编码模式。具体的实现方式见下述步骤。

s102:针对一预测单元,确定预测单元的备选编码模式为合并模式还是跳过模式。

其中,本申请所针对的预测单元可以是某种类型的预测单元,如划分方式为非2n×2n的划分方式得到的预测单元,换句话说,是划分方式为n×n、2n×n、n×2n、2n×nu、2n×nd、nl×2n及nr×2n得到的预测单元。因此,本步骤中的一预测单元可以是,预设类型的划分方式得到的一预测单元。为了便于描述,可以将该预测单元称为目标预测单元。

需要说明的是,编码模式的预测可以是有先后顺序的,例如执行顺序依次为,合并模式、跳过模式及运动估计模式,即可以首先计算出合并模式下的编码效果、再计算跳过模式下的编码效果,将两个编码效果进行比对后,确定使用合并模式还是跳过模式。为了便于描述,可以将此种情况下确定出的编码模式称为备选编码模式。可见,备选编码模式指的是多种编码模式确定过程中的非最终编码模式。

所获得的备选编码模式可能是合并模式,也可能是跳过模式,具体是何种模式,是由编码效果决定的。具体来讲,编码效果表示的是编码模式下图像的失真情况,编码效果的一种表现形式为率失真代价,根据率失真代价选择备选编码模式的方式包括:

在合并模式下,为预测单元选择预设数量的相邻单元块,获得所选择的相邻单元块的运动矢量,构造候选运动矢量表,在候选运动矢量表中找到率失真代价最小的运动矢量。在跳过模式下,为预测单元选择预设数量的相邻单元块,获得所选择的相邻单元块的运动矢量,构造候选运动矢量表,在候选运动矢量表中找到率失真代价最小的运动矢量。将合并模式及跳过模式下的率失真代价进行比较,找到率失真代价较小的编码模式。需要说明的是,跳过模式与合并模式构造候选运动矢量表的方式是一样的,但率失真代价的计算方式不同。具体地,根据上述关于率失真代价计算流程的说明可知,率失真代价在计算之前,需要得到预测单元的残差信号,然后再对该残差信号进行运算处理后得到率失真代价。跳过模式与合并模式的不同之处是,跳过模式在计算率失真代价时,是将预测残差设置为0,而合并模式并非如此。

不论使用何种形式的评价函数,在计算得到率失真代价后,可以根据率失真代价得到预测单元的备选编码模式。由于计算的是合并模式、跳过模式下的率失真代价,因此得到的备选编码模式可能是合并模式,也可能是跳过模式。

s103:若备选编码模式为合并模式,则获得预测单元的关联预测单元的目标编码模式。

其中,如果备选编码模式为合并模式,本申请可以通过与预测单元具有关联关系的预测单元的相关信息,来跳过运动估计模式的预测过程,从而确定该预测单元所使用的最终编码模式。

为了便于描述,与预测单元具有关联关系的预测单元,可以称为关联预测单元。关联关系可以指的是位置上的关联关系,或者时间上的关联关系。位置上的关联关系可以具体表现为以下关系中的任意一种或多种:上层关系、下层关系、同层位置相邻关系。上层关系指的是预测单元的上一层,换句话说,是预测单元的父块;下层关系指的是预测单元的下一层,换句话说,是预测单元的子块;同层位置相邻关系指的是与预测单元同一层且位置相邻的关系,换句话说,是预测单元的相邻块。

需要说明的是,预测单元是对编码单元进行划分后得到的,因此可以认为编码单元与其所划分出的预测单元是有关联关系的。编码单元到预测单元的划分只有一层,预测单元的上层指的是,上层编码单元划分得到的预测单元,且为2n×2n形式的预测单元;预测单元的下层指的是,下层编码单元划分得到的预测单元,且为2n×2n形式的预测单元。

本步骤得到关联预测单元所使用的目标编码模式,目标编码模式指的是关联预测单元在多种编码模式中经过编码效果对比后得到的最终编码模式。

s104:若关联预测单元的目标编码模式满足与合并模式关联的预设条件,则将合并模式确定为预测单元的目标编码模式。

其中,获得关联预测单元的目标编码模式后,判断关联预测单元的目标编码模式是否满足预设条件,如果满足,则可以直接将合并模式确定为预测单元的目标编码单元。这样,便可以省去将合并模式的编码效果与运动估计模式的编码效果进行对比的过程。

需要说明的是,预设条件是与合并模式相关的条件,用于限定预测单元使用合并模式作为目标编码模式的条件。

在得到预测单元的目标编码模式后,由于预测单元为某种划分方式下得到的,该预测单元的目标编码模式可以与其他划分方式下得到的预测单元,进行编码效果的对比,以确定编码单元最终使用哪种划分形式的预测单元。

由以上技术方案可知,本申请提供了一种视频图像编码模式的预测方法,该方法在获得预测单元后,首先确定该预测单元的备选编码模式是否为合并模式,若预测单元的备选编码模式为合并模式,则获得该预测单元具有关联关系的关联预测单元的目标编码模式,如果关联预测单元的目标编码模式符合与合并模式关联的条件,则将合并模式确定为该预测单元的目标编码模式。可见,本申请在经过初步判断,确定预测单元使用合并模式后,将关联预测单元的目标编码模式作为参考信息,若参考信息满足预设条件,则可以直接将合并模式作为最终编码模式,从而跳过对运动估计模式的预测,避免运动估计模式预测过程的计算量,提高预测编码步骤的效率,进而提高视频图像处理过程的效率。

以下具体说明关联预测单元的目标编码模式在什么样的条件下,才能将合并模式确定为预测单元的目标编码模式,具体包括以下步骤a1~a5。

a1:针对得到的预测单元,判断该预测单元是否存在父块且父块的目标编码模式为合并模式,若两者均为是,则添加父块为合并模式的标记。

其中,添加父块为合并模式的标记,目的是记录父块为合并模式。当然,记录父块为合并模式的方式还可以是其他,并不局限于此。

a2:针对得到的预测单元,判断该预测单元是否存在子块且子块的目标编码模式为合并模式,若两者均为是,则记录目标编码模式为合并模式的子块的个数。

a3:针对得到的预测单元,判断该预测单元是否相邻块且相邻块的目标编码模式为合并模式,若两者均为是,则记录目标编码模式为合并模式的相邻块的个数。

其中,相邻块可以包括但不局限于左边块、上边块、左上角块中的任意一个或多个。

a4:若记录的相邻块的个数大于1且具有父块为合并模式的标记,则确定关联预测单元的目标编码模式满足预设条件,进而可以将合并模式确定为预测单元的目标编码模式。

a5:若记录的相邻块的个数大于1且记录的子块个数大于2,则确定关联预测单元的目标编码模式满足预设条件,进而可以将合并模式确定为预测单元的目标编码模式。

当然,用来限制子块个数的数量阈值并不局限于2,还可以是其他数值。

需要说明的是,通过步骤a1-a3可以看出,记录的关联预测单元的相关信息包括关联预测单元的类型及每种类型的关联预测单元的个数。当然,相关信息还可以是其他,并不局限于此,例如关联预测单元的位置信息等。相关信息用于表示关联预测单元与预测单元的关联程度,关联程度包括高或低。如果相邻块则表示关联程度高,其他块表示关联程度低。其他块中父块的关联程度高于子块。

通过步骤a4-a5可以看出,在判断关联预测单元的目标编码模式是否满足预设条件时,可以具体判断所选择出的关联预测单元的类型是否满足与合并模式关联的预设条件中的类型要求,以及个数是否满足预设条件中的个数要求。

另外,通过步骤a1-a5可以看出,本申请所选择的关联预测单元,是指位置上与目标预测单元相近的预测单元,通过判断与目标预测单元位置上相近的预测单元是否均采用合并模式,来决定该目标预测单元是否也采用合并模式。可见,目标预测单元周围的预测单元的目标编码模式作为参考信息,用来确定目标预测单元的目标编码模式。

为了便于说明本申请提供的编码模式预测方法与现有的编码模式预测方法之间的区别,本申请通过图示进行说明。

见图4,其示出了本申请提供的视频图像的编码模式预测方法的一个示例。如图4所示,该方法包括步骤s401~s406。

s401:获得对视频图像进行划分后得到的预测单元;其中视频图像被划分为编码单元,预测单元由编码单元划分后得到且作为编码模式预测的单位块。

s402:针对一预测单元,确定预测单元的备选编码模式为合并模式还是跳过模式。

s403:若备选编码模式为合并模式,则获得预测单元的关联预测单元的目标编码模式。

s404:判断关联预测单元的目标编码模式是否满足与合并模式关联的预设条件。若是,则执行步骤s405;若否,则执行步骤s406。

s405:将合并模式确定为预测单元的目标编码模式。

需要说明的是,以上步骤s401~s405的说明可以参见图1的说明,此处并不赘述。

s406:计算预测单元在运动估计模式下的编码效果,并将该编码效果与合并模式的编码效果进行对比,以确定目标编码模式为合并模式还是运动估计模式。

其中,对运动估计这种编码模式进行说明。

视频图像中包含某个对象,可以将该对象称为目标对象。目标对象从一个位置运动到另一个位置,因此在不同的视频图像中,目标对象的位置是不同的。在对当前帧的视频图像进行编码时,可以参考前后帧视频图像中目标对象的位置。在参考帧中找到目标对象所在的位置,并确定参考帧中的目标对象相对于当前帧中目标对象的运动方向信息,将位置与方向等信息作为运动向量,运动向量用于对当前帧的视频图像的编码。这个过程可以称为运动估计,运动估计可以得到运动向量,运动向量表示的是目标对象的运动路径信息。

运动估计的原理是,大多数视频图像序列中,相邻图像内容非常相似,背景画面变化极小,因此不需要对每帧图像的全部信息都进行编码,而只需要将当前图像中运动物体的运动信息传给解码器,利用前一图像内容以及当前图像的运动信息即可恢复当前图像。这种编码方式可以有效节省视频的存储、传输等资源。

运动估计时,需要使用已编码的视频图像作为参考图像(也称为参考帧),参考图像中的参考编码单元称为参考编码单元或参考块,参考编码单元到目标预测单元的位移称为运动矢量(motionvector,mv),根据参考编码单元的运动矢量,可以得到预测残差。具体地,确定参考编码单元的运动矢量所指向的参考帧,在该参考帧中获得运动矢量所指向位置的重构数据,并判断所述重构数据是否需要进行插值运算。如果运动矢量指向的像素为整像素,则重构数据不需要进行插值运算;如果运动矢量指向的像素为分像素,则重构数据需要进行插值运算。对于需要进行插值运算的重构数据,进行插值运算,从而得到预测值。最后将目标预测单元的像素值与预测值作差,以得到预测残差。运动估计是在多个参考图像中寻找一个预测残差最小的编码单元,计算量较大。

在视频图像编码过程中,进行运动估计模式的预测需要耗费较大的计算量,其中参考帧的数量越多,计算量越大。例如,对于目标预测单元来讲,在前后两个方向四个参考帧中遍历计算的运算量,占据整个运算量的40%左右,编码协议中通常最多设置有16个参考帧,从而导致运动估计模式预测耗费较大的计算量。

前已述及,对于编码单元可以按照多种划分方式得到预测单元,针对每种划分方式得到的预测单元,均需要做多参考视频图像下的运动估计模式预测,从而导致整个视频图像处理过程的繁琐。因此通过对比发现,如果在确定目标预测单元的目标编码模式为合并模式的情况下,则可以跳过运动估计模式的预测,从而简化视频图像处理过程,达到加速编码的目的。

以下对本申请提供的视频图像编码模式的预测相关设备进行介绍,相关说明可以参见以上视频图像编码模式的预测方法,以下并不赘述。

见图5,其示出了视频图像编码模式的预测方法的一个示例,具体包括:预测单元获得模块501、备选编码模式确定模块502、关联单元模式确定模块503、及目标编码模式确定模块504。

预测单元获得模块501,用于获得对视频图像进行划分后得到的预测单元;其中视频图像被划分为编码单元,预测单元由编码单元划分后得到且作为编码模式预测的单位块;

备选编码模式确定模块502,用于针对一预测单元,判断所述预测单元的备选编码模式为合并模式还是跳过模式;

关联单元模式确定模块503,用于若所述备选编码模式为合并模式,则获得所述预测单元的关联预测单元的目标编码模式;

目标编码模式确定模块504,用于若所述关联预测单元的目标编码模式满足与合并模式关联的预设条件,则将合并模式确定为所述预测单元的目标编码模式。

在一个示例中,所述备选编码模式确定模块包括:备选编码模式确定子模块。

备选编码模式确定子模块,用于针对一预测单元,获得所述预测单元分别在合并模式及跳过模式两种编码模式下的率失真代价;以及选择较小的率失真代价对应的编码模式作为所述预测单元的备选编码模式。

在一个示例中,所述关联单元模式确定模块包括:关联单元模式确定子模块。

关联单元模式确定子模块,用于若所述备选编码模式为合并模式,将与所述预测单元具有目标关联关系的预测单元,确定为所述预测单元的关联预测单元,其中所述目标关联关系为以下几种中的任意一种或多种:上层关系、下层关系、同层位置相邻关系;以及获得所述关联预测单元的目标编码模式。

在一个示例中,所述目标编码模式确定模块包括:关联单元选择子模块、相关信息确定子模块、相关信息判断子模块、及目标编码模式确定子模块。

关联单元选择子模块,用于选择目标编码模式为合并模式的关联预测单元;相关信息确定子模块,用于确定所选择出的关联预测单元的相关信息,所述相关信息用于表示所述关联预测单元与所述预测单元的关联程度;相关信息判断子模块,用于判断所述相关信息是否满足与合并模式关联的预设条件;若满足,则触发目标编码模式确定子模块;目标编码模式确定子模块,用于将合并模式确定为所述预测单元的目标编码模式。

在一个示例中,所述相关信息确定子模块包括:相关信息确定单元。

相关信息确定单元,用于确定所选择出的关联预测单元的类型、以及每种类型的关联预测单元的个数。

在一个示例中,所述相关信息判断子模块包括:相关信息判断单元。

相关信息判断单元,用于判断所选择出的关联预测单元的类型是否满足与合并模式关联的预设条件中的类型要求,以及所述个数是否满足所述预设条件中的个数要求。

见图6,其示出了本申请提供的视频图像编码模式的预测设备的结构。如图6所示,该设备可以包括:存储器601、处理器602及通信总线603。

其中,存储器601、处理器602通过通信总线603完成相互间的通信。

存储器601,用于存放程序;存储器601可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。

处理器602,用于执行程序,程序可以包括程序代码,所述程序代码包括处理器的操作指令。其中,程序可具体用于:

获得对视频图像进行划分后得到的预测单元;其中视频图像被划分为编码单元,预测单元由编码单元划分后得到且作为编码模式预测的单位块;

针对一预测单元,判断所述预测单元的备选编码模式为合并模式还是跳过模式;

若所述备选编码模式为合并模式,则获得所述预测单元的关联预测单元的目标编码模式;

若所述关联预测单元的目标编码模式满足与合并模式关联的预设条件,则将合并模式确定为所述预测单元的目标编码模式。

处理器602可能是一个中央处理器cpu,或者是特定集成电路asic(applicationspecificintegratedcircuit),或者是被配置成实施本申请实施例的一个或多个集成电路。需要说明的是,处理器602可以是上述虚拟化模块的一种硬件表现形式。

另外,本申请还提供了一种可读存储介质,其上存储有计算机程序,计算机程序被处理器加载并执行时,实现如上任意一种视频图像编码模式的预测方法。

需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。

还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括上述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1