一种基于插值处理的图像编码方法与流程

文档序号:17376829发布日期:2019-04-12 23:24阅读:131来源:国知局
一种基于插值处理的图像编码方法与流程

本申请涉及图像压缩技术领域,特别是涉及一种基于插值处理的图像编码方法。



背景技术:

传统的编码器对视频帧无区分地进行编码,可能出现某些场景视频质量差的问题,对于所有视频帧不加区分地进行编码时,所参考的视频帧的分辨率都是相同的,那么视频帧只能参考同一分辨率的参考帧,参考帧的使用效率不高,参考关系也不够灵活。



技术实现要素:

本发明实施例提供一种基于插值处理的图像编码方法,包括:

获取待编码视频帧对应的当前参考帧;

确定分像素插值方式;所述分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种;

采用所述分像素插值方式,根据所述待编码视频帧的分辨率信息,获取所述待编码视频帧对应的运动补偿精度;

采用所述分像素插值方式,根据所述待编码视频帧的分辨率信息以及所述运动补偿精度对所述当前参考帧进行处理,得到对应的目标参考帧:

当所述分像素插值方式为采样后分像素插值方式、且当所述待编码视频帧的所述分辨率信息所表示的分辨率小于所述当前参考帧的分辨率时,根据所述待编码视频帧的分辨率信息对所述当前参考帧进行下采样处理,得到中间参考帧;根据所述运动补偿精度对所述中间参考帧进行分像素插值处理,得到对应的目标参考帧;或,当所述分像素插值方式为直接分像素插值方式、且当所述待编码视频帧的所述分辨率信息所表示的分辨率小于所述当前参考帧的分辨率时,根据所述待编码视频帧的分辨率信息以及所述运动补偿精度计算得到像素插值精度;根据所述像素插值精度直接对所述当前参考帧进行分像素插值处理,得到对应的目标参考帧;

根据所述目标参考帧对所述待编码视频帧进行编码,得到所述待编码视频帧对应的编码数据。

本发明提供的基于插值处理的图像编码方法,在获取到待解码视频帧对应的编码数据以及待解码帧对应的当前参考帧后,可确定当前参考帧的分像素插值方式,采用该分像素插值方式,根据当前参考帧的分辨率信息,对当前参考帧进行处理,调整当前参考帧的分辨率,得到目标参考帧。

附图说明

图1为一个实施例中基于插值处理的图像编码方法的流程示意图。

具体实施方式

如图1所示,在一个实施例中,提供了一种基于插值处理的图像编码方法。该基于插值处理的图像编码方法具体包括如下步骤:

步骤1,获取待编码视频帧对应的当前参考帧。

其中,待编码视频帧可以是实时采集的视频帧,也可以是存储的视频对应的视频帧。待编码视频帧可以是输入视频帧序列中的输入视频帧;待编码视频帧还可以是将输入视频帧序列中的输入视频帧按照相应的处理方式进行处理之后得到的视频帧,其中,在对输入视频帧按照相应的处理方式进行处理之后,得到的待编码视频帧的分辨率比原始的输入视频帧的分辨率小,比如,可对输入视频帧按照相应的采样比例进行下采样处理,得到待编码视频帧。

具体地,可确定输入视频帧的处理方式,根据输入视频帧的处理方式对输入视频帧进行处理,得到待编码视频帧。处理方式包括下采样处理方式和全分辨率处理方式。下采样处理方式是指对输入视频帧进行下采样后得到待编码视频帧,再对得到的待编码视频帧进行编码。下采样处理方式中下采样方式可根据需要自定义,包括垂直下采样、水平下采样、垂直和水平下采样,可采用直接平均、滤波器、bicubicinterpolation双三次插值、bilinearinterpolation双线性插值等算法进行下采样。全分辨率处理方式是指直接将输入视频帧作为待编码视频帧,基于输入视频帧的原始分辨率直接对待编码视频帧进行编码。

在一个实施例中,还可将对输入视频帧序列进行编码时所采用的编码框架对应的编码框架信息添加至输入视频帧序列对应的编码数据中。编码框架信息在编码数据中的添加位置可以根据编码框架的作用范围确定。具体可以将编码框架信息添加至编码数据对应的序列级头信息中,用于告知解码端当前编码数据对应的输入视频帧序列中每个输入视频帧在被编码时所采用的编码框架,且输入视频帧序列中每个输入视频帧采用的编码框架都是相同的。比如,当编码数据的序列级头信息中用于确定所采用编码框架的标识符为0时,表示输入视频帧序列中各个输入视频帧在被编码时均采用恒定分辨率编码框架,在采用编码框架的标识符为1时,表示输入视频帧序列中各个输入视频帧在被编码时均采用自适应分辨率的编码框架,解码端就可按照与该编码框架相应的解码框架对编码数据进行解码得到重建视频帧序列。

在一个实施例中,输入视频帧对应的处理方式的方法可以根据实际需要设置。例如,可以是获取输入视频帧对应的处理参数,根据处理参数得到对应的处理方式。处理参数是用于确定处理方式的参数,具体采用的处理方式可以根据需要进行设置。例如处理参数例如可以包括根据输入视频帧对应的当前编码信息和/或图像特征。

在一个实施例中,可以根据输入视频帧对应的当前编码信息以及图像特征信息中的至少一种得到输入视频帧对应的处理方式。当前编码信息是指视频在编码时得到的视频压缩参数信息,如帧类型、运动向量、量化参数、视频来源、码率、帧率以及分辨率的一种或多种。图像特征信息是指与图像内容相关的信息,包括图像运动信息以及图像纹理信息的一种或多种,如边缘等。当前编码信息以及图像特征信息反映了视频帧对应的场景、细节复杂度或者运动剧烈程度等,如通过运动向量、量化参数或者码率中的一个或多个等可判断运动场景,量化参数大则一般运动剧烈,运动向量大则代表图像场景是大运动场景。

还可根据已编码i帧与p帧或已编码i帧与b帧的码率比值判断,如果比值超过第一预设阈值,则判断为静止图像,如果比值小于第二预设阈值,则可判断为运动剧烈图像。或直接根据图像内容跟踪目标对象,根据目标对象的运动速度确定是否为大运动场景。码率一定时能表达的信息量一定,对于运动剧烈的场景,时间域信息量大,相应的可用于表达空间域信息的码率就少,因此采用低分辨率能达到较好的图像质量效果,更倾向于选择下采样模式进行编码。通过帧预测类型可确定画面切换场景,也可根据帧预测类型对其它帧的影响确定倾向于的编码模式。由于i帧一般为首帧或存在画面切换,i帧的质量影响了后续p帧或b帧的质量,所以帧内预测帧相比于帧间预测帧更倾向于选择全分辨率编码,以保证图像质量。因为p帧可作为b帧的参考帧,p帧图像质量影响了后续b帧的图像质量,所以如果采用p帧编码则相比于采用b帧编码更倾向于选择全分辨率编码。

通过图像特征信息,如图像纹理信息确定待编码视频帧的纹理复杂度,如果纹理复杂,包含的细节多,则图像空域信息多,如果进行下采样,可能由于下采样损失较多细节信息,影响视频质量,所以纹理复杂的待编码视频帧相比于纹理简单的待编码视频帧更倾向于选择全分辨率编码。

在一个实施例中,可以根据在输入视频帧对应的当前量化参数以及量化参数阈值的大小关系得到输入视频帧对应的分辨率。如果当前量化参数大于量化参数阈值,则确定处理方式为下采样方式,否则确定处理方式为全分辨率方式。量化参数阈值可以根据在输入视频帧之前,已编码的前向编码视频帧的帧内编码块的比例得到,可以预先设置帧内预测块比例与量化参数阈值的对应关系,从而在确定了当前帧的帧内预测块比例后,可以根据对应关系确定与当前帧的帧内预测块比例对应的量化参数阈值。对于固定量化参数编码,当前量化参数可以是对应的固定量化参数值。对于固定码率编码,则可以根据码率控制模型计算得到输入视频帧对应的当前量化参数。或者,可以将参考帧对应的量化参数作为输入视频帧对应的当前量化参数。本发明实施例中,当前量化参数越大一般运动越剧烈,对于运动剧烈的场景更倾向于选择下采样模式进行编码。

在一个实施例中,还可计算目标预测类型编码块在输入视频帧对应的前向编码视频帧中的比例;根据比例确定输入视频帧对应的处理方式。

具体地,预测类型编码块是帧预测类型对应的编码块。目标预测类型的比例可以是帧内编码块对应的比例以及帧间编码块对应的比例中的一种或两种。目标预测类型编码块在输入视频帧对应的前向编码视频帧中的比例可以是该目标预测类型编码块与其他预测类型编码块的比例,也可以是该类型编码块与总编码块数量的比例。具体可以根据需要进行设置。例如可以获取前向编码视频帧中帧内编码块的第一数量,前向编码视频帧中帧间编码块的第二数量。根据第一数量和第二数量计算得到帧内编码块与帧间编码块的比例,或者统计前向编码视频帧的全部编码块的第三数量,根据第一数量和第三数量计算得到帧内编码块与第三数据量的比例。还可根据第二数量和第三数量计算得到帧间编码块与第三数据量的比例。

前向编码视频帧是指对输入视频帧进行编码之前已经编码的视频帧,获取的前向编码视频帧的具体数量可自定义,例如,前向编码视频帧可以是输入视频帧的前一个已编码的编码视频帧,前向编码视频帧也可以是输入视频帧的前3个已编码的编码视频帧。在计算得到目标预测类型编码块对应的在前向编码视频帧中的比例后,根据计算得到的比例确定输入视频帧对应的处理方式。若获取到的前向编码视频帧的数量为多个时,可以计算得到不同类型编码块对应的在每一个前向编码视频帧中的比例,根据各个比例进行加权计算得到总比例,再根据总比例和预设阈值确定输入视频帧对应的目标处理方式。其中,前向视频帧对应的权重可以与前向编码视频帧与输入视频帧的编码距离成负相关关系。

在一个实施例中,可以计算前向编码视频帧中帧内编码块在前向编码视频帧中的比例,当比例大于目标阈值时,确定处理方式为下采样处理方式。

对于帧内编码块对应的比例,可以是当该比例大于目标阈值时,确定输入视频帧对应的目标处理方式为下采样分辨率方式,否则确定视频帧对应的目标处理方式为全分辨率方式。如,当比例大于目标阈值时,确定输入视频帧对应的处理方式为下采样分辨率方式,否则确定视频帧对应的目标处理方式为全分辨率方式。

本发明实施例中,如果帧内编码块的比例大,则说明视频会相对比较复杂或者视频帧之间的相关度比较低,因此得到的预测残差比较大,因此更倾向于采用下采样处理方式进行编码,减少编码数据量。

其中,目标阈值可根据输入视频帧对应的参考帧的处理方式进行确定。当输入视频帧对应的参考帧的处理方式为下采样方式时,获取第一预设阈值t1,将第一预设阈值t1作为目标阈值。同样地,当输入视频帧对应的参考帧的处理方式为全分辨率方式时,获取第二预设阈值t2,将第二预设阈值t2作为目标阈值。进一步地,在根据输入视频帧对应的参考帧的分辨率信息获取到目标阈值后,根据目标阈值和前向编码视频帧中帧内编码块在前向编码视频帧中的比例确定输入视频帧的处理方式。其中,当前向编码视频帧中帧内编码块在前向编码视频帧中的比例大于目标阈值时,确定输入视频帧对应的处理方式为下采样处理方式。

在一个实施例中,第二预设阈值大于第一预设阈值,这样,当当前参考帧对应的处理方式全分辨率处理方式时,输入视频帧更倾向于采用全分辨率处理方式,当当前参考帧为下采样处理方式时,输入视频帧更倾向于采用下采样处理方式。

在一个实施例中,当采用自适应分辨率的编码框架对输入视频帧进行编码时,还可将对输入视频帧进行编码时所采用的处理方式对应的处理方式信息添加至输入视频帧对应的编码数据中。具体可以将处理方式信息添加至编码数据对应的帧级头信息中,用于告知解码端当前编码数据对应的输入视频帧在被编码时所采用的处理方式。比如,当编码数据的帧级头信息中用于确定处理方式的标识符为0时,表示输入视频帧在被编码时均采用全分辨率处理方式,在用于确定处理方式的标识符为1时,表示输入视频帧在被编码时采用下采样处理方式,解码端可按照相应的处理方式对编码数据进行解码得到重建视频帧。

在一个实施例中,还可获取输入视频帧对应的处理参数,根据处理参数确定输入视频帧对应的处理方式;当处理参数在解码过程中不能重现时,将处理方式对应的处理方式信息添加至输入视频帧对应的编码数据中。

具体地,处理参数例如可以包括输入视频帧对应的图像编码信息以及图像特征信息中的至少一个等。处理参数在解码过程中不能重现是指在解码的过程中不能得到或者不会产生该处理参数。例如,如果处理参数是与输入视频帧的图像内容对应的信息,而在编码过程中图像信息是存在损失的,则解码过程中输入视频帧对应的解码视频帧与输入视频帧存在差别,因此,解码过程中不会得到输入视频帧的图像内容对应的信息,即图像内容对应的信息在解码过程中不能重现。编码过程中需要计算率失真代价,而解码过程中不计算率失真代价,则当处理参数包括率失真代价时,则该处理参数不能在解码过程中重现。对于编码过程中得到的重建视频帧与输入视频帧的峰值信噪比信息,解码过程中不能得到,因此峰值信噪比信息在解码过程中不能重现。

在一个实施例中,当处理参数在解码端中能够重现时,可以将处理方式对应的处理方式信息添加至输入视频帧对应的编码数据中,也可以不将处理方式对应的处理方式信息添加至输入视频帧对应的编码数据中。其中,将处理方式对应的处理方式信息添加至输入视频帧对应的编码数据中时,解码端可以从编码数据中读取处理方式信息,无需再根据处理数据得到处理方式。当不将处理方式对应的处理方式信息添加至输入视频帧对应的编码数据中时,由解码设备根据处理参数确定处理方式,可以减少编码数据的数据量。

在一个实施例中,当采用下采样处理方式对输入视频帧进行下采样处理,得到待编码视频帧,具体的下采样的比例可以根据执行基于插值处理的图像编码方法的设备如终端或者服务器的处理器能力得到。处理器处理能力强的设备对应的下采样比例大,处理器处理能力弱的设备对应的下采样比例小。可以设置处理器处理能力与下采样比例的对应关系,当需要进行编码时,获取处理器处理能力,根据处理器处理能力得到对应的下采样比例。例如,可以设置16位处理器对应的下采样比例为1/8,32位处理器对应的下采样比例为1/4。

在一个实施例中,下采样的比例还可以根据输入视频帧作为参考帧的频率或者次数得到,可以设置下采样比例与输入视频帧作为参考帧的频率或者次数的对应关系。其中,输入视频帧作为参考帧的频率高或者次数多,则下采样比例大。输入视频帧作为参考帧的频率低和/或次数少,则下采样比例小。例如,对于i帧,作为参考帧的频率高,则对应的下采样比例大,例如可以为1/2。对于p帧,作为参考帧的频率低,则对应的下采样比例小,例如可以为1/4。通过根据据输入视频帧作为参考帧的频率或者次数得到下采样比例,当输入视频帧作为参考帧的频率高或者次数多时,图像质量较好,因此能够提高进行预测的准确度,减小预测残差,提高编码图像的质量。

在一个实施例中,当采用下采样处理方式对输入视频帧进行下采样处理,得到待编码视频帧,具体的下采样的方法可以根据执行基于插值处理的图像编码方法的设备如终端或者服务器的处理器能力得到。对于处理器处理能力强的设备对应的下采样方法复杂度高,处理器处理能力弱的设备对应的下采样方法复杂度低。可以设置处理器处理能力与下采样方法的对应关系,当需要进行编码时,获取处理器处理能力,根据处理器处理能力得到对应的下采样方法。例如,双三次插值比双线性插值的复杂度高,因此你可以设置16位处理器对应的下采样方法为双线性插值,32位处理器对应的下采样方法双三次插值。

本发明实施例中,在对输入视频帧采用下采样处理方式处理时,还可按照不同的下采样方法或下采样比例进行下采样,对输入视频帧进行处理的方式更为灵活。

在一个实施例中,当采用下采样处理方式对输入视频帧进行下采样处理,得到待编码视频帧时,还可将下采样方法对应的下采样方法信息以及下采样比例对应的下采样比例信息中的至少一种添加至输入视频帧对应的编码数据中。

下采样方法信息在编码数据的添加位置可以是对应的序列级头信息、组级头信息以及帧级头信息中的任一个,下采样方法信息在编码数据的添加位置可以根据下采样方法对应的作用范围确定。例如,可将下采样方法信息添加至输入视频帧序列对应的编码数据的序列级头信息中,表示该输入视频帧序列中各个输入视频帧在被编码时,均采用下采样方法信息对应的下采样方法进行下采样处理,下采样比例是相同的,例如,均采用宽2倍下采样、高2倍下采样,宽3倍下采样、高3倍下采样,宽2倍下采样、高3倍下采样等等。也可将下采样方法信息添加至视频组对应的编码数据的组级头信息中,表示该视频组中各个输入视频帧在被编码时,均采用下采样方法信息对应的下采样方法进行下采样处理。还可将下采样方法信息添加至视频帧对应的编码数据的帧级头信息中,表示输入视频帧序列中各个输入视频帧在被编码时,按照下采样方法信息对应的下采样方法进行下采样处理。比如,添加至帧级头信息中的用于确定下采样方法信息的标识符的作用范围限制在帧级,表示编码数据对应的输入视频帧是采用各自的下采样方法信息所对应的下采样方法进行采样处理。

类似地,下采样比例信息在编码数据的添加位置可以是对应的序列级头信息、组级头信息以及帧级头信息中的任一个,下采样比例信息在编码数据的添加位置可以根据下采样比例对应的作用范围确定。比如,添加至帧级头信息中的用于确定下采样比例信息的标识符的作用范围限制在帧级,可以实现不同的输入视频帧采用不同的下采样比例进行采样处理,得到不同分辨率的待编码视频帧,例如第1帧下采样比例为1/2,第2帧下采样比例为1/3,等等。

在给定码率的情况下,视频帧的分辨率与清晰度成反比,因而,可对各个输入视频帧按照相应的处理方式进行自适应处理后得到待编码视频帧之后再进行编码,能够提高编码质量,提升图像清晰度,同时,在对输入视频帧采用下采样处理方式处理时,还可按照不同的下采样方法和下采样比例进行下采样,对输入视频帧进行处理的方式更为灵活。

当前参考帧,是在对待编码视频帧进行编码时所要参考的视频帧。当前参考帧是对可作为参考帧的视频帧对应的编码数据重建得到的视频帧。当前待编码视频帧对应的当前参考帧根据帧间预测类型的不同,可为前向参考帧或双向参考帧,待编码视频帧对应的当前参考帧的个数可为一个或多个。例如当待编码视频帧为p帧,则对应的参考帧可以为1个。当待编码视频帧为b帧,则对应的参考帧可以为2个。待编码视频帧对应的参考帧可以是根据参考关系得到的,参考关系根据各个视频编解码标准可以不同。

具体地,在对可作为参考帧的输入视频帧进行帧内预测得到相应的编码数据后,可对该编码数据进行熵解码、反量化、反变换得到各个帧内预测块对应的预测残差,然后将该预测残差与该输入视频帧中相应的参考块相加得到各个重建块,从而得到该输入视频帧的重建帧,即当前参考帧,比如i帧。

类似地,在对可作为参考帧的输入视频帧进行帧间预测得到相应的编码数据后,编码端可对该编码数据进行熵解码、反量化、反变换得到各个帧间预测块对应的预测残差,然后将该预测残差与该输入视频帧对应的参考帧中相应的参考块相加得到各个重建块,从而得到该输入视频帧的重建帧,即当前参考帧,比如p帧。

在一个实施例中,可将输入视频帧序列对应的各个当前参考帧进行缓存,并建立待编码视频帧与当前参考帧之间的对应关系。在对待编码视频帧进行编码时,就可以直接获取对应的当前参考帧。还可以获取当前参考帧对应的分辨率信息。

在一个实施例中,获取待编码视频帧对应的当前参考帧包括:获取第一参考规则,第一参考规则包括待编码视频帧与当前参考帧的分辨率大小关系;根据第一参考规则获取待编码视频帧对应的当前参考帧。

具体地,第一参考规则确定了待编码视频帧与参考帧的分辨率大小的限制关系,分辨率大小关系包括待编码视频帧与参考帧的分辨率相同以及不同的至少一种。当第一参考规则包括待编码视频帧与参考帧的分辨率相同时,第一参考规则还可以包括待编码视频帧与参考帧的分辨率的处理方式参考规则。例如处理方式参考规则可以包括全分辨处理方式的待编码视频帧可以参考全分辨率处理方式的参考帧以及下采样处理方式的待编码视频帧可以参考下采样处理方式的参考帧的一种或两种。当第一参考规则包括待编码视频帧与参考帧的分辨率不相同时,第一参考规则还可以包括待编码视频帧的分辨率大于参考帧的分辨率以及待编码视频帧的分辨率小于参考帧的分辨率的一种或两种。第一参考规则可以包括原始分辨率待编码视频帧可以参考下采样分辨率参考帧、下采样分辨率待编码视频帧可以参考原始分辨率参考帧、原始分辨率待编码视频帧可以参考原始分辨率参考帧以及下采样分辨率待编码视频帧可以参考下采样分辨率的参考帧中的一种或多种。其中原始分辨率待编码视频帧是指该待编码视频帧的分辨率与对应的输入视频帧的分辨率相同,原始分辨率参考帧是指该参考帧的分辨率与其对应的输入视频帧的分辨率相同。下采样分辨率待编码视频帧是指该待编码视频帧是对应的输入视频帧进行下采样处理得到的。下采样分辨率参考帧是指该参考帧是对应的参考帧进行下采样处理得到的。得到第一参考规则后,根据第一参考规则待编码视频帧对应的当前参考帧。使得到的当前参考帧满足第一参考规则。

在一个实施例中,在对待编码视频帧进行编码时,还可将第一参考规则对应的规则信息添加至待编码视频帧对应的编码数据中。

具体地,规则信息用于描述采用的第一参考规则,可以在编码数据中加入描述处理方式的标识符。具体的标识符的值可以根据需要设置。规则信息在编码数据的添加位置可以是组级头信息、序列级头信息以及帧级头信息中的一个或多个,规则信息在编码数据的添加位置可以根据第一处理参考规则的作用范围确定。例如,当第一参考规则为原始分辨率待编码视频帧可以参考下采样分辨率参考帧时,对应的描述处理方式的标识符可以为1,当第一参考规则为下采样分辨率待编码视频帧可以参考下采样分辨率的参考帧时,对应的描述处理方式的标识符可以为2。若视频帧序列采用相同的第一参考规则,则规则信息在编码数据的添加位置可以是序列级头信息。若视频帧序列的各个视频组采用的第一参考规则可以不同,则规则信息在编码数据的添加位置可以是组级头信息。

步骤2,确定分像素插值方式;分像素插值方式是直接分像素插值方式和采样后分像素插值方式中的一种。

其中,分像素插值是通过当前参考帧中整像素的参考数据插值得到分像素级别的参考数据的过程。在对待编码视频帧进行编码的过程中,需要在当前参考帧中采用运动搜索技术找到与待编码视频帧中编码块相应的参考块,根据编码块相对于参考块的运动信息计算得到运动矢量,对运动矢量进行编码以告知解码端参考块对应的参考数据在当前参考帧中的位置,因而,通过对当前参考帧进行分像素插值处理得到目标参考帧,待编码视频帧就可以根据分辨率更高的目标参考帧进行运动估计,从而提高运动估计的准确度,提升编码质量。

分像素插值方式是对获取的当前参考帧进行分像素插值处理的方式,包括直接对当前参考帧进行分像素插值处理以及对当前参考帧进行采样处理后再分像素插值处理。

具体地,在当前参考帧与待编码视频帧的分辨率相同时,可直接对当前参考帧进行分像素插值处理;在当前参考帧与待编码视频帧的分辨率不相同时,可直接对当前参考帧进行分像素插值处理,也可对当前参考帧进行采样得到与待编码视频帧分辨率相同的帧、再对得到分辨率相同的帧进行分像素插值处理,适用两种分像素插值方式。其中,对当参考帧进行采样包括上采样处理和下采样处理。在一个实施例中,若当前参考帧的个数为多个,则分别对每个当前参考帧进行采样得到与待编码视频帧分辨率相同的帧。

本实施例中,对当前参考帧进行采样得到与待编码视频帧分辨率相同的帧,可在一定程度上提高待编码视频帧与要参考的帧之间的图像匹配度,从而提高帧间预测的准确度,减小预测残差,提高编码图像的质量。

在一个实施例中,编码端和解码端可在各自的编解码规则中设置根据当前参考帧进行处理得到目标参考帧时所采用的分像素插值方式,采用的分像素插值方式应当是一致的,在编、解码时就根据配置确定对当前参考帧进行处理所对应的分像素插值方式。

在一个实施例中,当采用自适应分辨率的编码框架对输入视频帧进行编码时,还可将分像素插值方式对应的分像素插值方式信息添加至待编码视频帧对应的编码数据中。分像素插值方式信息在编码数据的添加位置可以是对应的序列级头信息、组级头信息以及帧级头信息中的任一个,分像素插值方式信息在编码数据的添加位置可以根据分像素插值方式对应的作用范围确定。可将分像素插值方式信息添加至输入视频帧对应的编码数据的帧级头信息中,表示输入视频帧在被编码时对应的当前参考帧采用分像素插值方式信息对应的分像素插值方式进行分像素插值处理。例如,当编码数据的帧级头信息中用于确定分像素插值方式的标识符为0时,表示输入视频帧对应的当前参考帧采用直接进行分像素插值处理,在用于确定分像素插值方式的标识符为1时,表示输入视频帧对应的当前参考帧采用采样处理后再分像素插值处理。解码端就可按照编码数据中标识符所表示的分像素插值方式对当前参考帧进行分像素插值处理得到目标参考帧,从而可依据目标参考帧对编码数据进行解码得到重建视频帧。

步骤3,采用分像素插值方式,根据待编码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧。

其中,待编码视频帧的分辨率信息可以是待编码视频帧的分辨率,也可以是对输入视频帧进行下采样处理得到待编码视频帧所对应的下采样比例信息。比如,输入视频帧的分辨率均为2m*2n,通过对输入视频帧进行下采样处理得到的分辨率为m*n的待编码视频帧,那么分辨率信息可以是待编码视频帧的分辨率m*n,也可以是下采样比例信息,即为1/2;又比如,待编码视频帧对应的处理方式是全分辨率处理方式,即直接将输入视频帧作为待编码视频帧,那么分辨率信息可以是待编码视频帧的分辨率2m*2n,也可以是下采样比例信息,即为1。

目标参考帧,是对当前参考帧按照相应的分像素插值方式进行分像素插值处理后得到的视频帧。具体地,可根据待编码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率信息所表示的分辨率之间的比例关系,确定所采用分像素插值方式对应的采样方法,包括上采样或下采样。

在一个实施例中,可根据待编码视频帧的分辨率与当前参考帧的分辨率之间的比例关系确定对当前参考帧进行采样的比例。比如,输入视频帧的分辨率均为2m*2n,通过对当前输入视频帧按照全分辨率处理方式进行处理,即直接将当前输入视频帧作为待编码视频帧,则待编码视频帧的分辨率为2m*2n,而对可作为参考帧的输入视频帧按照下采样处理方式进行处理,得到下采样后的当前待编码参考帧的分辨率为m*2n,则重建后得到的相应的当前参考帧的分辨率也为m*2n,那么就确定对当前参考帧以宽2倍、高1倍的采样比例进行上采样处理,得到与待编码视频帧分辨率相同的帧。若通过对当前输入视频帧按照下采样处理方式进行处理,下采样后得到的待编码视频帧的分辨率为m*n,而对可作为参考帧的输入视频帧按照全分辨率处理方式进行处理,那么重建后得到的当前参考帧的分辨率为2m*2n,则确定对当前参考帧以宽、高均为1/2的采样比例进行下采样处理,得到与待编码视频帧分辨率相同的帧。

在一个实施例中,由于输入视频帧的分辨率一般是相同的,可根据输入视频帧进行下采样得到待编码视频帧所对应的下采样比例,以及对可作为参考帧的输入视频帧进行下采样得到待编码参考帧所对应的下采样比例,确定对当前参考帧进行采样的比例。比如,通过对输入视频帧以1/2的采样比例进行下采样处理得到待编码视频帧,通过对可作为参考帧的输入视频帧以1/4的采样比例进行下采样处理得到待编码参考帧,那么根据待编码参考帧的编码数据重建后得到的当前参考帧对应的下采样比例也是1/4,那么,根据两者下采样比例之间的倍数关系,可确定对当前参考帧以2倍的采样比例进行上采样处理得到与待编码视频帧分辨率相同的帧。

在一个实施例中,对当前参考帧进行采样的采样方法与对输入视频帧进行下采样得到待编码视频帧的采样算法匹配,即如果需要对当前参考帧进行下采样,则下采样算法与对待编码视频帧进行下采样得到待编码视频帧的下采样算法相同。如果需要对当前参考帧进行上采样,则上采样算法与对输入视频帧进行下采样得到当前待编码视频帧的下采样算法匹配的相反的采样算法。

本实施例中,对当前参考帧进行采样的采样算法与对待编码视频帧进行下采样得到当前编码视频帧的采样算法匹配,可进一步提高当前参考帧与当前编码视频帧的图像匹配度,进一步提高帧间预测的准确度,减小预测残差,提高编码图像的质量。

步骤4,根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据。

具体地,编码可以包括预测、变换、量化以及熵编码中的至少一个。当待编码视频帧为p帧以及b帧时,可以获取待编码视频帧对应的当前参考帧,根据当前参考帧进行预测得到预测残差,并对预测残差进行变换、量化以及熵编码等得到输入视频帧对应的编码数据,其中,得到编码数据的过程中,根据待编码视频帧的分辨率对当前参考帧、待编码视频帧的各个编码块对应的位置信息以及运动矢量中的至少一个进行处理。例如,在计算预测残差时,可以根据待编码视频帧的分辨率信息对当前参考帧进行处理,得到目标参考帧,从目标参考帧中获取待编码视频帧中各个编码块对应的参考块,根据参考块进行预测,得到编码块对应的预测值,再根据编码块的实际值与预测值的差值得到预测残差。计算目标运动矢量时,如果当前参考帧的分辨率与待编码视频帧的分辨率不同,可以根据当前参考帧与待编码视频帧的分辨率对编码块的位置信息或者解码块的位置信息进行变换,再根据变换后的位置信息得到目标运动矢量,以减少目标运动矢量的值,减少编码数据的数据量。或者,如果目标运动矢量对应的分辨率信息与待编码视频帧的分辨率信息不同,则在计算得到待编码视频帧的编码块对应的第一运动矢量时,根据待编码视频帧的分辨率信息以及目标运动矢量对应的分辨率信息对第一运动矢量进行变换,得到目标运动矢量。例如,假设待编码视频帧的分辨率为400*800像素,当前参考帧的分辨率为800*1600像素。则可以根据待编码视频帧的分辨率对当前参考帧进行进行1/2下采样,得到目标参考帧的分辨率为400*800像素,再根据目标参考帧进行视频编码。当待编码对应的分辨率信息与当前参考帧对应的分辨率信息不同,对待编码视频帧对应的编码块的位置信息变换,得到变换后的位置.

在一个实施例中,还可将对当前参考帧进行处理对应的采样方式信息添加至当前参考帧对应的编码数据中。还可获取待编码视频帧进行编码时对应的编码方式;将编码方式对应的编码方式信息添加至输入视频帧对应的编码数据中。

具体地,编码方式是与编码端进行编码有关的处理方式。例如可以包括编码时对参考帧进行解码重建后的视频帧采用的上采样方式、参考规则对应的规则、对参考帧进行分像素插值中的一种或多种等。通过将编码方式对应的编码方式信息添加至输入视频帧对应的编码数据,解码端可以根据编码方式信息对待解码视频帧进行解码。

在一个实施例中,也可以不将编码方式对应的编码方式信息添加到编码数据中。而是在编码端与解码端预先设置编码方式,在解码端中设置与该编码方式对应的解码方式。或者编码端与解码端可以根据相同或者对应的算法计算得到对应的编码方式以及解码方式。例如,在编解码标准中预先设置编码端对当前参考帧进行上采样方法与解码端对当前参考帧进行上采样的方法相同。

上述基于插值处理的图像编码方法,在获取到待编码视频帧对应的当前参考帧后,可确定当前参考帧的分像素插值方式,采用该分像素插值方式,根据当前参考帧的分辨率信息,对当前参考帧进行处理,调整当前参考帧的分辨率,得到目标参考帧,即使当前参考帧与待编码视频帧的分辨率不同,也可作为待编码视频帧的参考帧,根据得到的目标参考帧对待编码视频帧进行编码,提高了参考帧的使用效率,从而可提高帧间预测的准确度,减小预测残差,提高编码图像的质量。

采用分像素插值方式,根据待编码视频帧的分辨率信息,对当前参考帧进行处理,得到对应的目标参考帧具体包括:

获取待编码视频帧对应的运动补偿精度。

其中,运动补偿精度是待编码视频帧中的编码块对应的运动矢量的单位长度。编码端在对待编码视频帧中的编码块进行编码时,可按照获取的运动补偿精度将编码块对应的运动矢量的单位长度进行细化,这样得到的运动向量更为精细和准确,因而,需要按照获取的运动补偿精度对当前参考帧进行分像素插值处理得到目标参考帧,再依据目标参考帧计算待编码视频帧中各编码块对应的运动向量,基于该运动向量进行编码得到待编码视频帧对应的编码数据。

采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动补偿精度对当前参考帧进行处理,得到对应的目标参考帧。

具体地,可获取当前参考帧的分辨率信息,根据待编码视频帧采用的分像素插值方式,以及待编码视频帧的分辨率信息、当前参考帧的分辨率信息以及待编码视频帧对应的运动补偿精度确定对当前参考帧进行何种采样处理、采样处理对应的采样比例以及像素插值精度。

在一个实施例中,运动补偿精度一般为1/2像素精度、1/4像素精度或1/8像素精度,更高精度的运动估计并不能更明显的提升编码质量,却会导致计算复杂度的显著提升。

在一个实施例中,可根据待编码视频帧的图像特征信息为该待编码视频帧配置相应的运动补偿精度,图像特征信息比如该待编码视频帧的大小、纹理信息、运动速度等,可综合多种图像特征信息确定待编码视频帧对应的运动补偿精度。待编码视频帧所携带的图像数据越复杂,图像信息越丰富,相应的运动补偿精度更高。比如,在对p帧进行帧间预测时,可采用较高的运动补偿精度计算p帧中各编码块对应的运动矢量,而在对b帧进行帧间预测时,可采用较低的运动补偿精度计算b帧中各编码块对应的运动矢量。

采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动补偿精度对当前参考帧进行处理,得到对应的目标参考帧包括:

当分像素插值方式为采样后分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,则根据待编码视频帧的分辨率信息对当前参考帧进行下采样处理,得到中间参考帧。

具体地,当待编码视频帧对应的分像素插值方式为采样后分像素插值方式,表示要对当前参考帧先进行采样处理,得到与待编码视频帧分辨率相同的中间参考帧,再对中间参考帧进行分像素插值处理得到对应的目标参考帧。

根据运动补偿精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。

当根据待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,就需要根据二者之间分辨率的比例关系,确定对当前参考帧进行下采样的采样比例,按照该采样比例进行下采样后得到与待编码视频帧相同分辨率的中间参考帧;然后基于运动补偿精度对中间参考帧进行分像素插值处理,得到目标参考帧,并且,这种情况下,像素插值精度与运动补偿精度相同。

通过对分辨率为2m*2n的输入视频帧按照下采样处理方式进行下采样处理得到分辨率为m*n的待编码视频帧,而当前参考帧的分辨率为2m*2n(全分辨率处理方式),则对当前参考帧按照1/2的采样比例进行下采样处理得到分辨率为m*n的中间参考帧,若获取的待编码视频帧对应的运动补偿精度为1/2,再对中间参考帧按照与运动补偿精度相同的像素插值精度,即1/2分像素插值精度进行分像素插值处理,得到目标参考帧;若获取的待编码视频帧对应的运动补偿精度为1/4,则对中间参考帧按照1/4分像素插值精度进行分像素插值处理,得到分辨率更高的目标参考帧。

当前参考帧也可以是通过采用下采样处理方式得到的。比如,通过对分辨率为2m*2n的输入视频帧按照下采样处理方式进行下采样处理得到分辨率为1/2m*1/2n的待编码视频帧,而当前参考帧是通过对分辨率为2m*2n的输入视频帧进行下采样处理得到分辨率为m*n的待编码参考帧对应的编码数据重建得到的,那么,当前参考帧的分辨率也为m*n,因而,待编码视频帧的分辨率小于当前参考帧的分辨率,可对当前参考帧按照1/2的采样比例进行下采样处理得到与待编码视频帧相同的中间参考帧,然后再基于运动补偿精度进行分像素插值处理得到目标参考帧。

采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动补偿精度对当前参考帧进行处理,得到对应的目标参考帧包括:

当分像素插值方式为直接分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率小于当前参考帧的分辨率时,则根据待编码视频帧的分辨率信息以及运动补偿精度计算得到像素插值精度。根据像素插值精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。

具体地,当待编码视频帧对应的分像素插值方式为直接分像素插值方式,表示可对当前参考帧直接进行分像素插值处理得到目标参考帧。可以理解,由于当前参考帧的分辨率大于待编码视频帧的分辨率,因此,当前参考帧中部分分像素点的数据可直接复用,可作为与运动补偿精度相应的分像素点对应的数据。

比如,待编码视频帧的分辨率为m*n,当前参考帧的分辨率为2m*2n,若运动补偿精度为1/2,那么当前参考帧可直接作为目标参考帧;若运动补偿精度为1/4,那么计算得到像素插值精度为1/2,可对当前参考帧以1/2像素插值精度进行分像素插值处理得到目标参考帧。

采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动补偿精度对当前参考帧进行处理,得到对应的目标参考帧包括:

当分像素插值方式为采样后分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率大于当前参考帧的分辨率时,则根据待编码视频帧的分辨率信息对当前参考帧进行上采样处理,得到中间参考帧。

根据运动补偿精度对中间参考帧进行分像素插值处理,得到对应的目标参考帧。

当待编码视频帧的分辨率大于当前参考帧的分辨率时,则需要对当前参考帧进行上采样处理,得到与待编码视频帧分辨率相同的中间参考帧,然后基于待编码视频帧对应的运动补偿精度对中间参考帧进行分像素插值处理,得到目标参考帧。

比如,待编码视频帧的分辨率为2m*2n,当前参考帧的分辨率为1/2m*1/2n,则需要按照1/4采样比例对当前参考帧进行上采样处理得到与待编码视频帧分辨率相同的中间参考帧,若运动补偿精度为1/2,则继续对得到的中间参考帧按照1/2像素插值精度进行分像素插值处理,得到目标参考帧;若运动补偿精度为1/4,则继续对得到的中间参考帧按照1/4像素插值精度进行分像素插值处理,得到目标参考帧。

在一个实施例中,采用分像素插值方式,根据待编码视频帧的分辨率信息以及运动补偿精度对当前参考帧进行处理,得到对应的目标参考帧包括:当分像素插值方式为直接分像素插值方式、且当待编码视频帧的分辨率信息所表示的分辨率与当前参考帧的分辨率相同时,则根据运动补偿精度直接对当前参考帧进行分像素插值处理,得到对应的目标参考帧。

具体地,通过全分辨处理方式对输入视频帧进行处理得到待编码视频帧,且当前参考帧的分辨率也是原分辨时,则待编码视频帧的分辨率和当前参考帧的分辨率相同。或者,通过下采样方式对输入视频帧进行处理得到待编码视频帧,且当前参考帧帧也是采用相同采用比例的下采样方式编码得到的编码数据重建得到的,则待编码视频帧的分辨率和当前参考帧的分辨率相同。那么,就可以直接基于运动补偿精度直接对当前参考帧进行分像素插值处理得到目标参考帧,并且,分像素插值处理对应的像素插值精度和运动补偿精度相同。

在上述实施例中,通过对当前参考帧进行分像素插值处理,使得当前参考帧的分辨率更高,这样计算得到的待编码视频帧相对于参考帧的运动矢量更为精细,进一步减小预测残差,能够提高编码质量。

根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据,包括:

根据待编码视频帧的分辨率信息和第一分辨率信息确定第一矢量变换参数,第一分辨率信息包括输入视频帧对应的目标运动矢量单位分辨率信息。根据第一矢量变换参数得到待编码视频帧中各个编码块对应的目标运动矢量。

第一矢量变换参数用于对得到运动矢量的位置信息或者运动矢量进行变换,以使得变换后的运动矢量或者位置与。分辨率信息是与分辨率相关的信息,例如可以是分辨率本身或者下采样比例等。第一矢量参数可以是待编码视频帧的分辨率信息和第一分辨率信息之间的比例,可以是待编码视频帧的分辨率信息除以第一分辨率信息得到的。也可以是第一分辨率信息除以待编码视频帧的分辨率信息得到的。或者,得到比例后,可以对比例乘以相应的系数或者加上预设的偏移量得到。例如,假设当前参考帧的下采样比例为1/3,待编码视频帧的下采样比例为1/6。则第一矢量变换参数可以为1/3除以1/6等于2。

得到第一矢量变换参数后,根据第一矢量变换参数对得到的运动矢量或者运动矢量对应的位置信息进行变换,得到目标运动矢量。

在一个实施例中,根据待编码视频帧的分辨率信息和第一分辨率信息确定第一矢量变换参数包括:获取目标运动矢量单位分辨率信息;根据待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息确定第一矢量变换参数。

目标运动矢量单位分辨率信息是指与目标运动矢量的单位对应的分辨率相关的信息,例如可以是分辨率或者下采样比例。目标运动矢量的单位对应的分辨率是指该目标运动矢量的单位是以该分辨率下的矢量单位为标准计算的。由于输入视频序列的对应的各个待编码视频帧可能有一些分辨率与输入视频帧的原始分辨率相同,而另一些待编码视频帧的分辨率比输入视频帧的原始分辨率小,即待编码视频帧的分辨率可能有一种或多种,因此需要确定目标运动矢量的单位对应的分辨率。目标运动矢量的单位对应的分辨率可以是在编码前已经设定或者根据编码过程的参数得到,具体可以根据需要进行设置。

在一个实施例中,目标运动矢量的单位对应的分辨率可以是输入视频帧对应的分辨率,即原始分辨率,或者目标运动矢量的单位对应的分辨率可以是待编码视频帧对应的分辨率。第一矢量变换参数可以是目标运动矢量单位对应的分辨率信息与待编码视频帧的分辨率信息的比例。例如,假设目标运动矢量单位对应的分辨率是原始分辨率,目标运动矢量单位对应的采样比例为1,待编码视频帧的分辨率的采样比例为1/2,则,第一矢量变换参数可以为1除以1/2等于2。或者,假设目标运动矢量单位对应的分辨率是原始分辨率,为900*900像素,目待编码视频帧的分辨率的采样比例为450*600像素,第一矢量变换参数可以包括两个,水平方向的第一矢量变换参数以及垂直方向的第一矢量变换参数。则水平方向的第一矢量变换参数为900/450=2,垂直方向的第一矢量变换参数为900/600=1.5。

在一个实施例中,可以根据进行编码的设备的计算能力得到目标运动矢量单位分辨率信息,例如,当进行编码的设备只能对整数进行运算或者当数值为小数时运算耗时长,则目标运动矢量单位对应的分辨率可以为输入视频帧对应的分辨率,当进行编码的设备智快速进行小数的运算,目标运动矢量单位对应的分辨率可以为待编码视频帧对应的分辨率。

在一个实施例中,当根据待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息确定第一矢量变换参数时,步骤s1104即根据第一矢量变换参数得到待编码视频帧中各个编码块对应的目标运动矢量包括:根据当前编码块与对应的目标参考块的位移得到第一运动矢量;根据第一矢量变换参数以及第一运动矢量得到当前编码块对应的目标运动矢量。

具体地,第一运动矢量是根据当前编码块与对应的目标参考块的位移得到的,目标参考块可以是从对当前参考帧进行处理后得到的目标参考帧中获取的,得到第一运动矢量后,可以将第一矢量变换参数以及第一运动矢量相乘,将得到的乘积作为目标运动矢量。假设目标运动矢量单位对应的分辨率是原始分辨率,由于目标运动矢量单位是原始分辨率,而第一运动矢量是在待编码视频帧的分辨率下计算得到的,因此需要对第一运动矢量进行变换。如果第一矢量变换参数等于2。得到的第一运动矢量为(2,2,),则目标运动矢量为(4,4)。得到目标运动矢量后,可以根据目标运动矢量进行编码,例如可以对目标运动矢量以及当前编码块对应的预测残差进行编码,得到编码数据。

当待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息一致时,第一矢量变换参数为1,第一运动矢量与目标运动矢量相同,因此,可以跳过步骤s1102,将第一运动矢量作为目标运动矢量。当待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息不一致时,则执行步骤s1102。

当待编码视频帧与目标参考帧的分辨率信息不同时,则得到第一运动矢量的步骤包括:根据待编码视频帧的分辨率信息和目标参考帧的分辨率信息确定第三矢量变换参数;根据第三矢量变换参数得到待编码视频帧中各个编码块对应的第一运动矢量。

根据第三矢量变换参数得到待编码视频帧中各个编码块对应的第一运动矢量包括:获取当前编码块对应的第一位置信息,获取当前编码块对应的目标参考块对应的第二位置信息;根据第三矢量变换参数、第一位置信息和第二位置信息计算得到当前编码块对应的第一运动矢量。

当前编码块是输入视频帧中当前需要进行预测编码的编码块。目标参考块是目标参考帧中用于对当前编码块进行预测编码的图像块。当前编码块对应的第一位置信息可以用像素的坐标表示。当前编码块对应的第一位置信息可以包括当前编码块的全部像素对应的坐标,当前编码块对应的第一位置信息也可以是包括当前编码块的一个或多个像素的坐标。当前编码块对应的第一位置信息可以包括当前编码块的全部像素对应的坐标,当前编码块对应的第一位置信息也可以是包括当前编码块的一个或多个像素的坐标。目标参考块对应的第二位置信息可以包括目标参考块的全部像素对应的坐标,目标参考块对应的第二位置信息也可以是包括目标参考块的一个或多个像素的坐标。例如,可以当前图像块的第一个像素点的坐标作为当前编码块的坐标值,以目标参考块的第一个像素点的坐标作为目标参考块的坐标值。

可以利用第三矢量变换参数对第一位置信息进行变换,得到对应的第一变换位置信息,根据第一变换位置信息与第二位置信息的差值得到第一运动矢量。或者可以利用第三矢量变换参数对第二位置信息进行变换,得到对应的第二变换位置信息,根据第一位置信息与第二位变换置信息的差值得到第一运动矢量。

在一个实施例中,第三矢量变换参数是待编码视频帧的分辨率与目标参考帧的分辨率信息中,大分辨率信息除以小分辨率信息得到的比例,其中,大分辨率信息对应的分辨率比小分辨率对应的分辨率大。第三矢量变换参数用于与待编码视频帧与目标参考帧中小分辨率信息的帧的位置信息进行变换。例如,待编码视频帧的分辨率为1200*1200像素,目标参考帧的分辨率为600*600像素,则大分辨率为1200*1200像素,小分辨率为600*600像素。第一矢量变换参数可以为2。假设第一位置信息为(6,8),第二位置信息为(3,3)。则第一运动矢量为(6,8)-(3*2,3*2)=(0,2)。本发明实施例中,通过小分辨率信息的帧对应的位置信息进行变换,可以降低第一运动矢量的值,减少编码数据的数据量。

本发明实施例中,当第一运动矢量的单位对应的分辨率为输入视频帧对应的分辨率,即原始分辨率,对于分辨率统一的输入视频帧序列,各个输入视频帧对应的目标运动矢量单位是一致的,可以保持目标运动矢量的延续性。当目标运动矢量的单位对应的分辨率为待编码视频帧对应的分辨率时,由于待编码视频帧的分辨率信息和目标运动矢量单位分辨率信息一致,因此不需要需对第一运动矢量进行变换,可以减少计算时间。

根据目标参考帧对待编码视频帧进行编码,得到待编码视频帧对应的编码数据包括:

获取当前编码块对应的初始预测运动矢量;根据初始预测运动矢量对应的当前运动矢量单位分辨率信息和目标运动矢量单位分辨率信息,得到第二矢量变换系数;根据初始预测运动矢量和第二矢量变换系数得到当前编码块对应的目标预测运动矢量;根据目标运动矢量和目标预测运动矢量得到运动矢量差。

为了降低用于编码数据的比特数,可以对当前编码块的运动矢量进行预测,得到预测值,计算目标运动矢量与预测值的差值,得到运动矢量差值,对运动矢量差值进行编码。初始预测运动矢量用于对当前编码块的运动矢量进行预测。初始预测运动矢量的数量可以为一个或多个,具体可以根据需要进行设置。初始预测运动矢量的获取规则可以根据需要进行设置,由于当前编码块与其相邻编码块的往往具有空间相关性,因此可以将当前编码块对应的一个或多个相邻已编码块的对应的目标运动矢量值作为初始预测运动矢量。例如,可以将当前编码块中右上角以及左上角的相邻已编码块对应的第一运动矢量值作为初始预测运动矢量。

当前运动矢量单位分辨率信息是指与目标运动矢量的单位对应的分辨率相关的信息,例如可以是分辨率或者下采样比例。初始预测运动矢量的单位对应的分辨率是指该初始预测运动矢量的单位是以该分辨率下的矢量单位为标准计算的。当初始预测运动矢量对应的当前运动矢量单位分辨率信息和目标运动矢量单位分辨率信息不同,则需要根据初始预测运动矢量对应的当前运动矢量单位分辨率信息和目标运动矢量单位分辨率信息得到第二矢量变换系数。第一矢量变换参数可以是目标运动矢量单位对应的分辨率信息与当前运动矢量单位分辨率信息的比例。例如,假设目标运动矢量单位对应的分辨率是200*200像素,当前运动矢量单位分辨率信息是100*100像素,则第一矢量变换参数可以是2。

得到第二矢量变换参数后,根据初始预测运动矢量与第二矢量变换系数进行运算,得到目标预测运动矢量。例如,当初始预测运动矢量为一个时,可以将初始预测运动矢量与第二矢量变换系数的乘积作为目标预测运动矢量。当初始预测运动矢量为多个时,可以对初始预测运动矢量进行计算,得到计算结果,根据计算结果与第二矢量变换系数得到目标运动矢量。计算结果可以是初始预测运动矢量中的最小值、平均值以及中位数值中的一种或多种。可以理解,根据初始预测运动矢量和第二矢量变换系数得到目标预测运动矢量的算法可以自定义,在解码端可以利用一致的自定义的算法计算得到相同的目标预测运动矢量。

将运动目标矢量与目标预测运动矢量的差值作为运动矢量差,以根据运动矢量差进行编码,得到编码数据,减少编码数据的数据量。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1