专利名称::一种插值滤波方法
技术领域:
:本发明属于视频压縮
技术领域:
,特别涉及一种新型的插值滤波方式。
背景技术:
:H.264视频标准是一种基于分块的混合预测编码框架,为了提高帧间预测编码效率,其采取了两类关键技术I.采取了基于不同块大小的运动补偿技术。其中包含16*16,16*8,8*16,8*8,8*4,4*8,4*4等7种不同块预测模式。其中预测模式16*16,16*8,8*16,8*8适合于纹理或运动变化缓慢的区域;较小的块预测模式如8*4,4*8,4*4适合于纹理或运动变化剧烈的区域。2.为了提高运动补偿精度,H.264采取了固定系数的1/4精度亚像素运动补偿技术。如在H.264/AVC中其具体插值方式如下回回|A3|&|bA|&网网网回回.回H0回回回回回回C33b:C4|df(回hij(H4|1mn〕回D3回回回回回回s回回回回回回s回回回1/2像素插值方式为b=(Cl-5C2+20C3+20C4-5C5+C6)/32h=(A3-5B3+20C3+20D3-5E3+F3)/32j=(bA-5bB+20b+20bD-5bE+bF)/32其中bA为A3,A4之间的1/2像素点,bB为B3.B4之间的1/2像素点..,其中Hl为Cl,Dl之间的1/2像素点,H2为C2,D2之间的1/2像素点..。1/4像素插值方式为a=(C3+b)/2c=(b+C4)/2d=(C3+h)/2l=(h+D3)/2f=(b+j)/2n=(j+bD)/2i=(h+j)/2k=(H4+j)/2e=(b+h)/2g=(b+H4)/2m=(h+bD)/2o=(bD+H4)/2由于采取了基于不同块大小的运动补偿技术和固定系数的1/4精度亚像素运动补偿技术,H.264大大提高了帧间预测编码效率。为了进一步提高帧间预测效率,考虑到固定系数的1/4精度亚像素插值技术并不是对所有的视频序列都有效(如当视频序列在采集过程中由于采样率不够而出现混叠的情况等),在国际视频编码专家组织一VCEG组织中提出了一些自适应亚像素插值技术。自适应亚像素插值技术主要是通过在每帧帧头或条带头传输亚像素插值系数(其中每帧或条带的亚像素插值系数是通过编码器训练得到)而大大提高帧间预测编码效率。在VCEG组织所提的每种自适应亚像素插值技术中,其对参考图象每个亚像素点位置(共15个亚像素点位置)分别定义了相应的插值方式。但是在这些自适应亚像素插值技术中,其参考图象亚像素点的插值滤波器仅仅依赖于亚像素点位置不同而不同,和对应的当前编(解)码图象数据块的模式信息无关。现有VCEG技术方案一在目前的VCEG提案中有一种帧级自适应二维插值滤波器,其具体插值方式为a=[Cl'&+C2■&。+C3+C4、+C5.A5a+C6/z6a+29]10h[(Cl+C6).、+(C2+C5)-;^+(C3+C4)-+29]》10c=[ClA+C2-&+C3'、+C4/z4c+C5/z5c+C6./z6c+29]>〉10d=[J3'~+S3.+C3-+£>3+£3/z5i/+AM+29]>〉10/=[v43.^+53.^+C3.;73,+./z4/+£3./z5/+F3+29]10/z=[(^43+F3).A力+(S3+五3).+(C3+Z)3).+29]10<formula>formulaseeoriginaldocumentpage5</formula>乂l-+(+51)-A"+(43+CI).A3e+(^44+£)1)、/z^+(+£1).^5e+(屈+Fl)e+52.^+(53+C2)、+(54+Z)2)+(55+£2).+(56+F2).&6e+C3.+(C4+D3).+(C5+£3)+(C6+F3).36e》10,D4.l+("5+£4)./i45e+(D6+F4)■/246e+£5+(五6+辟A56e+JlA。+(^2+51).&。+("+Cl)九0+(^4+Z)l).、。+(+£1).&。+.(屈+Fl).t+52、。+(53+C2).、+(54+D2).、+(55+£2).&。+(加+F2)、+C3、。+(C4+Z)3).、+(C5+£3).&。+(C6+F3).&。++(D5+£4)./7450+(Z)6+F4)./j46o+£5./t55o+(£6+F5)./j:'56。+》10,爿6.+(+S6).A"+(X4+C6)A化+(+£6)^化+(+£6)./z^+.(^1+F6).+55+(54+C5)+(53+Z)5).+(52+£5)./^化+(別+F5).、+C4.、+(C3+D4).、+(C2+£4)、+(Cl+F4).、+.、+(D2+£3).+(Dl+F3)、+£2.、+(£1+F2).、+》10,屈Am+("+加)九m+("+C6).&m+"3+Z)6).、m++£6).l+'(A+F6).l+55、m+(54+C5).、+(£3+£>5).+(52+£5).+(51+F5).、+C4、+(C3+D4).+(C2+£4).、+(Cl+F4).k+"3./244m/245m+(Dl+F3).A46m+£2.+(£1+尸2).L+》10,这种二维插值滤波器,所有的亚像素点都是采取整像素点的线性加权所得,其中对a,b,c,d,h,1釆取一维6阶插值滤波器,对其他点都利用空间二维36个整像素点线性加权所得到。其中对需要插值的15个点的插值系数由码流解析和计算所得到。现有技术方案二在目前的VCEG提案中还有一种帧级自适应可分离一维插值滤波器,在二维自适应亚像素插值的基础上降低了插值复杂度,其具体插值方式为a=[Cl.、+C2.&。+C3-&+C4/i4a+C5、。+C6&。+27]》86=[(C1+C6).~+(C2+C5).&+(C3+C4).+27]》8c=[Cl、+C2.、+C3.&+C4./4c+C5A5c+C6./z6c+27]8A=[M3+F3).、+(53+£3).、+(C3+D3)'+27〗》8_/=[(、+W./^+(6s+6£).+(6c+6D)-+27]8"[J3、+53、+C3.+乃3.、+£3、+/i6d+27]8/=[X3-+53.~+C3+03、+£3.Zi5,+-&+27]8=、+K+、+(ac+.、+27]》8<formula>formulaseeoriginaldocumentpage7</formula>其中对需要插值的15个点的插值系数由码流解析和计算所得到。现有技术方案三在目前的VCEG提案中还有一种帧级自适应-固定相结合插值滤波器技术,在二维自适应插值的基础上降低了插值复杂度,其具体插值方式为<formula>formulaseeoriginaldocumentpage7</formula>其中对需要插值的15个点的插值系数由码流解析和计算所得到。现有技术分析1.在解码端,由于H.264的1/4精度固定系数亚像素插值技术和VCEG组织所提的1/4精度自适应亚像素插值技术对不同模式的数据块均采取相同的插值滤波器,所以其最大访存大小依赖于插值4*4块模式的最大访存。下面给出不同模式对应的整像素访存大小。在解码端,假设块预测模式为4*4,运动矢量指向参考图象亚像素位置,则解码4*4块需要对参考图象的整像素访存为9*9个整像素。以一个宏块(16*16)为单元,则需要对参考图象的整像素访存为16*9*9=1296个像素。假设块预测模式为4*8或8*4,运动矢量指向参考图象亚像素位置,则解码一个宏块(16*16)单元需要对参考图象的整像素访存为9*13*8=936个整像素假设块预测模式为16*16,运动矢量指向参考图象亚像素位置,则解码一个宏块(16*16)单元需要对参考图象的整像素访存为21*21=441个整像素。假设块预测模式为16*8或8*16,运动矢量指向参考图象亚像素位置,则解码一个宏块(16*16)单元需要对参考图象的整像素访存为21*13*2=546个整像素假设块预测模式为8*8,运动矢量指向参考图象亚像素位置,则解码一个宏块(16*16)单元需要对参考图象的整像素访存为13*13*4=676个整像素表格l.不同块预测模式对应一个宏块整像素访存量<table>tableseeoriginaldocumentpage8</column></row><table>3.在VCEG组织所提的自适应亚像素插值滤波器中,其亚像素插值系数由编码器训练得到,而且整帧图像或整个条带采取相同的一组插值系数。显然,亚像素插值系数的获得和编码图像的纹理信息及运动特性密切相关。在具体编码过程中纹理变化剧烈的区域一般会采取较小的块预测模式来编码,而纹理变化缓慢的区域一般会采取较大的块预测模式来编码。显然,对不同的块预测模式对应的参考图像均采取相同的插值系数是不合适的。由上述分析可知在解码端其最大访存大小依赖于插值4*4块模式的所需最大访存;解码一个亚像素点所需最大操作数依赖于插值4*4块平均所需最大操作数;对不同的块预测模式对应的参考图像均采取相同的插值滤波器是不合适的。
发明内容本发明的目的是为克服已有技术的不足之处,提出一种新的亚像素插值方法,可降低解码器访存,减少解码器复杂度,提高编码性能。本发明提出的一种插值滤波方法,其特征在于,该方法为在解码器端,从码流中解析得到两组亚像素插值系数,用于不同模式的数据块的插值滤波器。上述方法具体包括以下步骤在解码过程中,当数据块预测模式为8*4,4*8,4*4,当运动矢量指向参考图像亚像素位置时,其参考图像亚像素点采取4阶插值滤波器内插得到。当数据块为预测模式为16*16,16*8,8*16,8*8,当运动矢量指向参考图像亚像素位置时,其参考图像亚像素点采取6阶插值滤波器插值得到。上述数据块可以是矩形象素矩阵,也可以是不规则紧密排列的象素集。上述图象可以是静止图像,图像序列中的一幅图像,原始图像,经过处理的图像,包括逐行和隔行图像。本发明的特点及效果按照此发明,不仅仅可以大大减少解码器的插值亚像素点的所需的访存量及计算复杂度,而且编码性能相对于VCEG组织里所提的一些技术方案在高清序列上有一定的提高。具体实施例方式本发明提出的一种亚像素插值方法,以自适应-固定相结合插值滤波器技术为实施例,具体步骤如下1.在解码端,首先解析码流,得到两组插值滤波器系数,其中一组插值滤波器系数用于6阶插值滤波器,另外一组插值系数用于4阶插值滤波器。2.首先解码获得当前数据块的模式信息,假设数据块的预测模式为16*16,16*8,8*16,8*8,运动矢量指向参考图像亚像素位置。则根据解析码流所得插值滤波器系数和如下插值方式来获得参考图像亚像素值。根据亚像素点位置的不同其具体插值方式为-.6=[(C1+C6).+(C2+C5)■+(C3+C4)-+128]>〉8》8c=[Cl-/z6c+C2.&+C3./z4c+C4.&+C5&+C6l+127]8/=A+//2十/z'A+//4A,+《A,+《+128]》8<formula>formulaseeoriginaldocumentpage10</formula>其中在插值过程中所用到的//;,《,a',//4,《,//6,&,6',6。,&,^均由固定系数滤波器产生,如6'=[(C1+C6)-5-(C2+C5)+20-(C3+C4)+16]》5/z'=[(+F3)—5.(S3+£3)+20.(C3+D3)+16]5其中对需要插值的15个亚像素点的插值系数对应码流解析的第一组插值滤波器系数3.假设数据块的预测模式为8*4,4*8,4*4,运动矢量指向参考图像亚像素位置。则根据解析码流所得另外一组插值滤波器系数和如下插值方式来获得参考图像亚像素值。根据亚像素点位置的不同其具体插值方式为6=[(C2+C5).~+(C3+C4)、+128]>>8a=[C2l+C3.+C4-&。+C5./24。+128]》8c=[C2.&+C3+C4-&+C5.、■+127]》8<formula>formulaseeoriginaldocumentpage10</formula><formula>formulaseeoriginaldocumentpage11</formula>其中在插值过程中所用到的《,//2,/2,//4,//;,//6,《,&,6',6。,6£,^均由固定系数滤波器产生,如(C2+C5)+5-(C3+C4)+4]》3(S3+五3)+5-(C3+D3)+4]3其中对需要插值的15个亚像素点的插值系数对应码流解析的第二组插值滤波器系数.实施例分析按照这种插值方式,分析最大访存可知其最大访存为一个宏块整像素访存量784个像素。相对于现有技术方案的最大访存1296个整像素,减少了40%表格3.不同块模式对应一个宏块整像素访存量<table>tableseeoriginaldocumentpage11</column></row><table>按照这种插值方式,解码一个亚像素点所需最大操作数27.625,而VCEG技术方案3所需最大操作数为33.25,复杂度减少了17%表格4.不同块模式对应插值每个亚像素点所需插值系数技术方案VCEG技术方案3本发明插值亚像素点所需最大操作数33.2527.62权利要求1、一种亚像素插值方法,其特征在于,在视频编解码中,参考图像亚像素点的插值方式及其所对应的插值系数与当前编解码图像对应编解码宏块的模式信息相关。2、一种亚像素插值方法,其特征在于,在视频编码中,在码流中传输两组或多组亚像素插值系数全部或部分信息;在视频解码中,按照约定的解析方式,通过解析码流,可以获得两组或多组亚像素插值系数的全部或部分信息;这些插值系数用于不同模式图象块的亚象素精度插值。3、如权利要求2所述方法,其特征在于,解码器通过已得的当前和,或者相邻数据块的模式信息来选择当前解码数据块的适用的插值滤波器。全文摘要本发明涉及一种插值滤波方法,属于视频压缩
技术领域:
,该方法为在解码器端,从码流中解析得到两组亚像素插值系数,用于不同模式的数据块的插值滤波器。本发明可降低解码器访存,减少解码器复杂度,提高编码性能。文档编号H04N7/26GK101350925SQ20081011649公开日2009年1月21日申请日期2008年7月11日优先权日2008年7月11日发明者芸何,吴仲谋申请人:清华大学