专利名称：：一种基于动态纹理合成的虚拟参考图像选择方法
技术领域：
：本发明涉及视频编码
技术领域：
，尤其涉及一种基于动态纹理合成的虚拟参考图像选择方法。
背景技术：
：现有视频编码技术中的帧间预测技术是将前面多帧的重构图像作为当前帧的参考图像，对其进行时域预测来减小残差数据量。由于参考图像和当前图像之间存在时间的延迟，因此对于非线性运动、背景光照变化等序列预测效率较低。虽然有学者提出了基于动态纹理合成的虚拟参考图像技术(参见文献A.Stojanovic,M.Wien,J.R.Ohm.DynamictexturesynthesisforH.264/AVCintercoding:Proceedingsofthe15thIEEEInternationalConferenceonImageProcessing,SanDiego，California,USA,2008:1608-1611)，其在一定程度改善了帧间预测的效率，但是由于该模型求解方法存在缺陷，该方法虽然对于部分序列有所增益，整体来看则有一定程度的损失。
发明内容本发明的目的是提供一种基于动态纹理合成的虚拟参考图像选择方法，通过求解动态纹理模型合成一帧虚拟图像，将其引入帧间预测的虚拟参考图像选择方法中，提升帧间预测的效率。为达到上述目的，本发明采用如下的技术方案一种基于动态纹理合成的虚拟参考图像选择方法，包括以下步骤输入编码端参考图像列表中的n帧参考图像，所述n》2;利用动态纹理模型生成一帧虚拟图像；将上述虚拟图像作为一帧参考图像供编码器处理；编码器从真实参考图像和上述虚拟图像中进行匹配搜索；计算获得最佳预测模型和参考帧。所述利用动态纹理模型生成一帧虚拟图像的步骤进一步包括以下子步骤-(1)记JXyp力,……;O为编码端参考图像列表中的n帧参考图像的亮度和色度值矩阵，每列中依次存放了一帧中所有像素的亮度值和色度值；(2)^W为奇异值分解法，对Y进行奇异值分解得到t/,S,r共3个矩阵(3)取出矩阵t/中l"列的所有元素，形成矩阵C/7W:<formula>formulaseeoriginaldocumentpage5</formula>(4)将矩阵S中的lw行、1w列的元素形成矩阵S(l:",l:")，将矩阵F中1"列的所有元素形成矩阵r(:,l:")并对其求转置得到矩阵(K(:,l:"))'，然后把S(l:",1:")和(7(:,1:n))'相乘得到矩阵屈加<formula>formulaseeoriginaldocumentpage5</formula>(5)取出矩阵^Mr中的第一列元素形成矩阵xO:(6)取出矩阵屈加中2"列的所有元素形成矩阵J^说(:，2^)，取出矩阵^w/中1)列的所有元素形成矩阵(^af(:，l:("-1))，并对其求广义逆矩阵pfm;(^7jaf(:,l:("-1)))，然后把WaK:,2:")和/iw(Wa":,1:("—1)))相乘得到矩阵v4/a"屈a=2:")*//"v(J^(:，1:("一l)))(7)取出矩阵，W中2w列的所有元素形成矩阵；^加(:,2:")，取出矩阵屈W中1)列的所有元素形成矩阵a^《'.,l:(n-1))，将步骤(6)得到的屈W与(WaK:,1:("-1))相乘，然后把J^W(:,2:")和屈a,*屈a/(:,1:("-1))相减得到Mw:,=Wa《:，2:")—勘f*1:(n—1))(8)对进行奇异值分解得到f/v，Sv,Fv共3个矩阵HK)=m/，a/,0)(9)取出矩阵R中1口("-2)列的所有元素，即R(1:("-2))，取出矩阵&中卜(《-2)行，—2)列的元素，即Sv(l:("-2),l:(w—2)),对"—l开方，即^fW("-l)，把"v(1:("—2))和&(1:("—2),1:("-2))相乘然后除以丰("—1)得到朋":<formula>formulaseeoriginaldocumentpage5</formula>(11)把xO作为矩阵;c的第一列元素Z(:,l)-x0(12)设变量/,对/进行n次循环赋值将矩阵I的第r列的元素形成矩阵Z(:力，将1(:力和矩阵v4/^进行相乘，得到^^a严I(:,0，构造/e"行l列的伪随机序列ra"^(/en,1)，将禾nram/"(/e",1)相乘得至ij5tof*ram/"(/e",l)，得到然后将爿/w"I(:力和^w"m"办(/e",l)相加，结果作为矩阵义第f+l列的值W+l);再把矩阵Z第？+1列的元素形成矩阵Z(:,"1)，将X(:,"1)和矩阵0^进行相乘，结果作为矩阵/第"l列/=1:/+1)-勘"Z(:,r)+朋加*ra油(/e",1)/(:，f+l)=C7zad(:,,+l)(13)将得到的矩阵/中的第n+l列的值作为虛拟图像的亮度和色度值矩阵/=/(:,,+1)。所述编码器从真实参考图像和上述虚拟图像中进行匹配搜索的步骤中，匹配搜索的方法是编码器默认采用的匹配搜索方法。本发明具有以下优点和积极效果-1)通过求解动态纹理模型合成一帧虚拟图像，将其引入帧间预测的虚拟参考图像选择算法中，提升帧间预测的效率。图1是本发明提供的基于动态纹理合成的虚拟参考图像选择方法的流程图。其中，Sl—输入编码端参考图像列表中的n帧参考图像，S2—利用动态纹理模型生成一帧虚拟图像，S3—将上述虚拟图像作为一帧参考图像作为一帧参考图像供编码器处理，S4—编码器从真实参考图像和上述虚拟图像中进行匹配搜索，S5—计算获得最佳预测模型和参考帧。具体实施例方式下面以具体实施例结合附图对本发明作进一步说明本发明提供的基于动态纹理合成的虚拟参考图像选择方法，具体采用如下技术方案，参见图1，包括以下步骤-Sl:输入编码端参考图像列表中的n帧参考图像，所述n》2;S2:利用动态纹理模型生成一帧虚拟图像；S3:将上述虚拟图像作为一帧参考图像供编码器处理；S4:编码器从真实参考图像和上述虚拟图像中进行匹配搜索；S5:计算获得最佳预测模型和参考帧。下面进一步描述在具体实施环境下的详细过程，以及取得的技术效果采用H.264的参考软件JM12.4作为编码器，编码类型为IPPPPP，参考帧个数为5，打开RDO选项，选取QCIF分辨率大小(176X144)的"container"序列作为测试序列，以编码container序列中第11帧图像为例，具体实施步骤如下1、输入编码端参考图像列表中的5帧参考图像；2、利用动态纹理模型生成一帧虚拟图像，进一步包括以下子步骤-(1)记7{>1，;;2，……y5)为编码端参考图像列表中的5帧参考图像(即contaier序列中的第610帧的重构图像)的亮度和色度值矩阵，每列中依次存放了一帧中所有像素的亮度值和色度值。(2)sW为奇异值分解法，对Y进行奇异值分解得到C/,S,K共3个矩阵(3)取出矩阵t/中l5列的所有元素，形成矩阵C/7加C/W=f/(:,1:5)(4)将矩阵S中的15行、15列的元素形成矩阵S(1:5,1:5)，将矩阵F中15列的所有元素形成矩阵7(:,1:5)并对其求转置得到矩阵(F(:,1:5))'，然后把S(l:5,1:5)和(F(:,l:5))'相乘得到矩阵，加勘f=5(1:5,1:5"(7(:,1:5))'(5)取出矩阵屈"f中的第一列元素形成矩阵XO:xO二勘":，l)(6)取出矩阵為W中2~5列的所有元素形成矩阵2:5)，取出矩阵中1~4列的所有元素形成矩阵(^to(:，l:4)，并对其求广义逆矩阵p/m;(J^W(:,l:4))，然后把屈W(:,2:5)和/7/"v(，W(:,1:4))相乘得到矩阵爿/^:JAaf-J^a":，2:5)*1:4))(7)取出矩阵屈加中2~5列的所有元素形成矩阵A7z加(:,2:5)，取出矩阵J^w,中1~4列的所有元素形成矩阵(，W(:,1:4)，将步骤(6)得到的屈W与(1加(:,1:4)相乘，然后把la":，2:5)和^to^*1:4)相减得到P7加=勘":，2:5)—爿to*齒/(:,1:4)(8)对M加进行奇异值分解得到^,&,K共3个矩阵(C/v,Sv,^)=sw/(F^,0)(9)取出矩阵R中1口3列的所有元素，即f/"l:3),取出矩阵&中l3行，1~3列即&(1:3,1:3)，对4开方，即丰(4)，把f/v(l:3)和&(1:3,1:3)相乘然后除以W(4)得到朋W:朋a,-R(1:3)*&(1:3,1:3)/丰(4)(10)求出朋W的列数，作为/e"的值，此时/^=3(11)把XO作为矩阵X的第一列元素(12)设变量"对f进行5次循环赋值将矩阵JT的第/列的元素形成矩阵Z(:力，将X(:力和矩阵^^进行相乘，得到屈""X(:力。构造3行l列的伪随机序列ra"d"(3,1)，将朋W禾卩rawc/"(3,1)相乘得到5力a"ra"i/"(3,1)，得到然后将爿/z""X(:,0和5/w"ra"i/"(3,1)相加，结果作为矩阵X第"1列的值X(:，Z+1);再把矩阵X第"1列的元素形成矩阵Z(:,f+1)，将Z(:"+l)和矩阵Oiaf进行相乘，结果作为矩阵J第f+l列/(:J+l):/o"=1:5r+1)=爿/za/*Z(:,0+*m"^(3,1)8/(:,"l)=C/u^*X(:,"l)(13)将得到的矩阵/中的第6列的值作为虚拟图像的亮度和色度值矩阵/=/(:,"1)3、将上述虚拟图像作为一帧参考图像供编码器处理；4、编码器从真实参考图像和上述虚拟图像中进行匹配搜索；上述匹配搜索的方法是编码器默认采用的匹配搜索方法。5、计算获得最佳预测模型和参考帧。本发明所取得的技术效果如下-本实施例对QCIF格式的container序列进行了测试。编码帧数为300帧，顺序为IPPPPPP。将本发明所提出的方法和H.264标准算法进行了比较，编码图像的峰值信躁比PSNR增益和码率节省结果如表1所示，从中可以看出本发明具有更佳的压缩效率。表l:container序列测试结果:<table>tableseeoriginaldocumentpage9</column></row><table>权利要求1.一种基于动态纹理合成的虚拟参考图像选择方法，其特征在于，包括以下步骤输入编码端参考图像列表中的n帧参考图像，所述n≥2；利用动态纹理模型生成一帧虚拟图像；将上述虚拟图像作为一帧参考图像供编码器处理；编码器从真实参考图像和上述虚拟图像中进行匹配搜索；计算获得最佳预测模型和参考帧。2.根据权利要求l所述的基于动态纹理合成的虚拟参考图像选择方法，其特征在于所述利用动态纹理模型生成一帧虚拟图像的步骤进一步包括以下子步骤-(1)记y(M,A,……凡)为编码端参考图像列表中的n帧参考图像的亮度和色度值矩阵，每列中依次存放了一帧中所有像素的亮度值和色度值；(2)Wd为奇异值分解法，对Y进行奇异值分解得到f/,S,F共3个矩阵(3)取出矩阵f/中l"列的所有元素，形成矩阵C/^/:Cto=f/(:,1:")(4)将矩阵S中的ln行、1n列的元素形成矩阵S(l^,l:w)，将矩阵K中1"列的所有元素形成矩阵并对其求转置得到矩阵(F(:,1:"))'，然后把S(1^，1:m)和:m))'相乘得到矩阵，W:勘f=S(l:"，l:w)*(F(:，l:"))，(5)取出矩阵^7wr中的第一列元素形成矩阵x0:(6)取出矩阵Waf中2n列的所有元素形成矩阵屈a":,2:")，取出矩阵^W中1("-1)列的所有元素形成矩阵(屈加(:,1:("-1》，并对其求广义逆矩阵/7/"v(^7w":,l:("—1)》，然后把，W(:,2:")和；/"v(^zaf(:,1:("-l)))相乘得到矩阵Jtof:=(:，2:")*p/"v(屈a":,1:("-1)))(7)取出矩阵^2加中2w列的所有元素形成矩阵^a/(:,2:")，取出矩阵^W中1(n-1)列的所有元素形成矩阵1:("-1))，将步骤(6)得到的I加与(iW(:,1:("—1))相乘，然后把勘f(:,2:")和屈"":("一l))相减得到:<formula>formulaseeoriginaldocumentpage3</formula>(8)对Maf进行奇异值分解得到UV,SV,FV共3个矩阵<formula>formulaseeoriginaldocumentpage3</formula>(9)取出矩阵R中1□O-2)列的所有元素，即t/v(1:("-2))，取出矩阵&中1("-2)行，—2)列的元素，即&(1:("一2),1:("-2))，对"—l开方，即^W("—1)，把^/"l:("一2))和&(1:("-2),l:(n-2))相乘然后除以丰("-1)得到胸,:<formula>formulaseeoriginaldocumentpage3</formula>(10)求出朋加的列数，作为/e"的值；(11)把XO作为矩阵X的第一列元素<formula>formulaseeoriginaldocumentpage3</formula>(12)设变量"对f进行n次循环赋值:将矩阵I的第Z列的元素形成矩阵义(:力，将X(:力和矩阵^/;ar进行相乘，得到^;""I(:，/)，构造/ew行l列的伪随机序列ra"^(/ew,1)，将S/^和raw/"(/ew,1)相乘得到5/w"ra"d"(/e",1)，得到然后将^to"X(:力和5/a"ram;K/ew,l)相加，结果作为矩阵X第f+l列的值x(:,f+l);再把矩阵Z第f+l列的元素形成矩阵Z(:,f+l)，将Z(^+l)和矩阵C/^进行相乘，结果作为矩阵/第,+l列/(:，f+l):<formula>formulaseeoriginaldocumentpage3</formula>(13)将得到的矩阵/中的第n+l列的值作为虚拟图像的亮度和色度值矩阵<formula>formulaseeoriginaldocumentpage3</formula>3.根据权利要求1或2所述的基于动态纹理合成的虚拟参考图像选择方法，其特征在于所述编码器从真实参考图像和上述虚拟图像中进行匹配搜索的步骤中，匹配搜索的方法是编码器默认采用的匹配搜索方法。全文摘要本发明涉及视频编码
技术领域：
，尤其涉及一种基于动态纹理合成的虚拟参考图像选择方法。本发明包括以下步骤输入编码端参考图像列表中的n帧参考图像，所述n≥2，利用动态纹理模型生成一帧虚拟图像，将上述虚拟图像作为一帧参考图像供编码器处理，编码器从真实参考图像和上述虚拟图像中进行匹配搜索，计算获得最佳预测模型和参考帧。本发明通过求解动态纹理模型合成一帧虚拟图像，将其引入帧间预测的虚拟参考图像选择算法中，提升帧间预测的效率。文档编号H04N7/32GK101674483SQ20091027228公开日2010年3月17日申请日期2009年9月28日优先权日2009年9月28日发明者丹毛,王师峥,胡瑞敏,胡金晖,睿钟,皓陈申请人:武汉大学