专利名称：基于率失真优化的运动预测方法
技术领域：
本发明涉及视频图像处理技术领域，尤其涉及一种基于率失真优化的运动预测方法。
背景技术：
目前，由联合视频组(JVT，Joint Video Team)制定的、代表最先进视频图像压缩技术的H.264标准，由于其采用了基于率失真优化的运动预测和模式选择，以及多参考帧等先进的视频编解码技术，因此H.264标准与已有视频编解码标准相比具有更出色的率失真优化性能。
其中在H.264标准中，基于率失真优化的运动预测过程包括整像素运动搜索子过程和分数像素精化子过程；而对于整像素运动搜索子过程是指为每一种可用模式在所有可用参考帧内搜索最优的运动矢量，即搜索最优的运动矢量参考帧组合(v，Δ)*，使得拉格朗日函数取得最小值；其中拉格朗日函数如下J(v，Δ)＝DDFD(v，Δ)+λMOTION·RMOTION(v，Δ)上述函数中，J表示拉格朗日函数代价值；(v，Δ)表示(运动矢量，参考帧)组合；DDFD表示帧间运动预测误差(DFD，displaced frame difference)，其中使用当前图像宏块与参考图像相应部分差值的绝对值和(SAD，sum of absolutedifference)来作为DDFD的测度；RMOTION表示编码运动信息(编码运动信息包括运动矢量和参考帧信息)所需的比特数，其中编码运动信息所需的比特数通过查询统一变字长编码表(UVLC，Universal Variable Length Codes)得到；λMOTION表示拉格朗日乘子，在H.264标准中规定λMOTION=0.85×2QP/3,]]>其中该式中Qp为预测量化系数。
上述整像素运动搜索子过程后，进一步在得到的运动矢量附近进行分数像素精化子过程的处理，其中对于视频图像中的亮度信号最终可以获得1/4像素精度的运动矢量。
然而，上述基于率失真优化的运动预测方法只能够在无误码传输环境下良好的工作，因为压缩后的视频编码数据对误码传输非常敏感，在有误码的情况下，帧间运动预测可能会引起严重的误码扩散问题，尤其是在由于传输信道质量问题所引起的数据包丢失情况下，且由于解码端受到传输时延的限制，使传统的抗误码方法无法得到有效应用，因此解码端的图像恢复将受到误码扩散的严重影响。
针对上述的误码扩散问题，H.264标准自身具有一定的抗误码能力，例如，H.264标准可以支持用于抗误码及抗丢包的宏块级的帧内刷新，其帧内刷新技术旨在通过帧内编码来防止帧间运动预测所引起的误码传输。然而H.264标准目前所使用的帧间运动预测方法并不考虑参考图像区域的可靠性，即不判决参考图像区域的正确性，这样出错概率很大的帧间编码像素点所形成的图像区域就有可能作为参考图像区域，因此在这种帧间运动预测方式下来使用帧内刷新技术仍然无法完全防止误码扩散现象的发生。
请同时参阅图1A，图1B和图1C，对于H.264标准所采用的帧内刷新技术，图像编码数据由于传输信道质量问题而引起数据包丢失后，在解码端恢复图像会有图1A、图1B和图1C的显示效果。其中图1A、图1B和图1C中灰色带部分是数据包丢失后所引起的图像恢复错误情况，图1A、图1B和图1C分别对应解码端的第n帧，第n+1帧和第n+2帧。从图1B中可明显看出，经过第n+1帧的帧内刷新处理，图1A中第n帧的误码情况明显得到了一定的改善；然而由于H.264运动预测过程并未考虑参考帧的正确性，这样图1C中第n+2帧参考了第n+1帧之前以及第n+1帧的错误图像区域，因此经第n+1帧的帧内刷新后的宏块在图1C中的第n+2帧又重新出现误码条带，由此可见H.264标准的帧内刷新技术并未能完全防止误码扩散现象的发生。
目前，国际上已经提出了一些运动预测方法，可以在误码或传输信道数据包丢失的情况下，使运动矢量尽可能参考较可靠的参考图像部分，从而达到防止误码扩散现象发生的目的。其中主要包括以下两种第一种是针对多参考帧视频编码方案的基于率失真优化的运动补偿预测方法；该方法使用简单的错误跟踪(Error Tracking)技术在编码端估算信道传输丢包情况下解码端的预测误差，从而使拉格朗日率失真优化获得在信道传输丢包环境下更为优化的运动矢量，该方法的具体技术方案如下在传输信道丢包率一定的情况下，搜索最优的运动矢量参考帧组合(v，Δ)*，使得拉格朗日函数取得最小值；拉格朗日函数如下J(v，Δ)＝DD(v，Δ)+λMOTION·RMOTION(v，Δ)其中J表示拉格朗日函数代价值；(v，Δ)表示(运动矢量，参考帧)组合；DD表示解码端的运动预测误差，设DDFD(v，Δ)为帧间运动预测误差(即编码端的运动预测误差)，使用差值信号的平方和(SSD，sum of squareddifference)作为测度，则DDFD(v，Δ)在解码端对应于完全无错解码情况下的运动预测误差；则经过信道传输丢包后，解码端的运动预测误差DD可利用DDFD(v，Δ)以及有误码情况下编、解码端运动预测误差的差值D′ERR(v，Δ)来进行近似，即D′ERR(v，Δ)＝DD-DDFD(v，Δ)，则DD＝DDFD(v，Δ)+D′ERR(v，Δ)；RMOTION表示编码运动信息所需的比特数，其中编码运动信息所需的比特数通过查询统一变字长编码表(UVLC，Universal Variable Length Codes)而得到；λMOTION表示拉格朗日乘子，在H.264标准中规定λMOTION=0.85×2QP/3,]]>其中该式中QP为预测量化系数。
如果设DERR(v，Δ)对应于上述错误跟踪得到的编解码端预测误差的差值，因此D′ERR(v，Δ)可以通过对DERR(v，Δ)加权得到；即
D′ERR(v，Δ)≈kDERR(v，Δ)其中k表示加权系数；则这种方法实际的运动预测过程为搜索最优的运动矢量参考帧组合(v，Δ)*，使得拉格朗日函数取得最小值；这时拉格朗日函数具体表示方式如下J(v，Δ)＝DDFD(v，Δ)+kDERR(v，Δ)+λMOTION·RMOTION(v，Δ)由于这种针对多参考帧视频编码方案的基于率失真优化的运动补偿预测方法仅使用了简单的错误跟踪(ET)技术，且仅考虑了以下两种错误情况(1)如果参考图像区域部分传输出错，采用正确的图像区域进行误码掩盖；(2)参考图像区域部分正确接收，但是该参考图像区域部分却参考了经过误码掩盖的图像区域。
基于上述情况，这种针对多参考帧视频编码方案的基于率失真优化的运动补偿预测方法还存在如下的不足A、仅使用编解码端运动预测误差以及编码运动信息的比特数进行率失真优化，并没有考虑解码端图像恢复的真正运动预测误差和编码运动信息补偿所需的所有比特数，因此由于误码或传输信道丢包现象对于运动预测误差的影响并不能很好反映其对解码端解码重建图像失真的影响，因此该方法提出的运动预测方法并不能获得最优的端到端率失真优化性能。
B、在估算解码端运动预测误差DD的过程中，使用了一个加权因子k，加权因子k的取值是通过实验得到的，而并没有指出获得加权因子k的具体方法。可见加权因子k的选择是一个不确定的过程，因此这种方法不适于实际应用。
第二种是针对H.264标准中的多参考帧模式与帧内刷新抗误码技术相结合时可能出现的误码扩散问题，而提出的一种限制参考帧的运动预测方法；该方法在模式选择过程中监测每一种模式最终选择的运动矢量，若其选择的运动矢量所参考的图像区域在后续参考帧中进行了帧内刷新处理，则可以认为此参考图像区域不可靠，从而限制不使用该选择的运动矢量参考帧组合。该方法的具体技术方案如下所示
第一步，对于每一当前宏块的所有可用模式分别在各个参考帧内进行运动预测搜索，并使用拉格朗日函数来优化搜索得到的对应于每一种模式的运动矢量。
第二步，对上述得到的各模式的运动矢量进行监测，如果某种模式的最优运动矢量参考的图像区域部分在参考帧序列中的后续帧中进行了帧内刷新处理，则排除参考这一模式及参考帧组合。
第三步，通过率失真优化的模式选择过程在经过上述限制处理后的帧间模式以及帧内模式集合中选择最优的模式进行编码处理。
上述在限制参考帧的运动预测方法中，其运动预测搜索过程与无误码情况下的运动预测搜索过程是相同的，仅仅是在运动矢量确定之后对参考帧进行了一定的限制。由此这种方法可能存在会丢弃对于编码非常有用的较可靠参考帧的问题，而且该方法没有基于拉格朗日函数率失真优化控制，因此也不能获得较好的率失真优化性能。
发明内容
本发明要解决的技术问题是提出一种基于率失真优化的运动预测方法，以抑制视频传输所引起的误码扩散，进而获得较好的率失真优化性能。
为解决上述问题，本发明这里提出了一种基于率失真优化的运动预测方法，包括步骤(A)编码端估算经过信道传输后解码端重建图像相对于原始图像的失真值；(B)编码端估算运动搜索过程中编码运动信息和帧间运动预测误差所需要的比特数；(C)编码端基于步骤(A)所得的失真值和步骤(B)所得的比特数来进行率失真优化运动预测处理。
所述步骤(A)的失真值包括解码端正确接收的、且参考图像完全正确的重建图像相对于原始图像的第一失真值；及解码端正确接收的、但参考图像出现错误的重建图像相对于原始图像的第二失真值。
所述第一失真值用编码端重建图像与原始图像之间的差值绝对值和或差值平方和进行表示，如下Dn,B(s)(v,Δ)=αΣ(i,j)∈BqΔi+vx,j+vy.]]>其中Dn，B(s)为第一失真值；v为运动矢量；Δ为参考图像块中的参考帧；B为参考图像块；(i，j)为参考图像块中的坐标点；vx、vy分别是运动矢量v的水平、垂直分量；q为求取参考图像正确概率的函数；α为平均每像素编码失真的近似值。
所述参考图像出现错误的情况包括参考图像中的相关数据帧在信道传输过程中丢失；和参考图像自身所参考的参考图像中的相关数据帧在信道传输过程中丢失。
其中步骤(B)中所述运动搜索过程为整象素运动搜索过程；或分像素运动搜索过程；或整象素运动搜索过程结合分象素运动搜索过程。
所述步骤(B)中编码运动信息所需要的比特数根据编码运动信息查询统一变字长编码表得到。
所述步骤(B)中帧间运动预测误差所需要的比特数根据帧间运动预测误差的差值绝对值和或差值平方和进行估计。
所述步骤(C)进一步包括步骤(C1)计算用差值绝对值和表示第一失真值情况下，信道传输丢包环境下的拉格朗日乘子；或计算用差值平方和表示第一失真值情况下，信道传输丢包环境下的拉格朗日乘子；
(C2)利用信道传输丢包环境下的拉格朗日乘子对步骤(A)所得的失真值和步骤(B)所得的比特数计算拉格朗日函数最小值。
其中步骤(C1)中所述用差值绝对值和表示第一失真值情况下，信道传输丢包环境下的拉格朗日乘子通过下面公式求得λ′=(1-p)*pc*λm]]>其中λ′为用差值绝对值和表示第一失真值情况下，信道传输丢包环境下的拉格朗日乘子；P为信道传输丢包率；Pc为参考图像部分正确的平均概率；λm为模式选择所用的拉格朗日乘子。
其中步骤(C1)中所述用差值平方和表示第一失真值情况下，信道传输丢包环境下的拉格朗日乘子通过下面公式求得λ′＝(1-p)*Pc*λm其中λ′为用差值平方和表示第一失真值情况下，信道传输丢包环境下的拉格朗日乘子；P为信道传输丢包率；Pc为参考图像部分正确的平均概率；λm为模式选择所用的拉格朗日乘子。
所述参考图像部分正确的平均概率Pc通过下面公式求得pc=Σ(i,j)∈BqΔi+vx,j+vy/NB]]>其中B代表参考图像块；NB为参考图像块的大小；(i，j)为参考图像块中的坐标点；Δ为参考图像块中的参考帧；vx、vy分别是运动矢量v的水平、垂直分量；q为求取参考图像正确概率的函数。
所述编码运动信息包括运动矢量信息和参考帧信息。
本发明能够达到的有益效果如下由于本发明基于率失真优化的运动预测方法在传输信道存在丢包的情况下，由编码端估计经过信道传输后解码端重建图像相对于原始图像的总失真值，并估计运动搜索过程中编码运动信息和帧间运动预测误差所需要的总比特数，然后使用估计得到的总失真值和总比特数来进行基于率失真优化的运动预测处理，旨在根据率失真优化原则来权衡编码效率和参考图像的可靠性，在一定信道传输丢包情况下搜索到最优的运动矢量，从而实现了对视频传输所引起的误码扩散进行抑制的目的，有效地提高了丢包情况下解码端重建图像的主客观质量，因此获得了较好的率失真优化性能。
图1A、图1B和图1C是采用H.264标准中的帧内刷新技术后的解码端图像恢复情况示意图；图2是本发明基于率失真优化的运动预测方法的实现原理流程图。
具体实施例方式
本发明基于率失真优化的运动预测方法设计宗旨是根据视频通信系统的传输信道状况，在编码端估算经过信道传输后解码端重建图像相对于原始图像的失真值，及估算编码端在运动搜索过程中编码运动信息和帧间运动预测误差所需要的比特数，然后基于率失真优化原则对估算得到的失真值和所需的比特数进行运动预测处理。
下面结合附图对本发明基于率失真优化的运动预测方法的具体实施进行详细阐述。请参阅图2，该图是本发明基于率失真优化的运动预测方法的实现原理流程图；其实现过程包括如下步骤步骤S10，编码端估算经过信道传输后解码端重建图像相对于原始图像的失真值；步骤S20，编码端分别估算运动搜索过程中编码运动信息所需要的比特数和帧间运动预测误差所需要的比特数；其中编码端可以分别估算整象素运动搜索过程中编码运动信息所需要的比特数和帧间运动预测误差所需要的比特数，也可以分别估算分象素运动搜索过程中编码运动信息所需要的比特数和帧间运动预测误差所需要的比特数；或者分别估算整象素运动搜索过程结合分像素运动搜索过程中编码运动信息所需要的比特数和帧间运动预测误差所需要的比特数。
步骤S30，编码端基于步骤S10所得的失真值和步骤S20所得的比特数来进行基于率失真优化的运动预测处理。
其中上述步骤S30中编码端基于率失真优化原则的运动预测处理过程包括如下步骤首先计算信道传输丢包环境下的拉格朗日乘子；编码端再利用信道传输丢包环境下的拉格朗日乘子对估算得到的失真值和所需要的比特数计算拉格朗日函数最小值。
例如，编码端对于参考图像的第n帧的B块(假设其中该参考图像块B的大小NB)在运动搜索过程中，寻找最优的运动矢量参考帧组合(v，REF)n，B*，以使得下列拉格朗日函数具有最小值(v,Δ)n,B*=argmin(v,Δ)∈V(Dn,B(v,Δ)+λ′·Rn,B(v,Δ))]]>上式中，V为全部搜索范围；Dn，B(v，Δ)即为编码端估算的经过信道传输后解码端重建图像相对于原始图像的失真值；Rn，B(v，Δ)即为编码端估算的运动搜索过程中编码运动信息所需要的比特数和帧间运动预测误差所需要的比特数之和；λ′即为信道传输丢包环境下使用的拉格朗日乘子；(v，Δ)n，B*为(运动矢量v，参考帧Δ)组合。
下面结合上例介绍编码端估算经过信道传输后解码端重建图像相对于原始图像的失真值的过程其中经过信道传输后解码端重建图像相对于编码端发送的原始图像的失真值可看作由三部分组成；第一部分为解码端正确接收的、且参考图像完全正确的重建图像相对于原始图像的第一失真值Dn，B(s)，这部分失真是指对应于解码端完全正确接收当前图像部分数据，并接收的图像部分的参考图像部分完全正确无误码的情况，即第一失真值Dn，B(s)和编码端的重建图像相对于原始图像的失真值相等，即只是编码过程产生的运动失真，而没有因为信道传输过程引起的失真存在。第一失真值Dn，B(s)使用编码端重建图像与原始图像之间的差值绝对值和或差值平方和来进行表示，如下Dn,B(s)(v,Δ)=αΣ(i,j)∈BqΔi+vx,j+vy.]]>上式中Dn，B(s)为第一失真值；B为参考图像块；v为运动矢量；Δ为参考图像块B中的参考帧；(i，j)为参考图像块B中的坐标点；vx、vy分别是运动矢量v的水平、垂直分量；q为求取参考图像正确概率的函数；α为平均每像素编码失真的近似值。
第二部分为解码端正确接收的、但参考图像出现错误的重建图像相对于原始图像的第二失真值Dn，B(ep)，这部分失真主要为信道传输丢包引起的，对应于解码端正确接收当前图像部分数据，但是接收的图像部分的参考图像部分由于信道传输丢包而引起出现错误的情况。但是精确的错误跟踪将会大大增加系统的运算量，并且由于某些情况如沿错误跟踪某条“支路”连续出现包丢失的情况出现的概率是非常小的，因此本发明这里采用简单的错误跟踪技术，即将这部分失真Dn，B(ep)近似考虑为参考图像中的相关数据帧在信道传输过程中丢失以及参考图像自身所参考的参考图像中的相关数据帧在信道传输过程中丢失，即参考图像本身数据被接收端正确接收，但参考图像的参考图像出现数据帧丢失。
第三部分为误码掩盖失真Dn，B(ec)，因为误码掩盖失真在编码过程中不受运动搜索过程的影响，因此本发明对这部分失真Dn，B(ec)在最终的率失真优化过程中将不予考虑。
如果考虑误码掩盖失真Dn，B(ec)，则编码端估算的经过信道传输后解码端重建图像相对于原始图像的失真值Dn，B(v，Δ)就为上述三种失真和，具体如下Dn,B(v,Δ)=(1-p)(Dn,B(s)(v,Δ)+Dn,B(ep)(v,Δ))+p·Dn,B(ec)(v,Δ)]]>
上式中，p为信道传输丢包率；而如果不考虑误码掩盖失真Dn，B(ec)，则编码端估算的经过信道传输后解码端重建图像相对于原始图像的失真值Dn，B(v，Δ)就为(Dn，B(s)(v，Δ)和Dn，B(ep)(v，Δ)之和，具体如下Dn,B(v,Δ)=(1-p)(Dn,B(s)(v,Δ)+Dn,B(ep)(v,Δ)).]]>下面再结合上例介绍编码端估算在运动搜索过程中编码运动信息所需要的比特数和帧间运动预测误差所需要的比特数之和Rn，B(v，Δ)的过程其中Rn，B(v，Δ)主要包括两部分1)用于编码运动信息(编码运动信息包括运动矢量信息和参考帧信息)的比特数Rn，B(M)，其中Rn，B(M)值可以通过根据编码运动信息查询统一变字长编码表UVLC得到，其过程和现有技术中无误码情况下的运动搜索过程中编码运动信息所需比特数的求解过程类似。
2)用于帧间运动预测误差的比特数Rn，B(DFD)，其中Rn，B(DFD)根据帧间运动预测误差的差值绝对值和(SAD)进行估算，即Rn,B(DFD)(v,Δ)=γSADn,B(v,Δ),]]>式中γ为编码速率与SAD的比值的近似值。
编码端在每一宏块编码结束后使用实际比特数Rr(即该宏块的编码速率)和SADr(即该宏块帧间运动预测误差的绝对值和)的比值对参数γ进行更新，即γ＝Rr/SADr。
Rn，B(DFD)也可以根据帧间运动预测误差的差值平方和(SSD)进行估算，并对参数γ进行更新。
综上，编码端估算在运动搜索过程中编码运动信息所需要的比特数和帧间运动预测误差所需要的比特数之和Rn，B(v，Δ)就为Rn，B(M)和Rn，B(DFD)之和，具体表示如下Rn,B(v,Δ)=Rn,B(M)(v,Δ)+Rn,B(DFD)(v,Δ).]]>下面再结合上例介绍信道传输丢包环境下的拉格朗日乘子λ′的求取过程如果设qk(i，j)为参考图像中第k帧内(i，j)点的正确概率，则当(i，j)点为帧内编码时qk(i，j)＝1；而当(i，j)点为帧间编码时，若该点的参考点为第m帧的(x，y)点，则qk(i，j)＝(1-p)qm(x，y)，其中p为信道传输丢包率。
基于上述原理，本发明提出上述第一失真值Dn，B(s)用差值绝对值和表示的情况下，信道传输丢包环境下的拉格朗日乘子λ′利用下列公式求得λ′=(1-p)*Pc*λm]]>上式中λ′为用差值绝对值和表示Dn，B(s)的情况下，信道传输丢包环境下的拉格朗日乘子；P为信道传输丢包率；Pc为参考图像部分正确的平均概率；λm为模式选择所用的拉格朗日乘子。
同时提出上述第一失真值Dn，B(s)用差值平方和表示的情况下，信道传输丢包环境下的拉格朗日乘子λ′利用下列公式求得λ′＝(1-p)*Pc*λm其中上式中λ′为用差值平方和表示Dn，B(s)的情况下，信道传输丢包环境下的拉格朗日乘子；而P、Pc、λm参数的含义同上。
其中上述参考图像部分正确的平均概率Pc通过如下公式求得pc=Σ(i,j)∈BqΔi+vx,j+vy/NB]]>上式中B代表参考图像块；NB为参考图像块B的大小；(i，j)为参考图像块B中的坐标点；Δ为参考图像块B中的参考帧；vx、vy分别是运动矢量v的水平、垂直分量；q为求取参考图像正确概率的函数。
综上所述，将求得的信道传输丢包环境下的拉格朗日乘子λ′、编码端估算的经过信道传输后解码端重建图像相对于原始图像的失真值Dn，B(v，Δ)和编码端估算的运动搜索过程中编码运动信息所需要的比特数和帧间运动预测误差所需要的比特数之和Rn，B(v，Δ)带入拉格朗日函数，则由求解拉格朗日函数最小值而求得的最优运动矢量确定为(v,Δ)n,B*=argmin(v,REF)∈V(Dn,B(v,Δ)+λ′·Rn,B(v,Δ))]]>=argmin(v,REF)∈V{(1-p)(Dn,B(s)(v,Δ)+Dn,B(ep)(v,Δ))+(1-p)*Pc*λm(Rn,B(M)(v,Δ)+Rn,B(DFD)(v,Δ))}]]>=argmin(v,REF)∈V{(Dn,B(s)(v,Δ)+Dn,B(ep)(v,Δ))+Pc*λm/(1-p)(Rn,B(M)(v,Δ)+Rn,B(DFD)(v,Δ))}]]>其中上式为第一失真值Dn，B(s)用差值绝对值和进行表示的情况下，所要求解的拉格朗日函数，式中各参数的意义请参照上述相应解释。
而如果第一失真值Dn，B(s)用差值平方和进行表示的情况下，所要求解的拉格朗日函数如下(v,Δ)n,B*=argmin(v,REF)∈V(Dn,B(v,Δ)+λ′·Rn,B(v,Δ))]]>=argmin(v,REF)∈V{(1-p)(Dn,B(s)(v,Δ)+Dn,B(ep)(v,Δ))+(1-p)*Pc*λm(Rn,B(M)(v,Δ)+Rn,B(DFD)(v,Δ))}]]>=argmin(v,REF)∈V{(Dn,B(s)(v,Δ)+Dn,B(ep)(v,Δ))+Pc*λm(Rn,B(M)(v,Δ)+Rn,B(DFD)(v,Δ))}]]>式中各参数的意义请参照上述相应解释。
本发明基于率失真优化的运动预测方法与H.264标准完全兼容，并已结合测试模型JM7.6实现了本发明所述的技术方案，且实施结果已经明显对误码扩散现象进行了抑制，并明显提高了解码端恢复重建图像的质量。
本发明基于率失真优化的运动预测方法也能够增强H.264视频编码过程自身的抗误码能力，有效提高信道传输丢包情况下解码端恢复重建视频图像的主客观质量。如下例使用5个参考帧对一个测试序列foreman.qcf进行视频编码，其中为每一参考帧的帧内刷新宏块个数。其中上述背景技术中的现有技术方法1为使用限制参考帧的技术方案(具体参见背景技术的相关描述)；现有技术方法2为不使用限制参考帧策略，但进行运动预测补偿的技术方案(具体参见背景技术的相关描述)。为使现有技术方法1、现有技术方法2和本发明方法的运行结果具有可比性，这里对现有技术方法1和现有技术方法2进行编码速率控制，使得其编码速率和使用本发明方法的编码速率基本相同。这里令每一个宏块组(GOB，Group of Block)为一个独立的传输数据包，传输信道丢包率为10％，并且传输信道采用独立丢包的实验条件，且假设现有技术方法1、现有技术方法2和本发明方法丢包模式相同。可得到如下的实验结果
其中上表中PSNR为峰值信噪比(PSNR，Peak Signal to Noise Ratio)；从上表中对现有技术方法1、现有技术方法2和本发明方法的运行结果进行比较的情况来看，本发明方法相对于现有技术方法1和现有技术方法2，在编码速率几乎相等的基础上，本发明方法相对于现有技术方法1和现有技术方法2在解码端具有较高的平均峰值信噪比PSNR，即解码端恢复重建图像失真程度相对于现有技术有了明显的改进，从而本发明方法抑制了由于传输信道质量而引起的丢包现象所带来的误码扩散，获得了较好的率失真优化性能，进而达到了本发明的目的。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1.一种基于率失真优化的运动预测方法，其特征在于，包括步骤(A)编码端估算经过信道传输后解码端重建图像相对于原始图像的失真值；(B)编码端估算运动搜索过程中编码运动信息和帧间运动预测误差所需要的比特数；(C)编码端基于步骤(A)所得的失真值和步骤(B)所得的比特数来进行率失真优化运动预测处理。
2.根据权利要求1所述的基于率失真优化的运动预测方法，其特征在于，所述步骤(A)的失真值包括解码端正确接收的、且参考图像完全正确的重建图像相对于原始图像的第一失真值；及解码端正确接收的、但参考图像出现错误的重建图像相对于原始图像的第二失真值。
3.根据权利要求2所述的基于率失真优化的运动预测方法，其特征在于，所述第一失真值用编码端重建图像与原始图像之间的差值绝对值和或差值平方和进行表示，如下Dn,B(s)(v,Δ)=αΣ(i,j)∈BqΔi+vx,j+vy.]]>其中Dn，B(s)为第一失真值；v为运动矢量；Δ为参考图像块中的参考帧；B为参考图像块；(i，j)为参考图像块中的坐标点；vx、vy分别是运动矢量v的水平、垂直分量；q为求取参考图像正确概率的函数；α为平均每像素编码失真的近似值。
4.根据权利要求2所述的基于率失真优化的运动预测方法，其特征在于，所述参考图像出现错误的情况包括参考图像中的相关数据帧在信道传输过程中丢失；和参考图像自身所参考的参考图像中的相关数据帧在信道传输过程中丢失。
5.根据权利要求1所述的基于率失真优化的运动预测方法，其特征在于，步骤(B)中所述运动搜索过程为整象素运动搜索过程；或分像素运动搜索过程；或整象素运动搜索过程结合分象素运动搜索过程。
6.根据权利要求1所述的基于率失真优化的运动预测方法，其特征在于，所述步骤(B)中编码运动信息所需要的比特数根据编码运动信息查询统一变字长编码表得到。
7.根据权利要求1所述的基于率失真优化的运动预测方法，其特征在于，所述步骤(B)中帧间运动预测误差所需要的比特数根据帧间运动预测误差的差值绝对值和或差值平方和进行估计。
8.根据权利要求3所述的基于率失真优化的运动预测方法，其特征在于，所述步骤(C)进一步包括步骤(C1)计算用差值绝对值和表示第一失真值情况下，信道传输丢包环境下的拉格朗日乘子；或计算用差值平方和表示第一失真值情况下，信道传输丢包环境下的拉格朗日乘子；(C2)利用信道传输丢包环境下的拉格朗日乘子对步骤(A)所得的失真值和步骤(B)所得的比特数计算拉格朗日函数最小值。
9.根据权利要求8所述的基于率失真优化的运动预测方法，其特征在于，步骤(C1)中所述用差值绝对值和表示第一失真值情况下，信道传输丢包环境下的拉格朗日乘子通过下面公式求得λ′=(1-p)*Pc*λm]]>其中λ′为用差值绝对值和表示第一失真值情况下，信道传输丢包环境下的拉格朗日乘子；P为信道传输丢包率；Pc为参考图像部分正确的平均概率；λm为模式选择所用的拉格朗日乘子。
10.根据权利要求8所述的基于率失真优化的运动预测方法，其特征在于，步骤(C1)中所述用差值平方和表示第一失真值情况下，信道传输丢包环境下的拉格朗日乘子通过下面公式求得λ′＝(1-p)*Pc*λm其中λ′为用差值平方和表示第一失真值情况下，信道传输丢包环境下的拉格朗日乘子；P为信道传输丢包率；Pc为参考图像部分正确的平均概率；λm为模式选择所用的拉格朗日乘子。
11.根据权利要求9或10所述的基于率失真优化的运动预测方法，其特征在于，所述参考图像部分正确的平均概率Pc通过下面公式求得pc=Σ(i,j)∈BqΔi+vx,j+vy/NB]]>其中B代表参考图像块；NB为参考图像块的大小；(i，j)为参考图像块中的坐标点；Δ为参考图像块中的参考帧；vx、vy分别是运动矢量v的水平、垂直分量；q为求取参考图像正确概率的函数。
12.根据权利要求1或6所述的基于率失真优化的运动预测方法，其特征在于，所述编码运动信息包括运动矢量信息和参考帧信息。
全文摘要
本发明公开了一种基于率失真优化的运动预测方法，包括编码端估算经过信道传输后解码端重建图像相对于原始图像的失真值；编码端估算运动搜索过程中编码运动信息和帧间运动预测误差所需要的比特数；编码端基于上述所得的失真值和所得的比特数来进行率失真优化运动预测处理。本发明可以抑制视频传输所引起的误码扩散，进而获得较好的率失真优化性能。
文档编号H04N7/32GK1735212SQ20041007038
公开日2006年2月15日 申请日期2004年8月2日 优先权日2004年8月2日
发明者王静, 万帅, 常义林, 罗忠 申请人:华为技术有限公司