专利名称：基于运动自适应和边缘保护的三维视频格式转换方法
技术领域：
本发明涉及的是一种视频图象格式转换的方法，具体是一种基于运动自适应和边缘保护的三维多相插值视频格式转换方法。属于电子信息领域。
背景技术：
视频格式转换是保证不同分辨率和帧率格式的视频能在某一固定显示格式的显示器上正常播放的必要手段。随着数字电视等数字视频服务的推广，对视频格式转换技术的要求也在不断提高。视频格式转换技术包括隔行/逐行变换，分辨率变换和帧率变换三个方面的内容，可以采用不同的内插方法实现。
经文献检索发现，中国专利名称为“视频格式转换装置和方法”，申请号为94105360。该专利技术提出的方法利用视频解码得到的运动信息对隔行输入序列进行逐行化处理，从而完成隔行输入序列的逐行显示功能。根据该专利技术提出的算法，当前显示帧中的待插值象素由其前后相邻帧或场的运动补偿信息获得。该专利应用的运动补偿信息为压缩编码中的运动估计结果，这种运动信息比较粗糙，一般情况下是难以达到格式转换的要求的。另外该专利提供的方法仅完成隔行转逐行功能，对其他分辨率变换和帧率变换都没有涉及，无法完成标准清晰度视频向高清晰度视频的转换，所以其格式转换功能是不完善的。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于运动自适应和边缘保护的三维多相插值视频格式转换方法，使其通过采用简单实用的算法，完成隔行/逐行变换在内的分辨率变换和帧率变换等功能。
本发明是通过以下技术方案实现的，本发明视频格式转换是在逐行的基础上完成，在将隔行序列转为逐行序列的过程中采用了边缘保护策略和运动自适应策略对场内插值的结果进行了修正，视频格式转换的过程是对隔行输入的视频信号先进行隔行序列的逐行化处理，进行逐行化时，采用边缘保护场内二维插值和Cubic二维插值加权求和，再用运动自适应插值结果与之做三维加权求和，以提高插值结果对非运动内容的适应性。对逐行化后的序列进行帧率变换，最后做帧内分辨率变换，输出指定帧率或场率的视频序列。
以下对本发明作进一步的说明，具体内容如下1、隔行序列的逐行化对隔行序列做三种处理首先是场内垂直方向的一维Cubic插值，使输入视频序列的垂直分辨率加倍；其次对待插值象素做边缘保护插值，并与一维Cubic插值的结果加权求和，得到场内插值的结果；最后对隔行序列中的待插值象素进行运动检测，根据运动检测确定的运动自适应加权系数将场内插值的结果和运动参考象素加权求和，得到经三维插值的逐行象素。具体实现如下(1)一维Cubic插值Cubic插值核是一种比较常用的插值核。其通带衰减小，过渡带窄，边瓣衰减大，所以用Cubic做插值核引入的失真较小。在进行隔行序列的逐行化时，仅需要对输入的图象进行垂直方向的插值，所以本发明涉及的算法采用4抽头128相位的Cubic函数插值滤波器对输入信号进行垂直方向的一维插值。插值滤波器的系数按下式进行计算 在垂直方向上对输入图象进行Cubic函数插值的计算公式为Icubic*(x+1,y,n)=Σi=-12I(x+2i,y,n)uv(2i-12)------(2)]]>其中 为第n场中在位置(x+1，y)处，以Cubic函数为插值核的二维插值结果，其中x＝{1，3，5，Λ}或{0，2，4，Λ}；I(x，y，n)为第n场中在位置(x，y)处的已知象素；i∈[-1，2]为参与插值的象素的垂直偏移量； 是一维4抽头128相位Cubic函数插值滤波器的系数，下标v表示垂直方向的插值滤波器。
(2)边缘保护插值Cubic插值利用的是待插值点水平和垂直领域内的信息，所以对图象中倾斜的边缘适应性差。为此本发明中引入了边缘保护插值算法。
边缘保护插值由两个部分组成边缘相关方向判断，边缘相关方向插值。首先根据待插值点周围的已知象素插值差判断待插值点的边缘相关方向(以水平向右为0°，相关方向的集合为{45°，90°，135°})。然后以该相关方向上已知象素的平均值作为边缘保护插值结果，并以相关方向象素的差确定边缘保护插值的加权系数。
边缘保护插值和二维Cubic插值一起构成了场内二维插值的结果。即Iinfra*(x+1,y,n)=(1-wedge)Icubic*(x+1,y,n)+wedgeIedge*(x+1,y,n)------(3)]]>其中 是在输入的第n场中采用场内二维插值算法得到的插值结果，该二维插值包括Cubic二维插值和边缘保护插值，x＝{1，3，5，Λ}或{0，2，4，Λ}； 是在输入的第n场中采用二维Cubic插值得到的插值结果； 是在输入的第n场中采用边缘保护的方法得到的插值结果；wedge是输入的第n场中待插值象素点(x+1，y)的边缘保护加权系数，由该点的相关方向上已知象素的差决定。
(3)运动自适应插值为了改善静止内容的去隔行效果，本发明采用了运动自适应的方法对运动和静止内容分别进行处理。运动自适应算法的基础是运动检测和运动判断。本发明采用的几判断方法是基于场的算法。如果当前场的某象素与参考场对应位置处的插值象素的差超过一定的门限，则认为当前场的象素是运动的，否则认为当前场的象素是静止的。在对当前场中的象素进行运动的检测的同时，本发明专利采用的算法还给出了该象素的运动加权系数。因此在逐行帧中的待插值象素是由场内插值(包括二维Cubic插值和边缘保护插值)与参考场对应象素根据运动加权系数加权求和得到的。采用运动自适应技术的插值公式为Iinfra*(x+1,y,n)=(1-wedge)Icubic*(x+1,y,n)+wwdgeIedge*(x+1,y,n)------(3)]]>
其中， 是第n场中经场间插值得到的x+1行，y列象素，x＝{1，3，5，Λ}或{0，2，4，Λ}； 是在第n场内采用场内插值(包括二维Cubic插值和边缘保护插值)得到的x+1行，y列象素；I(x+1，y，n-1)是第n-1场中的x+1行，y列象素；m_ratio是运动加权系数，如果当前场某象素经运动检测判断为静止象素，则m_ratio＝0。m_ratio∈
。
2、帧率变换为减少硬件实现的复杂度，本发明采用帧重复的方法完成帧率变换，即以输出帧率输出逐行帧，必要时对逐行帧进行重复，以满足输出码率的要求。
帧率变换的输入是逐行视频序列；帧率变换采用就近重复的方法，即输出帧的内容等于在时间上与其最相近的逐行输入信号，因此帧率变换所需的帧存贮器只需存贮两帧标准清晰度的逐行视频信号，对存贮器的要求较低。
3、分辨率变换分辨率变换的输入是已逐行化且帧率为指定输出帧率的视频信号；分辨率变换采用帧内二维Cubic多相位插值算法，可以完成任意比例的分辨率变换。
本发明采用4×4窗口下的Cubic函数二维插值滤波器对逐行扫描信号进行分辨率变换。由于二维Cubic插值核可以分解为两个一维插值核的乘积，所以为了减少多相二维插值滤波器系数的存贮空间，本发明将一个二维Cubic插值分解为两次一维插值的级联形式，一维插值采用的是128相位4抽头的Cubic插值核。二维Cubic函数插值公式为Iscaing*(x*,y*,n)=Iscaing*(x+Δx,y+Δy,n)=Σi=-12Σj=-12Iinter*(x+i,y+j,n)uj(pmh)ui(pnv)-----(5)]]>其中Iscaling*(x*,y*,n)=Iscaling*(x+Δx,y+Δy,n)]]>是在第n帧逐行图象中于位置(x+Δx，y+Δy)处用Cubic函数的插值滤波器进行插值的结果； 是采用场内及场间插值算法得到的第n帧逐行图象中4×4窗口内参与插值的象素灰度，i，j＝[-1，2]为4×4Cubic插值窗口中参与插值象素的垂直和水平偏移量，x＝{1，2，3，Λ}表示经前一节逐行化图象中的各行，y＝{1，2，3，Λ}表示经前一节逐行化图象中的各列；ui(pnv)，uj(pmh)分别表示在垂直相位为pnv和水平相位为pmh时各插值点的Cubic插值系数，pnv≅Δx·Np,]]>pmh≅Δy·Np,]]>Np为插值滤波器的相位数。
本发明具有实质性特点和显著进步。本发明用于完成包括分辨率变换和帧率变换在内的视频图象格式转换，采用简单的场内和场间算法，对隔行输入的视频信号进行逐行化；采用简单重复的方法对逐行化的标准清晰度视频信号进行帧率变换；对逐行信号进行帧内二维Cubic函数多相位插值滤波完成分辨率变换。本发明涉及的算法简单实用，功能全面，由于采用了较为精细的隔行转逐行手段，为后续的帧率转换和分辨率变换打下了良好基础；对于数据存贮的要求低，即使输出信号为高清晰度视频，在进行帧率变换时也只需存贮两帧标准清晰度视频信号的逐行形式，比较适合硬件电路实现。插值后输出的图象细节稳定，图象细腻，快速运动图象没有抖动和闪烁；插值滤波器采用了多相位设计，可完成多种不同的视频格式变换，所以其应用范围更广，可用在LCOS、LCD、DLP等多种数字显示器的控制器件中。
图1是本发明涉及算法的总体框2是4×4窗口Cubic插值示意3是运动检测示意4是边缘相关方向判断及插值示意5是帧率变换示意6是边缘保护插值加权系数曲线具体实施方式
结合附图对本发明的具体实施方式
提供以下实施例如图所示，图1为本发明涉及算法的总体框图。视频格式转换过程如下对标准清晰度隔行扫描的输入图象16进行格式变换，设其场序号为n。输入图象16与五个通道相连，其中四个为亮度信号通道，一个为色度信号通道；四个亮度信号通道中，第一个连接场存贮器1，以便作为下一输入场的运动检测参考信号；第二个与运动检测及插值单元2相连；第三个与图象扩展(I)单元3相连；第四个与边缘相关方向判断及插值单元4相连。色度信号Crn和Cbn与一维插值器11相连。第n-1个输入场的亮度信号存在场存贮器1中。第n场输入信号的亮度分量Yn和第n-1场输入信号的亮度分量Yn-1输入到运动检测及插值单元2中，该单元根据Yn和Yn-1中对应块的差值判断待插值象素点运动与否，并给出运动自适应插值加权的系数wmotion和运动自适应插值量(1-wmotion)I(x+1，y，n-1)。同时输入信号Yn经图象扩展I单元3进行图象边界扩展，以便对图象的边界象素进行插值。扩展后的信号输入一维插值器I(4)中进行垂直方向的固定相位插值，该一维插值器是4抽头128相位Cubic插值滤波器，4输出的亮度信号17的垂直分辨率为输入信号垂直分辨率的两倍。进入边缘相关方向判断及插值单元5的亮度信号Yn在该单元中判断待插值点的边缘相关方向，并输出相关方向加权系数和边缘保护插值加权系数wedge(24)和边缘保护插值加权量(1-wedge)I*edge(x+1，y，n)(25)，其中I*edge(x+1，y，n)是在相关方向的插值结果。一维Cubic插值结果17与边缘保护加权系数24在乘法器12中相乘，其结果与边缘保护插值加权量25在加法器13中相加，得到信号18。此时18中经插值得到的象素已经得到本发明涉及算法提出的边缘保护策略的修正。信号18与运动自适应插值加权系数wmotion(22)在乘法器14中相乘，其结果与运动自适应插值加权量(1-wmotion)I(x+1，y，n-1)(23)在加法器15中相加，得到信号19。至此，19中经插值得到的象素得到本发明涉及算法提出的运动自适应插值策略的修正，成为已逐行化的亮度信号。输入的色度信号Crn和Cbn经图象扩展单元II10在垂直方向上扩展后，进入一维插值器II11中，完成垂直方向的隔行转逐行插值，得到色度信号20。逐行化的亮度信号19和色度信号20在帧率变换单元7中重新合成一帧逐行信号，并按简单重复的原则以输出帧率的速度输出。因此7输出的视频序列21的帧率与指定的输出帧率相同，但分辨率不一定达到输出要求。视频序列21再经图象扩展单元III8扩展，分别向左向上扩展一列和一行，向右向下扩展两列和两行，再进行二维插值器9中。9是二维多相位Cubic插值滤波器，该插值器的水平和垂直方向的抽头数均为4，水平和垂直相位数均为128。9将待插值象素的插值间隔Δx和Δy送入相位产生器26中，计算水平和垂直插值相位pnh和pmv，并从插值系数存贮单元27中提取水平方向和垂直方向的滤波器系数uj(pmh)，ui(pnv)，进行二维插值计算，最后得到输出图象28。
图2是二维Cubic插值示意图。图中所示为在一个4×4的已知图象区域中插入一个象素，该象素距点(x，y)的距离分别为Δx和Δy，对应的垂直和水平相位分别为pnv≅Δx·Np,]]>pmh≅Δy·Np.]]>根据确定的垂直和水平插值相位，二维插值滤波器从插值系数存贮单元中提取各抽头对应的系数，与插值窗口中的各已知象素点相乘求和，得到待插值象素的灰度，如公式(5)所示。
图3是运动检测示意图。对隔行扫描的视频输入序列，第n场中的4×4块与第n-1场中的3×4块在空间上是对应的。进行运动检测时，先对第n场中的图象块做行间平均插值，如公式(6)所示，使之成为一个3×4的插值块；再用该插值块与第n-1场中对应的图象块求象素的平均绝对差MotionDiffpixel，如公式(7)所示；最后根据MotionDiffpixel确定运动自适应加权系数wmotion。本实施例中采用图4所示的曲线确定不同MotionDiffpixel下的wmotion。
MotionBlock(x+2i+1,y+j,n)=12[I(x+2i,y+j,n)+I(x+2(i+1),y+j,n)],i=-1,0,1,j=-1,0,1,2----(6)]]>其中MotionBlock(x+2i+1，y+j，n)为从第n场中一个4×4图象块得到的插值块中的象素，它与第n-1场中的一个3×4块在空间位置上一一对应；I(x+2i，y+j，n)和I(x+2(i+1)，y+j，n)为该4×4块中的象素。象素(x，y)的位置如图3中所示，x＝0，2，4，6，8...或1，3，5，7，9...。
MotionDiffpixel=112Σi=-11Σj=-12|MotionBlock(x+2i+1,y+j,n)-I(x+2i+1,y+j,n-1)|------(7)]]>图5是边缘相关方向判断及插值示意图。如图所示，在输入图象中取一个2×3的块。按照公式(8)计算各个方向上两象素的绝对差EdgeDiffj(j＝-1，0，1)，则{EdgDiffj}的最小值对应的j即为待插值象素的最相关方向，并且相应的边缘保护插值为在相关方向上的两已知象素的平均值，即当相关方向为k时，公式(9)成立。
EdgeDiffj＝|I(x，y+j，n)-I(x+2，y-j，n)|，j＝-1，0，1(8)IEdge*(x+1,y,n)=12[I(x,y+k,n)+I(x+2,y-k,n)],k=-1,0,1------(9)]]>边缘保护插值的加权系数wedge是根据相关方向上的EdgeDiffk确定的，本实施例中按照图6所示的曲线确定不同EdgeDiffk下的wedge。
采用实施例中的参数对一10帧隔行输入序列在水平方向扩展2.6倍，垂直方向扩展1.8倍，并变为逐行信号显示，帧率加倍的格式转换处理。计算了10帧平均峰峰值信噪比为24.58db，变换后的图象经HD-STORE图形工作站输出到电视机上观看了效果，表明图象细节稳定，清晰。
权利要求
1.一种基于运动自适应和边缘保护的三维视频格式转换方法，其特征在于，视频格式转换是在逐行的基础上完成，在将隔行序列转为逐行序列的过程中采用了边缘保护策略和运动自适应策略对场内插值的结果进行了修正，视频格式转换的过程是对隔行输入的视频信号先进行隔行序列的逐行化处理，进行逐行化时，采用边缘保护场内二维插值和Cubic二维插值加权求和，再用运动自适应插值结果与之做三维加权求和，对逐行化后的序列进行帧率变换，最后做帧内分辨率变换，输出指定帧率或场率的视频序列。
2.根据权利要求1所述的基于运动自适应和边缘保护的三维视频格式转换方法，其特征是，所述的隔行序列的逐行化，具体为对隔行序列做三种处理首先是场内垂直方向的一维Cubic插值，使输入视频序列的垂直分辨率加倍，其次对待插值象素做边缘保护插值，并与一维Cubic插值的结果加权求和，得到场内插值的结果，最后对隔行序列中的待插值象素进行运动检测，根据运动检测确定的运动自适应加权系数将场内插值的结果和运动参考象素加权求和，得到经三维插值的逐行象素。
3.根据权利要求2所述的基于运动自适应和边缘保护的三维视频格式转换方法，其特征是，所述的一维Cubic插值，具体如下在进行隔行序列的逐行化时，仅需要对输入的图象进行垂直方向的插值，采用4抽头128相位的Cubic函数插值滤波器对输入信号进行垂直方向的一维插值，插值滤波器的系数按下式进行计算 在垂直方向上对输入图象进行Cubic函数插值的计算公式为Icubic*(x+1,y,n)=Σi=-12I(x+2i,y,n)uv(2i-12)-------(2)]]>其中Icubic*(x+1，y，n)为第n场中在位置(x+1，y)处，以Cubic函数为插值核的二维插值结果，其中x＝{1，3，5，Λ}或{0，2，4，Λ}，I(x，y，n)为第n场中在位置(x，y)处的已知象素，i ∈[-1，2]为参与插值的象素的垂直偏移量， 是一维4抽头128相位Cubic函数插值滤波器的系数，下标v表示垂直方向的插值滤波器。
4.根据权利要求2所述的基于运动自适应和边缘保护的三维视频格式转换方法，其特征是，所述的边缘保护插值，具体如下边缘保护插值由两个部分组成边缘相关方向判断，边缘相关方向插值，首先根据待插值点周围的已知象素插值差判断待插值点的边缘相关方向，以水平向右为0°，相关方向的集合为{45°，90°，135°}，然后以该相关方向上已知象素的平均值作为边缘保护插值结果，并以相关方向象素的差确定边缘保护插值的加权系数，边缘保护插值和二维Cubic插值一起构成了场内二维插值的结果，即Iinfra*(x+1,y,n)=(1-wedge)Icubic*(x+1,y,n)+wedgeIedge*(x+1,y,n)------(3)]]>其中Iinfra*(x+1，y，n)是在输入的第n场中采用场内二维插值算法得到的插值结果，该二维插值包括Cubic二维插值和边缘保护插值，x＝{1，3，5，Λ}或{0，2，4，Λ}，Icubic*(x+1，y，n)是在输入的第n场中采用二维Cubic插值得到的插值结果，Iedge*(x+1，y，n)是在输入的第n场中采用边缘保护的方法得到的插值结果，wedge是输入的第n场中待插值象素点(x+1，y)的边缘保护加权系数，由该点的相关方向上已知象素的差决定。
5.根据权利要求2所述的基于运动自适应和边缘保护的三维视频格式转换方法，其特征是，所述的运动自适应插值，具体如下采用运动自适应的方法对运动和静止内容分别进行处理，运动自适应算法的基础是运动检测和运动判断，采用基于场的算法的几判断方法，如果当前场的某象素与参考场对应位置处的插值象素的差超过一定的门限，则认为当前场的象素是运动的，否则认为当前场的象素是静止的，在对当前场中的象素进行运动的检测的同时，该算法还给出了该象素的运动加权系数，因此在逐行帧中的待插值象素是由场内插值与参考场对应象素根据运动加权系数加权求和得到的，采用运动自适应技术的插值公式为Iinter*(x+1,y,n)=m_ratioIintra*(x+1,y,n)+(1-m_ratio)·I(x+1,y,n-1)------(4)]]>其中，Iinter*(x+1，y，n)是第n场中经场间插值得到的x+1行，y列象素，x＝{1，3，5，Λ}或{0，2，4，Λ}；Iintra*(x+1，y，n)是在第n场内采用场内插值，包括二维Cubic插值和边缘保护插值，得到的x+1行，y列象素，I(x+1，y，n-1)是第n-1场中的x+1行，y列象素，m_ratio是运动加权系数，如果当前场某象素经运动检测判断为静止象素，则m_ratio＝0。m_ratio∈
。
6.根据权利要求1所述的基于运动自适应和边缘保护的三维视频格式转换方法，其特征在于，所述的帧率变换，具体为帧率变换的输入是逐行视频序列，帧率变换采用就近重复的方法，即输出帧的内容等于在时间上与其最相近的逐行输入信号，帧率变换所需的帧存贮器存贮两帧标准清晰度的逐行视频信号。
7.根据权利要求1所述的基于运动自适应和边缘保护的三维视频格式转换方法，其特征在于，所述的分辨率变换，具体为分辨率变换的输入是已逐行化且帧率为指定输出帧率的视频信号，分辨率变换采用帧内二维Cubic多相位插值算法，完成任意比例的分辨率变换。
全文摘要
一种基于运动自适应和边缘保护的三维视频格式转换方法，属于电子信息领域。本发明视频格式转换是在逐行的基础上完成，在将隔行序列转为逐行序列的过程中采用了边缘保护策略和运动自适应策略对场内插值的结果进行了修正，视频格式转换的过程是对隔行输入的视频信号先进行隔行序列的逐行化处理，进行逐行化时，采用边缘保护场内二维插值和Cubic二维插值加权求和，再用运动自适应插值结果与之做三维加权求和，对逐行化后的序列进行帧率变换，最后做帧内分辨率变换，输出指定帧率或场率的视频序列。本发明采用的都是简便的算法，实现代价小，可完成隔行转逐行变换、帧率变换和分辨率变换等各项视频格式转换任务，功能全面，应用范围广。
文档编号H04N7/01GK1529500SQ20031010797
公开日2004年9月15日 申请日期2003年10月16日 优先权日2003年10月16日
发明者郑世宝, 董云朝, 杨宇红, 王继生, 邹琪 申请人:上海交通大学, 上海高清数字技术创新中心