专利名称：基于纹理信息的视频图象运动检测方法
技术领域：
本发明涉及的是一种视频图象运动检测的方法，特别是一种基于纹理信息的视频图象运动检测的方法，属于电子信息领域。
背景技术：
随着显示技术的不断发展和数字电视广播的逐渐推广，人们对画面的清晰度和逼真度的要求越来越高。传统电视广播由于带宽的限制采用了隔行扫描，每一幅画面上仅包含原始图象中一半的信息，分别构成奇场和偶场。隔行扫描不仅会造成图象垂直分辨率的下降，同时也存在着行间闪烁和大面积闪烁等缺陷。随着大尺寸高亮度的液晶电视机、等离子电视机进入家庭，隔行扫描方式造成的失真越来越让人无法忍受，为此高档电视机的芯片组中一般都配备了能完成去隔行功能的芯片。最简单的去隔行算法就是将属于同一帧的奇场和偶场图象直接拼插起来，形成一个输出帧。在图象静止的情况下，这样做是完全正确的。但是当奇场和偶场之间存在运动，尤其是水平方向的运动时，这种直接拼插的方法就会造成明显的锯齿，从而造成错误的输出图象，严重影响视觉效果。另外一种常用的去隔行算法为场内插值滤波方法。这种方法对运动画面的处理效果要优于直接拼插算法，但是对静止画面的处理就难以接受，为此人们开始研究在去隔行的过程中将这两种算法结合起来，根据图象的运动情况采用不同的方法，从而得到更好的去隔行效果。
经文献检索发现，中国专利名称为“检测交错视频序列中运动的方法和运动检测的装置”，申请号为(01143659.X)。该专利提出了一种在视频信号处理系统中计算运动决定值的方法。根据该专利提供的方法，采用连续的三场图象数据计算帧差值来形成点状运动检测信号；从相邻两场的点状运动检测信号计算区状运动检测信号；从区状运动检测信号形成运动决定值，用于交错视频信号处理系统中的进一步处理。由于在计算帧差值的过程中仅采用了一组帧差信号，所以当图象中包含快速运动图象时，会造成运动状态的错判，即将快速运动判别为静止。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于纹理信息匹配判断的视频图象运动检测的方法，用于去隔行模块或器件中的基于纹理信息的视频图象运动检测，使其能提高运动检测的准确性，进而提高去隔行变换的视觉效果，逼真地再现原始图象。
本发明是通过以下技术方案实现的，本发明采用亮度信号的帧间差异及其邻域内象素纹理信息匹配两个特征判断待插值象素的运动情况，根据输入图象计算间隔一个帧周期的相邻两场中处于相同位置的象素之间的帧间差异，然后计算以上象素的纹理信息，判断纹理信息是否匹配，再根据帧间差异和纹理信息匹配情况，判断待插值象素的运动情况，最终确定待插值象素的运动检测结果。
以下对本发明作进一步的说明(1)帧间差异的计算本发明计算两组帧间差异Diff_CFF和Diff_BF，计算方法如公式所示Diff_CFF[m]=13Σk=-11|I(i,j+m+k,n)-I(i,j-m+k,n-2)|]]>Diff_BF[m]=13Σk=-11|I(i+1,j+m+k,n+1)-I(i+1,j-m+k,n-1)|]]>其中I(i，j，n)表示第n场中第i行第j列象素的灰度，I(i，j，n-2)表示第n-2场中第i行第j列象素的灰度，I(i+1，j，n-1)表示第n-1场中第i+1行第j列象素的灰度，I(i+1，j，n+1)表示第n+1场中第i+1行第j列象素的灰度；m表示象素I(i，j，n)在水平方向的位移量，m∈[-N，N]，N表示象素I(i，j，n)的水平可检测运动范围；Diff_FFC[m]表示第n场与第n-2场间沿方向m的对应象素的差异，Diff_FB[m]表示第n+1场与第n-1场间沿方向m的对应象素的差异。
因为这两组差异涉及的输入场在时间上的间隔均为一个帧周期，所以把它们之间的差异叫做帧间差异。本发明检测的运动范围为(0，-N)到(0，N)之间，即当前象素I(i，j，n)在水平方向上[-N，N]内的运动情况。
(2)纹理信息匹配的判断纹理信息匹配判断包含纹理信息的计算和纹理信息匹配的判断。与帧间差异相对应，纹理信息的匹配也分为第n-2场与第n场之间的匹配和第n-1场与第n+1场之间的匹配，分别以Accordance_CFF[m]和Accordance_BF[m]表示。这里以Accordance_BF[m]为例说明纹理信息匹配判断的过程。假如第n-1场的象素I(i，j-m，n-1)沿方向m运动经过第n场的待插值象素I(i，j+1，n)到第n+1场的象素I(i，j+m，n+1)，则需要考虑以下两个集合内的象素变化，即以下区域内的象素纹理特征是否一致{I(i，j+m+2(k-2)，n+1)，k∈
}和{I(i，j-m+2(k-2)，n-1)，k∈
}。这一区域内的纹理信息按以下公式所示收集GradBw(m,k,n+1)=I(i,j+m+2(k-1),n+1)-I(i,j+m+2k,n+1)k∈
GradFw(i,j,n-1)=I(i,j-m+2(k-1),n-1)-I(i,j-m+2k,n-1)k∈
]]>GradBw_Border(m,0,n+1)=I(i,j+m-4,n+1)-I(i,j+m-2,n+1)GradBw_Border(m,1,n+1)=I(i,j+m+4,n+1)-I(i,j+m+2,n+1)GradFw_Border(m,0,n-1)=I(i,j-m-4,n-1)-I(i,j-m-2,n-1)GradFw_Border(m,0,n-1)=I(i,j-m+4,n-1)-I(i,j-m+2,n-1)]]>其中GradBw和GradFw表示中心区域的纹理信息，GradBw_Border和GradFw_Border表示边界区域的纹理信息。
纹理信息匹配的判断如下①如果GradBw与GradFw中的元素全部小于某一门限，则转到③；否则顺序执行；②如果GradBw与GradFw中的对应元素符号一致，则转到③；否则设置匹配标志参数AccordanceBF[m]＝0，纹理匹配判断结束；③如果GradBw_Border与GradFw_Border中的元素全部小于某一门限，则设置匹配标志参数AccordanceBF[m]＝1，纹理匹配判断结束；否则顺序执行；④如果GradBw_Border与GradFw_Border中的元素符号一致，则设置相应的匹配标志参数AccordanceBF[m]＝1，纹理匹配判断结束；否则顺序执行；⑤设置匹配标志参数AccordanceBF[m]＝0，纹理匹配判断结束。
(3)确定运动检测结果确定运动检测结果包括运动系数的确定和运动方向的确定，象素的运动系数用Motion表示，运动方向用Dir表示。过程如下①假设Diff_CFF[m1]＝min(Diff_CFF[m]，m∈[-N，N])，Diff_BF[m2]＝min(Diff_BF[m]，m∈[-N，N])，则m1和m2分别称为Diff_CFF和Diff_BF的相关运动方向。
②如果Diff_CFF[m1]和Diff_BF[m1]都小于规定的门限，并且Accordance_CFF[m1]和Accordance_BF[m1]都为1，则Motion＝0，并且Dir＝m1。
③如果Diff_CFF[m2]和Diff_BF[m2]都小于规定的门限，并且Accordance_CFF[m2]和Accordance_BF[m2]都为1，则Motion＝0，并且Dir＝m2。
④否则确定Motion＝1，同时Dir＝0。
本发明具有实质性特点和显著进步，本发明用于完成对隔行扫描视频图象的运动检测，使其可以应用到去隔行模块或器件中。本发明首先根据相邻的四场输入视频图象计算两组帧间差异，并判断运动检测区域内象素纹理特征的匹配情况；根据两组帧间差异和象素纹理特征的匹配情况确定运动检测结果。在提高对快速运动和静止这两种运动状态的区分能力的同时，也大大提高了运动状态，包括运动方向的判断的准确性。可以用在支持逐行扫描的LCOS、LCD、DLP等多种数字显示器的控制器件中。
图1本发明所涉及的运动状态判断原理框图。
图2本发明所涉及的帧间差异计算示意图。
图3本发明所涉及的纹理信息计算示意图。
具体实施例方式
结合本发明的内容提供以下实施例本发明采用亮度信号的帧间差异及其邻域内象素纹理信息的差异作为运动检测的判断依据。对当前象素在水平方向[-N，+N]范围内的运动进行检测，并给出帧间运动插值的系数。
对隔行扫描的输入序列，假设第n场中包含原始图象中的第i行，第i+2行，第i+4行等，去隔行的目的是尽可能逼真地补充第n场中缺少的第i+1行，第i+3行，第i+5行等。如果在第n场和第n-1场之间没有运动，则第n场中缺少的信息将直接用第n-1场中的信息补充，否则将根据两场之间的运动情况在场内插值和帧间插值之间加权求和得到。由此可见对第n场和第n-1场之间的运动情况进行准确的判断是得到正确的去隔行结果的关键。
如图1所示，是本发明原理框图。运动检测过程如下对隔行扫描的视频图象顺序经过三个场延迟模块10，11和12，分别得到第n+1场的象素集合{I(i，j+m，n+1)，m∈[-N，N]}21，第n场的象素集合{I(i，j+m，n)，m∈[-N，N]}22，第n-1场的象素集合{I(i，j+m，n-1)，m∈[-N，N]}23，以及第n-2场的象素集合{I(i，j+m，n-2)，m∈[-N，N]}24。象素集合22和24进入帧间差异计算I模块13，得到帧间差异集合{Diff_CFF[m]，m∈[-N，N]}，用信号31表示；22和24进入纹理匹配判断I模块14，得到纹理匹配结果集合{Accordance_CFF[m]，m∈[-N，N]}，用信号32表示。象素集合21和23进入帧间差异计算II模块15，得到帧间差异集合{Diff_BF[m]，m∈[-N，N]}，用信号33表示；21和23进入纹理匹配判断II模块15，得到纹理匹配结果集合{Accordance_BF[m]，m∈[-N，N]}，用信号34表示。信号31、32、33、34送入运动检测模块17，完成最后的运动状态检测，得到运动检测系数Motion，用信号41表示，和运动方向Dir，用信号42表示。
图2所示，为本发明所涉及的帧间差异计算的示例。假设第n-1场中象素I(i+1，j+1，n-1)水平移动-1个象素到达第n场中(i+1，j)处，并沿此方向到达第n+1场中的(i+1，j-1)处。可见当m＝-1时，I(i+1，j+1，n-1)与I(i+1，j-1，n+1)是同一运动轨迹上的两个象素。考虑到图象的邻域相关性，在计算帧间差异时，不仅考虑运动轨迹上的象素，还考虑与这些象素左右相邻的象素。用公式(1)计算它们的帧间差异。
图3所示，为本发明所涉及的纹理信息计算的示例。假设第n-1场中象素I(i+1，j+1，n-1)水平移动-1个象素到达第n场中(i+1，j)处，并沿此方向到达第n+1场中的(i+1，j-1)处。可见当m＝-1时，I(i+1，j+1，n-1)与I(i+1，j-1，n+1)是同一运动轨迹上的两个象素。考虑到图象的邻域相关性，并且为了提高纹理判断模块的抗噪性能，在计算纹理信息时采用的象素除了运动轨迹上的象素外，还包含与这些象素左右间隔一个象素的象素。用公式(2)和(3)计算纹理信息。
首先计算帧间差异和纹理信息。特例中检测的象素运动范围N为2，即检测待插值象素I(i+1，j，n)在水平方向上[-2，2]范围内的运动情况。根据公式(1)计算帧间差异{Diff_CFF[m]，m∈[-2，2]}和{Diff_BF[m]，m∈[-2，2]}，在特例中用15做为帧间差异的门限。根据公式(2)和(3)计算纹理信息，以10做为纹理信息匹配判断的门限，判断纹理信息是否匹配，得到集合{Accordance_CFF[m]，m∈[-2，2]}和{Accordance_BF[m]，m∈[-2，2]}。最后根据帧间差异和纹理匹配判断结果确定待插值象素I(i+1，j，n)的运动检测系数及运动方向。
采用以上方法对快速水平运动(水平运动速度为6象素/场)、静止图象和慢速水平运动图象(水平运动速度为2象素/场)等三组视频序列(每组各10帧)进行了运动检测试验。结果表明，本专利对以上三种运动状态判断的正确率均达到95％以上，对静止图象的运动状态判断达到100％。
权利要求
1.一种基于纹理信息的视频图象运动检测方法，其特征在于，采用亮度信号的帧间差异及其邻域内象素纹理信息匹配两个特征判断待插值象素的运动情况，根据输入图象计算间隔一个帧周期的相邻两场中处于相同位置的象素之间的帧间差异，然后计算以上象素的纹理信息，判断纹理信息是否匹配，再根据帧间差异和纹理信息匹配情况，判断待插值象素的运动情况，最终确定待插值象素的运动检测结果。
2.根据权利要求1所述的基于纹理信息的视频图象运动检测方法，其特征是，所述的帧间差异，计算采用如下公式Diff_CFF[m]=13Σk=-11|I(i,j+m+k,n)-I(i,j-m+k,n-2)|]]>Diff_BF[m]=13Σk=-11|I(i+1,j+m+k,n+1)-I(i+1,j-m+k,n-1)|]]>其中Diff_CFF[m]表示第n场中的象素I(i，j+m，n)及其水平方向邻域[-1，1]内的象素与第n-2场中的象素I(i，j-m，n-2)及其水平方向邻域[-1，1]内的象素之间的帧间差异，Diff_BF[m]表示当运动矢量为(0，2m)时，第n+1场中的象素I(i+1，j+m，n+1)及其水平方向邻域[-1，1]内的象素与第n-1场中的象素I(i+1，j-m，n-1)及其水平方向邻域[-1，1]内的象素之间的帧间差异。
3.根据权利要求1所述的基于纹理信息的视频图象运动检测方法，其特征是，所述的纹理信息匹配，包含纹理信息的计算和纹理信息匹配的判断所述的纹理信息的计算采用如下公式 其中GradBw和GradFw表示中心区域的纹理信息，GradBw_Border和GradFw_Border表示边界区域的纹理信息；所述的纹理信息匹配判断如下①如果GradBw与GradFw中的元素全部小于某一门限，则转到③；否则顺序执行；⑦如果GradBw与GradFw中的对应元素符号一致，则转到③；否则设置匹配标志参数AccordanceBF[m]＝0，纹理匹配判断结束；③如果GradBw_Border与GradFw_Border中的元素全部小于某一门限，则设置匹配标志参数AccordanceBF[m]＝1，纹理匹配判断结束；否则顺序执行；④如果GradBw_Border与GradFw_Border中的元素符号一致，则设置相应的匹配标志参数AccordanceBF[m]＝1，纹理匹配判断结束；否则顺序执行；⑤设置匹配标志参数AccordanceBF[m]＝0，纹理匹配判断结束。
4.根据权利要求1所述的基于纹理信息的视频图象运动检测方法，其特征是，所述的确定运动检测结果，包括运动系数的确定和运动方向的确定，象素的运动系数用Motion表示，运动方向用Dir表示，过程如下①假设Diff_CFF[m1]＝min(Diff_CFF[m]，m∈[-N，N])，Diff_BF[m2]＝min(Diff_BF[m]，m∈[-N，N])，则m1和m2分别称为Diff_CFF和Diff_BF的相关运动方向；②如果Diff_CFF[m1]和Diff_BF[m1]都小于规定的门限，并且Accordance_CFF[m1]和Accordance_BF[m1]都为1，则Motion＝0，并且Dir＝m1；③如果Diff_CFF[m2]和Diff_BF[m2]都小于规定的门限，并且Accordance_CFF[m2]和Accordance_BF[m2]都为1，则Motion＝0，并且Dir＝m2；④否则确定Motion＝1，Dir＝0。
全文摘要
一种基于纹理信息的视频图象运动检测方法，属于电子信息领域。本发明采用亮度信号的帧间差异及其邻域内象素纹理信息匹配两个特征判断待插值象素的运动情况，根据输入图象计算间隔一个帧周期的相邻两场中处于相同位置的象素之间的帧间差异，然后计算以上象素的纹理信息，判断纹理信息是否匹配，再根据帧间差异和纹理信息匹配情况，判断待插值象素的运动情况，最终确定待插值象素的运动检测结果。本发明在提高对快速运动和静止这两种运动状态的区分能力的同时，也大大提高了运动状态，包括运动方向的判断的准确性，可以用在支持逐行扫描的LCOS、LCD、DLP等多种数字显示器的控制器件中。
文档编号H04N7/01GK1622613SQ200410093098
公开日2005年6月1日 申请日期2004年12月16日 优先权日2004年12月16日
发明者董云朝, 邹琪, 郑世宝, 戈迪, 王峰 申请人:上海交通大学