专利名称：基于运动检测的去隔行方法
技术领域：
本发明属于数字图像处理与视频显示技术领域，具体涉及一种方便于硬件实现的时空域多场相关去隔行方法。
背景技术：
视频图像去隔行技术是图像处理在电视应用领域现阶段不可缺少的一种重要技术之一。
最常用的广播电视制式包括NTSC 525行60 Hz场频制式(主要用于北美和日本)和625行50 Hz场频的PAL制式(主要用于欧洲和中国)由于隔行图像丢失垂直分辨率，并且存在行闪烁和行蠕动等缺点，故不可避免地要进行隔行到逐行的转换，即去隔行技术。去隔行算法的本质是通过对已有的隔行信号进行插值以恢复出实际事物的奇(偶)行。把场图像还原为帧图像，从而提高图像的垂直清晰度。
去隔行算法根据其所用滤波器的种类不同分为线性算法、非线性算法、运动自适应算法和运动补偿算法。其中，运动自适应算法根据运动检测得到的运动参数来选择插值方式，目前最常用方式为判断参数为完全静止时，采用场间复制或平均插值，完全运动则采用纯场内插值。关于运动检测一般采用基于场差的检测方法，即利用相邻两场的像素值差值与阈值比较，大于该值则判断为运动，否则就认为是静止点。其中，场间复制即把相邻上一场或下一场对应坐标位置点像素数值赋给当前待插点。平均插值即把前后相邻两场对应相同坐标位置像素数值求平均作为当前待插点的值。纯场内插值即为只利用当前待插点所在场数据进行计算求得待插点的值。运动自适应算法可以消除运动锯齿，提高图像的垂直清晰度，但是需要逐点运动检测，受噪声影响大，并且在运动状态插值无法利用时间域信息，加权也会造成插值结果不精确，影响去隔行效果。
运动补偿算法通过对图像进行运动估计(如块匹配，光流法等)，求得运动位移矢量，在运动轨迹上进行插值，由这种方法还原出的图像能够很好的保持图像的垂直清晰度，但是他要求估算出的运动矢量必须准确可靠，导致计算量大，消耗硬件资源较大，硬件实现复杂度高。
发明内容
本发明所要解决的技术问题是，提供一种在运动自适应算法的基础上加入时间域信息的去隔行方法。本发明为解决上述技术问题所采用的技术方案是，基于运动检测的去隔行方法，，包括 以下步骤
a、 计算待插值点的最大场内方向相关性；
b、 判断待插值点的运动检测结果是否为静止状态，如是，采用场间复制或平均插值； 如否，则为运动状态，进入步骤c;
c、 计算待插值点的最大场间方向相关性；
d、 判断最大场间方向相关性是否大于设定阈值；且判断最大场间方向相关性是否大于 最大场内方向相关性，如是，采用在最大场内方向相关性对应方向上与待插值点相邻的两点 的像素值，以及在最大场间方向相关性对应方向上与待插值点相邻的两点的像素值的均值作 为插值结果；如否，采用在最大场内方向相关性对应方向上与待插值点相邻的两点的像素值 的均值作为插值结果。
本发明与一般运动自适应方法检测到运动状态即采用场内插值不同，本发明在判断为运 动状态时，仍会在临近场小范围内寻找是否有相关的点，通过与设定阈值比较来确定下一步 的具体插值方法。设定阈值在此保证当场间方向相关性足够大时，使相关性大的场间像素点 参与插值计算。如果没有设定阈值的限制，场间方向相关性和场内方向相关性可能都很小， 这时候即使场间方向相关性比场内方向相关性数值上看似更好，而实际上这种情况并不是由 于运动造成的，所以仍应该考虑场内差值。相比运动补偿的各种搜索算法消耗硬件资源少， 相比运动自适应加入了时间域信息，使运动情况下的插值结果也具有时间连续性，并且利用 周围点信息进行计算，克服了单点运算受噪声的影响，提高运动插值精度。
具体的，本发明通过计算场内/场间方向对应像素点的像素值绝对差来反映场内/场间方 向相关性大小；场内/场间方向对应像素点的像素值绝对差越大，场内/场间方向相关性越小 。设当前场fn内待插点坐标为(i， j)，在待插行上下两相邻行选取j士k的范围，在空间域 内以(i， j)为中心对称的两点求绝对值的差，并设具有最大场内方向相关性的两点为Xup ，Xd0TO。例如，方向&(&=0……k)在空间域内以(i， j)为中心对称的两点的绝对差Ia则
la = I P (i-1， j-a) -P (i+l， j+a)
像素值绝对差越大说明该方向待插值点两端像素点灰度差距越大，相关性越小；相之， 方向相关性越大。那么，最大方向相关性所对应的绝对差=min (11,12，……，Ik);
若min (11,12，......， Ik) =Ia，贝収卯=P (i一1， j-a) ; Xdown=P (i+l， j+a);
最大场内方向相关性对应方向上与待插值点相邻的两点的像素值的均值X二 (Xup+ Xdown)/2 。为避免单点噪声影响，可选取方向相关性计算两点左右若干个点按照与相关性计算水平的方向求绝对值的差。
即，通过计算场内/场间方向对应像素点的像素值绝对差、场内/场间方向对应像素点的左相邻像素点的像素值绝对差、场内/场间方向对应像素点的右相邻像素点的像素值绝对差之和来反映场内/场间方向相关性大小；场内/场间像素值绝对差之和越大，场内/场间方向相关性越小。设当前场fn内待插点坐标为(i， j)，在待插行上下两相邻行选取j士k的范围，在空间域内以(i， j)为中心对称的两点求绝对值的差，并设具有最大场内方向相关性的两点为Xup， Xdown。
例如，求方向b(b^……k)的场内像素值绝对差之和Ib，采用方向b的点P (i-l， j- b)和P (i+l， j+b)及周围P (i-1， j-b-1)和P (i+l， j+b-1)和P (i-1， j-b+l)和P (i+l，j+b+l)，贝lj:
lb = I P (i-1， j-b) -P (i+l， j+b) |+|P (i-1， j-b-1) -P (i+l， j+b-1) |+|P (i-1， j-b+l) -P (i+l， j+b+l) I;
最大方向相关性所对应的场内像素值绝对差之和=min (11， 12，......，Ik);
若min (11， 12，......， Ik) =Ib，贝収卯=P (i—1， j-b) ; Xdown=P (i+l， j+b);
最大场内方向相关性对应方向上与待插值点相邻的两点的像素值的均值X二 (Xup+Xdown)/2 。
进一步的，本发明提供一种新的运动检测方法，通过多场像素信息求得场差、帧差，使得运动检测的结果准确。步骤b中判断待插值点的运动检测结果，具体包括以下步骤
b-l、设置人眼敏感阈值；为了使运动检测的结果更加符合人眼观看的习惯，根据人眼对亮度的敏感程度选择了人眼敏感阈值；
b-2、计算在最大场内方向相关性对应方向上与待插值点相邻的两点的像素值的均值，
与待插值点在前一场中对应位置的点的像素值的绝对差，其绝对差结果为第一场差fL;计算
在最大场内方向相关性对应方向上与待插值点相邻的两点的像素值的均值，与待插值点在后
一场中对应位置的点的像素值的绝对差，其绝对差结果为第二场差fR;计算所述待插值点在前一场中对应位置的点的像素值，待插值点在后一场中对应位置的点的像素值的绝对差，其绝对差结果为帧差fLR; fL=|fn-1 (i， j) -X|; fR=|fn+i (i， j) -X|; fLR=|fn-1 (i， j)-fn+i (i， j) I;
b-3、取第一场差、第二场差、帧差之间的最大值作为运动参数MAXf， MAXf=maX (fL，fR， fLR);
6b-4、判断运动参数是否大于人眼敏感阈值，如是，待插值点的运动检测结果为运动状态；如否，待插值点的运动检测结果为静止状态。
本发明的有益效果是，本发明在运动检测为静止的情况下采用场间复制或平均插值，在运动情况下判断场间信息相关性是否较大，当在诸如场景切换或大幅度运动等情况下，采用场内插值方法，避免帧间不准确信息印象插值结果。否则插值结果仍然参考场间信息，既避免了运动匹配的不准确性带来的不良影响，又简化计算。经试验证明，能使去隔行取得很好的效果。
具体实施例方式
1、 求帧内最大相关性，假设选择范围为j士2，利用求相关性点的左右各一点起消噪作用，各方向对应场内像素值绝对差之和
10 = I P (i-1， j) -P (i+l， j) |+|P (i+l， j-1) -P (i-1， j-1) |+|P (i-1， j+l)-P (i+l， j+l) I;
11 = I P (i-1， j-1) -P (i+l， j+l) |+|P (i-1， j-2) -P (i+l， j) |+|P (i-1， j)-P (i+l， j+2) I;
12 = I P (i-1， j-2) -P (i+l， j+2) |+|P (i-1， j-3) -P (i+l， j+l) |+|P (i-1，j-1) -P (i+l， j+3) I;
最大方向相关性所对应的场内像素值绝对差之和,in (11， 12， 10);若min (11， 12， 10) =10，则具有最大场内方向相关性的两点为Xup， Xdown:Xup= P (i-1， j);Xdown=P (i+l， j);
最大场内方向相关性对应方向上与待插值点相邻的两点的像素值的均值X ， X= (Xup+Xdown)/2;
2、 根据X在对应的人眼敏感度曲线上选择人眼敏感度阈值TM。 TM取值根据人的视觉系统不同可能会有浮动，所以在确定的时候尽量选取合适的值，以防把运动的情况误判断为静止，不然会造成严重的重影问题，TM取值范围在12-24之间为宜；
3、 通过多场像素信息求得场差fL、 fR,帧差fLR:fL=|fn-1 (i， j) -X|;
fR=|fn+l (i， j) -X|;
fLR=|fn-1 (i， j) -fn+1 (i， j) I;
4、 求运动参数MAXf， MAXf=max (fL， fR， fLR)，并且与TM比较来，确定待插值点的运
7动检测结果为运动状态还是静止状态
if MAXf > TM
MS = 1;运动检测结果为运动状态，进入步骤6;
6lS6
MS = 0;运动检测结果为静止状态；进入步骤5;
5、 插值方法为fn(i，j)= fn—i (i， j)。
6、 进一步判断场间相关性，假设在前后两场对应的区域内选取(i±2， j±2)的范围
。求时域上，方向O对应场间像素值绝对差之和IO，采用(i±2， j±0)方向的点fn-l (i-2，j)和fn+l (i+2， j)及周围fn-1 (i-2， j-1)和fn+l (i+2， j-1)和fn-1 (i-2， j+l)和fn+l (i+2， j+l);
由于假定范围是(i±2， j±2)，则需求的方向0、 1、 2对应场间像素值绝对差之和I0
，II， 12:
10 = I fn-1 (i-2， j) -fn+1 (i+2， j) |+| fn-1 (i-2， j-1) -fn+1 (i+2， j-1) |+fn-1 (i-2， j+l) -fn+1 (i+2， j+l) |;
11 = I fn-1 (i-2， j-1) - fn+1 (i+2， j+l) |+| fn-1 (i-2， j-2) - fn+1 (i+2， j)|+| fn-1 (i-2， j) - fn+1 (i+2， j+2) |;
12 = I fn-1 (i-2， j-2) - fn+1 (i+2， j+2) |+| fn-1 (i-2， j-3) - fn+1 (i+2，j+l) |+| fn-1 (i-2， j-1) - fn+1 (i+2， j+3) |;
最大方向相关性所对应的场间像素值绝对差之和=min (11， 12， 10);若min (11， 12， 10) =10， BlJXL= fn—1 (i—2， j) ; XR= fn+1 (i+2， j);
7、 运动状态插值if (XL+XR) /2 〈阈值TX并且(XL+XR) /2〈X，那么待插点的值计算公式为fn (i， j) = mid (XL，XR，X)，即计算XL， XR， X的均值；如果不满足上述条件，插值就为fn(i， j)=X。
本实施例中所述的阈值TX、人眼敏感度阈值TM，本领域技术人员均可通过常规的实验得到经验值，并通过具体的需求进行调整。
8
权利要求
权利要求1基于运动检测的去隔行方法，其特征在于，包括以下步骤a、计算待插值点的最大场内方向相关性；b、判断待插值点的运动检测结果是否为静止状态，如是，采用场间复制或平均插值；如否，则为运动状态，进入步骤c；c、计算待插值点的最大场间方向相关性；d、判断最大场间方向相关性是否大于设定阈值；且判断最大场间方向相关性是否大于最大场内方向相关性，如是，采用在最大场内方向相关性对应方向上与待插值点相邻的两点的像素值，以及在最大场间方向相关性对应方向上与待插值点相邻的两点的像素值的均值作为插值结果；如否，采用在最大场内方向相关性对应方向上与待插值点相邻的两点的像素值的均值作为插值结果。
2.如权利要求l所述基于运动检测的去隔行方法，其特征在于，通过计算场内方向对应像素点的像素值绝对差来反映场内方向相关性大小；场内方向对应像素点的像素值绝对差越大，场内方向相关性越小；通过计算场间方向对应像素点的像素值绝对差来反映场间方向相关性大小；场间方向对应像素点的像素值绝对差越大，场间方向相关性越
3.如权利要求l所述基于运动检测的去隔行方法，其特征在于，通过计算场内方向对应像素点的像素值绝对差、场内方向对应像素点的左相邻像素点的像素值绝对差、场内方向对应像素点的右相邻像素点的像素值绝对差之和来反映场内方向相关性大小;场内像素值绝对差之和越大，场内方向相关性越小；通过计算场间方向对应像素点的像素值绝对差、场间方向对应像素点的左相邻像素点的像素值绝对差、场间方向对应像素点的右相邻像素点的像素值绝对差之和来反映场间方向相关性大小；场间像素值绝对差之和越大，场间方向相关性越小。
4.如权利要求l、 2或3所述基于运动检测的去隔行方法，其特征在于，步骤b中判断待插值点的运动检测结果，具体包括以下步骤b-l、设置人眼敏感阈值；b-2、计算在最大场内方向相关性对应方向上与待插值点相邻的两点的像素值的均值， 与待插值点在前一场中对应位置的点的像素值的绝对差，其绝对差结果为第一场差；计算在 最大场内方向相关性对应方向上与待插值点相邻的两点的像素值的均值，与待插值点在后一 场中对应位置的点的像素值的绝对差，其绝对差结果为第二场差；计算所述待插值点在前一 场中对应位置的点的像素值，待插值点在后一场中对应位置的点的像素值的绝对差，其绝对 差结果为帧差；b-3、取第一场差、第二场差、帧差之间的最大值作为运动参数；b-4、判断运动参数是否大于人眼敏感阈值，如是，待插值点的运动检测结果为运动状 态；如否，待插值点的运动检测结果为静止状态。
全文摘要
本发明涉及一种方便于硬件实现的时空域多场相关去隔行方法。本发明提供一种在运动自适应算法的基础上加入时间域信息的去隔行方法。与一般运动自适应方法检测到运动状态即采用场内插值不同，本发明在判断为运动状态时，仍会在临近场小范围内寻找是否有相关的点，通过与设定阈值比较来确定下一步的具体插值方法。设定阈值在此保证当场间方向相关性足够大时，使相关性大的场间像素点参与插值计算。相比运动补偿的各种搜索算法消耗硬件资源少，相比运动自适应加入了时间域信息，使运动情况下的插值结果也具有时间连续性，并且利用周围点信息进行计算，克服了单点运算受噪声的影响，提高运动插值精度。
文档编号H04N7/01GK101483746SQ200810306449
公开日2009年7月15日 申请日期2008年12月22日 优先权日2008年12月22日
发明者强 刘, 徐慧博 申请人:四川虹微技术有限公司