专利名称：一种基于边缘检测的视频去隔行方法
技术领域：
本发明属于视频处理技术领域，特别涉及一种基于边缘检测的视频去隔行方法。
背景技术：
由于隔行视频中信息的缺失，因此在实际播放时往往会导致图像出现行间闪烁、锯齿现象、爬行现象和羽化现象等问题，造成观感的下降。视频去隔行处理的基本功能是通过数字化处理方法将隔行图像信号转换成逐行图像信号，消除或者减少隔行视频中的扫描行、行间闪烁、锯齿等现象，提高视频画面的观赏质量。视频去隔行方法的关键步骤是对一场中丢失行的像素进行插值恢复，其中又分为场内插值和场间插值。 帧内行平均法是用同一场的上下两行求平均值的方法来计算插值以达到去隔行的目的。此方法实现较方便，但对画面清晰度损伤较大，会导致锯齿状沿的产生。组合帧法(Weave方法)是一种最简单的去隔行算法，它直接通过合并视频帧的奇偶场来实现奇场或偶场丢失行像素的插值恢复。该方法得到的组合帧对静态图像区域的内容可以取得很好的效果，但并不适合处理图像中运动部分的内容。
发明内容
本发明的发明目的在于为了解决传统视频去隔行方法在处理视频中不同边缘方向和边缘强度的待插值像素位置时失真的技术问题，提出了一种基于边缘检测的视频去隔行方法。本发明的基于边缘检测的视频去隔行方法，其特征在于，包括以下步骤读入一场视频作为当前场Fi,判断当前场Fi的奇偶性，若Fi为奇场，则继续读入Fi的前一场Fp1和后一场Fi+1 ;若匕为偶场，则直接保存到待输出区域对应的偶场位置；按顺序读入奇场Fi中的一行数据，计算各待插值像素点的坐标位置；并根据所述坐标位置确定N个场间边缘方向及对应取值所述N个场间边缘方向包括垂直边缘方向、倾斜边缘方向,所述垂直边缘方向为，经过所述待插值像素点的垂直方向；选取分别与所述垂直边缘方向上所述待插值像素点的两个相邻像素点位于同一行的两个像素点，所选取的两个像素点相对于所述垂直边缘方向上所述待插值像素点的两个相邻像素点的位置偏移量相同，位置偏移方向相反，沿所选取的两个像素点的方向为所述倾斜边缘方向；且若存在经过像素点R的倾斜边缘方向，则存在经过像素点S的倾斜边缘方向，所述像素点S与像素点R关于所述垂直边缘方向对称，且像素点S与像素点R位于同一行；可见在本发明的N个场间边缘方向中，N的取值通常为3、5或7等奇数；所述N个场间边缘方向的取值为前一场Fp1和后一场Fi+1在同一取值坐标位置上的像素值之差垂直边缘方向上，所述取值坐标位置为所述待插值像素点的正上方；倾斜边缘方向上，所述取值坐标位置与所述待插值像素点在同一行，相对所述待插值像素点的位置偏移量与所述倾斜边缘方向中的位置偏移量相对应；依次对各待插值像素点进行插值处理判断待插值像素点X的场间边缘方向的垂直边缘方向的取值是否小于设定阈值Tl，若是，则取待插值像素点X的垂直方向的相邻两点的平均值进行插值处理；否则判断待插值像素点X的N个场间边缘方向中的最小值Vmin是否小于设定阈值T2，若是，则取所述待插值像素点X的垂直方向的相邻两点的平均值进行插值处理；若否，则基于所述Vmin进行相似线性插值处理；所述相似线性插值处理为
在当前场Fi中，在经过当前待插值像素点X的所述Vmin表示的场间边缘方向上，获取与当前待插值像素点X相邻的两个像素点Qu、Qd的像素值，所述像素点Qu在像素点X的上一行，所述像素点Qd在像素点X的下一行；在前一场Fp1中，获取与像素点Qu, X, Qd的坐标位置相同的三个像素点Pu，P，Pd的像素值；根据所述当前待插值像素点X与像素点Qu、Qd的像素值变化比，和所述像素点P与像素点Pu、Pd的像素值变化比相同，得到当前待插值像素点X的像素值。本发明基于当前待插值像素点的位置坐标在前后场中多个边缘检测的基础上，对当前场Fi的斜边像素及垂直方向的像素，选用不同的候选像素集进行插值恢复，以避免将纹理按边缘方向进行误插值处理，提升视频画面的观赏质量。为了实现本发明的自适应性，在本发明中，阈值Tl既可以是固定设定(根据具体应用系统，由经验值设置，通常的取值为(0，100]，具体取值既可以是整数，也可以是非整数)，也可以是根据对上一场进行插值处理的相关参数对阈值Tl进行自适应调整设定阈值T_l，初始值为阈值Tl的值，当每次对待插值像素点采用垂直方向相邻两点的平均值进行插值处理后，均更新阈值T_1的取值，取T_1 = kXT_l_pre+(l-k) X V垂直I，其中，所述系数k的取值范围为
，所述T_l_pre表示前一个待插值像素点的T_1的值，IveiI表示场间边缘方向的垂直边缘方向的取值的绝对值；在对当前场Fi的所有行数据完成插值处理后，对阈值Tl进行更新，令所述阈值Tl等于阈值乙1的当前取值，用于下一视频场的插值处理。为了保证图像中剩余像素点中的大部分进入垂直边缘的检测范围，以简化本发明的处理计算，在每次对阈值Tl根据公式Tl = kXTl_pre+(l-k) X |V垂直|进行更新操作后，做进一步的调整操作，取阈值Tl的值为T1 =max(5，min(4XTl，20))。 在本发明中，阈值T2的值可以为固定设定(根据具体应用系统，由经验值设置，通常的取值为(0，100]，具体取值既可以是整数，也可以是非整数)，也可以根据已处理像素位置的参数结果，统计参数的变化，在每一奇场的视频场进行插值处理完成后，对阈值Τ2进行自适应性更新，以用于下一视频场的插值处理若所述待插值像素点X的N个场间边缘方向中的最小值Vmin大于或等于阈值Τ2，则将所述Vmin方向的边缘判断为强边缘，并根据所述Vmin对强边缘差值累计统计值D_cnt_weight、强边缘方向差值统计值D_str_edge进行更新处理若Vmin〈mXT2，m>l，则 D_cnt_weight = D_cnt_weight+1 ；若Vmin>=mXT2，且 Vmin〈nXT2，n>m，则 D_cnt_weight = D_cnt_weight+1. 125 ；若Vmin>=nXT2，则 D_cnt_weight = D_cnt_weight+1. 25 ；
当对所述D_cnt_weight进行更新处理后,将强边缘检测点统计值D_cntl加I ;并令所述D_str_edge = D_str_edge+Vmin ；上述D_cnt_weight、D_str_edge、D_cntl 的初始值为 O ;若当所述待插值像素点X的N个场间边缘方向中的最小值Vmin小于T2时，则将所述Vmin方向的边缘判断为弱边缘，将弱边缘检测点统计值D_cnt2加1，且对弱边缘统计值D_weak_edge 进行更新处理D_weak_edge = D_weak_edge+Vmin,所述 D_weak_edge、D_cnt2 的初始值为O ;1对当前场Fi的所有行数据完成插值处理后，设变量a = D_str_edge/D_cntl,变量b = D_weak_edge/D_cnt2 ;中间值β = β +Rstl~Rwe;ak，所述P的初始值为O或根据β =(T2-a)/(b-a)计算得到，其中所述Rsfe、Rweak表示当前场Fi与上一场的强边缘变化比、弱边缘变化比所述Rsta的值为当前场Fi的强边缘差值累计统计值和上一场的强边缘检测点统计值之差，与上一场的强边缘检测点统计值的比值；所述Rweak的值为当前场Fi与上一场的弱边缘检测点统计值的变化量，与上一场的弱边缘检测点统计值的比值；根据上述变量a、b，中间值β对所述阈值Τ2进行更新处理Τ2 =(1-β)ΧΒ+β Xb，用于下一视频场的插值处理。为了进一步提升本发明的处理精确性，在本发明中，当待插值像素点X的N个场间边缘方向中的最小值Vmin小于阈值Tl时，以及小于阈值T2时，对待插值像素点X的插值处理为取前一场Fp1和后一场Fi+1中，在所述待插值像素点X的坐标位置的正上方的坐标位置处的像素值之和，加上数值“I”后，再与数值“2”的商作为待插值像素点X的像素值。综上所述，由于采用了上述技术方案，本发明的有益效果是计算简便，并行化高，处理的视频面质高。
本发明将通过例子并参照附图的方式说明，其中图1是本发明实施例1的场间边缘方向的边缘像素模板；图2是本发明实施例1的场间边缘方向的方向差值模板；图3是本发明实施例1的相似线性插值模板；
具体实施例方式本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。实施例1本发明的基于边缘检测的视频去隔行方法采用以下步骤实现
步骤S100，参数初始化设置阈值Tl=10，Τ2=30，同时令Τ—1=Τ—I—Pre=Tl，D—cntl=0，D_cnt2=0o步骤S200，从视频数据缓冲区读入一场视频作为当前场Fi,并判断当前场Fi的奇偶性。若Fi是奇场，则继续读入当前场Fi的前一场Fp1和后一场Fi+1后，进入步骤S300 ;如果Fi是偶场，则直接将Fi信息直接保存到待输出区域对应的偶场位置，返回步骤S200 ；步骤S300，按顺序读入当前场Fi中未被处理的一行数据，计算每个待插值像素的坐标位置；并根据各待插值像素的坐标位置，基于图1所示边缘像素模板和图2所示的方向差值模板计算待插值像素点X的5个场间边缘方向的取值Vtl, V1, V2, V3, V4 在图1中，A、B、C、D、E分别表示，当前场Fi中的待插值像素点X的坐标位置，对应该坐标位置，在前一场Fp1中的左边两个、左边一个、上方、右边一个、右边两个坐标位置的像素值；F、G、H、1、J分别表示，当前场Fi中的待插值像素点X的坐标位置，对应该坐标位 置，在后一场Fi+1中的左边两个、左边一个、上方、右边一个、右边两个坐标位置的像素值；参见图2,实施例1的5个场间边缘方向包括I个垂直边缘方向，其取值用V2表示；4个倾斜边缘方向，其取值分别为Vtl, V1, V3, V4 ;各场间边缘方向是根据待插值像素点X的坐标位置X进行确定，V2所在的方向为经过待插值像素点X的垂直方向，4个倾斜边缘方向为分别选取与待插值像素点X的正上方、正下方在同一行的两个像素点Ru、Rd，且像素点Ru、Rd相对于待插值像素点X的水平位置偏移量相同，位置偏移方向相反，沿像素点Rd、Ru的方向为倾斜边缘方向。5个场间边缘方向的取值前一场Fp1和后一场Fi+1在同一坐标位置上的像素值之差，即V0=A-JV1=B-1V2=C-HV3=D-GV4=E-F步骤S400，根据V2与阈值Tl的大小关系，采用不同的插值处理对对待插值像素点X进行插值处理(4.1) gV2〈Tl，则按垂直边缘方向进行插值处理，具体运算见下式X= (C+H+D/2 (I)因为在计算机在计算除2时是向下取整，为了确保本发明的精准性，在计算过程中，取前一场Fp1和后一场Fi+1中，在所述待插值像素点X的坐标位置的正上方的坐标位置处的像素值之和，加“ I ”后，再除2。接着对阈值T_1根据公式(2)进行更新操作T_1 = kXT_l_pre+(l-k) X V2(2)其中，系数的取值范围为
，例如取O. 2,0. 5,0. 6,0. 9或1. 0，本实施例中取为O. 9，T_l_pre表示前一个待插值像素点的T_1的值。进一步通过公式(3)调整T_1的值，以保证图像中剩余像素中的大部分进行垂直边缘方向的检测范围，简化计算T_1 = max (5, min (4 X T_l, 20)) (3)
其中，函数max ()表不取括号中所有变量的最大值,min ()表不取括号中所有变量的最小值。(4. 2)如果V2>=T1，则计算5个场间边缘方向的取值V。，V1, V2, V3, V4的最小值Vmin = min (V0, V1, V2, V3, V4) (4)根据Vmin和阈值T2根据V2与阈值Tl的大小关系，采用不同的插值处理对待插值像素点X进行插值处理(4. 2.1)若Vmin>=T2，则将Vmin表示的场间边缘方向判断为强边缘，根据Vmin所表示的场间边缘方向进行相似线性插值处理参见图3,按Vmin所表不的场间边缘方向在前一场Fp1中找到对应方向上的三个像素点(PU，P，Pd)，当前场Fi中Vmin所表示的场间边缘方向上三个像素点为(QU，X，Qd)的三个点排序，其中Pu、P、Pd、Qu、X、Qd表示各像素点的像素值，根据相似性线性关系有 P-P X-O
则可以根据公式(5)和(6)计算出当前待插值像素点X的像素值
P-P1,rp=j^r
f Pr _ ])r ]) _ pii T)h — \
Γ _ (./\ —U __ UU\7 P py/P ) pr _ pr - pg _pg - pb _ pb
(5)
ν- Qu y ρ QdI = ~^——
Ι-γ
/ P
((Y - Yr · (Y (Y - Vli · O'' Oh - Vk · 0!] \
_ /V \ 一· ρ· ρ/ ρ U I,U )=,,
VfPrPrP J (6)公式(5)和(6)中，Yp为运算过程中间值，符号r，g, b分别对应各像素的R，G，B
色彩分量。(4. 2. 2)若Vmin〈T2，则将Vmin表示的场间边缘方向判断为弱边缘，根据公式(I)按垂直边缘方向进行插值处理，并根据公式(2) (3)对阈值T_1进行更新和调整。在上述(4. 2.1)和(4. 2. 2)的强弱边缘进行插值处理中，为了实现对阈值T2的自适应性调整，还根据Vmin和阈值T2的关系进行以下判断处理在对强边缘进行插值处理中(Vmin>=T2)如果Vmin〈mXT2，则:D_cnt_weight = D_cnt_weight+1 (7)如果Vmin>=mXT2 并且 Vmin〈nXT2，则D_cnt_weight = D_cnt_weight+1. 125 (8)如果Vmin>=nXT2，则:D_cnt_weight = D_cnt_weight+1. 25 (9)上式中，D_Cnt_weight为强边缘差值累计统计值，系数m、n即可以是整数，也可以是实数，且l〈m〈n,本实施例中，m=l. 125, n=3. 5。在完成的更新后，根据公式(5) (6)对待插值像素点X进行相似线性插值处理，再对强边缘检测点统计值D_cntl (初始值为O)进行更新
D_cntl = D_cntl+1 (10)并根据公式(11)对强边缘方向差值统计值D_str_edge (初始值为O)进行更新处理D_str_edge = D_str_edge+Vmin (11)在对弱边缘进行插值处理中(ν.α〗)在根据公式(I)对待插值像素点X进行插值处理后，对弱边缘检测点统计值D_cnt2 (初始值为O)进行更新D_cnt2 = D_cnt2+1 (12)并根据公式(13)对弱边缘统计值D_weak_edge (初始值为O)进行更新处理 D_weak_edge = D_weak_edge+Vmin (13)步骤S500，判断当前读入的像素是否为本场(Fi)的最后一个像素，若是，则进入步骤S600 ;否则，读入当前场Fi的下一个像素，重复步骤S300至步骤S500操作完成一场图像的去隔行操作。步骤S600，对阈值T1、T2及阈值T2相关的变量a、b、β进行更新，用于下一场图像的去隔行操作T1=T_1 (14)Τ2 = (l-β ) Xa+β Xb (15)公式(15)中，变量a、b、β的取值分别为a = D_str_edge/D_cnt I (16)b = D_weak_edge/D_cnt2 (17)β = β+Rstr-Rweak (18)其中，β的初始值可直接设为O;也可以基于Τ2的初始值，根据β = (T2-a)/(b-a)、公式(16) (17)计算得到；亦或直接设定a、b的初始值,例如a=30, b=10基于T2的初始值，根据β = (T2-a) / (b-a)计算得到。本实施例中，直接取β的初始值为O ;Rstr表示当前场Fi与上一场的强边缘变化比Rstr = (D_cnt_we i ght~D_pr e v_cnt I) /D_pr e v_cnt I (19)其中，D_cnt_weight为强边缘差值累计统计值，D_prev_cntl为上一场的强边缘检测点统计值D_cntl。Rweak表示当前场Fi与上一场的强边缘变化比Rweak = (D_cnt2-D_prev_cnt2) /D_prev_cnt2 (20)其中，D_cnt2为边缘检测点统计值，D_prev_cnt2为上一场的弱边缘检测点统计值 D_cntl。在对阈值T2、变量β完成更新操作后，对以下两个变量进行更新操作D_prev_cntl = D_cntl (21)D_prev_cnt2 = D_cnt2 (22)本发明并不局限于前述的具体实施方式
。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
权利要求
1.一种基于边缘检测的视频去隔行方法，其特征在于，包括以下步骤读入一场视频作为当前场Fi,判断当前场Fi的奇偶性，若Fi为奇场，则继续读入Fi的前一场Fp1和后一场Fi+1 ;若Fi为偶场，则直接保存到待输出区域对应的偶场位置；按顺序读入奇场Fi中的一行数据，计算各待插值像素点的坐标位置；并根据所述坐标位置确定N个场间边缘方向及对应取值所述N个场间边缘方向包括垂直边缘方向、倾斜边缘方向，所述垂直边缘方向为,经过所述待插值像素点的垂直方向；选取分别与所述垂直边缘方向上所述待插值像素点的两个相邻像素点位于同一行的两个像素点，所选取的两个像素点相对于所述垂直边缘方向上所述待插值像素点的两个相邻像素点的位置偏移量相同，位置偏移方向相反，沿所选取的两个像素点的方向为所述倾斜边缘方向；且若存在经过像素点R的倾斜边缘方向，则存在经过像素点S的倾斜边缘方向，所述像素点S与像素点R关于所述垂直边缘方向对称，且像素点S与像素点R位于同一行；所述N个场间边缘方向的取值为前一场Fp1和后一场Fi+1在同一取值坐标位置上的像素值之差垂直边缘方向上，所述取值坐标位置为所述待插值像素点的正上方；倾斜边缘方向上，所述取值坐标位置与所述待插值像素点在同一行，相对所述待插值像素点的位置偏移量与所述倾斜边缘方向中的位置偏移量相对应； 依次对各待插值像素点进行插值处理判断待插值像素点X的场间边缘方向的垂直边缘方向的取值是否小于设定阈值Tl，若是，则取待插值像素点X的垂直方向的相邻两点的平均值进行插值处理；否则判断待插值像素点X的N个场间边缘方向中的最小值Vmin是否小于设定阈值T2，若是，则取所述待插值像素点X的垂直方向的相邻两点的平均值进行插值处理；若否，则基于所述Vmin进行相似线性插值处理；所述相似线性插值处理为在当前场Fi中，在经过当前待插值像素点X的所述Vmin表示的场间边缘方向上，获取与当前待插值像素点X相邻的两个像素点Qu、Qd的像素值，所述像素点Qu在像素点X的上一行，所述像素点Qd在像素点X的下一行；在前一场Fg中，获取与像素点Qu，X，Qd的坐标位置相同的三个像素点Pu，P，Pd的像素值；根据所述当前待插值像素点X与像素点Qu、Qd的像素值变化比，和所述像素点P与像素点Pu、Pd的像素值变化比相同，得到当前待插值像素点X的像素值。
2.如权利要求1所述的方法，其特征在于，设定阈值T_l，初始值为阈值Tl的值，当在对每个待插值像素点采用垂直方向相邻两点的平均值进行插值处理后，对所述阈值T_1进行更新操作，令T_1 = kXT_l_pre+(l-k)X卜_|，其中，所述系数1^的取值范围为
， T_l_pre表不前一个待插值像素点的T_1的值，Vei |表不场间边缘方向的垂直边缘方向的取值的绝对值；在对当前场Fi的所有行数据完成插值处理后，对阈值Tl进行更新，令所述阈值Tl等于阈值T_1的当前取值，用于下一视频场的插值处理。
3.如权利要求2所述的方法，其特征在于，还对更新操作后的阈值T_1进行调整处理 将4倍乙1与数值“20”两者中的较小者与数值“5”进行比较，取两者中最大者为调整处理后的T_1的取值。
4.如权利要求1、2或3所述的方法，其特征在于，若所述待插值像素点X的N个场间边缘方向中的最小值Vmin大于或等于阈值T2，则将所述Vmin方向的边缘判断为强边缘，并根据所述Vmin对强边缘差值累计统计值D_cnt_ weight、强边缘方向差值统计值D_str_edge进行更新处理若 Vmin〈 mXT2，m > 1，则 D_cnt_weight = D_cnt_weight+1 ；若 Vmin > = mXT2，且 Vmin < nXT2，η > m，则 D_cnt_weight = D_cnt_weight+1. 125 ； 若 Vmin >= nXT2，则 D_cnt_weight = D_cnt_weight+1. 25 ；当对所述D_cnt_weight进行更新处理后,将强边缘检测点统计值D_cntl加I ;并令所述 D_str_edge = D_str_edge+Vmin ；上述 D_cnt_weight、D_str_edge、D_cntl 的初始值为 O ;若当所述待插值像素点X的N个场间边缘方向中的最小值Vmin小于T2时，则将所述Vmin 方向的边缘判断为弱边缘，将弱边缘检测点统计值D_cnt2加I，且对弱边缘统计值D_weak_ edge 进行更新处理D_weak_edge = D_weak_edge+Vmin,所述 D_weak_edge、Dcnt2 的初始值为O ;对当前场Fi的所有行数据完成插值处理后，对阈值T2进行更新处理，用于下一视频场的插值处理设变量 a = D_str_edge/D_cntl,变量 b = D_weak_edge/D_cnt2 ；中间值β = β+Rstr-Rweak,所述β的初始值为O或根据β = (T2-a) / (b-a)计算得到， 其中所述Rsfe、Rweak表示当前场Fi与上一场的强边缘变化比、弱边缘变化比所述Rsfe的值为当前场Fi中的强边缘差值累计统计值和上一场的强边缘检测点统计值的差，与上一场的强边缘检测点统计值的比值；所述Rweak的值为当前场Fi与上一场的弱边缘检测点统计值的变化量，与上一场的弱边缘检测点统计值的比值；根据上述变量a、b，中间值β对所述阈值Τ2进行更新处理Τ2 = (1-β) Xa+β Xb0
5.如权利要求1所述的方法，其特征在于，所述阈值Tl的初始值为10，阈值Τ2的初始值为30。
6.如权利要求1、2、3或5所述的方法，其特征在于，当待插值像素点X的N个场间边缘方向中的最小值Vmin小于阈值Tl时，以及小于阈值Τ2时，对待插值像素点X的插值处理为取前一场Fg和后一场Fi+1中，在所述待插值像素点X的坐标位置的正上方的坐标位置处的像素值之和，加上数值“I”后，再与数值“2”的商作为待插值像素点X的像素值。
7.如权利要求4所述的方法，其特征在于，当待插值像素点X的N个场间边缘方向中的最小值Vmin小于阈值Tl时，以及小于阈值T2时，对待插值像素点X的插值处理为取前一场Fg和后一场Fi+1中，在所述待插值像素点X的坐标位置的正上方的坐标位置处的像素值之和，加上数值“I”后，再与数值“2”的商作为待插值像素点X的像素值。
全文摘要
本发明公开了一种基于边缘检测的视频去隔行方法，属于视频图像处理技术领域。本发明基于丢失场中待插值的像素在前后场中多个边缘检测的基础上，对丢失场的斜边像素及垂直方向的像素，选用不同的候选像素集进行插值恢复。同时，根据已处理像素位置的参数结果，统计参数的变化比并对后续相关参数进行动态自适应更新。克服了由于边缘检测不准确造成图像中出现不该有的插值亮点问题。本发明用于与数字视频去隔行相关的实际视频系统中，本发明计算简便，并行化高，处理的视频面质高。
文档编号H04N5/14GK103024331SQ201210574060
公开日2013年4月3日 申请日期2012年12月26日 优先权日2012年12月26日
发明者王正宁, 刘光辉, 王忠荣, 吴庆波, 曾辽原, 李宏亮 申请人:电子科技大学