专利名称：视频序列中划痕的修复方法
技术领域：
本发明属于数字视频图像处理领域，具体地说是涉及一种应用于电影电视的胶片和磁带的数字化视频序列中划痕的修复方法。
背景技术：
划痕是视频序列中最常见的一种损伤，产生的主要原因是胶片在播放、拷贝以及倒巻过程中被坚硬颗粒引起的刮擦，主要为垂直和水平划痕两种，表现为黑色和白色，宽度通常为3 10个像素。视频序列中的划痕通常在相同位置附近持续出现若干帧。划痕的形状细长，两端的相关性比较弱，甚至有些划痕在垂直或者水平方向贯穿整帧画面，两端可利用的信息有限，增加了划痕的修复难度。
由于垂直划痕在连续帧上持续出现在相同位置，从视频序列前后帧中可获得的有用信息非常有限，时域的修复方法并不适合，常采用空间插值的方法修复]，如LeeC.H. Restoringspline interp- olation of CT images [J]. IEEE Transactions on Medical Imaging,September 1983， 2 (3) : 142-149.禾口 Li S. Z., Chan K. L., Wang H. Bayesian image restorationand segmentation by constrained optimization [C].CVPR， 96，Int. Conf. on ComputerVision and Pattern Recognition, Jun 1996, {18} : 1_6还有Philippe Thevenaz， Thieny Blu，Michael Unser. Interpolation Revisited[J]. IEEE Trans on MedicalImaging, Jul. 2000， 19(7) :739-758，利用邻近像素点灰度值的加权平均来计算未知像素点的灰度值，这种方法修复速度比较快，但不能保持画面的结构特征，视觉效果上会有一定的模糊和平滑效应。另外还有利用小波域对垂直划痕修复，如T. Bretschneider, 0. Kao, P. J. Bonws.Removal of Verti- cal Scratches in Digitised Historical Film Sequences Using WaveletDecomposition [C]. New Zealand: Proceedings of the Image and Vision Computing,2000， 38-43，这种方法利用三次样条插值修复垂直方向的小波系数，有效的保留了图像的高频分量，但在局部图像上仍能看出轻微的划痕痕迹，实际上就是频域的插值方法。而后出现图像修补技术，Chan等人提出的基于整体变分(Total Variation, TV)模型的图像修补方法，T. Chan, J. Shen. Mathematical Models for Local Non-texture I叩aintings [J].SIAM. Applied Mathematics, 2002， 62 (3): 1019 - 1043和Rudin L. I. ，0sher S. TotalVariation Based Image Restoration with Free Local Constraints [C]. Austin: IEEEInternational Conference on Image Proc， 1994, {1} : 31-35还有Rudin L. I. ， 0sher S, FatemiE. Nonlinear Total Variation Based Noise Removal Algorithms [J]. Physical ，1992 ,60 (4) :259-268，具有抑制图像噪声的同时保持图像的边缘结构的优点，主要思想是最小化整体变分，将待修补区域周围的信息各向异性的传播到修补区域中，对小块损伤区域修复效果良好，但由于划痕两端相关性较弱，可利用的信息比较有限，继续利用八邻域的像素点会产生错误积累。而且，需要主观标出划痕的损伤区域，对于数据量庞大的视频序列工作量比较大。
通过对上海文广音像资料馆提供的带有划痕损伤的视频资料进行修复的分析，划痕的修复有以下不足-
1、 由于垂直和水平划痕在连续帧上持续出现在相同位置，从视频序列前后帧中可获得的有用信息非常有限，时域的修复方法并不适合。
2、 现有的其它方法对划痕的修复是利用划痕的邻域一周的像素点进行修复，由于垂直和水平划痕的形状特点，垂直划痕的上端和下端以及水平划痕的左端和右端的距离比较远，相关性比较弱，甚至有些划痕在垂直或水平方向贯穿整帧画面，划痕的两端没有可利用的信息，用现有的方法修复垂直和水平划痕会产生错误信息的传递，也影响了修复的速度。
3、 现有的整体变分修复模型的梯度离散化方法是按水平和垂直方向进行分解的，计算修复像素点水平和垂直方向邻域像素点的梯度分量，利用梯度分量和邻域像素点向修复区域扩散信息。这种分解方法对修复水平和垂直方向的边缘结构效果较好，但没考虑斜向信息的传递，对含有斜向边缘结构的修复区域会产生错误修复。
发明内容
鉴于以上所述现有技术存在的问题和不足，本发明的目的在于提供一种视频序列中划痕的修复方法，该方法利用视频画面的空间信息修复划痕，根据划痕形状选取相关性强的修复点邻域的像素点来修复划痕，不仅能向修复区域扩散、传递包含水平和垂直方向的结构信息，还能传递斜向的结构信息，进而提高划痕的修复效果。
为达到上述目的，本发明采用以下技术解决方案实现，上述视频序列中划痕的修复方法，
其具体步骤如下
(1) ，读入视频序列和每一帧划痕检测掩模；
(2) ，选择视频画面中存在的划痕方向，计算修复点的梯度分量，向修复点传递梯度分量和邻域像素点的信息，若存在的是垂直划痕，则转步骤(2-1)，若存在的是水平划痕，则转步骤(2-2)。
(2-1)，视频画面上存在的是垂直划痕，沿水平方向修复划痕，计算修复点的水平方向上的梯度分量，向修复点传递水平梯度分量和水平方向邻域像素点的信息；
9(2-2),视频画面上存在的是水平划痕，沿垂直方向修复划痕，计算修复点的垂直方向上的梯度分量，向修复点传递垂直梯度分量和垂直方向邻域的像素点的信息；
(3) ，对TV半点格式求解梯度进行改变，其梯度从按垂直和水平方向分解变为按正方形对角线方向进行分解，计算修复点的斜向方向上的四个梯度分量，沿斜向修复划痕，向划痕传递斜向梯度分量和斜向邻域像素点的信息。
(4) ，对步骤(2-1)或(2-2)设置一个权值为a，对步骤(3)设置一个权值为^，通过各自的权值令步骤(2)和步骤(3)结合起來对视频画面中的划痕进行修复。
(5)，分别以设定的阈值^或设定修复迭代次数控制迭代修复是否结束。
(6)，输出保存修复后的视频序列。本发明的视频序列中划痕的修复方法与现有技术相比具体有的优点在于
1、 该方法把步骤(2)和步骤(3)结合起来对划痕进行修复，使用了两种梯度离散化方法，步骤(2)梯度按水平和垂直方向离散化与步骤(3)按对角线方向离散化，实现既可以向修复点传递水平或垂直方向的信息又可以传递斜向的信息使修复结果更加准确。
2、 该方法的步骤(2)，对垂直划痕的修复只沿水平方向进行，对水平划痕的修复只沿垂直方向进行，计算量减少了一半，并且计算梯度分量时省略修复点八邻域中相关性弱的像素点参与计算，避免不断传递相关性弱的像素点产生错误积累，提高了修复的效果和速度。
3、该方法的步骤(3)，提出了梯度按对角线方向迸行离散化，对划痕的修复沿斜向方向进行，能传递斜向的信息，对含有斜向结构信息的视频画面修复效果较好。并且修复点八邻域的四个顶点不是相关性弱的点，不会产生错误信息的传递。
图1是本发明的视频序列中划痕的修复方法的流程图；图2是整体变分修复模型半点格式求解梯度的示意图3是整体变分修复模型梯度按斜向离散化所得的半点格式求解梯度的示意图4-1是含有三条黑色垂直划痕的实际视频画面图4-2是图4-1的掩模图4-3是图4-2的修复效果图5-1是含有一条白色垂直划痕的实际视频画面图5-2是图5-1的掩模图5-3是图5-2的修复效果图；图6-1是含有一条黑色垂直划痕的实际视频画面图图6-2是图6-l的掩模图；图6-3是图6-2的修复的效果图；图7-1是含有两条黑色水平划痕的实际视频画面图；图7-2是图7-1的掩模图图7-3是图7-2的修复效果图；图8-1是含有多条黑色水平划痕的实际视频画面图；图8-2是图8-1的掩模图，；图8-3是在图8-2的修复效果具体实施例方式
以下结合附图对本发明的实施例作进一步的详细说明。
下面对本发明的实施例作详细说明本实施例以本发明的技术方案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例。
上述视频序列中划痕的修复方法，如图1所示，其具体步骤如下
(1 )，读入视频序列和每一帧的划痕检测掩模读入的视频序列可以是灰度或者彩色视频图像，视频序列首先解压縮为bmp格式，对彩色图像分解为R、 G、 B三幅图像，每幅图像都看做是灰度图像处理。
划痕检测掩模是对视频序列的一帧进行划痕检测得到的一幅二值图像，像素值为0和1，分别显示为黑色和白色。像素值为1的点即为划痕所在的点。
(2)，选择视频画面中存在的划痕方向，计算修复点的梯度分量，向修复点传递梯度分量和邻域像素点的信息，若存在的是垂直划痕，则转步骤(2-1)，若存在的是水平划痕，则转步骤(2-2)。
(2-1)，视频画面上存在的是垂直划痕，沿水平方向修复划痕，计算修复点的水平方向上的梯度分量，向修复点传递水平梯度分量和水平方向邻域像素点的信息，其具体过程如下:采用整体变分图像修复模型w (TV)能量代价函数为
其中，D为图像的修复区域，E是其邻域，u为像素点，式(1)取得最小化整体变分图像修复模型(TV)的约束条件为
</(")= _[ (I Vw ,办整体变分图像修复模型(TV)的图像修复算法就是满足约束条件式(2)的限制下，令能量代价函数(1)最小化的过程。
采用半点格式求解梯度，梯度按水平和垂直方向进行分解，如图2所示，i、 j是像素点的横纵坐标，I(i， j)为修复像素点，L、 R、 U、 D分别是I(i， j-1)、 I(i, j+l)、 I(i-l， j)、丄(i+l， j)到,I(i， j)的中点，即半点，半点实际是不存在的，引入的目的是为了数值计算的稳定和减少误差。
<formula>formula see original document page 12</formula> (3)
其中，A一分别代表在，修复区域水平方向和垂直方向的分量。
<formula>formula see original document page 12</formula>
由于垂直划痕的上端和下端的距离比较远，相关性比较弱，甚至有些垂直划痕在垂直方向贯穿整帧画面，两端可利用的信息有限，所以对垂直划痕的修复不予以考虑垂直方向的信
息^,只需要沿水平方向传递有用信息。则式(3)的散度近似为-
<formula>formula see original document page 12</formula>(4)
这里R， L分别代表修复点的左右两侧，h为步长，x代表修复区域的水平方向，式(4)中的
《和《的计算如下
<formula>formula see original document page 12</formula> (5)
<formula>formula see original document page 12</formula> (6)
现有的TV半点格式求解梯度利用了修复点邻域一周的八个像素点，如果直接利用它修复垂直划痕就会使垂直划痕上下两端相关性弱的像素点不断传递，产生错误积累，影响修复的效果和速度。针对垂直划痕修复，对TV半点格式求解梯度进行改进，省略相关性弱的邻域像素点参与计算，如图2所示，不再利用垂直划痕修复点的八邻域中正上方和正下方两个相关性弱的像素点，即(i-l, j)和(i+l， j)两点。
如上分析，只利用修复点邻域的六点，计算垂直划痕修复区域像素点的右侧和左侧R、 L的梯度分量分别V 、V"i为
<formula>formula see original document page 13</formula>
其中h为步长，设定为l，s设定为0.0001， f取值越大修复速度越快，细节特征延续
的越差，反之，速度慢细节保持的好。为了表达式书写清晰，令1 1
陶 |Vw |将式(3) (9)代入式(2)，整理后得:
<formula>formula see original document page 13</formula>
式(10)实现沿水平方向向垂直划痕的修复点传递信息，传递的信息包括水平梯度分量和水平方向邻域像素值，用来修复视频序列中的垂直划痕。
(2-2)，视频画面上存在的是水平划痕，沿垂直方向修复划痕，计算修复点的垂直方向上的梯度分量，向修复点传递垂直梯度分量和垂直方向邻域的像素点的信息，其具体过程如下
由于水平划痕的左端和右端的距离比较远，相关性比较弱，甚至有些水平划痕在水平方向贯穿整帧画面，两端可利用的信息有限，所以对水平划痕的修复不予以考虑水平方向的信
息v1，只需要沿垂直方向传递有用信息。
采用半点格式求解梯度，梯度按水平和垂直方向进行分解，
<formula>formula see original document page 13</formula>
针对水平划痕的修复不予以考虑水平方向的信息v1，只沿垂直方向传递有用信息，则式(3)散度近似为
<formula>formula see original document page 13</formula>其中U和D分别代表修复点的上下两侧，y代表垂直方向。式(11)中的《和《的计算
如下:
<formula>formula see original document page 14</formula>(12)
(13)
/2
针对水平划痕修复，对TV半点格式求解梯度进行改进，省略相关性弱的邻域像素点参与计算，如图2所示，不再利用垂直划痕修复点的八邻域中左和右两个相关性弱的像素点，即(i, j-l)和(i， j+l)两点。
如上分析，只利用修复点邻域的六点，计算水平划痕修复区域像素点的上和下的U、 D的
梯度分量V"" 、 V 分别为
<formula>formula see original document page 14</formula>(14)
<formula>formula see original document page 14</formula>其中h和s的值与式(7)和式(8)相同<为了表达式书写清晰，令
<formula>formula see original document page 14</formula>将式(11) (16)代入式(2),整理后得:
<formula>formula see original document page 14</formula>式(17)实现沿垂直方向向水平划痕的修复点传递信息，传递的信息包括垂直梯度分量和垂直方向邻域像素值，可用来修复视频序列中的水平划痕。
(3)对TV半点格式求解梯度进行改变，其梯度从按垂直和水平方向分解变为按正方形对角线方向进行分解，计算修复点的斜向方向上的四个梯度分量，向划痕传递斜向梯度分量和斜向邻域像素点的信息。
对TV半点格式梯度离散化的模型，把x、 y轴逆时针旋转了45度，按正方形对角线方向
对梯度离散化，如图3所示，新的jc ;/是旋转后的坐标轴，修复点的八邻域围成了一个正方形，在正方形对角线上选取四个半点，四个半点是四个对角线顶点到修复点的中点，如图3所示，四个半点是a,b，c，d。
垂直与水平划痕修复过程完全相同，其具体求解过程如下
在jc y坐标轴上，半点之间的距离为^、则式(2)的散度近似为
"5v' 5v2 v， 一v: v〗—v，
VV=~~T + ~"「》 d广A + — a厂C
(18)
利用修复点八邻域计算四个斜向的梯度分量，a,b，c,d四个对角线方向的半点的梯度分量分别为-
'▽"。 |= (/(M，卜", + (/(/-W):/(/,卜 + ^
! ^ |=(职i，j， ，+，+i):职i， +^
扭
为了表达式书写清晰，i i
(19)
(20)
(21)
(22)
令
1
1
|V"6I
l l
(23)
将式(11) (16)带入式(2)，得:
w。x/(/-l,_/-l) + wA x/(/-l,_/ + l) + wcx/(z' + l，/ + l) + wrf x/(/+
(24)
式(24)实现沿斜向向划痕的修复点传递信息，传递的信息包括斜向梯度分量和斜向邻域像素值，用来修复视频序列中的垂直和水平划痕。
(4),对步骤(2-1)或(2-2)设置一个权值为a，对步骤(3)设置一个权值为《2，通
过各自的权值令步骤(2)和步骤(3)相结合起来,对视频画面中的划痕进行修复。(4-1) q,和q2设定的原则，具体如下q,和q2取值范围是0和自然数，若视频画面划痕修复区域包含水平和垂直方向的结构信息比较多，则设定q,和(32的数值要满足q,〉 q"如q和化分别取2、 1。若视频画面修复区域的斜向的结果信息比较多，设定q,和q2的数值要满足q,<《2，如q,和Q2分别取3、 5。
若画面水平和垂直的结构信息差不多，则令仏=《2，如q,和q2分别取l、 1。
(4-2)，利用步骤(2)权值q,和步骤(3)权值q2，步骤(2)和步骤(3)相结合，对视频画面中的划痕进行修复，具体如下
对于垂直划痕的修复，q,乘以式(0)与&乘以式(24),等式两端分别相加，整理得
+---(w。 x /(/ -1，, 1)("一1) + wA x /(/ -1, +
W。 + WA + Wc + Wrf
+wc X /(!■ +1， _/ ++ vt'd X /(>■ + IJ -1")] ~~^~ ( 25 )
对于水平划痕的修复，q,乘以式(17)与q2乘以式(24)，等式两端分别相加，整理得/(''，./)(") = ~' ' /(/ — 1， /)("> + wD . /(〖+1， /)("—0)
+---(wa x /(/ -1, _/隱I,—1) + wA x /(/ -1， / +
+wc x /(! +1, ++ w x /(/ +1， _/ -)] ~ ~~ ( 26)
式(25)和式(26)分别用来修复视频序列中的垂直和水平划痕，既可以向修复点传递水平或垂直方向的信息又可以传递斜向的信息。其中，n代表当前修复的次数，n-l是当前修复的前一次修复次数。
对垂直或者水平划痕分别按式(25)或(26)进行修复，已设定的q,和q2的值满足q々q2，
则向修复区域主要传递水平或者垂直方向的信息，斜向信息的传递为辅。若q^&，则向修复区域主要传递斜向方向的信息，水平或者垂直方向的信息为辅。若仏=&，就是按等比例向修复点传递水平或者垂直信息和斜方向的信息的。
(5),以设定的阈值0或设定修复迭代次数判断迭代修复是否结束。
(5-1)，设定一个阈值^，阈值^可设为10<《<0，当前修复画面的修复区域内所有像素点的平均像素值与前一次修复画面的修复区域内所有像素点的平均像素值相减的绝对值与阚值比较，具体判断式如下
S |/(/,/)(")—/(/，力("—"I
(i, j)e修复区域_ <^ ("2"
修复区域像素点的个数 —其中，/(/，/)w代表前修复画面，/(/,_/)("—"代表前一次修复画面，判断式(27)是否成
立，若不成立，重复步骤(2)至(4)，若成立则转步骤(6)。
(5-2)，设定修复迭代次数，当前修复次数小于设定迭代次数，则重复步骤(2)至(4)，若达到设定的迭代次数则转步骤(6)。
(6)，输出保存修复后的视频序列。
本发明的视频序列中划痕的修复方法用Matlab7.0进行算法仿真，并且在Visual C++6. 0下对多种视频序列进行应用，分别对视频序列中黑色和白色的垂直和水平划痕做了实验。
图4-l是画面存在三条宽度不同的黑色垂直划痕的情况，图像大小为720*576*241)的彩色图像。图4-2是图4-l的检测垂直划痕掩模图像，提供划痕的修复区域，包含三条划痕，从左向右得到的划痕宽度分别为3、 5、 IO个像素宽。图4-3是该方法对图4-l的垂直划痕的修复效果图，可以看到该方法很好的保持了修复区域的边缘结构。
图5-l是视频序列中存在一条白色垂直划痕的情况，图像大小为720*576*2化的彩色视频图像，垂直划痕的长度都几乎与视频图像高度相同。图5-2掩模图像中垂直划痕的平均宽度为12个像素宽。图5-3是该方法对图5-l的垂直划痕的修复效果图，可以看到该方法对存在噪声
等污染的实际视频画面中的白色垂直划痕的修复是有效的。
图6-1是视频序列中存在一条黑色垂直划痕的情况，图像大小为720*576*2牝的彩色视频图像，垂直划痕的长度都几乎与视频图像高度相同。图6-2掩模图像中垂直划痕的平均宽度为6个像素宽。图6-3是该方法对图6-l中白色垂直划痕的修复效果图。可以看到该法对细的黑色划痕有很好的修复效果，保持了结构信息，并且无人工修复的痕迹。
图7-1是视频序列中存在两条宽度不等的黑色水平划痕的情况，图像大小为720*576*24b的彩色视频图像。图7-2是图7-l的划痕修复区域的掩图，两条水平划痕的厚度分别为3、 5个像素宽。图7-3是对图7-l的修复结果图。可以看到该方法很好的保持了修复区域的边缘结构。
图8-1是视频序列中存在多条黑色水平划痕的情况，图像大小为720*576*24b的彩色视频图像。图8-2包含多条水平划痕的掩图，多条水平划痕的平均厚度为7个像素宽。图8-3是对图8-1的修复结果图。可以看到该方法对存在噪声等污染的实际视频画面中的多条黑色水平划痕的修复也是有效的。
通过以上实验，证明了该方法对视频序列中包含一条和多条白色和黑色水平和垂直划痕的修复效果良好，可以很好的保持修复区域的结构信息，达到无人工修复的痕迹。但划痕的宽度不能太宽，否则修复区域会有拉长的效果，修复后的视频序列连续播放时可能会在修复区域有抖动的现象，可以增加后处理来改善，对修复后的视频序列对修复区域做时序中值滤波，抖动可以改善。
权利要求
1、一种视频序列中划痕的修复方法，其特征在于包括如下步骤(1)，读入视频序列和每一帧划痕检测掩模；(2)，选择视频画面中存在的划痕方向，计算修复点的梯度分量，向修复点传递梯度分量和邻域像素点的信息，若存在的是垂直划痕，则转步骤(2-1)，若存在的是水平划痕，则转步骤(2-2)；(2-1)，视频画面上存在的是垂直划痕，沿水平方向修复划痕，计算修复点的水平方向上的梯度分量，向修复点传递水平梯度分量和水平方向邻域像素点的信息；(2-2)，视频画面上存在的是水平划痕，沿垂直方向修复划痕，计算修复点的垂直方向上的梯度分量，向修复点传递垂直梯度分量和垂直方向邻域的像素点的信息；(3)，对TV半点格式求解梯度进行改变，其梯度从按垂直和水平方向分解变为按正方形对角线方向进行分解，计算修复点的斜向方向上的四个梯度分量，沿斜向修复划痕，向划痕传递斜向梯度分量和斜向邻域像素点的信息；(4)，对步骤(2-1)或(2-2)设置一个权值为q1，对步骤(3)设置一个权值为q2，通过各自的权值令步骤(2)和步骤(3)结合起来，对视频画面中的划痕进行修复；(5)，分别以设定的阈值θ或设定修复迭代次数控制迭代修复是否结束；(6)，输出保存修复后的视频序列。
2、 根据权利要求1所述的视频序列中划痕的修复方法，其特征在于，上述步骤(2)中步骤(2-l)所述的视频画面上存在的是垂直划痕，沿水平方向修复划痕，计算修复点的水平方向上的梯度分量，向修复点传递水平梯度分量和水平方向邻域像素点的信息，其具体过程如下:采用整体变分图像修复模型[8] (TV)能量代价函数为<formula>formula see original document page 2</formula>其中，D为图像的修复区域，E是其邻域，u为像素点，式(1)取得最小化整体变分图像修复模型(TV)的约束条件为<formula>formula see original document page 2</formula>采用半点格式求解梯度，梯度按水平和垂直方向进行分解，<formula>formula see original document page 3</formula>记 <formula>formula see original document page 3</formula>(3)其中，v',—分别代表在，修复区域水平方向和垂直方向的分量；<formula>formula see original document page 3</formula>IV"I针对垂直划痕的修复不予以考虑垂直方向的信息v ，(3)的散度近似为只沿水平方向传递有用信息，则式<formula>formula see original document page 3</formula>(4)这里R， L分别代表修复点的左右两侧，h为步长，x代表水平方向，式(4)中的《和《的计算如下<formula>formula see original document page 3</formula>(5)<formula>formula see original document page 3</formula> (6)针对垂直划痕，对TV半点格式求解梯度进行改进，省略垂直划痕修复点的八邻域中正上方和正下方两个相关性弱的像素点，利用修复点邻域的六点，计算垂直划痕修复区域像素点的右侧和左侧R、 L的梯度分量分别V"s、 V"i为<formula>formula see original document page 3</formula>(7)<formula>formula see original document page 3</formula>其中h为步长，设定为l， s设定为0.0001，(8)<formula>formula see original document page 3</formula>将式(3) (9)代入式(2)，整理后得<formula>formula see original document page 3</formula>(9)<formula>formula see original document page 3</formula>(10)式(10)实现沿水平方向向垂直划痕的修复点传递信息<
3、根据权利要求2所述的视频序列中划痕的修复方法，其特征在于，上述步骤(2)中步 骤(2-2)所述的视频画面上存在的是水平划痕，沿垂直方向修复划痕，计算修复点的垂直方向 上的梯度分量，向修复点传递垂直梯度分量和垂直方向邻域的像素点的信息，其具体过程如 下-采用半点格式求解梯度，梯度按水平和垂直方向进行分解，记 v = (v',v2) = ，， (3) iv"i针对水平划痕的修复不予以考虑水平方向的信息v',只沿垂直方向传递有用信息，则式 (3)散度近似为<formula>formula see original document page 0</formula>其中U和D分别代表修复点的上下两侧，y代表垂直方向，式(11)中的《和《的计算 如下<formula>formula see original document page 0</formula>针对水平划痕，对TV半点格式求解梯度进行改进，省略修复点的八邻域中左和右两个相 关性弱的像素点，利用修复点邻域的六点，计算水平划痕修复区域像素点的上和下的U、 D的梯度分量v"" 、 v"D分别为<formula>formula see original document page 0</formula>其中h和s的值与式(7)和式(8)相同，将式(11) (16)代入式(2)，整理后得:<formula>formula see original document page 5</formula>量 (17)式(17)实现沿垂直方向向水平划痕的修复点传递信息。
4、根据权利要求3所述的视频序列中划痕的修复方法，其特征在于，上述步骤(3)中所 述的沿着斜向修复划痕，其具体求解如下对TV半点格式梯度离散化的模型，把x、 y轴逆时针旋转45度，按正方形对角线方向对梯度离散化，新的坐标轴记为x在正方形对角线上选取四个半点，半点之间的距离为^、则式(2)的散度近似为(18)利用修复点八邻域计算四个斜向的梯度分量，a,b,c，d四个对角线方向的半点的梯度分 量分别为<formula>formula see original document page 5</formula>将式(11) (16)代入式(2)， <formula>formula see original document page 5</formula>式(24)实现沿斜向向划痕的修复点传递信息。
5、 根据权利要求4所述的视频序列中划痕的修复方法，其特征在于，上述步骤(4)中步 骤(4-1)所述的权值q,和q2设定的原则，具体如下权值q'和Q2的取值范围是0和自然数，若视频画面划痕修复区域包含水平和垂直方向的 结构信息比较多，则设定qi和q2的数值要满足q々q2;若视频画面修复区域的斜向的结果信 息比较多，设定q,和Q2的数值要满足q,〈&;若画面水平和垂直的结构信息差不多，则令
6、 根据权利要求5所述的视频序列中划痕的修复方法，其特征在于，上述步骤(4)中步 骤(4-2)所述的利用步骤(2)权值q和步骤(3)权值q"通过各自的权值令步骤(2) 和步骤(3)相结合，对视频画面中的划痕进行修复，具体如下对于垂直划痕的修复，q!乘以式(10)与Q2乘以式(24)，等式两端分别相加，整理得<formula>formula see original document page 6</formula>对于水平划痕的修复，q,乘以式(17)与q2乘以式(24)，等式两端分别相加，整理得<formula>formula see original document page 6</formula>式(25)和式(26)分别用来修复视频修列中的垂直和水平划痕，其中，n代表当 前修复的次数，n-1是当前修复的前一次修复次数。
7、根据权利要求6所述的视频序列中垂直和水平划痕的修复方法，其特征在于，上述步骤(5)中步骤(5-l)所述的设定一个阈值0，阈值0设为10<0 <0，当前修复画面的修复区 域内所有像素点的平均像素值与前一次修复画面的修复区域内所有像素点的平均像素值相 减的绝对值与阈值比较，具体判断式如下(i， j)e修复区域_<p (2了)修复区域像素点的个数 — 其中，/(/，力w代表前修复画面，"代表前一次修复画面，判断式(27)是否成立，若不成立，重复步骤(2)至(4)，若成立则转步骤(6)。
8、根据权利要求6所述的视频序列中垂直和水平划痕的修复方法，其特征在于，上述步 骤(5)中步骤(5-2)所述的设定修复迭代次数，若当前修复次数小于设定迭代次数，则重复步 骤(2)至(4)，若当前修复次数大于等于设定的迭代次数则转步骤(6)。
全文摘要
本发明公开了视频序列中划痕的修复方法，它包括步骤(1)读入视频序列和每一帧划痕检测掩模；(2)梯度按垂直和水平方向离散化，利用整体变分修复模型沿垂直或水平方向修复划痕；(3)梯度按斜向离散化，利用整体变分修复模型沿斜向修复划痕；(4)通过权值令步骤(2)、(3)结合起来，既沿水平或垂直方向又沿斜向方修复划痕；(5)利用阈值或迭代次数判断迭代修复是否结束；(6)输出保存修复后的视频序列。该方法省略划痕两端相关性弱的像素点的计算，避免了错误信息的传递，并且使用了两种梯度离散化方法，实现既可以向修复点传递水平或垂直方向的信息又可以传递斜向的信息使修复结果更加准确。
文档编号G06T5/00GK101674397SQ20091019659
公开日2010年3月17日 申请日期2009年9月27日 优先权日2009年9月27日
发明者王亚萍, 蒋慧钧, 伊 谷, 闵友钢, 军 韩 申请人:上海大学