基于频域和空域特征的视频拉条的检测和恢复方法与流程
本发明涉及一种数字图像处理方法，确切地说，涉及一种基于频域和空域特征的视频拉条的检测和恢复方法，属于计算机视觉图像处理的技术领域。
背景技术：
通过文献检索发现，目前，已经有许多研究人员提出了多种针对特定的视频图像缺陷的检测及其恢复方法。
例如，对于旧电影中的“闪烁(flicker)”问题的修复，研究人员提出了一种新模型。该模型根据hurter-driffield密度与对数曝光特性，用于估计由曝光不一致引起的图像强度误差，并提出了用于估计可用灰度级上的校正分布的算法。这个算法对于消除电影的各种闪烁是非常有效的。
旧电影中常见的退化形式是胶片撕裂(filmtear)。这是由于胶片的物理撕裂造成的。撕裂导致退化帧的区域的位移和图像数据的丢失，至今业界尚未提出自动处理胶片撕裂及其恢复的方法，
对于电影中的颗粒噪音(grainnoise)检测，研究人员通过在频域中计算的新度量来确定关于强度和纹理的均匀块。然后，基于这些均匀块，估计与信号相关的颗粒噪声水平，并检测电影颗粒的图像区域，从而符合包括数字电影的修复和特效合成的实际应用要求。
对于旧电影缺陷(filmdefect)，研究人员重点讨论了在老化薄膜中定位长垂直线缺陷的难题。提出了一种渐进检测算法，能够检测到召回率超过86％的有效线缺陷，然后再逐步移除这些线缺陷。
视频自动处理通常涉及处理具有不同强度和“颗粒”噪声的“斑点”形式的替换噪声(replacementnoise)。替换噪声是必须检测的丢失数据，需要基于周围的时空信息重建，而加性噪声可以被视为降噪问题。因此，研究人员提出将马尔可夫链蒙特卡罗方法用于联合检测和去除替换和加性噪声分量。
对于各种方向，颜色和形状的线划痕(linescratches)，研究人员提出了一种检测和去除静止图像中的线划痕的检测/恢复方法，该方法适用于均匀或复杂背景下存在的简单和复杂划痕。这项工作中，划痕的两个属性被认为是：划痕与其邻居相比具有高对比度，且其通常垂直出现，以及划痕长度超过图像的一半时，才被考虑在内。首先，应用简单的阈值技术来检测候选划痕像素，然后将在第一步骤中检测到的像素用于在恢复步骤期间去除划痕的掩模，使用基于13x13邻域的高阶非自适应插值方法来修复检测到的划痕。
对于线划痕(linescratches)的视频图像缺陷，还有些研究者对图像中的各种方向，颜色和形状的线条划痕进行分析后，提出一种检测/恢复方法来处理这个缺陷。首先，使用预处理步骤沿着一组选定的方向增强图像特征，再将hough变换应用于12个输出二进制图像，以便提取所有相关线。最后，向用户提出一组可能的划痕，以供用户为划痕分析过程中的后续步骤选择一个候选者。关于线划痕的恢复，则提出一种基于块匹配的新方法。与简单的插值过程相比较，该基于块匹配的方法确保了划痕上的线的正确重建，引入了更少的模糊。
视频拉条是指视频帧在传输过程中因在某处丢失少量像素，造成后续像素循环左移的视频缺陷。拉条也是视频传输中经常容易出现的一种视频缺陷。但是，至今还很少有人提出，如何在视频中针对拉条的视频缺陷进行检测和恢复。因此，业界急需基于图像和视频处理技术对拉条进行快速检测和恢复拉条缺陷区域的方法。如何研制一种较好的用于视频中的拉条检测及恢复方法，就成为业内科技人员关注的新课题。
技术实现要素：
有鉴于此，本发明的目的是提供一种基于频域和空域特征的视频拉条的检测和恢复方法，本发明方法是结合频域中的傅里叶变换特征和空域特征相结合而执行的视频拉条检测及其恢复方法，该方法能够准确检测视频拉条在视频中出现的相应位置，并能够实现快速恢复，从而较好地解决了视频拉条这种视频缺陷的检测与修复。而且，本发明方法的操作步骤比较简单、容易实现，且计算复杂度较低，能够适应视频中的拉条检测及修复的需求。
为了达到上述目的，本发明提供了一种基于频域和空域特征的视频拉条的检测和恢复方法，所述视频拉条是在传输过程中的视频帧的某个或某些部分像素丢失而造成后续像素循环左移的现象；其特征在于，所述方法包括下列操作步骤：
步骤1，为提高拉条检测速度，首先基于相邻帧差分图像的粗糙度统计方法,在视频序列中快速检测发生拉条的视频帧序号；然后在拉条帧上，找到发生像素移位的像素坐标位置和像素移位数量；该检测步骤包括下列操作内容：
(11)发生拉条的帧差分图像存在不同于其他帧差分图像的纹理特征，采用计算相邻帧差分图像上的纹理统计特征来快速区分拉条帧与非拉条帧、即快速定位发生拉条的视频拉条帧fn的序号n；式中，自然数下标n为视频帧序号；
(12)基于两个帧序号分别为n和n－1的前后相邻视频帧的差分图像in-1,n，计算确定拉条像素移位的行坐标ly；式中，ly为视频帧中的像素行坐标序号，以ly中的自然数下标y为序排列，行坐标ly的最大值、即帧的行数为n；
(13)基于频域信息，计算确定因拉条像素移位造成丢失的部分像素数量s；
步骤2，先对拉条帧中发生像素移位造成拉条区域的起始两行以外的所有行区域都进行部分修复，然后对发生拉条像素移位的第ly行和第ly+1行的两行执行移位的修复操作：定义均值标准方差msd(meanstandarddeviation)获得该两行的移位修复结果，计算确定拉条帧像素移位的列坐标lx；最后使用前后帧时空插值算法对缺失像素的区域进行填充修复；该拉条像素恢复步骤包括下列操作内容：
(21)因拉条区域是因像素移位造成的，拉条区域的移位像素数量不超过200个像素，故拉条像素移位区域只出现在1-2行，故先对拉条区域前两行以外的所有行进行修复；然后，将发生拉条像素移位的第ly行及其下一行，即第ly+1行，按照像素移位的丢失像素数量s进行移位操作；因移位操作后，在第ly行和第ly+1行的两行上可能获得多个不同的像素移位结果；根据所定义的均值标准方差msd衡量图像的局部一致性，从多个不同像素移位结果获得最终移位修复结果，即确定拉条帧像素移位的列坐标lx；
(22)利用前后帧相应区域的第ly行和第ly+1行的信息，采用前后帧时空插值算法，对于拉条帧的前一帧，拉条帧及拉条帧的后一帧共三帧上的第ly行和第ly+1行采用高斯平滑滤波操作，然后将前后帧及拉条帧在第ly行和第ly+1行相同坐标的像素值在三个颜色通道分别进行相加并求平均值，用此平均值对像素丢失区域进行像素填充，最终修复拉条区域。
本发明基于傅里叶变换特征和空域特征的视频拉条快速检测及恢复方法。本发明方法是：为提高拉条检测速度，首先基于相邻帧差分图像的粗糙度统计方法,在视频序列中快速检测发生拉条的视频帧序号；然后在该拉条帧上，寻找确定发生像素移位的像素坐标位置和像素移位数量。在对视频拉条进行修复阶段，先对拉条帧中发生像素移位、造成拉条区域的起始两行以外的其他所有行区域都进行部分修复，然后对发生拉条像素移位的第ly行和第ly+1行的两行执行移位修复：定义均值标准方差msd获得该两行的移位修复结果，计算确定拉条帧像素移位的列坐标lx；最后使用前后帧时空插值算法对缺失像素的区域进行填充修复。本发明方法能够快速、准确检测视频拉条在视频中出现的相应位置，并能够快速修复拉条缺陷。而且，本发明方法操作步骤简单、容易实现，计算复杂度低，能够适应实际生活中的视频图像的拉条检测及修复的需求。
附图说明
图1是本发明方法中发生拉条的帧及其前后相邻帧的差分图像(左侧是拉条帧及其前后帧，右侧是其前后相邻帧的差分图像图)。
图2是本发明基于频域和空域特征的视频拉条的检测和恢复方法操作步骤流程图。
图3(a)、(b)、(c)分别是本发明方法的实施例中不同处理阶段的视频图像示意图，其中：
图(a)是出现了拉条缺陷需要进行修复的视频帧、即原始拉条帧图。
图(b)是图(a)的拉条帧像素移位修复的结果示意图。
图(c)是图(a)的拉条修复的结果图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
视频拉条是在传输过程中的视频帧的某个或某些部分像素丢失而造成后续像素循环左移的现象，参见图1左侧位于中间第三幅的拉条帧及其前后相邻的两帧视频图像，可以说，视频拉条严重影响了人们的视觉观赏的体验感觉。图1的右侧是其左侧五个相邻帧之间的差分图像，本发明是利用图1的前后相邻视频帧的差分图像in-1,n，计算确定拉条像素移位的行坐标ly；进而计算确定因拉条像素移位造成丢失的部分像素数量，最后解决图1中的拉条现象。
为了解决视频拉条缺陷，本发明基于频域和空域特征的视频拉条的检测和恢复方法应运而生。下面参见图2，介绍本发明方法的两个主要操作步骤：
步骤1，为提高拉条检测速度，首先基于相邻帧差分图像的粗糙度统计方法,在视频序列中快速检测发生拉条的视频帧序号；然后在拉条帧上，找到发生像素移位的像素坐标位置和像素移位数量。
该拉条像素的检测步骤1包括下列操作内容：
(11)发生拉条的帧差分图像存在不同于其他帧差分图像的纹理特征，采用计算相邻帧差分图像上的纹理统计特征来快速区分拉条帧与非拉条帧、即快速定位发生拉条的视频拉条帧fn的序号n；式中，自然数下标n为视频帧序号。
该步骤(11)进一步包括下列操作内容：
(111)在每两个相邻帧的红色、绿色和蓝色三个通道上，分别按照下述公式计算该每两个相邻帧上的每个像素坐标(a,b)的差分图像in-1,n：
式中，
(112)在简单纹理特征统计算法中，分别采用区域内沿某个方向的像素灰度均值e表示该方向的投影强度和以标准差σ表示该方向的平均对比度；故先以视频帧的行为单位，按照下述公式分别计算视频帧每行的像素灰度均值e：
(113)分别计算包括当前拉条帧及其前后各25帧、共51帧的连续视频帧的相邻帧差分图像的像素灰度均值t和标准差b。
根据各个相邻差分图像的标准差b，分别计算所述51帧连续视频帧的相邻帧的差分图像粗糙度r：
(114)利用公式
(12)基于两个帧序号分别为n和n－1的前后相邻视频帧的差分图像in-1,n，计算确定拉条像素移位的行坐标ly；式中，ly为视频帧中的像素行坐标序号，以ly中的自然数下标y为序排列，行坐标ly的最大值、即帧的行数为n。
该步骤(12)进一步包括下列操作内容：
(121)根据下述公式分别计算前后帧两个差分图像中的像素变化幅度值，快速确定发生拉条的像素移位的行坐标ly、即发生拉条的第一个像素的行坐标：第n－1帧和第n帧的差分图像的像素变化幅度值：
和第n帧和第n+1帧的差分图像的像素变化幅度值：
从而得到前后帧的差分图像幅度值变化图(i’n-1,n，i’n,n+1)；其中，n为拉条帧序号，k1和k2是设置用于区分像素变化范围的两个阈值，且设定k1＝0.25和k2＝0.5。
(122)将前后帧两个差分图像幅度值变化图(i’n-1,n，i’n,n+1)进行前后合并后，获得一个表征拉条区域像素在连续三帧上的变化图p：
(123)按照水平方向计算所述连续三帧上的变化图p的投影，即将在同一行的像素进行累加，得到水平投影图像q后，再按照公式gy＝|qy-qy-1|计算水平投影图像q的前后两行的数值之差，作为其绝对值，以便得到水平投影微分图gy；其中，qy和qy-1分别是第ly行和第ly-1行的两个水平投影图像。
(124)因发生拉条的行的像素变化剧烈，故按照公式
(13)基于频域信息，计算确定因拉条像素移位造成丢失的部分像素数量s。
该步骤(13)进一步包括下列操作内容：
(131)在像素移位图像中，沿水平方向像素移位是周期性频繁出现的现象，在空域中难以检测该周期性现象；而在频域中，沿水平方向像素移位对应为明显的尖峰；故采用频域检测像素移位：获取发生拉条的帧图像fn及其前一帧图像fn-1，再获取该两帧图像对应的傅里叶幅度谱|f(fn)|和|f(fn-1)|，并基于傅里叶变换的分配律：|f(fn-1–fn)|＝|f(fn-1)–f(fn)|，获取该相邻两帧的差异谱|f(fn-1)–f(fn)|。
(132)在差异谱中，沿水平方向存在着s个周期，该周期数值s与丢失的像素数量相对应；故定义频域像素移位计算公式：mp＝|f(log(1+|f(fn-1–fn)|))|检测该周期s特征；式中，对数变换是为增强能量沿水平轴分布的周期特征，mp(0,0)处的峰值对应于对数变换log(1+|f(fn-1–fn)|的直流分量；根据mp(0,0)的沿水平轴的能量剖面线指示两个强的尖峰分别位于s和-s处，分别对应于像素移位的丢失像素数量，从而获取像素移位的丢失像素数量s。
步骤2，先对拉条帧中发生像素移位造成拉条区域的起始两行以外的所有行区域都进行部分修复，然后对发生拉条像素移位的第ly行和第ly+1行的两行执行移位的修复操作：定义均值标准方差msd获得该两行的移位修复结果，计算确定拉条帧像素移位的列坐标lx；最后使用前后帧时空插值算法对缺失像素的区域进行填充修复。
该拉条像素的恢复步骤包括下列操作内容：
(21)因拉条区域是因像素移位造成的，拉条区域的移位像素数量不超过200个像素，故拉条像素移位区域只出现在1-2行，故先对拉条区域前两行以外的所有行进行修复；然后，将发生拉条像素移位的第ly行及其下一行，即第ly+1行，按照像素移位的丢失像素数量s进行移位操作；因移位操作后，在第ly行和第ly+1行的两行上可能获得多个不同的像素移位结果；根据所定义的均值标准方差msd衡量图像的局部一致性，从多个不同像素移位结果获得最终移位修复结果，即确定拉条帧像素移位的列坐标lx；
该步骤(21)进一步包括下列操作内容：
(211)从发生像素拉条移位的行坐标ly开始的随后两行、即从ly+2行开始，一直到该视频拉条帧的最后一行的所有行区域执行部分像素的修复：将这些行的像素都由下向上进行循环右移，以使拉条移位的绝大部分像素得到恢复，右移的像素数量取决于丢失的像素数值s。
(212)对发生拉条像素移位的ly和ly+1两行中的每个像素，即从第ly行的第一个像素开始，直到第ly+1行的最后一个像素，分别按照像素移位的丢失像素数值s进行移位操作后，在第ly行和第ly+1行上可能总共获得多个不同的像素移位结果。
(213)从该多个不同结果中选择一个最适宜的作为最终的像素移位修复结果：因最终像素移位修复结果是和周围像素的亮度一致的，故利用均值标准方差msd衡量图像的局部像素一致性，以获得最终像素移位修复结果：
式中，zab是坐标(a,b)的像素数值，||.||是计算欧氏距离的运算符号，自然数q是所有可能进行像素移位的像素起始坐标，q的最大值是2wm，wm是视频帧的宽度。
(214)计算确定均值标准方差msd，用于确定发生拉条帧的最初两行的像素移位的列坐标lx：根据msd的垂直投影变化最小数值、即利用公式lx＝argmin(msd(x))+1计算得到像素移位变化最小的msd的垂直投影值，用于表示其为该拉条区域局部像素一致性最高的移位操作，并用于定位像素移位的列坐标lx；式中，自然数x是视频帧中的像素列坐标lx的下标顺序号，列坐标lx的最大值、即帧的列数。
(22)利用前后帧相应区域的第ly行和第ly+1行的信息，采用前后帧时空插值算法，对于拉条帧的前一帧，拉条帧及拉条帧的后一帧共三帧上的第ly行和第ly+1行采用高斯平滑滤波操作，然后将前后帧及拉条帧在第ly行和第ly+1行相同坐标的像素值在三个颜色通道分别进行相加并求平均值，用此平均值对像素丢失区域进行像素填充，最终修复拉条区域。
该步骤(22)进一步包括下列操作内容：
(221)采用高斯平滑滤波器对ly和ly+1两行上因像素移位所丢失的像素区域进行平滑滤波操作，以便填充修复丢失像素的区域；
(222)在执行填充操作过程中，先设置3×3的高斯平滑滤波器掩模
(223)对第n帧上的第ly行和第ly+1行共两行上因像素移位所丢失的像素区域进行填充：将拉条帧的前一帧：第n-1帧、拉条帧所在的第n帧、以及其后的一帧：第n+1帧上的像素丢失区域的像素，在所述红色，绿色及蓝色三个通道上分别按照前后帧的相同坐标位置的像素值进行累加后，再求其平均值，用于填充拉条帧所在的第n帧的像素；最后得到填充后的所述红色，绿色及蓝色三个通道的像素值，从而完成像素丢失区域填充。
下面参见图3，简单介绍本发明一个实施例的情况：
图3(a)是出现拉条缺陷需要进行修复的视频帧图像。
图3(b)是拉条帧像素移位修复的结果图像，它是从发生像素拉条移位的行坐标ly开始的后面第两行、即从ly+2行开始，一直到该视频拉条帧的最后一行的所有行区域都执行部分像素的修复：将这些行的像素都由下向上进行循环右移，以使拉条移位的绝大部分像素得到恢复的修复结果。
图3(c)是图3(a)中出现的拉条修复的结果图像，它是采用高斯平滑滤波器对ly和ly+1两行上因像素移位所丢失的像素区域进行平滑滤波操作，填充丢失像素的区域，得到的拉条帧最终修复结果图像。
本发明已经进行了多次不同的实施试验，试验的结果是成功的，实现了发明目的。
- 还没有人留言评论。精彩留言会获得点赞！