一种基于场景切变和内容特征检测的去隔行方法与流程

本发明属于视频处理技术领域，特别涉及一种基于场景切变和内容特征检测的去隔行方法。

背景技术：

受频带资源和刷新频率的限制，早期的模拟电视广播系统采用隔行扫描格式进行传输和显示。这种隔行扫描方式不仅可以有效降低带宽的占用，而且能够消除播放视频图像时，由于视频帧率不足而导致的大块区域闪烁。随着现代科技技术的发展，人们追求更高质量的视觉享受，这就导致在视频处理领域，去隔行的地位越来越重要。虽然许多后期处理软件内置了去隔行处理机能，但是它们的算法都极为单一，往往达不到人们预期的视觉要求。相对的，一些用于高端视频图像处理的去隔行方法虽然能够很大程序上提高清晰度，但是运算复杂度大并且对硬件的要求也较高，无法在市场中得到真正的普及。所以时至今日，对于高性能、低成本的去隔行算法的研究仍然具有重要的理论和实用价值。

目前研究热度最高的运动补偿去隔行算法根据运动估计的结果能够更加充分、准确地利用场内和场间的图像信息，实现更加精确的插值，并且克服了非运动补偿算法的边缘锯齿、运动模糊等缺点。又因为运动补偿去隔行算法严重依赖运动估计过程中获得的最佳运动向量的精确度，并且对误差极其敏感，所以在硬件条件有限的情况下，复杂度较大的运动补偿去隔行算法得不到广泛的应用。

因此，现实应用中往往会将运动补偿去隔行算法与其他去隔行算法进行融合或者结合去隔行算法与其他技术的优势，取长补短，以提高算法实现的高效性和插值的准确性。不少算法从不同的角度对去隔行性能进行了提升，但难以在高性能、高精度和低成本之间达成理想的平衡。

为了解决上述的关键问题，提出一种新的去隔行的方法，利用场景切变过程中的计算资源，增加了整体以及局部区域特征判断，提出一种基于视频内容检测的自适应插值算法，不仅能降低去隔行算法的复杂度，而且对于不同类型的隔行序列，都能得到清晰的逐行视频图像。

以上背景技术内容的公开仅用于辅助理解本发明的专利申请构思及技术方案，其并不必然属于本发明的现有技术，在没有明确的证据表明上述内容在本发明的申请日已经公开的情况下，上述背景技术不应当用于评价本发明的新颖性和创造性。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于场景切变和内容特征检测的去隔行方法，能够减少不必要的运动估计和运动状态分析过程，从而降低整个去隔行算法的复杂度。

技术方案：为实现上述目的，本发明提供一种基于场景切变和内容特征检测的去隔行方法，包括如下步骤：

(1)局部区域类型判断：在场景切变检测的过程中，通过比较当前场和前后场的差异得到整场视频内容特征的判断和分类以及局部区域特征的判断；

(2)自适应插值过程：先对当前场进行场景切变检测，然后将检测结果分为四类：当前场和后向场同时发生场景切变、当前场发生场景切变而后向场没有发生场景切变、当前场没有发生场景切变后向场发生场景切变、当前场没有发生场景切变后向场也没有发生场景切变；于当前场和后向场同时发生场景切变即连续场景切变的情况，采用帧内插值方式；对于其它三类情况，先结合场景切变的检测结果进行整场视频内容特征的判断和分类，然后再进行场内图像块的局部特征判断，最后进行分类插值。

进一步的，所述步骤(1)中局部区域类型判断的具体步骤如下：

其中Local_forward和Local_backward分别表示每个图像块与前、后场对应参考位置的图像块的比较结果；Local_forward＝1表示当前图像块与前向参考块不同，Local_forward＝-1表示当前图像块与前向参考块相似，Local_forward＝0表示其余不确定情况；Local_backward取值1、-1、0分别表示当前图像块与后向参考块不同、相似、不确定的情况；前向绝对图像块误差AIBD_forward和后向绝对图像块误差AIBD_backward的计算方法如上AIBD计算公式所示；BlocksInWidth和BlocksInHeight分别为行和列中运动估计图像块的数量；C1、C2为经验阈值，分别取值为12、2；

在场景切变检测的过程中，先计算每个图像块相对于前向场和后向场对应图像块的绝对图像块误差AIBD_forward和AIBD_backward，然后将AIBD的值与经验阈值比较，得到Local_forward和Local_backward的判断方法。

进一步的，所述步骤(1)中前向绝对图像块误差AIBD_forward和后向绝对图像块误差AIBD_backward只计算一次，并同时用于局部区域特征判断和count_forward、count_backward的数量统计，其中count_forward、count_backward分别表示相比于前向场、后向场的不同检测类型的图像块的数量。

进一步的，所述步骤(2)中将检测结果分为四类的具体的分类判定方式为：

若count_forward_different和count_backward_different都大于compare_count3，则当前场和后向场同时发生场景切变；

若count_backward_same大于compare_count1且count_forward_different大于compare_count3，则当前场发生场景切变而后向场没有发生场景切变；

若count_forward_same大于compare_count1且count_backward_different大于compare_count3，则当前场没有发生场景切变后向场发生场景切变；

其余情况，当前场没有发生场景切变后向场也没有发生场景切变；

其中compare_count1、compare_count2和compare_count3为经验阈值，计算方式如下：

compare_count1＝BlocksInWidth×BlockInHeight×0.55

compare_count2＝BlocksInWidth×BlockInHeight×0.5

compare_count3＝BlocksInWidth×BlockInHeight×0.6

；其中count_forward_same，count_forward_different，count_forward_uncertain分别表示当前场与前向参考场比较得出的相似、不同、不确定三个类型的图像块数量；count_backward_same，count_backward_different，count_backward_uncertain分别表示当前场与后向参考场比较得出的相似、不同、不确定三个类型的图像块数量。

有益效果：本发明与现有技术相比具有以下优点：

第一，本发明利用场景切变过程中的计算资源，增加了整体以及局部区域特征判断，从而对不同类型的区域采用自适应的插值算法，可以减少不必要的运动估计和运动状态分析过程；

第二，本发明利用运动补偿去隔行算法,根据运动估计的结果能够更加充分、准确地利用场内和场间的图像信息，实现更加精确的插值，并且克服了非运动补偿算法的边缘锯齿、运动模糊等缺点。本发明提出的方法可以避免冗余的计算量、降低算法复杂度并得到清晰的逐行视频图像。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

本发明提出一种视频去隔行处理方法，包括如下步骤：

输入隔行视频，根据场景切变检测算法判断当前场是否产生场景切变，在此基础上，利用已有的绝对图像块误差(Absolute Image Block Differences,AIBD)的计算资源，增加了对每一场的每个图像块的局部区域类型判断。

其中Fn(i,j)为当前块的某个像素点的值，Fn±1(i±1,j)为前后场对应位置的像素值，M、N、i、j、n分别为运动估计块高度、运动估计块宽度、相对垂直坐标、相对水平坐标和场图像序号。

在得到场景切变的检测结果以后，若当前场产生连续场景切变，则采用帧内插值得到逐行视频。若没有发生连续的场景切变，则判断当前场是否发生场景切变，若是则做基于场景切变检测(Scene Change Detection,SCD)的运动估计。当前场的后向场发生场景切变、当前场没有发生场景切变且当前场与相邻场相比静止区域较多的场图像与当前场发生场景切变的效果类似，他们的待插值像素与时空域相邻像素存在很大的相关性。因此，都可以根据局部特征的判定结果(即当前待插值图像块是属于静止区域，或常见运动区域，还是复杂运动区域)，进行自适应插值。但是对于没有产生场景切变的运动区域较多的场图像，最佳运动向量的获取是关键步骤，因此，在场景切变检测和整体视频内容特征判定之后，要进行运动估计和运动状态分析。若当前场图像常见运动区域较多，则仍可以结合局部区域特征判断进行分类插值，若复杂运动区域较多，则采用基于整场的运动补偿插值方式。

如图1所示，是本发明提出的基于场景切变和内容特征检测的去隔行方法包括以下步骤：

(1)局部区域类型判断：在场景切变检测的过程中，仍然通过比较当前场和前后场的差异得到整场视频内容特征的判断和分类以及局部区域特征的判断，而且这些操作都是在插值之前进行，从而可以为插值算法的选取奠定基础。局部区域特征的判断方式可以形式化如下：

其中Local_forward和Local_backward分别表示每个图像块与前、后场对应参考位置的图像块的比较结果。可以将其分为三种类型，Local_forward＝1表示当前图像块与前向参考块不同，Local_forward＝-1表示当前图像块与前向参考块相似，Local_forward＝0表示其余不确定情况。同理，Local_backward取值1、-1、0分别表示当前图像块与后向参考块不同、相似、不确定的情况。前向绝对图像块误差AIBD_forward和后向绝对图像块误差AIBD_backward的计算方法如上文AIBD计算公式所示。BlocksInWidth和BlocksInHeight分别为行和列中运动估计图像块的数量。C1、C2为经验阈值，分别取值为12、2。

在场景切变检测的过程中，先计算每个图像块相对于前向场和后向场对应图像块的绝对图像块误差AIBD_forward和AIBD_backward，然后将AIBD的值与经验阈值比较。从而可以得到公式(5.1)和公式(5.2)的判断方法。因为前向绝对图像块误差AIBD_forward和后向绝对图像块误差AIBD_backward只需要计算一次，但是可以同时用于局部区域特征判断和count_forward、count_backward的数量统计(count_forward、count_backward分别表示相比于前向场、后向场的不同检测类型的图像块的数量)，从而可以继续进行后续的场景切变判断以及整体视频内容特征判断，以此来减少局部静止区域、相对前向或后向静止区域的插值算法的执行步骤，最终降低整个自适应插值算法的复杂度。

上述对于每个局部图像块的运动类型的判断，不同、相似、不确定三种情况分别对应复杂运动区域、静止区域、常见运动区域。

(2)自适应插值过程：自适应的插值过程仍然是先对当前场进行场景切变检测，然后将检测结果分为四类：当前场和后向场同时发生场景切变、当前场发生场景切变而后向场没有发生场景切变、当前场没有发生场景切变后向场发生场景切变、当前场没有发生场景切变后向场也没有发生场景切变、。因为在检测的过程中加入了局部区域特征的判定，所以具体的分类判定方式为：

1、若count_forward_different和count_backward_different都大于

compare_count3，则当前场和后向场同时发生场景切变。

2、若count_backward_same大于compare_count1且count_forward_different大

于compare_count3，则当前场发生场景切变而后向场没有发生场景切变。

3、若count_forward_same大于compare_count1且count_backward_different大

于compare_count3，则当前场没有发生场景切变后向场发生场景切变。

4、其余情况，当前场没有发生场景切变后向场也没有发生场景切变。

其中compare_count1、compare_count2和compare_count3为经验阈值，计算方式如下：

compare_count1＝BlocksInWidth×BlockInHeight×0.55

compare_count2＝BlocksInWidth×BlockInHeight×0.5

compare_count3＝BlocksInWidth×BlockInHeight×0.6

于当前场和后向场同时发生场景切变(即连续场景切变)的情况，采用帧内插值方式。对于其它三类情况，先结合场景切变的检测结果进行整场视频内容特征的判断和分类，然后再进行场内图像块的局部特征判断，最后进行分类插值。用count_forward_same，count_forward_different，count_forward_uncertain分别表示当前场与前向参考场比较得出的相似、不同、不确定三个类型的图像块数量。同理，count_backward_same，count_backward_different，count_backward_uncertain分别表示当前场与后向参考场比较得出的相似、不同、不确定三个类型的图像块数量。

总之，本发明提出的新的视频去隔行方法——在基于场景切变检测的去隔行算法的基础上，加入了整体和局部视频内容检测模块，能够根据视频内容特征进行分类插值。此方法比传统方法相比不仅能够提高去隔行后视频序列的清晰度，还能利用场景切变过程中的计算资源降低插值算法的复杂度，具有更好的性能和良好的视图体验。