一种基于色度混合匹配的帧率上转换方法
【专利摘要】本文公开了一种基于色度混合匹配的帧率上转换方法，用以增强视频序列的视觉质量，首先，采用色度混合匹配模型设计块匹配准则，其能以小计算代价反映视频序列亮度与色差通道上的差值水平；接着，改进的三维递归搜索方法被使用计算前后向初始运动向量场，在此基础上，提出时空运动向量提纯方法，隐式地加入时空平滑约束至运动向量提纯过程，获得更平滑的运动向量场；然后，提出高容错运动向量平滑方法，抑制运动向量场中存在的异常；最后，为了减少边缘模糊与遮挡问题，提出双加权重叠块运动补偿方法，使用前后向运动向量场联合生成内插帧，本发明可明显改善内插帧的主客观质量，且确保了低计算复杂度。
【专利说明】
-种基于色度混合匹配的顺率上转换方法
技术领域
[0001 ]本发明属于视频编码技术领域，设及一种视频帖率上转换方法，特别设及一种基 于色度混合匹配的帖率上转换方法。
【背景技术】
[0002] 随着高清数字电视化DTV)和高端多媒体信息系统的迅速发展，急需提高现有视频 节目源帖率W达到高质量视觉效果；另外，对于某些传输带宽受限场合，例如，视频会议及 3G视频会议，仅利用主流标准进行压缩，仍然无法达到要求帖率，因此，需要在编码端减少 输入视频帖率，对低帖率视频作编码，而对解码后的低帖率视频进行帖率上转换。
[0003] 帖率上转换的主流技术是运动补偿法，它的基本要素是运动估计和运动补偿内 插。运动估计对运动补偿帖率上转换性能具有极大影响，而运动补偿内插的实施也需依靠 不同的运动估计策略。目前，现有的运动补偿帖率上转换可分为Ξ类：1)单向运动估计;2) 双向运动估计;3)多假设运动估计。单向运动估计首先估计出前后两帖间的运动向量场，随 后，沿着运动轨迹平移各块内插出新帖，然而，视频帖存在的遮挡问题和异常运动向量会导 致新帖中出现空桐和重叠现象。根据运动对称假设，双向运动估计为内插帖的每块分配唯 一运动向量，从而避免了重叠与空桐问题，然而，当物体运动失去对称性时，它就无法确保 运动估计的准确性，除此之外，由于内插块是未知的，视频帖存在的大量周期重复性模式也 会导致不准确的运动向量。多假设运动估计估计出多种运动向量场，相应的运动补偿内插 则是充分利用运些具有不同准确度的运动向量场W最大后验概率准则生成内插帖，尽管它 能够提供显著地性能提升，但是它的计算复杂度是传统方法的若干倍。由上可知，如何提高 运动估计精度，较好地克服遮挡与异常运动向量引起的不良效应，并确保低计算复杂度，生 成高质量的帖率上转换信息是目前亟待解决的技术问题。
【发明内容】
[0004] 技术问题:本发明为解决在低计算负担下确保高精度运动估计，提出了一种基于 色度混合匹配的帖率上转换方法，进一步改善运动补偿帖率上转换性能。
[0005] 技术方案:为了实现上述目的，本发明借助于色度混合匹配，分别提出时空运动向 量提纯和高容错运动向量平滑提纯内插帖的运动向量场，双加权重叠块运动补偿也被提出 用W减弱运动补偿内插中的边缘模糊与遮挡问题。其包括如下步骤：
[0006] S1:块匹配准则首先通过采用色度混合匹配模型进行改善，受Bayer模式启发，色 度混合匹配模型混合亮度与色差成份至一个二维平面，因此，单次作绝对差值和运算就可 近似计算视频序列中多个通道的差值，基于色度混合匹配模型的块匹配准则充分利用多通 道上的信息，与此同时，减少计算复杂度。由于块匹配准则是运动估计各模块中的基本要 素，因此，其对运动补偿帖率上转换整体性能有着较大的积极影响。
[0007] S2:内插帖的前后运动向量场将分别计算，它们被使用去联合内插新帖，为了减少 前后运动估计的计算复杂度，Ξ维递归捜索方法被用于生成前后帖的前向与后向运动向量 场。基于大量的实践经验，更合适的候选运动向量集合和单次迭代被用于Ξ维递归捜索方 法，其有助于权衡运动估计精度与捜索速度。
[0008] S3:为了克服现存运动向量提纯方法总会导致不平滑运动向量场的问题，提出时 空运动向量提纯得到更可靠的运动向量场，并依靠运动向量场的时空一致性假设，隐式地 嵌入平滑约束至提纯过程。
[0009] S4:提出高容错运动向量平滑抑制边缘的过平滑，它采用加权方法检测不准确的 运动向量W抑制邻近运动向量中的异常不误导检测结果，由于运些异常经常出现在边缘地 区，传统基于空间相关性的纠错法将由基于时间相关性的方法替换。
[0010] S5:利用前后运动向量场，双加权重叠块运动补偿被提出缓解边缘过平滑和遮挡：
[0011] S51:为了减少边缘过平滑，当前块在前后帖中匹配块的加权平均被用于分别计算 前后向运动向量场的两个内插块候选，其中匹配块的加权系数根据重叠区域绝对差值和计 算，重叠区域绝对差值和代表了内插块与邻近块的连续性；
[0012] S52:为了缓解遮挡问题，根据基于色度混合匹配模型的双向绝对差值和度量前后 向运动向量的可靠性，两个内插块候选将被再次加权。
[0013] 有益效果：本发明提出了一种基于色度混合匹配的帖率上转换方法，其中混合色 度匹配模型可减少由噪声和重复模式所导致的不准确运动向量的数量，时空运动向量提纯 和高容错运动向量平滑抑制了异常运动向量数量，双加权重叠块运动补偿则可同时缓解边 缘过平滑和遮挡问题。本发明W小计算代价明显改善内插帖的主客观质量，获得了良好的 视觉效果。
【附图说明】
[0014] 图1为本发明的流程
[0015] 图2为混合色度匹配模型的构造过程
[0016] 图3为Ξ维递归捜索方法中候选运动向量的相对位置
[0017] 图4为时空运动向量提纯中候选提纯运动向量集
[0018] 图5为运动向量窗口和运动异常实例：（a)运动向量窗口；（b)运动异常实例
[0019] 图6为双加权重叠块运动补偿方法流程
[0020] 图7为重叠区域绝对差值和实例
【具体实施方式】
[0021] 下面结合附图和对本发明的技术方案作进一步的说明。
[0022] 本发明提出的运动补偿帖率上转换方法整体流程如图1所示，包括基于色度混合 匹配模型的块匹配准则、基于Ξ维递归捜索的前后向运动估计、时空运动向量提纯、高容错 运动向量平滑和双加权重叠块运动补偿。具体实施步骤如下：
[0023] S1:受Bayer模式的启发，构造出色度混合匹配模型，如图2所示。由于人眼视觉系 统相对地更加关注亮度细节，因此，色度混合匹配模型包含有较多的亮度采样点。Y通道上 块Bij的亮度采样点位置Bi,/由菱形下采样决定。经过大量的统计分析，常见自然图像的频 谱主要分布在二维频谱中W原点为中屯、、4个顶点在直角坐标轴上的一个菱形范围内，运是 由于在自然场景图像中，垂直的和水平的物体、线条、运动等比在其他方向上要多，因而，反 映在频谱上就是水平和垂直方向的高频分量要比其他方向多。基于该经验，色度混合匹配 模型使用菱形下采样来避免在下采样过程可能引入的频谱混叠失真。考虑到人眼视觉系统 对彩色信息并不敏感，彩色信息将被适当地丢弃，块Bi,j在U和V通道上将通过均匀下采样分 别获得采样位置Bi,/和Bi,/。为了不引入过多的计算复杂度，在容忍一定失真的前提下，下 采样前的低通滤波过程将被忽略。将和Bi,/合并就形成了最终的色度混合匹配模 型，那么，前向的基于色度混合匹配模型的绝对差值和可设计如下：
[0024]
[00剧式中汾别是前参考帖、后参考帖，Yt+1(.)与Yt-1( ·)分别表示fVi与ft-1的 亮度成份，Ut+i( ·)和Ut-i( ·)分别是ft-i和ft+i的蓝色差分量，Vt+i( ·)和Vt-i( ·)分别是ft-i 和ft+i的红色差分量。由于色差分量的误差能量常小于亮度分量的误差能量，因此，通过引 入W适当地放大U和V通道上的绝对差值和。后向的基于色度混合匹配模型的绝对差值和也 能W上式相似的形式构造。基于色度混合匹配模型的双向绝对差值和被设计如下：
[0026]
[0027]利用格式分别为CIF(352 X 288)、720P( 1280 X 720)和 1080P(1920 X 1080)的若干 测试序列评估在不同W值下的算法性能，发现最优W值出现在[4，12]范围内。因此，W将被设 置为8。
[002引 S2:S维递归捜索方法采用MCMP-SAD计算ft-i与ft+i间的前后向运动向量场。在本 示例中，仅详细描述前向运动估计的流程，对于后向运动估计，其与前向运动估计类似，仅 是沿着相反方向执行。由f t+l至化t-l的前向运动向量Vf0可计算如下：
[0029]
[0030] 式中CS为Ξ维递归捜索方法的候选运动向量集，其候选运动向量位置如图3所示， 运些候选运动向量分别是:零向量0,当前块位置Bi,j(中屯、)处的运动向量，空间邻域块位置 Sa(上方)和Sb(左侧)处的运动向量，时间邻域块位置Ta(下侧)和Tb(右侧)处的运动向量，W 及空间邻域块位置Ua(左上方)和化(右上侧)处的随机扰动运动向量，如下表示：
[0031 ] CS = (0，MVF"i't-i(Sa)，MVF"i't-i(Sb)，
[0032] MVFt-i, t-3(Ta)，MVFt-i, t-3(Tb)，Ra，姑 eUS
[0033] MVFt+i, t-i (Ua) +Ra，MVFt+i, t-i (化）+化}
[0034]
[0035] 式中MVFt+i,t-i表示ft+i至Ijft-i的运动向量场，MVFt-i,t-3表示ft-iSJft-3的运动向量场。
[0036] S3:获得ft-i与ft+i间的前后向运动向量场后，提出的时空运动向量提纯方法将利 用它们分别为内插帖内各块分配唯一的前向运动向量Vf和后向运动向量Vb。本示例详细介 绍前向运动向量提纯过程，后向运动向量提纯仅是沿着相反方向进行相同的运算。在前向 情形中，当计算内插帖ft的前向运动向量场MVFt,t-i时，由ft-1到ft-3的运动向量场MVFt-i,t-3 和由ft+i到ft-i的运动向量场MVFt+i,t-i是已知的，因此，由ft-i到ft-2的运动向量场MVFt-i,t-2和 由ft+翊ft的运动向量场MVFt+i,河计算如下：
[0037] MVFt-i,t-2=MVFt-i,t-3/2 [003引 MVF"i,t=MVF"i,t-i/2
[0039] 根据上述的时间邻域运动向量场，时空运动一致性可隐含地加入至前向运动向量 提纯，通过如图4所示的候选提纯运动向量集RS，其可表示如下：
[0040] RS=(0，MVFt't-i(Si)，MVFt't-i(S2)，MVFt't-i(S3)，MVFt't-i(S4)
[0041 ] MVF"i't(Ti)，MVF"i't(T2)，MVFt-i't-2(T3)，MVFt-i't-2(T4)}
[0042] 其中零向量0加入至RS中是因为零向量出现频率较高。最后，由ft到ft-i的前向运 动向量Vf可计算如下：
[0043]
[0044] S4:高容错运动平滑方法去纠正边缘区域内不准确的运动向量。为了检测异常，尺 寸为3X3的窗口（如图5(a)所示）自上到下从左至右依次遍历所有运动向量。在运动向量窗 口内，V0是待处理的运动向量，V1-V8是V0的邻域运动向量。然而，若运动异常存在于V1-V8内， 那么，将会对异常检测产生不良影响，例如，图5(b)显示了在邻域运动向量中V3和V6为运动 异常。为了克服该问题，提出一个加权策略检测异常，首先计算Vm、D〇和Dm如下：
[0049]式中Vm表示八个邻域运动向量V1-V8的加权均值，Wi用于度量邻域运动向量Vi的可 靠度(MCMP-SBAD越小，Vi的可靠度越高），Do表示Vm与V0的欧式距离，Dm表示Vm与八个邻域运 动向量之间欧式距离的平均，II · I h代表b范数。若Do>Dm，vo被认为是一个异常。加权检测 可阻止Vm接近八个邻域运动向量内的异常，因此，提高了异常检测的准确度。由于运动异常 经常会出现在边缘区域，因此，HFT-MVS算法将使用时间相关性纠正异常，如下：
[(K)加 ]
[0051] 式中Vin是由相邻块的非异常运动向量组成的集合。
[0052] S5:为了阻止边缘过平滑和遮挡现象，提出的双加权重叠块运动补偿方法将联合 前后向运动向量场利用空间与时间加权生成内插帖。具体的实施过程如图6所示，描述如 下：
[0053] S51:对于空间加权策略，利用前向运动向量分别从ft-i与ft+i中抽取参考块Xfp和 Xfη，接着，利用下式生成前向候选块Xf C :
[0化4] Xfc = α印X印+αfnX化
[005引其中α印和α化分别表示评估沿P、沿η与它们空间邻域块连续性的加权系数。采用重叠 区域绝对差值和计算加权系数afp和afn。图7列举了计算重叠区域绝对差值和时，当前块与 空间邻域块的关系，其计算表达式为：
[005引 Am,n = Bi+m,j+n00i, j
[0059] Vi+m, j+n = MVFt, t-1 (Bi+m, j+n)
[0060] 式中Bi,j是当前内插块的位置，Bi+m,j+n(m，n = -l，0，l)是其空间邻域块的位置，0i,j 为Bi, j和Bi+m, j+n的重叠区域。SOADfp和SOAD化可反映 Xfp、X化与它们空间邻域块连续性，且连续 性越强，S0A扣P和SOADfn取值越小。因此，afp和α化可计算如下；
[0063] 后向候选块Xbc也可计算如下：
[0067] 式中Xbp和Xbn是利用后向运动向量vbc从ft-i与ft+冲抽取的参考块，SOADbp和SOADbn 分别为Xbp、Xbn与它们空间邻域块的重叠区域绝对差值和。
[006引S52:对于时间加权策略，最终的内插块Xc将由Xfc和Xbc通过加权&和化求和得到， 表达如下：
[0069] Xc = efXfc+0bXbc
[0070] 其中β?和化分别用于度量前后向运动向量Vfc和Vbc的可靠性。MCMP-SBAD被用于度 量运动向量的可靠度。MCMP-SBAD值较低，表示该运动向量相对更加真实，其造成遮挡现象 的概率越低，因此，&和化可计算如下：
[0073] TCf=MCMP-SBAD(Bi,j，Vfc，t)
[0074] TCb=MCMP-SBAD (Bi, j，-vbc，t)
[0075] 时间加权策略使最终的内插块Xc自适应地接近Xfc和Xbc中具有更大时间相关性的 一个，而高时间相关性将确保运动向量的可靠性，降低遮挡出现的概率，因此，遮挡问题可 得到有效缓解。
[0076] 本发明的仿真结果
[0077] 实施若干种实验评估本发明提出的帖率上转换方法性能。测试序列使用两种格式 CIF(352 X 288)和1080P( 1920 X 1080)，其中CIF格式的测试序列包括Foreman、化irs、 Foo忧all、Stefan、Tennis、Mobile和Bus，1080P格式的测试序列包括F^edest;rian、RushHour 和化actor。为了评估内插帖的质量，每个测试序列的前50个偶数帖被移除，接着，它们通过 各种内插算法由前50个奇数帖再次生成，最后，再计算生成内插帖与原始帖之间的PSNR(峰 值信噪比）值W反映内插帖的客观质量。对比算法采用四类方法如下：文献C. Wang和 S. G. Jeong提出的基于单向运动估计的内插方法，文献B. D.化oi和S. J. Kang提出的基于双 向运动估计的内插方法，W及文献H.B丄iu和S.G.Jeong提出的基于多假设运动估计的内插 方法。
[007引表1列出了在格式为CIF和1080P的不同测试序列下各视频帖率上转换方法重建出 内插帖的平均PSNR值，可看出与除多假设运动估计类方法外的对比方法相比，本发明获得 了更高的PSNR值，例如，对于包含有缩放场景、旋转和慢速平移运动的Mobile序列，本发明 获得了3.11地~8.28地的PSNR增益。与多假设运动估计类方法相比，本发明平均上降低约 0.44dB，仅在少数序列下获得了更高的PSNR值，例如，对于Footbal 1和Tractor序列，与 H.B丄iu方法相比，本发明分别获得了0.13地和0.71地的PSNR增益，而对于Mobile序列，本 发明也比S.G.Jeong方法高出1.89地。然而，由于需要多个不同密度的运动向量场，多假设 运动估计类方法具有较大的计算复杂度，尤其对于S. G. Jeong方法，若干复杂的视频分析工 具(视频分段，纹理综合等)将进一步在H.B丄iu方法基础上引入沉重的计算负担，因此，多 假设运动估计类方法的良好性能是W增加计算复杂度为代价的。如表2所示，由于提出算法 使用了简单的预测捜索技术，且仅利用单运动向量场内插边信息，所W它具有相对轻的计 算负担。与其他仅利用单运动向量场的对比方法相比，本发明W较小的计算复杂度缩短了 与多假设运动估计类方法的性能差距，甚至在个别情况下，本发明性能也超出了多假设运 动估计类方法。
[0079] 表1格式为CIF和1080P的不同测试序列下各视频帖率上转换方法生成内插帖的平 均PSNR值(地）
[0080]
[0081] 表2对于CIF和1080P格式的视频序列各视频帖率上转换方法生成内插帖所需的平 均处理时间（s/Rrame)
[0082]
【主权项】
1. 一种基于色度混合匹配模型的视频帧率上转换方法，其特征在于该方法借助于色度 混合匹配模型，分别提出时空运动向量提纯方法和高容错运动向量平滑方法提纯内插帧的 运动向量场，双加权重叠块运动补偿方法也被提出用以减弱运动补偿内插中的边缘模糊与 遮挡问题。2. 如权利要求1所述的色度混合匹配模型，其特征在于混合亮度与色差成份至一个二 维平面，单次作绝对差值和运算就可近似计算视频序列中多个通道的差值，基于色度混合 匹配模型的块匹配准则充分利用多通道上的信息，与此同时，减少计算复杂度，由于块匹配 准则是运动估计各模块中的基本要素，因此，其对运动补偿帧率上转换整体性能有着较大 的积极影响。3. 如权利要求1所述的时空运动向量提纯方法，其特征在于依靠运动向量场的时空一 致性假设，隐式地嵌入平滑约束至提纯过程。4. 如权利要求1所述的高容错运动向量平滑方法，其特征在于采用加权方法检测不准 确的运动向量以抑制邻近运动向量中的异常不误导检测结果，由于这些异常经常出现在边 缘地区，传统基于空间相关性的纠错法将由基于时间相关性的方法替换。5. 如权利要求1所述的双加权重叠块运动补偿方法，其特征在于：（1)为了减少边缘过 平滑，当前块在前后帧中匹配块的加权平均被用于分别计算前后向运动向量场的两个内插 块候选，其中匹配块的加权系数根据重叠区域绝对差值和计算，重叠区域绝对差值和代表 了内插块与邻近块的连续性；（2)为了缓解遮挡问题，根据基于色度混合匹配模型的双向绝 对差值和度量前后向运动向量的可靠性，两个内插块候选将被再次加权。
【文档编号】H04N19/132GK105872559SQ201610172218
【公开日】2016年8月17日
【申请日】2016年3月20日
【发明人】李然, 孙芳, 刘宏兵
【申请人】信阳师范学院