专利名称：实现基于感兴趣区域的压缩域mpeg-2到h.264视频转换的方法
技术领域：
本发明涉及的是一种电信技术领域的视频转换的方法，更具体地，是涉及 一种实现基于感兴趣区域的压缩域MPEG-2到H. 264视频转换的方法。
背景技术：
视频转换技术是将一种压缩格式视频流转化为另一种压縮格式。目前，面 向各种不同的视频应用领域，存在着多种视频编码标准，诸如运动图像专家组 (MPEG组织)制定的MPEG-2标准，MPEG-4标准，和H. 264标准等。如何能够 高效，优质的实现转换，使之适应于不同硬件设备中， 一直是业界最关注的问 题。由运动图像专家组(MPEG组织)和视频编码专家组(VCEG组织)联合成立 的联合视频组(JVT组织)制定的化264标准，作为新一代视频编码标准，提供 了诸多性能上的改进，将逐步占据视频应用领域的主导地位。然而目前现存大 量MPEG-2视频节目源，以及数以百万计的MPEG-2格式的编码器和机顶盒设备。 因此，MPEG-2和H.264两种视频标准将会在很长时间内共存，MPEG-2到H. 264 的视频转换成为当前迫切需要解决的研究热点。
经对现有技术的文献检索发现，Tuarijie Qian等人在《IEEE视频技术电路 与系统汇刊》(IEEE Transactions on Circuits and Systems for Video Technology), Vol, 16， NO. 4， pp. 523-534， April. 2006上发表的"插值误 差补偿的压縮域MPEG-2到H.264转换"(Transform Domain Transcoding From MPEG-2 to H.264 With Interpolation Drift-Error Compensation)中，提出 插值误差补偿的压缩域MPEG-2到H. 264视频转换技术，大大提高了压缩域转换 的视频质量，其核心思想是在对压縮域转换的误差理论分析基础上，在对量化 误差补偿之外，针对H.264的特殊插值算法，提出了进行插值误差补偿的压缩 域转换的方法。但由于需要在压缩域做量化误差和插值误差补偿，该方法的运 算复杂度也大大增加，对实时转换的要求就不合适了，这也是该方法的弊端。
发明内容
本发明针对现有技术的不足，提出了一种实现基于感兴趣区域的压縮域 MPEG-2到H. 264视频转换的方法，结合了压縮域开环和闭环方法的优点，使其 可以实现实时转换，大大节省了压縮域转换的速度，而且转换的主观视频质量 并没有降低。
本发明是通过以下技术方案实现的，具体步骤如下 第一步，帧内编码帧(I帧)压缩域转换
帧内编码帧没有运动向量，只能利用压縮域系数进行边界估计等方法进行 感兴趣区域检测，但因为帧内编码帧不需经过帧间运动补偿，因此不需要进行 压縮域插值误差补偿，直接针对H.264的特殊帧内预测进行压缩域帧内预测， 就可以得到较好的转换视频质量。因此，本发明方法中，针对帧内编码帧不进 行感兴趣区域检测，只进行通常的压缩域重量化和压缩域帧内预测进行转换， 即只进行通常的压縮域数字余弦变换(DCT)系数到整数变换(IT)、重量化、以及 压縮域帧内预测进行转换，就可以得到较好的转换视频质量。
第二步，压縮域感兴趣区域检测
感兴趣区域的概念是对在人眼视觉系统(HVS)研究的基础上提出来的。研 究发现人眼对于整幅图像的关注程度不同，对不同区域的分辨力也大相径庭。 根据人眼视觉系统的特性，人眼更感兴趣的区域主要由运动信息、空间频率信 息、边界信息和颜色信息决定，对视频序列而言，运动信息对感兴趣区域检测 尤为重要，可以认为感兴趣区域是由运动区域或目标组成。而转换是针对压縮 后的视频码流，除帧内编码帧以外，可以方便的利用码流中的运动向量信息， 在基本不增加转换运算量的情况下，实现压缩域感兴趣区域的快速准确检测。
因此，本发明中，利用MPEG-2码流解码得到的运动向量MVs，对码流中每 个宏块逐一判断是否为感兴趣区域。对不发生运动的区域就判断为背景区域， 即人眼视觉不敏感区域；对运动区域就判断为视觉注意力集中区域，即感兴趣 区域。具体判断条件为如果当前宏块(第i块)的运动向量lMVx(i)卜lMVy(i) I 小于等于阈值TH，则当前宏块为非感兴趣区域，否则为感兴趣区域。确定ROI 以后，就可以针对不同区域采用不同转换方法，取得运算量和视频质量的更好 折衷。
第三步，非感兴趣区域的转换 在压縮域内开环转换，就是不经过运动补偿，直接通过压縮域内DCT系数 到IT系数变换，再重新量化。这样可以节省大量运算复杂度，代价是不进行误 差补偿，会造成明显的误差漂移，使得视频质量下降。然而正如前面所述，视 频序列中大面积的非感兴趣区域人眼并不敏感，降低该区域的视频质量不会造 成明显的整体视频主观质量的下降。
因此，本发明方法对非感兴趣区域采用压縮域开环转换，使用这种方法， 更多的宏块跳过了压縮域量化误差补偿和压缩域插值误差补偿的大量矩阵乘法 过程，大大节约了计算量；而人眼不敏感区域的视频质量下降不会造成明显的 整体主观质量的下降。
第四步，感兴趣区域的转换
转换时采用压縮域运动补偿可以避免误差漂移造成的视频质量下降，由于 H. 264采用了与MPEG-2不同的插值方法，因此在传统压缩域量化误差补偿以外， 还需要进行压縮域插值误差补偿，即DCT系数转换得到IT系数后，在压縮域进 行量化误差补偿，以及插值误差补偿，再重新量化。该过程运算量较大，可以 得到较好的视频质量，可以与像素域转换视频质量相当。
为了提高整体转换视频的主观质量，本发明方法通过对感兴趣区域进行压 缩域插值误差补偿来提高感兴趣区域的转换质量，可以在转换质量和运算量之 间保持一个平衡，在保证实时快速转换的同时确保整体主观质量不会下降。
通常情况下，高分辨率视频序列中包含了较大面积的区域对人眼并不敏感， 提高感兴趣区域的质量可以很大程度上改善整个视频序列的主观质量。因此， 本发明中，针对感兴趣区域和非感兴趣区域采用不同的转换架构，对人眼不敏 感的非感兴趣区域进行压縮域开环转换，可以大大加快转换速度，节省运算量； 对感兴趣区域进行压缩域插值补偿闭环转换，提高感兴趣区域的视频转换质量， 从而在节省运算量的同时，改善转换视频的主观质量，取得运算量和转换视频 质量的更好折中，这是本发明方法的核心思想。
在本发明方法中，充分利用人眼视觉系统特性进行基于感兴趣区域的视频 转换。对于人眼不敏感的大面积的背景区域，可以采用快速开环转换方法，该 区域视频质量的下降不会造成明显的整体视频主观质量的下降。基于这种考虑， 在转换时，只需要对检测出来的感兴趣区域进行压縮域插值误差的补偿，这样
就可以改善感兴趣区域的视频质量，兼顾了转换的速度和视频质量。并且对于 非常关键的感兴趣区域的确定，本发明采用了一种简单灵活的压缩域检测方法, 可以在不增加转换复杂度的同时，实现快速准确的感兴趣区域检测。仿真结果 表明，本发明优于现有的MPEG-2到H.264视频转换的方法整体转换速度大大 超过现有算法的转换速度，平均转换速度比参考像素域级联转换方法提高了约5 倍，比压縮域插值误差补偿转换方法提高了约2倍，而转换的视频质量并没有 降低。
图l为本发明方法流程图。
图2为压縮域开环转换流程图。
图3为压缩域插值误差补偿闭环转换流程图。
具体实施例方式
下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方 案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不 限于下述的实施例。
如图1所示，本实施例可分为以下几个步骤
(1)帧内编码帧的压縮域转换
对MPEG-2输入码流进行熵解码，可方便得到每帧的编码类型，针对不同编 码类型帧采用不同转换方式。具体方法如下
熵解码得到当前帧的编码类型。
如果当前帧为帧内编码帧，则不进行感兴趣区域检测，只进行MPEG-2 反量化得到DCT系数，然后进行DCT到IT系数变换，得到IT系数，对IT系数 再进行压縮域帧内预测，预测后的IT系数再经过H.264量化和熵编码，生成 &264码流，就可以得到较好的转换质量。
如果当前帧为预测编码帧，包括前向预测帧和双向预测帧，则先进行压 縮域感兴趣区域检测，再针对不同区域采用不同转换方式。
由于帧内编码帧不采用运动补偿，无需采用插值误差补偿来避免误差漂移， 因此，使用本实施例方法，帧内编码帧转换时不需要进行感兴趣区域检测，直 接采用重量化和压缩域帧内预测，就可以得到较好的转换视频质量。
(2) 压縮域感兴趣区域的检测
对MPEG-2输入码流进行熵解码，可得到每个宏块的编码模式和运动向量MV。 用当前宏块的运动向量MV来判断该宏块是否为感兴趣区域，对当前帧中的每个 宏块逐一判断。具体方法如下
计算当前宏块的运动向量1￥(1) = |群"1)1+ lMVy(i)l
其中i表示当前帧中的第i个宏块，
MVx(i)表示第i个宏块运动向量的水平分量， MVy(i)表示第i个宏块运动向量的垂直分量。
如果MV(i)小于等于阈值TH，贝!J
当前第i个宏块判断为非感兴趣区域。
如果MV(i)大于阈值TH，贝U
当前第i个宏块判断为感兴趣区域。
当确定了每帧的感兴趣区域以后，就可以针对不同区域采用不同转换架构。 使用本实施例方法，感兴趣区域检测在压縮域实现，快速有效，而且采用本实 施例方法后并不会明显增加转换的运算量，对于大部分测试序列，压縮域感兴 趣区域检测的运算量相对整个转换运算量可以忽略不计。
(3) 非感兴趣区域的转换
对判断为非感兴趣区域的宏块，转换时附图1中的转换开关打到下方粗实 线，不进行压縮域量化误差和插值误差补偿，在MPEG-2反量化得到DCT系数后， 经过DCT系数到IT系数变换，直接进行H. 264重量化，以及熵编码，如附图2 所示。
(4) 感兴趣区域的转换
对判断为感兴趣区域的宏块，转换时附图1中的转换开关打到上方细实线， 进行压缩域量化误差和插值误差补偿，以便提高该区域的转换视频质量，从而 改善整体视频质量。在MPEG-2反量化得到DCT系数后，经过DCT系数到IT系 数变换，分别进行压缩域量化误差补偿和插值误差补偿，再进行化264重量化， 以及熵编码，如附图3所示。其中在压縮域量化误差补偿和插值误差补偿时， 运动向量指向的预测宏块有三种情况
*如果预测宏块为感兴趣区域宏块，则直接进行压縮域误差补偿；
*如果预测宏块部分为感兴趣区域，部分为非感兴趣区域，则先对非感兴 趣区域部分宏块进行填补运算，填补时复制相邻的感兴趣区域部分宏块的数据， 然后再进行压缩域误差补偿；*如果预测宏块为非感兴趣区域宏块，则该预测宏块直接复制最相邻的感 兴趣区域宏块的数据，然后再进行压縮域误差补偿。在本实施例中，为节省运算量，对人眼不敏感的非感兴趣区域进行压缩域 开环转换，由于误差漂移，会造成非感兴趣区域的转换质量下降，如果期望进 一步提高非感兴趣区域的转换质量，同时尽量节省运算量，可以对该区域只进行压縮域量化误差补偿，省去压缩域插值误差补偿的运算量，但整体转换的速 度将会有所降低；如果期望进一步提高感兴趣区域的转换质量，还可以在H.264 重量化时调整量化参数，降低感兴趣区域的量化参数，进行细量化，提高感兴 趣区域的视频质量，同时增大非感兴趣区域的量化参数，进行粗量化，降低非 感兴趣区域的质量，采用基于感兴趣区域的码控，可进一步改善整体转换视频 质量。使用300帧多个测试序列对压缩域开环转换、压缩域插值误差补偿闭环转换 和本实施例方法这三种压縮域MPEG-2到H. 264视频转换的方法进行仿真，从仿 真的统计结果可以得出本实施例方法对背景静止，目标运动的序列效果都很 好，其转换速度大大超过压縮域插值误差补偿闭环转换，并且其转换视频质量 比压縮域开环转换明显提高。如果该方法与基于感兴趣区域的码控结合使用， 还可以在不增大处理量的同时，进一步提高转换视频质量。综上所述，本发明优于其它方法，其优点是(1)在压缩域进行感兴趣区域 检测，快速有效，对运动序列的效果很好；(2)避免了上述现有方法的不足；(3) 更加充分地利用了人眼视觉系统的特性，利用人眼对大面积的非感兴趣区域的 质量下降不敏感，节省了非感兴趣区域的压缩域误差补偿运算过程，可以大大 提高转换速度；(4)充分利用了人眼对运动区域敏感的特性，提高了感兴趣区 域的转换质量，使转换视频质量和转换速度之间保持了平衡。这种方法可以在 保持整体转换视频质量的基础上大大提高现有的转换速度。
权利要求
1、一种实现基于感兴趣区域的压缩域MPEG-2到H.264视频转换的方法，其特征在于，步骤如下第一步，帧内编码帧压缩域转换进行压缩域数字余弦变换系数到整数变换系数变换、重量化、以及压缩域帧内预测进行转换；第二步，压缩域感兴趣区域检测利用转换过程中得到的运动向量信息对帧内的每个宏块逐一判断，判断为感兴趣区域的条件为如果当前宏块的运动向量MV(i)小于等于阈值TH，则该宏块判断为非感兴趣区域，否则该宏块判断为感兴趣区域；第三步，非感兴趣区域的转换进行压缩域开环转换，不经过运动补偿，直接通过压缩域内数字余弦变换系数到整数变换系数变换，再重新量化；第四步，感兴趣区域的转换数字余弦变换系数转换得到整数变换系数后，在压缩域进行量化误差补偿，以及插值误差补偿，再重新量化。
2、 根据权利要求1所述的实现基于感兴趣区域的压縮域MPEG-2到H. 264 视频转换的方法，其特征是，所述的第一步，帧内编码帧压縮域转换，具体如 下 熵解码得到当前帧编码类型； 如果当前帧为帧内编码帧，则不进行感兴趣区域检测，只进行MPEG-2 反量化得到数字余弦变换系数，然后进行数字余弦变换系数到整数变换系数变 换，得到整数变换系数，对整数变换系数再进行压縮域帧内预测，预测后的整 数变换系数再经过11.264量化和熵编码，生成H,264码流； 如果当前帧为预测编码帧，包括前向预测帧和双向预测帧，则先进行压 縮域感兴趣区域检测，再针对区域采用相应的转换方式。
3、 根据权利要求1所述的实现基于感兴趣区域的压縮域MPEG-2到H. 264 视频转换的方法，其特征是，所述的第二步中，宏块的运动向量MV(i)采用下式 来衡量MV(iH脆(i) |+ |MVy(i)| 式中MVx(i)和MVy (i)分别为第i个宏块运动向量的水平和垂直分量。
4、 根据权利要求1所述的实现基于感兴趣区域的压缩域MPEG-2到H. 264 视频转换的方法，其特征是，所述的第三步中，对判断为非感兴趣区域的宏块， 转换时不进行压缩域量化误差和插值误差补偿，在MPEG-2反量化得到数字余弦 变换系数后，经过数字余弦变换系数到整数变换系数变换，直接进行H.264重 量化，以及熵编码。
5、 根据权利要求1所述的实现基于感兴趣区域的压縮域MPEG-2到H. 264 视频转换的方法，其特征是，所述的第四步中，对判断为感兴趣区域的宏块， 转换时进行压縮域量化误差和插值误差补偿，提高该区域的转换视频质量，在 MPEG-2反量化得到数字余弦变换系数后，经过数字余弦变换系数到整数变换系 数变换，分别进行压縮域量化误差补偿和插值误差补偿，再进行H,264重量化， 以及熵编码。
6、 根据权利要求5所述的实现基于感兴趣区域的压缩域MPEG-2到H. 264 视频转换的方法，其特征是，在进行压縮域量化误差补偿和插值误差补偿时， 运动向量指向的预测宏块有三种情况*如果预测宏块为感兴趣区域宏块，则直接进行压缩域误差补偿；*如果预测宏块部分为感兴趣区域，部分为非感兴趣区域，则先对非感兴趣区域部分宏块进行填补运算，填补时复制相邻的感兴趣区域部分宏块的数据，然后再进行压縮域误差补偿；*如果预测宏块为非感兴趣区域宏块，则该预测宏块直接复制最相邻的感兴趣区域宏块的数据，然后再进行压縮域误差补偿。
全文摘要
一种电信技术领域的实现基于感兴趣区域的压缩域MPEG-2到H.264视频转换的方法，步骤如下帧内编码帧转换只进行压缩域数字余弦变换系数到整数变换系数变换、重量化、以及压缩域帧内预测进行转换；压缩域感兴趣区域检测如果当前宏块的运动向量的水平分量和垂直分量的绝对值之和小于等于阈值TH，则该宏块判断为非感兴趣区域，否则该宏块判断为感兴趣区域；非感兴趣区域转换进行压缩域开环转换，直接通过压缩域内数字余弦变换系数到整数变换系数变换，再重新量化；感兴趣区域转换在压缩域进行量化误差补偿，以及插值误差补偿闭环转换。本发明超过现有的MPEG-2到H.264视频转换速度，且转换的整体视频质量没有降低。
文档编号H04N7/50GK101102492SQ200710044220
公开日2008年1月9日 申请日期2007年7月26日 优先权日2007年7月26日
发明者张文军, 杨小康, 蓉 解, 郑世宝 申请人:上海交通大学