一种视频码流局部内容转换编码系统及方法
【专利摘要】本发明公开了一种视频数字多媒体码流局部内容转换编码系统及方法，该系统包括解码部分、编码部分、宏块MB分类模块以及VLC数据存储模块；解码部分包括VLD模块、IQ/IDCT模块；编码部分包括宏块VLC数据重用模块、宏块重编码模块和码率控制模块；视频输入信号经VLD模块解码得到的运动矢量编码经过宏块MB分类模块进行模式分类：受到内容编辑影响的宏块EMB、RMB、IMB经过IQ/IDCT模块后，处理结果以及视频输入信号经VLD模块解码得到的运动矢量经过码率控制的结果一起输入宏块重编码模块，另一部分不受内容编辑影响的宏块VMB则直接拷贝重用原码流中的VLC数据。与现有技术相比，本发明所提出的方案可以完全无损的保留非编辑区域的视频质量，并且最大程度的降低计算量。
【专利说明】一种视频码流局部内容转换编码系统及方法
【技术领域】
[0001]本发明涉及数字多媒体编码【技术领域】，特别是涉及一种用于数字多媒体码流局部内容编辑的方法。
【背景技术】
[0002]在实际应用的多媒体系统中，通常需要对已编码的视频码流内容进行再次编辑，例如:对数字电视节目进行台标插入、字幕叠加等。与对未编码视频数据嵌入信息的技术方法相比，对已压缩的视频码流进行信息嵌入的技术方法通常需要复杂的处理过程，可以被视为一种特殊的视频转换编码处理技术，即视频局部内容编辑转换编码(Partial ContentVideo Editing Transcoding PCVET)技术。
[0003]本发明的参考文献[I]:传输流台标字幕插入系统中跳过宏块的处理方法和装置专利号:201210027907.8。
【发明内容】
[0004]为了克服现有技术存在的问题，本发明提供了一种视频码流局部内容转换编码系统及方法，基于数字视频编码算法和标准，提出了一种可以快速完成视频内容编辑的方法，
[0005]本发明提出了一种视频数字多媒体码流局部内容转换编码系统，包括解码部分
10、编码部分20、宏块MB分类模块30以及VLC数据存储模块40 ;其中:
[0006]解码部分10包括变字长解码处理模块VLDlOl、反DCT变换和反量化处理模块IQ/IDCT102 ；
[0007]编码部分20包括宏块VLC数据重用模块201、宏块重编码模块202和码率控制模块 203 ；
[0008]在解码部分10中，视频输入信号经变字长解码处理模块VLD (101)解码得到的运动矢量编码经过宏块MB分类模块(30)判断每个MB是否为EAMB类型，并标注编码模式“EMB, RMB, IMB及VMB分类”:一部分的1、P帧及B帧中受到内容编辑影响的宏块EMB、RMB,IMB,对所述受到内容编辑影响的宏EMB、RMB, IMB经过反DCT变换和反量化处理模块IQ/IDCT处理后，处理结果以及视频输入信号经变字长解码处理模块VLD解码得到的运动矢量经过码率控制的结果一起输入宏块重编码模块，另一部分的其他所有不受内容编辑影响的宏块VMB则直接拷贝重用原码流中的VLC数据。
[0009]用于数字多媒体码流局部内容编辑的视频转换编码的码率控制算法
[0010]所述模式分类由专用的“接口”宏块作为PCVET中编码处理的分割点实现，将所述1、P帧及B帧中的视频编码宏块分为受到内容编辑影响的宏块EMB、RMB, IMB和不受内容编辑影响的宏块VMB ；
[0011]所述码率控制模块的算法，在图像级别进行，具体包括以下处理:在变字长解码处理VLD部分，记录原码流的每一帧的编码比特数为S，则当前待编码帧的目标码率即为S ;使用“接口”MB技术标注MB类型后，VMB将重用源码流中的VLC码字，其编码比特数可以由输入码流统计得到；假设一帧图像中的VMB的重用VLC比特数为V，则目标比特数T为:
[0012]T = S-V。
[0013]本发明还提出了一种视频数字多媒体码流局部内容转换编码方法，该方法包括以下步骤:
[0014]视频输入信号经变字长解码处理模块VLD (101)解码得到的运动矢量编码经过宏块MB分类模块(30)判断每个MB是否为EAMB类型，并标注编码模式“EMB, RMB, IMB及VMB分类”，对于I帧，像素编辑区域被标注为EMB，并在每个编码条带中的最后一个EMB之后标注一个MB ;对于P帧和B帧，除去像素编辑区域的MB被标注为EMB外，还需进一步标注RMB。RMB的标注通过类似运动补偿的处理完成，
[0015]在VLC解码后，依据每个MB的运动模式及MV，判断参考图像数据是否位于编辑区域。如果参考图像数据位于编辑区域，则标注为RMB ；IMB的标注在完成EMB和RMB标注后进行；
[0016]一部分的1、P帧及B帧中受到内容编辑影响的宏块EMB、RMB、IMB，对所述受到内容编辑影响的宏EMB、RMB, IMB经过反DCT变换和反量化处理模块IQ/IDCT处理后，处理结果以及视频输入信号经变字长解码处理模块VLD解码得到的运动矢量经过码率控制计算一起输入宏块重编码模块；
[0017]另一部分的其他所有不受内容编辑影响的宏块VMB则直接拷贝重用原码流中的VLC数据。
[0018]所述所述模式分类由专用的“接口”宏块MB作为编码处理的分割点实现，将所述1、p帧及B帧中的视频编码宏块分为受到内容编辑影响的宏块EMB、RMB、IMB和不受内容编辑影响的宏块VMB。
[0019]所述码率控制计算，具体包括以下步骤:
[0020]用于数字多媒体码流局部内容编辑的视频转换编码，在图像级别进行，具体包括以下处理:在变字长解码处理VLD部分，记录原码流的每一帧的编码比特数为S，则当前待编码帧的目标码率即为S ;使用“接口”MB技术标注MB类型后，VMB将重用源码流中的VLC码字，其编码比特数可以由输入码流统计得到；假设一帧图像中的VMB的重用VLC比特数为V，则目标比特数T为:
[0021]T = S-V。
[0022]与现有技术相比，本发明有以下优点:
[0023]采用本发明所提出的方法，可以保证处理后的码流的码率与原码流精确一致，保证完成PCVET处理后的码流可以动态适配到原传输信道中。此外，在视频质量方面，本发明所提出的方案可以完全无损的保留非编辑区域的视频质量，并且最大程度的降低计算量。可以精准地控制内容修改后的视频码流的码率，所提出的码率控制算法可以获得图像帧级别的码率控制，并实时适应输入源码流的带宽变化，码率控制误差不高于2%。
【专利附图】
【附图说明】
[0024]图1是本发明所采用的数字多媒体码流局部内容编辑的视频转码器结构示意图；
[0025]图2是编码宏块的分类及运动预测关系图；
[0026]图3是PCVET处理前后的一帧视频内容及编码参数比较结果示意图；[0027]图4局部内容编辑后每帧图像的编码数据量变化百分比(%)。
【具体实施方式】
[0028]下面结合附图和实施例，进一步详细说明本发明的【具体实施方式】。
[0029]一、数字多媒体码流局部内容编辑的视频转码器
[0030]本发明采用的转码器结构如图1所示。其中，VLD为视频解码处理中的变字长解码模块，VLC为变字长码字，IQ/IDCT为反量化处理和反DCT变换模块。依据像素编辑对视频码流造成的影响，可以对MB进行模式分类。
[0031]如图2所示，以I帧和P帧为例，说明MB的分类方法及预测关系，对于B帧也可按照相应的方法进行MB分类。视频的编辑区域可以位于原图像的任何区域，且可以为任意形状(dot虚线所示)，被编辑区域完全或者部分覆盖的宏块，被称为Edited MB(EMB)0没有位于编辑区域，但是采用了编辑区域数据作为参考的预测MB称为Re-predicted MB(RMB)。此外，在每个EMB和RMB的水平位置后的设定一种特殊的MB 接口 ”MB (IMB)，其编码参数选择及设定方法在下一节详述。在本专利中，EMB, RMB, IMB也统一称为受到内容编辑影响的宏块(EAMB)，需要重新编码，其他的MB称为不受内容编辑影响的宏块(VMB)，可以直接重用MB的VLC数据。
[0032]MPEG-2视频码流是目前主要的多媒体资源格式，本发明以MPEG-2视频码流为例，说明PCVET的处理流程及相关算法，对于H.264/AVC等其他标准格式的码流，也可以采用类似的方法完成PCVET处理。在完成VLC解码后，图1中的“EMB，RMB, IMB及VMB分类”模块判断每个MB是否为EAMB类型，并标注编码模式。对于I巾贞，像素编辑区域被标注为EMB，并在每个编码条带(Slice)中的最后一个EMB之后标注一个IMB。对于P帧和B帧，除去像素编辑区域的MB被标注为EMB外，还需进一步标注RMB。RMB的标注通过类似运动补偿的处理完成，在VLC解码后，依据每个MB的运动模式及MV，判断参考图像数据是否位于编辑区域。如果参考图像数据位于编辑区域，则标注为RMB。IMB的标注在完成EMB和RMB标注后进行，有关RMB和IMB的具体的判别算法和编码参数确认方法在下一节中详述。在后续的处理中，EAMB需进行重编码。其中，EMB和RMB需重新进行运动估计、模式判断等处理，IMB则依据源码流信息使用下一节中的方法得到MV和编码模式。完成重编码后，EAMB进行解码重构，并更新图像缓存中的数据，避免量化误差飘逸。而对于VMB，将直接复制“VLC存储”中的VLC数据，计算量可以忽略。
[0033]二、RMB和MB的判别算法和编码参数确认方法
[0034]视频编码中每个宏块(MB)的编码数据均采用了预测差分编码技术，一个MB的编码数据总与其之前MB的数据相关，且每个MB没有独立的同步语法。因此，对EAMB完成重编码后，该MB数据变化将影响到后续MB的预测值，其后的MB的VLC数据不能被独立解码和直接重用。虽然文献[I]等提出了基于条带为单元的技术进行VLC重用，但是这种技术仅能直接重用不包含VMB的条带数据。如果一个条带中包括EAMB，则该条带需要重编码，需要一定的计算量。本专利提出了“接口”MB技术，“接口 ”MB是这样一个MB，它是位于需要每个进行重编码的MB之后，将运动矢量(MV)、量化参数(QP)等所有预测参数置为像素编辑之前的源码流相同。“接口”MB之后的MB可以直接重用VLC数据，比特数不变。
[0035]为了将“接口"MB后的预测参数置为与源码流一致，我们首先需要分析视频编码中编码参数的预测技术，下表给出了 MPEG-2视频编码中预测参数，相关宏块模式及相应的数据参数设定条件，对于H.264/AVC视频等视频编码，也可以依据编码标准得到类似的表格。
[0036]表1MPEG-2视频MB中的参数预测
【权利要求】
1.一种视频数字多媒体码流局部内容转换编码系统，其特征在于，该系统包括解码部分(10)、编码部分(20)、宏块MB分类模块(30)以及VLC数据存储模块(40);其中: 解码部分(10)包括变字长解码处理模块VLD(101 )、反DCT变换和反量化处理模块IQ/IDCT (102)； 编码部分(20)包括宏块VLC数据重用模块(201)、宏块重编码模块(202)和码率控制模块(203)； 在解码部分(10)中，视频输入信号经变字长解码处理模块VLD (101)解码得到的运动矢量编码经过宏块MB分类模块(30)判断每个MB是否为EAMB类型，并标注编码模式“EMB，RMB, IMB及VMB分类”:一部分的1、P帧及B帧中受到内容编辑影响的宏块EMB、RMB,IMB,对所述受到内容编辑影响的宏EMB、RMB, IMB经过反DCT变换和反量化处理模块IQ/IDCT处理后，处理结果以及视频输入信号经变字长解码处理模块VLD解码得到的运动矢量经过码率控制的结果一起输入宏块重编码模块，另一部分的其他所有不受内容编辑影响的宏块VMB则直接拷贝重用原码流中的VLC数据。
2.如权利要求1所述的视频数字多媒体码流局部内容转换编码系统，其特征在于，所述模式分类由专用的“接口”宏块作为编码处理的分割点实现，将所述1、P帧及B帧中的视频编码宏块分为受到内容编辑影响的宏块EMB、RMB, IMB和不受内容编辑影响的宏块VMB。
3.如权利要求1所述的视频数字多媒体码流局部内容转换编码系统，其特征在于，所述码率控制模块，用于数字多媒体码流局部内容编辑的视频转换编码，在图像级别进行，具体包括以下处理:在变字长解码处理VLD部分，记录原码流的每一帧的编码比特数为S，则当前待编码帧的目标码率即为S ;使用“接口”MB技术标注MB类型后，VMB将重用源码流中的VLC码字，其编码比特数可以由输入码流统计得到；假设一帧图像中的VMB的重用VLC比特数为V,则目标比特数T为:
T = S-V。
4.一种视频数字多媒体码流局部内容转换编码方法，其特征在于，该方法包括以下步骤: 视频输入信号经变字长解码处理模块VLD (101)解码得到的运动矢量编码经过宏块MB分类模块(30)判断每个MB是否为EAMB类型，并标注编码模式“EMB, RMB, IMB及VMB分类”，对于I帧，像素编辑区域被标注为EMB，并在每个编码条带中的最后一个EMB之后标注一个IMB ;对于P帧和B帧，除去像素编辑区域的MB被标注为EMB外，还需进一步标注RMB。RMB的标注通过类似运动补偿的处理完成， 在VLC解码后，依据每个MB的运动模式及MV，判断参考图像数据是否位于编辑区域。如果参考图像数据位于编辑区域，则标注为RMB ;IMB的标注在完成EMB和RMB标注后进行； 一部分的1、P帧及B帧中受到内容编辑影响的宏块EMB、RMB, IMB,对所述受到内容编辑影响的宏EMB、RMB, IMB经过反DCT变换和反量化处理模块IQ/IDCT处理后，处理结果以及视频输入信号经变字长解码处理模块VLD解码得到的运动矢量经过码率控制计算一起输入宏块重编码模块； 另一部分的其他所有不受内容编辑影响的宏块VMB则直接拷贝重用原码流中的VLC数据。
5.如权利要求4所述的视频数字多媒体码流局部内容转换编码方法，其特征在于，所述模式分类由专用的“接口”宏块作为编码处理的分割点实现，将所述1、P帧及B帧中的视频编码宏块分为受到内容编辑影响的宏块EMB、RMB, IMB和不受内容编辑影响的宏块VMB。
6.如权利要求4所述的视频数字多媒体码流局部内容转换编码方法，其特征在于，所述码率控制计算，具体包括以下步骤: 用于数字多媒体码流局部内容编辑的视频转换编码，在图像级别进行，具体包括以下处理:在变字长解码处理VLD部分，记录原码流的每一帧的编码比特数为S，则当前待编码帧的目标码率即为S ;使用“接口"MB技术标注MB类型后，VMB将重用源码流中的VLC码字，其编码比特数可以由输入码流统计得到；假设一帧图像中的VMB的重用VLC比特数为V，则目标比特数T为:
T = S-V。
【文档编号】H04N19/176GK103813170SQ201310689187
【公开日】2014年5月21日 申请日期:2013年12月12日 优先权日:2013年12月12日
【发明者】刘昱, 李源 申请人:昆明亿尚科技有限公司