专利名称：一种基于自适应冗余片嵌入的容错性视频转码方法
技术领域：
本发明涉及视频转码领域，具体涉及一种基于自适应冗余片嵌入的容错性视频转 码方法。
背景技术：
在多媒体应用中，存在着各种各样的网络、设备、内容表现形式和标准等，这些 要素之间的互通与互相适应是非常重要的。视频转码就是完成这项任务的非常重要一 环，现已成为十分活跃的研究领域。因为传输的不可靠，容错性转码(Error-resilient transcoding)成为视频转码中一个急需解决的重要课题。一切有利于增强视频流的容错性 的视频转码都属于容错性转码，其在移动娱乐、移动监控等领域具有十分广泛的应用价值。现有的容错性转码方法虽然可以取得较好的容错效果，但它们的一个主要缺点是 容错强度变更的灵活性不够。它们作用的结果会导致原始视频流发生了实质变化。一旦网 络情况发生变化或者不再需要容错时，无法快速有效地形成新视频流或者恢复成原始视频 流，甚至根本无法完全恢复成原始视频流。冗余片或冗余图像技术是H. 264/AVC标准中引入的一种新颖且十分有效的视频 容错技术。在编码主图像的基础上再增添相应的冗余编码可以显著提高视频流的容错性。 增添的冗余内容既可以是对图像整体编码的冗余图像，也可以是针对某一特定区域或某些 宏块编码的冗余片。现有利用冗余片机制进行容错编码的方法还存在着以下一些问题产 生冗余图像或冗余片的机制较为单一，对每一帧或者指定帧进行冗余编码，自适应性不强； 对整帧图像进行总体评估，而没有区分图像内部性质的差异(感兴趣区域)；只能针对冗余 码率和主图像码率固定的情况，而不是自适应分配；计算复杂度高，应用难度大；未考虑传 输状况。同时，现有方法也都是应用在编码环节中的，不能完全适用于容错性转码中的冗余 片嵌入或变更。
发明内容
本发明提供了一种基于自适应冗余片嵌入的容错性视频转码方法，解决了容错性 视频转码过程中的冗余片嵌入技术，包括以下步骤(1)输入原始无容错处理的视频流并对视频流进行解码；(2)利用解码后的像素信息，在色度空间中对当前解码帧进行肤色检测，提取出该 帧图像的肤色宏块；(3)对当前解码帧进行运动分析，区分出每个宏块的相对运动强度，并根据运动强 度对肤色宏块进行运动修正，得到新的肤色宏块标识；然后经过形状调整，确定最终的感兴 趣区域宏块；(4)按照对当前帧视频流嵌入与不嵌入冗余片两种情况，分别估计在传输丢包条 件下感兴趣区域的失真值；(5)统计嵌入与不嵌入冗余片两种情况下编码感兴趣区域的比特资源消耗，计算
4感兴趣区域冗余片的率失真性能，决策是否对当前帧嵌入感兴趣区域冗余片，即选出率失 真性能较佳的情况；(6)针对新的片组结构，对需要嵌入冗余片的视频流进行宏块间依赖性分析和感 兴趣区域扩大，然后进行熵编码形成感兴趣区域冗余片并嵌入原始视频流当中。本发明中，产生的冗余片只针对感兴趣区域，不包括其它非感兴趣区域，且生成冗 余片视频流过程只在熵编码层次上进行。本发明中，产生的感兴趣区域冗余片与其在主图像中对应位置的像素重建值完全 相同，即不改变相关宏块的预测模式和量化参数等。本发明的转码方法能够显著增强原有视频流的容错性能，改善不可靠传输时视频 的质量，实现较好的率失真性能，并与人的视觉保持了良好的一致性。同时，还具有复杂度 较小、图像存储空间要求较少和容错强度变更灵活等特点。
图1为本发明自适应冗余片嵌入的容错性视频转码方法的流程图；图2为本发明中图像中心区域划分图；图3为本发明中感兴趣区域扩大示意图；图4为采用本发明方法对Carphone测试序列进行仿真实验结果图。
具体实施例方式下面结合实施例和附图来详细说明本发明，但本发明并不仅限于此。如图1所示，一种基于自适应冗余片嵌入的容错性视频转码方法，包括以下步骤(1)输入原始无容错处理的视频流并对视频流进行解码；(2)提取出当前解码帧图像的肤色宏块；直接从颜色判断出发去检测肤色具有较高的效率，一个坐标为(X，y)的像素点是 否属于肤色区域通过式(I)来判断 式(I)中，C；表示像素点的一个色度值；Vio表示像素点RGB值的方差；R。为检测 肤色的色度区间，其上下限分别为173和133 J1和T2分别表示RGB方差判断的下限和上 限；式(I)中，S为1时表示该像素为肤色像素。考虑到观众对中心区域更为关注，因此，本发明采取差别化的检测限值，对不同的 区域采用不同的检测限值T1和1~2。对区域的划分如图2所示(QCIF格式，图中宽度与高度 数字均以宏块为单位)，图2中由内至外的区域分别是礼、R2和民。对于这三个区域，区间 [T1, T2]的取值分别为[50，4000]、[50，2200]和[50，1600]。定义具有140个以上肤色像素的宏块为肤色宏块，宏块级肤色标识(肤色宏块检 测标识)为Smb，肤色宏块的Smb置为1，否则为0。(3)对肤色宏块进行运动修正，然后经过形状调整，确定最终的感兴趣区域宏块；对于个别背景来说其颜色仍然十分接近肤色，因此通过运动修正来对肤色检测进 行完善。接近肤色的背景往往处于非运动或轻微运动状态，所以可以据此剔除掉一些误判
肤色宏块。设一个宏块的运动强度为Imb，其取值范围为0、1或2，取值为2时表示运动强度 大。运动强度通过计算错误恢复失真值来确定，因为该值可以反映连续两帧之间的差 异。同时该错误恢复失真值也将会用在后续的率失真计算过程中，可以减少计算量。一个像素点的错误恢复失真值4。定义如式(II)所示dec(x,y) = [F(x, y)-F' (x,y)]2(II)式(II)中，F和F'分别为当前帧和前一帧的解码重建像素值。一个宏块的错误恢复失真值定义为其所有组成像素的错误恢复失真值之和。设一 帧图像所有宏块的平均错误恢复失真值为Davg。当宏块的错误恢复失真值大于3Davg时，其 运动强度Imb置为2。当处于
区间时，Imb分别对应0和1。设一个宏块所处的相对于中心的区域为Rmb，那么经过运动修正后的宏块级肤色标 识定义为
‘ Xb =Ior Zmb =2, ^mbER1 1, if^mb = land/mb>l, ^eR2 .UandU Rmb eR3 0, otherwise如上所述，式(III)中，Smb为步骤⑵中所产生的肤色宏块检测标识；I-为宏块运 动强度标识，通过比较宏块强度与图像平均运动强度得到；Rmb为宏块所属图像区域标识； 队、R2和R3为图像不同区域，通过预先设定的中心区域划分图(如图2所示)规定。由式(III)可知，越远离中心区域，运动修正的判断标准越为严格。同时，中心区 域内运动强度大的宏块也被纳入感兴趣区域中。进一步对上述得到的肤色标识进行形状调整，一方面可以使得一些重要区域纳入 感兴趣区域范围，如被肤色包围的眼睛和嘴等；另一方面也可以剔除一些孤立的噪声宏块。计算每个宏块周边上下左右四个宏块的M值的总和，结果记为MSUffl。如果一个宏块 的Msim大于或等于阈值Tml，那么该宏块新的M值置为1 ；如果Msum小于或等于阈值Tm2，那么 该宏块新的M值置为0 ；其它情况M值保持不变。按照宏块光栅扫描次序，上述形状调整算 法进行两次，从而得到最终的M值。第一次形状调整中使用的Tml为2，Tm2为0 ；第二次形状 调整中使用的Tml为3，Tm2为1。最终的M值为1的宏块为感兴趣区域宏块，需要嵌入冗余片保护的感兴趣区域定 义为包含了所有感兴趣区域宏块的最小矩形。本发明中产生的感兴趣区域冗余片与其在主 图像中对应位置的像素重建值完全相同，即转码过程中不改变相关宏块的预测模式和量化 参数等。(4)按照对当前帧视频流嵌入与不嵌入冗余片两种情况，分别估计在传输丢包条 件下感兴趣区域的失真值不嵌入冗余片的情况下，一个像素点的估计失真值dPH通过下式得到dPri = (l-p)dref+p(dec+dCoi)(IV)式(IV)中，ρ表示传输时的丢包率，cUf表示当前像素点所参考的像素点的估计失 真值，dcol是指参考帧中相同位置像素的估计失真值。
6
在嵌入冗余片的情况下，一个像素点的估计失真值Cllted通过下式得到dEed = (1-p) dref+p (1-p) dref E+p2 (dec+dcol) (V)式(V)中，(^〃是指冗余片所参考的像素点的估计失真值。因为在本发明中冗余 片与主图像的参考帧和参考行为完全一致，即dref = dref_E,因此dEed= (l-p2)dref+p2(dec+dCoi)(VI)通过加和感兴趣区域中所有像素点的估计失真值，可以得到在不嵌入或嵌入冗余 片两种情况下感兴趣区域整体的估计失真值，分别记作Dph和Dm。(5)统计嵌入与不嵌入冗余片两种情况下编码感兴趣区域所消耗的比特数，计算 得到嵌入冗余片后失真值变化与所消耗比特数变化之间的比值S，也就是单位比特可以减 少的感兴趣区域的失真程度，如式(VII)所示 式(VII)中，Rph和Rm分别表示不嵌入和嵌入冗余片两种情况下编码感兴趣区域 所需的比特数(Rlted既包括冗余片比特数也包括主图像对应位置比特数)。Rm可以直接从 解码过程中得到。考虑到本发明中冗余片和主图像编码感兴趣区域所需要的比特资源近似 相同(冗余片完全来自主图像对应区域的无损变更)，所以Rm约为Rm的2倍。所以 式(VIII)中，^^和！^分别为感兴趣区域中所有像素点的心^^和火社的 总禾口。当比值δ大于指定阈值λ时，说明对原视频流嵌入冗余片可以取得较好的率失 真性能，反之则不应该嵌入冗余片。借鉴H. 264/AVC宏块率失真优化中的拉格朗日乘数，本发明中所使用的阈值为
(IX)式(IX)中，Q为原始视频流的量化参数，α为固定值参数(本发明中设为0. 01)。在确定了当前帧是否应该嵌入冗余片保护感兴趣区域之后，相应确定当前帧感兴 趣区域所有像素点的估计失真值为dPH (选择不嵌入冗余片时)还是(选择嵌入冗余片 时)，以供后续帧在估计失真值时使用。其余所有非感兴趣区域的像素点，其失真值应全部 赋为dM。在I帧更新后，上述所有失真值全部清零。(6)对需要嵌入冗余片的当前帧视频流进行宏块间依赖性分析和感兴趣区域扩大 之后，然后进行熵编码形成冗余片并嵌入原始视频流当中。如果对当前解码帧嵌入冗余片，感兴趣区域冗余片将以灵活宏块次序(FMO)两片 组类型2的一个片组的形式进行编码，该片组的片组号为0。其余所有非感兴趣区域的宏块 不做冗余编码，也就是对两片组类型2的另一个片组不进行冗余编码。原视频流是不存在片组划分的，所以冗余视频流不能直接复制原视频流的对应位 置，而必须根据感兴趣区域位置重新生成具有新的片组结构的视频流，这也就导致宏块依 赖性的差异。所谓宏块依赖性是指一个宏块在进行熵编码时需要依赖于其周边宏块的相关信息，如运动矢量信息等。通常这些信息的利用不能够跨越片和片组的边界，即只能利用本 片和本片组的相关宏块信息。为了实现主图像与冗余片的重建值完全相同，即无损分片结 构变更，需要对原有的宏块依赖性进行分析，然后根据新的宏块依赖性进行熵编码、生成新 的视频流。本发明的宏块间依赖性主要包括运动矢量依赖性和系数依赖性等。对于帧内预测 宏块，其宏块依赖性还包括了对周边宏块像素的依赖，这种依赖关系无法通过再次熵编码 改变。为解决这一问题，本发明中的感兴趣区域将适当扩大，达到所有帧内预测宏块需要依 赖的周边宏块都包括在感兴趣区域内，如图3所示。图3(a)中的粗线内部宏块位置为将进 行冗余编码的感兴趣区域，其片组号为0，其余宏块不进行冗余编码(标记为“χ”)。设其中 的竖线背景宏块为水平预测的帧内预测宏块，需要依赖其左侧斜线背景宏块的像素。此种 情况下，本发明将感兴趣区域扩大至包含斜线背景宏块，使得竖线背景宏块的预测模式不 发生任何变化，如图3(b)所示。通常，未经容错处理的原始视频流的帧内预测宏块比例很 小，因此感兴趣区域扩大所导致的额外比特资源消耗很少。另外，如果原有视频流存在片结 构，则该片结构在冗余编码过程中保持不变。实验效果采用本发明方法(ARSI)对无容错保护的Carphone视频流进行容错性 转码。对比方法是H. 264/AVC模型标准参考模型JM15. 1中的HRP(Hierarchical Redundant Picture)算法(参数 NumRedundantHierarchy 和 NumRefPrimary 的值分别设为 0 和 1，参 数PrimaryGOPLength的值为2、5和8，分别记为HRP2、HRP5和HRP8)。待转码的视频流都 是由JM15. 1编码器预编码的，编码帧数、I帧间隔和帧率分别为300帧、50帧和25帧/秒。 预编码中所使用的量化参数为28、32和36。实验的网络丢包率为10%。如图4所示，曲线 1 4分别表示采取HRP2、HRP5、HRP8和本发明方法(ARSI)方法得到的感兴趣区域峰值信 噪比(PSNR)质量结果。从图4中可以看到本发明对质量的改善幅度可达到0. 8到1. 5dB。
8
权利要求
一种基于自适应冗余片嵌入的容错性视频转码方法，其特征在于，包括以下步骤(1)输入原始无容错处理的视频流并对视频流进行解码；(2)利用解码后的像素信息，在色度空间中对当前解码帧进行肤色检测，提取出该帧图像的肤色宏块；(3)对当前解码帧进行运动分析，区分出每个宏块的相对运动强度，并根据运动强度对肤色宏块进行运动修正，得到新的肤色宏块标识；然后经过形状调整，确定最终的感兴趣区域宏块；(4)按照对当前帧视频流嵌入与不嵌入冗余片两种情况，分别计算在传输丢包条件下感兴趣区域的估计失真值；(5)统计嵌入与不嵌入冗余片两种情况下编码感兴趣区域的比特资源消耗，计算感兴趣区域冗余片的率失真性能，决策是否对当前帧嵌入感兴趣区域冗余片；(6)针对新的片组结构，对需要嵌入冗余片的视频流进行宏块间依赖性分析和感兴趣区域扩大，然后进行熵编码形成感兴趣区域冗余片并嵌入原始视频流当中。
2.根据权利要求1所述的容错性视频转码方法，其特征在于，所述的步骤(2)中，所述 的肤色检测采用差别化的检测限值，针对图像的不同区域采用不同的检测限值。
3.根据权利要求1所述的容错性视频转码方法，其特征在于，所述的步骤(3)根据式 (III)进行肤色宏块的运动修正 式(III)中，Smb为步骤(2)中所产生的肤色宏块检测标识；Imb为宏块运动强度标识， 通过比较宏块强度与图像平均运动强度得到；Rmb为宏块所属图像区域标识；礼、R2和R3为 图像中自中心区域由内至外的不同区域，通过预先设定的中心区域划分图规定。
4.根据权利要求1所述的容错性视频转码方法，其特征在于，所述的步骤(4)中，计算 在传输丢包条件下感兴趣区域的估计失真值的过程如下(4. 1)采用式(IV)计算不嵌入冗余片时一个像素点的估计失真值dPH dPri = (l-p)dref+p(dec+dcol)(IV)(4. 2)采用式(VI)计算嵌入冗余片时一个像素点的估计失真值Cllted: 嵌入冗余片的情况下，一个像素点的估计失真值通过下式得到 dEed = (1-P2) dref+p2 (dec+dcol) (VI)(4. 3)加和感兴趣区域中所有像素点的估计失真值，分别得到在不嵌入和嵌入冗余片 两种情况下感兴趣区域整体的估计失真值Dph和Dm ；式(IV)和(VI)中，ρ表示网络传输时的丢包率，4。当前像素与参考帧中相同位置像 素之间差值的平方值，dref表示当前像素点所参考的像素点的估计失真值；d-是指参考帧 中相同位置像素的估计失真值。
5.根据权利要求1所述的容错性视频转码方法，其特征在于，所述的步骤(5)中判断是 否对当前帧嵌入感兴趣区域冗余片，通过比较嵌入冗余片后失真值变化与所消耗比特数变化之间的比值δ与指定阈值λ来实现，当比值δ大于指定阈值λ时，对视频流嵌入冗余 片，反之则不应该嵌入冗余片；比值δ采取式(VIII)进行计算 )(VIII) 式(VIII)中，D^Dral和Dref分别为感兴趣区域中所有像素点的dec、dcol和CUf值的总 和；4。当前像素与参考帧中相同位置像素之间差值的平方值，(1&表示当前像素点所参考 的像素点的估计失真值；d-是指参考帧中相同位置像素的估计失真值；Rm表示不嵌入冗 余片时编码感兴趣区域所需的比特数，从解码过程中获得。
6.根据权利要求5所述的容错性视频转码方法，其特征在于，所述的指定阈值λ由式 (IX)计算得到 式(IX)中，α为固定值参数，为0.01 ；ρ表示网络传输时的丢包率，Q为原始视频流的量化参数。
全文摘要
本发明公开了一种基于自适应冗余片嵌入的容错性视频转码方法，包括以下步骤输入原始视频流并对视频流进行解码；提取出当前解码帧的肤色宏块；对肤色宏块进行运动修正，然后经过形状调整，确定最终的感兴趣区域宏块；按照嵌入与不嵌入冗余片两种情况，分别计算感兴趣区域的估计失真值；计算感兴趣区域冗余片的率失真性能，决策是否对当前帧嵌入感兴趣区域冗余片；对需要嵌入冗余片的视频流进行宏块间依赖性分析和感兴趣区域扩大之后，进行熵编码形成冗余片并嵌入原始视频流当中。本发明在无需二次编码的情况下具有良好的容错效果，并与人的视觉保持了良好的一致性，且具有容错强度可以灵活更改。
文档编号H04N7/68GK101917626SQ20101026203
公开日2010年12月15日 申请日期2010年8月20日 优先权日2010年8月20日
发明者周怡然, 罗雷, 陈耀武 申请人:浙江大学