一种并行高效视频编码的帧内闪烁减弱法
【技术领域】
[0001] 本发明涉及帧内闪烁减弱法，特别涉及一种并行高效视频编码的帧内闪烁减弱 法。
【背景技术】
[0002] 现有的帧内闪烁伪影减弱法只是针对当前主要伪影视频编码技术的其中一种，与 现代计算机系统中变得日益重要的分布式编码结构不兼容。
[0003] 在编码表现出显著的视觉质量差后对两个连续帧的区域进行共同定位时，闪烁伪 影或时间栗浦伪影(temporal pumping artifact(TPA))是一种恼人的编码伪影，尤其在上 一个图片组(Group of Picture(GOP))的最后预测编码帧与下一个图片组的第一个帧内帧 之间的图片组的边界非常严重和明显。这种情况也叫作帧内跳动（intra beating)。自从引 入MPEG-2后，虽然在减少TPA方面做了很多研究，MPEG-2仍然是视频编码的一个主要问题如 文献[4]、文献[5]和文献[6]。当在处理速度和系统开销方面具有昂贵的信息共享的单元之 间进行不同图片组编码时，这一问题在并行及分布式处理方面变得尤为严重。
[0004] TPA主要是由两个因素导致的如文献[7];按照显示顺序的时间相邻帧内共同定位 块的不同量子化参数(quantization parameters QP)及不同预测模式。基于多种原因（当 使用QP串接来改善递阶预测结构的编码效果时），QP差异是不可避免的。另外，当变更比特 率及QP来适应网络带宽的变化时，其在自适应流媒体传输中也是不可避免的。在对不同的 帧进行单独编码时，预测模式的区别是在所难免的，因为通常是在G0P边界(帧内闪烁）出现 这种情况。
[0005] 文献[11]中Yang等提出了双道I帧编码方法。第一道将I帧压缩成为P帧，以获取一 个无闪烁参照。第2道将该结果作为目标，来对被确认为具有闪烁倾向的帧内方块进行编 码。该方法有效降低了闪烁伪影，但在峰值信噪比（PSNR(Peak signal-to-noise ratio)) 方面却有相当大的损失。Jimenez-Moreno等如文献[12]通过引入宏块(macro block(MB)) 级别的PSNR损失控制改善了此想法，另外，文献[12]还对内部预测P帧与原始帧之间的无闪 烁目标进行加权。尽管如此，文献[12]并未提供与文献[11]的直接比较来显示文献[12]利 益。与此方法类似，Qiao等[10]提出了 PI帧，它是作为P帧和I帧被编码和传输。如果无传输 错误或随机访问，P版本会代替I版被解码。因此，文献[10]、[11]和[12]均产生并行高效视 频编码的问题。
【发明内容】
[0006] 本发明的目的是为了解决视频编码存在MPEG-2的问题、自适应流媒体传输中存在 变更比特率及QP来适应网络带宽的变化、在G0P边界出现预测模式的区别以及产生并行高 效视频编码的问题而提出的一种并行高效视频编码的帧内闪烁减弱法。
[0007] 上述的发明目的是通过以下技术方案实现的：
[0008] 步骤一、在去闪烁并行高效的分布式视频编码结构中，编码结构顶层的主机进行 场景检测决定GOP结构；
[0009] 步骤二、利用去闪烁并行高效的分布式视频编码结构将检测决定的GOP图片组分 配节点任务NTs;其中，G0P结构包括封闭式G0P和开放式G0P;
[0010] 步骤三、在编码前对步骤二分配节点任务NTs中的每一个NT中的帧进行HEVC标准 编码单元CU的划分，将划分后的编码单元CU进行闪烁度量确定具有闪烁倾向的编码单元 CU；
[0011] 步骤四、将确定具有闪烁倾向的编码单元CU进行去闪烁处理;其中，闪烁划分为两 类:静态闪烁和移动闪烁;所述的具有闪烁倾向的编码单元CU进行去闪烁处理包括利用与 去闪烁并行高效的分布式视频编码结构兼容的闪烁减弱法处理移动闪烁和利用双道闪烁 减弱程序减弱具有静态闪烁倾向的CUs的两种方法。
[0012]发明效果
[0013] 较H.264/AVC相比，HEVC/H.265编码具有更高的复杂性。在本发明的实验中，开源 HEVC编码软件x265(http://x265.org.)已被广泛使用，并被视为一项领先的HEVC实施项 目，通过其默认的介质预设，可为双至强(英特尔）机的4K编码实现约lOfps。为了实现实时 的及比实时更快的高分辨率HEVC，使用分布式编码结构对多个处理器或服务器进行并行处 理就变得尤为重要。
[0014]在本发明中，我们提出了一种有效的闪烁伪影减弱法，尤其适合并行及分布式系 统的应用。虽然分布式系统在HEVC(High Efficiency Video Coding)的上下文中均有描 述，它仍可被纳入其他视频编码系统。
[0015] 与H. 264/AVC相比，联合协作团队研发的关于视频编码（Joint Collaborative Team on Video Coding(JCT-VC))的高效视频编码（High Efficiency Video Coding (HEVC))标准可节约大概50%的比特率;如文献[1 ];
[0016] 为降低TPA，我们努力减少了 QP如文献[8]和文献[9]及预测模式差别如文献[9]、 文献[10]和文献[11]。在文献[12]中，Jimenez-Moreno等全面介绍了先进的TPA降低技术 H.264/AVC，其中还包括预处理技术[7]，编码[8] [9] [11] [12]及预处理[13] [14] [15]技术， 每一种技术都具有其自身的优点和缺点。在本文中，我们专注研究不需解码器变化的标准 兼容编码技术。
[0017] 本发明提出了一种高效、具有标准兼容且尤其适合并行分布式系统的闪烁减弱 法。实验结果表明，该方法可以消除文献[3 ]记载的x265和HM的闪烁伪影分别高达60 %和 14%〇
【附图说明】
[0018]图1为【具体实施方式】一提出的HEVC分布式编码结构示意图；
[0019] 图2(a)为【具体实施方式】五提出的双预测关闭式G0P，中间虚线为G0P边界以及闪烁 部分；
[0020] 图2(b)为【具体实施方式】五提出的开放G0P帧结构示意图；
[0021] 图2(c)为【具体实施方式】五提出的参考I帧(4)的RASL(1，2,3)与之前帧的闪烁示意 图；
[0022 ]图2 (d)为【具体实施方式】五提出的I帧低质量时参考I帧(4)的RASL (1，2，3)与I帧的 闪烁示意图；
[0023] 图2(e)为【具体实施方式】一提出的强制双向预测时的帧结构示意图；
[0024] 图3为【具体实施方式】一提出的移动闪烁示意图；其中使用的是标准视频测试序列 Parkjoy，1080p50，QP42~3?8Mbps;
[0025] 图4为实施例提出的G0P4闪烁减弱示意图；
[0026]图5为实施例提出的本发明提出方法(Cactus@QP37)的DFiicker示意图；
[0027] 图6为实施例提出的QP变化示意图；其中，QP为帧0-89@QP37;90-179@QP42;180- 2690QP32。
【具体实施方式】
【具体实施方式】 [0028] 一:本实施方式的一种并行高效视频编码的帧内闪烁减弱法，具体 是按照以下步骤制备的：
[0029] 步骤一、在去闪烁并行高效的分布式视频编码结构中，编码结构顶层的主机进行 场景检测决定G0P结构；
[0030] 其中，去闪烁并行高效的分布式视频编码结构在图1描述了高效率视频编码HEVC (High efficiency video encoding)的分布式编码结构，图1中的箭头X(有颜色的)是指帧 Y和X之间的依赖关系(Y采用X的信息）；
[0031 ]步骤二、利用去闪烁并行高效的分布式视频编码结构将检测决定的G0P(Group Of Picture)图片组分配节点任务NTs(Node Tasks);其中，GOP结构包括封闭式G0P(close-G0P)和开放式GOP(open-GOP);
[0032] 步骤三、Flicker Metric闪烁度量;在编码前对步骤二分配节点任务NTs中的每一 个NT (Node Task)中的帧进行HEVC标准编码单元CU的划分，将划分后的编码单元CU进行闪 烁度量(Flicker Metric)确定具有闪烁倾向的编码单元CU;
[0033]步骤四、闪烁伪影减弱；将确定具有闪烁倾向的编码单元CU进行去闪烁处理；其 中，闪烁划分为两类:静态闪烁和移动闪烁;所述的具有闪烁倾向的编码单元CU进行去闪烁 处理包括利用与去闪烁并行高效的分布式视频编码结构(如图1)兼容的闪烁减弱法处理移 动闪烁和利用双道闪烁减弱程序减弱具有静态闪烁倾向的CUs的两种方法。
[0034] 例如：我们可以在分别加权了（25%，75%)，（50%，50%)及（75%，25%)的帧1，2 和3上使用双预测模式。另一种方法是使用未加权的含限制参考列表的双预测，这是考虑到 实施复杂性的首选。如图2(e)所示，带双预测、仅分别参考前或后图的RASL B帧（如1，2和 3)，即为参照列表L0和L1的第一帧。需注意的是，与现有的方法相比，强制性双预测法通常 对移动闪烁比较有效，尽管其对分布式编码具有依赖需求。
[0035] 在多数情况下，现有的双道法没有充分利用可与大量比特进行编码的I帧，牺牲了 视频质量，如：图3的（e)中，其质量降低为一个具有较低质量的P帧。通过使用移动闪烁的双 预测，整体品质得以提升。
[0036] 非静态或移动闪烁倾向的CUs则被确定为闪烁迟钝，包括诸如快速移动对象或局 部变化对象。闪烁迟钝CUs只是用常规的方式进行编码。
[0037]本实施方式效果：
[0038]较H. 264/AVC相比，HEVC/H. 265编码具有更高的复杂性。在本实施方式的实验中， 开源HEVC编码软件x265(http://x265.org.)已被广泛使用，并被视为一项领先的HEVC实施 项目，通过其默认的介质预设，可为双至强(英特尔)机的4K编码实现约lOfps。为了实现实 时的及比实时更快的高分辨率HEVC，使用分布式编码结构对多个处理器或服务器进行并行 处理就变得尤为重要。
[0039] 在本实施方式中，我们提出了一种有效的闪烁伪影减弱法，尤其适合并行及分布 式系统的应用。虽然分布式系统在HEVC(High Efficiency Video Coding)的上下文中均有 描述，它仍可被纳入其他视频编码系统。
[0040] 与H. 264/AVC相比，联合协作团队研发的关于视频编码(Joint Collaborative Team on Video Coding(JCT-VC))的高效视频编码（High Efficiency Video Coding (HEVC))标准可节约大概50%的比特率;如文献[1 ];
[0041] 为降低TPA，我们努力减少了 QP如文献[8]和文献[9]及预测模式差别如文献[9]、 文献[10]和文献[11]。在文献[12]中，Jimenez-Moreno等全面介绍了先进的TPA降低技术 H.264/AVC，其中还包括预处理技术[7]，编码[8] [9] [11] [12]及预处理[13]