一种针对屏幕视频帧间残差的基础色索引映射算法
【专利摘要】本发明针对屏幕视频的帧间残差，设计了一种基础色索引映射算法。在该算法中，帧间残差的相关性被发掘并利用，以获得高效的编码压缩比。在该方法中，残差被颜色量化成基础色和索引映射，而不进行传统编码的变换及量化过程。在进行颜色量化时,基于K-Means算法的YUV联合颜色量化方法被使用。接着，与上下文相关的层级熵编码方法被用来进行索引映射的熵编码。最后，我们将该发明作为帧间残差的新模式，加入到HEVC?range?extension的标准参考软件中。
【专利说明】一种针对屏幕视频帧间残差的基础色索引映射算法
【技术领域】
本发明涉及视频编码【技术领域】，具体涉及帧间残差的基础色索引映射(base colorand index map, BCIM)算法。
【背景技术】
屏幕视频是指包含文字、图形、图像与自然视频的混合视频，它由计算机产生并记录得至IJ，可应用在云计算、远程连接等诸多方面。随着移动互联网的发展，工业界对屏幕视频的压缩要求越来越高。然而，屏幕视频的采集与传统视频不同。传统视频利用摄像机采集，因而，视频中不可避免的会引入噪声。但屏幕视频由计算机产生并记录得到，因而，可以认为是无噪的。除了采集方式不同外，屏幕视频的内容与传统视频也并不相同。传统视频一般指自然视频，它包含的内容均是自然界中真实发生的场景。但屏幕视频是一种混合视频，不仅包含由计算机产生的内容(诸如word文档、pdf文档、网页等)还可能包含传统视频。因而，传统视频与屏幕视频具有不同的特性，传统的视频编码方法并不完全适用于屏幕视频的编码。
传统的视频编码标准如MPEG-2[1]、H.264/AVC[2]、HEVCm等均是根据自然视频的特性设计形成的，因而，并不能直接应用到屏幕视频的编码中。为了充分的利用屏幕视频的特性，以对其进行高效地压缩编码，JCT-VC组织开展了针对屏幕视频编码的HEVC rangeextension标准制定工作。目前，有许多技术提案被提出，这些技术提案大体可以分成三类:中贞内块拷贝(intra block copy)技术[4_5]、变换跳过(transform skip)技术[6_8]及基础色索引映射(BCIM)技术本发明提出一种基础色索引映射算法。
下面，我们简要介绍基础色索引映射算法的基本思想，以及它是如何节省码率的。由于屏幕视频中包含的文字及图形等内容，往往只包含少数几种像素值(例如，word文档中的文字，大部分都是黑色)，因而，我们可以通过聚类的方式将这几种像素值聚类出作为基础色，并形成基础色集合。对于视频帧中的每个像素点，我们不再用其自身的像素值表示，而使用集合中对应基础色的索引来表示，从而，形成了一个索引映射。在编码时，将基础色及对应的索引映射传至码流中。这就是基础色索引映射技术的基本思想。为有效说明基础色索引映射技术如何有效节省码率，我们以一个8x8编码块为例进行说明。假设每个像素点均用8bit来表示，那么传输这个8x8块需要8x8x8 = 512bit。假设将这个8x8块聚类成4个基础色，那么每个索引只需要2bit进行表示。在传输过程中，4个基础色先被传输，需要4x8 = 32bit0接着，8x8大小的索引映射被传输，需要8x8x2 = 128bit。因而，采用基础色索引映射技术，总共需要128+32 = 160bit。相比于传统的技术，码率被节省。
由于基础色索引映射技术有效，因而，在HEVC range extension的制定过程中，有许多关于它的技术提案，但这些提案多应用于帧内块。在本发明中，一种针对帧间残差的基础色索引映射算法被提出。
【发明内容】
本发明提出一种将基础色索引映射技术应用于帧间的残差块的新方法。
在该技术中，基础色信息、索引映射信息及一些其它信息均需要写入到码流中。因而，我们做了一个简单实验，以查看三部分信息所占用的码率情况。从表1可以看到，索引映射所占用码率最高，因而，在基础色索引映射技术中，高效的索引映射的熵编码十分重要。为达到该目的，在本发明中，我们提出两个子算法:YUV联合颜色量化算法及与上下文相关的分级熵编码算法。对于帧间的残差块，首先利用YUV联合颜色量化算法得到对应的基础色和索引映射。然后，利用上下文相关的分级熵编码算法对索引映射进行熵编码。基础色的熵编码则采用一般的CABAC算法。
表1.基础色索引映射技术中各部分信息所占用码率的占比
【权利要求】
1.一种针对屏幕视频帧间残差的基础色索引映射算法，包含YUV联合颜色量化算法和与上下文相关的分级熵编码方法；对于帧间的残差块，首先利用YUV联合颜色量化算法得到对应的基础色和索引映射，然后利用上下文相关的分级熵编码算法对索引映射进行熵编码。
2.根据权利要求1所述的算法，其特征在于:将该算法作为一种新的模式，与原始编码框架中的模式进行模式决策，将较优的模式作为最终的选择。
3.根据权利要求1所述的算法，其特征在于:所述的YUV联合颜色量化算法是将Y、U、V三个颜色分量映射成一个索引映射。
4.根据权利要求3所述的算法，所述的YUV联合颜色量化算法具体为: a)使用优化的K-Means聚类算法进行基础色的聚类； b)每一个基础色包含Y、U、V三个分量； c)每一个块对应一个索引映射,索引映射的大小与块大小相同； d)基础色的数目可自适应，也可固定。
5.根据权利要求1所述的算法，其特性在于:与上下文相关的分级熵编码方法，是将索引映射中的每一行进行分级，对其中的某一级或者所有级利用上下文进行映射，将映射后的值而非原始值编入码流。
6.根据权利要求5所述的算法，所述的与上下文相关的分级熵编码方法为: a)每一行索引值分成三级:行级、组级、像素级； b)若一行中所有索引值均相同，则该行不划分成组级，否则划分成组级； c)若一组中所有索引值均相同，则该组不划分成像素级，否则划分成像素级； d)组级中所包含的索引数目可自适应，也可固定； e)像素级的索引不直接编入码流中，而是先利用周围索引值进行映射，将映射后的值编入码流； f)对于行级的索引(一行中所有索引值均相同)，将行级标示和该行的索引值传入码流中； g)对于组级的索引(一组中所有索引值均相同)，将组级标示和该组的索引值传入码流中。
7.根据权利要求6所述的算法，在解码索引映射信息时，采用与上下文相关的分级熵解码方式，具体为: a)每一行索引值分成三级:行级、组级、像素级； b)首先解码行级标识，若标识为true，表明该行索引值均相同，那么直接解码该行索引值。若为false，表明该行索引值不完全相同，那么解码组级标识； c)若组级标识为true，表明该组索引值均相同，那么直接解码该组索引值；否则，表明该组索引值不完全相同，那么依次解码每个像素的索引值； d)解码得到像素级的索引值后，需要利用已经解码的索引值对当前解码所得值进行反映射，反映射后的值才是真正的索引值。
8.根据权利要求7所述的算法，其特征在于:得到索引映射和基础色后，即可重构残差块，再加上预测块，即可得到当前块的重构块。
【文档编号】H04N19/186GK103957412SQ201410188957
【公开日】2014年7月30日 申请日期:2014年5月6日 优先权日:2014年5月6日
【发明者】马思伟, 陈蕾, 王诗淇, 王苫社 申请人:北京大学