一种屏幕图像集合的压缩方法
【技术领域】
[0001] 本发明属于图像处理的技术领域，具体地涉及一种屏幕图像集合的压缩方法。
【背景技术】
[0002] 屏幕图像来源于各种各样的电子设备的屏幕桌面，与自然图像不同的是，屏幕图 像通常是由文字、图形和自然图像以随机组合的方式排列而成，所以我们也称它们为混合 图像。屏幕图像内容在诸多新媒体如无线展示，远程桌面和云计算等领域中的作用是举足 轻重的。在当今的高分辨率显示的需求下，屏幕内容的数据量是巨大的，并不能够被当今社 会的网络带宽所满足。举例来说：一个1080p分辨率且帧率为30Hz的屏幕内容视频，需要 每秒传输的数据量是1492992000比特。可以看出，这个数据量是巨大的，因此，屏幕内容的 压缩是十分必要的，并且其压缩效率对用户体验是十分重要的。由于屏幕图像内容的数据 规模和复杂程度的急剧增长给视频图像内容的存储、处理、网络传输以及浏览带来了很大 的压力，而现有的图像编码标准如基于块级别方向预测的H. 264/AVC标准和HEVC帧内预测 体制在编码屏幕图像时会导致残差块含有很高的能量，因此现有的编码标准并不能高效的 适用于屏幕图像，因此，必须对大规模屏幕图像集合进行高效的压缩。
[0003] 屏幕图像内容压缩方案的研宄是近几年图像压缩领域一个新的、迅速发展的研宄 课题。最近HEVC将屏幕内容列为其需求的一种，并研发新的编码工具去改进其压缩效率。 在HEVC及其范围拓展版本中，共有3个编码工具是为屏幕内容编码而设计。它们分别是 跳过变换的编码模式，残差的差分编码模式，以及帧内图像块运动补偿模式。除HEVC标准 中的屏幕内容编码工具外，还有诸多经典的屏幕内容编码方法被提出以改进HEVC等编码 标准在屏幕内容的编码性能。它们可以被分为如下四类：分层的编码方法，跳过变换的编码 方法，调色板的编码方法和基于字典的编码方法。
[0004] 基于层的研宄方法采用了一种混合光栅内容模型（MRC)。MRC模型将一副图像分 为两个图像层和一个二进制算子模板。两个图像层分别用于表示前景图像层和背景图像 层，二进制算子模板用于表示每个像素属于前景图像层还是背景图像层。图像层的编码主 要采用的是JPEG和JPEG2000等现有的图像编码标准。二进制掩模层的编码主要采用的是 JBIG和JBIG2等二进制图像编码标准。
[0005] 跳过变换的编码方法的思想是通过跳过变换，而改变残差块的能量分布，C. Lan等 人提出残差标量量化方案。它采用基于行的帧内预测方案，同时跳过变换过程并直接标量 量化产生的残差。然而，这种方法需要改变编码标准中预测的方式，这就对其与标准的耦合 度造成了破坏。
[0006] 调色板的方法将一幅图像表示为基础颜色和索引图的形式。每个像素被赋给一个 索引用于表示哪个基础颜色当作这个像素的重建值。基础颜色可以由颜色量化得到，并且 它和索引图需要被传输到解码端。由于屏幕内容的直方图很稀疏，基于调色板的方法只需 要很少的基础颜色就可以表示整个图像，因此每个索引的比特会很少，所以这类方法可以 取得很高的压缩效率。
[0007] 屏幕内容中有很多重复的内容，基于字典的方法正是利用了这一特征去增强屏幕 内容的压缩性能。T. Lin等人的工作是将基于字典的方法嵌入现有的视频编码标准中。并 且这种方案取得了很高的压缩性能。
[0008] 近十年来图像集合的联合压缩方案的研宄主要分为两个方面：针对高相关度图像 集的压缩研宄方法和针对低相关度图像集的压缩研宄方法。高相关度图像集压缩方案如： 基于KLT变换的压缩方案，基于最大最小差值（MMD)的压缩方案以及基于最大最小值预测 (MMP)的压缩方案等等，这些方案会根据整个图像集生成一个标志信号，然后对这个标志信 号和每两幅图像之间的差异进行编码压缩。针对低相关度图像集的压缩方案如：基于SIFT 特征提取的压缩方案利用了图像区域的尺度和旋转不变性这一特性来衡量和处理图像之 间的相关性，例如，最近Shi等人提出了一种基于特征提取的图像集合压缩方案，他们根据 像素的亮度值来提取图像的局部特征从而更有效的去除图像集合之间冗余信息，同时这个 方案采用了 SIFT算子来衡量和提高各个图像之间的关联度。例如：给定一组图像集合，他 们首先采用了一种基于SIFT的全局性变换方法来衡量图像之间的相似度，根据图像的几 何结构和亮度将所有图像进行集群分类；针对每个图像类，根据图像之间的相关性来生成 一个最小代价的预测结构树，最后分别对每个图像类进行压缩编码。
【发明内容】
[0009] 本发明的技术解决问题是：克服现有技术的不足，提供一种屏幕图像集合的压缩 方法，其能够获得更高的压缩效率。
[0010] 本发明的技术解决方案是：这种屏幕图像集合的压缩方法，包括以下步骤：
[0011] (1)计算每幅图像的每个图像块的哈希值；
[0012] (2)通过提取图像块的哈希特征来衡量图像与图像之间的相关性；
[0013] (3)对所有图像生成基于有向图的最小生成树，从而确定图像集合的预测结构；
[0014] (4)对图像集合进行重新排序，确定每幅图像的4个最优的预测参考图像；
[0015] (5)用步骤（4)的4个最优的预测参考图像代替HEVC标准中默认的4个参考帧来 对当前图像进行预测。
[0016] 本发明计算出每个图像块的哈希值，通过提取图像块的哈希特征来衡量图像与图 像之间的相关性，进而对所有图像生成一种改进的基于有向图的最小生成树，从而确定图 像集合的预测结构，并且对图像集合进行重新排序，确定每幅图像的4个最优的预测参考 图像，改进了 HEVC标准中的RPS参考帧管理机制，用4个最优的参考图像代替HEVC标准中 默认的4个参考帧来对当前图像进行预测，这样能够获得更高的压缩效率。
【附图说明】
[0017] 图1是根据本发明的屏幕图像集合的压缩方法的一个优选实施例的流程图。
[0018] 图2是根据本发明的屏幕图像集合的压缩方法的基于哈希的MST预测的结构示意 图。
[0019] 图3是根据本发明的屏幕图像集合的压缩方法的基于哈希的RPS预测机制的示意 图。
【具体实施方式】
[0020] 这种屏幕图像集合的压缩方法，包括以下步骤：
[0021] (1)计算每幅图像的每个图像块的哈希值；
[0022] (2)通过提取图像块的哈希特征来衡量图像与图像之间的相关性；
[0023] (3)对所有图像生成基于有向图的最小生成树，从而确定图像集合的预测结构；
[0024] (4)对图像集合进行重新排序，确定每幅图像的4个最优的预测参考图像；
[0025] (5)用步骤（4)的4个最优的预测参考图像代替HEVC标准中默认的4个参考帧来 对当前图像进行预测。
[0026] 本发明计算出每个图像块的哈希值，通过提取图像块的哈希特征来衡量图像与图 像之间的相关性，进而对所有图像生成一种改进的基于有向图的最小生成树，从而确定图 像集合的预测结构，并且对图像集合进行重新排序，确定每幅图像的4个最优的预测参考 图像，改进了 HEVC标准中的RPS参考帧管理机制，用4个最优的参考图像代替HEVC标准中 默认的4个参考帧来对当前图像进行预测，这样能够获得更高的压缩效率。
[0027] 优选地，所述步骤（1)中：
[0028] 将指定图像分割成若干个8X8像素大小的图像块，通过图像块中64个像素的亮 度值求出当前块的哈希值，用一个64位的二进制数H来代表当前块的哈希值，表示为公式 (1)
[0029] H = h63h62... Ii1Ii0 (1)
[0030] 其中比是H的第i位二进制数，表示为：
【主权项】
1. 一种屏幕图像集合的压缩方法，其特征在于，包括以下步骤： (1) 计算每幅图像的每个图像块的哈希值； (2) 通过提取图像块的哈希特征来衡量图像与图像之间的相关性； (3) 对所有图像生成基于有向图的最小生成树，从而确定图像集合的预测结构； (4) 对图像集合进行重新排序，确定每幅图像的4个最优的预测参考图像； (5) 用步骤（4)的4个最优的预测参考图像代替HEVC标准中默认的4个参考帧来对当 前图像进行预测。
2. 根据权利要求1所述的屏幕图像集合的压缩方法，其特征在于，所述步骤（1)中： 将指定图像分割成若干个8X8像素大小的图像块，通过图像块中64个像素的亮度值 求出当前块的哈希值，用一个64位的二进制数H来代表当前块的哈希值，表示为公式（1) H=h63h62…hiho (1) 其中匕是H的第i位二进制数，表示为：
其中li是当前块单元中以光栅扫描顺序获得的第i个像素的亮度值，A是当前块单元 64个像素亮度值的平均值。
3. 根据权利要求2所述的屏幕图像集合的压缩方法，其特征在于，所述步骤（2)中： 所有图像总的率失真代价S通过公式（3)来表示：
其中n是图像集合中图像的数量，0,和1分别代表编码当前图像的失真和所用的比特 数，A是拉格朗日系数； 通过计算两幅图像之间相同块的数量来衡量两幅图像之间的相关性，通过计算一幅图 像与当前图像之间不相同块的数量来作为一幅图像来预测当前图像的预测代价，当前块的 最小预测代价M表示为公式（4)
其中n是图像集合中图像的数量，s是一副图像中块单元的个数，^代表在当前图像i中有^个块。
4. 根据权利要求3所述的屏幕图像集合的压缩方法，其特征在于，所述步骤（3)中： 用一个有向图来表示图像之间的相关性，采用有向图的最小生成树算法来生成了一个 原始的最小生成树，再根据最小代价原则生成改进的最小生成树，此时最优的预测结构构 建完成。
5. 根据权利要求4所述的屏幕图像集合的压缩方法，其特征在于，所述步骤（4)包括以 下分步骤： (4. 1)针对步骤（3)的改进的最小生成树，按照按层遍历的顺序对树中所有顶点所代 表的图像进行排序，并以之作为编码端的图像输入顺序和图像编解码顺序； (4. 2)根据最小代价原则为当前编码图像选择最多4个与当前图像相关性最大的已编 码图像来对当前图像进行预测。
6.根据权利要求5所述的屏幕图像集合的压缩方法，其特征在于，所述步骤（5)中： 把步骤（4. 2)的4个参考图像放入HEVC中当前帧的参考帧列表中，替代HEVC中当前 帧默认的4个参考帧，并采用HEVC中帧间运动补偿机制来对屏幕图像集合进行编码。
【专利摘要】本发明公开了一种屏幕图像集合的压缩方法，其能够获得更高的压缩效率。包括步骤：(1)计算每幅图像的每个图像块的哈希值；(2)通过提取图像块的哈希特征来衡量图像与图像之间的相关性；(3)对所有图像生成基于有向图的最小生成树，从而确定图像集合的预测结构；(4)对图像集合进行重新排序，确定每幅图像的4个最优的预测参考图像；(5)用步骤(4)的4个最优的预测参考图像代替HEVC标准中默认的4个参考帧来对当前图像进行预测。
【IPC分类】H04N19-50, H04N19-157, H04N19-96, H04N19-196
【公开号】CN104780379
【申请号】CN201510029087
【发明人】施云惠, 李达, 丁文鹏, 尹宝才
【申请人】北京工业大学
【公开日】2015年7月15日
【申请日】2015年1月21日