图像压缩方法和装置与流程

本申请涉及图像处理领域，具体而言，涉及一种图像压缩方法和装置。

背景技术：

基于屏幕显示的视频图像是一类复杂的视频序列，与现有技术传统的视频图像不同的是它的每一帧图像都是复合图像，既包含普通的图片信息也包含文字信息。由于图片信息与文字信息的特性不同，因此，在此类视频图像进行压缩的过程中，通常对屏幕视频图像常常采用标准的视频压缩标准H.264,此视频标准认为每帧都是一个普通自然图像，采用统一的方式对每帧中的每个块进行压缩，进行帧内预测编码或者帧间运动估计编码，其并没有考虑屏幕视频图像为复合图像的特性，而且普通的图像分类算法复杂，与压缩算法结合不可实现实时压缩。

由此可知，在屏幕视频图像的每个帧都是一个复合图像的情况下，采用单一的图像压缩算法不可满足传输带宽的需求。

针对现有技术中采用的视频压缩算法应用于屏幕视频图像的局限和缺陷，导致压缩性能差的问题，目前尚未提出有效的解决方案。

技术实现要素：

本申请实施例提供了一种图像压缩方法和装置，以至少解决现有技术中采用的视频压缩算法应用于屏幕视频图像的局限和缺陷，导致压缩性能差的问题。

根据本申请实施例的一个方面，提供了一种图像压缩方法，该方法包括：获取视频中的一帧；将帧中的图像分为多个块；获得每个块的亮度分量，并统计每个块的亮度分量的亮度方差；确定亮度方差小于阈值T1的块为图像块，构成第一图像块集合；将剩余块再划分为图像块和文字块，其中，剩余块为除第一图像块集合之外的块，图像块和文字块分别对应一种压缩算法；根据每个块对应的压缩算法对该块进行处理。

进一步的，根据剩余块的亮度分量统计高梯度点的个数N1以及与主亮度相似点的个数N2，其中，一个点的亮度分量与邻近的像素点的亮度分量的差别超过阈值T2时则该点为高梯度点，一个点的亮度分量与该点所在块中的出现次数最多的亮度分量相比差别小于阈值T3时则该点为主亮度相似点；至少根据方差、高梯度点的个数N1以及与主亮度相似点的个数N2将剩余块分为图像块和文字块。

进一步的，将满足以下条件之一的块划分为图像块：亮度方差小于阈值T1的块；亮度方差大于等于阈值T1，并高梯度点的个数N1小于阈值T4；亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块为图像块，主亮度相似点的个数小于阈值T5；亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块中的至少之一为文字块，主亮度相似点的个数小于阈值T6；和/或，将满足以下条件之一的块划分为文字块：亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块为图像块，主亮度相似点的个数大于等于阈值T5；亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块中的至少之一为文字块，主亮度相似点的个数等于阈值T6。

进一步的，根据每个块所属的类别对应的压缩算法对该块进行处理包括：对于每个文字块采用渐进式编码，分为多个文字编码质量层；对于每个图像块采用渐进式图像编码算法，分为多个图片编码质量层；按照每个块对应的不同的质量等级进行压缩。

根据本申请实施例的另一方面，还提供了一种图像压缩装置，该装置包括：第一获取模块，用于获取视频中的一帧；第一划分模块，用于将帧中的图像分为多个块；第二获取模块，用于获得每个块的亮度分量，并统计每个块的亮度分量的亮度方差；确定模块，用于确定亮度方差小于阈值T1的块为图像块，构成第一图像块集合；第二划分模块，用于将剩余块再划分为图像块和文字块，其中，剩余块为除第一图像块集合之外的块，图像块和文字块分别对应一种压缩算法；处理模块，用于根据每个块对应的压缩算法对该块进行处理。

进一步的，统计单元，用于根据剩余块的亮度分量统计高梯度点的个数N1以及与主亮度相似点的个数N2，其中，一个点的亮度分量与邻近的像素点的亮度分量的差别超过阈值T2时则该点为高梯度点，一个点的亮度分量与该点所在块中的出现次数最多的亮度分量相比差别小于阈值T3时则该点为主亮度相似点；划分单元，用于至少根据方差、高梯度点的个数N1以及与主亮度相似点的个数N2将剩余块分为图像块和文字块。

进一步的，将满足以下条件之一的块划分为图像块：亮度方差小于阈值T1的块；亮度方差大于等于阈值T1，并高梯度点的个数N1小于阈值T4；亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块为图像块，主亮度相似点的个数小于阈值T5；亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块中的至少之一为文字块，主亮度相似点的个数小于阈值T6；和/或，将满足以下条件之一的块划分为文字块：亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块为图像块，主亮度相似点的个数大于等于阈值T5；亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块中的至少之一为文字块，主亮度相似点的个数等于阈值T6。

在本申请实施例中，先获取视频图像中的一帧图像，并将该帧图像进行分块处理，即按照类别将一帧图像进行分离，针对不同类的划分结果采用不同的压缩算法进行处理，此处需要说明的是，由于本发明采用了实时的图像分类技术，由此，本申请实施例解决了现有技术中采用的视频压缩算法应用于屏幕视频图像的局限和缺陷，导致压缩性能差的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本发明实施例的屏幕视频编解码器的架构图；

图2是根据本申请实施例的一种图像压缩方法的流程图；

图3是根据本发明实施例的基于块的应用图像分类技术的工作流程图；

图4是根据本发明实施例的8邻域像素位置关系图的结构示意图；

图5是根据本发明实施例的16位图像分类技术处理的结果示意图；以及

图6是根据本申请实施例的一种图像压缩装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本申请实施例，提供了一种图像压缩方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的屏幕视频编解码器的架构图。

本发明提供了一种可以应用在便携设备和显示器设备构成的系统中的图像压缩解压缩的方法，基于图1所示的实施例可知，在编写设备中对视频图像进行压缩，即编码后得到的图像发送给显示器设备，显示器设备对得到的图像进行逆处理，即解码处理得到原图像进行播放。

一种可选实施例中，上述便携设备可以至少包括如下处理模块：宏块分类模块、文字渐进编码模块、图像渐进编码模块和分层码流组织模块；显示器设备可以至少包括：码流分层拆分模块、文字渐进解码模块、图像渐进解码模块和解码帧显示模块。

其中，上述宏块分类模块至少实现如下功能：获取屏幕中显示并播放的视频中的一帧图像,并将该帧图像分成M×N的宏块。并在得到每个宏块的亮度分量之后，可以通过统计每个宏块亮度分量的亮度方差，来确定当前宏块是否为图像块，并进一步对剩下的块进行识别，确定是否为文字块，从而实现对图像的分类。

文字渐进编码模块至少实现如下功能：对于每个文字块采用渐进式编码，分为多个文字编码质量层。

图像渐进编码模块至少实现如下功能：对于每个图像块采用渐进式图像编码算法，分为多个图片编码质量层。

分层码流组织模块至少实现如下功能：按照不同的质量等级将码流传输到接收端。

其中，上述显示器设备中的码流分层拆分模块、文字渐进解码模块、图像渐进解码模块和解码帧显示模块所执行的功能分别为上述宏块分类模块、文字渐进编码模块、图像渐进编码模块和分层码流组织模的逆过程，目的在于实现显示器设备将接收到的码流进行解码，得到可以显示的原始视频图像。

由此可知，在上述图1所示的运行环境下，本申请实施例可以提供一种图像压缩方法。图2是根据本申请实施例的一种图像压缩方法的流程图，如图2所示，该方法可以包括如下步骤：

步骤S202，获取视频中的一帧。

步骤S204，将帧中的图像分为多个块。

步骤S206，获得每个块的亮度分量，并统计每个块的亮度分量的亮度方差。

步骤S208，确定亮度方差小于阈值T1的块为图像块，构成第一图像块集合。

步骤S2010，将剩余块再划分为图像块和文字块，其中，剩余块为除第一图像块集合之外的块，图像块和文字块分别对应一种压缩算法。

步骤S2012，根据每个块所属的类别对应的压缩算法对该块进行处理。

本申请上述步骤所提供的实施例提供了一种图像压缩方案，先获取视频图像中的一帧图像，并将该帧图像进行分块处理，即按照类别将一帧图像进行分离，针对不同类的划分结果采用不同的压缩算法进行处理，此处需要说明的是，由于本发明采用了实时的图像分类技术，可以实现对视频继续分类别的进行压缩，从而提高压缩视频图像的性能，进而可以实现比对传统的视频压缩算法在屏幕视频图像应用中的局限和缺陷，而且无需特殊设备支持，对所有需要对屏幕视频图像压缩的场合都适用。

一种优选实施例中，上述根据每个块所属的类别对应的压缩算法对该块进行处理的步骤可以包括如下实施步骤：

首先，对于每个文字块采用渐进式编码，分为多个文字编码质量层。

然后，对于每个图像块采用渐进式图像编码算法，分为多个图片编码质量层。

一种可选实施例中，可以将多个块至少分为如下两个类别：将多个块至少分为文字块和图像块，其中，文字块包含的构成文字的像素超过阈值，图像块包含的构成图像的像素超过阈值。

具体的，对于屏幕中显示的视频中的每一帧图像，可以将其分成M×N的宏块，利用文字和图片的不同特性，将每个宏块分成文字块或者图像块。对于每个文字块采用渐进式编码，分为多个文字编码质量层。对于每个图像块采用渐进式图像编码算法，也可分为多个图片编码质量层。传输时先传优先级较高的质量层，解码时也可先解码质量较高的质量层，从而实现屏幕视频的渐进式压缩编码。

由此可知，视频的一帧图像中可以包括图片信息和文字信息两种类别的数据，由于图片信息与文字信息的特性不同，因此，在此类视频图像进行压缩的过程中，为了需要得到较好的压缩性能，本发明可以对不同类别的数据提供不同的压缩处理方法，一种可选方案中个，可以通过对应的图片编码器和文字编码器来分别对图片信息和文字信息进行压缩处理。

综上，为了得到较好的压缩性能，在一种可选方案中，需要在每一帧图像中分离出图片信息和文字信息，即针对屏幕视频压缩中的图片信息与文字信息进行分离，这种基于块的图像分类技术，可以保证整个屏幕视频图像压缩系统达到较好的压缩性能。

一种可选实施例中，将多个块分为文字块和图像块的步骤可以包括实施步骤：获得每个块的亮度分量；统计每个块的亮度分量的亮度方差；至少根据方差将多个块分为文字块和图像块。通过上述方案可以实现对视频中的文字和图像进行高效划分。

优选地，上述至少根据方差将多个块分为文字块和像素块的步骤可以包括如下实施步骤：

根据剩余块的亮度分量统计高梯度点的个数N1以及与主亮度相似点的个数N2，其中，一个点的亮度分量与邻近的像素点的亮度分量的差别超过阈值T2时则该点为高梯度点，一个点的亮度分量与该点所在块中的出现次数最多的亮度分量相比差别小于阈值T3时则该点为主亮度相似点；

至少根据方差、高梯度点的个数N1以及与主亮度相似点的个数N2将剩余块分为图像块和文字块。

在本发明上述实施例中，可以将满足以下条件之一的块划分为图像块：

亮度方差小于阈值T1的块；

亮度方差大于等于阈值T1，并高梯度点的个数N1小于阈值T4；

亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块为图像块，主亮度相似点的个数小于阈值T5；

亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块中的至少之一为文字块，主亮度相似点的个数小于阈值T6；

和/或，

将满足以下条件之一的块划分为文字块：

亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块为图像块，主亮度相似点的个数大于等于阈值T5；

亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块中的至少之一为文字块，主亮度相似点的个数等于阈值T6。

图3是根据本发明实施例的基于块的应用图像分类技术的工作流程图；图4是根据本发明实施例的8邻域像素位置关系图的结构示意图；图5是根据本发明实施例的16位图像分类技术处理的结果示意图。

下面结合附图3至5所提供的具体实施方式对本发明进行详细说明。

步骤S301，获取屏幕中显示并播放的视频中的一帧图像，并将该帧图像分成M×N的宏块。

具体的，例如获取到桌面上正在播放的视频中的一帧图像，如大小为32×32，图像中既包含图片信息又包含文字信息，然后将其分成8×8的宏块,图像共分为16个宏块，16个宏块按照光栅扫描的顺序依次判定为图像块或者文字块。

步骤S303，获得每个宏块的亮度分量，即每个宏块的亮度分量(简称Y)可以通过图像中每个块的颜色分量得到。

步骤S305，统计每个宏块亮度分量的亮度方差，当方差小于门限值T1时，当前宏块记录为图像块。

具体的，如图4所示，统计每个宏块亮度分量Y的方差，宏块1和宏块2的方差小于门限值T1时，宏块1和宏块2记录为图像块。

步骤S307，对于剩下的宏块，统计每个宏块中的各个位置的亮度分量与邻近的8个位置的亮度分量的差别,当差别中存在大于门限值T2时，当前位置的像素记为边界像素，进而得到整个宏块中高梯度点的个数为N1。

具体的，对于剩下的宏块1到宏块16，如图4所示，统计每个宏块中的各个位置的亮度分量Y与邻近的8个位置的亮度分量的差别,当差别中存在大于门限值T2时，当前位置的像素记为边界像素，进而得到整个宏块中高梯度点的个数为N1。

步骤S309，对于剩下的宏块，统计每个宏块中出现次数最多的亮度分量，将其作为当前宏块的主亮度分量。

具体的，对于剩下的宏块1到宏块16，统计每个宏块中出现次数最多的亮度分量，将其作为当前宏块的主亮度分量。

步骤S311，对于剩下的宏块，统计当前宏块中每个位置的亮度分量和当前宏块的主亮度分量的差别，当差别小于门限T3时，当前位置的像素记为主亮度分量相似像素，进而得到整个宏块中主亮度分量相似像素的个数N2。

具体的，对于剩下的宏块1到宏块16，统计当前宏块中每个位置的亮度分量和当前宏块的主亮度分量的差别，当差别小于门限T3时，当前位置的像素记为主亮度分量相似像素，进而得到整个宏块中主亮度分量相似像素的个数N2。

步骤S313，如果当前宏块高梯度点的个数N1小于门限T4时，当前宏块记录为图像块。否则，如果当前宏块的上，左，左上宏块同时为图像块，并且当前宏块的主亮度分量相似像素的个数N2小于门限T5时为图像块，否则为文字块。如果不满足邻近宏块类型，且当前宏块的主亮度分量相似像素的个数N2小于门限T6时为图像块，否则为文字块。

具体的，如图4所示，如果当前宏块高梯度点的个数N1小于门限T4时，当前宏块记录为图像块。否则，如果当前宏块的的上，左，左上宏块同时为图像块，并且当前宏块的主亮度分量相似像素的个数N2小于门限T5时为图像块，否则为文字块。如果不满足邻近宏块类型，且当前宏块的主亮度分量相似像素的个数N2小于门限T6时为图像块，否则为文字块。如宏块3被判定为图像块，宏块6被判定为文字块，宏块8被判定为图像块。

步骤S315，对于每个文字块采用渐进式编码，分为多个文字编码质量层。

具体的，如图4所示，对于每个文字块，如宏块6等采用渐进式编码，分为多个文字编码质量层。

步骤S317，对于每个图像块采用渐进式图像编码算法，分为多个图片编码质量层。

具体的，如图4所示，对于每个图像块，如宏块3、8等采用渐进式图像编码算法，分为多个图片编码质量层。

步骤S319，按照不同的质量等级将码流传输到接收端。

步骤S321，解码端对每个质量层的码流进行解码并显示。例如如图5所示的一种编码和解码的显示结果。

由上可知，本发明提供的实施例包容如下优势：兼容性好：算法为软件实现可支持多类型移动终端，包括手机、pad等设备；适应性广：算法为文字编码器，凡是需要对文字压缩的系统都可应用；体验好：用户可根据自身需要设计质量等级的个数。传输显示效果好，用户体验好。

按照每个块对应的不同的质量等级进行压缩。需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

根据本申请实施例，还提供了一种用于实施上述实施例1的图像压缩方法的图像压缩装置的实施例。

图6是根据本申请实施例的一种图像压缩装置的示意图，如图6所示，该装置600可以包括：第一获取模块602、第一划分模块604、第二获取模块606，确定模块608、第二划分模块6010以及处理模块6012。

其中，第一获取模块，用于获取视频中的一帧；第一划分模块，用于将帧中的图像分为多个块；第二获取模块，用于获得每个块的亮度分量，并统计每个块的亮度分量的亮度方差；确定模块，用于确定亮度方差小于阈值T1的块为图像块，构成第一图像块集合；第二划分模块，用于将剩余块再划分为图像块和文字块，其中，剩余块为除第一图像块集合之外的块，图像块和文字块分别对应一种压缩算法；处理模块，用于根据每个块对应的压缩算法对该块进行处理。

本申请上述步骤所提供的实施例提供了一种图像压缩方案，先获取视频图像中的一帧图像，并将该帧图像进行分块处理，即按照类别将一帧图像进行分离，针对不同类的划分结果采用不同的压缩算法进行处理，此处需要说明的是，由于本发明采用了实时的图像分类技术，可以实现对视频继续分类别的进行压缩，从而提高压缩视频图像的性能，进而可以实现比对传统的视频压缩算法在屏幕视频图像应用中的局限和缺陷，而且无需特殊设备支持，对所有需要对屏幕视频图像压缩的场合都适用。

优选地，第二划分模块6010可以包括：统计单元6012，用于根据剩余块的亮度分量统计高梯度点的个数N1以及与主亮度相似点的个数N2，其中，一个点的亮度分量与邻近的像素点的亮度分量的差别超过阈值T2时则该点为高梯度点，一个点的亮度分量与该点所在块中的出现次数最多的亮度分量相比差别小于阈值T3时则该点为主亮度相似点；划分单元6014，用于至少根据方差、高梯度点的个数N1以及与主亮度相似点的个数N2将剩余块分为图像块和文字块。

将满足以下条件之一的块划分为图像块：

亮度方差小于阈值T1的块；

亮度方差大于等于阈值T1，并高梯度点的个数N1小于阈值T4；

亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块为图像块，主亮度相似点的个数小于阈值T5；

亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块中的至少之一为文字块，主亮度相似点的个数小于阈值T6；

和/或，

将满足以下条件之一的块划分为文字块：

亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块为图像块，主亮度相似点的个数大于等于阈值T5；

亮度方差大于等于阈值T1，高梯度点的个数N1大于等于阈值T4，该块的上、左、上左的块中的至少之一为文字块，主亮度相似点的个数等于阈值T6。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。