图像编码、解码方法及装置与流程

本发明涉及编码和解码技术，尤指一种图像编码、解码方法及装置。

背景技术：

360度全景视频、全景图片等，因为通常是来源于两个以上摄像头的成像结果，而且渲染到屏幕上展现给观看者时又只截取了特定视窗上的一个部分，所以渲染显示效果的分辨率通常要低于原始视频分辨率。为了达到较高的实际显示效果分辨率，就要求更高的原始分辨率，往往需要4K的视频、图片才能满足需求。

因此，360度视频、图片分辨率高、码率大，数据量巨大，一方面传输时会占用大量的网络资源，而且由于网络的不稳定性容易导致显示效果不佳；另一方面保存时使用存储容量大，通常的存储介质上只能存储时间相对短的视频。

技术实现要素：

为了解决上述技术问题，本发明提供了一种图像编码、解码方法及装置，能够在满足观看需求的前提下显著降低图像码率。

为了达到本发明目的，本发明提供了一种图像编码方法，包括：

根据关注度等级对原始图像进行区域分割；

根据每一区域的关注度等级，确定是否对相应区域进行缩小处理，对于需要进行缩小处理的区域，确定缩小处理的缩小参数，按照确定的缩小参数对相应区域进行缩小处理；

在对相应区域进行缩小处理后，重新对全部区域进行区域整合，得到整合图像，对所述整合图像进行编码，得到媒体文件。

本发明还提供了一种图像解码方法，包括：

获取媒体文件，对所述媒体文件进行解码，得到整合图像；

在所述整合图像中识别出已进行缩小处理的区域，对所述已进行缩小处理的区域进行放大，还原为缩小处理前的尺寸；

对所述已进行缩小处理的区域进行放大后，将全部区域重新整合为原始图像。

本发明还提供了一种图像编码装置，包括：

一分区单元，用于根据关注度等级对原始图像进行区域分割；

一缩小单元，用于根据每一区域的关注度等级，确定是否对相应区域进行缩小处理，对于需要进行缩小处理的区域，确定缩小处理的缩小参数，按照确定的缩小参数对相应区域进行缩小处理；

一整合单元，用于在所述缩小单元对相应区域进行缩小处理后，重新对全部区域进行区域整合，得到整合图像；

一压缩单元，用于对所述整合图像进行编码，得到媒体文件。

本发明还提供了一种图像解码装置，包括：

一解压缩单元，用于获取媒体文件，对所述媒体文件进行解码，得到整合图像；

一识别单元，用于在所述整合图像中识别出已进行缩小处理的区域；

一放大单元，用于对所述已进行缩小处理的区域进行放大，还原为缩小处理前的尺寸；

一拼接单元，用于在所述放大单元对所述已进行缩小处理的区域进行放大后，将全部区域重新整合为原始图像。

与现有技术相比，本发明包括根据关注度等级对原始图像进行区域分割；根据每一区域的关注度等级，确定是否对相应区域进行缩小处理，对于需要进行缩小处理的区域，确定缩小处理的缩小参数，按照确定的缩小参数对相应区域进行缩小处理；在对相应区域进行缩小处理后，重新对全部区域进行区域整合，得到整合图像，对所述整合图像进行编码，得到媒体文件。本申请通过减少图像中一些区域的数据量，减少压缩后数据量，从而达到在保证重要区域的视频质量，保持观看者满意度的条件下，尽量降低压缩码率，提高整体压缩率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本申请一实施例的图像编码方法的流程图；

图2为本申请中采用的一种对原始图像进行区域分割的方法的示意图；

图3为本申请中对图像区域进行缩小处理的示意图；

图4为本申请中在进行缩小处理后将全部区域进行整合的示意图；

图5为本申请另一实施例提供的图像解码方法的流程图；

图6为本申请又一实施例提供的图像编码装置的架构图；

图7为本申请又一实施例提供的图像解码装置的架构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

现有技术中，为了达到较高的显示分辨率，全景视频、全景图片等全景内容的原始分辨率已普遍达到4K。由于较高的原始分辨率，导致全景视频、全景图片的码率很大，并且数据量巨大。目前在对全景内容进行编码时，是采用标准编码算法对每一帧图像进行编码，编码得到的媒体文件的数据量巨大。这就导致了在传输全景内容时，会占用大量的网络资源，而且在网络不稳定时，会导致全景内容的显示效果不佳，并且，保存全景内容需要占用较大的存储空间。

本申请中考虑到对于全景视频、全景图片等，由于在一帧图像中包含360度的全景画面，对观看者来说，在360的全景画面中，有很多区域并不是观看者主要关注的，对于这些区域，观看者可能只是一览而过，甚至可能始终不会关注到。本申请中设置关注度等级，根据观看者对图像不同区域的不同关注度，对不同区域设置不同的关注度等级，对关注度等级较低的区域进行缩小处理，通过减少这些区域的数据量，减少编码后的数据量，从而在保持观看者满意度的条件下，尽可能提高全景内容的整体压缩率，降低码率，达到对360度全景视频、全景图片进行更高效的处理和压缩。

如图1所示，本申请一实施例提供的图像编码方法，包括：

步骤101：根据关注度等级对原始图像进行区域分割；

步骤102：根据每一区域的关注度等级，确定是否对相应区域进行缩小处理，对于需要进行缩小处理的区域，确定缩小处理的缩小参数，按照确定的缩小参数对相应区域进行缩小处理；

步骤103：在对相应区域进行缩小处理后，重新对全部区域进行区域整合，得到整合图像，对整合图像进行编码，得到媒体文件。

本申请的图像编码方法可以应用于对任何图像进行编码，优选的，如可以对全景视频、全景图片等全景内容进行编码，也可以对普通的平面图像进行编码。本申请的图像编码方法可以对全景相机、运动相机等拍摄设备拍摄的全景视频、全景图片进行编码，也可以对全景电影、全景动画等由专业设备拍摄制作的全景内容进行编码。

本申请的图像编码方法可以应用在全景相机、运动相机等拍摄设备中，在拍摄设备拍摄得到全景视频、全景图片后对全景视频、全景图片进行编码。同样也可以应用到全景内容的后期制作设备中，在后期处理的过程中对全景视频、全景图像进行编码。

为了能够实现对图像的关注度较低的区域进行缩小处理，本申请中设置多个关注度等级，再根据关注度等级对原始图像进行区域分割。关注度是指观看者对图像不同区域关注的程度，本申请中将关注度量化为若干个级别。

例如，关注度等级可设置为两级或三级等，但不限于此。对于两个关注度等级的情况，可以是对第一关注度等级的区域不进行缩小处理，对第二关注度等级的区域进行缩小处理。对于三个关注度等级的情况，可以是对第一关注度等级的区域不进行缩小处理，对第二关注度等级和第三关注度等级的区域采用不同的缩小参数进行缩小处理，如可以是第三关注度等级的区域的缩小比例大于第二关注度等级的区域的缩小比例。

本申请中可以采用如下方法根据关注度等级对原始图像进行区域分割：

(1)在图像中划定固定区域，划定的固定区域与某个关注度等级相对应，按照固定区域对原始图像进行区域分割。

例如，习惯上人们一般对于与自己视线水平方向上的区域的关注度比较高，对于自己正上方或者正下方的关注度相对较低。所以，对于图像可以划分出正上方和正下方的矩形区域设定为第二关注度等级，而中间的区域设置为第一关注度等级。

如图2所示，假设图像的宽为W像素，高为H像素，则：

区域1：{(0，0)，(W，0)，(W，H/4)，(0，H/4)}；

区域3：{(0，3H/4)，(W，3H/4)，(W，H)，(0，H)}；

区域1和区域3是由四个点连线构成的矩形区域，可作为第二关注度等级的区域进行分割。

区域2：{(0，H/4)，(W，H/4)，(W，3H/4)，(0，3H/4)}；

区域2是由上述四个点连线构成的矩形区域，可作为第一关注度等级的区域进行分割。

(2)通过图像识别算法识别出不同关注度等级的区域，进行区域分割。

例如，对视频中的运动物体通过背景差分方法进行识别，将识别出来的运动物体所在的区域作为第一关注度等级的区域，其余部分作为第二关注度等级的区域。

(3)接收用户标注的不同关注度等级的区域，按照用户标注的不同关注度等级的区域对原始图像进行分割。

例如，用户可以通过触摸式UI或者鼠标操作，圈定出不同关注度等级的区域。

在对原始图像进行区域分割后，根据每一区域的关注度等级，确定是否对相应区域进行缩小处理。本申请中对某一个或某几个关注度等级较低的区域进行缩小处理，对关注度等级较高的区域则不进行缩小处理，因此，在进行区域分割后，需要根据不同区域对应的关注度等级确定是否对该区域进行缩小处理。

例如，对于设置两个关注度等级的情况，如果区域对应的是第一关注度等级，则确定不对该区域进行缩小处理；如果区域对应的是第二关注度等级，则确定对该区域进行缩小处理。对于设置三个关注度等级的情况，如果区域对应的是第一关注度等级，则确定不对该区域进行缩小处理；如果区域对应的是第二关注度等级或第三关注度等级，则确定对该区域进行缩小处理。

对于需要进行缩小处理的区域，先要确定进行缩小处理的缩小参数，再按照确定的缩小参数对相应区域进行缩小处理，以降低分辨率，减少数据量。

在对图像进行缩小时，缩小比例越大，图像质量损失越大，但是压缩率越高，因此，可以根据需要去折衷决定缩小参数。缩小参数可以与关注度等级相对应，在确定了区域的关注度等级后即可获知对该区域进行缩小处理的缩小参数。也可以是对缩小参数设置一选择范围，如0.4～0.6，可以在选择范围内动态的确定出缩小参数。

值得说明的是，为了后续能够更加高效的对整合图像进行标准编码，所确定的缩小处理的缩小参数，需保证在进行缩小处理后，全部区域能够整合为规则形状(如矩形)或者能够在使用少于填充量阈值的填充像素后整合为规则形状，并且，由于缩小比例越大，图像质量损失越大，为了不至于使缩小处理后的区域的图像质量严重降低，缩小参数的选择还应保证进行缩小处理的区域的像素损失不超过损失量阈值。上述填充量阈值和损失量阈值可根据实际需要来确定。

在按照确定的缩小参数对相应区域进行缩小处理时，可以采用各种已知方法进行图像缩小处理。例如，线性或非线性的插值缩放方法等。

例如，对于图2中的区域划分，将第二关注度等级的区域1和区域3从宽W，高H/4的区域缩小为宽W/2，高H/8的区域，也就是将区域1和区域3缩小为原来的1/2，缩小参数为2。如图3所示，具体的，假设区域1缩小后生成区域1’，对于区域1’内的像素(x,y)，其像素值f’为：

f’(x,y)＝f(2x,2y)；

f(2x,2y)为区域1内的像素(2x,2y)的像素值。(x,y)为区域1’内像素的坐标值。

在对相应区域进行缩小处理后，重新对全部区域进行区域整合，得到整合图像。为了能够更加高效的进行图像标准编码，需要将缩小后的区域和未经缩小的区域进行整合，使其成为一个矩形等规则形状的区域。整合成的矩形区域是为了便于下一步进行标准的图像压缩，在整合过程中还应该尽量保持不破坏各个区域内的像素原空间关系。

例如，对于上述图2中区域划分的情形，如图4所示，可以将区域1’和区域3’置于区域2’的上方，构成一个宽W高5/8的矩形区域。这样，需要压缩的数据量就降为原来的62.5％，效果上相当于压缩率提高了接近40％。

在得到整合图像后，就可所述整合图像进行编码，得到媒体文件，从而完成本申请的图像编码方法。

可以对整合图形进行标准编码，如H264，H265等。

此外，在本申请中，在根据关注度等级对原始图像进行区域分割时，还记录分割的每一区域的关注等级信息以及在原始图像中的原始位置信息。

对分割出来的每个区域，原始位置信息可以用顺时针(或逆时针)方向上，区域轮廓端点集合的方式进行描述，例如Contour＝{ContourPointNum＝n,P₁(x₁,y₁),P₂(x₂,y₂),P₃(x₃,y₃),…,P_n(x_n,y_n)}，其中各个端点顺次连接即构成闭合的区域。

例如，对于图2中的区域划分，每一区域的关注等级信息以及原始位置信息可以记录为：

在确定缩小处理的缩小参数后，还记录相应区域的缩小参数；在重新对全部区域进行区域整合后，还记录每一区域在整合图像中的整合后位置信息。

例如，对于图2中的区域划分，上述信息记录如下：

在对整合图像进行编码时，还将每一区域的关注度等级信息、原始位置信息、缩小参数和整合后位置信息保存为媒体文件的附加信息。例如，附加信息可以存入多媒体文件的容器层。如，对于MP4文件，类似于视频/音频/字幕信息，也可作为数据轨存入MDAT Box。

本申请提供的图像编码方法，对图像，尤其是全景视频中的图像和全景图片，根据关注度等级划分区域，对关注度等级较低的区域采用降低分辨率的预处理来达到保证重要区域的视频质量同时降低压缩码率的目的。

如图5所示，本申请提供的图像解码方法，包括：

步骤501：获取媒体文件，对媒体文件进行解码，得到整合图像；

步骤502：在整合图像中识别出已进行缩小处理的区域，对已进行缩小处理的区域进行放大，还原为缩小处理前的尺寸；

步骤503：对已进行缩小处理的区域进行放大后，将全部区域重新整合为原始图像。

本申请中，在获取到媒体文件后，需要首先对媒体文件进行解码，可以采用标准的图像数据解码方法进行解压缩，对媒体文件解码得到整合图像。

在获取媒体文件时，还同时获取媒体文件的附加信息，附加信息中包含原始图像的每一区域的关注度等级信息、原始位置信息、缩小参数和整合后位置信息。

在得到整合图像后，为了将整合图像还原为原始图像，需要在整合图像中识别出已进行缩小处理的区域。

可选的，本申请中在整合图像中识别出已进行缩小处理的区域，包括：根据附加信息中包含的每一区域的整合后位置信息在整合图像中识别出每一个区域，再根据每一区域的关注度等级信息确定出已进行缩小处理的区域。本申请中，在进行编码时，是对关注度等级较低的区域进行缩小处理，对关注度等级较高的区域未进行缩小处理，因此，在解码时，可以根据区域的关注度等级确定出哪些是已进行缩小处理的区域，哪些是未进行缩小处理的区域。

在从整合图像中识别出已进行缩小处理的区域后，对已进行缩小处理的区域进行放大，还原为缩小处理前的尺寸。可选的，本申请中对已进行缩小处理的区域进行放大，包括：根据已进行缩小处理的区域对应的缩小参数，确定出放大参数，按照确定的放大参数对已进行缩小处理的区域进行放大。

在对已进行缩小处理的区域进行放大时，是将已缩小的区域放大还原为原始尺寸，可以根据进行缩小处理所采用的缩小参数相应的确定出放大参数，再根据放大参数对已缩小处理的区域放大为原始尺寸。

例如，对于图2中的区域划分方式，将第二关注度等级的区域1’和区域3’从宽W/2，高H/8的区域放大为宽W，高H/4的区域。具体的，假设区域1’放大后生成区域1,区域1的像素(x,y)的像素值f为：

f(x,y)＝f’(x/2,y/2)；

f’(x/2,y/2)为区域1’内的像素(x/2,y/2)的像素值。

如果x/2为非整数,y/2为整数，则f’(x/2,y/2)＝[(f’([x/2],y/2)+f’([x/2]+1,y/2))/2],其中符号“[]”表示对[]内的小数取整。

如果x/2为整数，y/2为非整数，则f’(x/2,y/2)＝[(f’(x/2,[y/2])+f’(x/2,[y/2]+1))/2]，其中符号“[]”表示对[]内的小数取整。

如果x/2,y/2均为非整数，则f’(x/2,y/2)＝[(f’([x/2],[y/2])+f’([x/2]+1,[y/2])+f’([x/2],[y/2]+1)+f’([x/2]+1,[y/2]+1))/4],其中符号“[]”表示对[]内的小数取整。

对已进行缩小处理的区域进行放大后，再将全部区域重新整合为原始图像，至此完成了解码操作，获得到了原始图像。可选的，本申请中，将全部区域重新整合为原始图像，包括：根据每一区域对应的原始位置信息，重新将全部区域整合为原始图像。

每一区域在原始图像中的位置通过原始位置信息指示，在对已进行缩小处理的区域放大还原为原始尺寸后，根据原始位置信息即可将各个区域拼接得到原始图像。

例如，对于图2中的区域划分方法，按照原始位置信息将恢复出来的区域1和区域3分别放置于区域2的上下，拼合出原图像。

如图6所示，本申请还提供了一种图像编码装置，包括：

一分区单元，用于根据关注度等级对原始图像进行区域分割；

一缩小单元，用于根据每一区域的关注度等级，确定是否对相应区域进行缩小处理，对于需要进行缩小处理的区域，确定缩小处理的缩小参数，按照确定的缩小参数对相应区域进行缩小处理；

一整合单元，用于在缩小单元对相应区域进行缩小处理后，重新对全部区域进行区域整合，得到整合图像；

一压缩单元，用于对整合图像进行编码，得到媒体文件。

进一步，上述分区单元，还用于在根据关注度等级对原始图像进行区域分割时，记录分割的每一区域的关注等级信息以及在原始图像中的原始位置信息；

上述缩小单元，还用于在确定缩小处理的缩小参数后，记录相应区域的缩小参数；

上述整合单元，还用于在重新对全部区域进行区域整合后，记录每一区域在整合图像中的整合后位置信息；

上述压缩单元，还用于在对整合图像进行编码时，将每一区域的关注度等级信息、原始位置信息、缩小参数和整合后位置信息保存为媒体文件的附加信息。

进一步，在确定缩小处理的缩小参数时，需保证在进行缩小处理后，全部区域能够整合为规则形状或者能够在使用少于填充量阈值的填充像素后整合为规则形状，并且保证进行缩小处理的区域的像素损失不超过损失量阈值。

如图7所示，本申请还提供了一种图像解码装置，包括：

一解压缩单元，用于获取媒体文件，对媒体文件进行解码，得到整合图像；

一识别单元，用于在整合图像中识别出已进行缩小处理的区域；

一放大单元，用于对已进行缩小处理的区域进行放大，还原为缩小处理前的尺寸；

一拼接单元，用于在放大单元对已进行缩小处理的区域进行放大后，将全部区域重新整合为原始图像。

进一步，上述解压缩单元，还用于在获取媒体文件时，获取媒体文件的附加信息，附加信息中包含原始图像的每一区域的关注度等级信息、原始位置信息、缩小参数和整合后位置信息；

上述识别单元在整合图像中识别出已进行缩小处理的区域，包括：根据整合后位置信息在整合图像中识别出每一区域，再根据每一区域的关注度等级信息确定出已进行缩小处理的区域；

上述放大单元对已进行缩小处理的区域进行放大，包括：根据已进行缩小处理的区域对应的缩小参数，确定出放大参数，按照确定的放大参数对已进行缩小处理的区域进行放大；

上述拼接单元将全部区域重新整合为原始图像，包括：根据每一区域对应的原始位置信息，重新将全部区域整合为原始图像。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。