一种用于移动视频直播的分级编码方法与流程

本发明涉及视频编码技术领域，具体涉及一种用于移动视频直播的分级编码方法。

背景技术：

数字视频技术广泛应用于通信、计算机、广播电视等领域，带来了会议电视、可视电话及数字电视、媒体存储等一系列应用，促使了许多视频编码标准的产生。ITU-T与ISO/IEC是制定视频编码标准的两大组织，ITU-T的标准包括H.261、H.263、H.264，主要应用于实时视频通信领域，如会议电视、移动视频直播；MPEG系列标准是由ISO/IEC制定的，主要应用于视频存储(DVD)、广播电视、因特网或无线网上的流媒体等。H.264视频编码标准被称为新一代视频编码标准。

Jens-Rainer Ohm等人在文献《Comparison of the Coding Efficiency of Video Coding Standards—Including High Efficiency Video Coding (HEVC)》中对比了几种视频编码方案。编码方案包括：HEVC，H.264，MPEG4，H.263，MPEG2。文献中使用PSNR（Peak Signal to Noise Ratio，峰值信噪比）衡量视频的质量。PSNR（Peak Signal to Noise Ratio，峰值信噪比）反映了压缩编码后的受损视频序列和原始序列之间的差别；两个序列之间差别越大，PSNR值越低，表明视频的质量越差。结果证明，在同等的码率下，不同视频压缩编码方式的视频质量有如下关系：HEVC > H.264 > MPEG4 > H.263 > MPEG2。

可分级视频编码(SVC，Scalable Video Coding)是近20年来兴起的一种应对现代视频传输系统和终端多样性的技术。可分级性(scalability)，是指视频比特流可以依据一定规则有选择的进行“丢弃”，从而适应不同网络条件以及终端性能的需求。在现代生活中，人们直接通过手机、平板电脑等移动终端进行视频直播已经成常态。但网络带宽是动态变化的，恒定的视频码流可能产生丢包，影响用户体验。因此，有必要对视频进行分级编码，根据网络的实际的带宽选择适当的码流，在带宽变小的情况下，适当降低视频的清晰度，从而降低视频编码后的码流速率。

目前最新的SVC标准由联合视频工作组(JVT，Joint Video Team)制定并作为H.264/AVC(Advanced Video Coding)标准的附录G，通常被称为 H.264/SVC。SVC码流的特点是其包含若干个子码流，可根据需求提取某些子码流进行解码。

目前的分级编码方式有质量可分级、空间可分级、时间可分级、频率可分级和质量、空间、时间、频率几种方式的组合形成的可分级编码，此外，还有细间隔粒度的可分级编码；但这几种分级编码方式普遍存在着复杂度高，效率低等缺点。

技术实现要素：

本发明针对现有技术中存在的问题，提供了一种用于移动视频直播的分级编码方法。

该方法包括以下步骤：

步骤一：对要进行编码的图像进行1/4降采样，并将降采样得到的1/4像素图像分别置于左上、右上、右下及左下4个位置，得到4个1/4图像，所形成的图像与原图尺寸一样，如图1所示；将左上位置的图像设为基准图像；

步骤二：将步骤一得到的4个1/4图像标记为4个切片（slice）；

步骤三：将步骤二的4个切片均用相同编码标准进行编码，每个切片的编码得到的码流是独立的，形成4级码流；

步骤四：根据实际的带宽要求选择相应的码流级数，通过丢弃未被选择的码流形成分级编码；

步骤五：对步骤四中丢弃的码流所对应的图像，通过对基准图像内插得到内插预测图像；

步骤六：用原图像减去对应的步骤5中的内插预测图像，得到预测余差，用该余差替代原图像，作为新的待编码切片；

步骤七：重复步骤三，对4个切片分别编码，形成新的4级码流。

进一步地，所述步骤三中编码标准为H.264；

进一步地，所述步骤五的具体方法为：对右上和左下位置上的像素进行6像素的内插；右下位置像素用周围4个像素的均值进行内插，用内插公式计算，得到右上、左下、右下图像的内插预测图像。

进一步地，所述内插公式与H.264的1/2像素内插公式一致。

进一步地，所述内插公式为：x=(a-5b+20c+20d-5e+f+16)/32,其中，a,b,c为内插位置左方（或上方）3个元素像素值，d,e,f为右方（或下方）3个元素像素值。

与现有技术相比，本发明具有以下优点：

本发明是一种基于视频内插以及现有视频编码H.264标准的切片结构的分级编码方法，不改变现有的视频编码的结构与码流，且能实现较为灵活的分级编码，本发明的分级编码方法，编码方法简单，编码效率高。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例1：

本发明所述的分级编码方法可用于发起视频直播的移动终端。在计算资源足够的情况下，可以完全实现软件编码。

在本发明的具体实施方式中，视频图像一般直接从移动终端的摄像头实时采集得到。最终得到的编码质量不仅受限于摄像头的像素、分辨率等物理参数，还受限于编码时所选择的码流级数，级数越多，编码质量也越高。

如图1所示，得到视频图像后，进行1/4降采样，并将得到的4个1/4像素图像分别置于左上、右上、右下及左下四个位置，从而形成一幅与原视频图像尺寸一样的图像。其中左上位置的图像设为基准图像。采样得到的4个1/4图像记为4个切片（slice）。

根据实际的带宽要求选择相应的码流级数，通过丢弃未被选择的码流形成分级编码。带宽越大，码流级数可选得越大，相应地编码质量也就越高。

如果码流级数为1，则仅保留基准图像切片，其余3个切片均用相应的预测余替代。由于余差的动态范围较小，且大部分值接近于0，对余差编码可大大降低码流；类似地，对于码流级数为2的情况，除保留基准图像切片外，保留1个切片图像（右上、右下、左下三者任意选一），剩余的2个切片则用对应的预测余差替代；对于码流级数为3的情况，除保留基准图像切片外，保留2个切片图像（右上、右下、左下三者任意选二），剩余的1个切片则用对应的预测余差替代；对于码流级数为4的情况，则保留全部4个切片图像。

上述预测余差的计算方法为用切片原图像减去对应的内插预测图像。内插预测图像由基准图像通过线性插值得到。具体方法为，如图2所示，x和#位置上的像素进行6像素的内插，内插公式与H.264的1/2像素内插公式一致；*位置像素用周围4个像素的均值进行内插。内插公式为：x=(a-5b+20c+20d-5e+f+16)/32,其中，a,b,c为内插位置左方（或上方）3个元素像素值，d,e,f为右方（或下方）3个元素像素值。

得到切片组合后，每个切片均用相同编码标准（如H.264）进行编码，每个切片的编码得到的码流是独立的，从而形成4级码流。

为了移动终端能正确解码，还需将实际使用的码流级数信息一并放入编码码流中。

实施例2：

在实施例2中，本发明的分级编码方法，通过外接硬件编码器同样可以实现分级编码的目的。该实施方式尤其适用于移动终端的计算资源有限的情况。

图3给出了外接硬件编码器的功能模块图。

所述硬件编码器包括：收发单元1、降采样单元2、级数选择单元3、切片组合单元4和编码单元5；所述收发单元1、降采样单元2、级数选择单元3、切片组合单元4和编码单元5的端口依次连接，所述编码单元5的另一端口又和收发单元1相连接，组成循环回路。

收发单元1负责接收移动终端所采集或存储的视频图像，该视频图像被送至降采样单元，进行1/4降采样。级数选择单元2根据实际的带宽要求选择相应的码流级数。切片组合单元3根据级数选择单元的输出结果和采样单元输出的降采样切片图像，进行切片组合。该切片组合4包括基准图像（左上切片）原图像和其余切片的原图像或预测余差图像。得到切片组合后，送到编码单元5，对每个切片进行独立编码，形成独立的4级码流。编码形成的码流再送至收发单元1，由收发单元1传回移动终端。

收发单元1通过USB接口与移动终端连接，可同时完成移动终端对外接编码器的供电和视频数据的传输。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。