专利名称：一种图像层和分片层的编解码方法、编解码器和电子设备的制作方法
技术领域：
本发明涉及视频压缩编码技术，尤其涉及一种图像层和分片层的编解码方法、编解码器和电子设备。
背景技术：
在视频通信中，为提高视频编码码流的抗误码能力，编码器在编码过程中通常使用抗误码编码工具，以降低当前编码单元与已编码单元之间的相互影响，从而使得在接收端若某编码单元的相关码流出错时，仍存在较大的可能性使用已有数据对其进行掩盖，并且尽可能降低该编码单元的数据对后续编码单元解码的影响。目前，高性能视频编码标准(HEVC, High-Efficiency Video Coding)使用将图像划分成一个或多个分片(slice)的方法，以满足网络传输单元对载荷比特数的限制条件。同时，由于分片边界“打断” 了图像内空间相邻块之间的相互预测关系，因此，分片可用于提高图像抗误码性能，但却降低了编码效率。为了在抗误码性能和编码效率之间取得折衷，HEVC使用受限环路滤波模式(CLF，Constrained Loop Filter)限制环路滤波器(LF,Loop Filter)是否使用当前分片边界外的像素点对当前分片内像素点进行滤波。HEVC使用序列参数集(SPS, Sequence ParameterSet)中的标志位loop_filter_across_slice_flag控制序列编码过程中的LF是否可以越过分片边界。其中，LF包括去方块滤波器(DF，Deblocking Filter)、像素点自适应加性偏移补偿滤波器(SA0, Sample Adaptive Offset)、自适应环路滤波器(ALF, Adaptive LoopFilter)等。通常，编码器使用帧内预测编码块对图像进行局部刷新的方法抑制帧间误码扩散(Error Propagation),并且可通过使用受限巾贞内预测模式(CIP, Constrained IntraPrediction)进一步控制刷新块是否使用来自可能受到误码扩散影响的相邻帧间预测编码块参考像素点进行帧内预测编码。HEVC使用图像参数集(PPS，Picture Parameter Set)的标志位constrained_intra_pred_flag控制图像编码过程中是否使用CIP。现有方法主要存在以下局限性:—、序列编码前，编码器可根据从系统获取的网络传输状态(如拥塞、无线信道的比特误码率、有线网络的丢包率等)，确定是否允许LF越过分片边界，设置SPS中的标志位loop_filter_across_slice_flag。若序列编码过程中网络传输状态发生变化,编码器不能灵活更改LF是否越过分片边界的编码策略。若采取保守策略将loop_filter_across_slice_flag始终设置为O (即始终不允许LF越过分片边界)，则在网络传输状态较好的情况下无法充分利用LF提高编码效率。二、在现有HEVC下，编码器只能通过插入即时刷新巾贞(IDR, InstantaneousDecoding Refresh)的方法，重新初始化SPS以更改参数设置，在抗误码性能和编码效率之间取得折衷。但新插入的IDR帧及其后续编码帧往往会带来编码码率的激增，这进一步增加了网络传输的压力。
三、编码器可使用PPS对一幅图像或一个时间段内多幅图像的编码过程进行控制，但无法对图像中的分片进行区分控制。当根据反馈信息可确定不同分片受到帧间误码扩散影响程度不同时，无法对图像中的不同分片使用不同的刷新块编码控制策略。四、根据分片所包含的图像内容特性的不同，帧间误码扩散对解码恢复图像的局部影响不同。因此，即使在整幅图像中使用帧间预测的编码块受帧间误码扩散影响(恢复误差)相同或相近的情况下，使用HEVC现有控制方法，编码器也无法对图像中的分片进行区分控制，以获得较好的编码效率与抗误码性能之间的折衷。介于现有技术存在的上述局限性，现有技术的编解码方法无法获得编码效率与抗误码性能之间较好的折衷。
发明内容
有鉴于此，本发明的主要目的在于提供一种图像层和分片层的编解码方法、编解码器和电子设备，以获得编码效率与抗误码性能之间较好的折衷。为达到上述目的，本发明的技术方案是这样实现的:本发明提供了一种图像层和分片层的编码方法，该方法包括:编码器根据网络传输状态和视频内容特性，为以下三种对象之一选择不同的受限环路滤波模式CLF和/或受限帧内预测模式CIP控制方式:一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片；所述编码器根据所选的CLF和/或CIP控制方式，在相应图像层参数集和分片层参数集中编码CLF和/或CIP控制标志位。所述图像层参数集包括图像参数集PPS、适配参数集APS;所述分片层参数集包括APS。所述在图像层参数集和分片层参数集中编码CLF和/或CIP控制标志位，包括:在PPS中编码CLF和CIP控制标志位；或者，在PPS中编码CLF控制标志位，在APS中编码CIP控制标志位；或者，在PPS中编码CIP控制标志位，在APS中编码CLF控制标志位；或者，在APS中编码CLF和CIP控制标志位。所述网络传输状态包括以下至少之一:端到端时延、有线网络传输的丢包率、无线网络传输的误码率。所述视频内容特性包括以下至少之一:纹理复杂度、运动剧烈程度、图像活动度、图像前景和背景区域。该方法进一步包括:所述编码器根据网络传输状态和视频内容特性，估计不同CLF和/或CIP控制方式下当前图像受误码影响程度，依此确定为相应图像序列、图像或分片所选的CLF和/或CIP控制方式。所述图像受误码影响程度包括以下至少之一:图像端到端失真、端到端失真的下降程度、当前图像出现误码条件下后续编码图像的端到端失真、因当前图像受误码影响而使得后续编码图像端到端失真增加量；相应的，确定CLF和/或CIP控制方式的方法为:端到端率失真优化判决方法。
本发明还提供了一种图像层和分片层的编码器，包括:控制方式选择模块，用于根据网络传输状态和视频内容特性，为以下三种对象之一选择不同的受限环路滤波模式CLF和/或受限帧内预测模式CIP控制方式:一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片；标志位编码模块，用于根据所选的CLF和/或CIP控制方式，在相应图像层参数集和分片层参数集中编码CLF和/或CIP控制标志位。所述图像层参数集包括图像参数集PPS、适配参数集APS ;所述分片层参数集包括APS。所述在图像层参数集和分片层参数集中编码CLF和/或CIP控制标志位，包括:在PPS中编码CLF和CIP控制标志位；或者，在PPS中编码CLF控制标志位，在APS中编码CIP控制标志位；或者，在PPS中编码CIP控制标志位，在APS中编码CLF控制标志位；或者，在APS中编码CLF和CIP控制标志位。所述网络传输状态包括以下至少之一:端到端时延、有线网络传输的丢包率、无线网络传输的误码率。所述视频内容特性包括以下至少之一:纹理复杂度、运动剧烈程度、图像活动度、图像前景和背景区域。所述控制方式选择模块进一步用于，根据网络传输状态和视频内容特性，估计不同CLF和/或CIP控制方式下当前图像受误码影响程度，依此确定为相应图像序列、图像或分片所选的CLF和/或CIP控制方式。所述图像受误码影响程度包括以下至少之一:图像端到端失真、端到端失真的下降程度、当前图像出现误码条件下后续编码图像的端到端失真、因当前图像受误码影响而使得后续编码图像端到端失真增加量；相应的，确定CLF和/或CIP控制方式的方法为:端到端率失真优化判决方法。本发明还提供了一种图像层和分片层的解码方法，该方法包括:解码器解析分片层头信息码流、以及图像层参数集和/或分片层参数集，获得CLF和/或CIP控制标志位；所述解码器根据所获得的CLF和/或CIP控制标志位，采用相应的CLF和/或CIP控制方式对图像和分片进行解码。所述图像层参数集包括图像参数集PPS、适配参数集APS ;所述分片层参数集包括APS。该方法进一步包括:解析所述PPS获得CLF和CIP控制标志位；或者，解析所述PPS获得CLF控制标志位，解析所述APS获得CIP控制标志位；或者，解析所述PPS获得CIP控制标志位，解析所述APS获得CLF控制标志位；或者，解析所述APS获得CLF和CIP控制标志位。所述采用相应的CLF和/或CIP控制方式对图像和分片进行解码，包括:按照所述CLF控制方式设置图像和分片解码过程中环路滤波输入像素点的可用性；按照所述CIP控制方式设置帧内预测过程中参考像素点的可用性。
本发明还提供了一种图像层和分片层的解码器，包括:标志位获取模块，用于解析分片层头信息码流、以及图像层参数集和/或分片层参数集，获得CLF和/或CIP控制标志位；解码模块，用于根据所获得的CLF和/或CIP控制标志位，采用相应的CLF和/或CIP控制方式对图像和分片进行解码。所述图像层参数集包括图像参数集PPS、适配参数集APS ;所述分片层参数集包括APS。所述标志位获取模块进一步用于，解析所述PPS获得CLF和CIP控制标志位；或者，解析所述PPS获得CLF控制标志位，解析所述APS获得CIP控制标志位；
或者，解析所述PPS获得CIP控制标志位，解析所述APS获得CLF控制标志位；或者，解析所述APS获得CLF和CIP控制标志位。所述解码模块进一步用于，按照所述CLF控制方式设置图像和分片解码过程中环路滤波输入像素点的可用性；按照所述CIP控制方式设置帧内预测过程中参考像素点的可用性。本发明还提供了 一种电子设备，所述电子设备包括上述的编码器和解码器。本发明所提供的一种图像层和分片层的编解码方法、编解码器和电子设备，在图像层参数集和分片层参数集编码CLF和CIP控制标志位；编码器可根据实际应用要求，自适应地为以下三种对象之一选用不同的CLF和/或CIP控制方式:一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片；在利用CLF、CIP提高编码码流抗误码性能的同时，兼顾LF和帧内预测的编码效率，以获得编码效率与抗误码性能之间较好的折衷。本发明的有益效果具体体现在以下几个方面:一、在图像层或分片层参数集中编码CLF控制标志位，借助于参数集引用的控制范围限制，允许在图像层或分片层设置CLF控制标志位，进而使得编码器能够根据实际应用要求，自适应地为不同图像序列、或同一图像序列中不同时段内的图像、或同一图像中的不同分片选择CLF控制方式。二、使用本发明方法，在改变CLF控制方式时，不需要重新编码、发送SPS。因此，在CLF控制方式改变时，不需要重新发送IDR帧使解码器重新根据SPS初始化解码器参数配置。因此，降低了 IDR帧的全I块编码所带来的码率激增，缓解了网络传输压力。三、本发明允许在分片层参数集中编码CLF和/或CIP控制标志位，借助于参数集引用的控制范围限制，允许在分片层设置CLF和/或CIP控制标志位，进而使得编码器能够根据实际应用要求，自适应地为同一图像中的不同分片选择CLF和/或CIP控制方式，从而在编码效率和抗误码性能之间实现更精细地抗误码工具控制。四、在第三项所述的基础上，可以为抗误码工具的使用设计更加精细的优化控制方法，从而根据分片本身的信源特性、分片对编码效率的影响、分片受误码影响程度及对后续编码分片的影响等因素，对图像中的不同分片所使用的抗误码工具及其控制参数、配置参数进行区分控制，从而在编码效率和抗误码性能之间取得更好的折衷。
图1a为本发明一种图像层和分片层的编码方法的流程图；图1b为本发明一种图像层和分片层的解码方法的流程图；图2为本发明实施例一的解码方法的流程图；图3为本发明实施例一的编码方法的流程图；图4为本发明实施例二的解码方法的流程图；图5为本发明实施例二的编码方法的流程图；图6为本发明实施例三的解码方法的流程图；图7为本发明实施例三的编码方法的流程图；图8为本发明实施例四的解码方法的流程图；图9为本发明实施例四的编码方法的流程图；图10为本发明一种图像层和分片层的编码器的组成结构示意图；图11为本发明一种图像层和分片层的解码器的组成结构示意图。
具体实施例方式下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。本发明提供的一种图像层和分片层的编解码方法，旨在获得编码效率与抗误码性能之间较好的折衷，主要体现为以下几方面:一、编码效率的提高需要尽可能多地利用图像、分片、编码块的空间域相关性和时域相关性，去除单视点视频信号中存在的空间域冗余和时域冗余。具体表现为编码器使用相邻编码单元的编码信息对当前编码单元进行预测编码。二、编码端抗误码性能的提高需要在视频编码过程中保留空间域冗余和/或时间域冗余信息，以在误码影响下，解码器仍可通过上述冗余信息恢复受误码影响而无法正确解码的图像内容。另一个方面，抗误码性能的提高可通过编码过程中限制空间域和/或时间域相邻编码单元的已有编码信息用作当前编码单元编码过程的预测参考，降低当前编码单元受误码扩散影响的程度。三、编码器在编码过程中，需要综合编码效率和抗误码性能两个方面对信宿端接收视频解码恢复质量的影响，在“去冗余以提高编码效率”和“留冗余以提高抗误码性能”之间取得合理的平衡点，即编码效率与抗误码性能之间的折衷。由此，本发明提供的一种图像层和分片层的编码方法，如图1a所示，主要包括:步骤101，编码器根据网络传输状态和视频内容特性，为以下三种对象之一选择不同的CLF和/或CIP控制方式:一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片。编码器根据网络传输状态和视频内容特性，估计不同CLF和/或CIP控制方式下当前图像受误码影响程度，依此确定为相应图像序列、图像或分片所选的CLF和/或CIP控制方式。其中，图像受误码影响程度包括以下至少之一:图像端到端失真、端到端失真的下降程度、当前图像出现误码条件下后续编码图像的端到端失真、因当前图像受误码影响而使得后续编码图像端到端失真增加量；相应的，确定CLF和/或CIP控制方式的方法为:端到端率失真优化判决方法。
所述网络传输状态包括以下至少之一:端到端时延、有线网络传输的丢包率、无线网络传输的误码率等等。所述视频内容特性包括以下至少之一:纹理复杂度、运动剧烈程度、图像活动度、图像前景和背景区域等等。步骤102，编码器根据所选的CLF和/或CIP控制方式，在相应图像层参数集和分片层参数集中编码CLF和/或CIP控制标志位。其中，图像层参数集包括图像参数集(PPS)、适配参数集(APS);分片层参数集包括 APS。作为本发明的较佳实施方式，可以在PPS中编码CLF和CIP控制标志位；或者，在PPS中编码CLF控制标志位，在APS中编码CIP控制标志位；或者，在PPS中编码CIP控制标志位，在APS中编码CLF控制标志位；或者，在APS中编码CLF和CIP控制标志位。本发明提供的一种图像层和分片层的解码方法，如图1b所示，主要包括:步骤103，解码器解析分片层头信息码流、以及图像层参数集和/或分片层参数集，获得CLF和/或CIP控制标志位。其中，图像层参数集包括PPS、APS ;分片层参数集包括APS。步骤104，解码器根据所获得的CLF和/或CIP控制标志位，采用相应的CLF和/或CIP控制方式对图像和分片进行解码。所述采用相应的CLF和/或CIP控制方式对图像和分片进行解码，包括:按照CLF控制方式设置图像和分片解码过程中环路滤波输入像素点的可用性；按照CIP控制方式设置帧内预测过程中参考像素点的可用性。对应上述的编码方式，如果是在PPS中编码CLF和CIP控制标志位，那么通过解析PPS获得CLF和CIP控制标志位；如果是在PPS中编码CLF控制标志位，在APS中编码CIP控制标志位，那么通过解析PPS获得CLF控制标志位，解析APS获得CIP控制标志位；如果是在PPS中编码CIP控制标志位，在APS中编码CLF控制标志位，那么通过解析PPS获得CIP控制标志位，解析APS获得CLF控制标志位；如果是在APS中编码CLF和CIP控制标志位，那么通过解析APS获得CLF和CIP控制标志位。下面结合具体实施例对本发明的图像层和分片层的编解码方法进一步详细阐述。本发明实施例所述的编码器实现方法可针对单幅图像使用，也可针对某个时间区间内的连续多幅图像使用(包括针对整个图像序列使用)。在后者应用情况下，编码器可使用本实施例中所述对误码影响的评估方法获得该时间区间内连续多幅图像在受到误码影响下的解码恢复图像质量以及对该时间区间后图像的编码质量，进而为该时间区间内的图像确定整体的CIP、CLF控制方法。实施例一:本发明的实施例一所使用的SPS码流组织方式如下表I所示:
权利要求
1.一种图像层和分片层的编码方法，其特征在于，该方法包括: 编码器根据网络传输状态和视频内容特性，为以下三种对象之一选择不同的受限环路滤波模式CLF和/或受限帧内预测模式CIP控制方式:一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片； 所述编码器根据所选的CLF和/或CIP控制方式，在相应图像层参数集和分片层参数集中编码CLF和/或CIP控制标志位。
2.根据权利要求1所述图像层和分片层的编码方法，其特征在于， 所述图像层参数集包括图像参数集PPS、适配参数集APS ;所述分片层参数集包括APS。
3.根据权利要求2所述图像层和分片层的编码方法，其特征在于，所述在图像层参数集和分片层参数集中编码CLF和/或CIP控制标志位，包括: 在PPS中编码CLF和CIP控制标志位； 或者，在PPS中编码CLF控制标志位，在APS中编码CIP控制标志位； 或者，在PPS中编码CIP控制标志位，在APS中编码CLF控制标志位； 或者，在APS中编码CLF和CIP控制标志位。
4.根据权利要求1、2或3所述图像层和分片层的编码方法，其特征在于，所述网络传输状态包括以下至少之一:端到端时延、有线网络传输的丢包率、无线网络传输的误码率。
5.根据权利要求1、2或3所述图像层和分片层的编码方法，其特征在于，所述视频内容特性包括以下至少之一:纹理复杂度、运动剧烈程度、图像活动度、图像前景和背景区域。
6.根据权利要求1、2或3所述图像层和分片层的编码方法，其特征在于，该方法进一步包括: 所述编码器根据网络传输状态和视频内容特性，估计不同CLF和/或CIP控制方式下当前图像受误码影响程度，依此确定为相应图像序列、图像或分片所选的CLF和/或CIP控制方式。
7.根据权利要求6所述图像层和分片层的编码方法，其特征在于，所述图像受误码影响程度包括以下至少之一:图像端到端失真、端到端失真的下降程度、当前图像出现误码条件下后续编码图像的端到端失真、因当前图像受误码影响而使得后续编码图像端到端失真增加量； 相应的，确定CLF和/或CIP控制方式的方法为:端到端率失真优化判决方法。
8.一种图像层和分片层的编码器，其特征在于，包括: 控制方式选择模块，用于根据网络传输状态和视频内容特性，为以下三种对象之一选择不同的受限环路滤波模式CLF和/或受限帧内预测模式CIP控制方式:一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片； 标志位编码模块，用于根据所选的CLF和/或CIP控制方式，在相应图像层参数集和分片层参数集中编码CLF和/或CIP控制标志位。
9.根据权利要求8所述图像层和分片层的编码器，其特征在于，所述图像层参数集包括图像参数集PPS、适配参数集APS ;所述分片层参数集包括APS。
10.根据权利要求9所述图像层和分片层的编码器，其特征在于，所述在图像层参数集和分片层参数集中编码CLF和/或CIP控制标志位，包括: 在PPS中编码CLF和CIP控制标志位；或者，在PPS中编码CLF控制标志位，在APS中编码CIP控制标志位； 或者，在PPS中编码CIP控制标志位，在APS中编码CLF控制标志位； 或者，在APS中编码CLF和CIP控制标志位。
11.根据权利要求8、9或10所述图像层和分片层的编码器，其特征在于，所述网络传输状态包括以下至少之一:端到端时延、有线网络传输的丢包率、无线网络传输的误码率。
12.根据权利要求8、9或10所述图像层和分片层的编码器，其特征在于，所述视频内容特性包括以下至少之一:纹理复杂度、运动剧烈程度、图像活动度、图像前景和背景区域。
13.根据权利要求8、9或10所述图像层和分片层的编码器，其特征在于，所述控制方式选择模块进一步用于，根据网络传输状态和视频内容特性，估计不同CLF和/或CIP控制方式下当前图像受误码影响程度，依此确定为相应图像序列、图像或分片所选的CLF和/或CIP控制方式。
14.根据权利要求13所述图像层和分片层的编码器，其特征在于，所述图像受误码影响程度包括以下至少 之一:图像端到端失真、端到端失真的下降程度、当前图像出现误码条件下后续编码图像的端到端失真、因当前图像受误码影响而使得后续编码图像端到端失真增加量； 相应的，确定CLF和/或CIP控制方式的方法为:端到端率失真优化判决方法。
15.一种图像层和分片层的解码方法，其特征在于，该方法包括: 解码器解析分片层头信息码流、以及图像层参数集和/或分片层参数集，获得CLF和/或CIP控制标志位； 所述解码器根据所获得的CLF和/或CIP控制标志位，采用相应的CLF和/或CIP控制方式对图像和分片进行解码。
16.根据权利要求15所述图像层和分片层的解码方法，其特征在于， 所述图像层参数集包括图像参数集PPS、适配参数集APS;所述分片层参数集包括APS。
17.根据权利要求16所述图像层和分片层的解码方法，其特征在于，该方法进一步包括: 解析所述PPS获得CLF和CIP控制标志位； 或者，解析所述PPS获得CLF控制标志位，解析所述APS获得CIP控制标志位； 或者，解析所述PPS获得CIP控制标志位，解析所述APS获得CLF控制标志位； 或者，解析所述APS获得CLF和CIP控制标志位。
18.根据权利要求15、16或17所述图像层和分片层的解码方法，其特征在于，所述采用相应的CLF和/或CIP控制方式对图像和分片进行解码，包括: 按照所述CLF控制方式设置图像和分片解码过程中环路滤波输入像素点的可用性；按照所述CIP控制方式设置帧内预测过程中参考像素点的可用性。
19.一种图像层和分片层的解码器，其特征在于，包括: 标志位获取模块，用于解析分片层头信息码流、以及图像层参数集和/或分片层参数集，获得CLF和/或CIP控制标志位； 解码模块，用于根据所获得的CLF和/或CIP控制标志位，采用相应的CLF和/或CIP控制方式对图像和分片进行解码。
20.根据权利要求19所述图像层和分片层的解码器，其特征在于，所述图像层参数集包括图像参数集PPS、适配参数集APS;所述分片层参数集包括APS。
21.根据权利要求20所述图像层和分片层的解码器，其特征在于，所述标志位获取模块进一步用于， 解析所述PPS获得CLF和CIP控制标志位； 或者，解析所述PPS获得CLF控制标志位，解析所述APS获得CIP控制标志位； 或者，解析所述PPS获得CIP控制标志位，解析所述APS获得CLF控制标志位； 或者，解析所述APS获得CLF和CIP控制标志位。
22.根据权利要求19、20或21所述图像层和分片层的解码器，其特征在于，所述解码模块进一步用于，按照所述CLF控制方式设置图像和分片解码过程中环路滤波输入像素点的可用性；按照所述CIP控制方式设置帧内预测过程中参考像素点的可用性。
23.一种电子设备，其特征在于，所 述电子设备包括权利要求8至14任一项所述的编码器和权利要求19至22任一项所述的解码器。
全文摘要
本发明公开一种图像层和分片层的编解码方法、编解码器和电子设备，方法包括编码器根据网络传输状态和视频内容特性，为以下三种对象之一选择不同的受限环路滤波模式(CLF)和/或受限帧内预测模式(CIP)控制方式一、不同图像序列；二、同一图像序列中不同时段内的图像；三、同一图像中的不同分片；根据所选CLF和/或CIP控制方式，在图像层参数集和分片层参数集中编码CLF和/或CIP控制标志位；解码器解析分片层头信息码流、及图像层参数集和/或分片层参数集，根据获得的CLF和/或CIP控制标志位，采用相应CLF和/或CIP控制方式对图像和分片解码。通过本发明，能够获得编码效率与抗误码性能之间较好的折衷。
文档编号H04N21/845GK103200400SQ20121000419
公开日2013年7月10日 申请日期2012年1月9日 优先权日2012年1月9日
发明者李明, 吴平 申请人:中兴通讯股份有限公司