一种结合纹理空间相关性的帧内预测模式选择方法与流程

本发明涉及多媒体编码领域，特别是涉及一种结合纹理空间相关性的帧内预测模式选择方法。
背景技术：
：视觉是人类感知与认识外部世界的主要途径，美国实验心理学家赤瑞特拉通过大量实验证实人类获得信息的83％都来自视觉。而视频作为视觉信息的主要载体逐渐成为人们生活中不可或缺的一部分，随着互联网、智能手机及多媒体技术的发展，视频的呈现方式越发多样化，人们对视频观感的体验也随之提升。其主要体现在以下两个方面：首先是视频数据量的急剧增加，这里主要是指空间分辨率的不断提高，如今高清视频已逐渐普及，当前发展的趋势是4k(3840×2160)，甚至是8k(7680×4320)的超高清视频；其次，视频获取途径的多样化，视频的传播已不再局限于广播电视等方式，如今移动互联网已经成为视频传播的主要途径，根据cisco发布预测报告，到2020年，年度全球移动数据流量将达到366.8eb(1eb≈10亿gb)，其中视频流量将超过75％，对视频信号的存储与传输带来了极大负担。基于此，对于视频图像压缩技术的研究已经成为目前紧迫且现实的问题。近年来，随着互联网技术以及终端处理处理能力的不断提升，对现有视频编码标准h.264/avc提出了新的要求。为了更好的满足在智慧交通、安防监控以及医学图像处理等领域的应用。2010年4月，在视频编码专家组(vceg)与运动图像专家组(mpeg)的共同努力下，建了视频编码联合组(jct-vc)，负责组织新一代视频编码标准h.265/hevc的研发和制定。并于2013年，由国际电信联盟-电信标准化组(itu-t)和国际标准化组织/国际电工委员会(iso/iec)正式发布。作为新一代视频编码标准，hevc的目标是在h.264/avchighprofile的基础上，通过采用多种先进的编码技术，使其压缩效率提高了一倍，即在视频质量相同的条件下，压缩后的视频码流所占存储空间为原来的50％。然而，hevc压缩效率的提升是以牺牲编码端的时间复杂度为代价的，这对于视频实时应用是一个巨大的挑战。hevc标准参考代码距离实时应用大约差5000倍速度。因此，在保证编码质量的前提下，进一步提升hevc标准的编码速度，对于加快hevc标准在产业界的广泛应用，提高视频编码技术在各个领域的应用水平，具有重要的应用价值和社会意义。本发明针对帧内预测模式选择问题进行了研究，帧内编码作为hevc标准中最为耗时的几个功能模块之一，其亮度分量的帧内预测每一种大小的预测单元提供了35种预测模式，相较于h.264/avc标准，帧内预测方向的划分更为精细，但预测复杂度也极大增加，此外，hevc标准采用遍历所有帧内预测模式的方式致使大量计算消耗在冗余预测模式上，致使预测效率降低，不利于hevc标准的实时应用。在保证编码性能的前提下，去除冗余的预测模式，降低帧内预测模式选择的编码复杂度，对其编码速度的进行优化兼具研究意义和实用价值。技术实现要素：本发明的目的在于提供一种结合纹理空间相关性的帧内预测模式选择方法，以解决上述问题。为达到上述目的，本发明采用下述技术方案：本发明公开了一种结合纹理空间相关性的帧内预测模式选择方法，所述方法包括：s1、统计分析在帧内预测模式选择过程中各预测模式在不同大小预测单元下采用不同量化参数时的利用率，基于统计结果在纹理预测方向中选取四个主纹理预测方向；s2、对各所述主纹理预测方向进行分析并计算预测单元的图像像素值偏差，利用所述图像像素值偏差判断预测单元是否平滑，其中，当判断预测单元为平滑，使用dc模式与planar模式作为率失真优化阶段的输入，获得最优预测模式；否，则构建基于多参考行技术的纹理预测候选集作为率失真优化阶段的输入，然后依次利用基于satd代价构建的第一自适应阈值模型和基于rd代价构建的第二自适应阈值模型提前终止率失真优化，获得最优预测模式。优选地，选取的主纹理预测方向为四个，包括：水平方向、垂直方向、45°方向和135°方向。优选地，所述构建基于多参考行技术的纹理预测候选集，包括：结合图像纹理的特性与预测单元的属性，利用自适应阈值模型构建分层次的纹理预测候选集；将多参考行技术与预测单元的纹理预测方向相结合，使多参考行技术作用于所述纹理预测候选集；依据像素相似度对多个参考行进行分类；针对不同类别的参考行为所述纹理预测候选集设计相应的遍历方式。优选地，所述图像纹理的特性包括：纹理复杂度；预测单元的属性包括：分析编码深度、量化参数及预测精度。优选地，所述纹理复杂度，采用复杂度模型：tc＝pvdver+pvdhor进行计算，其中，tc为纹理复杂度，pvdver与pvdhor为像素值在垂直方向与水平方向的偏差。优选地，利用基于satd代价构建的第一自适应阈值模型提前终止率失真优化，包括通过分析帧内相邻预测模式代价之间的关系，利用量化参数qp构建了第一自适应阈值模型；利用基于satd代价的自适应阈值模型，对率失真优化流程进行提前终止。优选地，利用基于rd代价构建的第二自适应阈值模型提前终止率失真优化包括通过分析当前预测模式与当前最优模式的rd代价关系，利用量化参数qp构建了自适应阈值模型；利用基于rd代价的第二自适应阈值模型，对率失真优化流程进行提前终止。优选地，所述判断预测单元平滑的条件为：max{pvdver,pvdhor,pvd45,pvd135}<thrtc/2.2其中，pvdver与pvdhor分别为像素值在垂直方向与水平方向的偏差，pvd45和pvd135分别为像素值在45°方向和135°方向的偏差，thrtc为设定的阈值。优选地，阈值thrtc采用阈值模型：进行计算，其中，qp为量化步长。本发明的有益效果如下：针对复杂纹理区域常常出现的纹里阻隔现象，现有帧内预测模式选择算法存在对图像纹理空间相关性描述不充分，导致帧内角度预测鲁棒性较低的问题，本发明提出了一种结合纹理空间相关性的帧内预测模式选择算法。首先通过分析预测单元的纹理特性，利用pvd获取当前预测单元的主纹理方向；其次通过分析编码深度、纹理复杂度及量化参数与预测精度之间的关系，实现了纹理预测候选集的准确构建；而后通过对图像纹理空间相关性的分析，利用基于像素相似度分类的多参考行预测，提高帧内角度预测精度；最后基于对相邻预测模式satd代价及率失真代价的关系的分析，对帧内预测率失真优化阶段进行提前终止，并利用量化参数构建了自适应阈值模型，提高了算法的鲁棒性。本发明方法节省了hevc标准编码器大量编码时间，在工程上具有较好的应用价值。附图说明下面结合附图对本发明的具体实施方式作进一步详细的说明。图1示出本发明的一个实施例中提出一种结合纹理空间相关性的帧内预测模式选择方法流程图；图2(a)示出本发明的一个实施例中提出的主纹理预测方向为垂直方向示意图；图2(b)示出本发明的一个实施例中提出的主纹理预测方向为水平方向示意图；图2(c)示出本发明的一个实施例中提出的主纹理预测方向为45°方向示意图；图2(d)示出本发明的一个实施例中提出的主纹理预测方向为135°方向示意图；图3示出本发明的一个实施例中提出的其它大小预测单元主纹理预测方向采样示意图；图4示出本发明的一个实施例中提出的主纹理预测方向区域划分示意图；图5示出本发明的一个实施例中提出的多参考行预测结构示意图；图6示出本发明的一个实施例中提出的多参考行预测分类示意图；图7示出本发明的一个实施例中提出的帧内粗略模式选择中预测模式以satd代价排序示意图；图8示出本发明的一个实施例中提出的阈值thr_satd与算法精度关系曲线图(视频序列kimono，1920×1080)；图9示出本发明的一个实施例中提出的拉格朗日乘子与阈值大小关系曲线图(视频序列kimono，1920×1080)；图10示出本发明的一个实施例中提出的阈值thr_rd与算法精度关系曲线图(视频序列kimono，1920×1080)。具体实施方式为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。如图1所示，在本发明的一个实施例中提出了一种结合纹理空间相关性的帧内预测模式选择方法，所述选择方法采用结合纹理空间相关性的帧内角度模式进行精确预测，包括：s1、统计分析在帧内预测模式选择过程中各预测模式在不同大小预测单元下采用不同量化参数时的利用率，基于统计结果选取主纹理预测方向；s2、根据s1分析图像纹理方向的描述方式，并通过计算图像像素值偏差pvd，获取帧内纹理预测方向，其中，当判断预测单元平滑时，使用dc模式与planar模式作为率失真优化阶段的输入，获得最优预测模式；反之，构建基于多参考行技术的纹理预测候选集，依次利用基于satd代价构建的第一自适应阈值模型和基于rd代价构建的第二自适应阈值模型提前终止率失真优化rdo，获得最优预测模式。在本实施例中，当预测单元不平滑时，所述方法总流程具体包括：统计分析帧内预测模式选择过程中各预测模式在不同大小预测单元下采用不同量化参数时的利用率，基于统计结果，选取主纹理预测方向，包括：水平方向(模式10)、垂直方向(模式26)、45°方向(模式2和34)以及135°方向(模式18)；分析图像纹理方向的描述方式，并通过计算图像像素值偏差pvd，获取帧内纹理预测方向；结合图像纹理特性与预测单元属性，利用自适应阈值模型构建了分层次的纹理预测候选集；将多参考行技术与帧内纹理方向预测相结合，使多参考行技术更有针对性的作用于纹理预测候选集，降低冗余帧内预测模式带来的计算复杂度；依据像素相似度对多个参考行进行分类，根据类别的不同设计不同的遍历方式，提升多参考行预测的效率；通过分析帧内相邻预测模式代价之间的关系，利用量化参数qp构建了自适应阈值模型；利用基于satd代价的自适应阈值模型，对rdo流程进行提前终止；通过分析当前预测模式与当前最优模式的rd代价关系，利用量化参数qp构建了自适应阈值模型；利用基于rd代价的自适应阈值模型，对rdo流程进行提前终止。从而最终获取到优选的预测模式。在本实施例中，本发明统计了帧内预测模式选择过程中各预测模式在不同大小预测单元下采用不同量化参数时的利用率。发现dc模式与planar模式是使用率最高的，而在角度预测模式中，水平方向(模式10)、垂直方向(模式26)、45°方向(模式2和34)以及135°方向(模式18)使用率最高的，所以本发明利用上述四个角度预测方向作为主纹理预测方向。在一个更为具体实施例中，假设以4×4的预测单元为例，具体讲述纹理预测方向的计算方式。图2为四个主纹理预测方向在一个4×4的预测单元中的示意图。其中，在图2(a)中，垂直主纹理预测方向上有四列像素值，并用箭头标记了预测方向。本发明通过计算每一列的像素值偏差，然后求取四列的均值，以此来描绘当前预测单元像素值在垂直方向的变化趋势。而对于水平主纹理预测方向的计算方式，如图2(b)，则与垂直方向类似，两种预测方式的具体计算方法如下：如图2(c)与图2(d)所示，描述了45°方向以及135°方向的纹理预测方式。其计算方法与垂直与水平纹理预测方式类似，只是其行与列的个数与描述方式不同。对于其它大小的预测单元，上述计算主纹理预测方向的计算方法仍然适用，但是，为了降低计算复杂度，在计算其它大小预测单元的主纹理预测方向时，本发明采用间隔采样的计算方式，具体采样方法如图3所示。本发明依据主纹理预测方向将帧内预测亮度的33个角度预测方向划分为4个区域。如图4所示，模式10、模式26、模式2/34和模式18的方向为主纹理预测方向，主纹理预测方向与其临近的8个(左右各4个)角度预测模式构成4个纹理预测区域，如下所示。虽然上述四个纹理预测区域完全覆盖了帧内预测的所有帧内预测模式，但是利用固定大小的纹理预测候选集作为率失真优化阶段的输入并不能获取较为理想的预测精度。在大多数情况下，如果预测单元的尺寸越大，预测的准确率就越高，而预测单元的尺寸越小，其准确率越低，也就是说，可以利用该统计特性调整纹理预测候选集的大小。在预测单元尺寸较大时，可以适当减少候选集中预测模式的个数，提高预测效率，在预测单元尺寸较小时，可以适当增加纹理预测候选集中预测模式的个数，防止遗漏帧内最优预测模式，保证预测精度。图像的纹理复杂度对帧内预测的预测精度也有很大的影响，对于纹理较为清晰的预测单元，纹理方向预测可以更为精确的预测帧内预测的最优预测模式，在这种情况下，可以适当减少纹理预测候选集中预测模式的个数，进一步去除纹理预测候选集中冗余的预测模式，而对于纹理较为复杂的预测单元，需要适度增加纹理预测候选集中预测模式的个数，降低编码性能损失。为了更好的描述图像的纹理复杂度，并尽可能降低额外引入的计算复杂度，本发明构建的纹理复杂度模型如下式所示。tc＝pvdver+pvdhor其中tc为纹理复杂度，pvdver与pvdhor为像素值在垂直方向与水平方向的偏差。如果tc小于某个特定的阈值thrtc，如果tc小于阈值thrtc，可以认为当前的预测单元的纹理复杂度相对较小，反之，当前预测单元的纹理较为复杂。而对于阈值thrtc模型的构建，本文基于大量实验，利用量化步长自适应的调整阈值的大小，如下式所示。其中qp为量化步长。下面将具体介绍纹理预测候选集的获取方式。首先，针对4个纹理预测方向利用自适应阈值模型分别构建了分层次的纹理预测候选集，如表1所示。在本实施例中，所述图像纹理的特性包括：纹理复杂度；预测单元的属性包括：分析编码深度、量化参数及预测精度等。因此，利用预测单元大小与纹理复杂度的特性判定纹理预测候选集所属类别时，如果当前预测单元深度为0，且满足tc小于阈值thrtc，c1将被设定为纹理预测候选集；如果当前预测单元深度为0，或满足tc小于阈值thrtc，c2将被设定为纹理预测候选集；如果当前预测单元深度为3或4，且预测单元的纹理复杂度较高，c3将被设定为纹理预测候选集；剩余情况则将c4设定为纹理预测候选集。表1自适应纹理预测候选集需要注意的是，如果四个主纹理预测方向pvd值小于thrtc/2.2，即满足公下式，当前预测单元将被认为是较为平滑的，那么仅使用dc模式与planar模式作为率失真优化阶段的输入。max{pvdver,pvdhor,pvd45,pvd135}<thrtc/2.2其中，pvd45和pvd135分别为像素值在45°方向和135°方向的偏差。下面本发明利用纹理的空间相关性进一步对帧内预测过程进行优化，对于标准hevc参考软件，其帧内预测过程仅利用最近的参考行对当前预测单元进行像素值预测，而本发明通过大量试验分析将其参考行扩展至4行，如图5所示，参考行被标记为ls(s∈{0,1,2,3})，其中l0为与当前预测单元最为临近的参考行，l3则为与当前预测单元距离最远的参考行。在获取纹理预测候选集后，对候选集中每一个预测模式进行多参考行预测，即根据下式选出每一种模式的最优参考行。其中，loptimal为当前预测模式的最优参考行，为使用ls为参考行预测出的重建块与原始块的失真，表示编码当前预测单元所需全部的比特数量，λ为拉格朗日乘子。为了提高多参考行预测效率，本发明依据像素相似度将多个参考行归纳成了四类。基于大量实验，本文将像素相似定义为：像素亮度值相差5以内。下面，本节以垂直预测方向为例，说明多参考行预测的分类策略，如图6所示。第一类是四个参考行都相似，对于这种情况，则排除掉较远的三个参考行，仅利用最近的参考行l0做预测；第二类是参考行l1、l2、l3相似，参考行l0与上述三个参考行不同，这种情况仅利用临近的参考行l0与l1做预测；第三类是四个参考行中只有两个是相似的，对于这种情况，本文利用其中三个不同参考行做预测，具体方式为临近原则；第四类是四个参考行都不相同，这种情况本文会遍历四个参考行对纹理预测候选集中每种模式做预测。其他角度预测方向的分类策略与垂直预测方向相似，只是预测像素的计算方式不同。对于角度预测模式的像素计算主要分为两种模式：垂直类模式(模式18-模式34)与水平类模式(模式2-模式17)。像素值计算时，每一种角度预测模式相当于在垂直或水平方向进行偏移操作，记为d，具体偏移值如表2所示。表2角度预测模式对应偏移值水平类模式234567891011121314151617偏移值d32262117139520-2-5-9-13-17-21-26垂直类模式1819202122232425262728293031323334偏移值d-32-26-21-17-13-9-5-202591317212632下面以垂直预测模式(模式10)为例，给出预测像素的计算流程，其它角度预测模式与垂直预测模式类似。(1)对于给定的角度预测模式，利用投影像素的方法将其需要用到的参考像素映射为一维数组的形式，记为r。(2)计算当前像素对应参考像素在数组r中的位置c：c＝((y+s+1)·d)>>5(3)计算当前像素对应参考像素的加权因子w：w＝((y+s+1)·d)&31其中&为按位取与运算。(4)当前预测单元的1/32像素精度的插值计算为：px,y＝((32-w)·ri,-s-1+w·ri+1,-s-1+16)>>5其中px,y为被预测的像素值，x，y为横纵坐标的索引值。本发明所用的四个参考行的编码方式，00、01、10以及11分别对应l0到l3。对于帧内的色度预测，主要采用继承亮度的方式。在一个更为具体的实施例中，基于预测模式代价分类的rdo提前终止，即：通过分析帧内相邻预测模式代价之间的关系，利用量化参数qp构建了第一自适应阈值模型，利用基于satd代价的第一自适应阈值模型，对rdo流程进行提前终止；通过分析当前预测模式与当前最优模式的rd代价关系，利用量化参数qp构建了第二自适应阈值模型，利用基于rd代价的第二自适应阈值模型，对rdo流程进行提前终止。首先，本发明将该候选集中的预测模式定义为两类，第一类拥有相对较低satd代价，称作强竞争性预测模式，第二类拥有相对较高satd代价，称作弱竞争性预测模式。其中，通过率失真优化过程，帧内最优预测模式会有较高的概率在强竞争性预测模式中产生，相反，帧内最优预测模式在弱竞争性预测模式中产生的概率相对较低。基于上述定义，如果可以在率失真优化阶段开始前，较为精确的从候选集中获取强竞争性预测模式，然后仅对强竞争性预测模式进行率失真优化，排除了弱竞争性预测模式，这样可以进一步提升预测效率。本发明基于大量实验分析发现，如果候选集中相邻预测模式的satd代价存在较大差异，可以利用代价间的差异性区分上述两类预测模式，在图7中，与其他相邻预测模式相比，modei-1与modei的satd代价间的差异较大，而satd代价在一定程度上可以反映出率失真代价的变化趋势，那么可以利用这种差异性，排除satd代价较高的预测模式。下面给出该差异性的数学描述：satd_costi>thr_satd×satd_costi-1其中，satd_costi与satd_costi-1为相邻预测模式的satd代价，thr_satd是用来描述代价间差异的阈值。下面将具体介绍阈值模型的构建。图8为利用satd为代价分类策略的精度与用来描述代价间差异阈值之间的关系曲线图。可以看出，随着阈值的增加，该分类策略的精度也随之增加，当阈值增大到一定程度时，该策略可以得到较高的预测精度，这样可以有效的利用该策略以较小的性能损失，节省大量的冗余预测模式的计算复杂度。此外，分类策略的精度也受量化步长qp的影响，从图中可以知，随着qp的增加，该分类策略的精度也随之提升，为了更为精确的构建阈值模型，需考虑qp对阈值模型的影响。在图9中，上方曲线为分类策略的精度达到90％左右时，拉格朗日乘子λ与阈值thr_satd的关系曲线，此拉格朗日乘子与qp成正比例关系，而下方曲线为双曲线1/λ，如果将下方曲线向上平移特定距离，记为α，则两条曲线将会较好拟合在一起，便可利用双曲线1/λ加上合适的正向位移描述分类策略的阈值模型，其数学描述如下：thr_satd＝α+1/λ其中，thr_satd是用来描述代价间差异的阈值，α为平移距离，基于大量实验，这里本发明将其设置为1.1，λ为拉格朗日乘子。表3为基于satd代价的分类策略在hm16.0测试代码中不同qp下的实际精度，可以看出该分类策略以平均接近95％的预测精度，有效的提升了率失真阶段的预测效率。表3基于satd代价分类策略精度表(％)下面介绍本发明提出的基于rd代价的分类策略。帧内预测率失真优化的主要作用是在粗略模式选择阶段结束后，通过计算候选集中预测模式的率失真代价，决策出帧内最优预测模式。其主要方式为依次遍历，也就是说，首先计算候选集中第一个预测模式的率失真代价，然后依次比较，每次比较中选出一个率失真代价较低的预测模式，记为当前阶段的最优预测模式，直至遍历完整个候选集，得出帧内最优预测模式。在遍历过程中，率失真优化与粗略模式选择都是通过代价比较来选择最优的预测模式，本发明通过实验发现临近预测模式的率失真代价与satd代价有着类似的性质。如图10所示，为利用率失真为代价的提前终止策略的精度与用来描述代价间差异阈值之间的关系曲线图，可以看出，阈值thr_rd与预测精度之间的关系与图8中的曲线关系类似，都是呈现正比例非线性关系，所以可以利用曲线关系的相似性，对率失真优化过程进行提前终止，排除候选集中冗余的预测模式，从而提升率失真优化阶段的预测效率，下面给出该策略的数学描述：rd_costcurrent>thr_rd×rd_costbest其中，rd_costcurrent为当前预测模式的率失真代价，rd_costbest为当前最优预测模式的率失真代价，thr_rd是用来描述代价间差异的阈值。对于阈值thr_rd，在保证精度的条件下，拉格朗日乘子与阈值thr_rd的关系曲线同样可以与双曲线1/λ较好的拟合，不同的是，对于正向位移的取值会有所不同，其阈值模型定义为：thr_rd＝β+1/λ其中，thr_rd是用来描述代价间差异的阈值，β为平移距离，基于大量实验，这里本发明将其设置为0.8，λ为拉格朗日乘子。表4为基于rd代价的提前终止策略在hm16.0测试代码中不同qp下的实际精度，可以看出该分类策略以平均超过95％的预测精度，有效的提升了率失真阶段的预测效率。表4基于率失真代价的提前终止策略精度表(％)显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。当前第1页12