专利名称：一种h.264帧间模式快速选择方法
技术领域：
本发明涉及视频编码领域，尤其涉及一种H.264帧间模式快速选择方法，该方法能有效降低编码器的计算复杂度，加快帧间模式选择速度。
背景技术：
JVT (或H.264，MPEG_4 AVC)视频编码标准已经日益成为主流的视频压缩标准，但
H.264编码器的复杂度却更高了。在H.264编码的实现过程中，模式选择(MD)和运动估计(ME)是运算量最大的部分。在帧间模式选择中，16x16的宏块可以分割为16x8,8x16或8x8的子宏块，子宏块还可以分割为8x4，4x8，4x4的小尺寸宏块。为了选择最优的宏块编码模式，H.264编码器需要计算所有候选模式的率失真代价(RDCost)，将产生最小率失真代价的模式作为最佳模式。为了计算每一个模式下的率失真代价，需要对反复对宏块的残差数据作整数变换、量化、编码和反变换。此外，虽然P帧的帧内编码模式比帧间编码少了很多，但编码器依然会计算每一个宏块的帧内模式的率失真代价。以上的原因造成了计算率失真代价时的高运算复杂度。有些研究人员提出了改进模式选择，降低运算复杂度，节约编码时间的算法。这类算法仅依靠彩色图像本身的信息进行分割，往往不够精确或算法过于复杂。本发明利用深度图像进行区域分割。通过自适应的阈值分割和帧差法提取图像的背景区域和运动剧烈区域。算法根据深度图像的信息，提取出图像的背景区域和运动剧烈的区域，编码时针对不同的区域分别采取不同的编码策略。在保证视频质量的同时，有效地缩短了编码时间。
发明内容
有鉴于此，本发明的目的是提供一种H.264帧间模式快速选择方法，在保证视频质量的同时，有效地缩短了编码时间。本发明采用以下方案实现:一种H.264帧间模式快速选择方法，其特征在于，包括以下步骤:
501:利用彩色图像对应的深度图像进行区域分割，分别提取彩色图像的背景区域和运动区域；
502:对彩色图像进行宏块划分；
503:根据每一宏块中彩色图像的所属区域标记每一宏块的所属区域类型为背景区域宏块、运动区域宏块或其他区域宏块；
504:根据每一宏块的所属区域类型选择相应的编码策略:背景区域宏块搜索SKIP和interl6xl6模式,运动区域宏块搜索inter8x8和巾贞内编码模式,其他区域宏块采用全候选模式搜索算法。在本发明一实施例中，所述提取彩色图像的背景区域的具体方法为:使用自适应阈值分割法对每帧深度图像进行区域分割，即利用形态学算子进行边缘检测得到边缘像素，通过构建所述边缘像素的灰度直方图，选取所述灰度直方图上低灰度范围的峰值作为分割阈值进行背景的分割。在本发明一实施例中，所述提取彩色图像的运动区域的具体方法为:使用帧间差分法对每帧深度图像进行区域分割，即对当前帧深度图像和前一帧深度图像实施帧间差分法计算帧差图像，将所述帧差图像中深度变化剧烈的区域判定为彩色图像中的运动区域。在本发明一实施例中，所述对彩色图像进行宏块划分的具体方法为:对彩色图像进行16x16宏块的划分。在本发明一实施例中，所述步骤S03的具体方法为:以彩色图像的每一宏块中属于背景区域、运动区域和其它区域的像素数量占宏块内像素总数的比例大小为依据标记每一宏块的所属区域类型。在本发明一实施例中，所述步骤S04的具体方法为:背景区域宏块仅搜索SKIP模式和interl6xl6模式,并终止后面的模式选择；运动区域宏块仅搜索inter8x8和巾贞内编码模式，并终止后面的模式选择，节省其它模式的搜索时间；其他区域宏块采用全候选模式搜索算法。本发明一种H.264帧间模式快速选择方法具有以下几个方面的特点:
(I)针对目前H.264标准中帧间模式选择算法中计算量大且复杂，并根据SKIP块和interSxS块的特点，将视频前景与背景检测技术创新性的应用于帧间模式选择的判断上。(2)能够增加背景区域和运动区域分割的精确性，尤其是增加背景区域或运动缓慢区域的SKIP和interl6xl6模式的数量，同时降低算复杂度，在保证视频质量的同时，提高了运算效率。(3)操作上:对图宏块的划分是:对每帧图像进行16x16宏块的划分。在区域分割方面:基于深度图像，利用形态学算子进行边缘检测得到边缘像素，通过构建边缘像素灰度直方图，选取直方图上较低灰度范围的峰值作为分割阈值进行背景的分割。通过求深度图像的帧差图像，将帧差图像中深度变化剧烈的部分作为图像中的运动区域。将属于背景区域中的宏块选择SKIP和interl6xl6模式进行搜索,属于运动区域的宏块选择inter8x8或帧内编码模式进行搜索。
图1是本发明一种H.264帧间模式快速选择方法流程图。图2a是一待处理的深度图像。图2b是阈值取68时对图2a进行背景区域提取的结果图像。图2c是Tk为0.5时对图2b的宏块所属区域进行判定后的结果图像。图3a是采用帧间差分法进行运动区域提取的运算结果图像。图3b是Tk为0.5时对图3a的宏块所属区域进行判定后的结果图像。
具体实施例方式为使本发明的目的、技术方案及优点更加清楚明白，以下将通过具体实施例和相关附图，对本发明作进一步详细说明。本发明提供一种H.264帧间模式快速选择方法，其特征在于，包括以下步骤:
SOl:利用彩色图像对应的深度图像进行区域分割，分别提取彩色图像的背景区域和运动区域；
502:对彩色图像进行宏块划分；
503:根据每一宏块中彩色图像的所属区域标记每一宏块的所属区域类型为背景区域宏块、运动区域宏块或其他区域宏块；
504:根据每一宏块的所属区域类型选择相应的编码策略:背景区域宏块搜索SKIP和interl6xl6模式,运动区域宏块搜索inter8x8和巾贞内编码模式,其他区域宏块采用全候选模式搜索算法。如图1所示，本实施例提供一种H.264帧间模式快速选择方法，其特征在于，包括以下步骤:
501:利用彩色图像对应的深度图像进行区域分割，分别提取彩色图像的背景区域和运动区域；
502:对彩色图像进行宏块划分；
503:根据每一宏块中彩色图像的所属区域标记每一宏块的所属区域类型为背景区域宏块、运动区域宏块或其他区域宏块(即除了所述背景区域宏块和所述运动区域宏块外的宏块类型);
504:根据每一宏块的所属区域类型选择相应的编码策略:
分别判断每一宏块的所属区域类型，如果是背景区域宏块则搜索SKIP和interl6xl6模式，如果是运动区域宏块则搜索interSxS和帧内编码模式，如果是其他区域宏块则采用全候选模式搜索算法。所述提取彩色图像的背景区域的具体方法为:使用自适应阈值分割法对每帧深度图像进行区域分割，即利用形态学算子进行边缘检测得到边缘像素，通过构建所述边缘像素的灰度直方图，选取所述灰度直方图上低灰度范围的峰值作为分割阈值进行背景的分割。边缘清晰是深度图像显著的特点，边缘上的像素往往含有图像区域的边界信息，因此我们利用边缘分析深度图像的层次，利用形态学边缘强度算子提取深度图像的边缘。假定图像内容由背景，前景和中间区域构成，那么处于边缘上的像素的灰度直方图将呈多峰分布，而位于较低灰度区域的波峰往往是由背景像素组成的，因此我们选择波峰对应的灰度值作为分割深度图的阈值对深度图像进行阈值分割(如二值化处理)，提取出图像中的背景区域。如图2b所示，图2b是阈值取68时对图2a进行背景区域提取的结果图像。图2a是一待处理的深度图像。所述提取彩色图像的运动区域的具体方法为:使用帧间差分法对每帧深度图像进行区域分割，即对当前帧深度图像和前一帧深度图像实施帧间差分法计算帧差图像，将所述帧差图像中深度变化剧烈的区域判定为彩色图像中的运动区域。用帧间差分法检测运动目标是运动提取算法中的重要方法，由于深度序列几乎不受到光线和纹理干扰，因此，我们从深度序列的帧差图像中提取彩色图像的运动区域。在本发明一较佳实施例中，所述对彩色图像进行宏块划分的具体方法为:对彩色图像进行16x16宏块的划分，或进行其他宏块的划分，在此不做限定。所述步骤S03的具体方法为:以彩色图像的每一宏块中属于背景区域、运动区域和其它区域的像素数量占宏块内像素总数的比例大小为依据标记每一宏块的所属区域类型。记彩色图像中任意一个16x16的宏块内位于ii,f)处的一个像素的特征为τ {i,j),p{i,j)是步骤SOl区域分割的结果中位于和当前宏块相同位置的宏块内{i,D处的像素灰度值，那么，像素所属区域的判断方法为:/7(i，J‘)> Tp,的定义为:
权利要求
1.一种H.264帧间模式快速选择方法，其特征在于，包括以下步骤: 501:利用彩色图像对应的深度图像进行区域分割，分别提取彩色图像的背景区域和运动区域； 502:对彩色图像进行宏块划分； S03:根据每一宏块中彩色图像的所属区域标记每一宏块的所属区域类型为背景区域宏块、运动区域宏块或其他区域宏块； S04:根据每一宏块的所属区域类型选择相应的编码策略:背景区域宏块搜索SKIP和interl6xl6模式,运动区域宏块搜索inter8x8和巾贞内编码模式,其他区域宏块采用全候选模式搜索算法。
2.根据权利要求1所述的一种H.264帧间模式快速选择方法，其特征在于:所述提取彩色图像的背景区域的具体方法为:使用自适应阈值分割法对每帧深度图像进行区域分害I]，即利用形态学算子进行边缘检测得到边缘像素，通过构建所述边缘像素的灰度直方图，选取所述灰度直方图上低灰度范围的峰值作为分割阈值进行背景的分割。
3.根据权利要求1所述的一种H.264帧间模式快速选择方法，其特征在于:所述提取彩色图像的运动区域的具体方法为:使用帧间差分法对每帧深度图像进行区域分割，即对当前帧深度图像和前一帧深度图像实施帧间差分法计算帧差图像，将所述帧差图像中深度变化剧烈的区域判定为彩色图像中的运动区域。
4.根据权利要求1所述的一种H.264帧间模式快速选择方法，其特征在于:所述对彩色图像进行宏块划分的具体方法为:对彩色图像进行16x16宏块的划分。
5.根据权利要求1所述的一种H.264帧间模式快速选择方法，其特征在于:所述步骤S03的具体方法为:以彩色图像的每一宏块中属于背景区域、运动区域和其它区域的像素数量占宏块内像素总数的比例大小为依据标记每一宏块的所属区域类型。
6.根据权利要求1所述的一种H.264帧间模式快速选择方法，其特征在于:所述步骤S04的具体方法为:背景区域宏块仅搜索SKIP模式和interl6xl6模式，并终止后面的模式选择；运动区域宏块仅搜索interSxS和帧内编码模式，并终止后面的模式选择，节省其它模式的搜索时间；其他区域宏块采用全候选模式搜索算法。
全文摘要
本发明涉及视频编码领域，尤其涉及一种H.264帧间模式快速选择方法，包括以下步骤S01利用彩色图像对应的深度图像进行区域分割，分别提取彩色图像的背景区域和运动区域；S02对彩色图像进行宏块划分；S03根据每一宏块中彩色图像的所属区域标记每一宏块的所属区域类型为背景区域宏块、运动区域宏块或其他区域宏块；S04根据每一宏块的所属区域类型选择相应的编码策略。本发明提出一种H.264帧间模式快速选择方法，旨在降低H.264帧间编码的运算复杂度，加快帧间模式选择速度，在保证视频质量的同时，有效地缩短了编码时间。
文档编号H04N7/26GK103118261SQ20131007758
公开日2013年5月22日 申请日期2013年3月12日 优先权日2013年3月12日
发明者徐胜, 姚剑敏, 郭太良, 叶芸, 林志贤, 张永爱 申请人:福州大学