一种融合视觉感知特征的可分层视频编码方法
【技术领域】
[0001] 本发明涉及视频编码方法，尤其涉及一种融合视觉感知特征的可分层视频编码方 法。
【背景技术】
[0002] 随着多媒体信息处理和通信技术的飞速发展，IPTV、PDA、立体电影、自由视点视 频等多样化视频业务相继推出，视频编码在信息化处理以及相关领域展现了广阔的发展前 景。然而，在网络带宽和存储空间受限的同时，人们对视频质量的要求却在不断提高、数字 视频的性能指标，如分辨率、质量、帧率等不断提升，对现有的视频编码标准提出了新要求。
[0003] 为了获得具有低复杂度、高质量和高压缩率的视频编码方法，继2003年由国际电 信联盟ITU-T和国际标准化组织IS0/IEC联合推出视频压缩标准H. 264/AVC后，2010年1 月，IS0/IEC和ITU-T联合成立了JCT_VC(JointCollaborativeTeamonVideoCoding) 小组，并且发布了下一代视频编码技术提案HEVC(HighEfficiencyVideoCoding)。提案 指出，HEVC依然沿用H. 264/AVC的混合编码框架，着力研究新的编码技术，旨在解决现有视 频编码标准在压缩率与编码复杂度之间的矛盾，使之适应多类型的网络传输，承载更多的 信息处理业务。具有"实时性"、"高压缩率"和"高清晰度"的视频编码标准及其应用技术， 已成为信号与信息处理领域的研究热点之一。
[0004] 截至目前，众多学者围绕视频快速编码或者视觉感知分析开展了大量研究工作， 但是很少将二者结合在一个编码框架内联合实现对视频编码性能的优化。
[0005] 在视觉感知特征分析方面，有的研究人员采用颜色、亮度、方向和肤色四种视觉特 征进行感兴趣区域计算，但忽略了运动视觉特征；有的研究人员融合了运动、亮度强度、人 脸和文字等视觉特征，构建视觉注意模型实现感兴趣提取；也有的研究人员采用运动和纹 理信息获取感兴趣区域；或者有人提出在压缩域或者基于小波变换的方法获得感兴趣区 域。由于现有的全局运动估计算法复杂度都较大，因此视觉感兴趣区域提取算法复杂度过 高。上述基于人类视觉系统HVS(HumanVisualSystem)的视频编码技术集中研究了比特 资源优化分配的方法，在比特资源受限时保证感兴趣区域的视频图像质量，但欠缺对计算 资源分配问题的考虑，并且对进行视觉感知分析时引入的额外计算复杂度，也没有引起足 够的关注，其计算效率有待提_。
[0006] 在快速视频编码方面，有的研究人员通过控制运动估计点数、以损失率失真性能 为代价，实现快速编码；有的研究人员通过进行编码参数控制实现快速编码。但上述方法并 不区分视频图像中不同区域在视觉意义上的重要程度，对所有编码内容采用相同的快速编 码方案，忽略了HVS对视频场景感知的差异性。
【发明内容】
[0007] 本发明针对上述问题，提出一种融合视觉感知特征的可分层视频编码方法，包括 视觉感兴趣区域优先级的设定以及视频编码资源分配方案的设定两部分；
[0008] 所述视觉感兴趣区域优先级的设定主要为：鉴于视频图像内容的丰富性和人眼视 觉选择性注意机制，视频内容通常同时具有时域和空域双重视觉特征，标注视觉特征显著 度区域的计算公式可表示为：
【主权项】
1. 一种融合视觉感知特征的可分层视频编码方法，其特征在于，包括视觉感兴趣区域 优先级的设定以及视频编码资源分配方案的设定两部分； 所述视觉感兴趣区域优先级的设定主要为：鉴于视频图像内容的丰富性和人眼视觉选 择性注意机制，视频内容通常同时具有时域和空域双重视觉特征，标注视觉特征显著度区 域的计算公式表示为：
式中，ROI (X，y)代表当前编码宏块视觉感兴趣优先级；T (X，y，MV)代表当前编码宏块 的时域视觉特征显著度；S(x，y，Mode)代表当前编码宏块的空域视觉特征显著度；(x，y)表 示当前编码宏块的位置坐标； 所述视频编码资源分配方案的设定表现为：为在保证视频编码质量和压缩效率的同 时，改善视频编码实时性能，首先满足感兴趣区域宏块的编码最优化， 采用快速帧内预测算法，利用宏块灰度直方图描述宏块平坦程度，依据宏块平坦度自 适应地选取可能的帧内预测模式集合； 采用快速帧间预测算法，通过分析各种帧间预测模式出现概率的统计特性，对特定模 式进行预判以提前终止不必要的帧间预测模式搜索和率失真代价计算，减少编码耗时； 采用快速运动估计搜索算法，基于编码块运动矢量相关性，依据编码块运动程度，判定 搜索层次，实现高效搜索。
2. 根据权利要求1所述的融合视觉感知特征的可分层视频编码方法，其特征在于，所 述视觉感兴趣区域优先级的设定中，首先，进行时域视觉显著度区域标注：具体分为两个步 骤：步骤1运动矢量噪声检测和步骤2平移运动矢量检测，分别用于削弱由于运动矢量噪声 和摄像机运动而产生的平移运动矢量对于时域视觉显著度区域检测准确性的影响，完成前 景与背景的分离，得到较为准则的、符合人眼视觉特征的时域视觉显著度区域标注结果；然 后，进行空域视觉显著度区域标；最后，依据时域、空域视觉特征显著度区域标注结果，完成 视觉特征显著度区域的标注。
3. 根据权利要求2所述的融合视觉感知特征的可分层视频编码方法，其特征在于，在 进行时域视觉显著度区域标注时，所述步骤1运动矢量噪声检测的计算公式表示为：
(1)式中，（x，y)为当前编码块位置坐标，^表示当前编码块的运动矢量MV，&表示运 动参考区域C"内的平均运动矢量，定义为：
Vfr表示运动参考区域Cit所包含宏块的运动矢量，表示累加次数； 运动参考区域c"的定义如下，以使参考区域C "的形状、位置、面积能够随当前运动矢 量^的变化而实现自适应调整： 将分别位于Ctt的左上、右上、左下和右下的四个宏块表示为MB1, MB2, MB3, MB4，其位置 坐标定义为：
分别是当前运动矢量j；在水平和垂直 V S 方向上的运动幅度，^和h 3分别表示当前编码块的宽度和高度，[·]表示取整计算； 如果Ilh 〇,说明在运动参考区域c"内不存在运动矢量，则认为g是由运动噪声引起 的，应予以滤除，€被置为0,标记T1U, y，MV) = 3 ;
，说明当前编码块与邻近宏块相比具有较显著的运动特征，属于前景动 态区域，标记T1 (X，y，MV) = 2 ; 否则，说明当前编码块与邻近宏块具有相似的运动特性，时域显著性并不明显，需要进 一步进行平移运动矢量检测，以判定该编码块是属于背景区域，还是属于前景平移区域，标 记为 T2(x，y，MV); 所述步骤2平移运动矢量检测的计算公式表示为：
(2)式中，（x，y)表示当前编码块的位置坐标；元为动态阈值；SAD(x,y#当前编码块与 前一帧对应位置块之间的绝对差值和SAD(Sum of Absolute Differences，SAD)，用于表征 相邻两帧对应编码块的变化程度，定义如下：
其中，s (i, j)为当前编码块的像素值；c (i, j)为前一巾贞对应位置块的像素值；M, N分 别为当前编码块的长、宽尺寸； 动态阈值瓦为前一帧中被确定为背景区域内的所有编码块SAD的均值，定义如下：
其中，S。表示前一帧的背景区域；
表示S。内包含编码块对应SAD值的累加 和；Num表不累加次数； 综合上述（1)和（2)两个处理步骤，进行时域视觉显著度区域标注的计算公式描述 为： r -
(3) 式中，各参数的定义与式⑴和式（2)相同； 然后，进行空域视觉显著度区域标注，其计算公式描述为：
(4) 式中，（X，y)表示当前编码块的位置坐标；Mode表示编码块的预测模式；modeP表 示P帧编码中当前编码块的预测模式；Hiode 1表示I帧编码中当前编码块的预测模式； 如果Hiodep选择了帧内预测模式，说明空域视觉特征显著度最高，属于敏感区，标记 S (x, y, Mode) = 2 ； 如果modeP选择了子块巾贞间预测模式集合Inter8(8X8,8X4,4X8,4X4)或者mode I 选择了 Intra4X4预测模式，说明空间细节丰富，也具有较高空域视觉特征显著度，属于关 注区，标记 S(x，y，Mode) = 1 ; 如果modeP选择了宏块巾贞间预测模式集合Interl6(Skip，16X 16,16X8,8X 16)或者 Hiode1选择了 IntraieX 16预测模式，说明空间变化平缓，空间视觉特征显著度低，属于非显 著区，标记 S (x，y，Mode) =0; 最后，依据时域、空域视觉特征显著度区域标注结果，标注视觉特征显著度区域。
4.根据权利要求1所述的融合视觉感知特征的可分层视频编码方法，其特征在于，采 用快速帧内预测算法的具体过程： 步骤1 :计算当前编码宏块亮度分量Y的灰度直方图，记录其最大像素数Max Value ; 步骤2 :设定上限阈值Thhigh和下限阈值Th lOT，Thhigh和Th lOT均为[1，256]间的整数； 步骤3 :若Max Value > Thhigh,认为宏块平坦，舍弃Intra4X4预测模式集合，选择 Intral6X16预测模式集合，并将率失真开销最小的模式作为最优帧内预测