基于编码信息的视频感兴趣区域提取方法
【专利摘要】本发明公开了一种基于视觉感知特征和编码信息的视频感兴趣区域提取方法，涉及视频编码领域。本发明包括以下步骤：首先从原始视频流中提取当前编码宏块的亮度信息；然后，利用当前编码宏块的帧间预测模式类型，标识空域视觉特征显著度区域；再以前一帧编码宏块分别在水平和垂直方向上的平均运动矢量为动态双阈值，根据当前编码宏块的水平及垂直方向的运动矢量与动态双阈值的比较结果，标识时域视觉特征显著度区域；最后结合空域和时域视觉特征显著度区域的标识结果，定义视频感兴趣优先级，实现视频感兴趣的自动提取。本发明方法可为基于ROI（Region?of?Interest,ROI）的视频编码技术提供重要编码依据。
【专利说明】基于编码信息的视频感兴趣区域提取方法
【技术领域】
[0001]本发明属视频信息处理领域。利用视频编码技术和人眼视觉感知原理实现一种视频感兴趣区域快速提取方法。该方法能够对输入的视频流进行自动分析，利用编码信息标注并输出视频感兴趣区域。
【背景技术】
[0002]最新的视频编码标准H.264/AVC采用了多种先进的编码技术，在提高编码性能的同时，其编码复杂度也急剧增加，限制了其在多媒体信息处理与实时通信业务中的广泛应用。人们对如何提高H.264/AVC编码速度进行了深入研究，并提出了大量快速编码优化算法，但多数算法并不区分视频图像中各个区域在视觉意义上的重要程度，对所有编码内容采用相同的编码方案，忽略了人类视觉系统HVS (Human Visual System，HVS)对视频场景感知的差异性。
[0003]视觉神经科学研究已证明，HVS对视频场景的感知具有选择性，对不同区域具有不同的视觉重要性。因此，利用已有编码信息进行视觉感知特征分析，再依据视觉感知特征将计算资源优先分配给感兴趣区域，对提高视频编码算法实时性、降低计算复杂度，具有重要的理论意义和应用价值。而快速、有效的视觉特征分析，特别是视觉感兴趣区域的有效检测是优化编码资源、编写高效视频编码方案的重要基础。
【发明内容】
[0004]本发明不同于现有的光流法、帧差法、运动能量检测法、背景差法等视频运动对象提取方法，是以视频码流中的预测模式、运动矢量等编码信息为基础，根据编码信息与视觉感兴趣区域的关联性，识别视`频编码内容中的空域视觉特征显著度区域和时域特征视觉显著度区域，从而实现视频感兴趣区域的自动标识和获取。
[0005]根据HVS特征，人眼对亮度信息较之色度信息更加敏感，本发明方法针对视频序列中的亮度分量的编码信息，进行视频感兴趣区域的自动标识和获取。
[0006]本发明方法具体包括下述步骤:
[0007]步骤一:输入YUV格式、GOP (Group of Picture, GOP)结构为IPPP的视频序列，读取编码宏块的亮度分量Y，进行编码参数配置和初始化参数；
[0008]步骤二:对视频序列的首帧，即I帧进行帧内预测编码；
[0009]在视频编码标准中，I帧做为随机访问的参考点，含有大量信息，由于其不能利用相邻帧之间的时间相关性进行编码，因而采用帧内预测编码方法，利用当前帧中己编码重建宏块的编码信息对当前宏块进行预测，以消除空间冗余。对视频序列首帧，即I帧进行帧内预测编码是视频编码中惯用的一种常规编码方式。
[0010]步骤三:对当前P帧进行帧间预测编码，利用相邻帧视频内容的相关性消除时间冗余。记录当前帧内所有编码宏块的帧间预测模式类型，记为Modepn ；
[0011]其中，P=I, 2，3，…，L-1，代表第P个进行帧间编码的视频帧，L为整个视频序列进行编码的总帧数；n表示在当前编码帧中的第η个编码宏块的序号。
[0012]步骤四:标识当前P帧的空域视觉特征显著度区域，具体为:若当前编码宏块的帧间预测模式Modepn属于亚分割模式集合或者帧内预测模式集合，即Modepn e {8 X 8, 8 X 4, 4X 8, 4X 4} or {Intral6 X 16, Intra4X 4},则将该宏块标记为Syp (χ, y, ModepJ=I,属于空域视觉特征显著度区域,否则标记SYp(x, y, Modepn) =0 ;其中，Y表示编码宏块的亮度分量，(x，y)表示该编码宏块的位置坐标，P和Modepn的定义同上，遍历当前P帧中的所有编码宏块；
[0013]图1给出了 H.264标准帧间预测模式选择流程示意图。
[0014]经过实验，发现在H.264/AVC标准编码中，预测编码结果与人眼感兴趣区域之间具有较强相关性:对于人眼关注度较高的运动区域或者纹理丰富区域，Modepn大多选择亚分割模式集合{8X8，8X4，4X8，4X4};在镜头切换，视频内容发生突变，或者出现运动幅度较大的运动对象时，人眼关注度最高，此时Modepn才会选择帧内预测模式集合{Intral6X 16, Intra4X4};对于人眼关注度较低的背景平滑区域，Modepn大多选择宏块分割模式集合{Skip, 16X16，16X8, 8X16} ο图2以Claire序列为例，给出了 Claire序列第50帧帧间预测模式分布图，从图中可以发现在人眼关注度较高的区域中，编码宏块大都选择了帧间亚分割预测模式集合。
[0015]步骤五:记录第P帧中每一个编码宏块在水平方向上的运动矢量Vxpn和在垂直方向上的运动矢量Vypn;并计算前一个编码帧中所有编码宏块在水平方向上的平均运动矢量
Vxil U，以及垂直方向上的平均运动矢量Frb-UA ；
[0016]其中
【权利要求】
1.基于编码信息的视频感兴趣区域提取方法，其特征在于包括下述步骤: 步骤一:输入YUV格式、GOP (Group of Picture, GOP)结构为IPPP的视频序列，读取编码宏块的亮度分量Y，进行编码参数配置； 步骤二:对视频序列的首帧，即I帧进行帧内预测编码； 步骤三:对当前P帧进行帧间预测编码，记录当前P帧中的所有编码宏块的帧间预测模式类型,记为Modepn ；p=l, 2，3，…，L-1，代表第p个进行帧间编码的视频帧，L为整个视频序列进行编码的总帧数；n表示在当前编码帧中的第η个编码宏块的序号； 步骤四:标识当前P帧的空域视觉特征显著度区域，具体为:若当前编码宏块的帧间预测模式Modepn属于亚分割模式集合或者帧内预测模式集合，即Modepn e {8 X 8, 8 X 4, 4X 8, 4X 4} or {Intral6 X 16, Intra4X 4},则将该宏块标记为Syp (X，y, Modepn) =1,属于空域视觉特征显著度区域,否则标记SYp (x, y, Modepn) =0 ；Y表示编码宏块的亮度分量，(x, Y)表示该编码宏块的位置坐标，遍历当前P帧中的所有编码宏块；步骤五:记录第P帧中每一个编码宏块在水平方向上的运动矢量Vxpn和在垂直方向上的运动矢量Vypn;并计算前一个编码帧中所有编码宏块在水平方向上的平均运动矢量
【文档编号】H04N19/186GK103618900SQ201310591430
【公开日】2014年3月5日 申请日期:2013年11月21日 优先权日:2013年11月21日
【发明者】刘鹏宇, 贾克斌 申请人:北京工业大学