常强。sAUC即一种为了消除中屯、偏置而提出的评价指标（D . Parkhurst ,K . Law , and E.Niebur, ('Modeling the role of salience inthe allocation of overt visual attention,"ViSion research,vol .42,no. I ,pp. 107-123,2002)，该指标的计算采用非均 匀的方式选择非显著点，从而消除中屯、偏置的影响。
[0086] 测试结果如下：
[0087] 表立GBVS、MC、RWR、SSM方法W及本文算法的平均测试结果
[0089]表四量化系数分别为20,28,36时的平均测试结果
[0091] 表S是对SFU和CRCNS中所有视频测试的平均结果，其中GBVS方法是2006年由 J.化rel等人提出的一种自底向上的显著性检测方法，全称为基于图的视觉显著性检测方 法。该方法主要有两个步骤:首先对于要检测的图像在特定的特征通道上构建激活图，然后 将其W-种能够标识出明显点并且和其他图具有兼容性的方式进行归一化。运种模型非常 简单并且是原理上并行的，因此符合生物学规律。运种模型能够有效地对人眼的视觉关注 点进行预测;AMC算法是一种基于马尔科夫链的算法。该算法同样对于输入图像首先进行图 的构建，进而采用基于吸收马尔科夫链的方法进行显著性检测。运种算法联合考虑了显著 物体和背景的外观差异W及空间分布，选择虚拟边界节点作为吸收马尔科夫链中的吸收结 点，并计算每个转移结点到边界吸收结点的吸收时间。计算获得的吸收时间即可用来度量 该节点与所有吸收结点的全局相似度，进而使用吸收时间作为评价指标即可将显著物体从 背景中连续地区分出来。由于从转移结点到吸收结点的吸收时间依赖于路径的权重W及两 者之间的空间距离，图像中屯、的背景也可能被判定为显著物体，因而该方法在原来基础上 增加了一个遍历马尔科夫链的平衡分布用W减少背景区域的吸收时间；RWR算法全称为一 种基于重启随机行走的多尺度显著性检测算法，于2014年被J.-S.Kim等人提出。该种方法 通过将人眼的运动过程模拟成图上随机行走过程进行建模，并W此提出了基于图的多尺度 的显著性检测算法。具体过程如下：首先从一幅输入图像中提取亮度、色度和紧凑度的特 征，然后将图像进行划分，把每个块作为一个节点构建一张图。对于图的边，如果使用该边 进行连接的两个节点具有不相似的亮度和色度特征，或者如果结束节点具有比起始节点更 高的紧凑度时，那么运条边即被赋一个较高的值，反之则为运条边赋一个较低的值。然后， 该算法在运张图上计算马尔科夫链的平稳分布作为显著性图。W上为RWR算法的基本原理， 考虑到随机行走的方法受到构建图时划分块大小的影响，该方法又提出了应用由粗到细的 划分方法构建多尺度图的方法进行算法的稳定性提升;SSM算法是2012年B. Schauede等人 提出的一种基于四元光谱显著性检测方法。该种方法是基于近些年关于光谱显著性检测模 型的发展上提出的，它系统性地整合并评价了基于四元DCT和FFT的光谱显著性检测方法， 对四元色彩空间分量进行了权重分配并使用了多重解的方法进行显著性检测。此外，该方 法还提出了基于四元傅里叶变换的特征轴和特征角在光谱显著性模型中的应用。
[0092]需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包 括并不限于【具体实施方式】中所述的实施例，凡是由本领域技术人员根据本发明的技术方案 得出的其他实施方式，同样属于本发明保护的范围。
【主权项】
1. 基于蚁群的压缩域显著性检测算法，其特征在于包括以下步骤： 步骤1、将视频帧划分为块，并使用块构建图的节点，进而将帧建模成一个图； 步骤2、直接从压缩码流中提取每个节点的时域和空域特征，构建时空域启发矩阵； 步骤3、根据蚁群算法，直接提取压缩码流中的残差变换系数以及运动矢量;从残差变 换系数中获得空域的特征，包括亮度特征、色度特征、纹理特征，其中纹理特征根据构建方 法不同，可进行进一步细分;此外，从运动矢量中可直接提取时域特征，即运动特征;将提取 的特征按照步骤1中块的划分构建时域和空域的显著性图； 步骤4、根据人眼视觉特性和时空域显著性图的特征，同时结合被检测视频的内容特 征，分类自适应融合时域和空域显著性图像，得到图像显著区域。2. 根据权利要求1所述的基于蚁群的压缩域显著性检测算法，其特征在于:所述步骤1 的具体方法包括以下步骤： (1) 将每一帧进行块的划分为每一帧构建一个图G(V，E); (2) 划分的块被作为图中的节点V，转移概率p则被用于作为图的边E; (3) 根据视频编码设置块的大小。3. 根据权利要求2所述的基于蚁群的压缩域显著性检测算法，其特征在于:所述视频采 用H. 264编码，块大小设置为4 X 4。4. 根据权利要求1所述的基于蚁群的压缩域显著性检测算法，其特征在于:所述步骤2 提取每个节点的时域和空域特征包括对应时域特征的运动矢量MV和对应空域特征分量，所 述对应空域特征分量包括： (1) 亮度特征L，对应于亮度的直流分量； (2) 色度特征&，对应于色度Cb的直流分量； (3) 色度特征&，对应于色度Cr的直流分量； (4) 纹理特征T，纹理特征通过对压缩码流中亮度和色度的交流分量进行处理获得，具 体包括以下几种情况： -仅采用亮度的交流分量进行处理获得纹理特征，处理方法包括求和、求均值以及方 差； -仅采用色度的交流分量进行处理获得纹理特征，处理方法包括求和、求均值以及方 差； -根据视频的具体内容对亮度与色度进行符合人眼视觉规律的自适应加权处理以获得 纹理特征。5. 根据权利要求1所述的基于蚁群的压缩域显著性检测算法，其特征在于:所述步骤2 时空域启发矩阵的具体构造方法如下： 针对每种特征€￡江，1]，￥，1'，1^}，按照下面公式获得启发矩阵： m,m = e 2ff2 式中，f(i，j)和f(l，m)分别表示坐标为(i，j)的块和坐标为(l，m)的块的特征值。6. 根据权利要求1所述的基于蚁群的压缩域显著性检测算法，其特征在于:所述步骤3 的具体方法包括以下步骤： (1)在图上一次性随机洒出共K只蚂蚁，并使每只蚂蚁爬行L步，这个过程记为构造过 程;在一次计算中，该构造过程需要被重复执行N次;在第η次构造过程中，第k只蚂蚁从节点 (i，j)移动向节点（1，m)的概率通过转移概率进行计算，计算公式如下： fn) = 作，几 (，m、丨-如，寧 其中τ和η分别指代信息素矩阵和启发矩阵，α和β是影响因子，Ω (1』指代当前节点的邻 居节点，在获得转移概率之后，蚂蚁转向转移概率最大的方向爬行； (2) 当第k只蚂蚁完成了第η个构造过程中的第1步爬行时，信息素矩阵会根据下面公式 进行更新： 间_ |〔1 - /Ο)#-13 + i属于最优路径时 Tt ~ Tp-1〕其他情况 其中，P是衰减率，最优路径指第k只蚂蚁根据转移概率矩阵计算结果经过的所有节点 的集合；是通过启发矩阵决定的，= Μ"0; (3) 当第η个构造过程中的所有Κ只蚂蚁均完成了 L步爬行之后，信息素矩阵会根据下面 法则进行更新： τ(η]Γ = _ ^[η) + φτ1?) 其中τ(())指代每个构造过程中信息素矩阵最初的值，妒指代信息素挥发系数， φ Ε (0,!]〇7.根据权利要求1所述的基于蚁群的压缩域显著性检测算法，其特征在于:所述步骤4 中采用全局非线性归一化方法进行自适应融合，该自适应融合公式如下： 式中，Mi为显著性图SMi中的最大值，nu是显著性图SMi中除最大值外所有其他值的平均 值是归一化运算符； 此外，根据被检测视频的内容特征进行符合人眼规律的自适应融合方法如下： (1) 按照运动的剧烈程度与纹理的复杂程度对视频进行分类，具体分为:运动剧烈纹理 复杂的视频、运动剧烈纹理简单的视频、运动不剧烈纹理复杂的视频、以及运动不剧烈纹理 简单的视频； (2) 根据分类，在按照上述公式分别计算不同特征获得的显著性图的归一化最大值与 均值平方之积后赋予不同特征获得的不同结果加权系数； (3) 将加权过的结果进行求和归一化，获得最终显著性图检测结果。
【专利摘要】本发明属于视频显著性检测领域，具体地说，涉及基于蚁群的压缩于显著性检测算法，其技术特点是：将视频帧划分为块并建模成一个图；从压缩码流中提取每个节点的时域和空域特征，构建时空域启发矩阵；使用蚁群算法，根据时空域启发矩阵分别获得时空域显著性图；根据人眼视觉特性和时空域显著性图的特征，自适应融合时域和空域显著性图像，得到图像显著区域。本发明设计合理，其利用蚁群算法的正反馈机制和贪婪启发搜索机制，在寻找全局最优解上更有优势，时空域信息结合更符合人眼视觉规律，自适应融合方式使得最终检测效果更加符合人眼主观感知质量。同时，本发明不依赖于视频内容变化以及编码时参数设置的影响，具有良好的鲁棒性以及可扩展性。
【IPC分类】H04N17/02
【公开号】CN105472380
【申请号】CN201510799512
【发明人】李翠微, 解伟, 王强, 李小雨, 杨勍, 涂钦
【申请人】国家新闻出版广电总局广播科学研究院
【公开日】2016年4月6日
【申请日】2015年11月19日