基于区域分割的视频显著性检测方法
【专利摘要】本发明公开了一种区域分割的视频显著性检测方法，主要解决现有视频显著性检测方法检测准确率低的问题，其步骤是：1.对视频帧进行线性迭代聚类，得到超像素块，提取超像素块静态特征；2.利用变分光流法，得到超像素块的动态特征；3.将静态特征和动态特征进行融合得到特征矩阵，再对特征矩阵进行K?means聚类；4.对每一类分别进行线性回归模型训练，得到回归模型，5.用回归模型重建测试集样本与显著性程度的映射关系得到测试集超像素块的显著值，进而得到测试序列的显著图。本发明相较于传统的视频显著性算法，增强了特征空间和时间表征能力，降低了光照对检测效果的影响，可用于视频目标跟踪、视频分割的前期预处理。
【专利说明】
基于区域分割的视频显著性检测方法
技术领域
[0001] 本发明属于图像处理技术领域，更进一步涉及一种视频显著性检测方法，可用于 目标跟踪、物体识别和视频分割。
【背景技术】
[0002] 计算机在处理复杂场景问题时，背景的复杂性使得现有的一些方法不能对场景进 行更好的处理。研究发现，人类视觉系统能够轻松地理解各种复杂场景，因此在处理复杂场 景的相关问题时可以借鉴人类系统的工作原理。学者对人类视觉注意选择机制进行深入地 研究和推理后得到视觉显著性理论，该理论认为人类视觉系统只详细处理图像的某些局 部，而对图像的其余部分几乎视而不见。基于此理论，计算机视觉领域的相关学者提出了对 图像或者视频中人类感兴趣区域的检测，目前该领域已成为研究的热门。其中显著性算法 在检测效果和运算速度上都有突出的表现，因而受到研究者们的广泛关注。视频显著区域 提取是视频监控、人类行为认知和视频检索等视频分析过程中的重要的步骤。由于视频数 据的复杂性和多样性，视频帧之间的强相关性和动态时变性等特点，使得视频显著性区域 的检测难度增大。
[0003]目前已有的视频显著区域提取方法主要有以下几种模型：
[0004] Cheng提出的视觉注意模型，该模型不仅考虑了亮度和颜色特征，而且还添加了运 动信息，为视频序列显著区域提取算法研究打下了基础；
[0005] Guo等人提出的PQFT空时显著性模型，简单且快速，其应用傅里叶变换将图像的亮 度、颜色、运动特征融合，但易受到背景纹理的干扰。为了解决这个问题，Cui等人提出了一 种基于SR的空时显著区域快速提取算法，以X-T和Y-T两个方向的时间切片来表示动态信 息，从而将前景目标从复杂背景中提取出来；
[0006] Seo和Milanfar提出使用自相似性在空时区域进行显著性检测，它是一个无参的 自底向上的模型。该模型将时间域与空间域融合，提高了检测准确率；
[0007] Rahtu等人提出的基于条件随机场CRF模型的显著物体分割算法，采用了运动优先 的方法来融合动态和静态特征，符合人们视觉注意的感知偏向；
[0008] Rudoy等人提出一种视线转移动力学模型，利用分类器学习从一个区域跳转到另 一个区域的概率，把概率值作为视频的显著值，提高了检测速率。
[0009] 上述视频显著区域提取方法都是在图像域的显著模型上添加运动特征，其时域结 构过于简单，序列之间关系微弱，虽然可以提取得到视频显著区域，但准确率和效率都比较 低。因此如何提取更加有效的视频动态特征，并将静态特征与动态特征有效融合是目前视 频显著性提取方法的重要研究内容。
【发明内容】
[0010] 本发明的目的在于针对上述方法的不足，提出一种基于区域分割的视频显著性检 测方法，以有效地提高检测准确率，提取更加有效的视频动态特征。
[0011] 实现本发明目的的技术方案是:给定一个视频序列，先进行SLIC超像素分割，再以 超像素块为单位，提取颜色、纹理以及运动信息作为特征向量;取一部分序列所有块的特征 向量作为训练样本，并对其进行归一化和聚类;利用聚类后各个类的特征矩阵和类标向量 训练对应的回归模型;选取匹配的回归模型重建测试样本与显著程度的映射关系，从而得 到测试样本中每一个超像素块的显著值，进而获取测试序列的显著图。其实现步骤包括如 下：
[0012] (1)输入待检测的视频帧，提取每一帧图像的静态特征和动态特征；
[0013] (la)对输入的图像进行线性迭代聚类，得到超像素块，求取每一个超像素块中所 包含像素点的颜色特征值、直方图特征值和纹理特征值，并用这三个特征的均值组成特征 向量作为该超像素块的静态特征；
[0014] (lb)将相邻两帧视频图像的纹理特征值用光流法进行差分处理，得到前一帧图像 的光流场特征值；
[0015] (1 c)将每一帧图像的光流场特征值分解为水平方向VX和垂直方向vy两个特征；
[0016] (Id)计算每一个超像素块所包含像素点水平方向vx和垂直方向vy的特征均值，并 用这两个特征的均值组成特征向量作为该超像素块的动态特征；
[0017] (2)将步骤(1)中得到的超像素块静态特征和动态特征进行融合，得到每一个超像 素块的特征向量，对视频序列所有超像素块的特征向量进行归一化，得到特征向量集F，将 视频序列前15帧图像所有超像素块特征向量Fi作为训练样本进行K-means聚类，得到k = 5 个训练样本以及对应的聚类中心；
[0018] (3)把聚类得到的5个训练样本分别输入到支持向量机中，训练得到5个SVR回归模 型；
[0019] ⑷取特征向量集？中剩余部分向量F2作为测试样本，分别计算F2中每个向量与k个 聚类中心的欧式距离，寻找最邻近的类，并用与该最邻近的类相对应的SVR回归模型测试得 到样本F 2中每一个超像素块对应的显著值，构成显著值向量；
[0020] (5)将得到的显著值向量依次映射到测试样本中的所有超像素块上，得到测试序 列显著图。
[0021] 本发明与现有技术相比具有如下优点：
[0022] 1)本发明相对于传统的视频显著性算法，在超像素级上进行特征提取与融合，增 强了特征空间和时间上的表征能力，能够得到既完整又相对准确的目标显著区域；
[0023] 2)本发明用局部方向模式特征代替原始帧中的亮度连续与高阶连续，提取相邻两 帧图像的纹理特征，作为变分光流模型的输入，求取每一个视频帧的动态光流场特征，降低 了光照对检测效果的影响，在视频数据集上获得了较好的实验效果。
[0024] 本发明的技术过程和效果可结合以下附图详细说明。
【附图说明】
[0025] 图1是本发明的实现不意图；
[0026] 图2是本发明中基于超像素块的静态特征提取示意图；
[0027] 图3是本发明中动态光流场特征提取示意图；
[0028]图4是本发明与不同视频显著性方法的结果对比图；
[0029] 图5是本发明与不同算法的P-R曲线；
[0030] 图6是本发明与不同算法的R0C曲线和对应AUC值的直方图；
【具体实施方式】
[0031] 参照图1，本发明基于区域分割的视频显著性检测方法，包括如下步骤：
[0032] 步骤一，获取视频序列的超像素块。
[0033] 1.1)对视频分割数据库中的视频进行分帧，得到视频序列；
[0034] 1.2)对视频序列进行简单的线性迭代聚类SLIC，得到视频序列的超像素块，该简 单的线性迭代聚类算法根据像素点之间的颜色相似性与邻近性进行分簇，不仅考虑了像素 点之间的空间距离，还考虑了其彩色信息的差异性。
[0035]步骤二，提取超像素块的静态特征。
[0036]每一个超像素块的静态特征，包括颜色特征值、直方图特征值和纹理特征值。
[0037]参照图2,本步骤的具体实现如下：
[0038] 2.1)提取颜色特征：
[0039] 2.1.1)利用matlab中的颜色函数先求得输入视频图像中每一个像素点的RGB颜色 特征值;再对各个超像素块中的所有像素点颜色特征求平均，得到超像素块的颜色特征值 Fci，其中i表示R、G、B三个颜色通道1 = 1，2,3几1={1(1)，~1(」），~^11)}表示第1个 颜色通道中所有超像素块的颜色特征值，fca(j)为第i个颜色通道中第j个超像素块的颜色 特征值，j表示序列中的超像素块j = 1，???!!，n是序列中所包含的超像素块的数量；
[0040] 2.1.2)按下述公式对颜色特征值归一化，得到颜色特征矩阵N〇rc；i( j):
[0042]其中，p表示Fci，maxP和minP分别是R、G、B三个颜色通道中的最大值和最小值；
[0043] 2.2)提取直方图特征：
[0044] 2.2.1)将待求视频图像的颜色空间划分成若干个小的颜色区间，使每个区间成为 直方图的一个条状区，并计算落在每个小区间的像素数量得到颜色直方图；再对各个超像 素块中的所有像素点直方图特征求平均，得到超像素块的直方图特征值F hl，其中Fhl={fhl (1)，…fhdjh-fhdn)}表示第i个特征向量中所有超像素块的直方图特征值，fhl(j)为第i 个特征向量中第j个超像素块的直方图特征值；
[0045] 2.2.2)对直方图特征值归一化，得到直方图特征矩阵Norhi( j):
[0047] 其中，㈨是第i个通道中所有直方图特征值的和； k=\
[0048] 2.3)提取纹理特征：
[0049] 2.3.1)取输入视频图像的局部方向模式特征，再对各个超像素块中的所有像素点 局部方向模式特征求平均，得到超像素块的纹理特征值Fii，其中Fii={fli(l)，-_fli (」_)，一〇1(1〇}表示第1个特征向量中所有超像素块的纹理特征值411(」）为第1个特征向 量中第j个超像素块的纹理特征值；
[0050] 2.3.2)对纹理特征值归一化，得到纹理特征矩阵Norii( j):
L〇〇52J 其中q表不Fii，maxq和minq分别是三个颜色通道纹理特征向量的最大值和最小值。 [0053]步骤三，提取超像素块的动态特征，获得动态特征矩阵。
[0054]参照图3,本步骤的具体实现如下：
[0055] 3.1)用局部方向模式纹理特征代替原始视频帧中的亮度连续与高阶连续，将相邻 两帧视频图像的纹理特征值用光流法进行差分处理，得到前一帧图像的光流场特征值，将 每一帧图像的光流场特征值分解为水平方向vx和垂直方向vy两个特征；
[0056] 3.2)计算每一个超像素块所包含像素点水平方向vx和垂直方向vy的特征均值，并 用这两个特征的均值组成特征向量作为该超像素块的动态特征Fmz，其中z表示vx、Vy两个方 向的特征向量z=l，2，Fm z = {fmz(l)，…fmz( j)，…fmz(n)}表示第i个特征向量中所有超像素 块的动态特征值，fmz(j)表示第Z个特征向量中第j个超像素块的动态特征值；
[0057] 3.3)将水平方向vx和垂直方向vy的超像素块动态特征值归一化，得到动态特征矩 阵N〇rmz (j):
[0059] 其中，t表示Fmz，maxt和mint分别是纹理特征向量的最大值和最小值。
[0060] 步骤四，对超像素块的静态特征和动态特征进行融合。
[0061] 将超像素块静态和动态特征向量融合后的特征矩阵用F={N〇rc；1(j)，N〇rhl(j)， Norn(j)，Normz(j)}表示，将视频序列前15帧图像所有超像素块特征向量Fi作为训练样本进 行K-means聚类，其步骤如下：
[0062] 4 ? 1)将训练样本Fi表不为{region1，region2，."regions，…region" 1}，其中 region3表示F冲第s个超像素块的特征向量，s = l，2…，nl，nl表示样本含的超像素块 的个数；
[0063] 4.2)将聚类中心表示为{^1，必"此，~此}，其中此表示第^"类的聚类中心，『= 1，2…，k，k表示聚类中心的个数；
[0064] 4.3)计算代8丨〇113与1^个聚类中心之间的最小欧氏距离(^):
[0065] C(s) =argminr | | regions_iir | |2，
[0066] 其中| | | |2是二范数的表示，| | regions_iir | |2表示region3与第r个聚类中心yr之间 的欧式距离，argminr表示取k个欧式距离中的最小值；
[0067] 4.4)将regi0ns添加到最小欧式距离C(s)对应的类 r中，重新计算该类的聚类中心：
[0069] 其中，表示所有属于类r的超像素块的集合； 5--1
[0070] 4.5)将步骤4.3)和4.4)进行迭代运算之后得到k个训练样本。
[0071 ]步骤五，多回归模型训练与测试
[0072] 5.1)用k个训练样本分别训练k个回归模型；
[0073] 5.2)对于每个测试集超像素块，计算它与各个聚类中心的欧式距离，用最小欧式 距离对应类的回归模型得到每一个测试超像素块对应的显著值；
[0074] 5.3)将得到的显著值映射到每个测试块中得到视频测试序列显著图。
[0075]本发明的效果通过以下实验进一步说明：
[0076] 1 ?实验条件
[0077]实验硬件设备:PHILIPS台式机；
[0078] 实验软件平台：Windows7操作系统下的MATLAB R2012a;
[0079] 2.实验内容与结果
[0080] 第一步，用本发明和已有的六种视频显著性算法Seo、CBSal、Rahtu、PDA、Seg、GBVS 分别对视频分割数据库中的视频进行显著性检测，各个方法对比结果如图4所示，其中： [00811图4(a)表示原始视频序列，图4(b)是用TOA方法性检的显著图，图4(c)是用Seo方 法性检的显著图，图4(d)是用Rahtu方法性检显著图，图4(e)是用Seg方法性检的显著图，图 4(f)是用GBVS方法性检的显著图，图4(g)是用CBSal方法性检的显著图，图4(h)是用本发明 检验的显著图，图4(i)是类标显著图。
[0082] 第二步，采用查准率-查全率曲线Precision-Recall对图4进行评测，结果如图5所 示，其中图5是这些方法的查准率-查全率曲线Precision-Recall。
[0083]第三步，为了更好的评估并且区分这些方法，进一步计算R0C曲线以及它与坐标轴 所围区域面积AUC，结果如图6所示，其中图6(a)是这些方法的R0C曲线图，图6(b)是R0C曲线 与坐标轴所围面积的直方图AUC。
[0084]综合上述评测方法，从不同的角度比较各方法之间的优劣。
[0085] 3.实验结果分析
[0086]图4直观地显示出不同方法效果上的差异：
[0087]对于第三行包含多目标的视频，本发明不仅可提取出大目标显著区域，而且能把 小目标显著区域提取出来，而其余方法只能得到大目标的轮廓；
[0088]对于第四行和第五行的单目标视频，Rahtu方法由于没有滤去背景的影响，导致得 到的显著区域与背景对比不强烈，使得结果出现偏差；
[0089]对于第六行视频目标背景复杂，用Seg和CBSal方法处理时，因受到树枝等细节的 干扰，所得结果中目标与背景融为一体，而本发明结果可以明显看出目标的轮廓和细节信 息。
[0090] 图5、图6所示的Precision-Recall曲线、R0C曲线更加直观的显示出本发明的优越 性。
[0091]综上，本发明所述的视频显著性检测方法在该领域中明显优于现有视频显著性检 测方法。
【主权项】
1. 一种基于区域分割的视频显著性检测方法，包括如下步骤： (1) 输入待检测的视频帖，提取每一帖图像的静态特征和动态特征； (Ia)对输入的图像进行线性迭代聚类，得到超像素块，求取每一个超像素块中所包含 像素点的颜色特征值、直方图特征值和纹理特征值，并用运=个特征的均值组成特征向量 作为该超像素块的静态特征； Qb)将相邻两帖视频图像的纹理特征值用光流法进行差分处理，得到前一帖图像的光 流场特征值； (lc) 将每一帖图像的光流场特征值分解为水平方向VX和垂直方向vy两个特征； (ld) 计算每一个超像素块所包含像素点水平方向VX和垂直方向vy的特征均值，并用运 两个特征的均值组成特征向量作为该超像素块的动态特征； (2) 将步骤(1)中得到的超像素块静态特征和动态特征进行融合，得到每一个超像素块 的特征向量，对视频序列所有超像素块的特征向量进行归一化，得到特征向量集F，将视频 序列前15帖图像所有超像素块特征向量Fi作为训练样本进行K-means聚类，得到k = 5个训 练样本W及对应的聚类中屯、； (3) 把聚类得到的5个训练样本分别输入到支持向量机中，训练得到5个SVR回归模型； (4) 取特征向量集F中剩余部分向量F2作为测试样本，分别计算F2中每个向量与k个聚类 中屯、的欧式距离，寻找最邻近的类，并用与该最邻近的类相对应的SVR回归模型测试得到样 本F2中每一个超像素块对应的显著值，构成显著值向量； (5) 将得到的显著值向量依次映射到测试样本中的所有超像素块上，得到测试序列显 著图。2. 根据权利要求1中所述的方法，其中步骤（Ia)中求取超像素块的颜色特征值，是利用 matlab中的颜色函数先求得输入待求的视频图像中每一个像素点的RGB颜色特征值;再对 各个超像素块中的所有像素点颜色特征求平均，得到超像素块的颜色特征值。3. 根据权利要求1中所述的方法，其中步骤（Ia)中求取超像素块的直方图特征值，是先 将待求视频图像的颜色空间划分成若干个小的颜色区间，使每个区间成为直方图的一个条 状区，并计算落在每个小区间的像素数量得到颜色直方图；再对各个超像素块中的所有像 素点直方图特征求平均，得到超像素块的直方图特征值。4. 根据权利要求1中所述的方法，其中步骤（Ia)中求取超像素块的纹理特征值，是先提 取输入视频图像的局部方向模式特征，再对各个超像素块中的所有像素点局部方向模式特 征求平均，得到超像素块的纹理特征值。5. 根据权利要求1中所述的方法，其中步骤(2)中对视频序列所有超像素块特征归一化 组成特征向量集F，按照如下步骤进行： (2a)按下述公式对颜色特征归一化，得到颜色特征矩阵Noru(j):其中i表示R、G、BS个颜色通道i = 1，2，3，j表示序列中的超像素块j = 1，???]!，n是序列 中所包含的超像素块的数量，抗1=化1(1)，-屯1〇'），-屯1(1〇}表示第1个颜色通道中所有 超像素块的颜色特征值，fu(j)为第i个颜色通道中第j个超像素块的颜色特征值，将Fci表 示为P，maxp和minp分别是R、G、B=个颜色通道中的最大值和最小值； (2b)对直方图特征值归一化，得到官方阁据佈巧降Norhi (j):其中Fhi = {f hi (1)，…f hi (j)，…f hi (n) j表不第i个特祉向量中所有超像素块的直方图特 征值，fhi(j)为第i个特征向量中第j个超像素块的直方图特征值，1>州是第i个通道中所 k=l 有直方图特征值的和。 (2c)对纹理特征值归一化，得$||纺巧赔饰巧随Nor。n);其中Fii = {fli(l) ,???flK j) ,???fli(n)}表示第i个特征向量中所有超像素块的纹理特 征值，fli( j)为第i个特征向量中第j个超像素块的纹理特征值，将Fii表示为q，maxq和minq 分别是=个颜色通道纹理特征向量的最大值和最小值； (2d)对步骤（Id)中得出水平方向VX和垂直方向vy的超像素块动态特征值归一化，得到 运动特征矩阵Normz(j):其中其中Z表示vx、vy两个方向的特征向量Z = I，2，Fmz = {fmz(l)，…fmz( j)，…fmz(n)}表 示第i个特征向量中所有超像素块的动态特征值，fmz(j)表示第Z个特征向量中第j个超像素 块的动态特征值，将Fmz表示成t，maxt和mint分别是纹理特征向量的最大值和最小值； (2e)将上述步骤（2a)、（2b)、（2c)和（2d)得到的特征矩阵进行融合，即得到特征向量 集：F= (NorciO) ,NorhiO) ,NoriiO) ,Normz(J)}。6.根据权利要求1所述的方法，其中步骤(2)中将视频序列前15帖图像所有超像素块特 征向量Fi作为训练样本进行K-means聚类，按照如下步骤进行： (2a)将训练样本Fi表示为{regioni,region2 'regions,…region"}，其中regions表示 Fi中第S个超像素块的特征向量，S = I，nl，nl表示样本Fi包含的超像素块的个数； (2b)将聚类中屯、表示为…化，…化}，其中yr表示第r个类的聚类中屯、，r=l， 2…，k，k表示聚类中屯、的个数； (2c)计算regions与k个聚类中屯、之间的最小欧氏距离C^: C(S) = argminr I IregionS-UrI |2 其中I |regionS-]ir| I嗦示regions与第r个聚类中屯、Jir之间的欧式距离，argminr表示取 k个欧式距离中的最小值； (2d)将regions添加到最小欧式距离对应的类r中，重新计算该类的聚类中屯、：将新的聚类中屯、表示为|片：1，科2…啡v..,u/cj，其中表示第r个类新的聚类中屯、。 -打1 = ,.}表示所有属于类r的超像素块的集合； (2e)按照步骤(2c)-(2d)进行迭代，得到最优k值。
【文档编号】G06T7/20GK105913456SQ201610224972
【公开日】2016年8月31日
【申请日】2016年4月12日
【发明人】韩冰, 魏国威, 仇文亮, 高新波, 张景滔, 王平
【申请人】西安电子科技大学