一种基于轨迹有向图的视频对象协同分割方法与流程

本发明涉及图像，视频处理技术领域，具体地说是涉及一种基于轨迹有向图的视频对象协同分割方法。

背景技术：

随着互联网和多媒体技术的蓬勃发展，人们获取图像的手段日益方便与灵活，如在监控视频，社交网络，新闻报道等领域中，视频数据逐渐增多，视频数据包含更为丰富的信息，在视频数据爆炸性增长的过程中，人们对视频数据智能化处理的需求也日益增长。视频对象分割是一个具有挑战性的领域，旨在视频中提取人们所关注的主要对象的区域，相较于图片分割，视频对象分割利用视频中对象的运动信息，可以更为有效地提取有意义的对象区域，然而对于一些运动复杂的视频，视频对象分割依然较难以准确提取对象，视频协同分割利用多组视频的信息，不仅利用了单个视频内对象的运动信息，同时利用了与其他视频内对象的相似性，因此可以在多个视频内更为准确地提取多类对象。视频对象协同分割可以用于视频检索，视频监控，基于内容的图像/视频缩放，图像/视频编码等领域。

Fu等人在2014年美国电气电子工程师协会计算机视觉和模式识别会议上发表了“基于物体的多类前景视频协分割”一文，该文将各个候选区域作为每帧的各个状态，并设计了一个多状态选择图模型，通过能量函数最小化方法在各个帧内挑选多类对象，该算法要需要多类对象均共同存在于每个视频中，并且无法处理如遮挡现象等对象不存在于某一帧内的情况，限制了算法的应用。

Zhang等人在2014年欧洲计算机视觉国际会议上发表了“基于加权团的视频对象协分割”一文，该文利用候选对象跟踪构成轨迹，将多个视频的所有轨迹相连构成最大团，再使用相似性阈值将共同对象之间边保留，非共同对象的边去除，将加权团分数最大的团作为主要共同对象，该方法的具体步骤如下：

(1)、为每个视频帧生成光流场及若干候选对象区域，并计算各个候选对象的分数；

(2)、为每个候选对象进行前向及后向的跟踪，形成大量轨迹，对轨迹进行最大化抑制，减少轨迹数目，并对最大化抑制后的轨迹进行轨迹分割。

(3)、将各条轨迹两两相连，构成一个无向有权图，各条轨迹为图中的结点，计算轨迹之间的相似性作为边的权值，根据(1)中的候选对象分数计算轨迹的分数作为结点的权值，通过一个人工设定的阈值将图中边的权值小于阈值的边去掉，利用最大团提取算法提取各个最大团，并计算各个最大团的加权团分数，将加权团分数最大的最大团作为主要对象进行提取。提取后的最大团内的对象区域作为种子点建立GMM模型对每帧进行细化分割，得到最终的分割结果。

(4)、将已提取的最大团从图结构中剔除，重新加权团分数最大的最大团作为主要对象并进行细化分割。

但是上述方法存在的不足是需要人工设定视频间共同对象的相似性，使得算法不够可靠，对相似性阈值的敏感度较高。综上所述，现有的视频对象协同分割方法，不能准确、无约束地提取多个视频内的各个对象，这影响了视频对象协同分割方法的广泛应用。

技术实现要素：

本发明的目的在于针对已有技术中存在的缺陷，提出一种基于轨迹有向图的视频对象协同分割方法，该方法能够在不需要人工设定视频间共同对象的相似性阈值的情况下，更为准确地自动地提取出视频组中出现的多类对象。

为了达到上述目的，本发明采用的技术方案如下：

一种基于轨迹有向图的视频对象协同分割方法，具体步骤如下：

(1)、分别输入原始视频组中个第m个视频序列V_m(m＝1,...,M)，对视频V_m其中的第t帧记为F_m,t(t＝1,...,N_m)；

(2)、利用稠密光流法算法，得到视频帧F_m,t的像素点的运动矢量场，为各个视频帧F_m,t产生初始显著性图IS_m,t，利用候选对象生成方法，为各个视频帧F_m,t产生q个候选对象区域，记为x_m,t,i(i＝1,...,q)；

(3)、对各个视频帧内的各个候选对象区域x_m,t,i分别在整段视频内进行前向以及后向的追踪，并对产生的轨迹进行最大化抑制以及轨迹分割，最终生成一组轨迹集合X_k(k＝1,...,K)；

(4)、构建一个有向有权图G＝(V,E)，其中，V表示视频组内所有轨迹X_k(k＝1,...,K)的集合，E表示图中结点之间所有有向边的集合，e＝(X_k,X_l)为X_k与X_l之间设置一条有向边，方向由X_k指向X_l。

(5)、将有向有权图G＝(V,E)转化为无向有权图G＝(V,E')，利用最大团提取算法提取各个最大团，并计算各个最大团的加权团分数，将加权团分数最大的最大团作为第j类主要对象O_j，对应团内的轨迹的各个区域作为主要对象区域，利用主要对象区域作流型排序，得到对象级的显著性图OS_m,t，利用主要对象区域及对象级显著性图作GrabCut得到最终的细化分割结果。

(6)、提取多类对象，根据得到的第j类主要对象的细化分割结果，更新初始显著性图，重新计算最大团分数，得到其他类的对象；

上述步骤(2)中的生成像素点的运动矢量场，初始显著性图及候选对象区域的方法，具体步骤如下：

(2-1)、对于视频帧F_m,t，参照其前一帧F_m,t-1，利用稠密光流场估计算法LDOF，得到视频帧F_m,t中每个像素点相对应于前一帧F_m,t-1的每个像素点运动矢量，把所有的运动矢量保存到w×h的矩阵里，得到视频帧F_m,t-1的运动矢量场其中，w和h分别为视频帧的宽度和高度；

(2-2)、为每个视频V_m单独使用基于超像素的时空显著性检测方法，即SP法，获得每帧的初始显著性图IS_m,t；

(2-3)、利用候选对象生成算法为每个视频帧F_m,t单独生成q个候选对象区域，q取100；

上述步骤(3)中的为各个视频生成轨迹集合的方法，具体步骤如下：

(3-1)、首先定义各个候选对象的初始对象分数IOS(x_m,t,i)，其计算公式为：

其中，p表示像素点，p∈x_m,t,i表示候选对象x_m,t,i内的像素点，p∈F_m,t表示帧F_m,t内的所有像素点，|x_m,t,i|表示候选对象x_m,t,i内的像素数目；

(3-2)、为每个候选对象x_m,t,i在单个视频V_m内进行前向及后向的轨迹跟踪，向前跟踪至第一帧，向后跟踪至最后一帧，得到每个候选对象x_m,t,i所对应的一条轨迹X_m,t,i，以后向跟踪为例，对于第t帧的候选对象x_m,t,i向后寻找第t+1帧中的一个最匹配候选对象x_m,t+1,j，前后两帧的任意两个候选对象的匹配性记为S^simi(x_m,t,i,x_m,t+1,j)，其计算公式为：

其中，h_m,t,i及h_m,t+1,j分别表示候选对象x_m,t,i及x_m,t+1,j的RGB颜色直方图，χ²(·)计算颜色直方图之间的卡方距离，warp_t,t+1(x_m,t+1,j)为将候选对象x_m,t+1,j通过运动矢量场映射到第t帧中的区域，|x_m,t,i∩warp_t+1,t(x_m,t+1,j)|为两个区域之间的交集像素数目，|x_m,t,i∪warp_t+1,t(x_m,t+1,j)|为两个区域的并集像素数目；

(3-3)、在单个视频V_m内对所有轨迹进行最大化抑制，定义每条轨迹的初始轨迹分数ITS(X_m,t,i)，其计算公式为：

ITS(X_m,t,i)＝∑_x∈Xm,t,i IOS(x)

其中，x表示一个候选对象，x∈X_m,t,i表示属于轨迹X_m,t,i的所有候选对象，从所有轨迹中选择一条初始轨迹分数最高的轨迹，作为参考轨迹X^R，并依次计算X^R与其他所有轨迹Y的重叠度O(X^R,Y)，其计算公式为：

其中，x∈X^R表示所有属于参考轨迹X^R的候选对象，y∈Y表示所有属于轨迹Y的候选对象，将O(X^R,Y)＞0.5的所有轨迹Y从轨迹集合中剔除，从新的轨迹集合中选取一条除X以外的另一条初始轨迹分数最高的轨迹，并重复此步骤多次，直到所有剩余的轨迹都已被作为参考轨迹；

(3-4)、对最大化抑制后的所有轨迹进行轨迹拆分，若轨迹内前后两帧候选对象匹配性符合S^simi(x_m,t,i,x_m,t+1,_j)＜(u-1.5·σ²)

则将x_m,t,i与x_m,t+1,j的边断开，使成为两条新的轨迹，其中，u为原轨迹中所有前后两帧候选对象匹配性的平均值，σ²为原轨迹中所有前后两帧候选对象匹配性的方差，最终生成一组轨迹集合X_m,k(m＝1,...,M；k＝1,...,K)；

上述步骤(4)中的构建一个有向有权图的方法，具体步骤如下：

(4-1)、依次为每条轨迹X_m,k生成一组临时协同显著性图定义并初始化定义一组标记图并初始化为任意两条轨迹的相似性定义为S^simi(X_m,k,X_n,l)，其计算公式为：

S^simi(X_m,k,X_n,l)＝1-χ²(h_m,k,h_n,l)

其中，h_m,k为轨迹X_m,k的颜色直方图，h_n,l为轨迹X_n,l的颜色直方图，为轨迹X_m,k在视频V_n中找到一条最相似轨迹X_n,l，将X_n,l内的候选对象与标记图作交集获得比较区域

并更新标记图：

计算轨迹X_m,k与各帧比较区域的相似性

将赋给相似性图中的对应位置：

随后为轨迹X_m,k在视频V_n中寻找下一条最相似轨迹X_n,l，重复进行上面的步骤，直到视频V_n中的所有轨迹都被寻找过，至所有轨迹都被寻找过后，计算轨迹X_m,k与标记图的相似性：

将赋给相似性图中的对应位置：

最后，将得到的相似性归一化到0到1之间，并与初始显著性图相乘得到临时协同显著性图

(4-2)、构建一个有向有权图G＝(V,E)，为每条轨迹X_m,k计算其他轨迹X_n,l的轨迹分数FTS_m,k(X_n,l)，计算公式为：

为每条轨迹X_m,k在各个视频的各帧中寻找轨迹分数FTS_m,k(X_n,l)最大的轨迹X_n,l，并在轨迹X_k与X_l之间设置一条有向边，方向由X_k指向X_l，记为e＝(X_m,k,X_n,l)，其中，V表示视频组内所有轨迹X_k(k＝1,...,K)的集合，E表示图中结点之间所有有向边的集合；

上述步骤(5)中的主要对象提取的方法，具体步骤如下：

(5-1)、将相互指向对方的两条轨迹之间设定为有边相连，将没有相互指向对方的两个轨迹结点以及没有任意有向边相连的两个轨迹结点之间设定为没有边相连，以此将有向有权图G＝(V,E)转化为无向有权图G＝(V,E')，并利用最大团提取算法提取各个最大团；

(5-2)、计算各个最大团的加权团分数W(C_h)，计算公式为：

将加权团分数最大的最大团作为第j类主要对象O_j，对应团内的轨迹的各个区域作为对象区域。

(5-3)、对于各个视频V_m将(5-2)中提取出的属于第j类主要对象内的候选对象区域x_m,t,i∈O_j内的像素点作为查询结点，对各个视频V_m分别做流型排序，生成一组对象级的显著性图OS_m,t

(5-4)、对于各个视频V_m将(5-2)中提取出的属于第j类主要对象内的候选对象区域x_m,t,i∈C_j内的像素点作为种子点作视频V_m的属于前景的高斯混合模型，对于视频V_m中的各帧F_m,t将(5-3)中得到的对象级的显著性图OS_m,t做最大类间方差阈值分割，将得到的背景区域的像素作帧F_m,t的属于背景的高斯混合模型，利用视频V_m的前景高斯混合模型以及视频帧F_m,t的背景高斯混合模型对各帧F_m,t作图分割得到最终的第j类主要对象的细化分割结果。

上述步骤(6)中的多类对象提取的方法，具体步骤如下：

(6-1)、为提取多类对象，对于(5-4)中得到的细化分割结果的区域在初始显著性图IS_m,t中置为一个适当的负数，更新得到新的初始显著性图，基于新的初始显著性图重新利用(3-1)中的公式计算候选对象的分数，并重复步骤(5-2)～(6-1)，依次得到多类对象的分割结果。

本发明的基于轨迹有向图的视频对象协同分割方法与现有的技术相比，具有如下优点：

该发明基于轨迹有向图的进行视频对象协同分割，能够不需要定义视频间对象的相似性程度，更为自动、更准确、完整地检测视频中的显著对象。

附图说明

图1是本发明的基于轨迹有向图的进行视频对象协同分割的流程图。

图2是本发明步骤(1)输入视频组中的两个视频中各抽取的一帧原始图像。

图3(a)是本发明步骤(2-2)中获得的初始显著性图。

图3(b)是本发明步骤(2-3)中获得的其中若干个候选对象区域。

图4是本发明步骤(3)中得到的一段连续3帧的轨迹结果。

图5(a)是本发明步骤(4)中得到的相似性图。

图5(b)是本发明步骤(4)中得到的临时协同显著性图。

图6(a)是本发明步骤(5)中得到的对象级显著性图。

图6(b)是本发明步骤(5)中得到的第一类对象的细化分割结果。

图7(a)是本发明步骤(6)中更新后的初始显著性图。

图7(b)是本发明步骤(6)得到的第二类对象的细化分割结果。

具体实施方式

下面结合说明书附图对本发明的实施例作进一步详细说明。

本发明进行的仿真实验是在CPU为3.4GHz、内存为16G的PC测试平台上编程实现。

如图1所示，本发明的基于轨迹有向图的视频对象协同分割方法，其具体步骤如下：

(1)、分别输入原始视频组中个第m个视频序列V_m(m＝1,...,M)，对视频V_m其中的第t帧记为F_m,t(t＝1,...,N_m)，如图2所示分别为两个视频的首帧；

(2)、利用稠密光流法算法，得到视频帧F_m,t的像素点的运动矢量场，为各个视频帧F_m,t产生初始显著性图IS_m,t，利用候选对象生成方法，为各个视频帧F_m,t产生q个候选对象区域，记为x_m,t,i(i＝1,...,q)；

(2-1)、对于视频帧F_m,t，参照其前一帧F_m,t-1，利用稠密光流场估计算法LDOF，得到视频帧F_m,t中每个像素点相对应于前一帧F_m,t-1的每个像素点运动矢量，把所有的运动矢量保存到w×h的矩阵里，得到视频帧F_m,t-1的运动矢量场其中，w和h分别为视频帧的宽度和高度；

(2-2)、为每个视频V_m单独使用基于超像素的时空显著性检测方法，即SP法，获得每帧的初始显著性图IS_m,t，如图3(a)所示；

(2-3)、利用候选对象生成算法为每个视频帧F_m,t单独生成q个候选对象区域，q取100，如图3(b)所示，为其中若干个候选对象区域；

(3)、对各个视频帧内的各个候选对象区域x_m,t,i分别在整段视频内进行前向以及后向的追踪，并对产生的轨迹进行最大化抑制以及轨迹分割，最终生成一组轨迹集合X_k(k＝1,...,K)；

(3-1)首先定义各个候选对象的初始对象分数IOS(x_m,t,i)，其计算公式为：

其中，p表示像素点，p∈x_m,t,i表示候选对象x_m,t,i内的像素点，p∈F_m,t表示帧F_m,t内的所有像素点，|x_m,t,i|表示候选对象x_m,t,i内的像素数目，每个候选对象x_m,t,i在单个视频V_m内进行前向及后向的轨迹跟踪，向前跟踪至第一帧，向后跟踪至最后一帧，得到每个候选对象x_m,t,i所对应的一条轨迹X_m,t,i，以后向跟踪为例，对于第t帧的候选对象x_m,t,i向后寻找第t+1帧中的一个最匹配候选对象x_m,t+1,j，前后两帧的任意两个候选对象的匹配性记为S^simi(x_m,t,i,x_m,t+1,j)，其计算公式为：

其中，h_m,t,i及h_m,t+1,j分别表示候选对象x_m,t,i及x_m,t+1,j的RGB颜色直方图，χ²(·)计算颜色直方图之间的卡方距离，warp_t,t+1(x_m,t+1,j)为将候选对象x_m,t+1,j通过运动矢量场映射到第t帧中的区域，|x_m,t,i∩warp_t+1,t(x_m,t+1,j)|为两个区域之间的交集像素数目，|x_m,t,i∪warp_t+1,t(x_m,t+1,j)|为两个区域的并集像素数目；

(3-3)、在单个视频V_m内对所有轨迹进行最大化抑制，首先定义每条轨迹的初始轨迹分数ITS(X_m,t,i)，其计算公式为：

其中，x表示一个候选对象，x∈X_m,t,i表示属于轨迹X_m,t,i的所有候选对象，从所有轨迹中选择一条初始轨迹分数最高的轨迹，作为参考轨迹X^R，并依次计算X^R与其他所有轨迹Y的重叠度O(X^R,Y)，其计算公式为：

其中，x∈X^R表示所有属于参考轨迹X^R的候选对象，y∈Y表示所有属于轨迹Y的候选对象，将O(X^R,Y)＞0.5的所有轨迹Y从轨迹集合中剔除，从新的轨迹集合中选取一条除X以外的另一条初始轨迹分数最高的轨迹，并重复此步骤多次，直到所有剩余的轨迹都已被作为参考轨迹；

(3-4)、对最大化抑制后的所有轨迹进行轨迹拆分，若轨迹内前后两帧候选对象匹配性符合S^simi(x_m,t,i,x_m,t+1,j)＜(u-1.5·σ²)

则将x_m,t,i与x_m,t+1,j的边断开，使成为两条新的轨迹，其中，u为原轨迹中所有前后两帧候选对象匹配性的平均值，σ²为原轨迹中所有前后两帧候选对象匹配性的方差，最终生成一组轨迹集合X_m,k(m＝1,...,M；k＝1,...,K)，如图4所示为一段轨迹区域；

(4)、构建一个有向有权图G＝(V,E)，其中，V表示视频组内所有轨迹X_k(k＝1,...,K)的集合，E表示图中结点之间所有有向边的集合，e＝(X_k,X_l)为X_k与X_l之间的一条有向边，方向由X_k指向X_l。

(4-1)、依次为每条轨迹X_m,k生成一组临时协同显著性图定义并初始化定义一组标记图并初始化为任意两条轨迹的相似性定义为S^simi(X_m,k,X_n,l)，其计算公式为：

S^simi(X_m,k,X_n,l)＝1-χ²(h_m,k,h_n,l)

其中，h_m,k为轨迹X_m,k的颜色直方图，h_n,l为轨迹X_n,l的颜色直方图，为轨迹X_m,k在视频V_n中找到一条最相似轨迹X_n,l，将X_n,l内的候选对象与标记图作交集获得比较区域

并更新标记图：

计算轨迹X_m,k与各帧比较区域的相似性

将赋给临时协同显著性图中的对应位置：

随后为轨迹X_m,k在视频V_n中寻找下一条最相似轨迹X_n,l，重复进行上面的步骤，直到视频V_n中的所有轨迹都被寻找过，至所有轨迹都被寻找过后，计算轨迹X_m,k与标记图的相似性：

将赋给临时协同显著性图中的对应位置：

最后，将得到的相似性图归一化到0到1之间，图4中轨迹的相似性图如图5(a)所示，将相似性图与初始显著性图相乘得到临时协同显著性图如图5(b)所示：

(4-2)、构建一个有向有权图G＝(V,E)，为每条轨迹X_m,k计算其他轨迹X_n,l的轨迹分数FTS_m,k(X_n,l)，计算公式为：

为每条轨迹X_m,k在各个视频的各帧中寻找轨迹分数FTS_m,k(X_n,l)最大的轨迹X_n,l，并在轨迹X_k与X_l之间设置一条有向边，方向由X_k指向X_l，记为e＝(X_m,k,X_n,l)，其中，V表示视频组内所有轨迹X_k(k＝1,...,K)的集合，E表示图中结点之间所有有向边的集合，图结构展示如图5所示；

(5)、将有向有权图G＝(V,E)转化为无向有权图G＝(V,E')，利用最大团提取算法提取各个最大团，并计算各个最大团的加权团分数，将加权团分数最大的最大团作为第j类主要对象O_j，对应团内的轨迹的各个区域作为主要对象区域，利用主要对象区域作流型排序，得到对象级的显著性图OS_m,t，利用主要对象区域及对象级显著性图作Grabcut得到最终的细化分割结果。

(5-1)、将相互指向对方的两条轨迹之间设定为有边相连，将没有相互指向对方的两个轨迹结点以及没有任意有向边相连的两个轨迹结点之间设定为没有边相连，以此将有向有权图G＝(V,E)转化为无向有权图G＝(V,E')，并利用最大团提取算法提取各个最大团；

(5-2)、计算各个最大团的加权团分数W(C_h)，计算公式为：

将加权团分数最大的最大团作为第j类主要对象O_j，对应团内的轨迹的各个区域作为对象区域。

(5-3)、对于各个视频V_m将(5-2)中提取出的属于第j类主要对象内的候选对象区域x_m,t,i∈O_j内的像素点作为查询结点，对各个视频V_m分别做流型排序，生成一组对象级的显著性图OS_m,t，如图6(a)所示；

(5-4)、对于各个视频V_m将(5-2)中提取出的属于第j类主要对象内的候选对象区域x_m,t,i∈C_j内的像素点作为种子点作视频V_m的属于前景的高斯混合模型，对于视频V_m中的各帧F_m,t将(5-3)中得到的对象级的显著性图OS_m,t做最大类间方差阈值分割，将得到的背景区域的像素作帧F_m,t的属于背景的高斯混合模型，利用视频V_m的前景高斯混合模型以及视频帧F_m,t的背景高斯混合模型对各帧F_m,t作图分割得到最终的第j类主要对象的细化分割结果，如图6(b)所示。

(6)、提取多类对象，根据得到的第j类主要对象的细化分割结果，重新计算最大团分数，得到其他类的对象；

(6-1)、为提取多类对象，对于(5-4)中得到的细化分割结果的区域在初始显著性图IS_m,t中置为一个适当的负数，更新得到新的初始显著性图，如图7(a)所示，基于新的初始显著性图重新利用(3-1)中的公式计算候选对象的分数，并重复步骤(5-2)～(6-1)，依次得到多类对象的分割结果，如图7(b)所示。

从上述仿真实验结果可以看出，本发明基于轨迹有向图的进行视频对象协同分割的方法，不需要定义视频间对象的相似性程度，更为自动、更准确、完整地检测视频中的显著对象。