基于增量式高次布尔能量最小化的视频前后景分割方法
【专利摘要】基于增量式高次布尔能量最小化的视频前后景分割方法属于视频处理领域；该方法输入视频；再构建当前帧的高次布尔能量函数；通过Ishikawa等价变换，将高次布尔能量函数等效变换为二次布尔能量函数；利用二次布尔能量函数，构建高次布尔能量函数对应的s/t图模型；计算当前帧高次布尔能量函数对应的剩余s/t图；计算当前帧高次布尔能量函数对应的剩余s/t图最大流；输出该剩余s/t图最大流对应的前后景分割后的视频帧；逐帧进行以上操作直至最后一帧；本发明既能利用高次布尔能量函数表示复杂的视觉信息，又能减少高次布尔能量最小化过程中的重复运算，从而达到比二次布尔能量函数更精确和比独立帧高次布尔能量最小化更高效的效果。
【专利说明】基于增量式高次布尔能量最小化的视频前后景分割方法
【技术领域】
[0001]基于增量式高次布尔能量最小化的视频前后景分割方法属于视频处理领域，具体涉及一种视频前后景的分割方法。
【背景技术】
[0002]视频前后景分割一直是机器视觉领域的研究热点，是进一步进行目标识别和目标跟踪的必要步骤。近年来，此方面的研究成果不断丰富，涌现出了各式各样的前后景分割方法，基于布尔能量最小化的前后景分割是其中的一种有效方法。
[0003]Y.Boykov 等人(IEEE Transactions on Pattern Analysis and Machine Intelligence, 23 (11): 1222-1239，2001)和 C.Couprie 等人(IEEE Transactions on PatternAnalysis and Machine Intelligence, 33 (7): 1384-1399，2011)的研究成果表明，基于二次布尔能量(即交叉项最高次为二次的多元0-1多项式)最小化的前后景分割方法一般应用于单幅或少量图像处理的任务中。实验证明，图割算法是求解二次布尔能量最小化的最有效的方法之一。图割算法通常将图像中的每个像素看作一个布尔变量，按照一定的规则构建二次布尔能量函数，然后根据能量函数构建相应的s/t图，二次布尔能量函数中每一布尔变量对应s/t图的一个节点，再利用最小割/最大流算法(IEEE Transactions on PatternAnalysis and Machine Intelligence, 26 (9): 1124-1137，2004)切割 s/t 图得到 s/t 图的最小割° V.Kolmogorov 等人(IEEE Transactions on Pattern Analysis and MachineIntelligence, 26 (2): 147-159，2004)的研究成果表明s/t图最小割时s/t图各节点对应变量的取值使得二次布尔能量最小化。在单幅图像的前后景分割任务(InternationalJournal of Computer Vision, 70 (2): 109-131，2006)中，将二次布尔能量最小化时取值为I的布尔变量相对应的像素标为前景，取值为O的布尔能量对应的像素标为背景，便得到了最优的前后景分割方式。视频是图像的有序序列，将以上方法直接应用在视频的前后景分割中时面临以下问题:(I)需每一帧都独立的求解布尔能量最小化，时间复杂度太高；(2)传统的二次布尔能量函数最多只能描述二维关系，即两个变量之间的差异，能量函数包含的信息不够丰富，对于更为复杂的视觉信息无法描述。
[0004]为解决连续帧独立求解最小二次布尔能量时复杂度高的问题，Kohli考虑了视频帧序列中前后两帧之间的关联性，利用前一帧的二次布尔能量最小化结果构建当前帧的s/t图，避免了每一巾贞都独立求解二次布尔能量最小化中的重复运算(IEEE Transactions onPattern Analysis and Machine Intelligence, 29 (12): 2079-2088，2007)。但是这种方法中的二次布尔能量无法刻画复杂的视觉信息。
[0005]近年来，布尔能量的广义模型——高次布尔能量(即交叉项最高次大于二次的多元0-1多项式)越来越多的应用于复杂视觉信息的建模。Kohli等人提出了基于Potts模型的高次倉泛量最小化方法(IEEE Transactions on Pattern Analysis and Machine Intelligence, 31 (9): 1645-1656，2009)。Ishikawa提出了一种将高次项变换为二次项的方法(IEEETransactions on Pattern Analysis and Machine Intelligence, 33(6):1234-1249，2011)，从而使得高次能量最小化问题可以转化为二次能量最小化问题。研究资料表明，目前的高次布尔能量主要应用于单幅或少量图像中的复杂视觉信息刻画，若将其应用于视频帧序列的前后景分割中，则仍需每一帧都独立的求解高次布尔能量最小化。这种独立帧处理方式没有考虑视频前后帧之间的关联信息，重复运算量大，处理效率低。
【发明内容】
[0006]为了解决上述问题，本发明公开了一种基于增量式高次布尔能量最小化的视频前后景分割方法，该方法既能利用高次布尔能量函数表示复杂的视觉信息，又能减少高次布尔能量最小化过程中的重复运算，从而达到比二次布尔能量函数更精确和比独立帧高次布尔能量最小化更高效的效果。
[0007]本发明的目的是这样实现的:
[0008]基于增量式高次布尔能量最小化的视频前后景分割方法，其特征在于包括以下步骤:
[0009]步骤a、输入视频；
[0010]步骤b、构建当前帧的高次布尔能量函数；
[0011]步骤C、通过Ishikawa等价变换,将步骤b得到的高次布尔能量函数等效变换为二次布尔能量函数；
[0012]步骤d、利用步骤c得到的二次布尔能量函数，构建步骤b中高次布尔能量函数对应的s/t图模型；
[0013]步骤e、计算当前帧高次布尔能量函数对应的剩余s/t图；
[0014]步骤f、计算当前帧高次布尔能量函数对应的剩余s/t图最大流；
[0015]步骤g、输出前后景分割后的视频。
[0016]上述基于增量式高次布尔能量最小化的视频前后景分割方法，其特征在于所述的步骤b具体为:
[0017]在首帧用线段简略标明前景和背景的区域，线段上划到的少量像素作为已知分割结果的像素点，然后按照如下公式进行计算，
[0018]
【权利要求】
1.基于增量式高次布尔能量最小化的视频前后景分割方法，其特征在于包括以下步骤: 步骤a、输入视频； 步骤b、构建当前帧的高次布尔能量函数； 步骤C、通过Ishikawa等价变换,将步骤b得到的高次布尔能量函数等效变换为二次布尔能量函数； 步骤d、利用步骤c得到的二次布尔能量函数，构建步骤b中高次布尔能量函数对应的s/t图模型； 步骤e、计算当前帧高次布尔能量函数对应的剩余s/t图； 步骤f、计算当前帧高次布尔能量函数对应的剩余s/t图最大流； 步骤g、输出前后景分割后的视频。
2.根据权利要求1所述的基于增量式高次布尔能量最小化的视频前后景分割方法，其特征在于所述的步骤b具体为: 在首帧用线段简略标明前景和背景的区域，线段上划到的少量像素作为已知分割结果的像素点，然后按照如下公式进行计算，
3.根据权利要求1所述的基于增量式高次布尔能量最小化的视频前后景分割方法，其特征在于所述的步骤c具体为: 利用下式进行计算:
4.根据权利要求1所述的基于增量式高次布尔能量最小化的视频前后景分割方法，其特征在于所述的步骤d具体为: 在对应的s/t图模型中，顶点s和t分别代表前景和背景，除s和t外的每一个节点代表能量函数中的一个变量，其中能量函数中一次项系数为节点与顶点之间连边(t-link)的容量，表示视频帧中像素点划为前景或背景所付出的代价，二次项系数为某邻域内节点之间连边(n-link)的容量，表示某邻域内像素点之间的不一致性。
5.根据权利要求1所述的基于增量式高次布尔能量最小化的视频前后景分割方法，其特征在于所述的步骤e具体为: 将当前帧高次能量函数对应的s/t图各个连边的容量减去前一帧高次能量函数对应的最大流，得到当前帧剩余s/t图各个连边的容量；如果 当前帧的剩余s/t图的连边容量满足边界容量和质量平衡约束(即剩余图各连边容量全为正)，则当前帧的剩余s/t图无须改变，可以继续到下一步处理； 当前帧的剩余s/t图连边容量不满足边界容量和质量平衡约束(即剩余图各连边容量有负值)，则通过动态算法进行再参数化，使得剩余s/t图的连边容量更新，从而得到与负容量剩余s/t图等价的非负容量剩余s/t图，并且以此非负容量剩余s/t图作为当前帧的剩余s/t图。
6.根据权利要求1所述的基于增量式高次布尔能量最小化的视频前后景分割方法，其特征在于所述的步骤f具体为: 利用最小割/最大流法计算出当前帧剩余s/t图的最大流(视频首帧直接求解其s/t图最大流即可)，从而得到当前帧的高次布尔能量的最优解；最优解为I的变量对应的像素被分割为前景，最优解为O的像素被分割为后景，当前帧的前景和后景像素得以分割。
【文档编号】G06T7/00GK103500447SQ201310433206
【公开日】2014年1月8日 申请日期:2013年9月18日 优先权日:2013年9月18日
【发明者】任鹏, 邸萌萌, 宋华军 申请人:中国石油大学(华东)