一种结合似物度的无约束视频中显著物体检测方法与流程

本发明涉及计算机视觉，视频处理技术领域，具体地说是涉及一种结合似物度的无约束视频中显著物体检测方法。

背景技术：

人类的视觉系统能够从复杂的环境中快速准确地定位人眼感兴趣的区域，并做出相应的反应，并且根据心理学以及感知科学的研究，在大多数情况下，人眼在观察一幅图像时，不会在整个图像上平均分配注意力，而是会将注意力集中在图像中的某个区域上，该区域称之为显著对象。显著对象检测方法利用与图像关注度相对应的显著性图像将图像中的显著对象准确快速的检测出来。检测的结果表现为在图像中标记出一块矩形区域，该矩形区域尽可能多的包含显著对象而尽可能少的包含背景。显著性检测广泛用于基于内容的显著对象识别、图像/视频自适应、图像/视频压缩、图像/视频检索等诸多应用。近年来，已经提出了多种基于图像显著性的对象检测算法，如Shi等人在2012年4月出版的IEEE SIGNAL PROCESSING LETTERS期刊上发表的“基于区域间差异最大化的显著对象检测”方法，通过迭代地压缩ESS(Efficient Subwindow Search)的搜索空间，能够快速地找到显著性差异最大的区域，方法的具体步骤如下：

(1)、输入原始图像，利用已有的图像显著性模型得到原始图像的显著性图；

(2)、计算显著性图上每个像素点到显著性图的重心的欧式距离，得到修改后的显著性图；

(3)、通过迭代更新显著性图，找到与外部区域差异最大的目标矩形，该目标矩形内部区域的图像内容为检测出的显著对象。

Li等人在2015年12月出版的计算机应用期刊上发表的“基于视觉显著性图与似物性的对象检测”方法，通过利用显著性图、似物性的对象检测算法和边缘概率密度等信息检测出显著对象区域，方法的具体步骤如下：

(1)、在图像上提取大量具有较高似物性度量的矩形窗口，并估算出对象可能出现的位置，将窗口级的似物性度量转换到像素级的似物性度量；

(2)、把原始显著性图与像素级的似物性图进行融合，生成加权显著性图，分别二值化得到原始显著性图和加权显著性图，利用凸包检测得到最大查找窗口区域与种子窗口区域；

(3)、结合边缘概率密度搜索出最优的物体窗口。

Luo等人在2016年2月出版的Journal of Visual Communication and Image Representation期刊上发表的“寻找时空显著性路径的视频显著对象检测”方法，通过利用动态规划算法来寻找最优的显著性路径，得到显著对象检测结果，方法的具体步骤如下：

(1)、输入原始视频序列，利用已有的图像显著性模型生成空域显著性图，再利用稠密光流法算法，通过运动矢量场来移除全局运动，得到时域显著性图；

(2)、根据时域显著性图和空域显著性图的相互一致性特征，自适合地将两者进行线性融合，得到最终的时空显著性图。

(3)、定义矩形框的显著性密度，利用已有图像的显著对象检测方法，得到单帧的显著对象检测结果；

(4)、视频序列的时间一致性，利用动态规划算法来寻找最优的显著性路径，得到最终的显著对象检测结果。

但是上述方法存在的不足是，三种方法模型对运动复杂的视频序列不具有鲁棒性，依赖于显著性图的质量。综上所述，现有的显著对象检测方法不能准确、完整地提取无约束视频序列中的显著对象，这影响了显著对象检测的广泛应用。

技术实现要素：

本发明的目的在于针对已有技术中存在的缺陷，提出一种结合似物度的无约束视频中显著物体检测方法，该方法能够较为准确、完整地检测出无约束视频序列中的显著对象。

为了达到上述目的，本发明采用的技术方案如下：

一种结合似物度的无约束视频中显著物体检测方法，具体步骤如下：

(1)、输入原始视频序列F＝{F₁,F₂,...,F_M}，M是视频的帧数，对其中的第t帧记为F_t；

(2)、对于视频帧F_t，利用视频显著性模型、似物性的对象检测算法，得到初始的显著对象检测的矩形区域；

(3)、对于视频帧F_t，通过迭代更新似物度概率图和对象概率图，不断调整显著对象检测的矩形区域大小，得到单帧的显著对象检测结果；

(4)、利用稠密光流法算法，得到视频帧F_t的像素点的运动矢量场，计算相邻帧显著对象检测的矩形区域的重叠度，得到最终的显著对象检测结果。

上述步骤(2)中对于视频帧F_t，利用视频显著性模型、似物性的对象检测算法，得到初始的显著对象检测的矩形区域，具体步骤如下：

(2-1)、对于视频帧F_t，利用已有视频显著性模型，得到时空显著性图S_t(p)，p表示图像中每个像素；

(2-2)、对于视频帧F_t，利用似物性的对象检测算法生成N个候选矩形窗口相应地，每一窗口包含对象的概率表示为设定N＝1000，计算似物性概率图，其计算式为：

其中，O_t(p)表示第t帧图像中每个像素p的似物性分数；

(2-3)、对于视频帧F_t，计算对象概率图，其计算式为：

OP_t(p)＝S_t(p)·O_t(p) (2)

其中，OP_t(p)表示第t帧图像中每个像素p的对象概率值；

(2-4)、对于视频帧F_t，利用自适应的最大类间方差法(OSTU)，分别对时空显著性图S_t(p)、似物性概率图O_t(p)和对象概率图OP_t(p)进行二值化，分别得到最小外接矩形计算初始的显著对象检测的矩形区域，其计算式为：

其中，表示第t帧初始的显著对象检测的矩形区域。

上述步骤(3)中对于视频帧F_t，通过迭代更新似物度概率图和对象概率图，不断调整显著对象检测的矩形区域大小，得到单帧的显著对象检测结果，具体步骤如下：

(3-1)、设置迭代的初始值，其具体步骤如下：

(3-1-1)、设i表示迭代次数，其中，i为0,1,2,3，……；

(3-1-2)、设表示N个候选矩形窗口W_t与的重叠度大于等于0.5的候选矩形窗口的集合，初始状态其中W_t表示步骤(2-2)中初始的显著对象检测的矩形区域；

(3-1-3)、设表示在第i次迭代中更新的似物性概率图，初始状态其中O_t表示步骤(2-2)中得到的似物性概率图；

(3-1-4)、设表示在第i次迭代中更新的对象概率图，初始状态其中OP_t表示步骤(2-3)中得到的对象概率图；

(3-1-5)、设表示第i次迭代中更新的似物性概率图二值化得到的最小外接矩形区域，初始状态其中表示步骤(2-4)中得到的似物性概率图二值化得到的最小外接矩形区域；

(3-1-6)、设表示第i次迭代中更新的对象概率图二值化得到的最小外接矩形区域，初始状态其中表示步骤(2-4)中得到的对象概率图二值化得到的最小外接矩形区域；

(3-1-7)、设表示在第i次迭代中获得的显著对象检测的矩形区域，初始状态时其中表示步骤(2-4)中得到得初始的显著对象检测的矩形区域；

(3-2)、通过迭代更新似物度概率图和对象概率图，获得单帧的显著对象检测结果，其具体步骤如下：

(3-2-1)、第i次迭代中，计算更新后的似物度概率图，其计算式为：

其中，表示第i次迭代中似物性的对象检测算法生成N个候选矩形窗口W_t与的重叠度大于等于0.5的候选矩形窗口的集合，其计算式为：

其中，r_t^j表示第t帧第j个候选矩形窗口与的重叠度，其计算式为：

其中，|w_j|表示矩形区域内像素的数目；

(3-2-2)、第i次迭代中，计算更新后的对象概率图，其计算式为：

(3-2-3)、利用自适应的最大类间方差法(OSTU)，分别对似物性概率图和对象概率图进行二值化，分别得到最小外接矩形计算更新后的显著对象检测的矩形区域，其计算式为：

(3-3)、如果在第i次迭代中获得的矩形区域与第i-1次迭代中获得的矩形区域完全重合，则为获得的目标矩形W_t^*；否则继续步骤(3-2)通过迭代更新似物度概率图和对象概率图，获得目标矩形，该目标矩形内部区域的图像内容为检测出的显著对象。

上述步骤(4)中利用稠密光流法算法，得到视频帧F_t的像素点的运动矢量场，计算相邻帧显著对象的矩形区域的重叠度，得到最终的显著对象检测结果，具体步骤如下：

(4-1)、对于视频帧F_t，计算(3-3)中得到的矩形区域W_t^*的对象比例，其计算式为：

OR_t＝|W_t^*|/(w·h) (9)

其中，OR_t表示第t帧的对象比例大小，w和h分别表示视频序列的宽和高，计算平均对象比例，其计算式为：

其中，MOR表示该视频序列的平均对象比例大小，先排除对象比例过大的视频帧，其计算式为：

F_OS＝{F_t|F_t∈F,OR_t＞＝1.2*MOR} (11)

其中，F_OS表示对象比例过大的视频序列集合，补集在C_FF_OS里重新计算平均对象比例为MOR'，再排除对象比例过小的视频帧，其计算式为：

F_US＝{F_t|F_t∈C_FF_OS,OR_t＜＝0.8*MOR'} (12)

其中，F_US表示对象比例过小的视频序列集合；

(4-2)、利用稠密光流法算法，计算相邻帧显著对象的矩形区域的重叠度，其计算式为：

其中，表示第t+1帧显著对象的矩形区域与第t帧显著对象的矩形区域的重叠度，表示第t+1帧的显著对象的矩形区域映射到第t帧的最小外接矩形区域，由(4-2)和(4-3)得到对象比例适中的视频序列为设定相邻帧的映射跨度为两帧，在F'里计算第t帧的显著对象的矩形区域与相邻帧的平均重叠度，其计算式为：

排除重叠度过小的视频帧，其计算式为：

F_SO＝{F_t|F_t∈F',k_meanOverlap(W_t^*)＜＝0.3} (15)

其中，F_SO表示重叠度过小的视频序列集合，得到重叠度适中的视频序列集合

(4-3)、通过视频序列集合F”来恢复视频序列集合F_OS,F_US,F_SO，利用稠密光流法算法映射得到所有要恢复的视频帧，设置相邻帧的映射跨度为两帧，取所有映射到该帧的最小矩形区域的交集区域作为该帧的显著对象检测结果。

本发明结合似物度的无约束视频中显著物体检测方法与现有的技术相比，具有如下优点：

本发明方法通过迭代更新似物度概率图和对象概率图，增强空域显著对象检测结果的准确性；利用序列级的细化，增强了时间的一致性，能够更准确、完整地检测视频中的显著对象。

附图说明

图1是本发明的结合似物度的无约束视频中显著物体检测方法的流程图。

图2是本发明步骤(2)利用视频显著性模型、似物性的对象检测算法，得到初始的显著对象检测的矩形区域。

图3是本发明步骤(3)通过迭代更新似物度概率图和对象概率图，不断调整显著对象检测矩形区域的大小，得到单帧的显著对象检测结果。

图4是本发明步骤(4)利用稠密光流法算法，得到视频帧F_t的像素点的运动矢量场，计算相邻帧显著对象检测矩形区域的重叠度，得到最终的显著对象检测结果。

具体实施方式

下面结合说明书附图对本发明的实施例作进一步详细说明。

本发明进行的仿真实验是在CPU为3.4GHz、内存为8G的PC测试平台上编程实现。

如图1所示，本发明结合似物度的无约束视频中显著对象检测方法，其具体步骤如下：

(1)、输入原始视频序列F＝{F₁,F₂,...,F_M}，M是视频的帧数，对其中的第t帧记为F_t；

(2)、对于视频帧F_t，利用视频显著性模型、似物性的对象检测算法，得到初始的显著对象检测的矩形区域；

(3)、对于视频帧F_t，通过迭代更新似物度概率图和对象概率图，不断调整显著对象检测的矩形区域大小，得到单帧的显著对象检测结果；

(4)、利用稠密光流法算法，得到视频帧F_t的像素点的运动矢量场，计算相邻帧显著对象检测的矩形区域的重叠度，得到最终的显著对象检测结果。

上述步骤(2)中对于视频帧F_t，利用视频显著性模型、似物性的对象检测算法，得到初始的显著对象检测矩形区域，具体步骤如下：

(2-1)、对于视频帧F_t，利用已有视频显著性模型，得到时空显著性图S_t(p)，p表示图像中每个像素，如图2(b)所示；

(2-2)、对于视频帧F_t，利用似物性的对象检测算法生成N个候选矩形窗口相应地，每一窗口包含对象的概率表示为设定N＝1000，计算似物性概率图，其计算式为：

其中，O_t(p)表示第t帧图像中每个像素p的似物性分数，如图2(c)所示；

(2-3)、对于视频帧F_t，计算对象概率图，其计算式为：

OP_t(p)＝S_t(p)·O_t(p) (18)

其中，OP_t(p)表示第t帧图像中每个像素p的概率值，如图2(d)所示；

(2-4)、对于视频帧F_t，利用自适应的最大类间方差法(OSTU)，分别对时空显著性图S_t(p)、似物性概率图O_t(p)和对象概率图OP_t(p)进行二值化，分别得到最小外接矩形分别对应图2(e)、2(f)、2(g)所示，计算初始的显著对象检测的矩形区域，其计算式为：

其中，表示第t帧初始的显著对象检测的矩形区域，如图2(h)所示。

上述步骤(3)中对于视频帧F_t，通过迭代更新似物度概率图和对象概率图，不断调整显著对象检测矩形区域的大小，得到空域的对象检测结果，具体步骤如下：

(3-1)、设置迭代的初始值，其具体步骤如下：

(3-1-1)、设i表示迭代次数，其中，i为0,1,2,3，……；

(3-1-2)、设表示N个候选矩形窗口W_t与的重叠度大于等于0.5的候选矩形窗口的集合，初始状态其中W_t表示步骤(2-2)中初始的显著对象检测的矩形区域；

(3-1-3)、设表示在第i次迭代中更新的似物性概率图，初始状态其中O_t表示步骤(2-2)中得到的似物性概率图；

(3-1-4)、设OP_tⁱ表示在第i次迭代中更新的对象概率图，初始状态OP_t⁰＝OP_t，其中OP_t表示步骤(2-3)中得到的对象概率图；

(3-1-5)、设表示在第i次迭代中更新的似物性概率图二值化得到的最小外接矩形区域，初始状态其中表示步骤(2-4)中得到的似物性概率图二值化得到的最小外接矩形区域；

(3-1-6)、设表示在第i次迭代中更新的对象概率图二值化得到的最小外接矩形区域，初始状态其中表示步骤(2-4)中得到的对象概率图二值化得到的最小外接矩形区域；

(3-1-7)、设表示在第i次迭代中获得的显著对象检测的矩形区域，初始状态时其中表示步骤(2-4)中得到得初始的显著对象检测的矩形区域；

(3-2)、通过迭代更新似物度概率图和对象概率图，获得矩形区域，其具体步骤如下：

(3-2-1)、第i次迭代中，计算更新后的似物度概率图，其计算式为：

其中，表示第i次迭代中似物性的对象检测算法生成N个候选矩形窗口W_t与的重叠度大于等于0.5的候选矩形窗口的集合，其计算式为：

其中，r_t^j表示第t帧第j个候选矩形窗口与的重叠度，其计算式为：

其中，|w_j|表示矩形区域内像素的数目；

(3-2-2)、第i次迭代中，计算更新后的对象概率图，其计算式为：

(3-2-3)、利用自适应的最大类间方差法(OSTU)，分别对似物性概率图和对象概率图进行二值化，分别得到最小外接矩形计算更新后的显著对象检测的矩形区域，其计算式为：

(3-3)、如果在第i次迭代中获得的矩形区域与第i-1次迭代中获得的矩形区域完全重合，则为获得的目标矩形W_t^*；否则继续步骤(3-2)通过迭代更新似物度概率图和对象概率图，获得目标矩形，该目标矩形内部区域的图像内容为检测出的显著对象。如图3所示，三次迭代后终止，每一行依次表示更新的似物度概率图，对象概率图和得到的显著对象检测矩形区域。

上述步骤(4)中利用稠密光流法算法，得到视频帧F_t的像素点的运动矢量场，计算相邻帧显著对象的矩形区域的重叠度，得到最终的显著对象检测结果，具体步骤如下：

(4-1)、对于视频帧F_t，计算(3-5)中得到的矩形区域W_t^*的对象比例，其计算式为：

OR_t＝|W_t^*|/(w·h) (25)

其中，OR_t表示第t帧的对象比例大小，w和h分别表示视频序列的宽和高，计算平均对象比例，其计算式为：

其中，MOR表示该视频序列的平均对象比例大小，先排除对象比例过大的视频帧，其计算式为：

F_OS＝{F_t|F_t∈F,OR_t＞＝1.2*MOR} (27)

其中，F_OS表示对象比例过大的视频序列集合，补集在C_FF_OS里重新计算平均对象比例为MOR'，再排除对象比例过小的视频帧，其计算式为：

F_US＝{F_t|F_t∈C_FF_OS,OR_t＜＝0.8*MOR'} (28)

其中，F_US表示对象比例过小的视频序列集合；

(4-2)、利用稠密光流法算法，计算相邻帧显著对象的矩形区域的重叠度，其计算式为：

其中，表示第t+1帧显著对象的矩形区域与第t帧显著对象的矩形区域的重叠度，表示第t+1帧的显著对象的矩形区域映射到第t帧的最小外接矩形区域，由(4-2)和(4-3)得到对象比例适中的视频序列为设定相邻帧的映射跨度为两帧，在F'里计算第t帧的显著对象的矩形区域与相邻帧的平均重叠度，其计算式为：

排除重叠度过小的视频帧，其计算式为：

F_SO＝{F_t|F_t∈F',k_meanOverlap(W_t^*)＜＝0.3} (31)

其中，F_SO表示重叠度过小的视频序列集合，得到重叠度适中的视频序列集合

(4-3)、通过视频序列集合F”来恢复视频序列集合F_OS,F_US,F_SO，利用稠密光流法算法映射得到所有要恢复的视频帧，设置相邻帧的映射跨度为两帧，取所有映射到该帧的最小矩形区域的交集区域作为该帧的显著对象检测结果。如图4所示，图4(a)-4(e)依次是视频序列的第2、3、4、5、6帧，图4(f)是利用时间的一致性来改善图4(c)的显著对象的检测结果。