基于降分辨率的随机聚类统计的前景提取方法与流程

本发明涉及视频处理技术领域，尤其涉及基于降分辨率的随机聚类统计的前景提取方法。

背景技术：

智能视频监控作为计算机视觉的重要应用方向，近年得到广泛重视。前景提取是智能视频监控的关键步骤之一，其性能对于目标分类、目标跟踪和行为理解等后期应用是至关重要的。目前常见的前景提取方法有很多种，考虑到方法的复杂度、计算量大小、性能效果等因素，选取背景减法进行前景提取，主要有gmm方法和vibe方法。

gmm方法采用多个高斯分布描述背景模型。对图像中每一个像素点使用混合高斯分布模型来表征其特征，当获取新的图像时，适时更新混合高斯分布模型，某一时刻选取混合高斯模型中的一个子集表征当前背景，如果当前图像的某个像素点与混合高斯模型的背景子集匹配，则判定为背景，否则判定为前景点。gmm是背景建模中较为突出的方法，很多新方法都是基于其原理的不同变体，但gmm方法参数复杂且调整困难，在动态场景中gmm方法存在较高的虚警率。

vibe是一种像素级的背景建模、前景提取方法，该方法主要不同之处是背景模型的更新策略，随机选择需要替换像素的样本，避免了大量样本更新，并随机选择邻域像素进行更新。在无法确定像素变化的模型时，采用随机更新的策略，在一定程度上可以模拟像素变化的不确定性。因此，运算量小，性能优于其他方法而受到广泛关注。vibe方法主要是利用单帧视频序列初始化背景模型，对于一个像素点，结合相邻点拥有相近像素值的空间分布特性，随机的选择它的邻域点的像素值作为它的模型样本值。vibe方法不仅减少了背景模型建立的过程，还可以处理背景突然变化的情况，当检测到背景突然变化明显时，只需要舍弃原始的模型，重新利用变化后的首帧图像建立背景模型。

但是，前景提取方法速度的快慢是与视频或图像采集设备的分辨率直接相关的，当监控场景中越来越多地采用高清探头，以及从大量监控视频中提取感兴趣的信息时，速度问题是应用的一大障碍。现有技术中多是基于灰度的背景减方法，当前景与背景灰度接近时，提取的目标存在部分轮廓缺失或内部空洞等现象，这是背景减方法的固有缺陷。

技术实现要素：

本发明的目的在于提供基于降分辨率的随机聚类统计的前景提取方法。

本发明采用的技术方案是：

基于降分辨率的随机聚类统计的前景提取方法，其包括以下步骤：

步骤1，选取具有不同场景的公共数据集，以多种压缩比分别对不同场景的视频图像进行压缩；

步骤2，对获得的不同压缩比的图像分别利用vibe和gmm方法进行处理，记录每一个压缩比下的cpu处理时间、精确率、查全率信息和f指标，形成不同场景的不同压缩比的指标数据图表，并作为压缩比的选择参考数据；

步骤3，根据目标监控场景基于参考数据选取对应的压缩比对该场景的视频图像进行压缩，再分别利用vibe和gmm方法进行处理；

步骤4，融合vibe和gmm方法的处理结果，对vibe和gmm方法的处理结果进行与运算，对两种前景轮廓的不完整进行互补；

步骤5，对融合后的结果进行轮廓查找并绘制轮廓，将内部小轮廓进行消除，以消除目标内的空洞，并输出结果。

进一步地，步骤2中精确率表示的处理结果中真正的正确结果数量；查全率也称召回率，查全率表示原本结果中被正确处理得到数量。

进一步地，步骤2中f指标是精确率和召回率的加权调和平均；用于评价分类模型的好坏。

进一步地，步骤5中查找轮廓的方法为：融合后的结果是二值图的像素值为0或255，则当前像素值与周围差值的绝对值为255时，则该像素点在位于轮廓处。

进一步地，步骤5中绘制轮廓采用图像处理工具opencv3.4中附带的findcontour工具处理发现的小空洞并加以消除。

本发明采用以上技术方案，通过定量分析压缩比与处理结果精确率关系。进而选取对应的压缩比，并将vibe方法和gmm方法结合，探讨了基于背景减的合成方法，处理结果较两种方法有一定的提升。本发明提高了前景提取精确率同时处理速度有较大的提升。

附图说明

以下结合附图和具体实施方式对本发明做进一步详细说明；

图1为本发明基于降分辨率的随机聚类统计的前景提取方法的流程示意图；

图2为高速公路(highway)数据集vibe方法处理时的图像压缩比与各指标变化示意图；

图3为高速公路(highway)数据集gmm方法处理时的图像压缩比与各指标变化示意图；

图4为雨雪天气(wetsnow)数据集vibe方法处理时图像压缩比与各指标变化示意图；

图5为雨雪天气(wetsnow)数据集gmm方法处理时图像压缩比与各指标变化示意图；

图6为收费公路(turnpike)数据集vibe方法处理时图像压缩比与各指标变化示意图；

图7为收费公路(turnpike)数据集gmm方法处理时图像压缩比与各指标变化示意图；

图8为卡内基梅隆(cmu)数据集vibe方法处理时图像压缩比与各指标变化示意图；

图9为卡内基梅隆(cmu)数据集gmm方法处理时图像压缩比与各指标变化示意图；

图10为四种数据集不同处理方法的结果对比图。

具体实施方式

如图1-10所示，本发明提出降分辨率的随机聚类统计的前景提取方法，包括以下步骤：

步骤1，选取具有不同场景的公共数据集，以多种压缩比分别对不同场景的视频图像进行压缩；

有学者研究了在降分辨率图像中视觉显著信息(即视觉重点关注信息)的保留。连续拍摄的视频中，通常都会包含时间、空间、视觉等方面的冗余信息。因此，在前景提取时采用降分辨率的方法提高处理速度。通常情况下，当图像被压缩时，压缩比越高处理速度越快；另一方面，压缩时图像中的信息以及噪声将同时被压缩，也即压缩会导致信息丢失，压缩比应折衷进行选择。为选择合适的参数，选取公共数据集changedetection2014的部分数据集，以及卡梅隆数据集，对多种监控场景的视频图像进行了压缩比与cpu速度、精确率、f指标和查全率等参数之间关系的定量研究。为获取参数变化的详细信息，在实验中选取100种压缩比，从100％(无压缩，原图)变化到1％。

本发明中提到的压缩比，是为了方便数据表达，选取图像单方向上的压缩比率。例如，文中采用的压缩比为20％，实际压缩时，是将图像的横向和纵向分别压缩至原图相应方向的20％，压缩之后的图像大小是原图的4％，即20％*20％。

步骤2，对步骤1)处理后获得的不同压缩比的图像分别利用vibe和gmm方法进行处理，记录每一个压缩比下的cpu处理时间、精确率、查全率信息和f指标，形成不同场景的不同压缩比的指标数据图表，并作为压缩比的选择参考数据；

具体而言，精确率是针对处理结果而言的，它表示的处理结果中有多少是真正的正确结果；查全率也称召回率，是针对原本的处理结果而言，它表示原本结果中有多少被正确处理得到。有两种可能，一种是把原来的正确结果提取出来即为正类(tp)，另一种是把原来的正确结果没有提取出来而将其作为相反类别即为负类(fn)。f指标是精确率和召回率的加权调和平均，常用于评价分类模型的好坏。

选取公共数据集changedetection2014的部分数据集，以及cmu(卡内基梅隆大学)数据集进行测试，列举出部分数据集在不同图像压缩比与精确率(precision)变化情况、查全率(recall)变化情况、f指标变化情况，以及cpu处理速度变化之间的关系，具体的如图1至8所示。

由附图1-8可看出，随着图像压缩比增大，cpu处理速度在快速提升，一般情况下精确率与查全率也在不同程度的降低中。对于恶劣的雨雪天气(wetsnow)数据集在处理时却出现了，随着压缩比增加其精确率不降反升的情况，部分原因可能归因于图像压缩时，复杂背景中的一些干扰成份，如雨点、雪花均随之减少而导致图像压缩后，精确率反而得到提升。cpu速度与各指标间的关系大致如下：

①当压缩比为80％时，四个数据集的cpu处理速度约有35％-40％左右的提升，同时，精确率几乎没有太大的降低，而查全率略有降低；

②当压缩比为60％时，四个数据集的cpu处理速度约有50％-70％左右的提升，同时，精确率几乎没有太大的降低，而查全率略有降低；

③当压缩比为40％时，四个数据集的cpu处理速度约有60％-85％左右的提升，同时，精确率几乎没有太大的降低，而查全率约有10％-30％的降低；

④当压缩比为20％时，四个数据集的cpu处理速度约有85％-95％左右的提升，同时，精确率在此处略有变化，而查全率在此附近开始急骤降低。

以上测试结果可为智能视频监控应用做一个压缩比的选择参考。

步骤3，根据目标监控场景基于参考数据选取对应的压缩比对该场景的视频图像进行压缩，再分别利用vibe和gmm方法进行处理；

步骤4，融合vibe和gmm方法的处理结果，对vibe和gmm方法的处理结果进行与运算，对两种前景轮廓的不完整进行互补；

步骤5，对融合后的结果进行轮廓查找并绘制轮廓，将内部小轮廓(如面积小于某值)进行消除，以消除目标内的空洞，并输出结果。

具体地，轮廓查找的方法：在图像处理领域，轮廓一般是指像素值或灰度值，或亮度出现剧变，就表示该处是一个边界，也即轮廓所在处。

轮廓查找的手段：一般在查找轮廓时，先设定像素差值的阈值，当一个像素与周围像素的差值超过这个阈值，就表示该像素点位于图像的轮廓处。本发明方法中，融合后的结果是二值图(即图像中所有点非黑即白，像素值只有两种，0或255，则当前像素值与周围差值(绝对值)为255时，就表示该像素点在位于轮廓处。

绘制轮廓采用图像处理工具opencv3.4中附带的findcontour工具处理发现的小空洞并加以消除。

以上述选定的压缩比，以及对vibe和gmm方法的处理结果进行图像后处理的方法得到的结果，即为本发明中所提出的基于降分辨率的随机聚类统计的前景提取方法lrcsfe(low-resolutionrandomclusteringstatisticalforegroundextractor)。

本发明通过定量分析压缩比与处理结果精确率关系。将vibe方法和gmm方法结合，探讨了基于背景减的合成方法，处理结果较两种方法有一定的提升。本发明提高了前景提取精确率同时处理速度有较大的提升。

参考文献

[1]c.stauffer,andw.e.l.grimson,“learningpatternsofactivityusingreal-timetracking,”ieeetransactionsonpatternanalysisandmachineintelligence,vol.22,no.8,pp.747-757,2000.

[2]z.zivkovic,"improvedadaptivegaussianmixturemodelforbackgroundsubtraction."pp.28-31.

[3]o.barnich,andm.vandroogenbroeck,“vibe:auniversalbackgroundsubtractionalgorithmforvideosequences,”ieeetransactionsonimageprocessing,vol.20,no.6,pp.1709-1724,2011.

[4]o.b.macvandroogenbroeck,visualbackgroundextractor,ep20070112011,touniversité,deliège,e.p.office,2007.

[5]s.a.yohanandan,a.g.dyer,d.taoetal.,“saliencypreservationinlow-resolutiongrayscaleimages,”arxivpreprintarxiv:1712.02048,2017.

[6]t.judd,f.durand,anda.torralba,“fixationsonlow-resolutionimages,”journalofvision,vol.11,no.4,pp.14-14,2011.

[7]s.hamel,n.guyader,d.pellerinetal.,"contributionofcolorinformationinvisualsaliencymodelforvideos."pp.213-221.

[8]张帆,基于心理视觉冗余和pca的图像压缩算法,科学技术与工程,no.26,pp.7688-7691,2013.

[9]y.wang,p.-m.jodoin,f.poriklietal.,“cdnet2014:anexpandedchangedetectionbenchmarkdataset,”pp.393-400,2014.

[10]y.sheikh,andm.shah,“bayesianmodelingofdynamicscenesforobjectdetection,”ieeetransactionsonpatternanalysisandmachineintelligence,vol.27,no.11,pp.1778-1792,2005。