人群聚集检测的方法与装置与流程

文档序号:12041556阅读:730来源:国知局
人群聚集检测的方法与装置与流程
本发明涉及图像处理领域,特别涉及一种人群聚集检测的方法与装置。

背景技术:
近年来,中国视频监控市场受到“平安城市”项目、北京奥运安防项目、上海世博会、广州亚运会以及各地、各行业安防项目需求加速增长等因素的强劲刺激和拉动,取得了快速的发展,整体市场规模迅速扩大。伴随着市场的快速发展,各种监控摄像机和存储设备越来越普及,从而可以快捷地获取大量的图像和视频数据。快速而智能地分析这些数据,成为公共管理部门和工业界的迫切需求。IVS(IntelligentVideoSurveillance,智能视频监控技术)为这些数据的智能分析提供了至关重要的技术途径。其中,人群聚集检测(PeopleGroupDetection)是IVS的一个重要的监控分析功能。人群聚集检测的过程就是在给定的一个监控区域内,通过摄像头获取场景视频数据作为输入,检测是否存在人群聚集并停留在某一范围内;如果存在,则定位出其位置。该项技术在智能视频监控领域中具有广阔的市场应用范围,例如城市广场安全、商业区域人流控制、地铁站台安全等。目前的人群聚集检测技术具体如下:首先在给定的一个监控区域内通过运动物体提取技术、物体检测或跟踪的技术等来获取单个人的位置,然后基于单个人的位置统计人的个数,最后根据统计出的人数是否达到指定的值,判断出是否存在人群聚集的现象。但是,上述方法中人群聚集检测的结果完全依赖于人的位置的检测,使得该方法的应用非常受限,尤为突出的是,当人体图像的尺寸过小或者场景过于复杂时,该方法难以自动而且准确地检测和定位出人的位置,从而会导致人群聚集检测不能自动进行,最终无法满足实际应用的需求。

技术实现要素:
为了解决现有技术的问题,本发明实施例提供了一种人群聚集检测的方法与装置。所述技术方案如下:一方面,本发明实施例提供了一种人群聚集检测的方法,包括:获取视频数据中的角点和前景区域;根据所述角点和前景区域,进行计算得到聚类;根据所述聚类构建人群聚集的区域。在一种实施方式中,根据所述角点和前景区域,进行计算得到聚类,包括:对所述角点和所述前景区域内的像素点取交集,得到一个角点集合;采用聚类算法对所述角点集合执行聚类操作得到聚类。在另一种实施方式中,根据所述聚类构建人群聚集的区域,包括:对得到的每一个聚类,以聚类中心为中心构建一个人群聚集的区域,且所述区域为包括所述聚类内的角点的区域。在又一种实施方式中,针对每一个聚类所构建的人群聚集的区域具体为包括所述聚类内的所有角点的最小区域,所述角点是图像中具有局部结构特性的像素点。再一种实施方式中,根据所述聚类构建人群聚集的区域之后,还包括:计算所述人群聚集的区域的大小,根据所述人群聚集的区域的大小对所述人群聚集的区域进行过滤;或者,计算所述人群聚集的区域的角点密度,根据所述角点密度对所述人群聚集的区域进行过滤。其中,优选地,根据所述人群聚集的区域的大小对所述人群聚集的区域进行过滤,包括:对于构建的每一个人群聚集的区域,如果所述区域的大小小于预设的第一阈值,则将所述区域过滤掉。其中,优选地,根据所述角点密度对所述人群聚集的区域进行过滤,包括:对于构建的每一个人群聚集的区域,如果所述区域的角点密度小于预设的第二阈值,则将所述区域过滤掉。另外,更进一步地,根据所述角点密度对所述人群聚集的区域进行过滤之前,还包括:获取人工标注的样本数据中人群聚集的正样本区域和负样本区域;计算所述正样本区域的角点密度和所述负样本区域的角点密度;统计所述正样本区域的角点密度的第一分布图,以及所述负样本区域的角点密度的第二分布图;获取所述第一分布图和所述第二分布图的交点对应的角点密度值;将所述获取的角点密度值作为所述第二阈值。在另一种实施方式中,根据所述聚类构建人群聚集的区域之后,还包括:计算所述人群聚集的区域内指定像素点的光流强度;根据所述指定像素点的光流强度,计算所述人群聚集的区域的光流强度密度;根据所述光流强度密度对所述人群聚集的区域进行过滤。在又一种实施方式中,根据所述光流强度密度对所述人群聚集的区域进行过滤,包括:对于构建的每一个人群聚集的区域,如果所述区域的光流强度密度大于预设的第三阈值,则将所述区域过滤掉。再一种实施方式中,根据所述光流强度密度对所述人群聚集的区域进行过滤之前,还包括:获取人工标注的样本数据中人群聚集的正样本区域和负样本区域;计算所述正样本区域的光流强度密度和所述负样本区域的光流强度密度;统计所述正样本区域的光流强度密度的第三分布图,以及所述负样本区域的光流强度密度的第四分布图;获取所述第三分布图和所述第四分布图的交点对应的光流强度密度值;将所述获取的光流强度密度值作为所述第三阈值。另一方面,本发明实施例还提供了一种人群聚集检测的装置,包括:获取模块,用于获取视频数据中的角点和前景区域;聚类模块,用于根据所述获取模块得到的所述角点和前景区域,进行计算得到聚类;构建模块,用于根据所述聚类模块得到的所述聚类构建人群聚集的区域。在一种实施方式中,所述聚类模块包括:处理单元,用于对所述角点和所述前景区域内的像素点取交集,得到一个角点集合;聚类单元,用于采用聚类算法对所述处理单元得到的所述角点集合执行聚类操作得到聚类。在另一种实施方式中,所述构建模块具体用于:对得到的每一个聚类,以聚类中心为中心构建一个人群聚集的区域,且所述区域为包括所述聚类内的角点的区域。再一种实施方式中,所述构建模块针对每一个聚类构建的人群聚集的区域具体为包括所述聚类内的所有角点的最小区域,所述角点是图像中具有局部结构特性的像素点。在又一种实施方式中,所述装置还包括:尺寸过滤模块,用于在所述构建模块构建人群聚集的区域之后,计算所述人群聚集的区域的大小,根据所述人群聚集的区域的大小对所述人群聚集的区域进行过滤;或者,角点密度过滤模块,用于在所述构建模块构建人群聚集的区域之后,计算所述人群聚集的区域的角点密度,根据所述角点密度对所述人群聚集的区域进行过滤。再一种实施方式中,所述尺寸过滤模块具体用于:在所述构建模块构建人群聚集的区域之后,计算所述人群聚集的区域的大小,对于构建的每一个人群聚集的区域,如果所述区域的大小小于预设的第一阈值,则将所述区域过滤掉。在另一种实施方式中,所述角点密度过滤模块具体用于:在所述构建模块构建人群聚集的区域之后,计算所述人群聚集的区域的角点密度,对于构建的每一个人群聚集的区域,如果所述区域的角点密度小于预设的第二阈值,则将所述区域过滤掉。在又一种实施方式中,所述装置还包括:第一生成模块,用于获取人工标注的样本数据中人群聚集的正样本区域和负样本区域,计算所述正样本区域的角点密度和所述负样本区域的角点密度,统计所述正样本区域的角点密度的第一分布图,以及所述负样本区域的角点密度的第二分布图,获取所述第一分布图和所述第二分布图的交点对应的角点密度值,将所述获取的角点密度值作为所述第二阈值。再一种实施方式中,所述装置还包括:光流强度密度过滤模块,用于在所述构建模块构建人群聚集的区域之后,计算所述人群聚集的区域内指定像素点的光流强度,根据所述指定像素点的光流强度,计算所述人群聚集的区域的光流强度密度,根据所述光流强度密度对所述人群聚集的区域进行过滤。在另一种实施方式中,所述光流强度密度过滤模块包括:过滤单元,用于在根据所述光流强度密度对所述人群聚集的区域进行过滤时,对于构建的每一个人群聚集的区域,如果所述区域的光流强度密度大于预设的第三阈值,则将所述区域过滤掉。在又一种实施方式中,所述装置还包括:第二生成模块,用于获取人工标注的样本数据中人群聚集的正样本区域和负样本区域,计算所述正样本区域的光流强度密度和所述负样本区域的光流强度密度,统计所述正样本区域的光流强度密度的第三分布图,以及所述负样本区域的光流强度密度的第四分布图,获取所述第三分布图和所述第四分布图的交点对应的光流强度密度值,将所述获取的光流强度密度值作为所述第三阈值。本发明实施例提供的技术方案带来的有益效果是:通过获取视频数据中的角点信息和前景区域,根据所述角点信息和前景区域采用聚类算法得到聚类,并根据所述聚类构建人群聚集的区域,实现了人群聚集的自动检测,不依赖于人的位置检测,解决了现有技术其应用非常受限的问题,而且也不受人体图像尺寸大小的影响,可以应用于任何场景甚至是复杂的场景,如实时视频监控、多媒体数据的实时内容分析、商业智能分析等场景,极大地提高了应用范围,能够更好地满足用户的需求。另外,通过计算人群聚集区域的大小或角点密度并进行过滤,以及通过计算人群聚集区域的光流强度密度并进行过滤,可以过滤掉构建的人群聚集区域中的误检区域,进一步提高了人群聚集检测的精度和鲁棒性。附图说明为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本发明实施例提供的一种人群聚集检测的方法流程图;图2是本发明实施例提供的另一种人群聚集检测的方法流程图;图3是本发明实施例提供的再一种人群聚集检测的方法流程图;图4是本发明实施例提供的角点密度分布示意图;图5是本发明实施例提供的基于区域大小和角点密度进行过滤前后的对比示意图;图6是本发明实施例提供的又一种人群聚集检测的方法流程图;图7是本发明实施例提供的光流强度密度分布示意图;图8是本发明实施例提供的基于光流强度密度进行过滤前后的对比示意图;图9是本发明实施例提供的一种人群聚集检测的装置结构图;图10是本发明实施例提供的另一种人群聚集检测的装置结构图。具体实施方式为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。参见图1,本发明实施例提供了一种人群聚集检测的方法,包括:101:获取视频数据中的角点和前景区域。102:根据该角点和前景区域,进行计算得到聚类。103:根据该聚类构建人群聚集的区域。本实施例提供的上述方法,通过获取视频数据中的角点和前景区域,根据所述角点和前景区域计算得到聚类,并根据所述聚类构建人群聚集的区域,实现了人群聚集的自动检测,不依赖于人的位置检测,解决了现有技术其应用非常受限的问题,而且也不受人体图像尺寸大小的影响,可以应用于任何场景,包括复杂的场景,极大地提高了应用范围,能够更好地满足用户的需求。本发明实施例涉及人群聚集的检测。其中,所述人群聚集包含多个人,至少是两个或两个以上的人,人群聚集所包含的人,通常不属于场景中的背景景物,而且处于静止或者不显著的运动状态中。因此,本发明实施例基于前景区域来检测人群聚集。参见图2,本发明实施例还提供了一种人群聚集检测的方法,包括:201:获取视频数据中的角点和前景区域。本发明实施例涉及的角点(Corner),也称之为兴趣点(InterestPoint),或者关键点(KeyPoint),它是图像中具有局部结构特性的像素点,例如边缘点、两条线的交叉点等。角点的性质是在对图像进行变换的情况下,其中的角点能够保持不变的一致性,所述变换是指对图像进行尺度变换、旋转变换、平移变换、缩放变换、光照变化等。例如,在一个视频数据中,静止不动的汽车,马路上行走的人,路旁的草坪等都是角点,如果有人群聚集,则也会存在显著的角点。因此,可以利用角点信息来刻画人群区域的特征。“角点”、“兴趣点”和“关键点”在文献中的使用是相互间可替换的,本发明中对此不加区分,为描述方便,统一称为角点。角点是图像处理领域常用的图像特征(ImageFeature),可以基于多种类型的信息进行提取,包括但不限于:边缘类型(Edge)、拐点类型(Corner)或团块/粒子类型(Blob)等。通常,实际情况中的场景内容随着时间产生变化,本发明实施例涉及的前景是指在实际场景中出现的动态物体,例如室内走动的人员、街道上行驶的车辆。与之相对,背景则是场景中相对静止的内容,有时被前景物体遮挡。通常,人群聚集是由来自不同方向的人们,运动到一个特定地点并且停留后所形成的。因此,人群聚集区域通常属于场景中的前景物体,从而可以用前景来表示人群。所述视频数据是指通过摄像设备采集到的视频图像,当然,该摄像设备也可以采集到声音,但是,与本发明无关,因此,本发明中提到的视频数据主要是指视频图像。通常,视频图像都是实时采集的,因此,本发明实施例中的获取角点,以及提取前景区域也都是实时进行的。其中,角点的检测方法有很多,例如,可以采用FAST算法对视频数据执行角点检测,当然也可以采用其它的角点检测算法进行检测,例如:Harrisoperator(Harri角点提取方法),SUSANcornerdetector(SUSAN角点检测方法),LoG(LaplacianofGaussian)特征检测算法等,本发明对此不限定。通常,角点检测的结果可以用一个角点集合来表示:CornerSet={p1(x,y),p2(x,y)...,pn(x,y)};(1)该表达式中,n为角点的个数,p为角点,(x,y)为角点p在视频图像上的坐标,x为横坐标,y为纵坐标。提取前景区域的方法也有多种,如运动检测算法等,本发明对提取前景区域的具体算法也不做限定。通常,对输入图像提取前景区域,其结果可以表示如下:其中,q(x,y)为输入图像中的像素点,当其灰度值为255时,表示该点属于该输入图像中的前景像素,当其灰度值为0时,表示该点不属于该输入图像中的前景像素。具体地,经过前景提取的输入图像上,可以看到,黑色的部分为背景,白色突出的部分为前景。本实施例中,获取角点和前景区域没有固定的顺序,可以分先后进行,也可以同时进行,本发明对此不限定。202:对获取的角点和前景区域内的像素点取交集,得到一个角点集合。其中,所述取交集的结果就是得到既属于角点,又属于前景区域的像素点,从而得到一个角点集合。具体地,本步骤可以具体包括以下步骤:构建一个新的角点集合S,初始时对于步骤201中已获取的每一个角点p(x,y)∈CornerSet,判断其是否属于前景区域内的像素点,如果属于前景区域内的像素点,则S=S∪p(x,y);将已获取的所有角点都遍历完成后,即获得了一个新的角点集合S,其中包括的角点均为属于前景区域的角点。203:采用聚类算法对所述得到的角点集合执行聚类操作得到聚类。聚类算法是数学上的一种算法名称,该算法以相似性为基础,可以概括出每一类的特点,或者把注意力放在某一个特定的类上以作进一步的分析。所谓类,通俗地说,就是指相似元素的集合。聚类分析又称群分析,它是研究分类问题的一种统计分析方法。所述聚类算法有多种,包括但不限于:K-均值、Meanshift等算法,本发明实施例可以采用任一种聚类算法,此处不做具体限定。本步骤中通过聚类算法得到的聚类可以为一个,也可以为多个。例如,在一个视频场景中得到的聚类只有一个,是一个正在行走的人;在另一个视频场景中得到两个聚类,其中一个聚类是十个人的人群聚集,另一个聚类是两个正在骑车的人。204:对已得到的每一个聚类,以该聚类中心为中心构建一个人群聚集的区域,且该区域为包括该聚类内的角点的区域。在本发明的另一实施例中,优选地,本步骤可以具体包括:对已得到的每一个聚类,以该聚类中心为中心构建一个人群聚集的区域,且该区域为包括该聚类内的所有角点的最小区域,所述角点是图像中具有局部结构特性的像素点。例如,对已得到的每一个聚类,以该聚类中心为圆心构建一个圆形的人群聚集的区域,且该区域的半径为包括该聚类内的所有角点的最小圆半径。本实施例以构建圆形的人群聚集区域为例,当然在本发明的另一实施例中,也可以构建其它形状的人群聚集区域,比如,正方形、长方形、椭圆形等等,本发明对此不限定。当根据聚类构建人群聚集的区域时,只要能够包括该聚类中所包含的所有角点,可以构建出任意大小的人群聚集的区域,如不同半径大小的圆形,优选地,在本发明实施例中,选取包括所述聚类内所有角点的最小圆形来构建人群聚集的区域,从而可以更精确地表示人群聚集的区域。本实施例中,进一步地,还可以给已构建的人群聚集的区域分配相应的ID值,以便于对构建的人群聚集的区域进行存储。其中,分配ID的方法有多种,如可以根据构建时间的先后,按顺序依次分配。例如,在t1时刻至t2时刻之间,构建了三个人群聚集的区域,则依次分配ID1、ID2和ID3。当然,在本发明的另一实施例中也可采用其它方法来分配ID值,例如,针对同一人群聚集在不同的时刻或不同地点出现的情况,可以通过图像信息相似度匹配的方法对其进行标示,并且分配相同的ID等。本发明对此不限定。另外,更进一步地,还可以把分配的ID值、以及分配的时间等信息联合起来进行记录,便于后续进行分析和统计,本发明对此也不做具体限定。本实施例提供的上述方法,通过获取视频数据中的角点和前景区域,根据所述角点和前景区域计算得到聚类,并根据所述聚类构建人群聚集的区域,实现了人群聚集的自动检测,不依赖于人的位置检测,解决了现有技术的应用非常受限的问题,而且也不受人体图像尺寸大小的影响,可以应用于任何场景,包括复杂的场景,极大地提高了应用范围,能够更好地满足用户的需求。其中,以圆形构建人群聚集的区域形象直观,方便用户查看,以包括聚类内所有角点的最小圆形来构建人群聚集的区域,可以更精确地表示人群聚集的区域。基于上述实施例构建出人群聚集的区域之后,由于可能存在一些误检,因此,可以对构建出的人群聚集的区域进行过滤。参见图3,本发明实施例还提供了一种人群聚集检测的方法,在构建出人群聚集的区域之后根据区域大小和/或角点密度进行过滤,以提高检测的精度,该方法包括:301:获取视频数据中的角点和前景区域。302:根据该角点和前景区域,进行计算得到聚类。303:根据该聚类构建人群聚集的区域。步骤301至303的具体实现过程与上述实施例中的描述相同,此处不赘述。下面是对已构建的人群聚集的区域进行过滤的步骤,包括步骤304和/或步骤305。304:计算已构建的人群聚集的区域的大小,根据该人群聚集的区域的大小对该人群聚集的区域进行过滤。具体地,对于构建的每一个人群聚集的区域,如果计算出的该区域的大小小于预设的第一阈值,则将该区域过滤掉。其中,所述预设的第一阈值为预先根据人群聚集的区域的形状设置的一个边界值,通常其取值比较小,这样,当构建出的人群聚集的区域的大小小于该阈值时,意味着该人群聚集的区域比较小,这种情况下,该区域可能就是一个误检,例如是一辆静止的汽车内的一个人,或者是一块草坪等等。通过这种基于人群聚集的区域大小进行过滤,可以把较小的区域过滤掉,保留下大于等于该第一阈值的区域,从而可以过滤掉误检的区域,进一步地提高检测的精度。优选地,当以圆形构建人群聚集的区域时,所述第一阈值可以为预设的一个半径阈值,进行过滤时,可以计算出每一个圆形的人群聚集的区域的半径,并与该半径阈值进行比较,如果小于该半径阈值,则将该区域过滤掉,如果大于等于该半径阈值,则保留该区域。305:计算所述人群聚集的区域的角点密度,根据该角点密度对该人群聚集的区域进行过滤。所述计算所述人群聚集的区域的角点密度,可以采用多种方式,本发明对此不限定,如可以采用下公式来计算:其中,所述角点的数目是指该人群聚集的区域内的所有角点的总数,r是人群聚集的区域的半径,πr2表示该人群聚集的区域的面积。在实际应用中,步骤304根据人群聚集的区域的大小进行过滤,和步骤305根据人群聚集的区域的角点密度进行过滤,这两个步骤可以任选其中之一来执行,当然,优选地,既执行步骤304又执行步骤305,可以进一步提高检测的精度。当这两个步骤都执行时,没有固定的先后顺序,也可以先执行步骤305,然后再执行步骤304。无论先执行哪个步骤,后一个步骤均是在前一个过滤之后的结果上再进行过滤,此处不做过多说明。例如,当步骤305在步骤303之后执行时,本步骤中的所述人群聚集的区域是指步骤303中已构建的人群聚集的区域,当步骤305是在步骤304之后执行时,所述人群聚集的区域是指步骤304过滤之后保留的人群聚集的区域。本步骤中,根据该角点密度对该人群聚集的区域进行过滤,可以具体包括如下步骤:对于每一个人群聚集的区域,如果该区域的角点密度小于预设的第二阈值,则将该区域过滤掉。其中,所述预设的第二阈值为预先设置的角点密度的边界值,当人群聚集的区域的角点密度小于该第二阈值时,认为该区域的角点密度较低,则该区域可能是个误检,因此,过滤掉该区域;当人群聚集的区域的角点密度大于等于该第二阈值时,认为该区域的角点密度较高或者比较合适,则该区域被视为是正确的人群聚集区域,因此,保留该区域。通过这种基于人群聚集的角点密度进行过滤的手段,可以把角点密度较小的区域过滤掉,保留下角点密度大于等于该第二阈值的区域,从而可以过滤掉误检的区域,进一步地提高检测的精度。本实施例中,所述第二阈值可以根据经验设置为固定的值,如设置为0.6等,本发明对此不限定。当然,也可以采用自动设置第二阈值的方法,以保证第二阈值设置得更合理,更精确地反映角点密度的实际情况。具体地,上述方法中,根据该角点密度对人群聚集的区域进行过滤之前,还包括自动获取第二阈值的步骤,具体如下:获取人工标注的样本数据中人群聚集的正样本区域和负样本区域;计算该正样本区域的角点密度和该负样本区域的角点密度;统计该正样本区域的角点密度的第一分布图,以及该负样本区域的角点密度的第二分布图;获取该第一分布图和该第二分布图的交点对应的角点密度值;将该获取的角点密度值作为该第二阈值。其中,所述样本数据为预先采集的视频数据,优选地,为采集的与待检测的视频数据的场景相关的视频数据,或者为同一场景下的视频数据。所述正样本区域是指人工标注为正例的区域,即人群聚集的区域;所述负样本区域是指人工标注为负例的区域,即无人群聚集的区域。所述获取的正样本区域可以为一个或者多个,当正样本区域为多个时,则该多个正样本区域组成了正样本集合,这种情况下,基于正样本集合中各个正样本区域的角点密度值进行统计可以得到第一分布图。所述获取的负样本区域可以为一个或者多个,当负样本区域为多个时,则该多个负样本区域组成了负样本集合,这种情况下,基于负样本集合中各个负样本区域的角点密度值进行统计可以得到第二分布图。所述角点密度的分布图反映了角点密度的分布情况。其中,分布图的横坐标代表角点密度取值,纵坐标代表每个角点密度值所对应的样本区域在所有样本区域中所占的比例。例如,有100个正样本区域,其中,有20个区域的角点密度值均为T,则该角点密度值T对应的分布为20%。参见图4,为自动设置第二阈值时采用的角点密度分布示意图。其中,有两条曲线,分别为正样本区域的角点密度的分布图和负样本区域的角点密度的分布图。两条曲线的交点对应的角点密度值为T1,该角点密度值T1对应的比例为a%,表明在正样本和负样本中角点密度值为T1的样本区域均占样本区域总数的a%,将该角点密度值T1作为所述第二阈值,以备根据角点密度对人群聚集的区域进行过滤,从而可以进一步提高检测的精度。本实施例提供的上述方法,通过获取视频数据中的角点和前景区域,根据所述角点和前景区域计算得到聚类,并根据所述聚类构建人群聚集的区域,实现了人群聚集的自动检测,不依赖于人的位置检测,解决了现有技术非常受限的问题,而且也不受人体图像尺寸大小的影响,可以应用于任何场景,包括复杂的场景,极大地提高了应用范围,能够更好地满足用户的需求。另外,通过计算人群聚集区域的大小和/或角点密度并进行过滤,可以过滤掉构建的人群聚集区域中的误检区域,进一步提高了人群聚集检测的精度和鲁棒性。例如,参见图5,为对构建的人群聚集的区域进行过滤的示意图。其中,图(a)显示为按照本实施例提供的方法构建出的三个人群聚集的区域,在根据人群聚集区域的大小和角点密度进行过滤后得到图(b)显示的人群聚集的区域,可以看出,能够把误检的一个区域过滤掉,提高了人群聚集区域检测的精度。由于处于运动状态中的行人或者物体,通常也会出现很多角点,但是却不属于人群聚集,从而可能会导致出现误检,因此,参见图6,本发明实施例还提供了一种人群聚集检测的方法,与上述实施例的不同之处在于,在构建出人群聚集的区域之后根据光流强度密度进行过滤,以便过滤掉运动状态的行人或者物体的误检,以提高检测的精度,该方法包括:601:获取视频数据中的角点和前景区域。602:根据该角点和前景区域,进行计算得到聚类。603:根据该聚类构建人群聚集的区域。步骤601至603的具体实现过程与上述实施例中的描述相同,此处不赘述。604:计算所述人群聚集的区域内指定像素点的光流强度。本发明实施例涉及的光流(Opticalfloworopticflow)是关于视域中的物体运动检测中的概念,是指空间运动物体在观测成像面上的像素运动的瞬时速度,它可以反映物体的运动状态。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”,通常,不明显运动的物体,其光流信息比较微小,处于剧烈运动状态的物体,其光流信息比较丰富。当人群聚集后,停留在一个特定地点,不处于剧烈的运动状态,其光流信息比较微小。因此,利用光流信息可以在视频数据中,区分出人群聚集区域和剧烈运动的物体区域。光流信息包括光流方向和光流强度,与本发明相关的主要是光流强度,关于光流方向则不做具体说明。计算光流强度的方法有多种,本发明实施例中可以采用任意方法来计算光流强度,例如:Lucas-Kanade方法(LK方法)、Horn-Schunk方法(HS方法)、组合LK和HS的光流计算方法等,此处不做具体限定。其中,所述指定像素点是预先指定的所述人群聚集区域内的像素点,具体地,可以为该区域内的部分像素点,或者也可以为全部像素点,本发明对此不限定。优选地,可以指定该区域内的全部像素点,从而计算该区域内全部像素点的光流强度。605:根据该人群聚集的区域内指定像素点的光流强度,计算该人群聚集的区域的光流强度密度。具体地,一个人群聚集的区域的光流强度密度可以按照如下公式来计算:其中,分子上为该人群聚集的区域Area内的指定像素点的光流强度之和,r是该人群聚集的区域Area的半径,πr2表示该人群聚集的区域的面积。606:根据该光流强度密度对该人群聚集的区域进行过滤。其中,根据该光流强度密度对该人群聚集的区域进行过滤,可以具体包括:对于每一个人群聚集的区域,如果该区域的光流强度密度大于预设的第三阈值,则将该区域过滤掉。其中,所述预设的第三阈值为预先设置的光流强度密度的边界值,当人群聚集的区域的光流强度密度大于该第三阈值时,认为该区域的光流强度密度较高,则该区域可能是个误检,如处于剧烈运动状态的行人或者物体,因此,过滤掉该区域;当人群聚集的区域的光流强度密度小于等于该第三阈值时,认为该区域的光流强度密度较低或者比较合适,如处于静止状态的人群,则该区域被视为是正确的人群聚集区域,因此,保留该区域。通过这种基于人群聚集的光流强度密度进行过滤的手段,可以把光流强度密度较大的区域过滤掉,保留下光流强度密度小于等于该第三阈值的区域,从而可以过滤掉涉及运动状态误检的区域,进一步地提高检测的精度。本实施例中,所述第三阈值可以根据经验设置为固定的值,如设置为0.6等,本发明对此不限定。当然,也可以采用自动设置第三阈值的方法,以保证第三阈值设置得更合理,更精确地反映光流强度密度的实际情况。具体地,上述方法中,根据该光流强度密度对人群聚集的区域进行过滤之前,还包括自动获取第三阈值的步骤,具体如下:获取人工标注的样本数据中人群聚集的正样本区域和负样本区域;计算该正样本区域的光流强度密度和该负样本区域的光流强度密度;统计该正样本区域的光流强度密度的第三分布图,以及该负样本区域的光流强度密度的第四分布图;获取该第三分布图和该第四分布图的交点对应的光流强度密度值;将该获取的光流强度密度值作为该第三阈值。其中,所述样本数据为预先采集的视频数据,优选地,为采集的与待检测的视频数据的场景相关的视频数据,或者为同一场景下的视频数据。所述正样本区域是指人工标注为正例的区域,即人群聚集的区域;所述负样本区域是指人工标注为负例的区域,即无人群聚集的区域。所述获取的正样本区域可以为一个或者多个,当正样本区域为多个时,则该多个正样本区域组成了正样本集合,这种情况下,基于正样本集合中各个正样本区域的光流强度密度值进行统计可以得到第三分布图。所述获取的负样本区域可以为一个或者多个,当负样本区域为多个时,则该多个负样本区域组成了负样本集合,这种情况下,基于负样本集合中各个负样本区域的光流强度密度值进行统计可以得到第四分布图。所述光流强度密度的分布图反映了光流强度密度的分布情况。其中,分布图的横坐标代表光流强度密度取值,纵坐标代表每个光流强度密度值所对应的样本区域在所有样本区域中所占的比例。例如,有100个正样本区域,其中,有15个区域的光流强度密度值均为T,则该光流强度密度值T对应的分布为15%。参见图7,为自动设置第三阈值时采用的光流强度密度分布示意图。其中,有两条曲线,分别为正样本区域的光流强度密度的分布图和负样本区域的光流强度密度的分布图。两条曲线的交点对应的光流强度密度值为T2,该光流强度密度值T2对应的比例为b%,表明在正样本和负样本中光流强度密度值为T2的样本区域均占样本区域总数的b%,将该光流强度密度值T2作为所述第三阈值,以备根据光流强度密度对人群聚集的区域进行过滤,从而可以进一步提高检测的精度。在实际应用中,本实施例中根据光流强度密度对人群聚集的区域进行过滤的步骤,还可以和上述实施例中根据人群聚集的区域的大小和/或角点密度进行过滤,结合起来应用,也就是说,在对人群聚集的区域进行过滤时,可以选取区域大小过滤、角点密度过滤或光流强度密度过滤中的至少一种方式来进行过滤。优选地,分别采用这三种方式进行过滤,从而可以更进一步提高检测的精度。当选取其中两种或三种方式进行过滤时,各自的过滤步骤是相互独立的,互不影响,而且过滤的步骤也没有固定的先后顺序,本发明对此不限定。本实施例提供的上述方法,通过获取视频数据中的角点和前景区域,根据所述角点和前景区域计算得到聚类,并根据所述聚类构建人群聚集的区域,实现了人群聚集的自动检测,不依赖于人的位置检测,解决了现有技术非常受限的问题,而且也不受人体图像尺寸大小的影响,可以应用于任何场景,包括复杂的场景,极大地提高了应用范围,能够更好地满足用户的需求。另外,通过计算人群聚集区域的光流强度密度并进行过滤,可以过滤掉构建的人群聚集区域中涉及的运动状态的误检区域,进一步提高了人群聚集检测的精度和鲁棒性。例如,参见图8,为对构建的人群聚集的区域进行过滤的示意图。其中,图(a)显示为按照本实施例提供的方法构建出的两个人群聚集的区域,对人群聚集区域进行光流强度密度的计算,得到大于第三阈值的一个误检区域如图(b)所示,将该误检区域过滤掉后得到图(c)显示的人群聚集的区域,可以看出,基于光流强度密度进行过滤后,进一步地提高了人群聚集区域检测的精度。参见图9,本发明实施例还提供了一种人群聚集检测的装置,包括:获取模块901,用于获取视频数据中的角点和前景区域;聚类模块902,用于根据获取模块901得到的该角点和前景区域,进行计算得到聚类;构建模块903,用于根据聚类模块902得到的该聚类构建人群聚集的区域。本实施例中,获取模块901获取角点和前景区域没有固定的顺序,可以分先后进行,也可以同时进行,本发明对此不限定。所述视频数据是指通过摄像设备采集到的视频图像,当然,该摄像设备也可以采集到声音,但是,与本发明无关,因此,本发明中提到的视频数据主要是指视频图像。通常,视频图像都是实时采集的,因此,本发明实施例中获取模块901获取角点,以及提取前景区域也都是实时进行的。参见图10,在一种实施方式下,聚类模块902可以包括:处理单元902a,用于对获取的角点和前景区域内的像素点取交集,得到一个角点集合;聚类单元902b,用于采用聚类算法对处理单元902a得到的角点集合执行聚类操作得到聚类。在另一种实施方式下,构建模块903具体用于:对得到的每一个聚类,以聚类中心为中心构建一个人群聚集的区域,且该区域为包括该聚类内的角点的区域。在本发明的又一种实施方式下,优选地,构建模块903可以具体用于:对得到的每一个聚类,以聚类中心为中心构建一个人群聚集的区域,且该区域为包括该聚类内的所有角点的最小区域,所述角点是图像中具有局部结构特性的像素点。当根据聚类构建人群聚集的区域时,只要能够包括该聚类中所包含的所有角点,可以构建出任意大小的人群聚集的区域,如不同半径大小的圆形,例如,构建模块903具体用于:对得到的每一个聚类,以聚类中心为圆心构建一个圆形的人群聚集的区域,且该区域的半径为包括该聚类内的所有角点的最小圆半径,从而可以更精确地表示人群聚集的区域。本实施例以构建圆形的人群聚集区域为例,当然在本发明的其它实施例中,也可以构建其它形状的人群聚集区域,比如,正方形、长方形、椭圆形等等,本发明对此不限定。进一步地,本实施例提供的所述装置,还可以包括:尺寸过滤模块904,用于在构建模块903构建人群聚集的区域之后,计算该人群聚集的区域的大小,根据该人群聚集的区域的大小对该人群聚集的区域进行过滤;或者,角点密度过滤模块905,用于在构建模块903构建人群聚集的区域之后,计算该人群聚集的区域的角点密度,根据该角点密度对该人群聚集的区域进行过滤。在实际应用中,尺寸过滤模块904根据人群聚集的区域的大小进行过滤,和角点密度过滤模块905根据人群聚集的区域的角点密度进行过滤,可以任选其中之一来执行,当然,优选地,这两种过滤均执行,从而可以进一步提高检测的精度。当这两种过滤均执行时,没有固定的先后顺序,本发明对此不限定。其中,尺寸过滤模块904可以具体用于:在构建模块903构建人群聚集的区域之后,计算该人群聚集的区域的大小,对于构建的每一个人群聚集的区域,如果该区域的大小小于预设的第一阈值,则将该区域过滤掉。其中,角点密度过滤模块905可以具体用于:在构建模块903构建人群聚集的区域之后,计算该人群聚集的区域的角点密度,对于构建的每一个人群聚集的区域,如果该区域的角点密度小于预设的第二阈值,则将该区域过滤掉。其中,所述预设的第二阈值为预先设置的角点密度的边界值,当人群聚集的区域的角点密度小于该第二阈值时,认为该区域的角点密度较低,则该区域可能是个误检,因此,过滤掉该区域。通过这种基于人群聚集的角点密度进行过滤的手段,可以把角点密度较小的误检区域过滤掉,从而提高检测的精度。本实施例中,所述第二阈值可以根据经验设置为固定的值,如设置为0.6等,本发明对此不限定。当然,也可以采用自动设置第二阈值的方法,以保证第二阈值设置得更合理,更精确地反映角点密度的实际情况。具体地,所述装置进一步还可以包括:第一生成模块,用于获取人工标注的样本数据中人群聚集的正样本区域和负样本区域,计算该正样本区域的角点密度和该负样本区域的角点密度,统计该正样本区域的角点密度的第一分布图,以及该负样本区域的角点密度的第二分布图,获取该第一分布图和该第二分布图的交点对应的角点密度值,将该获取的角点密度值作为该第二阈值。其中,所述第一生成模块获取的样本数据为预先采集的视频数据,优选地,为采集的与待检测的视频数据的场景相关的视频数据,或者为同一场景下的视频数据。所述正样本区域是指人工标注为正例的区域,即人群聚集的区域;所述负样本区域是指人工标注为负例的区域,即无人群聚集的区域。所述获取的正样本区域可以为一个或者多个,当正样本区域为多个时,则该多个正样本区域组成了正样本集合,这种情况下,基于正样本集合中各个正样本区域的角点密度值进行统计可以得到第一分布图。所述获取的负样本区域可以为一个或者多个,当负样本区域为多个时,则该多个负样本区域组成了负样本集合,这种情况下,基于负样本集合中各个负样本区域的角点密度值进行统计可以得到第二分布图。本实施例中,又一种实施方式下,所述装置还可以包括:光流强度密度过滤模块906,用于在构建模块903构建人群聚集的区域之后,计算该人群聚集的区域内指定像素点的光流强度,根据该指定像素点的光流强度,计算该人群聚集的区域的光流强度密度,根据该光流强度密度对该人群聚集的区域进行过滤。所述指定像素点可以为该人群聚集区域内的部分像素点,或者也可以为该人群聚集区域内的全部像素点,本发明对此不限定。其中,光流强度密度过滤模块906可以包括:过滤单元,用于在根据该光流强度密度对该人群聚集的区域进行过滤时,对于构建的每一个人群聚集的区域,如果该区域的光流强度密度大于预设的第三阈值,则将该区域过滤掉。其中,所述预设的第三阈值为预先设置的光流强度密度的边界值,当人群聚集的区域的光流强度密度大于该第三阈值时,认为该区域的光流强度密度较高,则该区域可能是个误检,如处于剧烈运动状态的行人或者物体,因此,过滤掉该区域。通过这种基于人群聚集的光流强度密度进行过滤的手段,可以把光流强度密度较大的区域过滤掉,从而可以过滤掉涉及运动状态误检的区域,进一步地提高检测的精度。本实施例中,所述第三阈值可以根据经验设置为固定的值,如设置为0.6等,本发明对此不限定。当然,也可以采用自动设置第三阈值的方法,以保证第三阈值设置得更合理,更精确地反映光流强度密度的实际情况。具体地,所述装置进一步还可以包括:第二生成模块,用于获取人工标注的样本数据中人群聚集的正样本区域和负样本区域,计算该正样本区域的光流强度密度和该负样本区域的光流强度密度,统计该正样本区域的光流强度密度的第三分布图,以及该负样本区域的光流强度密度的第四分布图,获取该第三分布图和该第四分布图的交点对应的光流强度密度值,将该获取的光流强度密度值作为该第三阈值。其中,所述第二生成模块获取的样本数据为预先采集的视频数据,优选地,为采集的与待检测的视频数据的场景相关的视频数据,或者为同一场景下的视频数据。所述正样本区域是指人工标注为正例的区域,即人群聚集的区域;所述负样本区域是指人工标注为负例的区域,即无人群聚集的区域。所述获取的正样本区域可以为一个或者多个,当正样本区域为多个时,则该多个正样本区域组成了正样本集合,这种情况下,基于正样本集合中各个正样本区域的光流强度密度值进行统计可以得到第三分布图。所述获取的负样本区域可以为一个或者多个,当负样本区域为多个时,则该多个负样本区域组成了负样本集合,这种情况下,基于负样本集合中各个负样本区域的光流强度密度值进行统计可以得到第四分布图。本实施例提供的上述装置,可以执行上述方法实施例中的任一方法,具体过程详见方法实施例中的描述,此处不赘述。所述装置可以位于计算机等设备中,本发明对此不限定。本实施例提供的上述装置,通过获取视频数据中的角点和前景区域,根据所述角点和前景区域计算得到聚类,并根据所述聚类构建人群聚集的区域,实现了人群聚集的自动检测,不依赖于人的位置检测,解决了现有技术非常受限的问题,而且也不受人体图像尺寸大小的影响,可以应用于任何场景,包括复杂的场景,极大地提高了应用范围,能够更好地满足用户的需求。其中,以圆形构建人群聚集的区域形象直观,方便用户查看,以包括聚类内所有角点的最小圆形来构建人群聚集的区域,可以更精确地表示人群聚集的区域。另外,通过计算人群聚集区域的大小、角点密度、和/或光流强度密度并进行过滤,可以过滤掉构建的人群聚集区域中的误检区域,进一步提高了人群聚集检测的精度和鲁棒性。本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1