1.视频中的组群定位与异常行为检测算法,其特征在于,具体包括如下步骤:
步骤(1)获取大量的视频图像数据集;
步骤(2)设计多列空洞卷积神经网络,得到人群密度图;
步骤(3)结合canopy方法和dbscan聚类方法对人群密度图进行点聚类来识别组群,快速得到组群的人数和位置信息;
步骤(4)对所有的视频数据集,将组群位置作为检测的感兴趣区域,使用特征提取神经网络提取其视频时空特征,对提取的时空特征按时间顺序转化为若干个时空特征片段,生成训练样本集和测试样本集;
步骤(5)将训练样本集输入至全连接神经网络;
步骤(6)设置好全连接神经网络的训练参数,利用多实例学习排名损失函数进行训练,直至代价损失减小到一定程度且训练达到迭代最大次数,生成训练模型;
步骤(7)将测试样本集输入至训练好的模型中,输出其对应的异常得分。
2.如权利要求1所述的视频中的组群定位与异常行为检测算法,其特征在于:步骤(2)中的多列空洞卷积神经网络,具体包括:
(2.1)每列子网络包含3个卷积层,其中前两个为空洞卷积层,且每列子网络具有相同的网络结构;
(2.2)每列子网络中使用不同大小的卷积核来适应图像中不同大小的人群;
(2.3)对具有较大卷积核的卷积神经网络(convolutionalneuralnetwork,cnn)使用较少数量的滤波器;
(2.4)最后把子网络的输出特征图通过1×1的卷积层做线性加权得到人群密度图。
3.如权利要求1所述的视频中的组群定位与异常行为检测算法,其特征在于:步骤(3)中的具体实现方式如下:
(3.1)首先通过canopy粗聚类方法对密度图进行预聚类:设定的两个距离阈值t1和t2,其中t2<t1;首先从点集中随机选择一个点作为初始类,并在点集中删去该点;之后再随机选择点,计算该点与所有现存类的距离,如果对所有类d>t1,则将该点作为一个新的类中心,并删去该点;若存在类使得d<t2,则将该点归入该类并删去;否则,该点需参与下一次聚类;重复选取点进行以上的操作,直至点集为空;最终将点集生成若干个小簇,每个小簇都含有中心点,记为新的点集q;
(3.2)利用dbscan聚类方法对(3.1)获得的点集q进行聚类,使canopy粗聚类得到的小簇进一步划分成合适的大簇,形成最终的组群:预先设定一组参数(r,min_points)来表征样本的聚集程度,若某一个样本点r-邻域中最少存在min_pionts个样本点,则该点为高密度点;若点q处于高密度点p的r-领域内,则称q从p出发是直接密度可达的,如果序列p1,p2,…,pn中所有的点pi+1到pi直接密度可达,则称pn对p1密度可达,若点a,点b都对于点c密度可达,则称a,b密度相连;dbscan算法从某一高密度点出发不断寻找密度相连的点,直至该类的区域扩充为包含所有高密度点和边界点的最大区域,从而将紧密聚集在一起的高密度点组成一个类,得到几组不同的组群;
(3.3)得到聚类结果之后,对每一个组群内的密度图进行积分得到该组群的人数,根据密度图聚类的位置在原图上标出人群位置。
4.根据权利要求1所述的视频中的组群异常行为检测算法,其特征在于:步骤(4)中使用c3d三维卷积神经网络提取其视频时空特征,该网络具有8个卷积层,5个池化层以及2个全连接层,最后是一个softmax输出层,全部3d卷积核大小都是3×3×3,且在时间和空间维度的步幅都为1,第一个池化层的大小为1×2×2,其他所有池化层的核大小都是2×2×2,每个全连接层都有4096个输出单元。
5.根据权利要求4所述的视频中的组群异常行为检测算法,其特征在于:步骤(4)中生成训练样本和测试样本的具体实现方式如下,
(a)对步骤(1)中的视频数据集,将其尺寸调整为320x240,帧率调整为30fps,其中视频数据集包含正常视频和异常视频;
(b)对视频数据集中的每一个视频,利用c3d三维卷积神经网络提取时空特征,并将提取到的每一个视频的时空特征按视频时间长度划分为32个时间片段以txt格式保存;
(c)从处理过后的视频特征集中挑选2/3的视频特征作为训练样本集,其中训练样本集中异常视频特征数目占整个数据集异常视频特征总数的2/3,训练样本集中正常视频特征数目占整个数据集正常视频特征总数的2/3,剩余的视频特征作为测试样本集。
6.根据权利要求5所述的视频中的组群异常行为检测算法,其特征在于:步骤(5)所述的全连接神经网络结构包括三部分共四层网络,具体包括:
(5.1)第一部分:网络层数,该部分由4个全连接层构成,第一层输入为视频的特征,有4096个维度,含有1024个神经元;第二层为512个神经元;第三层有32个神经元;最后一层有1个神经元,输出异常得分;
(5.2)第二部分:随机失活(dropout),用于设置各全连接层间的dropout值,使检测效果最佳;
(5.3)第三部分:激活函数,第一层、第二层与第三层使用relu激活函数,而最后一层使用sigmoid激活函数。
7.根据权利要求6所述的视频中的异常行为检测算法,其特征在于:步骤(6)中生成训练模型的具体实现方式如下,
(6.1)将训练样本集输入到全连接网络中进行迭代训练;
(6.2)训练过程中,采用自适应地为各个参数分配不同学习率的adagrad优化器算法,设定初始学习率,迭代若干次;由于损失函数使用多实例学习排名损失,即学习异常视频与正常视频中的最大异常得分片段,进行排名损失,再加上稀疏性与平滑性约束,其损失函数表示为:
其中ba表示异常视频组成的正样本包,bn表示正常视频组成的负样本包,ρa和ρn分别表示异常视频片段和正常视频片段,f(ρa)和f(ρn)则表示预测的相应得分,
(6.3)进行训练,得到一个用于异常行为检测的模型,并输出异常得分。