本发明涉及人工智能领域,尤其涉及图像处理方法和深度学习方法。
背景技术:
异常行为检测是计算机视觉领域的研究热点之一,也是智能安防的重要组成部分。随着视频拍摄设备的普及,越来越多的以行为人或者行为人的手部为焦点的视频出现在网络中。与传统的远景异常行为检测不同,这些近景的视频主要的关注点在图像中特定的人员或者该特定人员的手部。
现有方法主要有以下的缺点:
一、在肤色分割方面,传统的肤色分割方法,例如颜色空间法,贝叶斯法,高斯模型法等,易受到人员变化,肤色变化以及类肤色物体的影响,而不能满足视频中肤色多样性的要求。
二、现有的行为检测方法多关注于远景异常行为检测,即视频拍摄位置与行为人之间的距离超过10米,行为检测方法以行为人为单位进行检测和分析。且大部分模型需要对监控的背景进行建模,不能满足近景异常行为检查中场景多样性的要求。
技术实现要素:
为了实现近景的异常行为检测,本发明提供了一种基于肤色分割的近景异常行为检测方法及装置,旨在实现对近景视频中的人体行为进行有效的检测。
为了实现上述目的,本发明采取如下技术方案:
一种基于肤色分割的近景异常行为检测方法,所述方法包括以下主要步骤:
s1、构建肤色数据集:收集带有噪点信息的肤色数据与非肤色数据;
s2、深度自编码器训练:将深度自编码器在构建的肤色数据集上进行训练和验证;
s3、手部几何模型建立:采用肤色信息,手掌信息和指尖信息构建手部的二维几何模型;
s4、手部追踪:追踪手部运动轨迹;
s5、光流能量计算:对运动的手部进行光流能量计算,判断其能量值是否异常。
另一方面,本发明还提供了一种基于肤色分割的近景异常行为检测装置,所述装置包括:
肤色数据集构建模块,用于收集带有噪点信息的肤色数据与非肤色数据;
深度自编码器训练模块,用于将深度自编码器在构建的肤色数据集上进行训练和验证;
手部几何模型建立模块,用于采用肤色信息,手掌信息和指尖信息构建手部的二维几何模型;
手部追踪模块,用于追踪手部运动轨迹;
光流能量计算模块,用于对运动的手部进行光流能量计算,判断其能量值是否异常。
本发明的有益效果是:本发明的方法可以应对视频中肤色多样性的问题,在去除背景干扰信息的同时,保留当前场景下的运动肤色区域。通过在肤色分割后的图像上进行手掌几何模型建模,运动轨迹追踪和光流能量计算,实现近景的异常行为检测。从方法先进性层面,本发明有效的克服的场景变化,人员变化带来的视频分析难题。通过结合肤色特征,几何特征和光流能量特征,对进行异常行为的能量进行的判断,有效的弥补了远景异常行为检测在这方面的不足。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图说明及具体实施方式对本发明进一步说明。
请参阅图1,本发明的基于肤色分割的近景异常行为检测方法的各个步骤具体实施方式如下。
构建肤色数据集:正例样本块采集来自人体的额头、手臂,腿部、脸部等区域,而负样本则是从背景中随机选取。在正例样本中,部分肤色块包含有非肤色信息,但是这部分非肤色信息在当前块中占据面积比肤色信息小。同样的,负例样本中也包含一部分带有肤色信息的非肤色块。在这些肤色块中,本发明可采用尺寸更小的滑动窗口对其进行随机采样,生成最终用于网络训练和测试的数据块。通过这种方式,为了方便训练模型,本发明生成一个包含135000正例样本数据块和240000负例样本数据块的数据集。
深度自编码器训练:将深度自编码器在物体分类数据集上进行预训练。深度自编码器是采用堆叠的方式,将若干个自编码器进行融合后形成的一个具有多层网络结构的自编码器。自编码器每一层神经元的数目和最后网络分类的种类都会根据不同的学习任务进行特殊的设计。预训练过程采用逐层训练、整体微调的策略。在预训练每一层自编码器的时候,采用无监督的训练方式。当整个自编码器完成预训练后,将上一步骤构建的肤色数据集用于深度自编码器的有监督微调。
手部几何模型建立:经过肤色分割后,图像中大部分干扰信息被去除掉,剩下几个肤色联通区域。本发明通过边缘检测获得手掌轮廓及其边缘点。由于指尖点有着曲率大的特点,因此经过曲率过滤可以获得边缘点中的候选指尖点。然后在利用向量积方向来判断指尖点和指根点。通过距离变换,肤色区域中的手指部分会被过滤掉;在剩余的肤色区域进行质心检测用于表示手掌质心所在位置。结合指尖点和手掌质心即可完成手掌几何模型的建立。
手掌追踪:采用camshift算法对识别到的手掌位置进行追踪。
光流能量计算:传统的光流能量模型是对整幅图像进行光流能量计算。由于其借助的是密集光流信息,因此传统的光流能量模型计算非常耗时。本发明只在追踪的手掌周围进行光流能量计算,通过能量值的大小判断该行为是否异常。
在本发明所提供的实施例中,应该理解到,所揭露的装置和系统,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。