基于RGB彩色图像的人体手持刀行为检测系统及方法与流程

本发明涉及机器学习领域，特别是涉及一种具有高召回率的基于RGB彩色图像的人体手持刀行为检测系统及方法。

背景技术：

虽然近年来人类行为识别已经吸引了很多关注，但由于各方面发展和知识背景的差距，相比国外先进技术研究，我们在安全监控领域的技术还不成熟，距离实际部署应用到监视系统还遗留很多问题有待解决。目前来看，计算机视觉还没发展到能够描述人体视觉能感知的异常行为，因此对于我们来说这还是个棘手的问题。而且由于环境复杂多变，人体行为多样性，以及运动时的相互遮挡、视角不同等噪声的干扰，对人体行为识别和检测造成了很大的难题。同时，又要求系统有非常高的实时性、灵活性、准确性和稳定性。由此可见，关于异常行为识别的研究和实现难度可见一斑。

关于手持刀行为的研究目前还较少，但已有几种研究提出的刀检测方法。已有一种涉及主动外观模型(Active Appearance Model)的算法，该模型算法考虑到刀片的锋利度，检测图像中的边缘尖角来判断是否含刀，但准确率较低；随后有人提出了一种几何方法，一个像素一个像素地处理使得该方法在很多情况下十分低效；因此最新的研究中提出了一种用MPEG-7描述符作为图片特征向量的表示方法来检测刀，并比较了MPEG-7边缘直方图描述符(Edge Histogram Descriptor)与同质纹理描述符(Homogeneous Texture Descriptor)的特征，在检测图片中刀的应用效果，并发现前者具有更高的准确性和更低的敏感性；此外还有其他可靠的在类似情况下检测危险物的方法，如使用微波扫频雷达技术，实现金属物体，如枪和刀等的检测，使用X射线成像来识别刀等。但是在实际应用中，使用这种方法检测的经济成本过高，健康危害也很大，因此应用到智能监控系统中并不合适。

技术实现要素：

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于RGB彩色图像的人体手持刀行为检测系统及方法以解决现有技术中视频图像的刀检测识别率低，误检测较多的问题。

为达上述及其它目的，本发明提出一种基于RGB彩色图像的人体手持刀行为检测系统，包括：

输入数据处理模块，用于获取训练数据流和实时图像数据流，并将其输出至特征提取和处理模块；

特征提取和处理模块，用于提取所述输入数据处理模块输入图片的边缘直方图特征，并根据刀检测结果进行特征提取算法改进；

SVM刀分类器，连接所述特征提取和处理模块，用于根据所述特征提取和处理模块输出的特征向量进行手持刀模型训练,生成手持刀SVM分类模型；

检测单元，用于根据实时提取的待测图片的特征，加载离线训练好的手持刀SVM分类模型，进行实时检测并输出结果标签。

进一步地，所述输入数据处理模块在训练过程中，从输入视频序列图片中截取人体轮廓附近区域的RGB数据作为研究对象，在实时检测过程中，利用前置摄像头追踪手的位置，并截取手附近区域的RGB数据作为研究对象，并将获取的研究对象输入到所述特征提取和处理模块。

进一步地，所述实时图像数据流的获取过程如下：

激活所述前置摄像头的手模块，并设置手追踪模式；

抓取视频流中的图像帧，获取手相关的图像数据；

存储样本图像的缓存数据，生成RGB图像并保存；

释放图像帧，进入下一帧获取循环。

进一步地，所述特征提取和处理模块的特征提取采用提取待检测图像的MPEG-7边缘直方图描述符信息作为特征向量；所述特征提取和处理模块的特征处理紧随特征提取操作之后，在80维特征向量之上进行改进；然后将所述的特征向量输入到所述SVM刀分类器。

进一步地，所述特征提取和处理模块采用特征旋转法和添加全局边缘特征法进行特征提取算法改进。

进一步地，所述特征旋转法通过旋转候选图片的MPEG-7边缘直方图特征，交换80维特征向量中特征值的位置来实现90度、180度和270度三个典型方向的旋转，并具体根据旋转的方向，交换16个图像子块的位置，以及每个图像块中五种边缘类型的位置，以此来适应不同的拍摄角度。

进一步地，所述添加最大全局边缘和特征法针对刀的长直边缘特性，提取图像块的全局边缘特征作为新的特征维度与原始MPEG-7边缘直方图特征组成81维特征向量进行后续模型训练，所述全局边缘特征来源于MPEG-7边缘直方图特征，16个图像分割块中连续三个图像块组合特征和的最大边缘类型特征值。

进一步地，所述SVM刀分类器的实现过程如下。

选择高斯径向基函数作为非线性支持向量机核函数；

根据特征提取改进算法，确定模型个数和类型；

利用格搜索算法为每个SVM模型寻找最优参数γ和υ；

确定最优性能下的SVM模型参数后，输入训练图片进行离线训练手持刀SVM分类模型。

进一步地，所述检测系统还包括报警模块，根据所述SVM刀分类器的图片检测结果的正负标志进行决策。

为达到上述目的，本发明还提供一种基于RGB彩色图像的人体手持刀行为检测方法，包括如下步骤：

步骤一，获取训练数据流和实时图像数据流；

步骤二，提取所述输入数据处理模块输入图片的边缘直方图特征，并根据刀检测结果进行特征提取算法改进；

步骤三，根据特征提取和处理模块输出的特征向量进行手持刀模型训练,生成手持刀SVM分类模型；

步骤四，根据实时提取的待测图片的特征，加载离线训练好的手持刀SVM分类模型，进行实时检测并输出结果标签。

与现有技术相比，本发明一种基于RGB彩色图像的人体手持刀行为检测系统及方法通过输入数据处理模块获取训练数据流和实时图像数据流，利用特征提取和处理模块提取所述输入数据处理模块输入图片的边缘直方图特征，并针对刀识别提出了两种特征提取改进方法，利用SVM刀分类器进行手持刀模型训练，生成手持刀SVM分类模型，实现了一种基于RGB彩色图像的人体手持刀行为检测系统，以克服现有技术中视频图像的刀检测识别率低，误检测较多的问题，本发明针对人体手持刀异常行为检测具有较高的召回率和准确率，具有可靠的应用前景。

附图说明

图1为本发明一种基于RGB彩色图像的人体手持刀行为检测系统的系统架构图；

图2为本发明具体实施例中将候选图片与特定的旋转矩阵相乘，完成图片的90度、180度和270度旋转的示意图；

图3为本发明具体实施例中MPEG-7边缘直方图特征提取改进算法—特征旋转法的伪代码示意图；

图4a为本发明具体实施例中添加最大全局边缘和特征法中涉及的24种三个连续图像块组合示意图；

图4b为本发明具体实施例中MPEG-7边缘直方图特征提取改进算法—添加最大全局边缘和特征法的伪代码示意图；

图5为本发明一种基于RGB彩色图像的人体手持刀行为检测方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种基于RGB彩色图像的人体手持刀行为检测系统的系统架构图。如图1所示，本发明一种基于RGB彩色图像的人体手持刀行为检测系统，包括：

输入数据处理模块10，用于获取训练数据流和实时图像数据流，所述训练数据流来源于低分辨率、差质量的手持刀视频采集图片，在本发明具体实施例中，可利用改进的滑动窗口技术截取部分图像作为候选输入图像，用于模拟复杂苛刻的实际监控环境，具体地，为了满足图片低分辨率、质量差、小的检测对象以及真实的复杂的相机环境，在本发明实施例中滑窗的大小设为100×100；所述实时图像数据流，利用RealseSense SR300前置摄像头实时追踪手的位置，采集监控摄像头中手附近的图片帧，作为待测图片判断是否有手持刀异常行为出现。

具体地，所述实时图像数据流的获取过程如下：

(1)激活RealSense摄像头的手模块，并设置手追踪模式；

(2)抓取视频流中的图像帧，获取手相关的图像数据；

(3)存储样本图像的缓存数据，生成640×480的RGB图像并保存到磁盘；

(4)释放图像帧，进入下一帧获取循环。

也就是说，输入数据处理模块10在训练过程中，从输入视频序列图片中截取人体轮廓附近区域的RGB数据作为研究对象，在实时检测过程中，利用RealseSense SR300前置摄像头追踪手的位置，并截取手附近区域的RGB数据作为研究对象，所述的离线数据和实时数据输入到所述的特征提取和处理模块

特征提取和处理模块20，用于提取所述输入数据处理模块10输入图片的边缘直方图特征，并根据刀检测结果进行特征提取算法改进，具体地，所述特征提取采用提取待检测图像的MPEG-7边缘直方图描述符信息作为特征向量；所述的特征处理紧随特征提取操作之后，在80维特征向量之上做了两种特征提取算法改进，在本发明具体实施例中，分别是特征旋转法和添加全局边缘特征法，然后将所述的特征向量输入到所述的SVM刀分类器。具体地，两种特征提取算法具体如下：

一、特征旋转法，通过旋转候选图片的MPEG-7边缘直方图特征，交换80维特征向量中特征值的位置来实现90度、180度和270度三个典型方向的旋转，并具体根据旋转的方向，交换16个图像子块的位置，以及每个图像块中五种边缘类型的位置，以此来适应不同的拍摄角度，避免同一张图因为不同的拍摄视角而呈现不同检测结果的情况，同时也是通过增加训练样本数量来减少误检测率的一种方式，其具体过程如下：

(1)首先利用边缘直方图描述符(EHD)特征提取算法将原始图片分割成16个子块；

(2)通过将候选图片与特定的旋转矩阵相乘，完成图片的90度、180度和270度旋转，如图2所示；

(3)将原来的样本和旋转了三个方向的样本一起输入到SVM分类器进行训练，生成手持刀的行为检测模型。

本发明特征旋转法的伪代码如图3所示。

二、添加最大全局边缘和特征法，针对刀的长直边缘特性，提取图像块的全局边缘特征作为新的特征维度与原始MPEG-7边缘直方图特征组成81维特征向量进行后续模型训练，所述全局边缘特征来源于MPEG-7边缘直方图特征，16个图像分割块中连续三个图像块组合特征和的最大边缘类型特征值。其具体过程如下：

(1)为待测图片生成MEPG-7EHD特征，并保存到相应的特征文件；

(2)读取并分析该特征文件，存储到三维数组供后续特征处理；

(3)解析特征数组，将24种三个连续图像块组合的特征值相加，提取其中最大的边缘类型特征和，所述24种组合类型如图4a所示；

(4)将该全局特征值添加到原始MPEG-7边缘直方图特征之后，组成新的81维特征向量进行后续SVM模型训练；

本发明添加最大全局边缘和特征法的伪代码如图4b所示。

SVM刀分类器30，连接特征提取和处理模块20，用于进行手持刀模型训练,生成手持刀SVM分类模型，具体地，SVM刀分类器30将特征向量标好正负样本标签，输入到所述的SVM刀分类器生成所需的手持刀RGB图片分类器。具体地，SVM刀分类器30具体实现过程如下：

(1)选择高斯径向基函数(RBF)作为非线性支持向量机核函数；

(2)根据特征提取改进算法，确定本发明实施例的模型个数和类型；

(3)利用格搜索算法为每个SVM模型寻找最优参数γ和υ；

(4)确定最优性能下的SVM模型参数后，输入训练图片进行离线训练手持刀SVM分类模型，并保存到磁盘；

检测单元40，用于根据实时提取的待测图片的特征，加载离线训练好的手持刀SVM分类模型，进行实时检测并输出结果标签。

优选地，本发明之基于RGB彩色图像的人体手持刀行为检测系统还包括报警模块，用于根据SVM刀分类器30的图片检测结果的正负标志来做决策，如果为正则提醒监控者有危险行为发生，否则一切正常，继续监控。

图5为本发明一种基于RGB彩色图像的人体手持刀行为检测方法的步骤流程图。如图5所示，本发明一种基于RGB彩色图像的人体手持刀行为检测方法，包括如下步骤：

步骤501，获取训练数据流和实时图像数据流，所述训练数据流来源于低分辨率、差质量的手持刀视频采集图片，在本发明具体实施例中，可利用改进的滑动窗口技术截取部分图像作为候选输入图像，用于模拟复杂苛刻的实际监控环境，具体地，为了满足图片低分辨率、质量差、小的检测对象以及真实的复杂的相机环境，在本发明实施例中滑窗的大小设为100×100；所述实时图像数据流，利用RealseSense SR300前置摄像头实时追踪手的位置，采集监控摄像头中手附近的图片帧，作为待测图片判断是否有手持刀异常行为出现。

具体地，所述实时图像数据流的获取过程如下：

(1)激活RealSense摄像头的手模块，并设置手追踪模式；

(2)抓取视频流中的图像帧，获取手相关的图像数据；

(3)存储样本图像的缓存数据，生成640×480的RGB图像并保存到磁盘；

(4)释放图像帧，进入下一帧获取循环。

也就是说，在训练过程中，从输入视频序列图片中截取人体轮廓附近区域的RGB数据作为研究对象，在实时检测过程中，利用RealseSense SR300前置摄像头追踪手的位置，并截取手附近区域的RGB数据作为研究对象。

步骤502，提取输入图片的边缘直方图特征，并根据刀检测结果进行特征提取算法改进，具体地，所述特征提取采用提取待检测图像的MPEG-7边缘直方图描述符信息作为特征向量；所述的特征处理紧随特征提取操作之后，在80维特征向量之上做了两种特征提取算法改进，在本发明具体实施例中，分别是特征旋转法和添加全局边缘特征法，然后将所述的特征向量输入到所述的SVM刀分类器。具体地，两种特征提取算法具体如下：

一、特征旋转法，通过旋转候选图片的MPEG-7边缘直方图特征，交换80维特征向量中特征值的位置来实现90度、180度和270度三个典型方向的旋转，并具体根据旋转的方向，交换16个图像子块的位置，以及每个图像块中五种边缘类型的位置，以此来适应不同的拍摄角度，避免同一张图因为不同的拍摄视角而呈现不同检测结果的情况，同时也是通过增加训练样本数量来减少误检测率的一种方式，其具体过程如下：

(1)首先利用边缘直方图描述符(EHD)特征提取算法将原始图片分割成16个子块；

(2)通过将候选图片与特定的旋转矩阵相乘，完成图片的90度、180度和270度旋转；

(3)将原来的样本和旋转了三个方向的样本一起输入到SVM分类器进行训练，生成手持刀的行为检测模型。

二、添加最大全局边缘和特征法，针对刀的长直边缘特性，提取图像块的全局边缘特征作为新的特征维度与原始MPEG-7边缘直方图特征组成81维特征向量进行后续模型训练，所述全局边缘特征来源于MPEG-7边缘直方图特征，16个图像分割块中连续三个图像块组合特征和的最大边缘类型特征值。其具体过程如下：

(1)为待测图片生成MEPG-7EHD特征，并保存到相应的特征文件；

(2)读取并分析该特征文件，存储到三维数组供后续特征处理；

(3)解析特征数组，将24种三个连续图像块组合的特征值相加，提取其中最大的边缘类型特征和，所述24种组合类型如图4a所示；

(4)将该全局特征值添加到原始MPEG-7边缘直方图特征之后，组成新的81维特征向量进行后续SVM模型训练；

步骤503，进行手持刀模型训练，生成手持刀SVM分类模型。具体地，将特征向量标好正负样本标签，输入到SVM刀分类器生成所需的手持刀RGB图片分类器。具体步骤如下：

(1)选择高斯径向基函数(RBF)作为非线性支持向量机核函数；

(2)根据特征提取改进算法，确定本发明实施例的模型个数和类型；

(3)利用格搜索算法为每个SVM模型寻找最优参数γ和υ；

(4)确定最优性能下的SVM模型参数后，输入训练图片进行离线训练手持刀SVM分类模型，并保存到磁盘。

步骤504，根据实时提取的待测图片的特征，加载离线训练好的手持刀SVM分类模型，进行实时检测并输出结果标签。

优选地，本发明之基于RGB彩色图像的人体手持刀行为检测方法还包括

根据手持刀SVM分类模型的图片检测结果的正负标志来做决策，如果为正则提醒监控者有危险行为发生，否则一切正常，继续监控。

综上所述，本发明一种基于RGB彩色图像的人体手持刀行为检测系统及方法通过输入数据处理模块获取训练数据流和实时图像数据流，利用特征提取和处理模块提取所述输入数据处理模块输入图片的边缘直方图特征，并针对刀识别提出了两种特征提取改进方法，利用SVM刀分类器进行手持刀模型训练，生成手持刀SVM分类模型，实现了一种基于RGB彩色图像的人体手持刀行为检测系统，以克服现有技术中视频图像的刀检测识别率低，误检测较多的问题，本发明针对人体手持刀异常行为检测具有较高的召回率和准确率，具有可靠的应用前景。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。