专利名称：人体行为特征提取方法、系统及异常行为检测方法和系统的制作方法
技术领域：
本发明涉及模式识别技术领域，更具体地说，涉及一种人体行为特征提取方法、系统及异常行为检测方法和系统。
背景技术：
人体异常行为检测是计算机视觉领域中最活跃的研究课题之一，目前在超市、银行、运输中心以及医院的安保和预警的智能化方面有着广泛的应用前景。人体异常行为检测是指首先对自定义的正常行为和异常行为分别进行分析与建模，然后根据目标行为与正 常行为和异常行为两者的相似程度来为目标行为进行分类，从而判断目标行为是否异常；其中，目标行为指待检测的人体行为。此处，正常行为主要指日常生活中经常出现的表现正常的行为，如走路、小跑、拍手鼓掌等行为；而异常行为主要是与正常行为相反，表现过于激烈的行为，如快跑、挥拳、挥手求救等行为；显然对于正常行为和异常行为的界定可通过自定义形式完成。图I为现有技术人体异常行为检测的方法流程图，参照图1，该方法可以包括步骤步骤S100、依据背景模型对视频图像序列进行前景提取，得出人体动作图像序列，目前所得的人体动作图像序列一般均是经过二值化处理后的图像序列，可详见图2所示出的经过二值化处理后的人体动作图像的图像效果；步骤S110、从人体动作图像序列中提取出人体行为特征，即得出人体动作图像序列的原始特征值；步骤S120、从人体行为特征中选择出反映人体行为模式的特征，如在一定准则下，在η个人体动作图像序列的原始图像特征值中选m个图像特征值来反映人体行为模式，以降低计算难度；步骤S130、对所述反映人体行为模式的特征进行分类处理，得出识别结果，即人体行为是异常还是正常。其中，从人体动作图像序列中提取出人体行为特征的实现方式，目前主要使用立方体高阶局部自相关特征提取法进行，对于立方体高阶局部自相关特征提取法而言，人体动作图像序列的原始特征值可用人体动作图像的高阶局部自相关函数值表示。立方体高阶局部自相关特征提取法不仅能反映图像内部的空间特征，还可能反映前后图像之间的时间特征。立方体高阶局部自相关特征提取法主要包括两个过程立方数据(cubic data)的更新和图像序列的扫描。其中cubic data更新主要为将人体动作图像逐一导入到计算机中，并在时间轴t轴上排列，如图3所示，一个图像序列可被看成一个三维数据，X轴和y轴为某张图像中的横纵轴线，t轴为时间轴，为了获取人体行为特征，需要选取t轴上一个连续的含有一定数量图像的图像序列作为一个数据单元，记为cubicdata，为了持续地获得cubic data以分析人体的动作状况，在每次进行立方数据更新时，需要将新的人体动作图像按时间顺序逐一插入到图像序列当中，其中，每次进行立方数据更新时插入一个人体动作图像，而原来人体动作图像序列中的图像，在插入新图像的同时也按照时间顺序逐一被删除出图像序列，整个cubic data的更新过程就是一个队列的插入和删除过程，遵循着先进先出后进后出的原则。每次人体动作图像序列特征值的更新都只需减去删除的图像的特征值，加上新加入图像的特征值即可。在实现cubic data更新的同时，立方体高阶局部自相关特征提取法需采用预设的251个掩码模板逐一对cubic data中的图像进行扫描并赋值，进而提取出赋值后的图像特征，实现人体行为特征的提取。可以看出，在人体行为特征的提取过程中，立方体高阶局部自相关特征提取法的cubic data的更新是采用逐一更新的办法，S卩，每次移入一帧图像同时移出一帧图像，而在用掩码模板对图像序列进行扫描时，也采用的是逐一扫描的方法，这使得的系统的数据处理量较大，占用系统资源过多，导致人体行为特征的提取速度较慢。
发明内容
有鉴于此，本发明实施例提供一种人体行为特征提取方法、系统及异常行为检测方法和系统，以解决现有技术在人体行为特征的提取过程中系统的数据处理量较大 ，占用系统资源过多，导致人体行为特征的提取速度较慢的问题。为实现上述目的，本发明实施例提供如下技术方案一种人体行为特征提取方法，包括在每次进行立方数据更新时，将预设个数的图像帧插入立方数据的图像序列中，及将图像序列中原来存在的对应预设个数的图像帧按照时间顺序删除出立方数据的图像序列中；其中，所述预设个数为大于I且不影响人体运动连续性的图像帧的个数；按照预设的每次扫描立方数据的图像时的掩码模板移动的像素数，对立方数据的图像进行扫描并赋值；其中，所述预设的掩码模板移动的像素数为大于I且不影响人体姿态和轮廓的像素数；提取赋值后的特征，形成人体行为特征。其中，所述预设个数为3，所述预设的掩码模板移动的像素数为3。其中，所述对立方数据的图像进行扫描并赋值包括采用枚举法，依据邻接表中预置的立方数据中每个像素与每个像素的相关特征的对应关系，对立方数据中的图像进行扫描；当扫描到一个像素时，对该像素的像素值赋值，将该像素的像素值赋值给与该像素对应的相关特征；其中，所述相关特征为与像素对应的图像高阶局部自相关函数。其中，所述立方数据中每个像素与每个像素相关特征的对应关系的预置过程包括确定立方数据中每个像素的相关特征的维数编号；设置每个像素与每个像素的相关特征的维数编号的对应关系。本发明实施例还提供一种人体行为特征提取系统，包括立方数据更新模块，用于在每次进行立方数据更新时，将预设个数的图像帧插入立方数据的图像序列中，及将图像序列中原来存在的对应预设个数的图像帧按照时间顺序删除出立方数据的图像序列中；其中，所述预设个数为大于I且不影响人体运动连续性的图像帧的个数；扫描赋值模块，用于按照预设的每次扫描立方数据的图像时的掩码模板移动的像素数，对立方数据的图像进行扫描并赋值；其中，所述预设的掩码模板移动的像素数为大于I且不影响人体姿态和轮廓的像素数；提取模块，用于提取赋值后的特征，形成人体行为特征。
其中，所述预设个数为3，所述预设的掩码模板移动的像素数为3。其中，所述扫描赋值模块包括扫描单元，用于采用枚举法，依据邻接表中预置的立方数据中每个像素与每个像素的相关特征的对应关系，对立方数据中的图像进行扫描；赋值单元，用于在所述扫描单元扫描到一个像素时，对该像素的像素值赋值，将该像素的像素值赋值给与该像素对应的相 关特征；其中，所述相关特征为与像素对应的图像高阶局部自相关函数。其中，所述系统还包括编号确定模块，用于确定立方数据中每个像素的相关特征的维数编号；对应关系设置模块，用于设置每个像素与每个像素的相关特征的维数编号的对应关系。本发明实施例还提供一种异常行为检测方法，包括依据背景模型对视频图像序列进行前景提取，得出人体动作图像序列；从人体动作图像序列中提取出人体行为特征；从人体行为特征中选择出反映人体行为模式的特征；对所述反映人体行为模式的特征进行分类处理，得出识别结果；其中，所述从人体动作图像序列中提取出人体行为特征的过程具体为上述所述的人体行为特征提取方法。其中，所述依据背景模型对视频图像序列进行前景提取，得出人体动作图像序列包括采用高斯滤波和背景建模法从视频图像序列中删除背景，提取出初始的人体动作图像序列；对所述初始的人体动作图像序列进行二值化处理，形态学滤波去除噪声，得到人体动作图像序列。其中，所述从人体行为特征中选择出反映人体行为模式的特征包括采用主成分分析法对所述人体行为特征进行降维处理，从所述人体行为特征中选取出反映高阶相关函数的特征向量；采用fisher线性判别法对所述反映高阶相关函数的特征向量进行降维处理，从所述反映高阶相关函数的特征向量中选取出反映人体行为模式的特征变量。本发明实施例还提供一种异常行为检测系统，包括人体动作图像序列提取模块，用于依据背景模型对视频图像序列进行前景提取，得出人体动作图像序列；如上述所述的人体行为特征提取系统，用于从人体动作图像序列中提取出人体行为特征；特征选择模块，用于从人体行为特征中选择出反映人体行为模式的特征；分类模块，用于对所述反映人体行为模式的特征进行分类处理，得出识别结果。其中，所述动作图像序列提取模块包括初始序列提取单元，用于采用高斯滤波和背景建模法从视频图像序列中删除背景，提取出初始的人体动作图像序列；
序列处理单元，用于对所述初始的人体动作图像序列进行二值化处理，形态学滤波去除噪声，得到人体动作图像序列。其中，所述特征选择模块包括主成分分析单元，用于采用主成分分析法对所述人体行为特征进行降维处理，从所述人体行为特征中选取出反映高阶相关函数的特征向量；线性判别单元,用于采用fisher线性判别法对所述反映高阶相关函数的特征向量进行降维处理，从所述反映高阶相关函数的特征向量中选取出反映人体行为模式的特征变量。基于上述技术方案，鉴于人体异常行为的识别采用的是统计属于各个不同动作的特征值数目，选取最多的一种作为最终的判断；同时由于人体运动的连续性，因此均匀的从适当个数的图像帧中抽取一个来进行扫描，所获取的特征值并不会影响人体行为特征提取的准确性，还可提高运算速度；并且对于只要求判断动作类型的异态识别来说，在每次扫描立方数据图像时，在适当的掩码模板移动的像素数范围内进行立方数据的图像扫描，对于最后的扫描结果的准确性并不会产生变化，因此通过适当的改变掩码模版的扫描间距可使得掩码模版数量减小，提高人体行为特征的提取速度。本发明实施例提供的人体行为特征提取方法通过预设的在每次进行立方数据更新时，插入立方数据的图像序列中的图像帧的个数，和预设的每次扫描立方数据的图像时的掩码模板移动的像素数，可在不影响人体行为特征提取结果的情况下，加快立方数据的更新速度和改变掩码模板的扫描间距，减小数据处理量，提高人体行为特征的提取速度，本发明实施例提供的人体行为特征提取方法解决了现有技术在人体行为特征的提取过程中系统的数据处理量较大，占用系统资源过多，导致人体行为特征的提取速度较慢的问题。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图I为现有技术人体异常行为检测的方法流程图；图2为二值化处理后的图像效果图；图3为立方数据的示意图；图4为本发明实施例提供的人体行为特征提取方法的流程图；图5为Λ 1=3时，Λ η与识别率的变化情况关系图；图6为Λη=3时，Δ1与识别率的变化情况关系图；图7为本发明实施例提供的对立方数据的图像进行扫描并赋值的方法流程图；图8为掩码层以及各层标签的示意图；图9为本发明实施例提供的人体行为特征提取系统的结构框图；图10为本发明实施例提供的扫描赋值模块的结构框图；图11为本发明实施例提供的人体行为特征提取系统的另一结构框图；图12为本发明实施例提供的人体异常行为检测方法的流程图13为本发明实施例提供的从人体行为特征中选择出反映人体行为模式的特征的方法流程图；图14为本发明实施例提供的未经过特征选择前的特征分布情况示意图；图15为本发明实施例提供的经过特征选择后的特征分布情况示意图；图16为本发明实施例提供的经过特征选择后的特征分布情况的另一示意图；图17为本发明实施例提供的人体异常行为检测系统的结构框图；图18为本发明实施例提供的人体动作图像序列提取模块的结构框图；
图19为本发明实施例提供的选择模块的结构框图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图4为本发明实施例提供的人体行为特征提取方法的流程图，下述方法流程基于由人体动作图像序列构成的立方数据的基础上，参照图4，该方法可以包括步骤S200、在每次进行立方数据更新时，将预设个数的图像帧插入立方数据的图像序列中，及将图像序列中原来存在的对应预设个数的图像帧按照时间顺序删除出立方数据的图像序列中；其中，所述预设个数为大于I且不影响人体运动连续性的图像帧的个数。为便于理解，步骤S200示出的立方数据更新方式，现设图像序列中原始存在XI、X2…X6共六个图像帧，如果每次进行立方数据更新时预设的插入立方数据的图像序列中的图像帧个数为3个，则在进行一次立方数据更新时，可将Tl、X8和X9这3个图像帧中插入图像序列中，且按照插入的时间顺序设置于X6之后，由于X1、X2和X3这3个图像帧为最早设置于图像序列中的，因此按照时间顺序，在X7、X8和X9这3个图像帧插入图像序列的同时，将XI、X2和X3这3个图像帧删除出图像序列中。步骤S200中所描述的立方数据更新遵循先进先出后进后出的原则。上述假设仅为便于理解本发明实施例提供的立方数据更新方案，其不应成为本发明的限制。步骤S210、按照预设的每次扫描立方数据的图像时的掩码模板移动的像素数，对立方数据的图像进行扫描并赋值；其中，所述预设的掩码模板移动的像素数为大于I且不影响行人姿态和轮廓的像素数。相对现有技术，步骤S210中掩码模板对图像扫描并不是逐一进行的，而是调整了掩码模板的扫描间距，即在预设掩码模板移动的像素数的间距的基础上，对图像序列的扫描；在每次进行图像扫描时，掩码模板将不再逐一的扫描每个像素，而是以预设掩码模板移动的像素数为基础，进行跳段式的图像扫描，即对于预设掩码模板移动的像素数中的像素只扫描其中一个像素。步骤S220、提取赋值后的特征，形成人体行为特征。
通过背景技术的描述可以看出，现有技术对cubic data的更新是采用逐一更新的办法，即，每次移入一帧图像同时移出一帧图像，而在用掩码模板对图像序列进行扫描时也采用的是逐一扫描的方法，将图像序列中的每一个像素都扫描到，这对于一般的计算机是一个庞大的开销。而鉴于后续用到的模式识别方法采用的是统计属于各个不同动作的特征值数目，选取最多的一种作为最终的判断；同时，由于人体运动的连续性，因此均匀的从适当个数的图像帧中抽取一个来进行扫描，获取特征值将不会影响最后人体行为特征提取的准确性，同时算法的运算速度将获得成倍的增长。而现有技术中掩码模板的扫描都是逐一进行的，这无疑将在某种程度上产生对同一像素的重复扫描，同一信息的重复提取；同时，从另一个角度理解，若将图像进行一定比例的缩小，图像中行人的姿态和轮廓将不会受到太大的变化，对于只要求判断运动类型的异态识别来说，在每次扫描立方数据图像时，在适当的掩码模板移动的像素数范围内进行立方数据的图像扫描，对于最后的扫描结果的准确性并不会产生变化，因此通过适当的改变掩码模版的扫描间距可使得掩码模版数量减小，提闻人体行为特征的提取速度。基于上述考虑，可设定两个变量Λη和Λ I分别表示立方数据每次更新时，所更新的图像帧数和每次扫描图像时的掩码模板移动的像素数，在设定图像识别率的情况下，运用网格法扫描，搜索Λη和Al的最佳取值。如果直接从以Λη为X轴，Λ I为y轴，识别率为z轴的三维图像中无法较为明显的看出Λη，Al与识别率的变化关系，为了更明显的显示出参数间的变化关系，图5示出了Δ 1=3时，Λ η与识别率的变化情况关系图，图6示出了 Λη=3时，△ I与识别率的变化情况关系图；经分析在Λη和Al都取值为3时，视频的识别率较高且运算效率较优，此时算法 的运算效率将提升9倍。因此图I所示方法中，在每次进行立方数据更新时，插入立方数据的图像序列中的图像帧的个数可以为3个，每次扫描立方数据的图像时的掩码模板移动的像素数可以为3个。显然，在Λ η的选取不影响人体运动连续性，Δ I的选取不影响人体姿态和轮廓的情况下，还可设置其他数值的Λη和Al，如Λ η可取2至5的范围，Λ I可取2至5的范围，这些范围的数值组合均不会影响人体行为特征提取的正确性。本发明实施例提供的人体行为特征提取方法通过预设的在每次进行立方数据更新时，插入立方数据的图像序列中的图像帧的个数，和预设的每次扫描立方数据的图像时的掩码模板移动的像素数，可在不影响人体行为特征提取结果的情况下，加快立方数据的更新速度和改变掩码模板的扫描间距，减小数据处理量，提高人体行为特征的提取速度，本发明实施例提供的人体行为特征提取方法解决了现有技术在人体行为特征的提取过程中系统的数据处理量较大，占用系统资源过多，导致人体行为特征的提取速度较慢的问题。由于现有技术直接使用251个掩码模板对图像序列进行逐一扫描并赋值，这无疑将给运算打来巨大的压力。而在这些图像序列中像素与某些相关特征是对应的，相关特征为与像素对应的图像高阶局部自相关函数，这些相关特征可以在对应像素赋值的情况下，实现相关特征的同步赋值。因此本发明实施例在图I所示方法的基础上，提供一种图I所述步骤S210中对立方数据的图像扫描并赋值的具体实现方式，图7为本发明实施例提供的对立方数据的图像进行扫描并赋值的方法流程图，该方法可以包括步骤S211、采用枚举法，依据邻接表中预置的立方数据中每个像素与每个像素的相关特征的对应关系，对立方数据中的图像进行扫描；步骤S212、当扫描到一个像素时，对该像素的像素值赋值，将该像素的像素值赋值给与该像素对应的相关特征。本发明实施例采用邻接表记录立方数据中每一个像素与该像素相关特征的对应关系；可选的，可通过确定立方数据中每个像素的相关特征的维数编号，设置每个像素与每个像素的相关特征的维数编号的对应关系的方式，实现每一个像素与该像素相关特征的对应关系的记录。在邻接表记录了对应关系的基础上，采用枚举法对立方数据的图像进行扫描，当扫描到一个像素，对该像素的像素值赋值时，可同步的对该像素的相关特征进行赋值，相关特征的赋值与所赋的像素值相等。这样省去了现有技术在图像扫描过程中，多次对像素相关特征进行赋值的过程，提高了人体行为特征的提取速度。需要说明的是，本发明领域人员可以知悉如何使用枚举法，此处再赘述。显然，邻接表记录对应关系的方式并不局限于通过相关特征的维数编号进行，还可通过设置各相关特征的标识，通过记录标识与像素·的对应关系，实现每一个像素与该像素相关特征的对应关系的记录。下面以图8对图7所示方法进行说明。下述说明仅为便于理解图7所示方法，其不应成为本发明实施例的限制。图8为掩码层以及各层标签的示意图，图中I1里a像素的相关特征的维数编号为15至Ij 39，在使用枚举法对图像进行扫描时，只需将特征向量预先赋值为全I向量，再对立方体中除中心外的28个像素进行扫描，若该像素取值为零，则将该像素对应编号的特征值赋值为零。如，M^1中a像素值为零，则编号为15到39的特征取值为零，以此类推，即可实现对立方数据的图像进行扫描并赋值。经过统计，对每一个非零像素进行模板的扫描时，平均需做的判定数、非零像素数以及需做与运算的次数分别为28次、16个和347次，远远优于原有直接扫描法的251次和741次，在每一次扫描中可以在效率上获得至少一倍的提高，这些提高在整个视频的特征形成的过程中将让这个算法获得2倍以上的运算速度的提升。可以看出，如果图I所示方法中每次进行立方数据更新时，插入立方数据的图像序列的图像帧数为3，且每次扫描立方数据的图像时的掩码模板移动的像素数为3，并且图I所示步骤S210中对立方数据的图像进行扫描并赋值的实现方式采用图7所示，那么人体行为特征的提取速度将较现有技术提升18倍。下面对本发明实施例提供的人体行为特征提取系统进行描述，所描述的人体行为特征提取系统与上文描述的人体行为特征提取方法相互对应，两者可相互参照。图9为本发明实施例提供的人体行为特征提取系统的结构框图，参照图9，该系统可以包括立方数据更新模块100，用于在每次进行立方数据更新时，将预设个数的图像帧插入立方数据的图像序列中，及将图像序列中原来存在的对应预设个数的图像帧按照时间顺序删除出立方数据的图像序列中；其中，所述预设个数为大于I且不影响人体运动连续性的图像帧的个数。扫描赋值模块110，用于按照预设的每次扫描立方数据的图像时的掩码模板移动的像素数，对立方数据的图像进行扫描并赋值；其中，所述预设的掩码模板移动的像素数为大于I且不影响人体姿态和轮廓的像素数。
提取模块120，用于提取赋值后的特征，形成人体行为特征。其中，在每个立方数据更新时间内插入立方数据的图像序列中的图像帧的个数可选为2至5，优选为3，每次扫描立方数据图像时的掩码模板移动的像素数可选为2至5，优选为3.
其中，扫描赋值模块110的结构可如图10所示，包括扫描单元111，用于采用枚举法，依据邻接表中预置的立方数据中每个像素与每个像素的相关特征的对应关系，对立方数据中的图像进行扫描；赋值单元112，用于在扫描单元111扫描到一个像素时，对该像素的像素值赋值，将该像素的像素值赋值给与该像素对应的相关特征。其中，所述相关特征为与像素对应的图像高阶局部自相关函数。图11为本发明实施例提供的人体行为特征提取系统的另一结构框图，结合图9和图11所示，该系统还可以包括编号确定模块130，用于确定立方数据中每个像素的相关特征的维数编号；对应关系设置模块140，用于设置每个像素与每个像素的相关特征的维数编号的对应关系。基于上文描述的人体行为特征提取方法，下面将提供一种人体异常行为检测方法，下文所描述的人体异常行为检测方法中，从人体动作图像序列中提取出人体行为特征的方式可参照上文描述的人体行为特征提取方法，两者可相互参照。图12为本发明实施例提供的人体异常行为检测方法的流程图，参照图12，该方法可以包括步骤S300、依据背景模型对视频图像序列进行前景提取，得出人体动作图像序列；步骤S300的实现方式可选为采用高斯滤波和背景建模法从视频图像序列中删除背景，提取出初始的人体动作图像序列；对所述初始的人体动作图像序列进行二值化处理，形态学滤波去除噪声，得到人体动作图像序列，人体动作图像序列由多个人体动作图像构成，人体动作图像为经过二值化处理后的图像，具体可参见图2所示。步骤S310、从人体动作图像序列中提取出人体行为特征；步骤S310的实现方式，可参照上文描述的人体行为特征提取方法，唯一需要考虑的是，此处的人体动作图像序列是以立方数据的形式存在。步骤S320、从人体行为特征中选择出反映人体行为模式的特征；步骤S320的实现方式可如图13所示，包括步骤S321、采用主成分分析法对所述人体行为特征进行降维处理，从所述人体行为特征中选取出反映高阶相关函数的特征向量；在步骤S310提取出人体行为特征后，表现人体行为特征的数据为251维，通过主成分分析法从人体行为特征中选取出能够反映出高阶相关函数的前40个特征向量，则此时原本251维的特征数据已降至40维，大大减小了计算压力；通过主成分分析法进行降维处理后，人体行为特征的行为模式的解释已99%。步骤S322、采用fisher线性判别法对所述反映高阶相关函数的特征向量进行降维处理，从所述反映高阶相关函数的特征向量中选取出反映人体行为模式的特征变量。
通过fisher线性判别法对反映高阶相关函数的前40个特征向量作进一步降维处理，可使得最后得到的特征变量为8个，大大减少了后续分类器的分类工作。参照图14，图15和图16，图14，图15和图16分别以行走(walking)和跑步(running)为例，对未经特征选择时的特征向量以及经过图13所示方法所进行的特征选择后的特征向量的分布情况进行了说明，其中，图14为本发明实施例提供的未经过特征选择前的特征分布情况示意图，图15为本发明实施例提供的经过特征选择后的特征分布情况示意图，图16为本发明实施例提供的经过特征选择后的特征分布情况的另一示意图。可以看出，通过图13所示方法进行处理后，不同动作的向量空间的维数得到了降低，并且更加聚拢，更易于人体行为的分析。步骤S330、对所述反映人体行为模式的特征进行分类处理，得出识别结果。
具体的，可将反映人体行为模式的特征与正常行为和异常行为两者的相似程度进行比对，从而将该特征所反映的人体行为分类至正常行为或异常行为，完成人体异常行为的检测。经米用基于KNN (Κ-Nearest Neigllbors)算法构成的分类器以MultimodalDatabase of Gestures with Speech中的25个实验对象,6个动作,在不同方向，不同着装的情况下拍摄的600个视频图像为实验主体所进行的实验来看，本发明实施例提供的人体异常行为检测方法在提高了检测速度的情况下，所进行的人体异常行为检测，可获得94. 5%的识别准确率。基于上文所描述的人体行为特征提取系统，下面对本发明实施例提供的人体异常行为检测系统进行描述。所描述的人体异常行为检测系统可与上文描述的人体异常行为检测方法对应，两者可相互参照。图17为本发明实施例提供的人体异常行为检测系统的结构框图，该系统可以包括人体动作图像序列提取模块200，用于依据背景模型对视频图像序列进行前景提取，得出人体动作图像序列；人体行为特征提取系统210，用于从人体动作图像序列中提取出人体行为特征；具体的，人体行为特征提取系统210的结构可如上文所述，可进行参照。特征选择模块220，用于从人体行为特征中选择出反映人体行为模式的特征；分类模块230，用于对所述反映人体行为模式的特征进行分类处理，得出识别结
果O其中，人体动作图像序列提取模块200的结构可如图18所示，包括初始序列提取单元201，用于采用高斯滤波和背景建模法从视频图像序列中删除背景，提取出初始的人体动作图像序列；序列处理单元202，用于对所述初始的人体动作图像序列进行二值化处理，形态学滤波去除噪声，得到人体动作图像序列。选择模块220的结构可如图19所示，包括主成分分析单元221，用于采用主成分分析法对所述人体行为特征进行降维处理，从所述人体行为特征中选取出反映高阶相关函数的特征向量；线性判别单元222，用于采用fisher线性判别法对所述反映高阶相关函数的特征向量进行降维处理，从所述反映高阶相关函数的特征向量中选取出反映人体行为模式的特
征变量。本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
权利要求
1.一种人体行为特征提取方法，其特征在于，包括 在每次进行立方数据更新时，将预设个数的图像帧插入立方数据的图像序列中，及将图像序列中原来存在的对应预设个数的图像帧按照时间顺序删除出立方数据的图像序列中；其中，所述预设个数为大于I且不影响人体运动连续性的图像帧的个数； 按照预设的每次扫描立方数据的图像时的掩码模板移动的像素数，对立方数据的图像进行扫描并赋值；其中，所述预设的掩码模板移动的像素数为大于I且不影响人体姿态和轮廓的像素数； 提取赋值后的特征，形成人体行为特征。
2.根据权利要求I所述的方法，其特征在于，所述预设个数为3，所述预设的掩码模板移动的像素数为3。
3.根据权利要求I或2所述的方法，其特征在于，所述对立方数据的图像进行扫描并赋值包括 采用枚举法，依据邻接表中预置的立方数据中每个像素与每个像素的相关特征的对应关系，对立方数据中的图像进行扫描； 当扫描到一个像素时，对该像素的像素值赋值，将该像素的像素值赋值给与该像素对应的相关特征；其中，所述相关特征为与像素对应的图像高阶局部自相关函数。
4.根据权利要求3所述的方法，其特征在于，所述立方数据中每个像素与每个像素相关特征的对应关系的预置过程包括 确定立方数据中每个像素的相关特征的维数编号； 设置每个像素与每个像素的相关特征的维数编号的对应关系。
5.一种人体行为特征提取系统，其特征在于，包括 立方数据更新模块，用于在每次进行立方数据更新时，将预设个数的图像帧插入立方数据的图像序列中，及将图像序列中原来存在的对应预设个数的图像帧按照时间顺序删除出立方数据的图像序列中；其中，所述预设个数为大于I且不影响人体运动连续性的图像帧的个数； 扫描赋值模块，用于按照预设的每次扫描立方数据的图像时的掩码模板移动的像素数，对立方数据的图像进行扫描并赋值；其中，所述预设的掩码模板移动的像素数为大于I且不影响人体姿态和轮廓的像素数； 提取模块，用于提取赋值后的特征，形成人体行为特征。
6.根据权利要求5所述的系统，其特征在于，所述预设个数为3，所述预设的掩码模板移动的像素数为3。
7.根据权利要求5或6所述的系统，其特征在于，所述扫描赋值模块包括 扫描单元，用于采用枚举法，依据邻接表中预置的立方数据中每个像素与每个像素的相关特征的对应关系，对立方数据中的图像进行扫描； 赋值单元，用于在所述扫描单元扫描到一个像素时，对该像素的像素值赋值，将该像素的像素值赋值给与该像素对应的相关特征；其中，所述相关特征为与像素对应的图像高阶局部自相关函数。
8.根据权利要求7所述的系统，其特征在于，还包括 编号确定模块，用于确定立方数据中每个像素的相关特征的维数编号；对应关系设置模块，用于设置每个像素与每个像素的相关特征的维数编号的对应关系O
9.一种异常行为检测方法，其特征在于，包括 依据背景模型对视频图像序列进行前景提取，得出人体动作图像序列； 从人体动作图像序列中提取出人体行为特征； 从人体行为特征中选择出反映人体行为模式的特征； 对所述反映人体行为模式的特征进行分类处理，得出识别结果； 其中，所述从人体动作图像序列中提取出人体行为特征的过程具体为权利要求I至4任一项所述的方法。
10.根据权利要求9所述的方法，其特征在于，所述依据背景模型对视频图像序列进行前景提取，得出人体动作图像序列包括 采用高斯滤波和背景建模法从视频图像序列中删除背景，提取出初始的人体动作图像序列； 对所述初始的人体动作图像序列进行二值化处理，形态学滤波去除噪声，得到人体动作图像序列。
11.根据权利要求9或10所述的方法，其特征在于，所述从人体行为特征中选择出反映人体行为模式的特征包括 采用主成分分析法对所述人体行为特征进行降维处理，从所述人体行为特征中选取出反映高阶相关函数的特征向量； 采用fisher线性判别法对所述反映高阶相关函数的特征向量进行降维处理，从所述反映高阶相关函数的特征向量中选取出反映人体行为模式的特征变量。
12.—种异常行为检测系统，其特征在于，包括 人体动作图像序列提取模块，用于依据背景模型对视频图像序列进行前景提取，得出人体动作图像序列； 如权利要求5至8任一项所述的人体行为特征提取系统，用于从人体动作图像序列中提取出人体行为特征； 特征选择模块，用于从人体行为特征中选择出反映人体行为模式的特征； 分类模块，用于对所述反映人体行为模式的特征进行分类处理，得出识别结果。
13.根据权利要求12所述的系统，其特征在于，所述动作图像序列提取模块包括 初始序列提取单元，用于采用高斯滤波和背景建模法从视频图像序列中删除背景，提取出初始的人体动作图像序列； 序列处理单元，用于对所述初始的人体动作图像序列进行二值化处理，形态学滤波去除噪声，得到人体动作图像序列。
14.根据权利要求12或13所述系统，其特征在于，所述特征选择模块包括 主成分分析单元，用于采用主成分分析法对所述人体行为特征进行降维处理，从所述人体行为特征中选取出反映高阶相关函数的特征向量； 线性判别单元，用于采用fisher线性判别法对所述反映高阶相关函数的特征向量进行降维处理，从所述反映高阶相关函数的特征向量中选取出反映人体行为模式的特征变量。
全文摘要
本发明实施例提供一种人体行为特征提取方法、系统及异常行为检测方法和系统；其中人体行为特征提取方法可以包括在每次进行立方数据更新时，将预设个数的图像帧插入立方数据的图像序列中，及将图像序列中原来存在的对应预设个数的图像帧按照时间顺序删除出立方数据的图像序列中；其中，所述预设个数为大于1且不影响人体运动连续性的图像帧的个数；按照预设的每次扫描立方数据的图像时的掩码模板移动的像素数，对立方数据的图像进行扫描并赋值；其中，所述预设的掩码模板移动的像素数为大于1且不影响人体姿态和轮廓的像素数；提取赋值后的特征，形成人体行为特征。
文档编号G06K9/46GK102902972SQ20121034173
公开日2013年1月30日 申请日期2012年9月14日 优先权日2012年9月14日
发明者刘杰, 陈鹏, 吴磊, 武德安, 冯江远, 夏云霓 申请人:成都国科海博计算机系统有限公司