基于情境推理的异常行为行踪智能识别方法及装置与流程

本发明涉及智能视频监控领域，尤其涉及一种基于情境推理的异常行为行踪智能识别方法及装置。

背景技术：

随着信息技术逐渐向智能化和数字化的高速发展以及人们安全意识的提高，智能视频监控在人员异常行为行踪识别方面发挥着越来越重要的作用。目标对象在预谋、实施、藏匿等不同阶段所产生的行为多具有异常性特征，一方面其行为较普通人的多数行为表现出异常性，另一方面其行为较自己的日常行为表现出异常性。针对目标对象的虚实空间的通信行为、网络行为、经济行为、寄递行为、电信痕迹、车辆痕迹、网络痕迹、消费痕迹、住宿痕迹、航乘痕迹、铁路痕迹等行为数据信息进行分析，通过分析目标对象的行为习惯，并结合实际情境与目标对象的日常行为或者其他普通人的行为展开比对挖掘、综合研判，实现对人的个体动作、人与人之间以及人与外界环境之间的交互行为的理解和识别，判断异常行为，支撑对异常行为的预测预警。

目前大多的异常行为行踪智能识别技术主要采用专家知识的方式，多基于简单规则的经验模式，远远无法从海量的看似分散、乱序、无关的数据中抽丝剥茧、发现苗头、找出线索。而已探索研发的基于机器学习的分析预警模型，也受制于对高级算法的理解认知水平，成为“黑箱模型”，在具体业务场景中的适应性、实用性无法科学评估，分析结果的准确性、有效性也无法科学认定。

技术实现要素：

本发明实施例提供一种基于情境推理的异常行为行踪智能识别方法及装置，用以解决现有技术中的上述问题。

本发明实施例提供一种基于情境推理的异常行为行踪智能识别方法，包括：

构建多场景下的数据集，根据所述数据集建立异常行为特征库和正常行为特征库，其中，所述数据集中的异常行为进行了标注；

根据所述异常行为特征库和所述正常行为特征库，采用基于模式匹配的异常行为行踪检测方法和基于机器学习算法的异常行为行踪检测方法，进行异常行为行踪的智能识别。

优选地，构建多场景下的数据集具体包括：

采用现有的室内室外监控视频系统中记录的正常行为和异常行为的视频数据，对视频数据进行处理，分析判断视频中出现的行为类型并获取对该行为类型的标注，形成多场景下的数据集。

优选地，采用现有的室内室外监控视频系统中记录的正常行为和异常行为的视频数据具体包括：

采用现成的监控视频采集系统作为数据集建立的视频采集环境，选取摄像头分辨率较高，拍摄角度较好的监控相机进行基本数据的采集；再选取不同分辨率和拍摄角度的相机丰富数据集的多样性，其中，基本数据的采集在白天、光照良好的情况下进行，后期配备多种光照环境下的数据增加数据集的多样性。

优选地，对视频数据进行处理，分析判断视频中出现的行为类型并获取对该行为类型的标注，形成多场景下的数据集具体包括：

针对室内/室外指定场景中个人/群体异常行为的特点，获取异常行为的定义以及异常行为的正例、反例、以及疑似例的分类描述，并获取根据先验知识对诱发异常行为动作的定义；

对于采集的包含异常行为和正常行为的原始视频，根据视频中异常行为发生区域和行为剧烈程度，对视频进行空间分辨率和时间分辨率的规整化处理；

针对采集所述原始视频，首先根据行为的定义进行视频片段截取，把筛选出来的视频片段按一定的帧率和分辨率进行规整化；在规整化之后的视频片段上，获取行为的起始帧和结束帧的标注、行为对象位置的标注、行为类型的标注以及行为具体属性的标注。

优选地，基于模式匹配的异常行为行踪检测方法，进行异常行为行踪的智能识别具体包括：

从实时视频数据中提取出行为行踪特征数据；

使用模式标识ii标记行踪特征数据中的行为，给定滑动窗口w，一个行为ii发生描述为其中ii为行为标识，为行为ii的发生频度f取值，值域为{zero,few,many}，num表示行为ii在滑动窗口w中的发生次数，的取值为当ii发生次数为num时支持度最大的值；对滑动窗口w中每种行为的发生进行描述，得到目标在该滑动窗口中的行为序列l：

将行为序列l与所述异常特征库进行匹配，如果匹配成功，则确认为异常行为行踪，如果匹配失败，则确定为正常行为行踪。

优选地，基于机器学习算法的异常行为行踪检测方法具体包括：

在训练集中寻找待分类样本的kⁱ个最近邻样本，依据kⁱ个最近邻样本的类标签，通过多数投票方法预测待分类样本的类别，并使用正常行为数据构建k-nn模型；

基于所述k-nn模型，假定x′为一个包含了n′正常样本的样本集即正常行为特征库，x′＝[x1，x2，...，xn′]，xi为待检测样本，根据公式1计算xi与x′中各样本xi，1≤i≤n′的余弦相似度，若xi与x′中某个样本xj的余弦相似度等于1，则xi与xj完全匹配，将xi判定为正常行为，否则，将从x′包含的n′个样本中找出与xi余弦相似度最高的k′个样本，再计算xi与这k′个样本的平均余弦相似度，若该平均相似度大于一个预定的相似度阈值则将xi判定为正常行为；若xi未被k-nn模块判定为正常行为，则xi被最终判定为异常行为：

其中，“·”代表对两个特征向量进行点积运算。

本发明实施例还提供一种基于情境推理的异常行为行踪智能识别装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述方法的步骤。

采用本发明实施例，利用模式匹配和机器学习相结合的方式，通过对监控视频进行智能分析，探索出一个基于情境推理的异常行为行踪智能识别技术，可有效实现对特定目标异常行为的精确识别。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例的基于情境推理的异常行为行踪智能识别方法的流程图；

图2是本发明实施例中多场景下的典型异常行为数据集构建过程的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例的基于情境推理的异常行为行踪智能识别方法的主要包括两个阶段，分别是数据集构建阶段和异常识别阶段。具体包括如下处理：

步骤1，构建多场景下的数据集，根据所述数据集建立异常行为特征库和正常行为特征库，其中，所述数据集中的异常行为进行了标注；

具体地，采用现有的室内室外监控视频系统中记录的正常行为和异常行为的视频数据，对视频数据进行处理，分析判断视频中出现的行为类型并获取对该行为类型的标注，形成多场景下的数据集。其中：采用现有的室内室外监控视频系统中记录的正常行为和异常行为的视频数据具体包括：

采用现成的监控视频采集系统作为数据集建立的视频采集环境，选取摄像头分辨率较高，拍摄角度较好的监控相机进行基本数据的采集；再选取不同分辨率和拍摄角度的相机丰富数据集的多样性，其中，基本数据的采集在白天、光照良好的情况下进行，后期配备多种光照环境下的数据增加数据集的多样性。

对视频数据进行处理，分析判断视频中出现的行为类型并获取对该行为类型的标注，形成多场景下的数据集具体包括：

针对室内/室外指定场景中个人/群体异常行为的特点，获取异常行为的定义以及异常行为的正例、反例、以及疑似例的分类描述，并获取根据先验知识对诱发异常行为动作的定义；

对于采集的包含异常行为和正常行为的原始视频，根据视频中异常行为发生区域和行为剧烈程度，对视频进行空间分辨率和时间分辨率的规整化处理；

针对采集所述原始视频，首先根据行为的定义进行视频片段截取，把筛选出来的视频片段按一定的帧率和分辨率进行规整化；在规整化之后的视频片段上，获取行为的起始帧和结束帧的标注、行为对象位置的标注、行为类型的标注以及行为具体属性的标注。

步骤2，根据所述异常行为特征库和所述正常行为特征库，采用基于模式匹配的异常行为行踪检测方法和基于机器学习算法的异常行为行踪检测方法，进行异常行为行踪的智能识别。

其中，基于模式匹配的异常行为行踪检测方法，进行异常行为行踪的智能识别具体包括：

从实时视频数据中提取出行为行踪特征数据；

使用模式标识ii标记行踪特征数据中的行为，给定滑动窗口w，一个行为ii发生描述为其中ii为行为标识，为行为ii的发生频度f取值，值域为{zero,few,many}，num表示行为ii在滑动窗口w中的发生次数，的取值为当ii发生次数为num时支持度最大的值；对滑动窗口w中每种行为的发生进行描述，得到目标在该滑动窗口中的行为序列l：

将行为序列l与所述异常特征库进行匹配，如果匹配成功，则确认为异常行为行踪，如果匹配失败，则确定为正常行为行踪。

其中，基于机器学习算法的异常行为行踪检测方法具体包括：

在训练集中寻找待分类样本的kⁱ个最近邻样本，依据kⁱ个最近邻样本的类标签，通过多数投票方法预测待分类样本的类别，并使用正常行为数据构建k-nn模型；

基于所述k-nn模型，假定x′为一个包含了n′正常样本的样本集即正常行为特征库，x′＝[x1，x2，...，xn′]，xi为待检测样本，根据公式1计算xi与x′中各样本xi，1≤i≤n′的余弦相似度，若xi与x′中某个样本xj的余弦相似度等于1，则xi与xj完全匹配，将xi判定为正常行为，否则，将从x′包含的n′个样本中找出与xi余弦相似度最高的k′个样本，再计算xi与这k′个样本的平均余弦相似度，若该平均相似度大于一个预定的相似度阈值则将xi判定为正常行为；若xi未被k-nn模块判定为正常行为，则xi被最终判定为异常行为：

其中，“·”代表对两个特征向量进行点积运算。

以下对本发明实施例的上述技术方案进行详细说明。

一、构建多场景下的数据集

在本发明实施中，异常行为通常是指不常见的、违反行为准则或者法律的行为，比如公众场合的打斗、踩踏等，而异常行为的定义是根据不同的场景和时间推移而变化的，比如包裹遗留行为，因为近年来的遗留炸弹事件被逐步定义为公共场所中的潜在危险行为。因此，多场景下的典型异常行为的定义及其数据集的建立对智能视频监控系统来说，具有极其重要的作用。

本发明实施例中多场景下的数据集的建立主要是采用现有的室内室外监控视频系统中记录的正常行为和异常行为的视频数据，经过对视频数据进行处理后，分析判断视频中出现的行为类型来进行标注，从而形成多场景下的异常行为特征库和正常行为特征库。建立过程如图1所示：

1)异常行为定义

首先针对室内/室外指定场景中个人/群体异常行为的特点，如光照、时间、人物、人数、位置、外观、姿态、动作、时长、人物之间空间关系、时序逻辑、动作特性等，面向应用进行异常行为的定义以及异常行为的正例、反例、疑似例的分类描述。同时，根据先验知识，对诱发异常行为的动作进行定义，为后续异常智能识别提供数据支撑。

2)视频采集

采用现成的监控视频采集系统作为数据集建立的视频采集环境，先选取摄像头分辨率较高，拍摄角度较好的监控相机进行基本数据的采集；再选取不同分辨率和拍摄角度的相机丰富数据集的多样性。基本数据中以白天、光照良好的情况下进行，后期配备多种光照环境下的数据增加数据集的多样性。特别是，针对性丰富异常行为对应的视频数据。

3)数据标注与规整化

针对通过高清监控视频系统采集的包含异常行为和正常行为的原始数据进行标注。首先根据行为的定义进行视频片段截取，把筛选出来的视频片段按一定的帧率和分辨率进行规整化；在规整化之后的视频片段上，标注行为的起始帧和结束帧、行为对象的位置、行为的类型、行为具体属性等。我们采取多名标注者独立完成编码标注工作，采用投票法和取平均的方式，将多名标注者的标注结果进行综合矫正，以保证标注工作的可靠性。对于采集的视频，根据视频中异常行为发生区域和行为剧烈程度，对视频进行空间分辨率和时间分辨率的规整化处理。

二、异常行为行踪智能识别研判

通过前面的处理可以得到高质量标注的行为行踪数据，在此基础上通过专家知识总结分析并构建异常特征，并采用基于模式匹配的异常行为行踪检测和基于机器学习算法的异常行为行踪检测方法，实现异常行为行踪智能识别研判。

1、基于模式匹配的异常行为行踪识别检测

异常行为行踪识别检测主要基于以下假设：若某一行为是正常行为，则该行为会在一段较长的时间内大量发生。反之，若某一行为是异常行为，则该行为在一段较长的时间内少量发生或者不发生。故理论上，可从一段时间的行为数据中，提取出完整行为模式集，任何不符合该行为模式集的行为都被判定为异常。

异常行为行踪识别检测的流程是：首先从实时数据中提取出行为行踪特征数据，然后将当前行为与行为模式库进行比对分析，进行判定目标行为是否异常。

在模式训练阶段，行为构建是以划分的时间片为基础进行的，但是在模式匹配阶段，数据流实时到达，此时需要以滑动窗口为基础进行行为序列构建。

在行为匹配阶段，使用模式标识ii标记行踪特征数据中的行为，给定滑动窗口w，一个行为ii发生描述为其中ii为行为标识，代表该行为所属模式，为行为ii的发生频度f取值，值域为{zero,few,many}，num表示行为ii在滑动窗口w中的发生次数，的取值为当ii发生次数为num时支持度最大的值；例如，若行为a在w中发生6次，此时zero支持度为zero(6)＝0，few支持度为few(6)＝0.1，many支持度为many(6)＝0.9，则行为a发生频度f取值应为many，行为a发生描述为(a，many)。对滑动窗口w中每种行为的发生进行描述，得到目标在该滑动窗口中的行为序列l：

行为序列l的匹配过程即是从该目标的行为序列模式集mtx(即异常行为特征库)中找到与之相匹配模式的过程，如果存在，则匹配成功，若不存在则匹配失败。

下面给出基于滑动窗口的行为序列模式匹配的算法实现如下：

输入：行为序列模式集mtx，滑动窗口内的行为集合d，目标集合u

输出：模式标识mtxi或null(mtxi为匹配成功的模式标识，null代表匹配失败)

2、基于机器学习算法的异常行为行踪检测

本发明实施例采用基于k近邻的异常检测算法方法实现基于机器学习算法的异常行为行踪检测，具体流程如下：

k-nn分类算法运行流程为：在训练集中寻找待分类样本的kⁱ个最近邻样本，然后依据这kⁱ个最近邻样本的类标签，通过多数投票方法来预测待分类样本的类别。本实例仅使用正常样本集合来构建该k-nn模型。此外，本发明实施例使用余弦(cosine)来作为衡量样本间相似度大小的指标，从而使相似度的值域为[0,1]。两个特征向量xi和xj的余弦相似度cos(xi,xj)的计算方法如下：

其中，公式中“·”代表对两个特征向量进行点积运算。

假定x'为一个包含了n'个正常样本的样本集，x′＝[x1，x2，...，xn′]，xi为待检测样本，本项目构建的k-nn检测算法将通过计算xi与x′中各样本xi，1≤i≤n′的余弦相似度，若xi与x′中某个样本xj的余弦相似度等于1(即cos(xi，xj)＝1)，则意味着xi与xj完全匹配，进而可以直接将xi判定为正常行为。否则，将从x′包含的n′个样本中找出与xi余弦相似度最高的k′个样本，再计算xi与这k′个样本的平均余弦相似度。若该平均相似度大于一个预定的相似度阈值(其中，通常取一个较大的值，如0.99)，则将xi判定为正常行为；若xi未被该k-nn模块判定为正常行为(对应误报)，则xi被最终判定为异常行为。

综上所述，本发明实施提供一种基于情境推理的异常行为行踪智能识别方法及装置，通过构建多场景下的异常行为数据集，并采用基于模式匹配的异常用户行为检测和基于机器学习的异常行为智能检测相结合的方法，实现对目标对象异常行为行踪的智能识别。利用模式匹配和机器学习相结合的方式，通过对监控视频进行智能分析，探索出一个基于情境推理的异常行为行踪智能识别技术，可有效实现对特定目标异常行为的精确识别。

本实施例所述计算机可读存储介质包括但不限于为：rom、ram、磁盘或光盘等。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。