基于融合特征的异常行为检测方法和装置的制造方法
【技术领域】
[0001] 本发明涉及视频监控领域，具体而言，涉及基于融合特征的异常行为检测方法和 装置。
【背景技术】
[0002] 目前，银行、商场、车站和交通路口等很多公共场所均设置有视频监控装置，用于 实时采集预设监控区域中的视频图像，并将上述视频图像发送至监控中心，形成监控系统。 但是，上述监控系统中对应的很多实际的监控任务仍需要较多的人工完成，并且现有的视 频监控系统通常只是存储采集的视频图像，并且也不会对该视频图像进行任何的处理，故 这些未经过解释（即处理）的视频图像通常只能用作事后取证，无法充分发挥监控的实时 性和主动性。
[0003] 随着近些年，反恐防暴的压力逐步增大，针对特定公共场所（如地铁站、火车站、 商场等）中出现的异常行为进行实时检测并报警的技术显得愈发重要，而上述异常行为一 般指奔跑、突然急速、打架、人群躁动等行为或事件。
[0004] 为了充分发挥监控系统针对上述检测异常行为的实时性和主动性的优势，相关技 术提供了一种异常行为检测方法，包括：在所有目标中选择运动目标，然后提取运动目标的 某一类单一特征（如运动速度、运动目标尺寸和运动的位移等），接着对该单一特征进行分 析处理，最后根据分析处理结果判断该运动目标的行为是否属于异常行为范畴；通过上述 方法能实时分析、跟踪和判别监控对象（即采集的视频图像），并在异常事件发生时向上级 部门或者政府部门时进行提示和上报，为政府部门、相关安全管理部门对异常事件进行及 时决策和采取正确行动提供支持。
[0005] 发明人在研究中发现，上述单一特征往往在实际应用上存在很大的局限性，容易 导致异常行为的漏报或误报。
【发明内容】
[0006] 本发明的目的在于提供基于融合特征的异常行为检测方法和装置，能够更加准确 且全方位的对异常行为进行检测，检测结果可靠性较高，并且有效提升了算法的鲁棒性和 稳定性，适用于多种复杂应用场景，具备很高的推广价值。
[0007] 第一方面，本发明实施例提供了一种基于融合特征的异常行为检测方法，包括：
[0008] 根据待测试视频中运动目标的检测跟踪处理结果，确定所述运动目标的行为类 型；
[0009] 提取所述运动目标中的多维度特征；所述多维度特征包括以下所述运动目标的特 征中的多个：像素点的变化程度、像素点的排列紧密程度、整体形状、帧图像的相似程度、运 动特征、位置特征和形态特征；
[0010] 根据所述行为类型对应的特征融合模型对所述多维度特征进行分析处理，并根据 分析处理结果判断所述运动目标是否存在异常行为。
[0011] 结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，提 取所述运动目标中的多维度特征包括：
[0012] 计算预设周期内所述运动目标的像素点的变化程度DisturbRate=FC/FA;其中， FA表示所述预设周期对应的前景区域内所有像素点的数量；FC表示前景区域内一定时间 周期前未处于所述前景区域中的像素点的数量；；
[0013] 计算所述预设周期内所述运动目标的像素点的排列紧密程度CompactRate=CS/ CN;其中，CN表示所述前景区域内所有四邻域均处于所述前景区域的前景像素点的数量； CS表示CN中所有四邻域均存在亮度差的前景像素点的数量；
[0014] 计算预设周期内所述运动目标的整体形状的圆形度Ω=PA2*Sqrt(3iA));其 中，A表示所述前景区域的面积；P表示所述前景区域的周长；
[0015] 计算所述预设周期内所述运动目标中帧图像的相似程度AreaSimilarRate= AND/OR;其中，AND表示所述前景区域内相邻帧均处于前景区域的像素点的个数；所述OR表 示所述前景区域内相邻帧中未处于所述前景区域的像素点的个数。
[0016] 结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，提 取所述运动目标中的多维度特征包括：
[0017] 提取预设周期内所述前景区域中的所述运动目标的运动幅度；所述运动幅度包 括：纵向位移、横向位移、当前前景区域的高度和当前前景区域的宽度；
[0018]和 / 或，
[0019] 计算所述预设周期内所述运动目标的运动方向OffRate=Offset/Route;其中， Offset表示所述运动目标的实际位移，该位移包括横向位移和纵向位移；Route表示所述 预设周期内的前景区域中所有实际位移的累计行程。
[0020] 结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，提 取所述运动目标中的多维度特征包括：
[0021] 提取预设周期内所述运动目标中每两帧图像之间的位移变化值，并在所述位移变 化值大于预设阈值时，将所述运动目标的位置特征的变动频次加1，直至所述预设周期结 束，将最终的变动频次作为所述运动目标的位置特征。
[0022] 结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，提 取所述运动目标中的多维度特征包括：
[0023] 计算所述待测试视频所在的视频区域的宽高比；
[0024] 根据所述视频区域的宽高比，计算实际的前景区域的宽高比；
[0025] 将所述实际的前景区域的宽高比与预设宽高比阈值进行对比，并根据对比结果判 断所述实际的前景区域中的运动目标对应的实际形态；所述实际形态包括：单人形态和多 人形态。
[0026] 结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，根 据所述行为类型对应的特征融合模型对所述多维度特征进行分析处理，并根据分析处理结 果判断所述运动目标是否存在异常行为包括：
[0027]提取所述多维度特征中的所有特征向量，所有特征向量表示为：F= [Fl，F2,F3， F4，F5，F6，F7];其中，F表示所有特征向量的集合；特征向量F1、F2、F3、F4、F5、F6和F7分 别为所述变化程度、所述排列紧密程度、所述整体形状、所述帧图像的相似程度、所述运动 特征、上述位置特征和所述形态特征；
[0028] 获取所述特征融合模型中所有特征向量对应的权重系数，上述权重系数表示为：Μ =[wl，w2,w3，w4,w5,w6，w7];其中，Μ表示所有权重系数的集合；权重系数wl，w2,w3,w4， w5，w6和w7分别为所述变化程度、所述排列紧密程度、所述整体形状、所述帧图像的相似程 度、所述运动特征、上述位置特征和所述形态特征对应的权重系数；
[0029]
对所述所有特征向量和对应的所述权重系数 进行计算，并在计算结果符合异常行为阈值时，判定所述运动目标为异常行为并报警；其 中，label表示计算结果；T代表的是矩阵转置；表示所述特征融合模型中每一个特征向量 对应的权重系数。
[0030] 结合第一方面、第一方面的第一种可能的实施方式至第五中可能的实施方式中任 意一种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所 述特征融合模型是预先根据下述方法生成的：
[0031] 选取含有异常行为的视频资源作为正样本以及含有正常行为的视频资源作为负 样本；
[0032] 通过支持向量机对所述正样本和所述负样本进行训练计算，建立预设特征融合模 型；
[0033] 根据所述负样本对所述预设特征融合模型进行多轮迭代训练，并在所述预设特征 融合模型达到预设阈值时，确定将对应的预设特征融合模型为实际应用的特征融合模型。
[0034] 结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所 述确定所述运动目标的行为类型之前，还包括：
[0035] 对检测跟踪的所述运动目标进行分类，确定所述运动目标的特征类型，并在检测 到所述运动目标的特征类型为人的行为时，执行确定所述运动目标的行为类型的步骤。
[0036] 第二方面，本发明实施例还提供了一种基于融合特征的异常行为检测装置，包 括：
[0037] 确定单元，用于根据待测试视频中运动目标的检测跟踪处理结果，确定所述运动 目标的行为类型；
[0038] 提取单元，用于提取所述运动目标中的多维度特征；所述多维度特征包括以下所 述运动目标的特征中的多个：像素点的变化程度、像素点的排列紧密程度、整体形状、帧图 像的相似程度、运动特征、位置特征和形态特征；
[0039] 分析处理单元，用于根据所述确定单元确定的所述行为类型对应的特征融合模型 对所述提取单元提取的所述多维度特征进行分析处理，并根据分析处理结果判断所述运动 目标是否存在异常行为。
[0040] 结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所 述提取单元包括：
[0041] 第一计算子单元，用于计算预设周期内所述运动目标的像素点的变化程度 DisturbRate=FC/FA;其中，FA表示所述预设周期对应的前景区域内所有像素点的数量； FC表示前景区域内一定时间周期前未处于所述前景区域中的像素点的数量；；
[0042] 第二计算子单元，用于计算所述预设周期内所述运动目标的像素点的排列紧密程 度CompactRate=CS/CN;其中，CN表示所述前景区域内所有四邻域均处于所述前景区域的 前景像素点；CS表示CN中所有四邻域均存在亮度差的前景像素点；
[0043] 第三计算子单元，用于计算预设周期内所述运动目标的整体形状的圆形度Ω= PA2*Sqrt(πA));其中，A表示所述前景区域的面积；P表示所述前景区域的周长；
[0044] 第四计算子单元，用于计算所述预设周期内所述运动目标中帧图像的相似程度 AreaSimilarRate=AND/OR;其中，AND表示所述前景区域内相邻帧均处于前景区域的像素 点的个数；所述0R表示所述前景区域内相邻帧中未处于所述前景区域的像素点的个数。
[0045] 结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所 述提取单元还包括：
[0046] 第一提取子单元，用于提取预设周期内所述前景区域中的所述运动目标的运动 幅度；所述运动幅度包括：纵向位移、横向位移、当前前景区域的高度和当前前景区域的宽 度；
[0047]和 / 或，
[0048] 第五计算子单元，用于计算所述预设周期内所述运动目标的运动方向OffRate= Offset/Route;其中，Offset表示所述运动目标的实际