本发明涉及异常检测技术领域，尤其涉及一种面对目标的监控视频中异常检测方法。
背景技术
视频中异常行为检测是计算机视觉领域中的一个重要问题，目的在于给定一个视频或者在在线系统中实时处理视频时及时发现视频中的异常事件。异常检测也是一个难点问题，因为异常无法被罗列出来，导致异常检测无法成为一个有监督问题。算法需要自动检测出视频中不符合常规模式的行为(违反交通规则，打架斗殴，违法偷窃等)并定位。现有方法主要分为两种类型：
(1)基于块并分析其特征的方法。这类算法核心思想是将视频分块，然后对块提取特征，分析该块是否为异常。这类方法缺少对场景的语义理解，容易把单个目标分裂开，不易于个体分析，会限制检测效果。
(2)基于轨迹分析的方法。使用目标跟踪的算法得到视频中运动目标的轨迹图，之后运用特定的轨迹分析方法来分析某个轨迹是否属于异常轨迹，这类方法只能在轨迹层面分析速度、方向等异常，忽略了场景信息，而且跟踪的效果会因为遮挡而急剧下降，其次，基于轨迹分析的方法需要跟踪所有的目标，导致计算成本高。
此外，目前算法很少考虑到位置异常。
技术实现要素：
本发明的目的是提供一种面对目标的监控视频中异常检测方法，可以提高目标异常检测的准确性。
本发明的目的是通过以下技术方案实现的：
一种面对目标的监控视频中异常检测方法，包括：
对于每一视频帧，提取融合了外观和运动信息的三通道数据送入目标检测网络，来提取视频帧内的前景目标位置、大小及其类别；
根据每个前景目标位置、大小及其类别判断是否属于位置异常与外观异常，并获得相应的目标异常得分；当不属于这两种异常时，则提取前景目标的手工特征来判断是否属于运动异常，并获得相应的目标异常得分；
对于非位置异常的异常目标进行跟踪，得到最终的异常目标集合及对应目标异常得分后；通过判断目标异常得分是否超过异常阈值，来确定相应的异常目标是否异常。
由上述本发明提供的技术方案可以看出，一方面，使用了目标检测来提取视频里的目标，可以有效避免将目标分裂开，更利于对单个目标进行精准的分析；此外，现有目标检测对于昏暗模糊场景的检测效果不够好，因此提出了基于动态图的目标检测，可以有效检测到与背景颜色很接近的目标。另一方面，将目标检测和异常跟踪有效地结合起来，可以有效避免目标检测可能导致的漏检情况，同时目标检测可以为跟踪提供多个groundtruth，使得跟踪不受遮挡的影响而更加准确。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种面对目标的监控视频中异常检测方法的流程图；
图2为本发明实施例提供的动态图及基于动态图进行目标检测结果的示意图；
图3为本发明实施例提供的本发明的方案在数据集ucsd上进行异常检测效果图；
图4为本发明实施例提供的本发明的方案与现有算法的对比结果示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种面对目标的监控视频中异常检测方法，如图1所示，其主要包括：
1、对于每一视频帧，提取融合了外观和运动信息的三通道数据送入目标检测网络，来提取视频帧内的前景目标位置、大小及其类别。
本发明实施例中，对于每一视频帧，均计算其光流信息与相应的灰度图，灰度图与光流信息中的光流方向与大小构成一张类似hsi图像的三通道数据；所述三通道数据融合了外观和运动信息，也即动态图像。
在得到每一视频帧对应的动态图后将其送入目标检测网络(rfcn)里进行识别，提取出前景目标位置、大小和类别。
图2显示了提出的动态图对应的rgb图像以及目标检测效果图，从图中可以看出，左侧的动态图可以使得图像中的前景目标更加清晰，动态图中某些目标是使用原始图像做目标检测检测不到的，证明了基于动态图目标检测算法的有效性，因为从外观上看，目标和背景颜色太接近，仅凭外观信息难以检测到。
2、根据每个前景目标位置、大小及其类别判断是否属于位置异常与外观异常，并获得相应的目标异常得分；当不属于这两种异常时，则提取前景目标的手工特征来判断是否属于运动异常，并获得相应的目标异常得分。
本发明实施例中，异常检测主要分为：位置异常检测、外观异常检测与运动异常检测；主要如下：
1)位置异常检测。
使用主成分分析方法将输入视频帧的背景和前景分别当做低秩矩阵和误差稀疏矩阵，对连续的视频帧中的前景目标位置与大小结合起来获得图像中的活跃区域；根据当前前景目标位置与大小判断当前前景目标的下半身是否全部位于非活跃区域；若是，则当前前景目标属于位置异常，对应的目标异常得分记为1；否则，不属于位置异常，判断是否属于外观异常。
示例性的，当获得图像中的活跃区域后，也可确定非活跃区域，例如，草坪；当某个行人践踏草坪，此时，该行人作为一个前景目标，可以通过上述检测过程判定其下半身全部位于非活跃区域，因而，该前景目标属于位置异常。
2)外观异常检测。
如果当前前景目标的类别没有在训练集中出现过，且概率大于设定值(例如，0.9)，则当前前景目标属于外观异常，其概率即为对应的目标异常得分。
3)运动异常检测
若目标不属于前面两种异常，则根据该前景目标对应的手工特征继续判断其是否有异常的运动模式。
本发明实施例中，提出了两种手工特征，即光流角度直方图方差hvofa与平均动能en；
设置当前前景目标共有n个像素点，光流角度区间被平分为b个区间，光流角度直方图hofa是统计每个区间角度在该目标内出现的次数，即：
上式中，fb表示在第b个区间对应光流角度出现的频率；
然后，通过下式计算光流角度直方图方差hvofa：
上式中，
然而一些异常比如溜冰等速度很快的物体，则可以使用平均动能en进行判断。假设第i个像素点的光流速度大小为vi，则当前前景目标的平均动能en为：
如果当前前景目标的hofa及en，与所有具有相同像素点数的前景目标的hofa及en的均值相差超过预设标准，则当前前景目标为运动异常，对应的目标异常得分为hvofa与en之和。
3、对于非位置异常的异常目标进行跟踪，得到最终的异常目标集合及对应目标异常得分后；通过判断目标异常得分是否超过异常阈值，来确定相应的异常目标是否异常。
本发明实施例中，对于上个步骤得到的异常目标进行跟踪以减少漏检和误检目标。具体而言，对于每个异常目标，在某些帧因为光照、遮挡等原因可能没有被捕捉到，导致一部分漏检。
本发明实施例中，当某个前景目标检测为位置异常时，相应的目标异常得分即为1；通常来说，目标异常最大值定义为1，因此，位置异常可以直接认定为异常。也就是说，本步骤主要是针对非位置异常(即外观异常或者运动异常)的异常目标进行跟踪。
将非位置异常的异常目标放入异常目标集合，将异常目标集合中的每一异常目标作为初始异常目标，采用目标跟踪的方法进行跟踪来补全在每一视频帧的位置，跟踪到的每一个异常目标都与相应初始异常目标的目标异常得分相同；如果某一异常目标在第j帧与第k帧均出现，则根据第j帧的目标信息进行跟踪，跟踪到第k帧时，如果跟踪的boundingbox(目标框)和步骤2中目标异常检测得到的boundingbox间的重叠区域大于两者并集的p％(例如60％)，则两者是同一个目标，后续视频帧则以目标异常检测得到的boundingbox作为初始目标继续后续跟踪，直至遇到下一个新的boundingbox；
对于某些误检的异常目标，根据提取的运动轨迹，将异常目标中心在五帧内的位移进行聚类；假设目标在第j帧时的中心位置为(xj,yj)，则其在五帧内的位移为：
如果计算到的位移offset小于设定的阈值，则认为是误检，将被误检的异常目标记为正常目标，并将其从异常目标集合中移除；
当通过上述处理后，可以确定所有的外观异常与运动异常的前景目标，结合之前确定的前景目标检测为位置异常的前景目标，从而构成最终的异常目标集合；对于其中每一异常目标判断其目标异常得分是否超过异常阈值，若是，则认为异常目标内所有像素均异常；否则，相应异常目标正常。完成上述过程后，系统会根据最终检测到的异常目标给出提示并显示异常目标的位置。
基于本发明实施例上述方案，可以在大量监控视频中快速找出异常片段，协助人员在大量视频中快速找出所需要的片段。
如图3所示，为基于上述方案在数据集ucsd上进行异常检测效果图，左右两幅图中框选的部分也即最终检测到的异常目标。
此外，为了说明本发明上述方案的效果，还与现有算法进行了对比，对比结果如图4所示，图4(a)～图4(d)中，曲线覆盖面积越大代表算法准确率更高。可以看出，本发明上述方案效果优于目前绝大多数的方案；而某些与本发明上述方案的效果相近的现有算法，其计算性能、计算效率则远低于本发明上述方案。
总而言之，本发明实施例上述方案与现有技术相比具有以下优点：
第一，本发明使用了目标检测来提取视频里的目标，可以有效避免将目标分裂开，更利于对单个目标进行精准的分析。其次，现有目标检测对于昏暗模糊场景的检测效果不够好，所以本发明提出了基于动态图的目标检测，可以有效检测到与背景颜色很接近的目标。
第二，本发明提出一种新的手工特征光流角度直方图方差，该特征因未使用光流赋值信息而具有尺度不变性，使得特征在涉及景深场景时依旧能够有很好的区分异常的能力。
第三，本发明将目标检测和异常跟踪有效地结合起来，可以有效避免目标检测可能导致的漏检目标，同时目标检测可以为跟踪提供多个目标参考框，使得跟踪不受遮挡的影响而更加准确。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。