一种异常检测装置、系统、方法、以及计算机程序产品与流程

本公开涉及计算机图像处理，具体而言，涉及一种异常检测装置、系统、方法、以及计算机程序产品。

背景技术：

1、异常检测是机器学习算法的一个常见应用，异常检测指的是发现数据中出现不符合预期的行为，在不同的应用领域中这些不符合预期的行为具体体现为异常、异常值、畸变、特殊性等。通过发现数据中出现的不符合预期的行为，进行相应的处理是进行异常检测的重要目的。

2、在异常检测的应用领域中，目前主要采用的是通过肉眼对视频图像进行观察、或者是通过一些传感器如烟雾传感器、红外传感器等对触发预警阈值的数据进行报警，但是肉眼观察的不可控因素很多，而一些传感器采集的数据不如视频图像直观，不易发现早期的异常问题，因此亟需一种能够针对视频图像中的异常数据进行自动化识别的技术。

技术实现思路

1、本公开实施例至少提供一种异常检测装置、系统、方法、以及计算机程序产品。

2、第一方面，本公开实施例提供了一种异常检测装置，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行下述异常检测过程：

3、基于待处理视频，构建输入数据，并利用异常检测模型中的编码器对所述输入数据进行编码处理，得到编码数据以及隐含层变量；

4、利用所述异常检测模型中的门控循环单元对所述编码数据进行特征提取处理，得到中间特征数据，并利用异常检测模型中的解码器基于所述隐含层变量和所述中间特征数据进行解码处理，得到解码数据；所述解码数据中包括：所述待处理视频的图像的异常得分；

5、基于所述解码数据、和异常判断阈值，得到对所述待处理视频的异常检测结果。

6、这样，将基于待处理视频构建的输入数据，通过异常建模模型的处理，输出待处理视频中图像的异常得分，根据图像的异常得分与异常判断阈值进行对比，可以得到待处理视频的异常检测结果，实现对待处理视频进行异常识别以及输出异常检测结果的自动化处理过程，提升异常检测的准确率。

7、另外，本公开利用门控循环单元提取序列数据之间的关联特征，而门控循环单元更加容易实现，且处理所需要的计算量更少，处理效率高，更适用于时效要求更高的异常检测场景。

8、一种可选的实施方式中，所述处理器具体执行：

9、基于预设尺寸的采样窗口以及窗口滑动步长，从所述待处理视频中获取多组图像序列；

10、针对每组图像序列，确定与所述每组图像序列对应的相关性矩阵；

11、基于多组所述图像序列分别对应的相关性矩阵，构成所述输入数据。

12、这样，可以在待处理视频中得到多组时序相关的图像序列，根据每组图像序列中的图像在时序上的数据相关性，构成相关性矩阵，得到能够被编码器处理的量化的输入数据，该输入数据较之原始的待处理视频中所包含的数据量更少，进而所需要的计算量也能够进一步减少，进一步提升处理的效率；同时，在相关性矩阵中包含了待处理视频中多帧图像之间的相关行特征，更能够体现多帧图像的前后内在联系，进而，基于相关性矩阵构建的输入数据进行异常检测，能够有更高的异常检测精度。

13、一种可选的实施方式中，所述处理器具体执行：

14、针对所述每组图像序列中的每两帧图像，确定所述每两帧图像之间的相关度；

15、基于所述每两帧图像之间的相关度，构成所述每组图像序列的相关性矩阵。

16、这样，将每组图像序列中的每两帧图像之间的相关度映射为相关性矩阵，使得每组图像序列中任意两帧图像之间的相关度特征都在相关性矩阵中得以体现，从而能够在通过相关性矩阵，描述每组图像序列的多帧图像之间更加细节的内在联系，以提升基于相关性矩阵确定异常数据的精度。

17、一种可选的实施方式中，所述编码器包括多级卷积层；所述处理器具体执行：

18、利用多级所述卷积层对所述输入数据进行多级卷积处理，得到多级所述卷积层分别对应的特征数据序列；多级所述卷积层分别对应的特征数据序列构成所述编码数据；

19、基于最后一级卷积层对应的特征数据序列，得到所述隐含层变量。

20、这样，输入数据通过多级卷积层的处理，可以逐级获取输入数据中的特征数据序列，在经过每一级卷积处理的过程中逐级保留了一些特征数据，在后续对数据逐级上采样的过程中，保证了数据的还原度。

21、一种可选的实施方式中，所述门控循环单元有多个，多个所述门控循环单元和多级所述卷积层一一连接；

22、所述处理器具体执行：

23、利用每个门控循环单元，对与所述每个门控循环单元连接的卷积层输出的特征数据序列进行特征提取处理，得到与所述每个门控循环单元连接的卷积层对应的中间特征数据。

24、这样，对每级卷积层处理输出的特征数据序列进行特征提取处理，输出与每级卷积层对应的中间特征数据，可以在每级卷积层输出的特征数据序列中忽略正常行为数据、提取异常行为数据，提升异常判断的准确性。

25、一种可选的实施方式中，所述解码器包括：多级上采样层；多级上采样层和所述多级卷积层一一关联；

26、所述处理器，具体执行：

27、针对第1级上采样层，对与所述第1级上采样层关联的卷积层对应的中间特征数据和所述隐含层变量进行上采样处理，得到所述第1级上采样层对应的中间解码数据；

28、针对第i级上采样层，对第i-1级上采样层输出的中间解码数据、以及第i级上采样层关联的卷积层对应的中间特征数据进行上采样处理，得到第i级上采样层对应的中间解码数据；其中，i为大于1的整数；

29、将最后一级上采样层输出的中间解码数据，作为所述解码数据。

30、这样，通过与多级卷积层一一关联的多级上采样层，逐级还原编码数据对应的解码数据，利用中间特征数据确保在逐级还原的过程中数据不会过度丢失，保证异常检测结果的可靠性。

31、一种可选的实施方式中，所述处理器，具体执行：

32、将与所述第1级上采样层关联的卷积层对应的中间特征数据和所述隐含层变量进行融合处理，得到第一融合数据；

33、利用所述第1级上采样层对所述第一融合数据进行上采样处理，得到所述第1级上采样层对应的中间解码数据；

34、和/或，

35、将所述第i-1级上采样层输出的中间解码数据以及与第i级上采样层关联的卷积层对应的中间特征数据进行融合处理，得到第二融合数据；

36、利用所述第i级上采样层对所述第二融合数据进行上采样处理，得到所述第i级上采样层对应的中间解码数据。

37、一种可选的实施方式中，所述处理器，还用于采用下述方式确定所述异常判断阈值：

38、基于样本视频，构建输入样本数据，并利用所述异常检测模型得到所述输入样本数据对应的解码样本数据；所述解码样本数据中包括：所述样本视频的图像的异常得分；

39、基于所述解码样本数据以及所述样本视频对应的异常标注信息，确定所述异常判断阈值。

40、这样，通过对样本视频的异常检测处理，得到样本视频的图像的异常得分，根据样本视频的图像的异常得分、以及异常标注信息，确定异常检测的正确率，使得异常检测的正确率达到预设正确率阈值，这样得到的异常判断阈值可以提升异常检测结果的准确性。

41、一种可选的实施方式中，所述处理器，具体执行：

42、基于所述解码样本数据、候选异常判断阈值，确定所述样本视频的异常检测结果；

43、基于所述异常检测结果、以及所述样本视频对应的异常标注信息，确定第一数量、第二数量以及第三数量；其中，所述第一数量为：异常检测结果指示正常，异常标注信息指示正常的样本视频的数量；所述第二数量为：异常检测结果指示异常，异常标注信息指示异常的样本视频的数量；第三数量为：异常检测结果指示正常，异常标注信息指示异常的样本视频的数量；

44、对所述第一数量、第二数量以及第三数量求和处理，得到和值，并确定所述第三数量和所述和值的比值，将所述比值确定为错误率；

45、以最小化所述错误率为目标，迭代更新所述候选异常判断阈值，并将所述错误率最小时的候选异常判断阈值，确定为异常判断阈值。

46、这样，由于第三数量是指异常检测结果指示正常，异常标注信息指示异常的样本视频的数据，如果第三数量较多，则表示异常检测模型识别异常情况的正确率较低，这样容易扩大异常情况的影响范围，造成损失；因此将第三数量作为和所述和值的比值作为错误率的指标，以最小化错误率为目标，更新正确率阈值，可以最大程度的保证异常检测模型识别异常情况的准确性。

47、第二方面，本公开实施例还提供一种异常检测系统，其特征在于，包括：图像获取设备、以及如第一方面及上述任一可选的实施方式所述的异常检测装置；

48、所述图像获取设备，用于获取对目标对象的检测视频；

49、所述异常检测装置，用于对所述检测视频进行异常检测处理，得到所述检测视频的异常检测结果。

50、第三方面，本公开可选实现方式还提供一种异常检测方法，包括：

51、基于待处理视频，构建输入数据，并利用异常检测模型中的编码器对所述输入数据进行编码处理，得到编码数据、以及隐含层变量；

52、利用所述异常检测模型中的门控循环单元对所述编码数据进行特征提取处理，得到中间特征数据，并利用所述异常检测模型中的解码器基于所述隐含层变量和所述中间特征数据进行解码处理，得到解码数据；所述解码数据中包括：所述待处理视频的图像的异常得分；

53、基于所述解码数据、和异常判断阈值，得到对所述待处理视频的异常检测结果。

54、第四方面，本公开可选实现方式还提供一种计算机程序产品，包括计算机程序，当所述计算机程序被执行时实现如第三方面所述的方法。

55、关于上述异常检测系统、方法、以及计算机程序产品的效果描述参见上述异常检测装置的说明，这里不再赘述。

56、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。

57、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。