一种融合多注意力机制的安防异常行为检测模型的建立方法

本发明涉及异常行为检测领域，尤其涉及一种融合多注意力机制的安防异常行为检测模型的建立方法。

背景技术：

1、安防异常行为检测是智能安防的重要分支，在公共安全领域发挥着重要作用。为维护社会治安秩序、保障人民安全，安防异常行为检测被广泛关注和研究。监控视频图像不同于静态图像，其不仅具有空间特征，且多帧之间具有强关联性的时序运动特征，特别是安防异常视频场景复杂、时序运动快、视频中关键行为容易被遮挡使得安防异常行为难以检测。因此，如何从复杂、时序变化快的安防异常视频中提取充足的空间和时序运动特征成为安防异常行为检测任务的一大挑战。

2、传统检测领域基于直方图和词袋等对特征区域进行表示，针对特定数据集提出特定描述符来研究安防异常特征进行安防异常检测，该方法虽然能够提取视频流时序特征，但是未充分考虑复杂场景下关键行为被遮挡时兴趣描述符无法表示全局特征依赖性的问题。随着计算机视觉的发展，基于深度学习的特征提取方法相较于传统方法有很大优势，目前现有方法能够记忆帧间的关联信息，但不可忽略的是，其并未融合更有效的多维度特征。由于安防异常行为具有多维度特征属性，并且其维度特征具有时序运动强关联性，因此提取多维度特征并进行融合以获取更充足、更丰富的安防异常行为特征是非常必要的。

技术实现思路

1、针对上述现有方法存在的缺陷或不足，本发明的目的在于，提供一种融合多注意力机制的安防异常行为检测模型的建立方法。

2、为了实现上述任务，本发明所采用如下的技术解决方案：

3、一种融合多注意力机制的安防异常行为检测模型的建立方法，其特征在于，包括以下步骤：

4、步骤1，模型载入imagenet数据集上训练好的模型参数；

5、步骤2，输入带有真实标签的源域数据集进行训练网络，得到训练后的源域模型，使用图像样本为行为图像；

6、步骤3，输入没有标签的目标域数据集对于每一个目标域训练样本执行数据增强，数据增强包括hsv增强、随机值增强和减弱和直方图均衡处理，之后融入椒盐噪声，经过数据增强的样本经过光流提取模块，构成前一部分是rgb流、后一部分是光流的拼接输入，将其输入网络模型中，经过efficientnet-b1主干网络的cbs block和mbconv block模块以获取异常行为帧级特征x∈rb×t×c×h×w；

7、步骤4，帧级特征图x∈rb×t×c×h×w分别在通道、空间和时间维度上进行卷积、池化操作；

8、对于通道注意力，采用压缩输入特征映射的空间维度方法，运用平均池化和最大池化压缩空间，并融合池化后的特征描述符，接着使其融入输入图中，得到通道注意力图，表达式为：

9、

10、式中，为全连接层权重，xc表示通道注意力特征图。

11、接着，以特征通道方向展开进行平均池化和最大池化，通过池化操作聚合帧级特征信息，表示为：

12、a(xc)＝avgpool(xc)+maxpool(xc)

13、式中，a(xc)表示聚合空间特征矩阵。

14、最后，聚合通道信息后进行通道调整，通过标准卷积层缩小通道数，表达式为：

15、xs＝xcwθa(xc)

16、式中，wθ为卷积核权重参数，xs表示调整通道数后的空间注意力特征矩阵。

17、对特征图xs分别进行三组卷积操作，卷积后的特征描述符进行缩放变换，通过对缩放后特征描述符逐元素相乘，并利用softmax进行时间相关性计算，得到时间相关性特征矩阵，表达式为：

18、at1(xs)＝view(wφxs)

19、at2(xs)＝view(wφxs)

20、at3(xs)＝view(wφxs)

21、xt＝{view[at1(xs)at2(xs)]}at3(xs)

22、式中，at1(xs)、at2(xs)、at3(xs)为卷积后特征描述符，wφ为不同的卷积核权重参数，xt表示时间相关性特征矩阵；

23、步骤5，经过空间、时间、通道注意力模块得到融合空间、时间、通道注意力图，之后经过卷积核恢复初始维度得到xa,融合所得注意力特征图与输入特征图获得最终输出特征图y∈rb×t×c×h×w,表达式为：

24、

25、y＝xa+x

26、步骤6，接着对维度进行变换，将其转化为三个维度，即变换后的特征为z∈rb×t×c；随后接入bilstm，通过bilstm学习安防异常行为时序特征,通过该模块捕捉安防异常视频和正常活动视频帧与帧之间的关联时序特征，bilstm是双向的lstm其单元的第一层被称为遗忘门层，表达式为：

27、f(t)＝σ(wfht-1+ufxt+bf)

28、遗忘门后进入输入门层，记忆状态数据被重新训练为新的特征，表达式为：

29、i(t)＝σ(wiht-1+uixi+bi)

30、输出门o(t)表达式为：

31、a(t)＝tanh(waht-1+uaxt+ba)

32、o(t)＝σ(woht-1+uoxt+bo)

33、

34、

35、式中，tanh为正切双曲函数，σ为激活函数sigmoid。

36、遗忘门和输入门的计算结果构成t时刻的状态，表达式为：

37、c(t)＝c(t-1)⊙f(t)+i(t)☉a(t)

38、式中,⊙为hadamard积。t时刻的隐藏层状态由输出门和当前时刻状态得出，表达式为：

39、h(r)＝o(t)⊙tanh(c0)

40、步骤7，设置学习率l为0.0005到0.001，更新模型参数；

41、步骤8，不断重复步骤3-7，并使用优化器进行优化，直到模型收敛；得到融合多注意力机制的安防异常行为检测模型。

42、根据本发明，步骤6中，所述三个维度为batchsize，timestep和channel*。

43、具体地，步骤7中，所述学习率l设置为0.0005。

44、步骤8中，所述优化器设置为adam。

45、根据申请人的实验证明，所得到的融合多注意力机制的安防异常行为检测模型能够用于对输入的目标图像进行安防异常行为检测的应用。

46、所述的应用，采用一种电子设备，该电子设备包括：存储器以及处理器，所述存储器存储有执行指令，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行所述的融合多注意力机制的安防异常行为检测模型的建立方法；或者：

47、采用一种可读存储介质，所述可读存储介质中存储执行指令，所述执行指令被处理器执行时用于实现融合多注意力机制的安防异常行为检测模型的建立方法。

48、本发明的融合多注意力机制的安防异常行为检测模型的建立方法，带来的有益技术效果在于：

49、所建立的融合多注意力机制的安防异常行为检测模型，以efficientnet-b1和bilstm作为基准模型，同时引入多注意力模块和光流输入提取有效特征。通过该方式融合rgb和光流的检测算法有别于传统双主干结构的双流网络算法，该算法模型仅使用一个主干结构可以同时处理rgb和光流双特征，这种方式提升了网络对rgb和光流的特征融合学习能力，效果更好。

50、安防异常行为特征具有多维度属性，其垂直方向上的特征为帧级图像特征，水平方向上的特征为时序维度特征。引入多注意力模块加强通道、空间、时间维度上的有效特征提取，并融合其有效特征。所提多注意力模块以弱化噪声信息，加强有效信息的方式使模型关注有效的安防异常行为特征，并且该模块的输入和输出保持维度不变。通过多注意力机制提取有效特征时，输入和输出维度一致，该多注意力机制具有即插即用的优点，其方便迁移到主流网络模型中提升算法的特征提取能力。