基于构建人员邻接关系图异常行为建模及检测方法及系统

本发明涉及数字视频处理，具体地，涉及一种视频异常行为检测方法，更为具体地，涉及一种基于构建人员邻接关系图异常行为建模及检测方法及系统。

背景技术：

1、视频异常行为检测是一类对监控视频中出现的可能威胁社会秩序、公众安全的行为进行识别检测的任务。随着社会治安水平要求的提高，越来越多的公共场所安装了监控摄像头，可以在监控室内对当下各监控场景进行实时审查，也可以对过去一段时间内发生的事件进行记录与追溯。但无论是对监控屏幕可能发生的异常行为进行实时监测，还是对监控录像进行追溯搜查，都需要耗费大量的人力与时间。视频异常行为检测旨在通过计算机视觉方法，将异常行为的检测看作一类特殊的分类任务，提取特征进行建模，运用深度网络对特征进行学习，从而将由监控视频得到异常分析结果的过程自动化，节省人力资源，并且保证检测的准确性和高效性。

2、异常行为检测任务的研究经过了多年发展，已形成了一定的体系。按照技术路线分类，可分为分类模型和重构模型两种；按照监督方式分类，可分为监督、无监督、有无监督混合、弱监督(weakly supervised)与自监督(self-supervised)学习；按照使用的特征分类，可分为使用外观特征和运动信息结合、使用骨骼特征等。

3、“异常”是相对的没有固定语义的概念，其定义往往依赖于上下文，具有歧义性。同样的事件可能会因为发生场景的不同而在异常检测任务中被赋予不同的标签，这就导致虽然异常检测看似是一个动作分类任务，但又与动作分类有着千差万别。正是事件异常与否依赖于发生场景这一特点使得当前业界应用的方法存在较难突破的瓶颈，且很难兼顾准确率与速度。另外，业界应用的方法大多只定位异常发生的时间片段，而未具体识别异常在画面中的位置。

4、专利文献cn114913599a公开了一种基于自动编码器的视频异常行为检测方法及系统，包括视频的下采样预处理、结合背景提取算法与图像分割网络对预处理后的视频图像序列进行前景背景分离、将前景与背景分别输入到双通道自编码器的不同通道提取特征，并在其隐含层进行特征融合，最终将融合特征送入解码器训练的方法。但该发明直接提取rgb画面的特征，没有将检测每帧中是否包含异常行为转化为检测每个图中是否包含异常节点。

5、专利cn113313037a公开了一种一种基于自注意力机制的生成对抗网络视频异常检测方法，包括视频预处理、使用liteflownet网络对运动信息进行建模、引入自注意力机制的生成器和马尔科夫判别器组成的生成对抗网络。但该发明没有采用人员邻接关系图对运动信息进行建模，没有引入sub-gcn网络进行训练与检测。

6、论文semi-supervised classification with graph convolutional networks提出了如今被广泛运用的gcn模型，其在传播过程中采用邻域聚合的方式，使用邻居节点的特征聚合表征当前节点，结合拓扑图的连接特性，可实现多种任务，包括但不限于社交网络预测、交通预测等。但在异常检测任务中，各节点之间的差异正是区分节点异常性的关键，因此，需要对特征的表征方式加以深入研究，该发明没有采用新型的聚合表征方式，没有关注同一张图中当前节点与其邻接节点的差异性。

7、专利cn109543539a公开了一种人群异常行为检测方法，其主要特征，包括：第一步：采集监控区域的视频数据并进行预处理；第二步：利用混合高斯模型进行背景建模，从原始图像分离出背景像素；第三步：从监控视频图像中提取运动目标；

8、第四步：记录运动目标的轨迹信息，并进行标记；第五步：对标记的运动目标进行跟踪和统计，从而计算人流量；第六步：当运动目标的运动轨迹超出设定的阈值时，发出报警信息。但该发明没有引入sub-gcn网络进行训练与检测。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种基于构建人员邻接关系图异常行为建模及检测方法及系统。

2、根据本发明提供的一种基于构建人员邻接关系图异常行为建模及检测方法，包括：

3、步骤s1：对人员进行目标跟踪，得到人员编号、人员出现的帧序号以及在每一帧中的位置区域坐标信息；

4、步骤s2：以每个人员目标为节点建立节点邻接矩阵，计算节点之间的邻接关系，以当前节点和邻接节点的坐标距离作为邻接边权重，构建人员邻接关系图结构；

5、步骤s3：计算每个节点位置区域坐标变化，设置节点特征；

6、步骤s4：构建网络结构，输入图数据，输出每帧检测结果，检测每个图中是否包含异常节点，若存在则认为该帧中存在异常行为，计算损失更新网络参数。。

7、优选地，在所述步骤s1中：

8、运用目标跟踪器对原始视频数据进行处理，得到每个视频对应的跟踪信息序列，序列中每一条信息由帧编号f、人员身份编号p、人员识别框左上角坐标(x1，y1)、右下角坐标(x2，y2)组成；

9、对信息序列中的每条信息，计算当前人员中心所在的坐标(x，y)f，p：

10、

11、其中，x，x1，x2均代表横坐标，y，y1，y均代表纵坐标，f代表帧编号，p代表人员身份编号。

12、优选地，在所述步骤s2中：

13、对于每个视频的跟踪信息序列，每帧中包含的所有人员身份编号p的集合为每帧所需要构建的拓扑图中节点的集合，集合大小为n；

14、对于每个视频，包含帧总数为m，以计算的人员中心坐标(x，y)为数据，建立维度为m×n×2的矩阵d；

15、对于每一对f，p：

16、df，p＝(x，y)f，p            (2)

17、对于上述计算后仍未被赋值的矩阵中元素：

18、

19、其中：

20、

21、

22、

23、

24、其中，db为从当前帧向后寻找最近的出现当前人员的帧，取其中该人员的位置数据，fb表示向前找到的帧的序号；df为从当前帧向前寻找最近的出现当前人员的帧，取其中该人员的位置数据，ff表示向后找到的帧的序号；

25、对于每一帧中的每两个节点，计算节点中心位置的距离，以距离的倒数作为边权重为这两个节点建立无向边：

26、

27、

28、其中f为当前帧，a，b为节点，disf，a，b为f帧中a，b节点之间的距离，wa，b为以a，b为端点的边的权重；df，a为帧f中人物a的位置数据，df，b为帧f中人物b的位置数据；

29、建立节点并赋予边连接，为每一帧视频构建了一张人员关系拓扑图。

30、优选地，在所述步骤s3中：

31、计算每个节点在前后相邻帧中的位置区域坐标变化，将当前节点和其他节点的坐标距离变化量、节点下一时刻运动速度变化量和运动方向变化量作为每个节点特征；

32、对于帧f对应的人员关系拓扑图gf，有邻接矩阵af(n，n)，将相邻两帧人员关系拓扑图的邻接矩阵按元素作差取绝对值，再按行相加，得到衡量每个节点与当前帧中其它人员的位置关系变化的特征值fadj(n)：

33、fadj(n)＝sum(|af(n，n)-af-1(n，n)|，axis＝0)        (10)

34、对于帧f对应的人员关系拓扑图gf中的节点列表，以每个节点的中心坐标(x，y)与前一帧的差值构建节点运动变化列表locf(n)，并分别以其中的横坐标x构建节点横坐标变化列表xf(n)，以其中的纵坐标y构建节点纵坐标变化列表yf(n)，对横纵方向上的变化量进行合成，为当前帧中记录每个节点的运动变化信息的特征值fv(n)：

35、

36、

37、

38、

39、其中，loc为包含横坐标和纵坐标的位置信息(x，y)；

40、对于帧f对应的人员关系拓扑图gf中的节点列表，locf(n)记录的信息为运动变化量，或者节点由前一帧位置运动到当前帧位置的运动向量；取当前帧向前记录的两次运动，计算两个运动向量夹角的余弦值，衡量运动方向的变化；由于余弦函数在[0，π]区间为单调递减函数，这里取相反数+1得到一个值域为[0，1]且单调递增的函数，其值作为记录运动方向变化信息的特征值fangle(n)：

41、

42、其中，

43、

44、将运动特征组合成为节点特征f：

45、

46、优选地，在所述步骤s4中：

47、构建sub-gcn网络结构，将检测每帧中是否包含异常行为转化为检测每个图中是否包含异常节点，训练过程监督标注每一帧中是否包含异常行为，输入图数据，输出每帧检测结果，计算损失更新网络参数；

48、sub-gcn的邻接矩阵计算方法：

49、

50、其中，为原图添加自环后的邻接矩阵，为对应的度矩阵，i为单位矩阵；

51、采用加权的二元交叉熵损失函数：

52、

53、其中，为二元交叉熵损失函数，β为权重，取决于正负样本的比例，yi代表真实值，代表网络输出预测为正常类的概率；

54、采用2层sub-gcn结构，层与层之间采用relu激活函数，最后一层卷积后应用softmax函数获取输出概率，在不同超参数的情况下进行迭代训练，得到最优模型；

55、将划分出的测试集按同样的预处理步骤、特征提取步骤、建模步骤构建人员关系拓扑图，将构建的图数据传入训练好的sub-gcn网络中，获得识别结果。

56、根据本发明提供的一种基于构建人员邻接关系图异常行为建模及检测系统，包括：

57、模块m1：对人员进行目标跟踪，得到人员编号、人员出现的帧序号以及在每一帧中的位置区域坐标信息；

58、模块m2：以每个人员目标为节点建立节点邻接矩阵，计算节点之间的邻接关系，以当前节点和邻接节点的坐标距离作为邻接边权重，构建人员邻接关系图结构；

59、模块m3：计算每个节点位置区域坐标变化，设置节点特征；

60、模块m4：构建网络结构，输入图数据，输出每帧检测结果，检测每个图中是否包含异常节点，若存在则认为该帧中存在异常行为，计算损失更新网络参数。。

61、优选地，在所述模块m1中：

62、运用目标跟踪器对原始视频数据进行处理，得到每个视频对应的跟踪信息序列，序列中每一条信息由帧编号f、人员身份编号p、人员识别框左上角坐标(x1，y1)、右下角坐标(x2，y2)组成；

63、对信息序列中的每条信息，计算当前人员中心所在的坐标(x，y)f，p：

64、

65、其中，x，x1，x2均代表横坐标，y，y1，y均代表纵坐标，f代表帧编号，p代表人员身份编号。

66、优选地，在所述模块m2中：

67、对于每个视频的跟踪信息序列，每帧中包含的所有人员身份编号p的集合为每帧所需要构建的拓扑图中节点的集合，集合大小为n；

68、对于每个视频，包含帧总数为m，以计算的人员中心坐标(x，y)为数据，建立维度为m×n×2的矩阵d；

69、对于每一对f，p：

70、df，p＝(x，y)f，p       (2)

71、对于上述计算后仍未被赋值的矩阵中元素：

72、

73、其中：

74、

75、

76、

77、

78、其中，db为从当前帧向后寻找最近的出现当前人员的帧，取其中该人员的位置数据，fb表示向前找到的帧的序号；df为从当前帧向前寻找最近的出现当前人员的帧，取其中该人员的位置数据，ff表示向后找到的帧的序号；

79、对于每一帧中的每两个节点，计算节点中心位置的距离，以距离的倒数作为边权重为这两个节点建立无向边：

80、

81、

82、其中f为当前帧，a，b为节点，disf，a，b为f帧中a，b节点之间的距离，wa，b为以a，b为端点的边的权重；df，a为帧f中人物a的位置数据，df，b为帧f中人物b的位置数据；

83、建立节点并赋予边连接，为每一帧视频构建了一张人员关系拓扑图。

84、优选地，在所述模块m3中：

85、计算每个节点在前后相邻帧中的位置区域坐标变化，将当前节点和其他节点的坐标距离变化量、节点下一时刻运动速度变化量和运动方向变化量作为每个节点特征；

86、对于帧f对应的人员关系拓扑图gf，有邻接矩阵af(n，n)，将相邻两帧人员关系拓扑图的邻接矩阵按元素作差取绝对值，再按行相加，得到衡量每个节点与当前帧中其它人员的位置关系变化的特征值fadj(n)：

87、fadj(n)＝sum(|af(n，n)-af-1(n，n)|，axis＝0)      (10)

88、对于帧f对应的人员关系拓扑图gf中的节点列表，以每个节点的中心坐标(x，y)与前一帧的差值构建节点运动变化列表locf(n)，并分别以其中的横坐标x构建节点横坐标变化列表xf(n)，以其中的纵坐标y构建节点纵坐标变化列表yf(n)，对横纵方向上的变化量进行合成，为当前帧中记录每个节点的运动变化信息的特征值fv(n)：

89、

90、

91、

92、

93、其中，loc为包含横坐标和纵坐标的位置信息(x，y)；

94、对于帧f对应的人员关系拓扑图gf中的节点列表，locf(n)记录的信息为运动变化量，或者节点由前一帧位置运动到当前帧位置的运动向量；取当前帧向前记录的两次运动，计算两个运动向量夹角的余弦值，衡量运动方向的变化；由于余弦函数在[0，π]区间为单调递减函数，这里取相反数+1得到一个值域为[0，1]且单调递增的函数，其值作为记录运动方向变化信息的特征值fangle(n)：

95、

96、其中，

97、

98、将运动特征组合成为节点特征f：

99、

100、优选地，在所述模块m4中：

101、构建sub-gcn网络结构，将检测每帧中是否包含异常行为转化为检测每个图中是否包含异常节点，训练过程监督标注每一帧中是否包含异常行为，输入图数据，输出每帧检测结果，计算损失更新网络参数；

102、sub-gcn的邻接矩阵计算方法：

103、

104、其中，为原图添加自环后的邻接矩阵，为对应的度矩阵，i为单位矩阵；

105、采用加权的二元交叉熵损失函数：

106、

107、其中，为二元交叉熵损失函数，β为权重，取决于正负样本的比例，yi代表真实值，代表网络输出预测为正常类的概率；

108、采用2层sub-gcn结构，层与层之间采用relu激活函数，最后一层卷积后应用softmax函数获取输出概率，在不同超参数的情况下进行迭代训练，得到最优模型；

109、将划分出的测试集按同样的预处理步骤、特征提取步骤、建模步骤构建人员关系拓扑图，将构建的图数据传入训练好的sub-gcn网络中，获得识别结果。

110、与现有技术相比，本发明具有如下的有益效果：

111、1、本发明提出“人员邻接关系图”概念，将不同人员空间上的位置关联性和同一人员在运动过程的时间关联性嵌入到图结构中，以清晰简洁的拓扑图结构表征繁杂的图像信息，剔除背景噪声对检测的干扰，同时关注场景中人员自身特征和其他人员的关系特征；

112、2、本发明提出的sub-gcn网络旨在关注同一张图中不同节点之间的差异性，相较于其它网络更适配人员邻接关系图模型；

113、3、本发明是一种既能够检测出监控视频中异常行为存在也能够定位异常帧位置的方法，采用新型建模方法，以较少计算量完成异常检测任务，具有高检测准确性和高检测效率的优点。