一种基于多层注意力的重点人员行为预警方法及服务器与流程

本技术涉及行为判断，尤其涉及一种基于多层注意力的重点人员行为预警方法及服务器。

背景技术：

1、行为预警(behavioral warning)是一种通过对人的行为、动作、言语、情绪等进行观察和分析，以便及时识别和预测潜在的危险行为或事件的方法。它旨在提前发现和防范潜在的威胁，以保护社会、组织或个人的安全。

2、相关技术中，通过对人的行为、动作、言语、情绪等行为数据进行分析和判断来识别潜在威胁，但行为数据太少，无法根据行为数据得到一个较为准确的行为预警结果。

技术实现思路

1、本技术提供了一种基于多层注意力的重点人员行为预警方法及服务器，来增加行为数据的数据量，进而提高行为预警结果的准确性。

2、第一方面，本技术提供了一种基于多层注意力的重点人员行为预警方法，应用于基于多层注意力的重点人员行为预警系统，基于多层注意力的重点人员行为预警系统包括用于获取图像数据的监控系统，基于多层注意力的重点人员行为预警系统还包括服务器、用于保存历史行为数据的数据库以及告警平台，方法包括：服务器在监控系统输出的图像数据中发现重点人员的情况下，服务器获取重点人员的当前行为数据，当前行为数据包括重点人员的名称、重点人员所在地点、当前时间、重点人员的动作，重点人员为预设重点人员清单中的任意人员；服务器将当前行为数据和重点人员的历史行为数据拼接得到重点人员的当前行为序列，重点人员的历史行为数据由服务器从数据库调用得到；服务器将当前行为序列输入行为预警模型得到未来行为数据，未来行为数据包括动作行为、与动作行为对应的动作行为概率；在动作行为概率中危险动作行为概率大于对应的危险动作行为阈值的情况下，服务器向告警平台发送包含预测数据的第一指令，使告警平台根据预测数据对重点人员进行处理，预测数据包括重点人员的名称、重点人员所在地点、当前时间、与危险动作行为概率对应的危险动作行为、危险动作行为概率。

3、在上述实施例中，服务器在监控系统输出的图像数据中发现重点人员的情况下，才获取重点人员的当前行为数据为实时数据，可以实时推理重点人员的动作行为，提高了基于多层注意力的重点人员行为预警系统的响应速度，便于快速发现、快速分析、快速决策，同时将当前行为数据和重点人员的历史行为数据拼接得到重点人员的当前行为序列，来增加行为数据的数据量，进而提高行为预警结果的准确性。

4、结合第一方面的一些实施例，在一些实施例中，行为预警模型的构架为：

5、输入层，用于提取当前行为序列成提取数据；

6、词嵌入层，与输入层的输出端连接，用于将提取数据转换成编码数据；

7、特征提取层，与词嵌入层的输出端连接，用于提取编码数据中的特征数据得到类别编码；

8、多层感知机层，与特征提取层的输出端连接，用于根据类别编码得到动作行为概率；

9、归一层，与多层感知机层的输出端连接，用于将动作行为概率进行归一化得到未来行为数据；

10、输出层，与归一层的输出端连接，用于输出未来行为数据。

11、在上述实施例中，行为预警模型可以有效的建立不同元素之间的关联，提升行为预警模型的准确度。

12、结合第一方面的一些实施例，在一些实施例中，服务器在监控系统输出的图像数据中发现重点人员的情况下，服务器获取重点人员的当前行为数据之前，方法还包括：服务器根据训练数据对行为预警模型进行训练，行为预警模型的训练数据包括：训练人员的名称、训练动作行为、若干个历史行为训练数据，历史行为训练数据包括训练人员所在地点、训练时间、训练人员的动作；

13、输入层具体包括：第一子输入层、第二子输入层、第三子输入层、若干个第四子输入层；

14、第一子输入层，用于增加标识数据；

15、第二子输入层，用于提取训练人员的名称成名称提取数据；

16、第三子输入层，用于提取训练动作行为成动作提取数据；

17、第四子输入层，用于提取历史行为训练数据成历史行为提取数据；

18、词嵌入层具体用于，将标识数据、名称提取数据、动作提取数据、历史行为提取数据转换成编码数据。

19、在上述实施例中，将训练人员所在地点、训练时间、训练人员的动作与训练动作行为建立规律和模式，同时通过将不同子输入层的数据进行提取和编码，词嵌入层可以将这些数据转换成统一的编码形式。这将有助于提取出更丰富和有用的特征信息，从而提高行为预警模型对训练人员的名称、训练动作行为和历史行为的理解能力。

20、结合第一方面的一些实施例，在一些实施例中，根据训练数据对行为预警模型进行训练，具体包括：服务器根据行为预警模型的损失函数对行为预警模型进行优化，行为预警模型的损失函数为：

21、

22、式中，l为损失函数，li为训练样本i的损失，n为训练样本总数，c为类别，yic在训练样本i的真实类别等于类别c时为1，yic在训练样本i的真实类别等于类别c时为0，pic为训练样本i的真实等于类别c的概率。

23、在上述实施例中，损失函数可以用于优化行为预警模型，通过最小化损失函数来提高行为预警模型的预测准确性。最终目标是使行为预警模型能够准确地预测每个训练数据的行为类别，并提高行为预警模型对训练数据的预测能力。

24、结合第一方面的一些实施例，在一些实施例中，基于多层注意力的重点人员行为预警系统还包括消息队列服务器，服务器在监控系统输出的图像数据中发现重点人员的情况下，服务器获取重点人员的当前行为数据之前，方法还包括：服务器根据预先存储的配置清单获得服务器的当前信息处理能力；服务器根据当前信息处理能力从消息队列服务器中调用极限图像数据，极限图像数据为监控系统输出至消息队列服务器中的图像数据，且为图像数据中要求信息处理能力低于当前信息处理能力的部分图像数据；

25、服务器在监控系统输出的图像数据中发现重点人员的情况下，服务器获取重点人员的当前行为数据，具体包括：服务器在消息队列服务器输出的调用极限图像数据中发现重点人员的情况下，服务器获取重点人员的当前行为数据，当前行为数据包括重点人员的名称、重点人员所在地点、当前时间、重点人员的动作，重点人员为预设重点人员清单中的任意人员。

26、在上述实施例中，服务器根据预先存储的配置清单获取当前的信息处理能力，并根据信息处理能力从消息队列服务器中调用极限图像数据。这种方式可以确保服务器只获取当前能力范围内需要处理的图像数据，提高服务器的处理效率，同时通过消息队列服务器来解耦、削峰、缓冲，来提高服务器的处理能力。

27、结合第一方面的一些实施例，在一些实施例中，服务器在监控系统输出的图像数据中发现重点人员的情况下，服务器获取重点人员的当前行为数据，具体包括：服务器在监控系统输出的图像数据中发现重点人员的情况下，服务器根据图像识别将图像数据转成文本数据，文本数据包括重点人员的名称，重点人员所在地点、当前时间、重点人员的动作；服务器将文本数据向量化得到重点人员的当前行为数据。

28、在上述实施例中，服务器在监控系统输出的图像数据中发现重点人员后，通过图像识别将图像数据转换成文本数据，并将文本数据向量化得到重点人员的当前行为数据，来方便后续服务器对重点人员的行为进行分析和处理。

29、结合第一方面的一些实施例，在一些实施例中，服务器将当前行为序列输入行为预警模型得到未来行为数据，未来行为数据包括动作行为、与动作行为对应的动作行为概率之后，方法还包括：服务器获取重点人员所在地点的地点权重列表，地点权重列表包括若干个动作行为和若干个对应动作行为对应的动作行为权重；服务器根据地点权重列表和未来行为数据确定优化后未来行为数据，优化后未来行为数据包括动作行为、与动作行为对应的优化动作行为概率，优化动作行为概率由动作行为概率和与动作行为概率对应的动作行为权重确定；在动作行为概率中危险动作行为概率大于对应的危险动作行为阈值的情况下，服务器向告警平台发送包含预测数据的第一指令，具体包括：在优化动作行为概率中优化危险动作行为概率大于对应的危险动作行为阈值的情况下，服务器向告警平台发送包含预测数据的第一指令，使告警平台根据预测数据做出对重点人员进行处理，预测数据包括重点人员的名称、重点人员所在地点、当前时间、与危险动作行为概率对应的危险动作行为、优化危险动作行为概率。

30、在上述实施例中，在未来行为数据的基础上又考虑到重点人员所在地点对应的动作行为权重，来使后续获得的优化危险动作行为概率更加准确。

31、第二方面，本技术实施例提供了一种应用于基于多层注意力的重点人员行为服务器，适用于基于多层注意力的重点人员行为预警系统，基于多层注意力的重点人员行为预警系统包括用于获取图像数据的监控系统，基于多层注意力的重点人员行为预警系统还包括用于保存历史行为数据的数据库、告警平台，服务器包括：

32、获取模块，用于在监控系统输出的图像数据中发现重点人员的情况下，获取重点人员的当前行为数据，当前行为数据包括重点人员的名称、重点人员所在地点、当前时间、重点人员的动作，重点人员为预设重点人员清单中的任意人员；

33、拼接模块，用于将当前行为数据和重点人员的历史行为数据拼接得到重点人员的当前行为序列，重点人员的历史行为数据由服务器从数据库调用得到；

34、输入模块，用于将当前行为序列输入行为预警模型得到未来行为数据，未来行为数据包括动作行为、与动作行为对应的动作行为概率；

35、发送模块，用于在动作行为概率中危险动作行为概率大于对应的危险动作行为阈值的情况下，向告警平台发送包含预测数据的第一指令，使告警平台根据预测数据对重点人员进行处理，预测数据包括重点人员的名称、重点人员所在地点、当前时间、与危险动作行为概率对应的危险动作行为、危险动作行为概率。

36、结合第二方面的一些实施例，在一些实施例中，行为预警模型的构架为：

37、输入层，用于提取当前行为序列成提取数据；

38、词嵌入层，与输入层的输出端连接，用于将提取数据转换成编码数据；

39、特征提取层，与词嵌入层的输出端连接，用于提取编码数据中的特征数据得到类别编码；

40、多层感知机层，与特征提取层的输出端连接，用于根据类别编码得到动作行为概率；

41、归一层，与多层感知机层的输出端连接，用于将动作行为概率进行归一化得到当前行为数据；

42、输出层，与归一层的输出端连接，用于输出当前行为数据。

43、结合第二方面的一些实施例，在一些实施例中，服务器还包括：

44、训练模块，用于根据训练数据对行为预警模型进行训练，行为预警模型的训练数据包括：训练人员的名称、训练动作行为、若干个历史行为训练数据，历史行为训练数据包括训练人员所在地点、训练时间、训练人员的动作；

45、结合第二方面的一些实施例，在一些实施例中，训练模块，具体包括：

46、损失函数，用于根据行为预警模型的损失函数对行为预警模型进行优化，行为预警模型的损失函数为：

47、

48、式中，l为损失函数，li为训练样本i的损失，n为训练样本总数，c为类别，yic在训练样本i的真实类别等于类别c时为1，yic在训练样本i的真实类别等于类别c时为0，pic为训练样本i的真实等于类别c的概率。

49、结合第二方面的一些实施例，在一些实施例中，服务器还包括：

50、清单模块，用于根据预先存储的配置清单获得服务器的当前信息处理能力；

51、调用模块，根据当前信息处理能力从消息队列服务器中调用极限图像数据，极限图像数据为监控系统输出至消息队列服务器中的图像数据，且为图像数据中要求信息处理能力低于当前信息处理能力的部分图像数据；

52、获取模块包括：

53、第一获取子模块，用于服务器在消息队列服务器输出的调用极限图像数据中发现重点人员的情况下获取重点人员的当前行为数据，当前行为数据包括重点人员的名称、重点人员所在地点、当前时间、重点人员的动作，重点人员为预设重点人员清单中的任意人员。

54、结合第二方面的一些实施例，在一些实施例中，获取模块包括：

55、第二获取子模块，用于服务器在监控系统输出的图像数据中发现重点人员的情况下，根据图像识别将图像数据转成文本数据，文本数据包括重点人员的名称，重点人员所在地点、当前时间、重点人员的动作；

56、第三获取子模块，用于将文本数据向量化得到重点人员的当前行为数据。

57、结合第二方面的一些实施例，在一些实施例中，服务器还包括；

58、权重模块，用于获取重点人员所在地点的地点权重列表，地点权重列表包括若干个动作行为和若干个对应动作行为对应的动作行为权重；

59、优化模块，用于根据地点权重列表和未来行为数据确定优化后未来行为数据，优化后未来行为数据包括动作行为、与动作行为对应的优化动作行为概率，优化动作行为概率由动作行为概率和与动作行为概率对应的动作行为权重确定；

60、发送模块，包括：发送子模块，用于在优化动作行为概率中优化危险动作行为概率大于对应的危险动作行为阈值的情况下，向告警平台发送包含预测数据的第一指令，使告警平台根据预测数据做出对重点人员进行处理，预测数据包括重点人员的名称、重点人员所在地点、当前时间、与危险动作行为概率对应的危险动作行为、优化危险动作行为概率。

61、第三方面，本技术实施例提供了一种服务器，该服务器包括：一个或多个处理器和存储器；

62、该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该服务器执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

63、第四方面，本技术实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在服务器上运行时，使得上述服务器执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

64、第五方面，本技术实施例提供一种计算机可读存储介质，包括指令，当上述指令在服务器上运行时，使得上述服务器执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

65、可以理解地，上述第二方面提供的服务器、第三方面提供的服务器、第四方面提供的计算机程序产品和第五方面提供的计算机存储介质均用于执行本技术实施例所提供的基于多层注意力的重点人员行为预警方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

66、本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

67、1、本技术提供的基于多层注意力的重点人员行为预警方法的服务器在监控系统输出的图像数据中发现重点人员的情况下，才获取重点人员的当前行为数据为实时数据，可以实时推理重点人员的动作行为，提高了基于多层注意力的重点人员行为预警系统的响应速度，便于快速发现、快速分析、快速决策，同时将当前行为数据和重点人员的历史行为数据拼接得到重点人员的当前行为序列，来增加行为数据的数据量，进而提高行为预警结果的准确性

68、2、本技术提供的基于多层注意力的重点人员行为预警方法的服务器根据预先存储的配置清单获取当前的信息处理能力，并根据信息处理能力从消息队列服务器中调用极限图像数据。这种方式可以确保服务器只获取当前能力范围内需要处理的图像数据，提高服务器的处理效率，同时通过消息队列服务器来解耦、削峰、缓冲，来提高服务器的处理能力。

69、3、本技术提供的基于多层注意力的重点人员行为预警方法在未来行为数据的基础上又考虑到重点人员所在地点对应的动作行为权重，来使后续获得的优化危险动作行为概率更加准确。