基于知识图谱边缘节点安全检测系统及方法与流程

1.本发明涉及边缘计算技术领域，具体地说是一种基于知识图谱边缘节点安全检测系统及方法。


背景技术：

2.边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求，得益于它的优势，边缘计算近来发展迅速，边缘计算使数据在源头附近就能得到处理，能有效解决网络带宽和时延上的瓶颈，边缘计算作为技术平台将支撑ai技术获得更广泛的应用，加速万物智能时代的到来。同时，从集中式的云计算走向分布式的边缘计算的过程中，为传统的网络架构带来了极大的变化，也为边缘网络带来了更大的网络攻击威胁。
3.在边缘计算场景中，边缘节点分布较为分散，且数据量巨大，安全设备产生的告警信息往往也是海量的，并且伴随着大量误报信息，这给边缘节点的安全分析带来了很大的挑战。运维人员需要丰富的经验和大量的时间才能针对告警做出相关的处理，从而导致运营成本的增加。
4.故如何实现在边缘计算场景下对有效的边缘节点进行安全检测，满足边缘计算场景下边缘节点的安全检测需求是目前亟待解决的技术问题。


技术实现要素：

5.本发明的技术任务是提供一种基于知识图谱边缘节点安全检测系统及方法，来解决如何实现在边缘计算场景下对有效的边缘节点进行安全检测，满足边缘计算场景下边缘节点的安全检测需求的问题。
6.本发明的技术任务是按以下方式实现的，一种基于知识图谱边缘节点安全检测系统，该系统包括数据采集模块、安全检测模块、数据存储模块、数据处理模块、知识图谱模块和告警模块；
7.数据采集模块作为守护进程部署在各边缘节点操作系统中，用于实时采集边缘节点设备的日志信息和流量信息，并上传到云端存储到数据存储模块中，为数据处理模块后续的数据分析提供数据基础；
8.安全检测模块用于实现网络入侵检测功能，并将检测到的告警信息传入数据处理模块做进一步处理；
9.数据存储模块部署在云端，用于存储数据采集模块采集的日志信息及流量信息和安全检测模块采集的告警信息；
10.数据处理模块用于对数据采集模块和安全检测模块上传的日志数据、流量数据和告警数据进行处理；
11.知识图谱模块用于通过上传的告警数据、日志数据和流量数据从不同的维度和关
系对攻击源进行推理评估，结合基于结构的知识图谱表示学习方法进行全面学习，构建边缘计算环境下的攻击源安全模型；
12.告警模块用于将告警信息推送给运维人员，并提醒运维人员快速响应，运维人员处理告警后可以针对某个或者某些告警做恢复告警处理。
13.作为优选，所述安全检测模块采用安全检测设备，安全检测设备采用网络入侵检测系统ids/ips或网络应用防护系统。
14.作为优选，所述数据存储模块为时序数据库，时序数据库用于提供根据时间和存储空间自动分表和基于时序查询数据的功能，同时还支持高频插入插入和频繁查询，较少删除和修改历史数据。
15.作为优选，边缘节点受到攻击时，数据处理模块通过对告警数据、日志数据和流量数据的比对分析，判断是否为有效的告警：
16.若明确是有效的告警信息，则直接传给告警模块进行相应的告警，并同时传输给知识图谱模块构建安全知识库；
17.若未明确是有效的告警信息，则结合知识图谱模块继续处理分析。
18.更优地，所述攻击源安全模型用于确定知识图谱中的实体和关系；实体分为目标客体和威胁主体；目标客体为攻击的目标；威胁主体为攻击发起者，即攻击源；关系分为直接关系和间接关系，直接关系是指通过日志数据和流量数据直接得到的关系对；间接关系是指通过间接关联得到的关系。
19.更优地，所述知识图谱模块是通过实体和关系构成的，知识图谱模块中包括多种实体，实体中的直接关系和间接关系表示威胁传递。
20.更优地，所述告警模块的推送方式包括邮件、短信或企业微信订阅号。
21.一种基于知识图谱边缘节点安全检测方法，该方法具体如下：
22.s1、数据采集模块按照设定策略获取边缘节点的日志信息并上传到云端的数据存储模块中；
23.s2、安全检测模块根据设定的规则进行网络入侵检测，并把产生的海量告警信息上传到云端的数据存储模块；
24.s3、数据处理模块获取数据存储模块中的告警信息、日志数据集流量数据并通过对告警数据、日志数据和流量数据的比对分析，判断是否为有效的告警：
25.①
、若明确是有效的告警信息，则直接传给告警模块进行相应的告警，并同时传输给知识图谱模块构建安全知识库，下一步执行步骤s4；
26.②
、若未明确是有效的告警信息，则在知识图谱模块进行相应检索，匹配对应的知识图谱，结合攻击源安全模型做进一步的分析评估；
27.s4、知识图谱模块以告警信息中的ip地址、端口、告警及日志的实体为知识图谱的节点，通过日志解析和数据挖掘得到实体之间的关系构成知识图谱的边；
28.s5、告警模块对数据处理模块传入过来的告警信息通过邮件、短信或企业微信订阅号推送给运维人员，并提醒运维人员快速响应，运维人员处理告警后可以针对某个或者某些告警做恢复告警处理。
29.作为优选，所述知识图谱模块结合知识图谱中的表示学习方法，将三元组表示成向量；具体是采用transe模型来学习知识图谱中节点和边的向量表示；具体如下：
30.将每个三元组实例(head，relation，tail)中的关系relation看作头实体head到尾实体tail的翻译，通过不断调整h、r和t，使(h+r)尽可能与t相等，即h+r＝t；其中，h表示实体head的向量；r表示关系relation的向量；t表示实体tail的向量；
31.通过不断的学习，最终确定攻击源，构建攻击源安全模型；
32.根据不断上传的日志数据和告警信息提取三元组作为训练集对攻击源安全模型进行不断的训练，提高准确率。
33.更优地，所述攻击源安全模型用于确定知识图谱中的实体和关系；实体分为目标客体和威胁主体；目标客体为攻击的目标；威胁主体为攻击发起者，即攻击源；关系分为直接关系和间接关系，直接关系是指通过日志数据和流量数据直接得到的关系对；间接关系是指通过间接关联得到的关系。
34.本发明的基于知识图谱边缘节点安全检测系统及方法具有以下优点：
35.(一)本发明基于知识图谱构建攻击源安全模型，并用于边缘节点安全问题的检测，提高了边缘节点安全检测的准确率，提升了边缘计算场景下安全检测的自动化水平，降低了边缘计算场景下的安全运维成本；
36.(二)本发明的知识图谱提供了从“关系”的角度去分析问题的能力，能够解决复杂关联信息的查询和表示，通过结合知识图谱，对多源异构的边缘节点的安全信息进行加工、处理、整合，转化为结构化的安全知识库，经过进一步的学习处理，确定攻击源信息，将安全知识库用于边缘节点安全威胁问题的检测，提高安全问题检测的准确率，对提升安全检测的自动化水平，减少对人力与专家经验的依赖有重要的作用，从而降低了边缘节点的运营成本。
附图说明
37.下面结合附图对本发明进一步说明。
38.附图1为基于知识图谱边缘节点安全检测系统的结构框图；
39.附图2为基于知识图谱边缘节点安全检测方法的流程框图；
40.附图3为三元组向量的示意图。
具体实施方式
41.参照说明书附图和具体实施例对本发明的基于知识图谱边缘节点安全检测系统及方法作以下详细地说明。
42.实施例1：
43.如附图1所示，本实施例提供了一种基于知识图谱边缘节点安全检测系统，该系统包括数据采集模块、安全检测模块、数据存储模块、数据处理模块、知识图谱模块和告警模块；
44.数据采集模块作为守护进程部署在各边缘节点操作系统中，用于实时采集边缘节点设备的日志信息和流量信息，并上传到云端存储到数据存储模块中，为数据处理模块后续的数据分析提供数据基础；
45.安全检测模块用于实现网络入侵检测功能，，安全检测模块产生的告警日志往往是低级、孤立的，并且数据量比较大，并将检测到的告警信息传入数据处理模块做进一步处
理；
46.数据存储模块部署在云端，用于存储数据采集模块采集的日志信息及流量信息和安全检测模块采集的告警信息；
47.数据处理模块用于对数据采集模块和安全检测模块上传的日志数据、流量数据和告警数据进行处理；
48.知识图谱模块用于通过上传的告警数据、日志数据和流量数据从不同的维度和关系对攻击源进行推理评估，结合基于结构的知识图谱表示学习方法进行全面学习，构建边缘计算环境下的攻击源安全模型；
49.告警模块用于将告警信息通过邮件、短信或企业微信订阅号等方式推送给运维人员，并提醒运维人员快速响应，运维人员处理告警后可以针对某个或者某些告警做恢复告警处理。
50.本实施例中的安全检测模块采用安全检测设备，安全检测设备采用网络入侵检测系统ids/ips或网络应用防护系统。
51.本实施例中的数据存储模块为时序数据库，时序数据库用于提供根据时间和存储空间自动分表和基于时序查询数据的功能，同时还支持高频插入插入和频繁查询，较少删除和修改历史数据。
52.本实施例中的边缘节点受到攻击时，日志文件中会有一定的记录比如某个ip在一定时间段内大量请求某个端口，同时此时间段内，流量数据也会有明显异常，数据处理模块通过对告警数据、日志数据和流量数据的比对分析，判断是否为有效的告警：
53.若明确是有效的告警信息，则直接传给告警模块进行相应的告警，并同时传输给知识图谱模块构建安全知识库；
54.若未明确是有效的告警信息，则结合知识图谱模块继续处理分析。
55.本实施例中的攻击源安全模型用于确定知识图谱中的实体和关系；实体分为目标客体和威胁主体；目标客体为攻击的目标；威胁主体为攻击发起者，即攻击源；关系分为直接关系和间接关系，直接关系比较容易得到，通常通过日志、原始流量等直接得到的关系对，例如，文件访问ip、域名解析ip、文件访问域名等；间接关系是指通过间接关联得到的关系，比如使用同一种攻击工具的攻击者有一定的相似性，文件与文件通过相似度计算得到的相似性等都属于间接关系。知识图谱模块是通过实体和关系构成的，知识图谱模块中包括多种实体，实体中的直接关系和间接关系表示威胁传递，比如攻击者距离目标实体的距离近，那么该攻击者的威胁度就会增加，通过源源不断的数据持续的进行训练学习构建出攻击源安全模型，利用构建的攻击源安全模型进行有效的威胁评估，给运维人员提供处理威胁的优先顺序，从海量的告警中选择最有可能的告警，提高运维人员处理威胁的效率。
56.实施例2：
57.本实施例提供了一种基于知识图谱边缘节点安全检测方法，该方法具体如下：
58.s1、数据采集模块按照每5分钟获取一次边缘节点的日志信息并上传到云端的数据存储模块中；
59.s2、安全检测模块根据设定的规则进行网络入侵检测，并把产生的海量告警信息上传到云端的数据存储模块；其中，2、安全检测模块往往是安全检测设备，如网络入侵检测系统ids/ips、网络应用防护系统waf等；
60.s3、数据处理模块获取数据存储模块中的告警信息、日志数据集流量数据并通过对告警数据、日志数据和流量数据的比对分析，判断是否为有效的告警：
61.①
、若明确是有效的告警信息，则直接传给告警模块进行相应的告警，并同时传输给知识图谱模块构建安全知识库，下一步执行步骤s4；
62.②
、若未明确是有效的告警信息，则在知识图谱模块进行相应检索，匹配对应的知识图谱，结合攻击源安全模型做进一步的分析评估；
63.s4、知识图谱模块以告警信息中的ip地址、端口、告警及日志的实体为知识图谱的节点，通过日志解析和数据挖掘得到实体之间的关系构成知识图谱的边；
64.s5、告警模块对数据处理模块传入过来的告警信息通过邮件、短信或企业微信订阅号推送给运维人员，并提醒运维人员快速响应，运维人员处理告警后可以针对某个或者某些告警做恢复告警处理。
65.本实施例中的知识图谱模块结合知识图谱中的表示学习方法，将三元组表示成向量；具体是采用transe模型来学习知识图谱中节点和边的向量表示；具体如下：
66.(1)、将每个三元组实例(head，relation，tail)中的关系relation看作头实体head到尾实体tail的翻译，通过不断调整h、r和t，使(h+r)尽可能与t相等，即h+r＝t，如附图3所示；其中，h表示实体head的向量；r表示关系relation的向量；t表示实体tail的向量；
67.(2)、通过不断的学习，最终确定攻击源，构建攻击源安全模型；
68.(3)、根据不断上传的日志数据和告警信息提取三元组作为训练集对攻击源安全模型进行不断的训练，提高准确率。
69.在数据处理过程中，判断准确率是否大于80％：
70.若是，则发送告警信息；
71.若否，则继续训练知识图谱。
72.本实施例中的攻击源安全模型用于确定知识图谱中的实体和关系；实体分为目标客体和威胁主体；目标客体为攻击的目标；威胁主体为攻击发起者，即攻击源；关系分为直接关系和间接关系，直接关系是指通过日志数据和流量数据直接得到的关系对；间接关系是指通过间接关联得到的关系。
73.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。