数据安全处理方法、装置、设备及存储介质与流程

文档序号:29632942发布日期:2022-04-13 16:26阅读:85来源:国知局
数据安全处理方法、装置、设备及存储介质与流程

1.本发明涉及通信技术领域,尤其涉及一种数据安全处理方法、装置、设备及存储介质。


背景技术:

2.随着全球互联网的快速发展以及日常生活中通信网络的广泛使用,网络安全、设备安全成为了首要话题,新基建加速了实体经济和数字经济的融合,推动了传统行业的数字化转型,与此同时,数字世界的安全事件也将对实体世界的正常运作产生直接威胁,因此,保证信息与网络安全至关重要。
3.目前,一些企业和单位通过联动各类安全产品,将收集到的安全日志和数据进行统计与分析进而感知安全威胁,主要方式为收集各类安全日志和数据,将日志和数据集中传输到服务器通过各类安全产品进行处理,主要是机器学习处理来得到分析结果,以便专家人员根据分析结果进行安全事件的处理。
4.然而现有技术中,数据传输至服务器的过程会有数据丢失和泄露的风险,数据隐私性和安全性低,且需要传输过程及人工分析,数据安全处理的实时性差、效率差。


技术实现要素:

5.本技术提供一种数据安全处理方法、装置、设备及存储介质,从而解决现有技术中,数据传输至服务器的过程会有数据丢失和泄露的风险,数据隐私性和安全性低,且需要传输过程及人工分析,数据安全处理的实时性差、效率差的技术问题。
6.第一方面,本技术提供了一种数据安全处理方法,包括:
7.获取终端的安全数据信息;
8.根据预设敏感性等级规则,判断所述安全数据信息的敏感性等级;
9.若所述安全数据信息的敏感性等级高于预设敏感性等级阈值,则根据预设解析规则,对所述安全数据信息进行解析和提取处理,得到有效字段信息;
10.将所述有效字段信息输入至预设联邦学习模型,输出得到安全事件结果参数;
11.根据所述安全事件结果参数和预设安全事件分类,确定所述终端是否存在安全事件及所述安全事件的分类等级。
12.这里,本技术提供了一种数据安全处理方法,可系统采用联邦学习方式对从各类设备和应用系统收集到的安全相关日志和数据进行处理与分析,感知系统当前安全态势,通过在终端上收集安全数据信息,并根据安全数据信息的敏感性等级确定处理数据的主体,若数据敏感性高,那么在终端上进行数据处理,减少在与服务器数据处理过程中产生的数据泄露、丢失的风险,在终端对数据进行处理,将处理后的数据输入至预设联邦学习模型可得到安全事件参数,从而判断终端数据是否存在安全事件,其中,这里的预设联邦学习模型在训练时可结合各类设备和应用系统收集到的安全相关日志和数据,从而提高了数据安全处理及安全事件识别的准确性,同时,对于敏感性较高的数据无需传输至服务器进行处
理,提高了数据的隐私性及安全性,也减少了数据传输过程中造成的事件损耗,可实时识别安全事件,提高了安全数据处理的效率。
13.可选地,所述获取终端的安全数据信息包括:
14.通过在所述终端上安装的客户端软件,利用所述终端的操作系统提供的系统接口函数和插件获取所述安全数据信息。
15.这里,本技术可采用在终端安装客户端软件的方式,利用计算机操作系统windows或者linux操作系统提供的系统接口函数和插件获取相关数据,可全面、简便地获取安全数据信息,提高了安全数据处理的准确性,提高了数据安全及稳定。
16.可选地,所述预设敏感性等级规则包括预设安全数据信息样本和所述安全数据信息样本对应的敏感度等级;
17.相应的,所述根据预设敏感性等级规则,判断所述安全数据信息的敏感性等级,包括:
18.将所述安全数据信息与所述预设安全数据信息样本进行比对,确定所述安全数据信息对应的敏感度等级。
19.这里,本技术可对安全数据信息进行敏感度判断,通过预先设立的预设敏感性等级规则,其中,这里的敏感度等级规则中可包含预设安全数据信息样本和安全数据信息样本对应的敏感度等级,这里的敏感性等级规则可以通过工作人员预先设置,也可以是通过历史数据得到,通过将预设安全数据信息样本和安全数据信息的对比,可快速、准确地确定安全数据的敏感性,进一步地保证了数据的安全性,减少了数据泄露和丢失的风险。
20.可选地,所述对所述安全数据信息进行解析和提取处理,得到有效字段信息,包括:
21.利用字符串单词分割技术对所述安全数据信息进行处理,得到分割后的安全数据信息;
22.通过关键词结合正则表达式方式,对所述分割后的安全数据信息进行信息字段提取,得到字段信息;
23.根据预设数据分类,从所述字段信息中提取有效字段信息。
24.这里,本技术可以通过字符串单词分割技术和关键词结合正则表达式方式,来进行安全数据信息的解析和字段提取,再结合预设数据分类,得到预设数据分类中不同类别所需的有效字段信息,以通过有效字段信息进行数据的分析。
25.可选地,在所述根据所述安全事件结果参数和预设安全事件分类,确定所述终端是否存在安全事件及所述安全事件的分类等级之后,还包括:
26.显示所述安全事件和所述安全事件的分类等级。
27.其中,本技术就可以是实现安全事件的可视化,将安全数据的分析结果实时地显示出来,以便及时了解数据安全情况,针对数据安全、网络安全进行休整及防范,同时,这里还可以显示安全事件的分类等级,例如安全事件的紧急程度、重要性等,可直观准确地反映安全事件,进一步地提高了数据安全及网络安全。
28.可选地,在所述根据所述安全事件结果参数和预设安全事件分类,确定所述终端是否存在安全事件及所述安全事件的分类等级之后,还包括:
29.根据所述安全事件和所述安全事件分类等级,确定针对所述安全事件的响应方
案。
30.这里,本技术可直接根据安全事件和安全事件分类等级,对安全事件给出响应方案,无需人工参与,提高了事件处理效率,进一步地提高了网络数据的安全性。
31.可选地,在所述若所述安全数据信息的敏感性等级高于预设敏感性等级阈值,则根据预设解析规则,对所述安全数据信息进行解析和提取处理,得到有效字段信息之后,还包括:
32.若所述安全数据信息的敏感性等级不高于预设敏感性等级阈值,则将所述安全数据信息发送至服务器,以使所述服务器根据所述安全数据信息进行安全事件判断。
33.这里,本技术还可以通过服务器进行安全数据信息的分析和处理,通过服务器可处理大量的数据,且处理效率高、准确性高。
34.可选地,在所述将所述有效字段信息输入至预设联邦学习模型,输出得到安全事件结果参数之前,还包括:
35.接收服务器发送的模型参数;
36.根据所述模型参数建立预设联邦学习训练模型。
37.这里,本技术在建立预设联邦学习模型时,可预先通过服务器获取到的大量数据进行训练,将训练后得到的模型参数作为终端模型的参数,结合了从各类设备和应用系统收集到的安全相关日志和数据进行处理与分析,提高了预设联邦学习模型训练的准确性,进一步地保证了网络数据的安全性和稳定性。
38.第二方面,本技术提供了一种数据安全处理装置,包括:
39.获取模块,用于获取终端的安全数据信息;
40.判断模块,用于根据预设敏感性等级规则,判断所述安全数据信息的敏感性等级;
41.第一处理模块,用于若所述安全数据信息的敏感性等级高于预设敏感性等级阈值,则根据预设解析规则,对所述安全数据信息进行解析和提取处理,得到有效字段信息;
42.第二处理模块,用于将所述有效字段信息输入至预设联邦学习模型,输出得到安全事件结果参数;
43.确定模块,用于根据所述安全事件结果参数和预设安全事件分类,确定所述终端是否存在安全事件及所述安全事件的分类等级。
44.可选地,所述获取模块具体用于:
45.通过在所述终端上安装的客户端软件,利用所述终端的操作系统提供的系统接口函数和插件获取所述安全数据信息。
46.可选地,所述预设敏感性等级规则包括预设安全数据信息样本和所述安全数据信息样本对应的敏感度等级;
47.相应的,所述判断模块具体用于:
48.将所述安全数据信息与所述预设安全数据信息样本进行比对,确定所述安全数据信息对应的敏感度等级。
49.可选地,所述第一处理模块具体用于:
50.利用字符串单词分割技术对所述安全数据信息进行处理,得到分割后的安全数据信息;
51.通过关键词结合正则表达式方式,对所述分割后的安全数据信息进行信息字段提
取,得到字段信息;
52.根据预设数据分类,从所述字段信息中提取有效字段信息。
53.可选地,在所述确定模块根据所述安全事件结果参数和预设安全事件分类,确定所述终端是否存在安全事件及所述安全事件的分类等级之后,上述装置还包括:
54.显示模块,用于显示所述安全事件和所述安全事件的分类等级。
55.可选地,在所述确定模块根据所述安全事件结果参数和预设安全事件分类,确定所述终端是否存在安全事件及所述安全事件的分类等级之后,上述装置还包括:
56.响应模块,用于根据所述安全事件和所述安全事件分类等级,确定针对所述安全事件的响应方案。
57.可选地,在所述第一处理模块若所述安全数据信息的敏感性等级高于预设敏感性等级阈值,则根据预设解析规则,对所述安全数据信息进行解析和提取处理,得到有效字段信息之后,所述第一处理模块还用于:
58.若所述安全数据信息的敏感性等级不高于预设敏感性等级阈值,则将所述安全数据信息发送至服务器,以使所述服务器根据所述安全数据信息进行安全事件判断。
59.可选地,在所述第二处理模块将所述有效字段信息输入至预设联邦学习模型,输出得到安全事件结果参数之前,上述装置还包括:
60.建立模块,用于接收服务器发送的模型参数;根据所述模型参数建立预设联邦学习训练模型。
61.第三方面,本技术提供一种数据安全处理设备,包括:至少一个处理器和存储器;
62.所述存储器存储计算机执行指令;
63.所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的数据安全处理方法。
64.第四方面,本发明提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的数据安全处理方法。
65.第五方面,本发明提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时,实现如上第一方面以及第一方面各种可能的设计所述的数据安全处理方法。
66.本技术提供的数据安全处理方法、装置、设备及存储介质,其中该方法可系统采用联邦学习方式对从各类设备和应用系统收集到的安全相关日志和数据进行处理与分析,感知系统当前安全态势,通过在终端上收集安全数据信息,并根据安全数据信息的敏感性等级确定处理数据的主体,若数据敏感性高,那么在终端上进行数据处理,减少在与服务器数据处理过程中产生的数据泄露、丢失的风险,在终端对数据进行处理,将处理后的数据输入至预设联邦学习模型可得到安全事件参数,从而判断终端数据是否存在安全事件,其中,这里的预设联邦学习模型在训练时可结合各类设备和应用系统收集到的安全相关日志和数据,从而提高了数据安全处理及安全事件识别的准确性,同时,对于敏感性较高的数据无需传输至服务器进行处理,提高了数据的隐私性及安全性,也减少了数据传输过程中造成的事件损耗,可实时识别安全事件,提高了安全数据处理的效率。
附图说明
67.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
68.图1为本技术实施例提供的一种数据安全处理设备的架构示意图;
69.图2为本技术实施例提供的一种数据安全处理方法的流程示意图;
70.图3为本技术实施例提供的另一种数据安全处理方法的流程示意图;
71.图4为本技术实施例提供的一种数据安全处理装置的结构示意图;
72.图5为本技术实施例提供的一种数据安全处理设备的结构示意图。
73.通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
74.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
75.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”及“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
76.随着互联网的快速发展以及计算机技术的发展,现代社会面临着日益严峻的信息与网络安全问题,防火墙、堡垒机、主机安全和网站应用级入侵防御系统(web application firewall,waf)等安全产品也随之蓬勃发展,分别在网络、访问管理、终端和应用方面实现对系统的防护。单独的安全产品通常根据提前设置的安全策略提供防御功能,联动性较差并且缺少预判未知威胁的能力。一些企业和单位通过联动各类安全产品,将收集到的安全日志和数据进行统计与分析进而感知安全威胁,机器学习有助于日志和数据的统计与分析,有利于感知未知威胁,由于机器学习需要大量数据样本,通常需要将日志和数据集中到服务器进行处理,集中过程需要进行网络传输,会对数据隐私性产生影响,并且不便于将分析结果实时反馈给应用系统,同时,安全数据和安全事件多种多样,分析结果混乱复杂,容易造成重要信息丢失,并且系统发现安全事件后,需要专家的介入才可以真正解决问题消除威胁导致威胁处理的实时性较差。
77.现有技术中,通过将安全数据信息传输至服务器进行处理的方式存在弊端及需要改进的方面:进行安全数据与安全事件统计分析时的日志集中会造成数据隐私性损失,需
要避免安全数据与安全事件统计分析时的数据隐私性损失;安全数据和安全事件分析结果混乱复杂,容易造成重要信息丢失,需要避免安全相关重要信息丢失;系统发现安全事件后,需要专家的介入才可以真正解决问题消除威胁导致威胁处理的实时性较差,需要提高威胁处理的实时性。综上所述,技术问题主要是数据传输至服务器的过程会有数据丢失和泄露的风险,数据隐私性和安全性低,且需要传输过程及人工分析,数据安全处理的实时性差、效率差。
78.为了解决上述问题,本技术实施例提供一种数据安全处理方法、装置、设备及存储介质,其中该方法可系统采用联邦学习方式对从各类设备和应用系统收集到的安全相关日志和数据进行处理与分析,感知系统当前安全态势,通过在终端上直接对数据进行处理,将处理后的数据输入至预设联邦学习模型可得到安全事件参数,从而判断终端数据是否存在安全事件。
79.可选的,图1为本技术实施例提供的一种数据安全处理系统的架构示意图。在图1中,上述架构包括客户端和服务端两侧,其中,客户端即用户的终端,上述架构可实现安全数据收集、安全数据处理、安全数据分析、安全数据学习、安全威胁感知、安全数据分类和安全威胁响应,客户端包括整体逻辑管理模块、安全数据收集模块、安全日志解析模块、联邦学习模块、安全威胁感知模块、安全数据分类模块和安全事件响应模块。其中,安全数据收集模块包括系统日志和配置收集模块、文件信息收集模块、进程信息收集模块、病毒检测模块、网络使用情况监测模块等。服务端包括整体逻辑管理模块、安全数据获取模块、安全日志解析模块、联邦学习模块、安全威胁感知模块、安全数据分类模块、可视化模块、专家知识收集模块和安全事件响应模块。
80.其中,整体逻辑管理模块控制安全数据收集模块进行相关安全数据的收集,需要收集哪些安全数据可参考应用系统所提供服务的需求。
81.可以理解的是,本技术实施例示意的结构并不构成对数据安全处理系统架构的具体限定。在本技术另一些可行的实施方式中,上述架构可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置,具体可根据实际应用场景确定,在此不做限制。图1所示的部件可以以硬件,软件,或软件与硬件的组合实现。
82.另外,本技术实施例描述的网络架构以及业务场景是为了更加清楚的说明本技术实施例的技术方案,并不构成对于本技术实施例提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本技术实施例提供的技术方案对于类似的技术问题,同样适用。
83.下面结合具体的实施例对本技术的技术方案进行详细的说明:
84.可选地,图2为本技术实施例提供的一种数据安全处理方法的流程示意图。本技术实施例的执行主体可以为图1中的客户端(终端)或者是客户端的服务器,具体执行主体可以根据实际应用场景确定。如图2所示,该方法包括如下步骤:
85.s201:获取终端的安全数据信息。
86.可选地,获取终端的安全数据信息包括:通过在终端上安装的客户端软件,利用终端的操作系统提供的系统接口函数和插件获取安全数据信息。
87.可选地,获取的数据包括系统配置信息、系统操作日志、文件信息、进程信息、恶意软件信息等。其中,系统配置信息包括端口开放信息、密码设置信息等;系统操作日志包括
用户登录事件、用户添加事件、应用安装事件、应用运行日志等;文件信息包括文件路径、文件名称、文件权限和文件散列值等;进程信息包括进程身份标识号(identity document,id)、进程名称等;恶意软件信息包括隐藏文件、隐藏进程和隐藏端口等,进而获取网络连接情况等。
88.这里,本技术实施例可采用在终端安装客户端软件的方式,利用计算机操作系统windows或者linux操作系统提供的系统接口函数和插件获取相关数据,可全面、简便地获取安全数据信息,提高了安全数据处理的准确性,提高了数据安全及稳定。
89.在一种可能的实现方式中,在获取到安全数据信息之后,可首先对安全数据信息进行信息的预处理,具体地,可以对收集到的安全数据进行分割、去重和去噪从而实现简单预处理,以便于后续数据处理。
90.s202:根据预设敏感性等级规则,判断安全数据信息的敏感性等级。
91.可选地,预设敏感性等级规则包括预设安全数据信息样本和安全数据信息样本对应的敏感度等级;相应的,根据预设敏感性等级规则,判断安全数据信息的敏感性等级,包括:
92.将安全数据信息与预设安全数据信息样本进行比对,确定安全数据信息对应的敏感度等级。
93.具体地,可以通过提前下发调研表供业务人员填写的方式统计各个应用系统各类信息的敏感性,不同应用系统中不同类型的信息敏感性各不相同;其次,在页面提供输入接口方便业务人员随时更新各类信息的敏感性,输入内容可由业务人员自定义也可提前设置好信息种类供业务人员选择;最后,将收集到的安全数据通过系统中设置好的敏感性进行分级。若敏感性等级高则数据不向集中服务端上传,后续处理在客户端本地进行;若敏感性等级低则数据向集中服务端上传,后续处理在服务端集中进行。
94.这里,本技术实施例可对安全数据信息进行敏感度判断,通过预先设立的预设敏感性等级规则,其中,这里的敏感度等级规则中可包含预设安全数据信息样本和安全数据信息样本对应的敏感度等级,这里的敏感性等级规则可以通过工作人员预先设置,也可以是通过历史数据得到,通过将预设安全数据信息样本和安全数据信息的对比,可快速、准确地确定安全数据的敏感性,进一步地保证了数据的安全性,减少了数据泄露和丢失的风险。
95.s203:若安全数据信息的敏感性等级高于预设敏感性等级阈值,则根据预设解析规则,对安全数据信息进行解析和提取处理,得到有效字段信息。
96.其中,可以理解的是,这里的预设敏感性等级阈值可以根据实际情况确定,本技术实施例对此不作具体限制。
97.可选地,在若安全数据信息的敏感性等级高于预设敏感性等级阈值,则根据预设解析规则,对安全数据信息进行解析和提取处理,得到有效字段信息之后,还包括:
98.若安全数据信息的敏感性等级不高于预设敏感性等级阈值,则将安全数据信息发送至服务器,以使服务器根据安全数据信息进行安全事件判断。
99.其中,若需要向集中服务端上传安全数据,则图1中的整体逻辑管理模块控制安全数据向服务端安全上传。
100.可选地,为提高数据的安全性,可以进行加密处理,整体逻辑管理模块根据数据的实时性决定批量上传还是实时上传。
101.这里,本技术实施例还可以通过服务器进行安全数据信息的分析和处理,通过服务器可处理大量的数据,且处理效率高、准确性高。
102.s204:将有效字段信息输入至预设联邦学习模型,输出得到安全事件结果参数。
103.s205:根据安全事件结果参数和预设安全事件分类,确定终端是否存在安全事件及安全事件的分类等级。
104.可选地,可以根据提前设置好的安全事件规则判断信息收集阶段收集的安全数据是否构成安全事件。安全事件规则包括文件完整性检测、恶意软件检测、漏洞检测、网络入侵检测、安全配置评估、合规性检测等,其中,不同的安全事件结果参数可对应不同的预设安全事件分类,因此确定安全事件及对应的分类等级。
105.可选地,在根据安全事件结果参数和预设安全事件分类,确定终端是否存在安全事件及安全事件的分类等级之后,还包括:显示安全事件和安全事件的分类等级。
106.在一种可能的实现方式中,可以收集安全事件结果参数、安全事件及安全事件的分类等级,并在页面展示;其次,可提供页面输入接口供业务人员填写,填写内容包括各类安全数据和安全事件的紧急性和重要性;最后,根据业务人员的输入和系统收集所得信息对安全事件进行分类和分级。
107.其中,本技术实施例就可以是实现安全事件的可视化,将安全数据的分析结果实时地显示出来,以便及时了解数据安全情况,针对数据安全、网络安全进行休整及防范,同时,这里还可以显示安全事件的分类等级,例如安全事件的紧急程度、重要性等,可直观准确地反映安全事件,进一步地提高了数据安全及网络安全。
108.可选地,利用elastic stack中的kibana对分类后的安全事件进行可视化。具体地,可展示字段包括攻击源、攻击类型、攻击次数、告警等级、紧急程度和重要程度等,可展示图表包括柱形图、折线图、扇形图等,同时可加入专家知识尽量展示有用信息,避免无用可视化。同时利用elastic stack的elasticsearch提供索引与搜索功能以辅助分析。
109.可选地,在根据安全事件结果参数和预设安全事件分类,确定终端是否存在安全事件及安全事件的分类等级之后,还包括:根据安全事件和安全事件分类等级,确定针对安全事件的响应方案。
110.其中,可以预先针对安全威胁感知阶段发现的安全事件利用提前设置的专家知识提供相应响应方案,若安全信息收集阶段判断结果为向集中服务端上传安全数据,则该步骤在服务端进行,否则,该步骤在客户端进行。针对安全事件自动提供可行的响应方案可以解决使用人员面对发现的安全事件无法处理和等待专家处理所导致的实时性较差问题。
111.得到安全事件分析结果后,非专业人员常常难以进行合适地处理。提前在产品中加入专家知识会大大降低分析结果的使用难度,便于辅助使用人员响应安全威胁,提高威胁处理实时性。具体地,可以在服务端提供专家知识输入入口,形成安全事件与响应方案的关联关系,并对专家知识根据安全事件进行分类管理,最后针对安全事件提供响应方案。
112.对于操作相对简单并且不会对业务产生影响的响应方案,提前设置好响应操作以便产生安全事件时自动响应,具体地,可执行操作可以是命令行方式或调用系统函数方式;对于操作复杂或可能对业务产生影响的响应方案,以邮件、短信、页面提示方式给出响应方案并提示专业人员处理,专业人员根据响应方案进行相应处理。
113.其中,若上述数据处理步骤由服务器完成,则在确定响应方案之后,可以将响应方
案发送至客户端。
114.这里,本技术实施例可直接根据安全事件和安全事件分类等级,对安全事件给出响应方案,无需人工参与,提高了事件处理效率,进一步地提高了网络数据的安全性。
115.本技术实施例提供了一种数据安全处理方法,可系统采用联邦学习方式对从各类设备和应用系统收集到的安全相关日志和数据进行处理与分析,感知系统当前安全态势,通过在终端上收集安全数据信息,并根据安全数据信息的敏感性等级确定处理数据的主体,若数据敏感性高,那么在终端上进行数据处理,减少在与服务器数据处理过程中产生的数据泄露、丢失的风险,在终端对数据进行处理,将处理后的数据输入至预设联邦学习模型可得到安全事件参数,从而判断终端数据是否存在安全事件,其中,这里的预设联邦学习模型在训练时可结合各类设备和应用系统收集到的安全相关日志和数据,从而提高了数据安全处理及安全事件识别的准确性,同时,对于敏感性较高的数据无需传输至服务器进行处理,提高了数据的隐私性及安全性,也减少了数据传输过程中造成的事件损耗,可实时识别安全事件,提高了安全数据处理的效率。
116.可选地,本技术实施例提供的数据安全处理方法还可以通过结合服务器的数据进行预设联邦学习模型的建立,相应的,图3本技术实施例提供的另一种数据安全处理方法的流程示意图,如图3所示,该方法包括:
117.s301:获取终端的安全数据信息。
118.s302:根据预设敏感性等级规则,判断安全数据信息的敏感性等级。
119.s303:若安全数据信息的敏感性等级高于预设敏感性等级阈值,则根据预设解析规则,对安全数据信息进行解析和提取处理,得到有效字段信息。
120.可选地,对安全数据信息进行解析和提取处理,得到有效字段信息,包括:
121.利用字符串单词分割技术对安全数据信息进行处理,得到分割后的安全数据信息;通过关键词结合正则表达式方式,对分割后的安全数据信息进行信息字段提取,得到字段信息;根据预设数据分类,从字段信息中提取有效字段信息。
122.具体地,由于安全数据信息格式各不相同,而数据分析需要结构化数据,因此需要对收集到的数据进行解析进而结构化,数据解析时首先利用字符串单词分割技术对数据进行处理,其次通过关键词结合正则表达式方式对信息字段进行提取。根据领域知识,对安全数据先分类再进行有效字段提取。数据分类可根据信息收集阶段第一步中的信息类型进行,有效字段包括端口号、ip、文件名称、文件散列值等标示性字段和sshd、failed、connected等不变字段。
123.这里,本技术实施例可以通过字符串单词分割技术和关键词结合正则表达式方式,来进行安全数据信息的解析和字段提取,再结合预设数据分类,得到预设数据分类中不同类别所需的有效字段信息,以通过有效字段信息进行数据的分析。
124.s304:接收服务器发送的模型参数。
125.s305:根据模型参数建立预设联邦学习训练模型。
126.这里,服务器和终端都可进行预设连邦学习模型的训练,在联邦学习模型训练时,需要预先进行数据处理:
127.数据归一化:将不同来源不同结构的安全数据映射为统一的数据模型,对各字段进行转义和补全。去除日志中端口号、ip地址等变化信息,此类信息对机器学习来说为无用
信息。保留sshd、failed、connected等不变信息,用作机器学习的的特征提取输入。
128.训练特征提取:首先,计算上一步归一化的安全数据中各字段的出现次数,频繁出现的字段被选作有用字段。然后,统计固定时间段内每个有用字段出现的次数生成计数向量。最后,整合多个计数向量生成计数矩阵作为特征。
129.在训练数据处理后,可进行训练:由于机器学习比较耗费资源,为不影响应用的正常使用,需要根据系统的空闲情况合理安排机器学习的执行。首先,利用系统函数获取系统当前的资源使用情况,其次,整体逻辑控制模块根据资源的空闲情况控制机器学习的执行。资源空闲时,使用k-means聚类方法对训练特征进行训练。
130.可选地,服务器和终端可进行模型参数交换以提高准确性,在前序步骤中,由于系统敏感性原因某些应用系统中的安全数据未向集中服务端上传,导致数据分散。而机器学习对数据量要求较大,数据分散时,无法训练得到精准参数。因此,需要将各终端训练得到的参数进行互相交换更新,以最终得到精准参数。首先,服务端整体逻辑控制模块根据用户设置或之前的训练结果生成各终端之间的参数交换规则并向目标客户端逻辑控制模块下发;其次,各客户端整体逻辑控制模块根据参数交换规则交换模型参数;最后,以合理的权重更新各个客户端的模型参数,权重可由当前终端的样本动态测试确定、系统部署前测试确定或根据专家知识确定。训练模型交换更新结束后重复联邦学习阶段。
131.s306:将有效字段信息输入至预设联邦学习模型,输出得到安全事件结果参数。
132.这里,利用上述联邦学习训练得到的模型进行安全事件识别。将实时获取的安全数据进行预处理、有效字段提取、归一化和特征提取后输入模型进行评估,可判断是否为异常事件。
133.这里,可以根据提前设置好的安全事件规则判断信息收集阶段收集的安全数据是否构成安全事件。安全事件规则包括文件完整性检测、恶意软件检测、漏洞检测、网络入侵检测、安全配置评估、合规性检测等。可选地,根据安全事件结果参数与预设安全事件对应的数值范围来确定。
134.s307:根据安全事件结果参数和预设安全事件分类,确定终端是否存在安全事件及安全事件的分类等级。
135.本技术实施例在建立预设联邦学习模型时,可预先通过服务器获取到的大量数据进行训练,将训练后得到的模型参数作为终端模型的参数,结合了从各类设备和应用系统收集到的安全相关日志和数据进行处理与分析,提高了预设联邦学习模型训练的准确性,进一步地保证了网络数据的安全性和稳定性。
136.图4为本技术实施例提供的一种数据安全处理装置的结构示意图,如图4所示,本技术实施例的装置包括:获取模块401、判断模块402、第一处理模块403、第二处理模块404和确定模块405。这里的数据安全处理装置可以是上述客户端本身,或者是实现客户端的功能的芯片或者集成电路。这里需要说明的是,获取模块401、判断模块402、第一处理模块403、第二处理模块404和确定模块405的划分只是一种逻辑功能的划分,物理上两者可以是集成的,也可以是独立的。
137.其中,获取模块,用于获取终端的安全数据信息;
138.判断模块,用于根据预设敏感性等级规则,判断安全数据信息的敏感性等级;
139.第一处理模块,用于若安全数据信息的敏感性等级高于预设敏感性等级阈值,则
根据预设解析规则,对安全数据信息进行解析和提取处理,得到有效字段信息;
140.第二处理模块,用于将有效字段信息输入至预设联邦学习模型,输出得到安全事件结果参数;
141.确定模块,用于根据安全事件结果参数和预设安全事件分类,确定终端是否存在安全事件及安全事件的分类等级。
142.可选地,获取模块具体用于:
143.通过在终端上安装的客户端软件,利用终端的操作系统提供的系统接口函数和插件获取安全数据信息。
144.可选地,预设敏感性等级规则包括预设安全数据信息样本和安全数据信息样本对应的敏感度等级;
145.相应的,判断模块具体用于:
146.将安全数据信息与预设安全数据信息样本进行比对,确定安全数据信息对应的敏感度等级。
147.可选地,第一处理模块具体用于:
148.利用字符串单词分割技术对安全数据信息进行处理,得到分割后的安全数据信息;
149.通过关键词结合正则表达式方式,对分割后的安全数据信息进行信息字段提取,得到字段信息;
150.根据预设数据分类,从字段信息中提取有效字段信息。
151.可选地,在确定模块根据安全事件结果参数和预设安全事件分类,确定终端是否存在安全事件及安全事件的分类等级之后,上述装置还包括:
152.显示模块,用于显示安全事件和安全事件的分类等级。
153.可选地,在确定模块根据安全事件结果参数和预设安全事件分类,确定终端是否存在安全事件及安全事件的分类等级之后,上述装置还包括:
154.响应模块,用于根据安全事件和安全事件分类等级,确定针对安全事件的响应方案。
155.可选地,在第一处理模块若安全数据信息的敏感性等级高于预设敏感性等级阈值,则根据预设解析规则,对安全数据信息进行解析和提取处理,得到有效字段信息之后,第一处理模块还用于:
156.若安全数据信息的敏感性等级不高于预设敏感性等级阈值,则将安全数据信息发送至服务器,以使服务器根据安全数据信息进行安全事件判断。
157.可选地,在第二处理模块将有效字段信息输入至预设联邦学习模型,输出得到安全事件结果参数之前,上述装置还包括:
158.建立模块,用于接收服务器发送的模型参数;根据模型参数建立预设联邦学习训练模型。
159.图5为本技术实施例提供的一种数据安全处理设备的结构示意图,该数据安全处理设备可以为客户端。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不限制本文中描述的和/或者要求的本技术的实现。
160.如图5所示,该数据安全处理设备包括:处理器501和存储器502,各个部件利用不
同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器501可以对在数据安全处理设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。图5中以一个处理器501为例。
161.存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本技术实施例中的数据安全处理设备的方法对应的程序指令/模块(例如,附图4所示的,获取模块401、判断模块402、第一处理模块403、第二处理模块404和确定模块405)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块,从而执行认证平台的各种功能应用以及数据处理,即实现上述方法实施例中的数据安全处理设备的方法。
162.数据安全处理设备还可以包括:输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接,图5中以通过总线连接为例。
163.输入装置503可接收输入的数字或字符信息,以及产生与数据安全处理设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以是数据安全处理设备的显示设备等输出设备。该显示设备可以包括但不限于,液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
164.本技术实施例的数据安全处理设备,可以用于执行本技术上述各方法实施例中的技术方案,其实现原理和技术效果类似,此处不再赘述。
165.本技术实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现上述任一项所述的数据安全处理方法。
166.本技术实施例还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时,用于实现上述任一项所述的数据安全处理方法。
167.在本技术所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
168.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
169.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的
权利要求书指出。
170.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1