威胁数据处理的方法、设备、系统和介质与流程

本公开涉及一种威胁数据处理的方法、设备系统和介质。
背景技术：
：随着通信技术的不断发展，互联网技术的应用越来越广泛，与此同时，黑客技术也在不断地威胁着网络安全。目前，出现了各种各样的防御手段来应对黑客入侵，如网盾、杀毒软件、安全卫士等安全软件都能在一定程度上抵御黑客入侵，维护网络安全。但是，目前在威胁情报业务领域以及基于大数据业务的威胁检测业务查询中，利用黑名单、白名单对待检测报文的域名和url进行检测，其黑名单和白名单存在不够全面的问题，因此会造成检测平台的误报，降低了其检测的准确度及效率。技术实现要素：本公开鉴于上述问题，提供了一种威胁数据处理的方法、设备、系统和介质。通过自动化数据流程，获得dga白名单和top10w白名单，对该dga白名单和top10w白名单进行更新，并定时传输给检测平台，检测平台利用更新后的dga白名单和top10w白名单对待检测数据进行检测，提供了精确的威胁指标(ioc)信息，降低了检测平台的误报率，提高了分析人员的威胁分析效率。本公开的一个方面提供了一种威胁数据处理的方法，包括：获取第一白名单和第二白名单，其中，所述第一白名单包含已注册的正规dga域名，所述第二白名单包含正规厂商的域名；更新所述第一白名单和第二白名单，并定时将更新后的所述第一白名单和第二白名单传输至检测平台；所述检测平台对待处理数据进行匹配检测，当所述待处理数据与所述第一白名单和第二白名单不匹配时，若所述待处理数据访问恶意网站，将所述待处理数据的检测结果发送至显示终端，否则，将所述待处理数据加入所述第二白名单。可选地，所述方法还包括：对所述待处理数据进行分类，根据分类结果将所述待处理数据存储至数据库，并对所述待处理数据建立索引。可选地，所述第一白名单为dga白名单，所述第二白名单为top10w白名单。可选地，所述检测平台对待处理数据进行匹配检测包括：将所述待处理数据分别与所述第一白名单和第二白名单进行匹配检测，若所述待处理数据在所述第一白名单和/或在所述第二白名单时，丢弃所述待处理数据。可选地，所述将所述待处理数据的检测结果发送至显示终端还包括：对所述检测结果进行聚合及关联处理，并将处理后的所述检测结果发送至所述显示终端。可选地，所述显示终端的显示信息包括所述检测结果、恶意家族信息及类型信息。可选地，所述检测结果为一种及以上的威胁指标信息。本公开另一方面还提供了一种威胁数据处理的电子设备，包括：处理器；存储器，其存储有计算机可执行程序，所述程序在被所述处理器执行时，使得所述处理器执行上述威胁数据处理的方法。本公开另一方面还提供了一种威胁数据处理的系统，所述威胁数据处理的系统包括：获取模块，获取第一白名单和第二白名单，其中，所述第一白名单包含已注册的正规dga域名，所述第二白名单包含正规厂商的域名；更新模块，更新所述第一白名单和第二白名单，并定时将更新后的所述第一白名单和第二白名单传输至检测平台；匹配检测模块，所述检测平台对待处理数据进行匹配检测，当所述待处理数据与所述第一白名单和第二白名单不匹配时，若所述待处理数据访问恶意网站，将所述待处理数据的检测结果发送至显示终端，否则，将所述待处理数据加入所述第二白名单。本公开另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述威胁数据处理的方法。附图说明为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：图1示意性示出了根据本公开实施例提供的威胁数据处理的方法的流程图。图2示意性示出了根据本公开实施例提供的威胁数据处理的方法的操作流程图。图3示意性示出了根据本公开的电子设备的框图。图4示意性示出了本公开实施例的威胁数据处理的系统的框图。具体实施方式根据结合附图对本公开示例性实施例的以下详细描述，本公开的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。在本公开中，术语“包括”和“含有”及其派生词意为包括而非限制；术语“或”是包含性的，意为和/或。在本说明书中，下述用于描述本公开原理的各种实施例只是说明，不应该以任何方式解释为限制公开的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不背离本公开的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同参考数字用于相似功能和操作。图1示意性示出了根据本公开实施例提供的威胁数据处理的方法的流程图。图2示意性示出了根据本公开实施例提供的威胁数据处理的方法的操作流程图。结合图2，对图1所述方法进行详细说明，如图1所示，该方法包括如下操作：s1，获取第一白名单和第二白名单，其中，第一白名单包含已注册的正规dga域名，第二白名单包含正规厂商的域名。第一白名单为dga白名单，其中包含有已经被注册的使用活跃的dga域名。dga为域名生成算法，其利用随机字符来生成c&c域名，从而逃避域名黑名单检测，域名黑名单对于不断更新的dga算法并不凑效。第二白名单为top10w白名单，其中包含有一些正规厂商的域名，例如，www.wikipedia.org以及github.com等。top10w白名单是指该白名单中包含的正规厂商的域名在10万这一量级，并且是访问量较高的前10w量级的正规厂商的域名。通过自动化数据流，获取常见的dga白名单和top10w量级白名单。采用自动化数据流可以流程化、自动化地完成数据相关任务。s2，更新第一白名单和第二白名单，并定时将更新后的第一白名单和第二白名单传输至检测平台。在两次传输之间的时间内，持续对第一白名单和第二白名单进行数据清洗和更新，最终形成一个域名特征集合，并将更新后形成的第一白名单和第二白名单定时传输至威胁检测平台或其他检测平台，实现定期更新，保证第一白名单和第二白名单的有效性。数据清洗，例如某一数据不在第一白名单且不在第二白名单中，并且该数据访问的是正常网站，此时，需要将该数据的域名加入第一白名单或第二白名单中，以优化第一白名单和第二白名单，降低威胁指标信息的误报。s3，检测平台对待处理数据进行匹配检测，当待处理数据与第一白名单和第二白名单不匹配时，若待处理数据访问恶意网站，将待处理数据的监测结果发送至显示终端，否则，将待处理数据加入第二白名单。操作s3包括以下子操作：s31，对待处理数据进行分类，根据分类结果将待处理数据存储至数据库，并对待处理数据建立索引。对待处理数据进行分类，分类类型例如包括tpd、ip、domain、url、port等。待处理数据分类后存入本地数据库，支持高性能匹配查询，建立本地索引，方便数据查找。s32，从存储库中获取待处理数据，判断其是否为dga、cc、tpd等类型的数据。具体地，判断是否为tpd类型，解析出二级域名到数据库中进行查询，若有结果并且标记类型是tpd类型，表明其为tpd类型；对于cc类型，根据ioc_category返回值来判断，除了tpd类型之外，若有返回值，表明其为cc类型；对于dga类型，若tags＝[′dga′]，表明其为dga类型。s33，判断待处理数据是否匹配第一白名单和/或第二白名单，若待处理数据在第一白名单和/或在第二白名单时，丢弃待处理数据，返回为空；否则，执行子操作s34。s34，待处理数据不在第一白名单和第二白名单中，根据不同类型的待处理数据进行分类检测并记录检测结果。具体地，tpd类型数据没有ioc字段，直接返回检测结果；dga类型数据不在第一白名单(dga白名单)且不在第二白名单(top10w白名单)中，直接返回检测结果；对于cc类型数据，需要进行ignore_port，ignore_url，ignore_top参数控制，如果为空直接返回，如果不为空，就按照参数中的port，ud进行返回数据。具体地，ignore_url表示是否忽略查询url，若为true，不去匹配tpd解析出来的url字段，否则，匹配tpd解析出来的url字段，命中则返回当前ioc，不命中，即使库内存在多条ioc，也返回为空。ignore_port表示是否忽略查询port，若为true，不去匹配tpd解析出来的port字段，否则，匹配tpd解析出来的port字段，命中则返回当前ioc，不命中，即使库内存在多条ioc，也返回为空。ignore_top表示是否忽略查询top域名，若为true，不去匹配top域名，否则，匹配top域名，命中则返回空，不命中继续进行ioc查询。s35，对检测结果进行聚合及关联处理，并将处理后的检测结果发送至显示终端，显示终端的显示信息包括检测结果、恶意家族信息及类型信息。其中，检测结果包括一种及以上的威胁指标信息。具体地，检测结果进行聚合处理后通过broker关联，提供给显示终端进行显示，如下表中所示字段进行展示。familynameioclisttypeinfoaptgrouphost/port/uridomain_portlevel3显示终端前端显示的信息可以如下表所示。apt组织ioc类型oceanlotus，海莲花cdn.mediastatics.net，0domain_portoceanlotus，海莲花image.iastapi.org，0domain_portoceanlotus，海莲花81.95.7.12，47557ip_portoceanlotus，海莲花81.95.7.12，587ip_portoceanlotus，海莲花91.229.77.192，47557ip_portoceanlotus，海莲花89.34.237.142，44818ip_port如图3所示，电子设备300包括处理器310、计算机可读存储介质320。该电子设备300可以执行上面参考图1和图2描述的方法，以进行消息处理。具体地，处理器310例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器310还可以包括用于缓存用途的板载存储器。处理器310可以是用于执行参考图1和图2描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。计算机可读存储介质320，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。计算机可读存储介质320可以包括计算机程序321，该计算机程序321可以包括代码/计算机可执行指令，其在由处理器310执行时使得处理器310执行例如上面结合图1和图2所描述的方法流程及其任何变形。计算机程序321可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序321中的代码可以包括一个或多个程序模块，例如包括321a、模块321b……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器310执行时，使得处理器310可以执行例如上面结合图1和图2所描述的方法流程及其任何变形。根据本公开的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。图4示意性示出了本公开实施例的威胁数据处理的系统的框图。如图4所示，威胁数据处理的系统包括获取模块410、更新模块420、匹配检测模块430。具体地，获取模块410，用于通过自动化数据流，获取常见的dga白名单和top10w量级白名单。更新模块420，用于在两次传输之间的时间内，持续对dga白名单和top10w量级白名单进行数据清洗和更新，最终形成一个域名特征集合，并将更新后形成的dga白名单和top10w量级白名单定时传输至威胁检测平台或其他检测平台。匹配检测模块430，用于通过检测平台对待处理数据进行匹配检测，当待处理数据与第一白名单和第二白名单不匹配时，若待处理数据访问恶意网站，将待处理数据的监测结果发送至显示终端，否则，将待处理数据加入第二白名单。可以理解的是，获取模块410、更新模块420、匹配检测模块430可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，获取模块410、更新模块420、匹配检测模块430中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，获取模块410、更新模块420、匹配检测模块430中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。尽管已参照本公开的特定示例性实施例示出并描述本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。当前第1页12