基于大数据智能分析恶意IP的评分方法及装置与流程

本发明涉及数据挖掘技术领域，具体而言，涉及基于大数据智能分析恶意ip的评分方法及装置。

背景技术：

云防护产品，每天收录了海量的访问日志和攻击日志。虽然通过日志可以分析出哪些ip是攻击ip和正常访问ip，但是目前一直没有很好的技术方案来定义一个ip的恶意程度，都是通过高级安全工程师进行分析日志，最后工程师定性该ip的恶意程度，如高危，中危，低危。然而这种方式浪费人力，效率低下，响应速度不高。甚至有些ip存在潜在的持续性攻击行为。从而，现有技术中存在如何挖掘出这类ip以及进行封杀的问题。

技术实现要素：

本发明提供的基于大数据智能分析恶意ip的评分方法及装置，旨在改善上述技术问题。

本发明提供的一种基于大数据智能分析恶意ip的评分方法，包括：获取预设时间段内的多个目标攻击日志；基于多个所述目标攻击日志，获取所述ip的攻击目标数、攻击手法数和攻击天数；基于所述攻击目标数、所述攻击手法数和所述攻击天数，获取所述ip所对应的恶意度。

优选地，所述的基于所述攻击目标数、所述攻击手法数和所述攻击天数，获取所述ip所对应的恶意度，包括：获取所述攻击目标数所对应的第一恶意度、所述攻击手法数所对应的第二恶意度和所述攻击天数所对应的第三恶意度权重；获取所述第一恶意度、所述第二恶意度和所述第三恶意度的总评分值；获取所述总评分值所对应的恶意度。

优选地，所述总评分值满足：c＝λdomainscdomains+λruleidscruleids+λdayscdays，其中，所述c表示所述总评分值，所述λdomains表示第一权重，所述λruleids表示第二权重，所述λdays表示第三权重，所述第一权重、所述第二权重和所述第三权重的总和为1，所述cdomains表示所述ip在所述攻击目标数上的第一恶意度，所述cruleids表示所述ip在所述攻击手法数上的第二恶意度，所述cdays表示所述ip在所述攻击天数上的第三恶意度，所述cdomains、所述cruleids和所述cdays表示均大于或等于零且小于或等于1。

优选地，所述的获取预设时间段内的多个目标攻击日志，包括：采集预设时间段内用户所对应的ip所访问的多个攻击日志；过滤每个所述攻击日志中的爬虫攻击记录；将过滤后的多个所述攻击日志作为多个目标攻击日志。

优选地，所述的基于多个所述目标攻击日志，获取所述ip的攻击目标数、攻击手法数和攻击天数，之前还包括：对所述目标攻击日志进行预处理。

本发明提供的一种基于大数据智能分析恶意ip的评分装置，包括：数据获取单元，用于获取预设时间段内的多个目标攻击日志；数据处理单元，用于基于多个所述目标攻击日志，获取所述ip的攻击目标数、攻击手法数和攻击天数；评分单元，用于基于所述攻击目标数、所述攻击手法数和所述攻击天数，获取所述ip所对应的恶意度。

优选地，所述评分单元具体用于：获取所述攻击目标数所对应的第一恶意度、所述攻击手法数所对应的第二恶意度和所述攻击天数所对应的第三恶意度权重；获取所述第一恶意度、所述第二恶意度和所述第三恶意度的总评分值；获取所述总评分值所对应的恶意度。

优选地，所述总评分值满足：c＝λdomainscdomains+λruleidscruleids+λdayscdays，其中，所述c表示所述总评分值，所述λdomains表示第一权重，所述λruleids表示第二权重，所述λdays表示第三权重，所述第一权重、所述第二权重和所述第三权重的总和为1，所述cdomains表示所述ip在所述攻击目标数上的第一恶意度，所述cruleids表示所述ip在所述攻击手法数上的第二恶意度，所述cdays表示所述ip在所述攻击天数上的第三恶意度，所述cdomains、所述cruleids和所述cdays表示均大于或等于零且小于或等于1。

优选地，所述数据获取单元具体用于：采集预设时间段内用户所对应的ip所访问的多个攻击日志；过滤每个所述攻击日志中的爬虫攻击记录；将过滤后的多个所述攻击日志作为多个目标攻击日志。

优选地，所述数据处理单元，之前还包括：数据预处理单元，用于对所述目标攻击日志进行预处理。

上述本发明提供的基于大数据智能分析恶意ip的评分方法及装置，通过获取预设时间段内的多个目标攻击日志，再对所述预设时间段内的多个目标攻击日志进行分析，以获取在所述预设时间段内的所述ip的攻击目标数、攻击手法数和攻击天数，最后通过所述攻击目标数、所述攻击手法数和所述攻击天数，获取所述ip所对应的恶意度，通过所述ip所对应的恶意度可以动态更新云防护的攻击ip的恶意度，以及可以快速的为云防护提供支持，确定攻击ip限制访问的时间长度，以及提供恶意ip的情报共享和能够发现潜在的持续性恶意攻击ip。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种电子设备的结构框图；

图2为本发明第一实施例提供的基于大数据智能分析恶意ip的评分方法的流程图；

图3为本发明第二实施例提供的基于大数据智能分析恶意ip的评分方法的流程图；

图4为本发明第三实施例提供的基于大数据智能分析恶意ip的评分装置的功能模块示意图；

图5为本发明第四实施例提供的基于大数据智能分析恶意ip的评分装置的功能模块示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例提供的一种电子设备的结构框图。所述电子设备300包括基于大数据智能分析恶意ip的评分装置、存储器302、存储控制器303、处理器304及外设接口305。

所述存储器302、存储控制器303、处理器304及外设接口305各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述基于大数据智能分析恶意ip的评分装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器302中或固化在所述电子设备300的操作系统(operatingsystem，os)中的软件功能模块。所述处理器304用于执行存储器302中存储的可执行模块，例如所述基于大数据智能分析恶意ip的评分装置包括的软件功能模块或计算机程序。

其中，存储器302可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread－onlymemory，prom)，可擦除只读存储器(erasableprogrammableread－onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread－onlymemory，eeprom)等。其中，存储器302用于存储程序，所述处理器304在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器100所执行的方法可以应用于处理器304中，或者由处理器304实现。

处理器304可能是一种集成电路芯片，具有信号的处理能力。上述的处理器304可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述外设接口305将各种输入/输入装置耦合至处理器304以及存储器302。在一些实施例中，外设接口305、处理器304以及存储控制器303可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

请参阅图2，是本发明第一实施例提供的基于大数据智能分析恶意ip的评分方法的流程图。下面将对图2所示的具体流程进行详细阐述。

步骤s101，获取预设时间段内的多个目标攻击日志。

其中，所述预设时间段可以是一周，也可以是一个月。所述预设时间段的具体时间的选取可以根据具体情况进行选取，在此，不作具体限定。

所述目标攻击日志是指用户的访问经过云防护平台后，经过访问策略的清洗之后，所记录的相应的攻击日志。

作为一种实施方式，采集预设时间段内用户所对应的ip所访问的多个攻击日志；过滤每个所述攻击日志中的爬虫攻击记录；将过滤后的多个所述攻击日志作为多个目标攻击日志。其中，过滤每个所述攻击日志中的爬虫攻击记录是指通过先识别出所述攻击日志中的爬虫记录，例如，获取爬虫特定的攻击记录，将满足所述特定的攻击记录作为爬虫记录，从而对所述攻击日志中的爬虫攻击记录进行过滤。

在本实施例中，优选地，在采集到所述多个目标攻击日志后，将所述多个目标攻击日志进行存储，例如，利用elasticsearch存储攻击日志。

步骤s102，基于多个所述目标攻击日志，获取所述ip的攻击目标数、攻击手法数和攻击天数。

其中，所述攻击目标数是指在所述预设时间段内所有的攻击目标的总数。

所述攻击手法数是指在所述预设时间段内所有的攻击手法的总数。

所述攻击天数是是指在所述预设时间段内产生攻击的总天数。

步骤s103，基于所述攻击目标数、所述攻击手法数和所述攻击天数，获取所述ip所对应的恶意度。

所述恶意度是指所述ip进行攻击的恶意程度。

作为一种实施方式，获取所述攻击目标数所对应的第一恶意度、所述攻击手法数所对应的第二恶意度和所述攻击天数所对应的第三恶意度权重；获取所述第一恶意度、所述第二恶意度和所述第三恶意度的总评分值；获取所述总评分值所对应的恶意度。

其中，所述总评分值满足：c＝λdomainscdomains+λruleidscruleids+λdayscdays，其中，所述c表示所述总评分值，所述λdomains表示第一权重，所述λruleids表示第二权重，所述λdays表示第三权重，所述第一权重、所述第二权重和所述第三权重的总和为1，所述cdomains表示所述ip在所述攻击目标数上的第一恶意度，所述cruleids表示所述ip在所述攻击手法数上的第二恶意度，所述cdays表示所述ip在所述攻击天数上的第三恶意度，所述cdomains、所述cruleids和所述cdays表示均大于或等于零且小于或等于1。即所述cdomains、所述cruleids和所述cdays均满足{cx|cx∈[0,1]}，其中，下标x代表各维度。

作为一种实施方式，所述所述cdomains可以通过利用预先采集的样本按照数据结构为(x，c1i)进行回归拟合得到f1(x)函数，所述cdomains＝f1(x)，其中，c1i大于或等于零，且小于或等于1。

所述cdays也可以通过利用预先采集的样本按照数据结构为(x，c2i)进行回归拟合得到f2(x)函数，即cdays＝f2(x)，其中，c2i大于或等于零，且小于或等于1。

在本实施例中，所述cruleids可以通过利用预先采集的样本映射函数f(r)：r，即cruleids＝f(r)。其中，r代表攻击手法的元组。所述r的结构比如(0001，0011，...)。

在本实施例中，所述r的长度可以是10，也可以是15，还可以是20，优选地，所述r的长度为15。

在本实施例中，由于不同攻击手法的严重性不一样，所以计算cruleids的时候需要考虑该因素，做不同的权重映射，最后利用f(r)得到。

作为另一种实施方式，所述cdomains可以不用函数拟合，例如，所述cdomains可以通过直接读取所述目标攻击日志中的攻击目标，然后进行混总，进而得到在所述预设时间段内的所述攻击目标数，将所述攻击目标数与预设值进行相除，得到所述cdomains，例如，cdomains＝domains/b。所述domains表示所述攻击目标数，所述b表示预设数值，其中所述预设值可以根据具体情况进行选择，例如，所述b可以是100，也可以是200，在此，不作具体限定。

所述cdays也可以不用函数拟合，例如，所述cdays＝days/n。所述days表示的是持续攻击的天数，所述n为预设时间段。

在本实施例中，作为一种实施方式，所述λdomains、所述λruleids和所述λdays可以通过利用预先采集的样本并按照数据结构为(cdomains，cdays，cruleids，ci)以及采用机器学习中的线性回归算法训练模型进行训练得到。

作为另一种实施方式，所述λdomains、所述λruleids和所述λdays可以通过预先设定一个固定值，例如，所述λdomains：所述λruleids：所述λdays＝4：2：4，又如，所述λdomains：所述λruleids：所述λdays＝4：3：3。在此，不作具体限定。

在本实施例中，除了通过所述cruleids、所述cdomains和所述cdays进行计算用户的ip的攻击恶意度以外，还可以延伸其他的维度，比如地理位置：国家区域。在此，不作具体限定。

请参阅图3，是本发明第二实施例提供的基于大数据智能分析恶意ip的评分方法的流程图。下面将对图3所示的具体流程进行详细阐述。

步骤s201，获取预设时间段内的多个目标攻击日志。

步骤s201的具体实施方式请参照第一实施例中所对应的步骤，在此，不再赘述。

步骤s202，对所述目标攻击日志进行预处理。

作为一种实施方式，在预设时间段内，以天为单位，进行统计用户ip对网站攻击触发的规则的次数。从而得到了一个包括目标数据结构的多个数据，以使后续步骤通过使用所述目标数据结构，加快运输速度。所述目标数据结构为：(ip，day，ruleid，domain，count)，其中ruleid表示触发的规则，count是day这一天触发该ruleid的次数。

在本实施例中，所述ip是指ip地址，即internetprotocoladdress。

在本实施例中，通过对所述目标攻击日志进行预处理可以有效地加快运算速度。

步骤s203，基于多个所述目标攻击日志，获取所述ip的攻击目标数、攻击手法数和攻击天数。

步骤s204，基于所述攻击目标数、所述攻击手法数和所述攻击天数，获取所述ip所对应的恶意度。

步骤s203和步骤s204的具体实施方式请参照第一实施例中所对应的步骤，在此，不再赘述。

请参阅图4，是本发明第三实施例提供的基于大数据智能分析恶意ip的评分装置的功能模块示意图。所述基于大数据智能分析恶意ip的评分装置400包括数据获取单元410、数据处理单元420和评分单元430。

数据获取单元410，用于获取预设时间段内的多个目标攻击日志。

其中，所述数据获取单元410具体用于：采集预设时间段内用户所对应的ip所访问的多个攻击日志；过滤每个所述攻击日志中的爬虫攻击记录；将过滤后的多个所述攻击日志作为多个目标攻击日志。

数据处理单元420，用于基于多个所述目标攻击日志，获取所述ip的攻击目标数、攻击手法数和攻击天数。

评分单元430，用于基于所述攻击目标数、所述攻击手法数和所述攻击天数，获取所述ip所对应的恶意度。

其中，所述评分单元430具体用于：获取所述攻击目标数所对应的第一恶意度、所述攻击手法数所对应的第二恶意度和所述攻击天数所对应的第三恶意度权重；获取所述第一恶意度、所述第二恶意度和所述第三恶意度的总评分值；获取所述总评分值所对应的恶意度。

其中，所述总评分值满足：c＝λdomainscdomains+λruleidscruleids+λdayscdays，其中，所述c表示所述总评分值，所述λdomains表示第一权重，所述λruleids表示第二权重，所述λdays表示第三权重，所述第一权重、所述第二权重和所述第三权重的总和为1，所述cdomains表示所述ip在所述攻击目标数上的第一恶意度，所述cruleids表示所述ip在所述攻击手法数上的第二恶意度，所述cdays表示所述ip在所述攻击天数上的第三恶意度，所述cdomains、所述cruleids和所述cdays表示均大于或等于零且小于或等于1。

请参阅图5，是本发明第四实施例提供的基于大数据智能分析恶意ip的评分装置的功能模块示意图。所述基于大数据智能分析恶意ip的评分装置500包括数据获取单元510、数据预处理单元520、数据处理单元530和评分单元540。

数据获取单元510，用于获取预设时间段内的多个目标攻击日志。

其中，所述数据获取单元510具体用于：采集预设时间段内用户所对应的ip所访问的多个攻击日志；过滤每个所述攻击日志中的爬虫攻击记录；将过滤后的多个所述攻击日志作为多个目标攻击日志。

数据预处理单元520，用于对所述目标攻击日志进行预处理。

数据处理单元530，用于基于多个所述目标攻击日志，获取所述ip的攻击目标数、攻击手法数和攻击天数。

评分单元540，用于基于所述攻击目标数、所述攻击手法数和所述攻击天数，获取所述ip所对应的恶意度。

其中，所述评分单元540具体用于：获取所述攻击目标数所对应的第一恶意度、所述攻击手法数所对应的第二恶意度和所述攻击天数所对应的第三恶意度权重；获取所述第一恶意度、所述第二恶意度和所述第三恶意度的总评分值；获取所述总评分值所对应的恶意度。

其中，所述总评分值满足：c＝λdomainscdomains+λruleidscruleids+λdayscdays，其中，所述c表示所述总评分值，所述λdomains表示第一权重，所述λruleids表示第二权重，所述λdays表示第三权重，所述第一权重、所述第二权重和所述第三权重的总和为1，所述cdomains表示所述ip在所述攻击目标数上的第一恶意度，所述cruleids表示所述ip在所述攻击手法数上的第二恶意度，所述cdays表示所述ip在所述攻击天数上的第三恶意度，所述cdomains、所述cruleids和所述cdays表示均大于或等于零且小于或等于1。

综上所述，本发明提供的基于大数据智能分析恶意ip的评分方法及装置，通过获取预设时间段内的多个目标攻击日志，再对所述预设时间段内的多个目标攻击日志进行分析，以获取在所述预设时间段内的所述ip的攻击目标数、攻击手法数和攻击天数，最后通过所述攻击目标数、所述攻击手法数和所述攻击天数，获取所述ip所对应的恶意度，通过所述ip所对应的恶意度可以动态更新云防护的攻击ip的恶意度，以及可以快速的为云防护提供支持，确定攻击ip限制访问的时间长度，以及提供恶意ip的情报共享和能够发现潜在的持续性恶意攻击ip。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read－onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。