流量数据处理方法和装置与流程

本发明涉及计算机领域，具体而言，涉及一种流量数据处理方法和装置。
背景技术：
：网络流量分析(networktrafficanalysis)通过记录、审查和分析网络流量数据，检查网络在安全性、操作、管理或网络健康状况方面的状况，网络流量分析系统在一段时间内对所检测流量进行学习，构建其流量特征基线模型，在随后的检测过程中，将实际流量与基线模型对比，从而发现流量异常及恶意网络行为，周期性基线模型是一种常用的模型，由于企业业务和员工工作多以周单位，周常作为周期性模型的周期单位，但仍然有相当一部分业务周期超出一周的范围，例如月初、月末、每两周、每月最后一个周末等等，上述业务会在直接使用以周为周期的基线模型的系统上产生异常流量报警，即误报，长期重复性误报会导致安全管理员忽视此类报警，从而遗漏对相关设备上真实威胁的关注研究，降低了网络流量分析系统的防护效能。网络流量分析需要使用周期定义基线模型，此周期可以有多种选择，以24小时为周期不能反映工作日和双休日的流量差别；以一个月为周需要存储大量的流量基线数据且存在大量数据冗余，以周为单位是目前较通用、合理的选择。企业业务中仍然存在着周期大于周的重复性业务，在一个只提供以周为基线周期的系统上，此类业务或者被检测为异常流量行为，成为定期出现的误报，管理员需要重复性地忽略此类报警，或者被归类为正常周期性流量，导致周基线被其流量数据修正，当非正常业务的流量在非业务时间段出现时而不产生报警，成为对可疑流量的漏报，长期误报和漏报都降低了网络流量分析系统的安全预警效果。现有系统基于周基线进行流量检测并报告流量异常，针对由重复周期大于一周的正常流量而引发的流量异常，系统会管理员一般有两个选择，其一是忽略异常报警，同样报警会在下一个流量周期重复出现，其二是将其按误报处理，其流量特征将会被基线自动更新功能引用，导致周模型的不准确。针对相关技术中流量周期确定不合理导致判断错误的问题，目前尚未提出有效的解决方案。技术实现要素：本发明的主要目的在于提供一种流量数据处理方法和装置，以解决流量周期确定不合理导致判断错误的问题。为了实现上述目的，根据本发明的一个方面，提供了一种流量数据处理方法，该方法包括：在基于周基线检测到目标对象的流量异常时，通过扩展周期基线对所述目标对象的流量进行再次检测，得到再次检测结果，其中，所述扩展周期基线对应的流量周期大于一周；判断所述再次检测结果是否存在异常；如果所述再次检测结果存在异常，则输出第一消息，其中，所述第一消息用于提示所述目标对象的流量存在异常，如果任意一条所述扩展周期基线与所述目标对象的流量匹配成功，则所述再次检测结果不存在异常。进一步地，所述方法还包括：如果所述再次检测结果不存在异常，则基于所述目标对象的流量对所述扩展周期基线进行更新。进一步地，在通过扩展周期基线对所述目标对象的流量进行再次检测，得到再次检测结果之前，所述方法还包括：判断是否存在所述扩展周期基线；如果不存在，则输出第二消息，所述第二消息用于提示不存在扩展周期基线。进一步地，在输出所述第二消息之后，所述方法还包括：发出提示信息，其中，所述提示信息用于提示是否添加扩展周期基线；在收到添加指令后，基于所述添加指令添加所述扩展周期基线。进一步地，所述方法还包括：在收到不添加的指令后，将当前检测到的目标对象的流量判断为异常流量；发出流量异常提醒。为了实现上述目的，根据本发明的另一方面，还提供了一种流量数据处理装置，该装置包括：检测单元，用于在基于周基线检测到目标对象的流量异常时，通过扩展周期基线对所述目标对象的流量进行再次检测，得到再次检测结果，其中，所述扩展周期基线对应的流量周期大于一周；第一判断单元，用于判断所述再次检测结果是否存在异常；第一输出单元，用于在所述再次检测结果存在异常时，输出第一消息，其中，所述第一消息用于提示所述目标对象的流量存在异常，如果任意一条所述扩展周期基线与所述目标对象的流量匹配成功，则所述再次检测结果不存在异常。进一步地，所述装置还包括：更新单元，用于在所述再次检测结果不存在异常时，基于所述目标对象的流量对所述扩展周期基线进行更新。进一步地，所述装置还包括：第二判断单元，用于在通过扩展周期基线对所述目标对象的流量进行再次检测，得到再次检测结果之前，判断是否存在所述扩展周期基线；第二输出单元，用于如果不存在，则输出第二消息，所述第二消息用于提示不存在扩展周期基线。为了实现上述目的，根据本发明的另一方面，还提供了一种存储介质，包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行本发明所述的流量数据处理方法。为了实现上述目的，根据本发明的另一方面，还提供了一种设备，至少包括一个处理器，以及与所述处理器连接的至少一个存储器、总线，其中，所述处理器、所述存储器通过所述总线完成相互间的通信，所述处理器用于调用所述存储器中的程序指令，以执行本发明所述的流量数据处理方法。本发明通过在基于周基线检测到目标对象的流量异常时，通过扩展周期基线对目标对象的流量进行再次检测，得到再次检测结果，其中，扩展周期基线对应的流量周期大于一周；判断再次检测结果是否存在异常；如果再次检测结果存在异常，则输出第一消息，其中，第一消息用于提示目标对象的流量存在异常，如果任意一条扩展周期基线与目标对象的流量匹配成功，则再次检测结果不存在异常，解决了流量周期确定不合理导致判断错误的问题，进而达到了提高异常流量判断的准确率的效果。附图说明构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图1是根据本发明实施例的流量数据处理方法的流程图；图2是根据本发明实施例的流量异常检测的流程图；图3是根据本发明实施例的扩展流量异常检测流程图；图4是根据本发明实施例的流量数据处理装置的示意图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。为了使本
技术领域：
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本发明实施例提供了一种流量数据处理方法。图1是根据本发明实施例的流量数据处理方法的流程图，如图1所示，该方法包括以下步骤：步骤s102：在基于周基线检测到目标对象的流量异常时，通过扩展周期基线对目标对象的流量进行再次检测，得到再次检测结果，其中，扩展周期基线对应的流量周期大于一周；步骤s104：判断再次检测结果是否存在异常；步骤s106：如果再次检测结果存在异常，则输出第一消息，其中，第一消息用于提示目标对象的流量存在异常，如果任意一条扩展周期基线与目标对象的流量匹配成功，则再次检测结果不存在异常。该实施例采用基于周基线检测到目标对象的流量异常时，通过扩展周期基线对目标对象的流量进行再次检测，得到再次检测结果，其中，扩展周期基线对应的流量周期大于一周；判断再次检测结果是否存在异常；如果再次检测结果存在异常，则输出第一消息，其中，第一消息用于提示目标对象的流量存在异常，如果任意一条扩展周期基线与目标对象的流量匹配成功，则再次检测结果不存在异常，解决了流量周期确定不合理导致判断错误的问题，进而达到了提高异常流量判断的准确率的效果。本发明实施例中，基于周基线进行流量检测时，如果发现异常流量，则可能是基于更长周期的数据流量，例如每月发生一次的数据流量，或者每个季度发生一次的数据流量，这些比周更长的周期流量变化可以通过扩展周期基线再次检测是否存在异常，如果通过扩展周期基线检测依然存在异常，则发出异常提醒，通过增加扩展周期基线检测的步骤，可以减少误报，识别出其中的扩展周期流量。可选地，如果再次检测结果不存在异常，则基于目标对象的流量对扩展周期基线进行更新。如果当前基于周基线检测到的流量异常通过扩展周期基线匹配成功，则说明该流量不是异常流量，并且根据当前的流量数据对扩展周期基线进行更新，以使基线数据更加精准。可选地，在通过扩展周期基线对目标对象的流量进行再次检测，得到再次检测结果之前，判断是否存在扩展周期基线；如果不存在，则输出第二消息，第二消息用于提示不存在扩展周期基线。如果尚未添加扩展周期基线，则可以发出提示信息提示用户。可选地，在输出第二消息之后，发出提示信息，其中，提示信息用于提示是否添加扩展周期基线；在收到添加指令后，基于添加指令添加扩展周期基线。提示用户不存在扩展周期基线后可以再次提示用户是否添加，如果用户发出添加指令，则基于添加指令添加扩展周期基线。可选地，在收到不添加的指令后，将当前检测到的目标对象的流量判断为异常流量；发出流量异常提醒。如果用户不添加扩展周期基线，则可以直接采用周基线检测结果作为当前的流量检测结果，发出流量异常提醒，提示用户存在异常。另外，如果基于周基线检测结果显示当前流量不存在异常，则可以用当前的流量数据对周基线进行更新，以使周基线更加准确。本发明实施例还提供了一种优选实施方式，下面基于优选实施方式对本申请进行说明。本实施例提供一种任意周期(小于一年)的基线构造技术，和基于此基线的流量检测技术与系统设计，能够容许管理员针对特定流量，设定小于一年的任意周期，系统依照此周期进行基线自动学习和调整，按照此周期进行异常流量检测。主要包括以下部分：扩展周期基线数据结构、扩展周期基线管理模块和扩展的流量异常检测流程等。1、扩展周期基线数据结构常规的以周为循环单位的周基线选择一周内的某个时间点为起点。将实时时间与起始点计算时间偏移量，用时间偏移量查找对应的基线流量特征。将实际流量特征与基线特征相比较，判别流量是正常或异常。周基线的简化数据结构如下表所示。表1周基线的简化数据结构由于timestamp(时间戳)和baselinedata(基线数据)的具体内容与本发明无关，此处不做详细定义，timestamp可以是距周期起始点的相对时间，以分钟、小时或天为单位。也可以是以开始时间和结束时间定义的时间段，baselinedata应该包含但不限于流量的ip地址、端口、服务等流量辨识数据，流量特征数据，和流量统计数据等等，由于系统需要关注的网络资产众多，主机和服务器的流量种类众多，基线数据表格一般比较庞大，不同系统可能使用分表、数据库、内存和文件等方式存储基线数据。由于周基线表中的timestamp是相对于每周循环的起始点记录的，周期大于一周的重复事件无法计入表格，本实施例提出了扩展周期基线的数据结构，以存储任意小于一年的周期性基线数据，扩展周期基线的数据结构如下表所示。表2扩展周期基线的数据结构timestamppatternbaselinedatat1p1data1t2p2data2t3p3data3数据结构中的每一项具体定义为：timestamp：时间戳，与上表定义不相同，此时间戳记录从每年第一天的起始的时间段，从中可以判别出事件时间的月、周、星期几、小时和分钟等信息。baselinedata：基线数据，与上表定义相同。pattern：重复模式pattern扩展周期基线的数据结构中的新增表项，用以记录当前基线对应流量的重复模式。pattern的取值包含但不限于：双周某日重复，每月某日重复，月初工作日重复，月末工作日重复，每年日历日重复。网络流量分析系统可根据其目标客户的业务运营特点，增添或删减支持的重复模式。2、扩展周期基线管理模块由于周基线需要发现和保存大量流量特征数据，周基线数据结构内的基线均是通过系统自动学习获得，并根据实际流量进行实时调整，管理员只需对周基线进行微调即可到达可用的目的。扩展周期基线包含了周基线不能包含的流量基线，其数量远远低于周基线内的基线数量，扩展周期基线的创建、修改和删除需要管理员直接参与，本实施例提出如下扩展周期基线管理模块设计，以支持管理员对扩展周期基线的运维，此管理模块包含如下功能：基线添加：如果正常流量不能被周流量基线覆盖，流量检测模块会对该流量产生流量异常报警。管理员在处理异常报警时，可用辨别该流量是异常流量还是正常可重复且周期长于一周的流量。对应后者，管理员可通过管理模块的基线添加功能，将对应流量特征、发生时间和流量重复模式添加到扩展周期基线中。基线添加功能需要集成到网络流量分析系统的异常流量的处理流程中。基线自动调整：与周基线内的基线一致，扩展周期基线也需要随实际流量自动调整。此处的调整算法和实现与周基线的功能一致。此功能可以复用系统现有实现。基线展示：基线展示功能提供了对已加入基线的展示和管理运维入口。基线手动调整：扩展周期基线所代表的业务流量有可能随业务的改变而改变。现有基线内的时间戳和重复模式可以由管理员手动调整以适应业务的改变。基线手动删除：由于扩展周期基线内的基线都具有较长的重复时间周期，较难实现基于时间的自动老化机制，此管理模块可实现手动删除功能，以协助管理员清理无用的基线。上述设计描述了管理模块的基础功能，不同的网络流量分析系统可根据其客户群设计实现部分上述功能或添加更多的管理功能。图2是根据本发明实施例的流量异常检测的流程图，如图2所示，如果仅基于周基线进行流量检测并报告流量异常，针对由重复周期大于一周的正常流量而引发的流量异常，系统会管理员一般有两个选择，其一是忽略异常报警，同样报警会在下一个流量周期重复出现，其二是将其按误报处理，其流量特征将会被基线自动更新功能引用，导致周模型的不准确。本实施例进一步提出了创建扩展周期基线数据结构和对此结构的管理模块，图3是根据本发明实施例的扩展流量异常检测流程图，如图3所示：如果流量被基于周基线的检测判定为异常，流程继续引用扩展周期基线进行二次检测，检测功能的设计为:首先使用流量的网络参数(ip、端口、应用等)与基线匹配，如无基线匹配，返回无基线匹配，如某些基线匹配成功，则逐一核实流量时间段是否满足基线中重复时间段定义，基线中的时间戳和重复模式可以用来计算该基线的有效时段，如果没有时间段匹配成功，查询结果仍然是无基线匹配，如果有基线时间段匹配成功，进一步将流量网络参数与基线对比，对比结果可为正常流量或异常流量，至此检测功能全部完成。最终检测结果可能为如下三种：正常，有基线异常和无基线匹配，如果流量在扩展周期基线中匹配到某个基线，并判定为正常流量，则使用其特征自动更新基线并完成流量检测流程。如果该流量如果流量在扩展周期基线中匹配到某个基线，并判定为流量异常，则将判定结果置为异常状态，等待管理员人工分析。如果扩展日期基线中无基线匹配，则将判定结果置为无基线异常，等待管理员人工分析。流程下一步是管理员人工分析异常，这一步不需要与上述的实时流程同步进行，管理员在合适的时间梳理异常事件，根据前期流程得出的结论，人为判定某个流量异常是真实异常还是周期大于一周的正常流量，对于后者，管理员利用扩展周期基线管理模块提供的基线添加功能，利用该流量的特征数据添加扩展周期基线。以上完整的呈现了本实施例提出的扩展周期基线数据结构，扩展周期基线管理模块功能，和流量检测流程的扩展，实现了对任意周期流量基线的创建维护，以及通过使用扩展周期基线对异常流量进行二次检测的扩展检测流程，通过此方案，网络流量分析系统可将流量基线的检测周期从一周扩展到一年内的任意时段，有效准确地跟踪和监控长周期业务流量，避免对此类业务的误报和漏报，从而保证有效地检测出异常网络行为。本实施例的应用场景举例：某企业部署了网络流量分析系统，其业务系统在每月最后的一个工作日向上级业务系统上传汇总报告，上传起始时间固定，上传总数据量大致保持常量，系统部署本发明后，管理员可为此网络行为创建扩展周期基线，从而确保在规定时间段发生的数据外传不产生误报，且其他时段发生的可疑的数据传输会产生报警。本实施例的网络流量分析系统有能力记录、跟踪和检测任意重复周期的网络流量行为，不受一周的时间限制，与高频度网络行为一致，大周期网络行为可以得到有效的监控，不会内网系统设计实现的缺陷遭到管理员的忽视，有效降低了针对大周期网络行为产生的误报和漏报，提高了管理员的工作效率和对真实威胁的关注度。需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本发明实施例提供了一种流量数据处理装置，该装置可以用于执行本发明实施例的流量数据处理方法。图4是根据本发明实施例的流量数据处理装置的示意图，如图4所示，该装置包括：检测单元10，用于在基于周基线检测到目标对象的流量异常时，通过扩展周期基线对目标对象的流量进行再次检测，得到再次检测结果，其中，扩展周期基线对应的流量周期大于一周；第一判断单元20，用于判断再次检测结果是否存在异常；第一输出单元30，用于在再次检测结果存在异常时，输出第一消息，其中，第一消息用于提示目标对象的流量存在异常，如果任意一条扩展周期基线与目标对象的流量匹配成功，则再次检测结果不存在异常。该实施例采用检测单元10在基于周基线检测到目标对象的流量异常时，通过扩展周期基线对目标对象的流量进行再次检测，得到再次检测结果，其中，扩展周期基线对应的流量周期大于一周；第一判断单元20判断再次检测结果是否存在异常；第一输出单元30在再次检测结果存在异常时，输出第一消息，其中，第一消息用于提示目标对象的流量存在异常，如果任意一条扩展周期基线与目标对象的流量匹配成功，则再次检测结果不存在异常，从而解决了流量周期确定不合理导致判断错误的问题，进而达到了提高异常流量判断的准确率的效果。可选地，该装置还包括：更新单元，用于在再次检测结果不存在异常时，基于目标对象的流量对扩展周期基线进行更新。可选地，该装置还包括：第二判断单元，用于在通过扩展周期基线对目标对象的流量进行再次检测，得到再次检测结果之前，判断是否存在扩展周期基线；第二输出单元，用于如果不存在，则输出第二消息，第二消息用于提示不存在扩展周期基线。所述流量数据处理装置包括处理器和存储器，上述检测单元、第一判断单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高异常流量判断的准确率。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)，存储器包括至少一个存储芯片。本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述流量数据处理方法。本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述流量数据处理方法。本发明实施例提供了一种设备，设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的流量数据处理方法。本文中的设备可以是服务器、pc、pad、手机等。本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：基于周基线检测到目标对象的流量异常时，通过扩展周期基线对目标对象的流量进行再次检测，得到再次检测结果，其中，扩展周期基线对应的流量周期大于一周；判断再次检测结果是否存在异常；如果再次检测结果存在异常，则输出第一消息，其中，第一消息用于提示目标对象的流量存在异常，如果任意一条扩展周期基线与目标对象的流量匹配成功，则再次检测结果不存在异常。本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。当前第1页12