业务日志的实时分析方法、装置及电子设备与流程

1.本技术涉及计算机信息处理领域，具体而言，涉及一种业务日志的实时分析方法、装置、电子设备及计算机可读介质。


背景技术：

2.随着计算机技术与网络应用的快速发展，企业或机构内部部署了多套网络设备与信息系统。这些设备或系统不间断地将各自的运行状态记录为日志数据，如web服务日志、防火墙日志、入侵检测系统日志等。日志数据是服务改进、系统审计、安全分析、数据挖掘等应用的重要数据源，因此需要长期存储信息系统的日志数据。
3.尤其对于一些核心系统模块，需要记录其所发生的一切操作并将其传输回数据中心以实时进行存储与分析。但是，管理人员可能会随着业务的变化，增加或者更改业务日志的模板或者记录信息内容，而且，业务初期日志也存在不规范、收集混乱的问题。随着许多大规模和复杂应用程序的部署，许多失败的作业可能会在短时间内发生，人工检测发生异常的原因变得非常困难和低效。首先，通过人工检查大规模分布式系统生成的大量日志消息来诊断异常是非常耗时的；其次，因为许多大型企业系统经常使用第三方组件，以至于单个开发人员或系统管理员可能没有足够的对于整个系统的认识；此外，分布式系统的复杂性日益增加，也进一步降低了人工问题诊断的效率。
4.当前市面上类似日志收集产品有syslog、fluentd、filebeat等，但是实际操作中，这些方案一是都需要手工配置，二是都需要梳理日志存储位置，这两个工作都需要运维人员、开发人员跟进，而这往往是推进日志集中化管理中的阻力点。
5.因此，需要一种新的业务日志的实时分析方法、装置、电子设备及计算机可读介质。
6.在所述背景技术部分公开的上述信息仅用于加强对本技术的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

7.有鉴于此，本技术提供一种业务日志的实时分析方法、装置、电子设备及计算机可读介质，能够解决日志收集中的手工配置问题，并通过集中管控系统，解决了业务日志分散查询困难的情况；对不规范和混乱的日志进行集中存储归档和分析，提高业务处理性能，减少沟通的成本。
8.本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。
9.根据本技术的一方面，提出一种业务日志的实时分析方法，该方法可用于主机服务器，包括：基于代理服务功能自动从多个业务日志客户端获取业务日志；基于代理服务功能将所述业务日志发送到分布式消息平台；基于所述分布式消息平台将所述业务日志备份到分布式文件系统中；基于分布式流数据处理的方式对分布式文件系统中的所述业务日志
进行实时分析。
10.可选地，还包括：获取任务插件和/或任务脚本；基于所述任务插件和/或所述任务脚本对所述业务日志进行风险分析；在风险分析结果满足预设策略时，生成警告信息。
11.可选地，基于代理服务功能自动从多个业务日志客户端获取业务日志，包括：确定扫描路径；基于代理服务功能和所述扫描路径从多个业务日志客户端获取日志数据；对所述日志数据初步处理生成所述业务日志。
12.可选地，确定扫描路径，包括：基于代理服务功能对多个业务日志客户端的预设类型文件进行扫描；和/或基于代理服务功能对多个业务日志客户端的预设文件目录进行扫描；基于扫描结果提取所述扫描路径。
13.可选地，对所述日志数据初步处理生成所述业务日志，包括：通过前置处理器对所述日志数据进行解压缩和/或日志编码；通过后置处理器对所述日志数据进行合并处理和/或信息提取和/或路径录入。
14.可选地，基于代理服务功能将所述业务日志发送到分布式消息平台，包括：基于代理服务功能将所述业务日志发送到pulsar分布式消息平台。
15.可选地，基于所述分布式消息平台将所述业务日志备份到分布式文件系统中，包括：所述分布式消息平台的中间件将所述业务日志备份到分布式文件系统中；所述分布式文件系统采用层级存储方式存储所述业务日志。
16.可选地，基于分布式流数据处理的方式对分布式文件系统中的所述业务日志进行实时分析，包括：基于分布式流数据处理的方式并行读取所述业务日志；以流水线的方式对所述业务日志进行实时分析；在分析结果中包含异常日志时，将所述异常日志存储在实时搜索引擎中以进行报表展示。
17.可选地，以流水线的方式对所述业务日志进行实时分析，包括：对所述业务日志进行规则匹配；和/或对所述业务日志进行操作频率统计；和/或基于机器学习模型对所述业务日志进行异常分析。
18.根据本技术的一方面，提出一种业务日志的实时分析装置，该装置可用于主机服务器，包括：日志模块，用于基于代理服务功能自动从多个业务日志客户端获取业务日志；发送模块，用于基于代理服务功能将所述业务日志发送到分布式消息平台；备份模块，用于基于所述分布式消息平台将所述业务日志备份到分布式文件系统中；分析模块，用于基于分布式流数据处理的方式对分布式文件系统中的所述业务日志进行实时分析。
19.可选地，还包括：告警模块，用于获取任务插件和/或任务脚本；基于所述任务插件和/或所述任务脚本对所述业务日志进行风险分析；在风险分析结果满足预设策略时，生成警告信息。
20.根据本技术的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。
21.根据本技术的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。
22.根据本技术的业务日志的实时分析方法、装置、电子设备及计算机可读介质，通过基于代理服务功能自动从多个业务日志客户端获取业务日志；基于代理服务功能将所述业
务日志发送到分布式消息平台；基于所述分布式消息平台将所述业务日志备份到分布式文件系统中；基于分布式流数据处理的方式对分布式文件系统中的所述业务日志进行实时分析的方式，能够解决日志收集中的手工配置问题，并通过集中管控系统，解决了业务日志分散查询困难的情况；对不规范和混乱的日志进行集中存储归档和分析，提高业务处理性能，减少沟通的成本。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本技术。
附图说明
24.通过参照附图详细描述其示例实施例，本技术的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1是根据一示例性实施例示出的一种业务日志的实时分析方法及装置的系统框图。
26.图2是根据一示例性实施例示出的一种业务日志的实时分析方法的流程图。
27.图3是根据另一示例性实施例示出的一种业务日志的实时分析方法的流程图。
28.图4是根据另一示例性实施例示出的一种业务日志的实时分析方法的流程图。
29.图5是根据一示例性实施例示出的一种业务日志的实时分析装置的框图。
30.图6是根据一示例性实施例示出的一种电子设备的框图。
31.图7是根据一示例性实施例示出的一种计算机可读介质的框图。
具体实施方式
32.现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本技术将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
33.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本技术的各方面。
34.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
35.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
36.应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组
件可称为第二组件而不偏离本技术概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
37.本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本技术所必须的，因此不能用于限制本技术的保护范围。
38.图1是根据一示例性实施例示出的一种业务日志的实时分析方法及装置的系统框图。
39.如图1所示，系统架构10可以包括客户端设备101、102、103，网络104和主机服务器105、分布式消息平台106、分布式文件系统107。网络104用以在客户端设备101、102、103和主机服务器105之间；网络104用以在主机服务器105和分布式消息平台106之间；网络104用以在分布式消息平台106和分布式文件系统107之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
40.客户端设备101、102、103上可存储有日志数据，客户端设备101、102、103通过网络104与主机服务器105交互，以交互日志数据等。客户端设备101、102、103上可以安装有各种日志记录应用和通信类应用。客户端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
41.主机服务器105可例如基于代理服务功能由客户端设备101、102、103获取业务日志；主机服务器105可例如基于代理服务功能将所述业务日志发送到分布式消息平台106；主机服务器105可例如基于所述分布式消息平台106将所述业务日志备份到分布式文件系统107中；主机服务器105可例如基于分布式流数据处理的方式对分布式文件系统107中的所述业务日志进行实时分析。
42.主机服务器105可例如获取任务插件和/或任务脚本；主机服务器105可例如基于所述任务插件和/或所述任务脚本对所述业务日志进行风险分析；主机服务器105可例如在风险分析结果满足预设策略时，生成警告信息。
43.主机服务器105可以是一个实体的服务器，还可例如为多个服务器组成，需要说明的是，本技术实施例所提供的业务日志的实时分析方法可以由主机服务器105、分布式消息平台106、分布式文件系统107共同执行，相应地，业务日志的实时分析装置可以设置于主机服务器105、分布式消息平台106、分布式文件系统107中。
44.目前市面上主流的日志收集方案有logstash、filebeat、fluentd、splunk等，现有技术通常都是要到需要采集的服务器上去单独配置，不便于统一管理。本技术的业务日志的实时分析方法，提供了一种基于主机的统一日志收集及分析的风险发现系统方案。主要包括如下内容：
45.1.通过安装在主机的agent进行主机日志收集、业务日志收集；
46.2.通过安装在主机的agent对主机进行管理、安全加固；
47.3.通过pulsar消息中间件进行高效日志传输与缓存，flink进行实时日志处理和分析，将实时结果存储在elasticsearch中报表展示，hdfs进行日志归档；
48.4.后端与agent进行主机管控与任务下发。
49.通过本技术的业务日志的实时分析方法，可快速针对已有业务搭建起一套日志收集及风险发现系统，通过后台集中管理日志并分析安全风险，解决了业务日志分散查询困
难的情况，同时仅需在业务主机安装agent即可自动抓取相关日志，大大减少了跨部门沟通的成本。同时，插件机制更加灵活，可以嵌入主机风险发现、基线扫描等自定义脚本等功能，用于主机加固、漏洞修复等。
50.下面结合具体的实施例对本技术的内容进行详细说明。
51.图2是根据一示例性实施例示出的一种业务日志的实时分析方法的流程图。业务日志的实时分析方法20至少包括步骤s202至s208。
52.如图2所示，在s202中，基于代理服务功能自动从多个业务日志客户端获取业务日志。确定扫描路径；基于代理服务功能和所述扫描路径从多个业务日志客户端获取日志数据；对所述日志数据初步处理生成所述业务日志。
53.在本技术的一个实施例中，业务日志可为记录用户行为的行为日志，还包括用户信息日志、用户操作日志等等。更具体的，用户在网站的行为信息可通过fiddler工具获取，fiddler工具以web代理服务器的形式进行工作的，客户端先将请求数据发送出去后，fiddler代理服务器会将数据包进行拦截，代理服务器再冒充客户端发送数据到服务器；同理，服务器将响应数据返回，代理服务器也会将数据拦截，再返回给客户端。通过fiddler可获取用户网络浏览的驻留时间、驻留页面，点击操作等等相关的浏览数据，通过上述信息生成业务日志。
54.在本技术的一个实施例中，业务日志还可为系统告警日志，可为网络风险告警日志、管理用户操作日志，业务系统功能日志、业务系统安全日志等等多种类型的日志。
55.在一个实施例中，代理服务功能可为agent功能，agent技术是一种处于一定环境下包装的计算机系统，为实现设计目的，能在该环境下灵活的，自主的活动。
56.常规的分布计算技术是基于经典的客户/服务器计算模型的，即将分布式应用分解为客户和服务器两大部分，服务器只有在接到客户的请求后方能提供服务。这些技术是在共享分布资源的应用背景下形成的，在解决新的分布式应用方面存在诸多局限性。为了解决这个问题，本技术中，在主机服务器端设置了agent功能，仅需在业务主机安装agent即可自动抓取相关日志，简化了原有的日志获取流程。
57.在s204中，基于代理服务功能将所述业务日志发送到分布式消息平台。
58.具体地，基于代理服务功能将所述业务日志发送到pulsar分布式消息平台。其中，pulsar用于存储事件数据流，事件数据结构由预定义字段组成。presto pulsar连接器支持presto集群中的presto worker查询pulsar数据。
59.在一个实施例中，业务日志按照其对应的业务系统，以pulsar中的主题形式分层分片形式存储在分布式消息平台中。每个主题分片会被复制到多个bookkeeper节点，可以支撑并发读和高吞吐。
60.agent将日志发送到pulsar中，由pulsar中间件进行日志的中转。不采用kafka的主要原因是pulsar在海量日志的情况下表现更优，扩容等操作更方便，并可通过层级存储将日志备份到分布式消息平台中。
61.在s206中，基于所述分布式消息平台将所述业务日志备份到分布式文件系统中。
62.所述分布式消息平台的中间件将所述业务日志备份到分布式文件系统中；所述分布式文件系统采用层级存储方式存储所述业务日志。
63.分布式文件系统可为hadoop分布式文件系统(hdfs)，在一个实施例中，hdfs采用
了主从(master/slave)结构模型，一个hdfs集群是由一个namenode和若干个datanode组成的。其中namenode作为主服务器，管理文件系统的命名空间和客户端对文件的访问操作；集群中的datanode管理存储的数据，不同的业务客户端的业务日志分别被存储在不同的datanode中，在datanode中，同一个业务客户端的不同日志类型被按照其对应的业务的层级分层存储。
64.在s208中，基于分布式流数据处理的方式对分布式文件系统中的所述业务日志进行实时分析。基于分布式流数据处理的方式并行读取所述业务日志；以流水线的方式对所述业务日志进行实时分析；在分析结果中包含异常日志时，将所述异常日志存储在实时搜索引擎中以进行报表展示。
65.分布式流数据处理的方式可基于apache flink实现，apache flink是开源流处理框架，是用java和scala编写的分布式流数据流引擎。flink以数据并行和流水线方式执行任意流数据程序，flink的流水线运行时系统可以执行批处理和流处理程序。此外，flink的运行时本身也支持迭代算法的执行。
66.更具体的，以流水线的方式对所述业务日志进行实时分析，包括：对所述业务日志进行规则匹配；和/或对所述业务日志进行操作频率统计；和/或基于机器学习模型对所述业务日志进行异常分析。
67.利用flink对日志进行日志分析，主要利用规则匹配，频率分析，神经网络的方式进行实时分析，发现异常日志，并将结果写入elasticsearch实时搜索引擎，elasticsearch可同时保存6个月的业务日志供人工分析。
68.根据本技术的业务日志的实时分析方法，通过基于代理服务功能自动从多个业务日志客户端获取业务日志；基于代理服务功能将所述业务日志发送到分布式消息平台；基于所述分布式消息平台将所述业务日志备份到分布式文件系统中；基于分布式流数据处理的方式对分布式文件系统中的所述业务日志进行实时分析的方式，能够解决日志收集中的手工配置问题，并通过集中管控系统，解决了业务日志分散查询困难的情况；对不规范和混乱的日志进行集中存储归档和分析，提高业务处理性能，减少沟通的成本。
69.应清楚地理解，本技术描述了如何形成和使用特定示例，但本技术的原理不限于这些示例的任何细节。相反，基于本技术公开的内容的教导，这些原理能够应用于许多其它实施例。
70.图3是根据另一示例性实施例示出的一种业务日志的实时分析方法的流程图。图3所示的流程30是对图2所示的流程的补充描述。
71.如图3所示，在s302中，获取任务插件和/或任务脚本。插件是一种遵循一定规范的应用程序接口编写出来的程序。其只能运行在程序规定的系统平台下，而不能脱离指定的平台单独运行。因为插件需要调用原纯净系统提供的函数库或者数据。很多软件都有插件，插件有无数种。例如在ie中，在本技术中，在管理用户处的客户端安装相关的插件后，管理用户可通过web浏览器能够直接调用插件程序，用于设置特定的风险分析任务。
72.脚本语言又被称为扩建的语言,或者动态语言,是一种编程语言,用来控制软件应用程序,脚本通常是以文本(ascⅱ)保存,用户可调用脚本，在脚本中输入风险分析任务的参数和目标，然后编译执行。
73.在s304中，基于所述任务插件和/或所述任务脚本对所述业务日志进行风险分析。
基于任务插件或者任务脚本逐一读取对应的业务日志，并通过统计、机器学习模型等各个手段对其进行分析。
74.在s306中，在风险分析结果满足预设策略时，生成警告信息。
75.更具体的，可通过agent功能为管理员提供插件功能，可通过管理后端进行任务下发相关任务插件及脚本，从而可以与告警信息联动进行风险阻断。
76.图4是根据另一示例性实施例示出的一种业务日志的实时分析方法的流程图。图4所示的流程40是对图2所示的流程中s202“基于代理服务功能自动从多个业务日志客户端获取业务日志”的详细描述。
77.如图4所示，在s402中，确定扫描路径。基于代理服务功能对多个业务日志客户端的预设类型文件进行扫描；和/或基于代理服务功能对多个业务日志客户端的预设文件目录进行扫描；基于扫描结果提取所述扫描路径。
78.在业务系统建立初期，很多业务日志并没有考虑排查问题时的便利性，虽然业务的信息都进行了记录，生成了业务日志，但是，一旦出现了线上问题，排查起来特别麻烦，很多时候又不方便让用户重现问题，造成解决问题周期长甚至是无法解决问题；如果日志记录的好，可以根据关键字搜索得出一条调用链日志，顺着这个日志链条就可以看出程序的执行全过程了。
79.不同类型的业务日志被记录在不同的业务日志客户端，可基于对业务日志的全面扫描，获取不同类型的业务日志存储的路径。
80.在s404中，基于代理服务功能和所述扫描路径从多个业务日志客户端获取日志数据。可通过定时任务的形式，定时读取业务日志客户端中的日志数据。
81.在s406中，对所述日志数据初步处理生成所述业务日志。通过前置处理器对所述日志数据进行解压缩和/或日志编码；通过后置处理器对所述日志数据进行合并处理和/或信息提取和/或路径录入。
82.在一个实施例中，可基于gent遍历/proc/*/fd文件、扫描常见日志目录(如/var/log等)自动化分析日志路径，并通过前置处理器解压压缩格式日志、统一日志编码，后置处理器对日志进行初步加工，主要包括合并多行日志，提取日志时间，增加日志路径、对应机器ip、采集时间等内容。
83.值得一提的是，日志传输可通过kafka代替，日志规整化可通过logstash等组件代替，flink分析还可通过自研框架等实现。
84.根据本技术的业务日志的实时分析方法，可进行自动化日志路径采集：还可通过agent自动分析的方式采集日志，减少人工介入；可通过将日志收集和风险发现集成在一起，流式分析日志发现风险点；还可通过插件动态扩展agent功能。
85.本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由cpu执行的计算机程序。在该计算机程序被cpu执行时，执行本技术提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。
86.此外，需要注意的是，上述附图仅是根据本技术示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以在多个模块中同步或异步执行的。
87.下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
88.图5是根据一示例性实施例示出的一种业务日志的实时分析装置的框图。如图5所示，业务日志的实时分析装置50包括：日志模块502，发送模块504，备份模块506，分析模块508，告警模块510。
89.日志模块502用于基于代理服务功能自动从多个业务日志客户端获取业务日志；日志模块502还用于确定扫描路径；基于代理服务功能和所述扫描路径从多个业务日志客户端获取日志数据；对所述日志数据初步处理生成所述业务日志。
90.发送模块504用于基于代理服务功能将所述业务日志发送到分布式消息平台；发送模块504还用于基于代理服务功能将所述业务日志发送到pulsar分布式消息平台。
91.备份模块506用于基于所述分布式消息平台将所述业务日志备份到分布式文件系统中；备份模块506还用于所述分布式消息平台的中间件将所述业务日志备份到分布式文件系统中；所述分布式文件系统采用层级存储方式存储所述业务日志。
92.分析模块508用于基于分布式流数据处理的方式对分布式文件系统中的所述业务日志进行实时分析。分析模块508还用于基于分布式流数据处理的方式并行读取所述业务日志；以流水线的方式对所述业务日志进行实时分析；在分析结果中包含异常日志时，将所述异常日志存储在实时搜索引擎中以进行报表展示。
93.告警模块510用于获取任务插件和/或任务脚本；基于所述任务插件和/或所述任务脚本对所述业务日志进行风险分析；在风险分析结果满足预设策略时，生成警告信息。
94.根据本技术的业务日志的实时分析装置，通过基于代理服务功能自动从多个业务日志客户端获取业务日志；基于代理服务功能将所述业务日志发送到分布式消息平台；基于所述分布式消息平台将所述业务日志备份到分布式文件系统中；基于分布式流数据处理的方式对分布式文件系统中的所述业务日志进行实时分析的方式，能够解决日志收集中的手工配置问题，并通过集中管控系统，解决了业务日志分散查询困难的情况；对不规范和混乱的日志进行集中存储归档和分析，提高业务处理性能，减少沟通的成本。
95.图6是根据一示例性实施例示出的一种电子设备的框图。
96.下面参照图6来描述根据本技术的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
97.如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
98.其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书中的根据本技术各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图2，图3，图4中所示的步骤。
99.所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。
100.所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
101.总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
102.电子设备600也可以与一个或多个外部设备600’(例如键盘、指向设备、蓝牙设备等)通信，使得用户能与该电子设备600交互的设备通信，和/或该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
103.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，如图7所示，根据本技术实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本技术实施方式的上述方法。
104.所述软件产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
105.所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
106.可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
107.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：基于代理服务功能自动从多个业务
日志客户端获取业务日志；基于代理服务功能将所述业务日志发送到分布式消息平台；基于所述分布式消息平台将所述业务日志备份到分布式文件系统中；基于分布式流数据处理的方式对分布式文件系统中的所述业务日志进行实时分析。得该计算机可读介质还可实现如下功能：获取任务插件和/或任务脚本；基于所述任务插件和/或所述任务脚本对所述业务日志进行风险分析；在风险分析结果满足预设策略时，生成警告信息。
108.本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
109.通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本技术实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本技术实施例的方法。
110.以上具体地示出和描述了本技术的示例性实施例。应可理解的是，本技术不限于这里描述的详细结构、设置方式或实现方法；相反，本技术意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。