智能监控系统及业务指标的监控方法
【专利摘要】本发明涉及智能监控系统及业务指标的监控方法，该系统中调度模块用于在接收到采集模块发送的分配请求后，为该采集模块分配服务模块；采集模块用于发送分配请求，及与分配的服务模块建立连接，且采集日志文件，将采集到的日志文件发送给服务模块；服务模块用于在接收到日志文件后，基于预置的日志过滤及计算规则对日志文件进行处理，得到目标日志信息并发送给处理模块；处理模块用于接收多个服务模块发送的目标日志信息，并基于预置的业务指标配置规则对接收到的目标日志信息进行汇总计算，以确定各业务指标的值，实现对各业务指标的监控。本发明还提供一种业务指标监控方法，使得能够对多个主机上的日志文件进行统一处理，有效实现对业务指标的监控。
【专利说明】
智能监控系统及业务指标的监控方法
技术领域
[0001]本发明涉及计算机通信领域，尤其涉及智能监控系统及业务指标的监控方法。
【背景技术】
[0002]业务指标监控是运维监控体系的重要部分，且业务指标是业务运行情况的最直观体现，通过对业务指标进行监控，能够有效的确定各项业务的运行情况。其中，业务指标可以是某个产品开户交易的每分钟交易量、业务交易成功率等等。
[0003]目前，在银行系统中，一笔业务交易往往需要经过多个系统的众多子系统的协同处理才能最终完成，然而由于该多个系统的众多子系统是分布在多台主机上，且该多台主机互相独立，无法实现有效的业务指标监控。
[0004]上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
【发明内容】
[0005]本发明的主要目的在于提供一种智能监控系统，旨在解决现有技术中由于众多子系统分布在多台主机上，且该多台主机互相独立，无法实现有效的业务指标监控的技术问题。
[0006]为实现上述目的，本发明提供的一种智能监控系统，所述智能监控系统包括:
[0007]多个采集模块、多个服务模块、调度模块及处理模块；
[0008]所述多个采集模块分别部署在多个主机上，所述多个服务模块均与所述处理模块连接；
[0009]所述调度模块用于在接收到所述采集模块发送的分配请求后，基于所述多个服务模块的负载信息选择一个服务模块，将选择的服务模块分配给所述采集模块；
[0010]所述采集模块用于发送所述分配请求，及与分配的服务模块建立连接，在建立连接后，采集日志文件，并将采集到的日志文件发送给与其连接的服务模块；
[0011 ]所述服务模块用于在接收到日志文件后，基于预置的日志过滤及计算规则对所述日志文件进行处理，得到目标日志信息，将所述目标日志信息发送给所述处理模块；
[0012]所述处理模块用于接收所述多个服务模块发送的目标日志信息，并基于预置的业务指标配置规则对接收到的目标日志信息进行汇总计算，以确定各业务指标的值，实现对各业务指标的监控。
[0013]优选地，所述智能监控系统还包括阀值检测模块；
[0014]所述阀值检测模块用于基于预先设置的业务指标阀值对所述处理模块得到的各业务指标的值进行检测，以确定是否需要进行告警。
[0015]优选地，所述智能监控系统还包括配置模块，所述配置模块用于自定义配置所述智能监控系统的配置信息；所述配置信息包括所述日志过滤及计算规则、所述业务指标配置规则、及所述业务指标阀值。
[0016]优选地，所述智能监控系统还包括:缓存模块；
[0017]所述缓存模块用于缓存所述配置模块自定义配置的所述配置信息，及用于缓存预置时间段内所述服务模块的状态数据。
[0018]优选地，所述服务模块还用于将其负载信息发送给所述调度模块，使得所述调度模块基于所述服务模块的负载信息确定分配所述服务模块的策略。
[0019]优选地，所述智能监控系统还包括:
[0020]转发模块，用于接收所述服务模块发送的日志文件，并将接收到的日志文件转发至其他设备。
[0021]为了解决上述问题，本发明还提供一种业务指标的监控方法，该方法应用于上述的系统，所述方法包括:
[0022]所述采集模块向所述调度模块发送分配请求；
[0023]所述调度模块接收到所述分配请求后，基于所述多个服务模块的负载信息选择一个服务模块，将选择的服务模块分配给所述采集模块；
[0024]所述采集模块建立与分配的服务模块之间的连接，在建立连接后，采集日志文件，将采集到的日志文件发送给与其连接的服务模块；
[0025]所述服务模块接收到所述日志文件后，基于预置的日志过滤及计算规则对所述日志文件进行处理，得到目标日志信息，将所述目标日志信息发送给所述处理模块；
[0026]所述处理模块基于预置的业务指标配置规则对接收到的目标日志信息进行汇总计算，以确定各业务指标的值，实现对各业务指标的监控。
[0027]优选地，所述方法还包括:
[0028]在所述处理模块确定各业务指标的值之后，阀值检测模块基于预先设置的业务指标阀值对所述各业务指标的值进行检测，以确定是否需要进行告警。
[0029]优选地，所述方法还包括:
[0030]配置模块自定义配置所述智能监控系统的配置信息，所述配置信息包括所述日志过滤及计算规则、所述业务指标配置规则、及所述业务指标阀值。
[0031]优选地，所述方法还包括:
[0032]所述服务模块接收到所述日志文件之后，将所述日志文件发送给所述转发模块，由所述转发模块将所述日志文件转发至其他设备。
[0033]本发明提供一种智能监控系统(Intelligent Monitor System，IMS)，该智能监控系统包括:多个采集模块、多个服务模块、调度模块及处理模块，该多个采集模块分别部署在多个主机上，该多个服务模块均与处理模块连接，其中，该调度模块用于在接收到采集模块发送的分配请求后，基于该多个服务模块的负载信息选择一个服务模块，将选择的服务模块分配给发送分配请求的采集模块，该采集模块用于在发送分配请求后，与分配的服务模块建立连接，在建立连接后，采集日志文件，并将采集到的日志文件发送给与其连接的服务模块，该服务模块用于在接收到日志文件之后，基于预置的日志过滤及计算规则对所述日志文件进行处理，得到目标日志信息，将该目标日志信息发送给处理模块，该处理模块用于接收上述多个服务模块发送的目标日志信息，并基于预置的业务指标配置规则对所有接收到的目标日志信息进行汇总计算，以确定各业务指标的值，实现对各业务指标的监控。在该智能监控系统中，由于将处理模块与多个服务模块连接，及多个采集模块分别部署在多个主机上，且采集模块采集的日志文件都将在与其连接的服务模块处理后发送给处理模块，使得处理模块能够对多个主机上的日志文件进行统一处理，有效实现对业务指标的监控，且由于调度模块能够基于该多个服务模块的负载信息为采集模块分配连接的服务模块，使得能够有效的实现基于服务模块的分布式日志文件采集及负载均衡。
【附图说明】
[0034]图1为本发明第一实施例中智能监控系统的结构图；
[0035]图2为本发明第二实施例中智能监控系统的结构图；
[0036]图3为本发明第三实施例中智能监控方法的流程示意图；
[0037]图4为本发明第四实施例中智能监控方法的流程示意图。
[0038]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0039]应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0040]由于现有技术中众多子系统分布在多台主机上，且该多台主机互相独立，无法实现有效的业务指标监控的技术问题。
[0041]为解决上述问题，本发明提出一种智能监控系统，在该智能监控系统中，由于将处理模块与多个服务模块连接，及多个采集模块分别部署在多个主机上，且采集模块采集的日志文件都将在与其连接的服务模块处理后发送给处理模块，使得处理模块能够对多个主机上的日志文件进行统一处理，有效实现对业务指标的监控，且由于调度模块能够基于该多个服务模块的负载信息为采集模块分配连接的服务模块，使得能够有效的实现基于服务模块的分布式日志文件采集及负载均衡。
[0042]请参阅图1，为本发明第一实施例中智能监控系统的结构图，该智能监控系统包括:多个采集模块101、多个服务模块102、调度模块103及处理模块104;
[0043]所述多个采集模块101分别部署在多个主机上，所述多个服务模块102均与所述处理模块104连接；
[0044]所述调度模块103用于在接收到所述采集模块101发送的分配请求后，基于所述多个服务模块102的负载信息选择一个服务模块102，将选择的服务模块102分配给所述采集模块101;
[0045]所述采集模块101用于发送所述分配请求，及与分配的服务模块102建立连接，在建立连接后，采集日志文件，并将采集到的日志文件发送给与其连接的服务模块102;
[0046]所述服务模块102用于在接收到日志文件后，基于预置的日志过滤及计算规则对所述日志文件进行处理，得到目标日志信息，将所述目标日志信息发送给所述处理模块104；
[0047]所述处理模块104用于接收所述多个服务模块102发送的目标日志信息，并基于预置的业务指标配置规则对接收到的目标日志信息进行汇总计算，以确定各业务指标的值，实现对各业务指标的监控。
[0048]在本发明实施例中，图1中仅以设置四个采集模块101及两个服务模块102为例，在实际应用中，可根据具体的需要设置采集模块101及服务模块102的个数，此处并不做限定。且在图1中，实线连接表示可以传输数据，虚线连接表示可以传输请求、指令及读取配置参数等。
[0049]在本发明实施例中，通过设置智能监控系统，使得能够获取多台主机上的日志文件，以实现对业务指标的监控，具体的，在该智能监控系统中，由于将处理模块104与多个服务模块102连接，及多个采集模块101分别部署在多个主机上，且采集模块101采集的日志文件都将在与其连接的服务模块102处理后发送给处理模块104，使得处理模块104能够对多个主机上的日志文件进行统一处理，有效实现对业务指标的监控。此外，由于调度模块103能够基于该多个服务模块102的负载信息为采集模块101分配连接的服务模块102，使得能够有效的实现基于服务模块102的分布式日志文件采集及负载均衡。
[0050]基于图1所示第一实施例，请参阅图2，为本发明第二实施例中智能监控系统的结构图，该智能监控系统包含如图1所示第一实施例中的采集模块101、服务模块102、调度模块103及处理模块104。且与图1所示第一实施例中描述的内容相似，此处不做赘述。
[0051 ]在本发明实施例中，所述智能监控系统还包括阀值检测模块105;所述阀值检测模块105用于在所述基于预先设置的业务指标阀值对所述处理模块104得到的各业务指标的值进行检测，以确定是否需要进行告警。
[0052]所述智能监控系统还包括配置模块106，所述配置模块106用于自定义配置所述智能监控系统的配置信息；所述配置信息包括所述日志过滤及计算规则、所述业务指标配置规则、及所述业务指标阀值。
[0053]所述智能监控系统还包括:缓存模块107;所述缓存模块107用于缓存所述配置模块106自定义配置的所述配置信息，及用于缓存预置时间段内所述服务模块102的状态数据。
[0054]在本发明实施例中，所述服务模块102还用于将其负载信息发送给所述调度模块103，使得所述调度模块103基于所述服务模块102的负载信息确定分配所述服务模块102的策略。
[0055]在本发明实施例中，所述智能监控系统还包括:
[0056]转发模块108，用于接收所述服务模块102发送的日志文件，并将接收到的日志文件转发至其他设备。
[0057]为了更好地理解本发明实施例中的技术方案，下面将分别对该智能监控系统中的各个模块的连接关系及实现的功能进行详细的介绍。
[0058]在本发明实施例中，配置模块106用于对该智能监控系统进行自定义配置，是支持多系统自定义指标计算规则的核心，且操作人员可以在智能监控系统的web界面上通过调用该配置模块106实现对智能监控系统的配置信息的自定义配置。其中，该配置信息包括服务模块102使用的日志过滤及计算规则、处理模块104使用的业务指标配置规则、及阀值检测模块105使用的业务指标阀值。可以理解的是，若未调用配置模块106进行配置，智能监控系统在进行业务指标进行监控时，可以采用默认的配置信息。
[0059]I)日志过滤及计算规则
[0060]上述日志过滤及计算规则包括日志文件配置、日志文件字段定义配置、及业务指标计算公式配置。
[0061]在本发明实施例中，各个子系统可以参考银行业界已有的《日志管理规范》，通过标准的日志格式输出每笔交易记录，其中，日志格式如下:
[0062][日志级别][时间戳][线程号][模块名称][业务流水号][系统流水号][LOG-POINT][统计文本][消息文本]
[0063]其中，统计文本中输出一笔交易的交易码、返回码、耗时、渠道号、合作伙伴、返回状态等，智能监控系统基于该统计文本中包含的数据内容计算和汇总各业务场景的交易量、成功率等业务指标。
[0064]其中，日志文件配置是以子系统为单位，每个子系统可以配置一个或多个日志文件，并为每个日志文件单独配置过滤规则，符合过滤规则的日志信息将被过滤出。
[0065]由于不同业务的过滤得到的日志信息不同，包含的有效信息也不同，因此，对日志文件字段的定义配置包括以下几类:
[0066]交易码:可以用来区分一个日志文件属于哪一个业务指标；
[0067]返回码:用来记录业务交易流水是否成功，且该返回码还可以细分为包括系统返回码及业务返回码。通过返回码可以计算出成功量、失败量、系统和业务成功率、失败率等业务指标；
[0068]耗时:此类字段用于表示一条业务流水请求服务所消耗的时间。
[0069]需要说明的是，配置日志文件中的字段定义后，日志文件中只有配置了字段的信息才会被过滤出来。
[0070]其中，业务指标计算公式配置主要是对服务模块102在基于上述的日志文件配置及日志文件字段定义实现日志信息的过滤之后，所需要使用到的业务指标计算公式进行配置，该业务指标计算公式是一个类SQL的模板，模板中的变量包含“交易码” “返回码” “耗时”等字段，在计算业务指标时，模板会被实例化，以得到目标日志信息。
[0071]需要说明的是，业务指标计算公式有一个缺省的通用模板，通常不需要修改业务指标计算的公式，但是对于一些比较特殊的场景，比如“交易码”又细分为“请求交易码”和“响应交易码”，此时需要对于业务指标计算公式进行适当的调整，且可以理解的是，调整的方式为现有技术，此处不做赘述。
[0072]在本发明实施例中，服务模块102基于上述的日志过滤及计算规则对接收到的日志文件进行处理，得到目标日志信息。
[0073]2)业务指标配置规则
[0074]在本发明实施例中，业务指标配置规则具体包括业务指标配置及业务指标汇总。
[0075]其中，业务指标配置主要包含配置业务指标的名称、需要计算的属性值，以及区分业务指标的交易码和返回码的配置。
[0076]其中，交易码是从日志文件中过滤出来的，由一个字段或多个字段组成，即从日志文件中通过这个交易码字段可以区分出一个业务指标。如:serviceld= “B00001”且scenld=“001”表示“账户信息查询”指标。
[0077]其中，返回码是从日志文件中过滤出来的，用于判断一个交易是否成功，如sysret=“0000”表示系统成功，sySret= “0001”表示系统失败，r= “0000”表示业务成功，r =“0001”表示业务失败。
[0078]在本发明实施例中，业务指标汇总是指配置业务指标汇总的维度，该维度可以是空间维度，也可以是业务分类和场景维度，且可以同时配置空间维度、及业务分类和场景维度。
[0079]其中，空间维度是指以数据中心节点(Data Center Node，DCN)或整个系统为维度，将同一业务指标汇总。
[0080]其中，业务分类和场景维度是指按业务所属的分类和场景进行业务指标汇总，例如:金融、非金融;查询、开户、存款、借款等。
[0081 ] 3)业务指标阀值
[0082]配置业务指标阀值主要是便于对处理模块104得到的业务指标进行判断，以确定是否需要告警，即该业务指标阀值是告警阀值，该业务指标阀值可以设置为组合阀值，即包含两个以上的判断条件，例如:若交易量小于10且成功率小于80%时进行告警。且该业务指标阀值还可以设置为同环比阀值，例如:对于同一个业务指标，比较该业务指标在预置的7个时间周期内的业务指标的平均值，并与当前得到的该业务指标的值进行比较，若满足预设条件，则进行告警。
[0083]可以理解的是，由于在智能监控系统中可以配置业务指标阀值以确定是否告警，因此，还可以进行告警配置，以配置告警的具体方式，如web页面的突出显示、播放告警音乐、将告警信息发送给指定邮箱等等。
[0084]需要说明的是，为了更好的对业务指标进行监控，避免对不需要的日志文件的采集，还可以基于配置模块106实现主机和业务子系统对应关系的配置。在进行主机和业务子系统对应关系的配置时，主要是根据业务子系统的负载及业务子系统的负载均衡策略将该子系统部署到一台或多台主机上，子系统中的每一台主机都可以作为该子系统的节点，且将配置每一个节点与指定类型的日志文件的关联，使得部署在该主机上的采集模块101，仅对已经关联的指定类型的日志文件进行采集，并将采集到的日志文件发送给与该采集模块1I连接的服务模块102，使得能够有效的实现特定日志文件的采集。
[0085]以上即为对配置模块106的介绍，通过使用配置模块106对智能监控系统进行配置，使得能够支持不同业务场景的不同系统自定义配置，从而能够灵活的对业务指标进行配置。
[0086]在本发明实施例中，采集模块101部署在主机上，且若需要对该主机上的日志文件进行监控，采集模块101将向调度模块103发送分配请求，以请求分配服务模块102。
[0087]其中，调度模块103用于在接收到采集模块101发送的分配请求后，基于该多个服务模块102的负载信息选择一个服务模块102，将该选择的服务模块102分配给发送分配请求的采集模块101。
[0088]其中，该多个服务模块102会定时或者实时向调度模块103上报其负载信息，使得调度模块103能够获取到智能监控系统中多个服务模块102的负载信息，并在接收到任意一个采集模块101的分配请求时，基于多个服务模块102的负载信息为该采集模块101分配服务模块102，其中，调度模块103在分配服务模块102时，是将负载最小的服务模块102分配给采集模块101，且将该负载最小的服务模块102的连接地址发送给采集模块101。
[0089]采集模块101在接收到调度模块103分配的服务模块102的连接地址之后，将按照该连接地址向分配的服务模块1 2发送连接请求，建立与分配的服务模块1 2之间的连接。其中，一个服务模块102可以与多个采集模块101连接，且服务模块102与采集模块101建立的是socket通讯连接。
[0090]可以理解的是，若已经基于配置模块106配置了部署该采集模块101的主机，则该采集模块101在建立与服务模块102之间的连接之后，将向调度模块103发送采集类型请求消息，调度模块103在接收到该采集类型请求消息之后，将从缓存模块107中查找已缓存的该主机所需的日志文件目录和名称，并将该所需的日志文件目录和名称反馈给该采集模块101，其中，包含与该主机关联的日志文件的指定类型，采集模块101将采集该指定类型的日志文件，并将采集到的日志文件发送给与其连接的服务模块102。
[0091 ]通过部署在主机上的采集模块101采集日志文件，使得能够有效实现日志文件的米集。
[0092]在本发明实施例中，智能监控系统中部署有多个服务模块102，通过分布式部署方式，便于进行服务模块102的扩展及满足系统的使用需求，使得能够通过多个服务模块102协同合作完成对日志文件的处理。
[0093]在本发明实施例中，对于智能监控系统中的任意一个服务模块102，在建立与采集模块101之间的连接之后，将接收该采集模块101发送的日志文件，并基于配置模块106配置的日志过滤及计算规则对接收到的日志文件进行处理，得到目标日志信息，将目标日志信息发送给处理模块104。
[0094]其中，基于日志过滤及计算规则对接收到的日志文件进行处理具体包括:利用日志文件配置过滤出日志信息，并基于日志文件字段定义过滤出所需要的有效信息，并将该有效信息缓存在服务模块102上，此外，该服务模块102还将定时利用配置的业务指标计算公式对该有效信息进行处理，将处理后的数据即目标日志信息发送给处理模块104。
[0095]可以理解的是，为了便于调度模块103进行调度，各服务模块102将实时或者定时将自身的负载信息发送给调度模块103，使得调度模块103能够基于各服务模块102的负载信息确定负载最小的服务模块102，保证发送请求的采集模块101总能够连接到负载最小的服务t吴块102。
[0096]可以理解的是，若一个服务模块102在处理的过程中出现故障，该服务模块102与采集模块101之间的连接将断开，该采集模块101将再次向调度模块103发送分配请求，以请求分配服务模块102，调度模块103在接收到该分配请求之后，将为该采集模块101重新分配一个服务模块102，使得能够将出现故障的服务模块102的任务转移到其他服务模块102上，保证业务指标监控的健壮性及稳定性。此外，调度模块还将各服务模块的是否能够提供正常服务的信息存储在缓存模块107中，其中服务模块102能够提供正常的服务的信息属于服务模块的状态数据，且该状态数据还包括缓存的各服务模块102的负载信息。
[0097]可以理解的是，智能监控系统中的服务模块102还可以将接收到的日志文件发送给外部设备，使得外部设备能够将接收到的日志文件作为数据源进行处理。
[0098]在本发明实施例中，处理模块104能够接收到智能监控系统中所有服务模块102发送的目标日志信息，且基于预置的业务指标配置规则对接收到的目标日志信息进行汇总计算，以确定各业务指标的值，实现对业务指标的监控。
[0099]通过上述的采集模块101、服务模块102及处理模块104，能够有效的实现对分布式部署的业务系统日志文件的采集、计算及汇总，使得能够有效的实现业务指标监控。
[0100]在本发明实施例中，处理模块104在得到各业务指标的值之后，将该各业务指标的值发送给阀值检测模块105，阀值检测模块105将基于预先设置的业务指标阀值对该各业务指标的值进行检测，以确定是否需要告警。
[0101]且需要说明的是，处理模块104在进行阀值检测时使用的业务指标阀值可以是组合阀值也可以是同环比阀值。
[0102]在本发明实施例中，通过在智能监控系统中设置配置模块106，使得智能监控系统能够支持不同业务场景的不同自定义配置，从而能够灵活的对业务指标进行配置。且通过设置采集模块101、服务模块102及处理模块104，使得能够有效的实现对日志文件的采集、计算及汇总，实现对业务指标的监控。此外，通过在智能监控系统中设置阀值检测模块105，使得能够基于监控得到的业务指标的值确定是否告警，有效提升系统的性能。
[0103]基于图1所示的第一实施例及图2所示的第二实施例，下面将介绍本发明中的业务指标监控方法，请参阅图3，为本发明第三实施例中业务指标监控方法的流程示意图，该业务指标监控方法包括:
[0104]步骤301、所述采集模块101向所述调度模块103发送分配请求；
[0105]步骤302、所述调度模块103接收到所述分配请求后，基于所述多个服务模块102的负载信息选择一个服务模块102，将选择的服务模块102分配给所述采集模块101;
[0106]步骤303、所述采集模块101建立与分配的服务模块102之间的连接，在建立连接后，采集日志文件，将采集到的日志文件发送给与其连接的服务模块102;
[0107]步骤304、所述服务模块102接收到所述日志文件后，基于预置的日志过滤及计算规则对所述日志文件进行处理，得到目标日志信息，将所述目标日志信息发送给所述处理模块104;
[0108]步骤305、所述处理模块104基于预置的业务指标配置规则对接收到的目标日志信息进行汇总计算，以确定各业务指标的值，实现对各业务指标的监控。
[0109]在本发明实施例中，通过设置智能监控系统，使得能够获取多台主机上的日志文件，以实现对业务指标的监控，具体的，在该智能监控系统中，由于将处理模块104与多个服务模块102连接，及多个采集模块101分别部署在多个主机上，且采集模块101采集的日志文件都将在与其连接的服务模块102处理后发送给处理模块104，使得处理模块104能够对多个主机上的日志文件进行统一处理，有效实现对业务指标的监控。此外，由于调度模块103能够基于该多个服务模块102的负载信息为采集模块101分配连接的服务模块102，使得能够有效的实现基于服务模块102的分布式日志文件采集及负载均衡。
[0110]基于图3所示的第三实施例，请参阅图4，为本发明第四实施例中的业务指标监控方法的流程示意图，该业务指标监控方法包括:
[0111]步骤401、所述采集模块101向所述调度模块103发送分配请求；
[0112]在本发明实施例中，在执行步骤401之前，需要由配置模块106对智能监控系统进行配置，其中配置模块106用于对该智能监控系统进行自定义配置，是支持多系统自定义指标计算规则的核心，且操作人员可以在智能监控系统的web界面上通过调用该配置模块106实现对智能监控系统的配置信息的自定义配置。其中，该配置信息包括服务模块102使用的日志过滤及计算规则、处理模块104使用的业务指标配置规则、及阀值检测模块105使用的业务指标阀值。
[0113]I)日志过滤及计算规则
[0114]上述日志过滤及计算规则包括日志文件配置、日志文件字段定义配置、及业务指标计算公式配置。
[0115]在本发明实施例中，各个子系统可以参考银行业界已有的《日志管理规范》，通过标准的日志格式输出每笔交易记录，其中，日志格式如下:
[0116][日志级别][时间戳][线程号][模块名称][业务流水号][系统流水号][L0G-Ρ0ΙΝΤ][统计文本][消息文本]
[0117]其中，统计文本中输出一笔交易的交易码、返回码、耗时、渠道号、合作伙伴、返回状态等，智能监控系统基于该统计文本中包含的数据内容计算和汇总各业务场景的交易量、成功率等业务指标。
[0118]其中，日志文件配置是以子系统为单位，每个子系统可以配置一个或多个日志文件，并为每个日志文件单独配置过滤规则，符合过滤规则的日志信息将被过滤出。
[0119]由于不同业务的过滤得到的日志信息不同，包含的有效信息也不同，因此，对日志文件字段的定义配置包括以下几类:
[0120]交易码:可以用来区分一个日志文件属于哪一个业务指标；
[0121]返回码:用来记录业务交易流水是否成功，且该返回码还可以细分为包括系统返回码及业务返回码。通过返回码可以计算出成功量、失败量、系统和业务成功率、失败率等业务指标；
[0122]耗时:此类字段用于表示一条业务流水请求服务所消耗的时间。
[0123]需要说明的是，配置日志文件中的字段定义后，日志文件中只有配置了字段的信息才会被过滤出来。
[0124]其中，业务指标计算公式配置主要是对服务模块102在基于上述的日志文件配置及日志文件字段定义实现日志信息的过滤之后，所需要使用到的业务指标计算公式进行配置，该业务指标计算公式是一个类SQL的模板，模板中的变量包含“交易码” “返回码” “耗时”等字段，在计算业务指标时，模板会被实例化，以得到目标日志信息。
[0125]需要说明的是，业务指标计算公式有一个缺省的通用模板，通常不需要修改业务指标计算的公式，但是对于一些比较特殊的场景，比如“交易码”又细分为“请求交易码”和“响应交易码”，此时需要对于业务指标计算公式进行适当的调整，且可以理解的是，调整的方式为现有技术，此处不做赘述。
[0126]在本发明实施例中，服务模块102基于上述的日志过滤及计算规则对接收到的日志文件进行处理，得到目标日志信息。
[0127]2)业务指标配置规则
[0128]在本发明实施例中，业务指标配置规则具体包括业务指标配置及业务指标汇总。
[0129]其中，业务指标配置主要包含配置业务指标的名称、需要计算的属性值，以及区分业务指标的交易码和返回码的配置。
[0130]其中，交易码是从日志文件中过滤出来的，由一个字段或多个字段组成，即从日志文件中通过这个交易码字段可以区分出一个业务指标。如:serviceld= “B00001”且scenld=“001”表示“账户信息查询”指标。
[0131]其中，返回码是从日志文件中过滤出来的，用于判断一个交易是否成功，如sysret=“0000”表示系统成功，sySret= “0001”表示系统失败，r= “0000”表示业务成功，r =“0001”表示业务失败。
[0132]在本发明实施例中，业务指标汇总是指配置业务指标汇总的维度，该维度可以是空间维度，也可以是业务分类和场景维度，且可以同时配置空间维度、及业务分类和场景维度。
[0133]其中，空间维度是指以DCN或整个系统为维度，将同一业务指标汇总。
[0134]其中，业务分类和场景维度是指按业务所属的分类和场景进行业务指标汇总，例如:金融、非金融;查询、开户、存款、借款等。
[0135]3)业务指标阀值
[0136]配置业务指标阀值主要是便于对处理模块104得到的业务指标进行判断，以确定是否需要告警，即该业务指标阀值是告警阀值，该业务指标阀值可以设置为组合阀值，即包含两个以上的判断条件，例如:若交易量小于10且成功率小于80%时进行告警。且该业务指标阀值还可以设置为同环比阀值，例如:对于同一个业务指标，比较该业务指标在预置的7个时间周期内的业务指标的平均值，并与当前得到的该业务指标的值进行比较，若满足预设条件，则进行告警。
[0137]可以理解的是，由于在智能监控系统中可以配置业务指标阀值以确定是否告警，因此，还可以进行告警配置，以配置告警的具体方式，如web页面的突出显示、播放告警音乐、将告警信息发送给指定邮箱等等。
[0138]需要说明的是，为了更好的对业务指标进行监控，避免对不需要的日志文件的采集，还可以基于配置模块106实现主机和业务子系统对应关系的配置。在进行主机和业务子系统对应关系的配置时，主要是根据业务子系统的负载及业务子系统的负载均衡策略将该子系统部署到一台或多台主机上，子系统中的每一台主机都可以作为该子系统的节点，且将配置每一个节点与指定类型的日志文件的关联，使得部署在该主机上的采集模块101，仅对已经关联的指定类型的日志文件进行采集，并将采集到的日志文件发送给与该采集模块1I连接的服务模块102，使得能够有效的实现特定日志文件的采集。
[0139]以上即为对配置模块106的介绍，通过使用配置模块106对智能监控系统进行配置，使得能够支持不同业务场景的不同系统自定义配置，从而能够灵活的对业务指标进行配置。
[0140]在本发明实施例中，采集模块101部署在主机上，且若需要对该主机上的日志文件进行监控，采集模块101将向调度模块103发送分配请求，以请求分配服务模块102。
[0141]步骤402、所述调度模块103接收到所述分配请求后，基于所述多个服务模块102的负载信息选择一个服务模块102，将选择的服务模块102分配给所述采集模块101;
[0142]在本发明实施例中，调度模块103在接收到采集模块101发送的分配请求后，基于该多个服务模块102的负载信息选择一个服务模块102，将该选择的服务模块102分配给发送分配请求的采集模块101。
[0143]其中，该多个服务模块102会定时或者实时向调度模块103上报其负载信息，使得调度模块103能够获取到智能监控系统中多个服务模块102的负载信息，并在接收到任意一个采集模块101的分配请求时，基于多个服务模块102的负载信息为该采集模块101分配服务模块102，其中，调度模块103在分配服务模块102时，是将负载最小的服务模块102分配给采集模块101，且将该负载最小的服务模块102的连接地址发送给采集模块101。
[0144]步骤403、所述采集模块101建立与分配的服务模块102之间的连接，在建立连接后，采集日志文件，将采集到的日志文件发送给与其连接的服务模块102;执行步骤404及步骤405;
[0145]采集模块101在接收到调度模块103分配的服务模块102的连接地址之后，将按照该连接地址向分配的服务模块1 2发送连接请求，建立与分配的服务模块1 2之间的连接。其中，一个服务模块102可以与多个采集模块101连接，且服务模块102与采集模块101建立的是socket通讯连接。
[0146]可以理解的是，若已经基于配置模块106配置了部署该采集模块101的主机，则该采集模块101在建立与服务模块102之间的连接之后，将向调度模块103发送采集类型请求消息，调度模块103在接收到该采集类型请求消息之后，将从缓存模块107中查找已缓存的该主机所需的日志文件目录和名称，并将该所需的日志文件目录和名称反馈给该采集模块101，其中，包含与该主机关联的日志文件的指定类型，采集模块101将采集该指定类型的日志文件，并将采集到的日志文件发送给与其连接的服务模块102。
[0147]通过部署在主机上的采集模块101采集日志文件，使得能够有效实现日志文件的米集。
[0148]步骤404、所述服务模块102接收到所述日志文件之后，将所述日志文件发送给所述转发模块108，由所述转发模块108将所述日志文件转发至其他设备；
[0149]步骤405、所述服务模块102接收到所述日志文件后，基于预置的日志过滤及计算规则对所述日志文件进行处理，得到目标日志信息，将所述目标日志信息发送给所述处理模块104 ；继续执行步骤406 ；
[0150]步骤406、所述处理模块104基于预置的业务指标配置规则对接收到的目标日志信息进行汇总计算，以确定各业务指标的值，实现对各业务指标的监控；
[0151]在本发明实施例中，智能监控系统中部署有多个服务模块102，通过分布式部署方式，便于进行服务模块102的扩展及满足系统的使用需求，使得能够通过多个服务模块102协同合作完成对日志文件的处理。
[0152]在本发明实施例中，对于智能监控系统中的任意一个服务模块102，在建立与采集模块101之间的连接之后，将接收该采集模块101发送的日志文件，并基于配置模块106配置的日志过滤及计算规则对接收到的日志文件进行处理，得到目标日志信息，将目标日志信息发送给处理模块104。
[0153]其中，基于日志过滤及计算规则对接收到的日志文件进行处理具体包括:利用日志文件配置过滤出日志信息，并基于日志文件字段定义过滤出所需要的有效信息，并将该有效信息缓存在服务模块102上，此外，该服务模块102还将定时利用配置的业务指标计算公式对该有效信息进行处理，将处理后的数据即目标日志信息发送给处理模块104。
[0154]可以理解的是，为了便于调度模块103进行调度，各服务模块102将实时或者定时将自身的负载信息发送给调度模块103，使得调度模块103能够基于各服务模块102的负载信息确定负载最小的服务模块102，保证发送请求的采集模块101总能够连接到负载最小的服务t吴块102。
[0155]可以理解的是，若一个服务模块102在处理的过程中出现故障，该服务模块102与采集模块101之间的连接将断开，该采集模块101将再次向调度模块103发送分配请求，以请求分配服务模块102，调度模块103在接收到该分配请求之后，将为该采集模块101重新分配一个服务模块102，使得能够将出现故障的服务模块102的任务转移到其他服务模块102上，保证业务指标监控的健壮性及稳定性。
[0156]可以理解的是，智能监控系统中的服务模块102还可以将接收到的日志文件发送给外部设备，使得外部设备能够将接收到的日志文件作为数据源进行处理。
[0157]在本发明实施例中，处理模块104能够接收到智能监控系统中所有服务模块102发送的目标日志信息，且基于预置的业务指标配置规则对接收到的目标日志信息进行汇总计算，以确定各业务指标的值，实现对业务指标的监控。
[0158]步骤407、在所述处理模块104确定各业务指标的值之后，阀值检测模块105基于预先设置的业务指标阀值对所述各业务指标的值进行检测，以确定是否需要进行告警。
[0159]在本发明实施例中，处理模块104在得到各业务指标的值之后，将该各业务指标的值发送给阀值检测模块105，阀值检测模块105将基于预先设置的业务指标阀值对该各业务指标的值进行检测，以确定是否需要告警。
[0160]且需要说明的是，处理模块104在进行阀值检测时使用的业务指标阀值可以是组合阀值也可以是同环比阀值。
[0161]在本发明实施例中，通过在智能监控系统中设置配置模块106，使得智能监控系统能够支持不同业务场景的不同自定义配置，从而能够灵活的对业务指标进行配置。且通过设置采集模块101、服务模块102及处理模块104，使得能够有效的实现对日志文件的采集、计算及汇总，实现对业务指标的监控。此外，通过在智能监控系统中设置阀值检测模块105，使得能够基于监控得到的业务指标的值确定是否告警，有效提升系统的性能。
[0162]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如R0M/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，月艮务器，空调器，或者网络设备等)执行本发明各个实施例的方法。
[0163]以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1.一种智能监控系统，其特征在于，所述智能监控系统包括: 多个采集模块、多个服务模块、调度模块及处理模块； 所述多个采集模块分别部署在多个主机上，所述多个服务模块均与所述处理模块连接； 所述调度模块用于在接收到所述采集模块发送的分配请求后，基于所述多个服务模块的负载信息选择一个服务模块，将选择的服务模块分配给所述采集模块； 所述采集模块用于发送所述分配请求，及与分配的服务模块建立连接，在建立连接后，采集日志文件，并将采集到的日志文件发送给与其连接的服务模块； 所述服务模块用于在接收到日志文件后，基于预置的日志过滤及计算规则对所述日志文件进行处理，得到目标日志信息，将所述目标日志信息发送给所述处理模块； 所述处理模块用于接收所述多个服务模块发送的目标日志信息，并基于预置的业务指标配置规则对接收到的目标日志信息进行汇总计算，以确定各业务指标的值，实现对各业务指标的监控。2.根据权利要求1所述的智能监控系统，其特征在于，所述智能监控系统还包括阀值检测丰旲块; 所述阀值检测模块用于基于预先设置的业务指标阀值对所述处理模块得到的各业务指标的值进行检测，以确定是否需要进行告警。3.根据权利要求2所述的智能监控系统，其特征在于，所述智能监控系统还包括配置模块，所述配置模块用于自定义配置所述智能监控系统的配置信息；所述配置信息包括所述日志过滤及计算规则、所述业务指标配置规则、及所述业务指标阀值。4.根据权利要求3所述的智能监控系统，其特征在于，所述智能监控系统还包括:缓存模块； 所述缓存模块用于缓存所述配置模块自定义配置的所述配置信息，及用于缓存预置时间段内所述服务模块的状态数据。5.根据权利要求1所述的智能监控系统，其特征在于，所述服务模块还用于将其负载信息发送给所述调度模块，使得所述调度模块基于所述服务模块的负载信息确定分配所述服务模块的策略。6.根据权利要求1-5任意一项所述的智能监控系统，其特征在于，所述智能监控系统还包括: 转发模块，用于接收所述服务模块发送的日志文件，并将接收到的日志文件转发至其他设备。7.—种业务指标的监控方法，其特征在于，所述方法应用于权利要求1至6任意一项所述的系统，所述方法包括: 所述采集模块向所述调度模块发送分配请求； 所述调度模块接收到所述分配请求后，基于所述多个服务模块的负载信息选择一个服务模块，将选择的服务模块分配给所述采集模块； 所述采集模块建立与分配的服务模块之间的连接，在建立连接后，采集日志文件，将采集到的日志文件发送给与其连接的服务模块； 所述服务模块接收到所述日志文件后，基于预置的日志过滤及计算规则对所述日志文件进行处理，得到目标日志信息，将所述目标日志信息发送给所述处理模块； 所述处理模块基于预置的业务指标配置规则对接收到的目标日志信息进行汇总计算，以确定各业务指标的值，实现对各业务指标的监控。8.根据权利要求7所述的方法，其特征在于，所述方法还包括: 在所述处理模块确定各业务指标的值之后，阀值检测模块基于预先设置的业务指标阀值对所述各业务指标的值进行检测，以确定是否需要进行告警。9.根据权利要求8所述的方法，其特征在于，所述方法还包括: 配置模块自定义配置所述智能监控系统的配置信息，所述配置信息包括所述日志过滤及计算规则、所述业务指标配置规则、及所述业务指标阀值。10.根据权利要求7至9任意一项所述的方法，其特征在于，所述方法还包括: 所述服务模块接收到所述日志文件之后，将所述日志文件发送给所述转发模块，由所述转发模块将所述日志文件转发至其他设备。
【文档编号】H04L12/24GK105978728SQ201610446928
【公开日】2016年9月28日
【申请日】2016年6月20日
【发明人】尤嘉, 朱红燕, 杨利国, 杜林 , 林城, 张晓斌
【申请人】深圳前海微众银行股份有限公司