基于中间件的业务数据监控方法和系统的制作方法_2

文档序号:9288371阅读:来源:国知局
据分类模块具体用于:计算每条所述XML数据的字段的权重值,并根据所述权重值对所述 XML数据进行所述数据分类。
[0020] 在该技术方案中,通过预设储存规则将XML数据存储至NoSQL数据库中,以实现对 超大量数据的处理,并进行数据建模,可以使储存的数据具有规范性,便于后续查找和/或 监控;通过计算数据字段的权重值,对数据进行智能分类,为实现对业务数据的监控提供有 利的前提保障。
[0021] 在上述技术方案中,优选地,所述数据监控模块具体用于:根据所述业务关联模 型,建立关联业务出现的概率矩阵,以确定所述关联业务中的必然业务,根据所述必然业务 设置所述关联业务中的其他业务的预警阈值,以对所述业务数据进行监控。
[0022] 在该技术方案中,根据业务关联模型,列出所有相关业务出现的概率矩阵,从而找 到相关业务中的必然业务,并对违反必然业务的数据进行监控预警,即实现对不同业务的 监控预警;对同业务的不同字段也建立矩阵模型,找出不同字段出现相应值的必然事件,再 配合修改规则,达到对违反必然事件的数据进行监控预警;对单业务进行以秒、分、时、日、 周、月、年为周期维度,建立离散傅里叶模型,判断业务周期性,对单业务的数据进行提前预 测及监控预警;也就是设置预警阈值,当超过阈值时,则进行预警,实现对业务数据的监控, 如此,通过精确的设置预警阀值,可以对业务数据进行更为准确的监控。
[0023] 在上述技术方案中,优选地,通过所述中间件将所述业务数据发送至所述监控系 统的接口方式包括:File方式和/或Http方式。
[0024] 在该技术方案中,监控系统为中间件系统提供的接口方式包括但不限于File方 式和/或Http方式,即可以通过File方式:指定文件路径、文件名表达式(包含业务名称、 产生时间、GUID唯一标识号),以及Http方式:传输XML数据,指定变量名称(包含业务名 称、产生时间、⑶ID唯一标识号)将业务数据录入到监控系统中。
[0025] 通过以上技术方案,可以实现对不同业务数据的智能监控,有效地提高通用性以 及对业务数据的变化和业务规则的变化的适应性,并能快速满足大多行业的监控需求。
【附图说明】
[0026] 图1示出了根据本发明的实施例的基于中间件的业务数据监控方法的流程图;
[0027] 图2示出了根据本发明的实施例的基于中间件的业务数据监控系统的框图;
[0028] 图3示出了根据本发明的一个实施例的基于中间件的业务数据监控方法的具体 示意图;
[0029] 图4示出了建立负载均衡的Cassandra集群的示意图;
[0030] 图5示出了将将业务数据存入到NoSQL数据库Cassandra中的存入规则的示意 图;
[0031 ] 图6示出了将所有的XML数据以值的形式存入到NoSQL数据库Cassandra中的方 法示意图。
【具体实施方式】
[0032] 为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实 施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施 例及实施例中的特征可以相互组合。
[0033] 在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可 以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开 的具体实施例的限制。
[0034] 图1示出了根据本发明的实施例的基于中间件的业务数据监控方法的流程图。
[0035] 如图1所示,根据本发明的基于中间件的业务数据监控方法,包括:步骤102,将来 自不同应用系统的业务数据通过中间件发送至监控系统,以对所述业务数据进行监控;步 骤104,按照预设存储规则对所述业务数据进行数据存储和数据建模;步骤106,对经过所 述数据存储和所述数据建模处理的所述业务数据进行数据分类;步骤108,根据所述数据 分类建立业务关联模型,以对每条所述业务数据进行轨迹跟踪;步骤110,根据所述业务关 联模型,设置预警阈值,以对所述业务数据进行监控。
[0036] 在该技术方案中,通过中间件连接各种不同的应用系统,将不同应用系统的业务 数据发送至监控系统,并通过数据存储、数据建模,并结合NoSQL数据库可以事先不指定数 据结构的能力,将数据模型的结构设计成动态变化,以使模型可以在实际运维过程中自我 增长、自我学习,然后通过数据分类、建立业务关联模型、设置监控预警阈值,可以实现对不 同业务数据的智能监控,有效地提高通用性以及对业务数据的变化和业务规则的变化的适 应性,并能快速满足大多行业的监控需求,通过使用大数据实现自我学习,并通过智能建 模、智能分类、智能预测预警达到监控业务数据的目标。
[0037] 在上述技术方案中,优选地,在将所述业务数据通过所述中间件发送至所述监控 系统前,判断是否将所述业务数据发送至所述监控系统,并在判断结果为是时,通过适配器 将所述业务数据转换为XML数据后发送至所述监控系统;以及按照所述预设存储规则对所 述业务数据基于NoSQL数据库进行所述数据存储和所述数据建模。
[0038] 在该技术方案中,在将业务数据通过中间件发送至监控系统前,也就是说,在将业 务数据接入或者发送到相应的应用系统时都可以选择是否需要对该业务数据进行监控, 并在需要进行监控时,通过适配器将业务数据转换为XML(ExtensibleMarkupLanguage, 标记语言)数据,以实现对需要进行监控的业务数据的标记,并基于NoSQL(NotOnly StructuredQueryLanguage,不仅仅是结构化查询语言)数据库Cassandra(开源分布式 NoSQL数据库系统)进行数据存储和建模,以便于实现对业务数据的存储、建模、分类、轨迹 追踪等,进而实现对业务数据的监控。
[0039] 在上述技术方案中,优选地,按照所述预设存储规则将所述XML数据存储至所述 NoSQL数据库Cassandra中,并进行所述数据建模;计算每条所述XML数据的字段的权重 值,并根据所述权重值对所述XML数据进行所述数据分类。
[0040] 在该技术方案中,通过预设储存规则将XML数据存储至NoSQL数据库中,以实现对 超大量数据的处理,并进行数据建模,可以使储存的数据具有规范性,便于后续查找和/或 监控;通过计算数据字段的权重值,对数据进行智能分类,为实现对业务数据的监控提供有 利的前提保障。
[0041] 在上述技术方案中,优选地,根据所述业务关联模型,建立关联业务出现的概率矩 阵,以确定所述关联业务中的必然业务,根据所述必然业务设置所述关联业务中的其他业 务的预警阈值,以对所述业务数据进行监控。
[0042] 在该技术方案中,根据业务关联模型,列出所有相关业务出现的概率矩阵,从而找 到相关业务中的必然业务,并对违反必然业务的数据进行监控预警,即实现对不同业务的 监控预警;对同业务的不同字段也建立矩阵模型,找出不同字段出现相应值的必然事件,再 配合修改规则,达到对违反必然事件的数据进行监控预警;对单业务进行以秒、分、时、日、 周、月、年为周期维度,建立离散傅里叶模型,判断业务周期性,对单业务的数据进行提前预 测及监控预警;也就是设置预警阈值,当超过阈值时,则进行预警,实现对业务数据的监控, 如此,通过精确的设置预警阀值,可以对业务数据进行更为准确的监控。
[0043] 在上述技术方案中,优选地,通过所述中间件将所述业务数据发送至所述监控系 统的接口方式包括:File方式和/或Http方式。
[0044] 在该技术方案中,监控系统为中间件系统提供的接口方式包括但不限于File方 式和/或Http方式,即可以通过File方式:指定文件路径、文件名表达式(包含业务名称、 产生时间、GUID唯一标识号),以及Http方式:传输XML数据,指定变量名称(包含业务名 称、产生时间、⑶ID唯一标识号)将业务数据录入到监控系统中。
[0045] 图2示出了根据本发明的实施例的基于中间件的业务数据监控系统的框图。
[0046] 如图2所示,根据本发明的基于中间件的业务数据监控系统200,包括:数据转换 模块202,用于将来自不同应用系统的业务数据通过中间件发送至监控系统,以对所述业务 数据进行监控;数据存储模块204,用于按照预设存储规则对所述业务数据进行数据存储 和数据建模;数据分类模块206,用于对经过所述数据存储和所述数据建模处理的所述业 务数据进行数据分类;业务建模模块208,用于根据所述数据分类建立业务关联模型,以对 每条所述业务数据进行轨迹跟踪;数据监控模块210,用于根据所述业务关联模型,设置预 警阈值,以对所述业务数据进行监控。
[0047] 在该技术方案中,通过中间件连接各种不同的应用系统,将不同应用系统的业务 数据发送至监控系统,并通过数据存储、数据建模,并结合NoSQL数据库可以事先不指定数 据结构的
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1