基于中间件的业务数据监控方法和系统的制作方法_3

文档序号:9288371阅读:来源:国知局
能力,将数据模型的结构设计成动态变化,以使模型可以在实际运维过程中自我 增长、自我学习,然后通过数据分类、建立业务关联模型、设置监控预警阈值,可以实现对不 同业务数据的智能监控,有效地提高通用性以及对业务数据的变化和业务规则的变化的适 应性,并能快速满足大多行业的监控需求,通过使用大数据实现自我学习,并通过智能建 模、智能分类、智能预测预警达到监控业务数据的目标。
[0048] 在上述技术方案中,优选地,还包括:判断模块212,用于在将所述业务数据通过 所述中间件发送至所述监控系统前,判断是否将所述业务数据发送至所述监控系统;所述 数据转换模块202具体用于:当判断结果为是时,通过适配器将所述业务数据转换为XML数 据后发送至所述监控系统;以及所述数据存储模块具体用于:按照所述预设存储规则对所 述业务数据基于NoSQL数据库进行所述数据存储和所述数据建模。
[0049] 在该技术方案中,在将业务数据通过中间件发送至监控系统前,也就是说,在将业 务数据接入或者发送到相应的应用系统时都可以选择是否需要对该业务数据进行监控, 并在需要进行监控时,通过适配器将业务数据转换为XML(ExtensibleMarkupLanguage, 标记语言)数据,以实现对需要进行监控的业务数据的标记,并基于NoSQL(NotOnly StructuredQueryLanguage,不仅仅是结构化查询语言)数据库Cassandra(开源分布式 NoSQL数据库系统)进行数据存储和建模,以便于实现对业务数据的存储、建模、分类、轨迹 追踪等,进而实现对业务数据的监控。
[0050] 在上述技术方案中,优选地,所述数据存储模块204具体用于:按照所述预设存储 规则将所述XML数据存储至所述NoSQL数据库Cassandra中,并进行所述数据建模;以及所 述数据分类模块206具体用于:计算每条所述XML数据的字段的权重值,并根据所述权重值 对所述XML数据进行所述数据分类。
[0051 ] 在该技术方案中,通过预设储存规则将XML数据存储至NoSQL数据库中,以实现对 超大量数据的处理,并进行数据建模,可以使储存的数据具有规范性,便于后续查找和/或 监控;通过计算数据字段的权重值,对数据进行智能分类,为实现对业务数据的监控提供有 利的前提保障。
[0052] 在上述技术方案中,优选地,所述数据监控模块210具体用于:根据所述业务关联 模型,建立关联业务出现的概率矩阵,以确定所述关联业务中的必然业务,根据所述必然业 务设置所述关联业务中的其他业务的预警阈值,以对所述业务数据进行监控。
[0053] 在该技术方案中,根据业务关联模型,列出所有相关业务出现的概率矩阵,从而找 到相关业务中的必然业务,并对违反必然业务的数据进行监控预警,即实现对不同业务的 监控预警;对同业务的不同字段也建立矩阵模型,找出不同字段出现相应值的必然事件,再 配合修改规则,达到对违反必然事件的数据进行监控预警;对单业务进行以秒、分、时、日、 周、月、年为周期维度,建立离散傅里叶模型,判断业务周期性,对单业务的数据进行提前预 测及监控预警;也就是设置预警阈值,当超过阈值时,则进行预警,实现对业务数据的监控, 如此,通过精确的设置预警阀值,可以对业务数据进行更为准确的监控。
[0054] 在上述技术方案中,优选地,通过所述中间件将所述业务数据发送至所述监控系 统的接口方式包括:File方式和/或Http方式。
[0055] 在该技术方案中,监控系统为中间件系统提供的接口方式包括但不限于File方 式和/或Http方式,即可以通过File方式:指定文件路径、文件名表达式(包含业务名称、 产生时间、GUID唯一标识号),以及Http方式:传输XML数据,指定变量名称(包含业务名 称、产生时间、⑶ID唯一标识号)将业务数据录入到监控系统中。
[0056] 图3示出了根据本发明的一个实施例的基于中间件的业务数据监控方法步骤示 意图。
[0057] 如图3所示,根据本发明的一个实施例的基于中间件的业务数据监控方法步骤, 包括:
[0058] 步骤1,中间件连接各种不同的应用系统,通过适配器将不同类型格式的数据(不 同应用系统的所有业务数据)转换成XML数据,用户只需要标示数据是否需要存入到监控 数据库中,即可以对数据进行监控。
[0059] 步骤2,系统会通过合理的数据存储方式,不限制文档结构,并通过相应的存储规 则将数据存储起来。通过余弦定理计算各个XML数据文档之间的相似度,给XML数据文档 进行智能建模,建立文档版本库。
[0060] 步骤3,通过XML的相似度,来给同类的数据的字段使用TF-IDF(Term frequency-inversedocumentfrequency,加权技术)来计算权重值,进而生成相应的分类 规则。
[0061 ] 步骤4,通过权重值比较大的字段来找出各个业务之间的关联关系,列出系统中发 现的所有业务模型,通过业务模型找到单条数据的业务轨迹,为业务分析提供可靠数据。
[0062] 步骤5,根据关联业务,列出所有相关事件出现的概率矩阵,从而找到相关业务中 的必然事件,并对违反必然事件的数据进行监控预警。对同业务的不同字段也建立矩阵模 型,找出不同字段出现相应值的必然事件,再配合修改规则,达到对违反必然事件的数据进 行预警。对单业务进行以秒、分、时、日、周、月、年为周期维度,建立离散傅里叶模型,判断业 务周期性,对单业务的数据进行提前预测及预警,对必然事件进行反向周期预测。
[0063] 步骤6,管理已经智能生成出来的数据模型、分类模型、业务模型、跨类型业务预 测、同类型业务预测、单业务周期预测、必然事件反向周期预测,并及时添加修改规则。对已 经生成出来的监控数据分三级管理,第一级监控中心管理,第二级业务负责人管理订阅规 贝1J,第三级由责任人管理各自的监控数据。
[0064] 具体实现方法:
[0065] -、将不同应用系统的业务数据通过中间件发送到监控系统中,其步骤包括:
[0066] 1)业务数据智能监控提供File、Http两种方式的接口供中间件系统使用。
[0067] 2)中间件系统在有适配器类中实现监控系统的接口。
[0068] 3)中间件系统配置监控系统数据录入的方式:a)File方式:指定文件路径,文件 名表达式(包含业务名称、产生时间、⑶ID唯一标识号);b)Http方式:传输XML数据,指定 变量名称(包含业务名称、产生时间、⑶ID唯一标识号)。
[0069] 4)所有应用系统的数据在接入或者发送数据到应用系统时都可以选择是否需要 将数据进行监控。
[0070] 由于使用了中间件,很容易将各个系统的数据关联起来,而业务数据智能监控既 可以视为独立的系统,也可以视为中间件的一个组件模块。在运行时,业务数据智能监控的 所有功能本身也是部署在中间件的一部分,可以分布式的部署。本发明可以使用中兴的中 间件产品BullESB,发明中所使用的数据录入模块是中间件自己本身的配置功能,因此不 做过多的说明。
[0071 ] 二、对业务数据进行数据存储与数据建模
[0072] 本发明是在大数据库Cassandra的基础中,来对数据进行存储与智能建模。具体 实现步骤:
[0073] 1)建立负载均衡的Cassandra集群,如图4所示。
[0074] 2)通过Cassandra标准的Column结构,将最初接入进来的监控数据存入到NoSQL 数据库中,存入规则如图5所示:
[0075] 建立KeySpace:ESBCloud,ColumnFamily:MessageData。
[0076] 业务数据以Business与创建日期及⑶ID组合成Column的key值,将所有数据存 入到MessageData中。建立如下Columns:
[0077]
[0078] 其中将XML结构中的字段名以及属性名都作为ColumnName,对应值作为Column 的value。这样操作后,不仅以后可以知道原始消息的内容,而且很容易找到原始消息中主 要字段的值。在这个结构中对重复字段只记录最后值。因为如果字段重复,则对应的字段 价值下降,如果需要详细值则可以通过在body中找到。其中XMLFiled_Filed*为全路径, 包含其父级信息。
[0079] 3)将所有的XML数据以值的形式存入到NoSQL数据库中,方法如图6所示:
[0080] 建立ColumnFamily:BusinessData。
[0081] 将字段值作为Key,将Business与创建日期及⑶ID组合成作为ColumnName,对 应字段作为Value。建立如下Columns:
[0QH91
[0083] 这样操作后,可以将同值的所有业务串联起来,由于非关系数据没有对
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1