基于中间件的业务数据监控方法和系统的制作方法
【技术领域】
[0001] 本发明涉及数据流监控技术领域，具体而言，涉及一种基于中间件的业务数据监 控方法和一种基于中间件的业务数据监控系统。
【背景技术】
[0002] 当前计算机IT领域，中间件作为基础软件的重要组件，已与操作系统、数据库齐 头并进，在世界范围内呈现出迅猛发展的势头，已经形成一个巨大的产业。中间件在国内 整个软件行业中应该是发展速度最快的市场之一。而目前传统中间件的监控技术，包括监 控线程数、处理时间、请求数、字节数、Cluster(集群）、堆栈、线程池、连接池、Web(World WideWeb，万维网）应用等指标参数，这些监控技术比较通用，适合行业也比较广泛，但 大多只是对性能的监控，无业务数据流的监控能力，而往往真正有价值的监控都是对业 务数据的监控。当前行业中也有一些基于中间件的监控技术是针对业务数据，例如微软 BizTalk(BusinessTalk:商务会话）中的BAM(BusinessActivityMonitoring:业务活动 监控）技术，但对业务数据流的监控大多缺乏通用性以及需要过多的人工干预，这些监控 方法需要知道监控业务的数据模型，并根据自定义好的规则来进行监控，因而这些监控技 术不能广泛使用，且对数据的变化以及业务规则的变化缺乏易变性，不能快速满足大多行 业的监控要求。
[0003] 因此，需要一种新的技术方案，可以实现对不同业务数据流的智能监控，有效地提 高通用性以及对业务数据的变化和业务规则的变化的适应性，并能快速满足大多行业的监 控需求，成为亟待解决的问题。
【发明内容】
[0004] 本发明正是基于上述问题，提出了一种新的技术方案，可以实现对不同业务数据 的智能监控，有效地提高通用性以及对业务数据的变化和业务规则的变化的适应性，并能 快速满足大多行业的监控需求。
[0005] 有鉴于此，本发明提出了一种基于中间件的业务数据监控方法，包括：将来自不同 应用系统的业务数据通过中间件发送至监控系统，以对所述业务数据进行监控；按照预设 存储规则对所述业务数据进行数据存储和数据建模；对经过所述数据存储和所述数据建模 处理的所述业务数据进行数据分类；根据所述数据分类建立业务关联模型，以对每条所述 业务数据进行轨迹跟踪；根据所述业务关联模型，设置预警阈值，以对所述业务数据进行监 控。
[0006] 在该技术方案中，通过中间件连接各种不同的应用系统，将不同应用系统的业务 数据发送至监控系统，并通过数据存储、数据建模，以及结合NoSQL数据库可以事先不指定 数据结构的能力，将数据模型的结构设计成动态变化，以使模型可以在实际运维过程中自 我增长、自我学习，然后通过数据分类、建立业务关联模型、设置监控预警阈值，可以实现对 不同业务数据的智能监控，有效地提高通用性以及对业务数据的变化和业务规则的变化的 适应性，并能快速满足大多行业的监控需求，通过使用大数据实现自我学习，并通过智能建 模、智能分类、智能预测预警达到监控业务数据的目标。
[0007] 在上述技术方案中，优选地，在将所述业务数据通过所述中间件发送至所述监控 系统前，判断是否将所述业务数据发送至所述监控系统，并在判断结果为是时，通过适配器 将所述业务数据转换为XML数据后发送至所述监控系统；以及按照所述预设存储规则对所 述业务数据基于NoSQL数据库进行所述数据存储和所述数据建模。
[0008] 在该技术方案中，在将业务数据通过中间件发送至监控系统前，也就是说，在将业 务数据接入或者发送到相应的应用系统时都可以选择是否需要对该业务数据进行监控， 并在需要进行监控时，通过适配器将业务数据转换为XML(ExtensibleMarkupLanguage， 标记语言）数据，以实现对需要进行监控的业务数据的标记，并基于NoSQL(NotOnly StructuredQueryLanguage，不仅仅是结构化查询语言）数据库Cassandra(开源分布式 NoSQL数据库系统）进行数据存储和建模，以便于实现对业务数据的存储、建模、分类、轨迹 追踪等，进而实现对业务数据的监控。
[0009] 在上述技术方案中，优选地，按照所述预设存储规则将所述XML数据存储至所述 NoSQL数据库Cassandra中，并进行所述数据建模；计算每条所述XML数据的字段的权重 值，并根据所述权重值对所述XML数据进行所述数据分类。
[0010] 在该技术方案中，通过预设储存规则将XML数据存储至NoSQL数据库中，以实现对 超大量数据的处理，并进行数据建模，可以使储存的数据具有规范性，便于后续查找和/或 监控；通过计算数据字段的权重值，对数据进行智能分类，为实现对业务数据的监控提供有 利的前提保障。
[0011] 在上述技术方案中，优选地，根据所述业务关联模型，建立关联业务出现的概率矩 阵，以确定所述关联业务中的必然业务，根据所述必然业务设置所述关联业务中的其他业 务的预警阈值，以对所述业务数据进行监控。
[0012] 在该技术方案中，根据业务关联模型，列出所有相关业务出现的概率矩阵，从而找 到相关业务中的必然业务，并对违反必然业务的数据进行监控预警，即实现对不同业务的 监控预警；对同业务的不同字段也建立矩阵模型，找出不同字段出现相应值的必然事件，再 配合修改规则，达到对违反必然事件的数据进行监控预警；对单业务进行以秒、分、时、日、 周、月、年为周期维度，建立离散傅里叶模型，判断业务周期性，对单业务的数据进行提前预 测及监控预警；也就是设置预警阈值，当超过阈值时，则进行预警，实现对业务数据的监控， 如此，通过精确的设置预警阀值，可以对业务数据进行更为准确的监控。
[0013] 在上述技术方案中，优选地，通过所述中间件将所述业务数据发送至所述监控系 统的接口方式包括：File方式和/或Http方式。
[0014] 在该技术方案中，监控系统为中间件系统提供的接口方式包括但不限于File方 式和/或Http方式，即可以通过File方式：指定文件路径、文件名表达式（包含业务名称、 产生时间、GUID唯一标识号），以及Http方式：传输XML数据，指定变量名称（包含业务名 称、产生时间、⑶ID唯一标识号）将业务数据录入到监控系统中。
[0015] 根据本发明的另一方面，还提出了一种基于中间件的业务数据监控系统，包括：数 据转换模块，用于将来自不同应用系统的业务数据通过中间件发送至监控系统，以对所述 业务数据进行监控；数据存储模块，用于按照预设存储规则对所述业务数据进行数据存储 和数据建模；数据分类模块，用于对经过所述数据存储和所述数据建模处理的所述业务数 据进行数据分类；业务建模模块，用于根据所述数据分类建立业务关联模型，以对每条所述 业务数据进行轨迹跟踪；数据监控模块，用于根据所述业务关联模型，设置预警阈值，以对 所述业务数据进行监控。
[0016] 在该技术方案中，通过中间件连接各种不同的应用系统，将不同应用系统的业务 数据发送至监控系统，并通过数据存储、数据建模，并结合NoSQL数据库可以事先不指定数 据结构的能力，将数据模型的结构设计成动态变化，以使模型可以在实际运维过程中自我 增长、自我学习，然后通过数据分类、建立业务关联模型、设置监控预警阈值，可以实现对不 同业务数据的智能监控，有效地提高通用性以及对业务数据的变化和业务规则的变化的适 应性，并能快速满足大多行业的监控需求，通过使用大数据实现自我学习，并通过智能建 模、智能分类、智能预测预警达到监控业务数据的目标。
[0017] 在上述技术方案中，优选地，还包括：判断模块，用于在将所述业务数据通过所述 中间件发送至所述监控系统前，判断是否将所述业务数据发送至所述监控系统；所述数据 转换模块具体用于：当判断结果为是时，通过适配器将所述业务数据转换为XML数据后发 送至所述监控系统；以及所述数据存储模块具体用于：按照所述预设存储规则对所述业务 数据基于NoSQL数据库进行所述数据存储和所述数据建模。
[0018] 在该技术方案中，在将业务数据通过中间件发送至监控系统前，也就是说，在将业 务数据接入或者发送到相应的应用系统时都可以选择是否需要对该业务数据进行监控， 并在需要进行监控时，通过适配器将业务数据转换为XML(ExtensibleMarkupLanguage， 标记语言）数据，以实现对需要进行监控的业务数据的标记，并基于NoSQL(NotOnly StructuredQueryLanguage，不仅仅是结构化查询语言）数据库Cassandra(开源分布式 NoSQL数据库系统）进行数据存储和建模，以便于实现对业务数据的存储、建模、分类、轨迹 追踪等，进而实现对业务数据的监控。
[0019] 在上述技术方案中，优选地，所述数据存储模块具体用于：按照所述预设存储规则 将所述XML数据存储至所述NoSQL数据库Cassandra中，并进行所述数据建模；以及所述数