一种数据监控系统和方法
【专利摘要】本发明的实施方式提供了一种数据监控系统。该系统包括：数据发送模块、消息队列模块、数据处理模块，其中：所述数据发送模块，配置用于向所述消息队列模块发送待处理数据；所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据；所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。本系统实现了对海量数据的实时处理，显著提高了系统对实时数据的处理能力。此外，本发明的实施方式提供了一种数据监控方法。
【专利说明】一种数据监控系统和方法
【技术领域】
[0001] 本发明的实施方式涉及数据处理领域，更具体地，本发明的实施方式涉及一种数 据监控系统和方法。
【背景技术】
[0002] 本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的 描述不因为包括在本部分中就承认是现有技术。
[0003] 随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，产生了大量待处理的 实时数据，例如网络监测数据、电信呼叫记录、金融应用数据、Web日志及点击流数据等。这 些实时数据具有数据量极大、生成速度快和生成速率随时间变化等特点。如何在资源有限 的情况下，实现对这些实时数据的快速、有效处理成为一个亟需解决的问题。
[0004] 传统的关系数据库管理系统在处理有限的存储数据方面是高效的，但是处理大量 的实时数据时则效率低下。
【发明内容】
[0005] 因此在现有技术中，如何高效地处理海量实时数据，是非常令人烦恼的过程。
[0006] 为此，非常需要一种改进的数据监控系统和方法，以高效地处理海量实时数据。
[0007] 在本上下文中，本发明的实施方式期望提供一种数据监控系统和方法。
[0008] 在本发明实施方式的第一方面中，提供了一种系统，包括：数据发送模块、消息队 列模块、数据处理模块，其中：
[0009] 所述数据发送模块，配置用于向所述消息队列模块发送待处理数据；
[0010] 所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数 据，以及，向所述数据处理模块发送待处理数据；
[0011] 所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时， 按照预置的监控规则对所述待处理数据进行处理，输出处理结果。
[0012] 优选地，所述数据发送模块配置用于异步地向所述消息队列模块发送待处理数 据。
[0013] 优选地，所述数据处理模块配置用于：
[0014] 当所述数据处理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请 求待处理数据；
[0015] 所述消息队列模块配置用于：
[0016] 当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块 发送待处理数据。
[0017] 优选地，所述消息队列模块配置用于：
[0018] 根据存储的数据订阅信息，向数据处理模块发送与所述数据订阅信息对应的待处 理数据。
[0019] 优选地，所述数据处理模块包括数据聚合单元和数据收集单元，
[0020] 所述数据聚合单元配置用于：当所述预置的监控规则包括监控对象和监控指标 时，按照预置的监控规则将待处理数据聚合处理成以监控对象为键、监控指标为值的键值 对数据，以及，对聚合处理后的数据进行哈希运算，得到与其对应的数据收集单元的访问地 址，将所述聚合处理后的数据发送到相应位置；
[0021] 所述数据收集单元配置用于：接收所述数据聚合单元聚合处理后的数据，对具有 相同键的键值对数据进行合并得到合并结果。
[0022] 优选地，所述数据处理模块包括至少两个数据聚合单元以及至少两个数据收集单 J Li 〇
[0023] 优选地，所述系统包括至少两个数据发送模块；和/或
[0024] 所述系统包括至少两个消息队列模块。
[0025] 优选地，所述系统还包括：
[0026] 报警模块，配置用于对经过数据处理模块处理后的处理结果进行统计，当获得的 统计结果满足预置的报警条件时，输出报警提示信息。
[0027] 优选地，所述系统还包括：
[0028] 统一配置模块，配置用于对所述数据处理模块进行统一配置。
[0029] 在本发明实施方式的第二方面中，提供了一种方法，应用于数据监控系统，所述系 统包括数据发送模块、消息队列模块、以及数据处理模块，所述方法包括：
[0030] 所述数据发送模块向所述消息队列模块发送待处理数据；
[0031] 所述消息队列模块接收并存储所述数据发送模块发送的所述待处理数据，以及， 向所述数据处理模块发送待处理数据；
[0032] 所述数据处理模块接收所述消息队列模块发送的待处理数据，按照预置的监控规 则对所述待处理数据进行处理，输出处理结果。
[0033] 本发明实施例提供的系统和方法可以对实时产生的待处理数据，通过数据发送模 块、消息队列模块发送给数据处理模块，由数据处理模块实现数据的实时处理，以输出处理 结果，实现了对海量数据的实时处理，显著提高了对实时数据的处理能力。
【专利附图】
【附图说明】
[0034] 通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目 的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若 干实施方式，其中：
[0035] 图1示意性地示出了本发明实施例的一种应用场景；
[0036] 图2示意性地示出了根据本发明实施方式的数据监控系统的一种实现；
[0037] 图3示意性地示出了根据本发明另一实施例的数据监控系统；
[0038] 图4示意性地示出了根据本发明又一实施例的数据监控方法。
[0039] 在附图中，相同或对应的标号表不相同或对应的部分。
【具体实施方式】
[0040] 下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这 些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何 方式限制本发明的范围。
[0041] 本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法 或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件 (包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。
[0042] 根据本发明的实施方式，提出了一种数据监控系统和方法。
[0043] 在本文中，需要理解的是，所涉及的术语"消息队列"用于表示在消息的传输过程 中保存消息的容器。一般地，"消息"是在两台计算机间传送的数据单位。"消息队列"的主 要作用在于提供路由并保证消息的传递。例如，发送消息时接收者不可用，消息队列会保留 消息，直到可以成功地传递它。
[0044] 此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分， 而不具有任何限制含义。
[0045] 下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
[0046] 发明概沭
[0047] 本发明人发现，传统的关系数据库管理系统在处理有限的存储数据方面是高效 的，但是处理大量的实时数据时则效率低下。
[0048] 根据本发明实施方式，提供了一种数据监控系统和方法，当有待处理数据时，通过 数据发送模块，向消息队列模块发送待处理数据，消息队列模块用于接收并存储待处理数 据，并向数据处理模块发送待处理数据，所述数据处理模块用于当接收到所述消息队列模 块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。 本发明实施例提供的系统和方法可以对实时产生的待处理数据，通过数据发送模块、消息 队列模块发送给数据处理模块，由数据处理模块实现数据的实时处理，以输出处理结果，实 现了对海量数据的实时处理，显著提高了系统对实时数据的处理能力。
[0049] 在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方 式。
[0050] 应用场景总览
[0051] 首先参考图1，对本发明实施例的一种应用场景进行说明。其中，如图1所示，线上 数据系统100生成待处理数据，数据监控系统200用于实时处理所述线上数据系统100生 成的待处理数据。例如，线上数据系统100是一个web网站服务器，其可以记录用户对这个 web网站服务器的访问信息。当然，本领域技术人员可以理解的是，图1所示仅为本发明一 种应用场景的示意性说明，并不视为对本发明应用场景的限制。
[0052] 示例件设各
[0053] 下面结合图1的应用场景，参考图2来描述根据本发明示例性实施方式的数据监 控系统。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发 明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场 旦 -5^ 〇
[0054] -种数据监控系统200,包括：数据发送模块201、消息队列模块202、数据处理模 块203,其中：
[0055] 所述数据发送模块201，配置用于向所述消息队列模块发送待处理数据。
[0056] 所述消息队列模块202,配置用于接收并存储所述数据发送模块发送的所述待处 理数据，以及，向所述数据处理模块发送待处理数据。
[0057] 所述数据处理模块203,配置用于当接收到所述消息队列模块发送的待处理数据 时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。
[0058] 其中，数据发送模块201配置用于当确定存在待处理数据时，向消息队列模块202 发送待处理数据。优选地，所述数据发送模块配置用于异步地向所述消息队列模块发送待 处理数据。为了实现数据发送模块异步地向消息队列发送数据，在数据发送模块中可以存 在一个内存队列，用于缓存数据发送模块中的待处理数据。这样，解耦了生成数据的线上数 据系统（对应待处理数据的来源）和消息队列，数据发送模块发送待处理数据或者消息不 会影响到线上数据系统的数据处理。具体实现时，所述内存队列可以采用生产者/消费者 模式处理数据，以保证线上数据系统的稳定运行。进一步地，在数据发送模块中设置数据接 口以及配置单元，所述数据接口用于与数据源设备数据连接，接收来自数据源设备（生成 待处理数据的设备）的待处理数据。所述数据接口也用于与消息队列模块数据连接，发送 待处理数据到消息队列模块。因此，可以通过配置单元对相关参数进行配置，例如配置接收 参数、发送参数等。根据该架构，各种数据源设备可以方便地接入本发明实施例提供的数据 监控系统，从而实现对待处理数据的实时处理。
[0059] 在本发明具体实现时，使用了消息队列模块接收并存储所述数据发送模块发送的 所述待处理数据。其中，消息队列（Message Queue)用于把那些复杂的数据处理业务跟在线 主要业务分离，提供丰富的特性和可扩展性。在一种可能的实现方式中，可以采用ActiveMQ 消息队列，其中，消息队列模块202为服务器，在数据发送模块和数据处理模块两个模块上 分别有两个客户端，用来发布和订阅消息。具体实现时，为了提高系统的可靠性，消息队列 模块可以采用集群的方式，例如系统可以包括至少两个消息队列模块。当系统包括至少两 个消息队列模块时，可以创建负载均衡系统，用于实现各消息队列模块的负载均衡，任何一 个消息队列模块发生故障或者宕机时，不会影响整个消息队列模块集群的正常运行。
[0060] 具体实现时，消息队列模块配置用于向数据处理模块发送待处理数据，所述数据 处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规 则对所述待处理数据进行处理，输出处理结果。
[0061] 其中，数据处理模块可以主动拉取消息队列模块中保存的待处理数据。当数据处 理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请求待处理数据。消息队 列模块当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块发 送待处理数据。也就是说，在这种实现方式中，数据处理模块可以根据自身的数据处理情 况，灵活选择时机向消息队列模块请求发送待处理数据。相对于消息队列模块推送数据给 数据处理模块的方式，这种方式更加灵活，由于是在数据处理模块空闲时主动拉取数据，因 此可以保证数据处理模块可以有能力处理数据，而不会出现数据处理模块繁忙时仍向其推 送数据导致的数据不能及时处理的情况。
[0062] 当然，本领域技术人员可以理解的是，在一种可能的实现方式中，消息队列模块还 可以接收数据处理模块的数据订阅信息，根据存储的数据订阅信息，向数据处理模块发送 与所述数据订阅信息对应的待处理数据。当然，消息队列模块存储的数据订阅信息也可以 是系统预先配置好的。消息队列模块可以实时地或者定时地向数据处理模块发送与数据订 阅信息对应的待处理数据。
[0063] 具体实现时，数据处理模块配置用于当接收到所述消息队列模块发送的待处理数 据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。其中，所述数据处 理模块可以包括数据聚合单元和数据收集单元，所述数据聚合单元配置用于：当所述预置 的监控规则包括监控对象和监控指标时，按照预置的监控规则将待处理数据聚合处理成以 监控对象为键、监控指标为值的键值对数据，以及，对聚合处理后的数据进行哈希运算，得 到与其对应的数据收集单元的访问地址，将所述聚合处理后的数据发送到相应位置；所述 数据收集单元配置用于：接收所述数据聚合单元聚合处理后的数据，对具有相同键的键值 对数据进行合并得到合并结果。下面结合图3会举例描述数据聚合单元和数据收集单元的 上述工作情形。
[0064] 具体实现时，数据处理模块中的数据聚合单元根据预置的监控对象监控指标和监 控规则，对接收的待处理数据聚合成以监控对象为键、监控指标为值的键值对数据。其中， 监控对象可以根据系统需要预先设置，监控指标可以是监控对象的某一属性或特征。例如 对于监控对象为URL为例，监控指标可以是URL的访问次数，URL的最大访问时长、URL的 平均访问时长等。监控规则可以是规定统计预定时间段内的监控数据，也可以是规定统计 预定类型的监控数据等。监控规则还可以包括过滤规则，例如通过过滤规则过滤掉明显是 恶意访问的网址，减少数据统计量以及提高数据处理的正确性。例如，当URL包括类似波浪 线--?等特殊字符时，则有可能是恶意网址，则将这类数据过滤掉，不进行处理。
[0065] 具体实现时，数据收集单元可以对数据聚合单元聚合处理后的数据进行处理，将 具有相同键的键值对数据进行合并得到合并结果。数据聚合单元和数据收集单元的对应关 系可以是一一对应的，也可以是其他的对应关系。
[0066] 参见图3,其示意性地示出了根据本发明另一实施例的分布式实时数据监控系统。 [0067] 在图3所示的分布式实时数据监控系统中，包括三个数据发送模块301，一个消息 队列模块302,三个数据聚合单元303、两个数据收集单元304 (即数据处理模块包括三个数 据聚合单元303和两个数据收集单元304)，两个报警模块305,以及一个统一配置模块（图 中未示出）。当然，本领域的技术人员应当理解，图3所示的分布式实时数据监控系统中的 模块和单元的数目只是示意性的而不是限制性的。
[0068] 需要注意的是，在这一实施例中，线上系统（或者称为在线应用系统、在线数据系 统）生成待处理数据，数据发送模块可以包括多个节点，这些多个节点可以位于同一个线 上系统，也可以位于不同的线上系统上。数据发送模块负责向消息队列模块异步发送数据。 为了使得数据发送时不依赖于消息队列模块的稳定性，因此在本发明实施例中采用异步的 方式，具体地，在数据发送模块中增加内存队列采用生产者消费者的模式来保证线上系统 的稳定运行。由于数据发送模块中引入缓存队列（内存队列）的机制，解耦了在线应用系 统和消息队列模块的依赖关系，避免了消息队列模块出现问题情况下对在线应用系统的影 响。
[0069] 在这一实施例中，消息队列模块也可以是分布式的，可以包括多个消息队列子模 块，用于存储来自不同来源或者不同类型的待处理数据。从而使得消息队列模块可以存储 更多的数据，而且配置更为灵活，一个消息队列子模块发生故障，不会影响整个消息队列模 块的运行。例如，其中一个消息队列子模块宕机时，可以将其剔除；或者，可以新增一个消息 队列子模块用于替代发生故障的消息队列子模块，从而保证消息队列模块的可靠运行。
[0070] 下面举例进行说明数据聚合单元和数据收集单元的工作原理。假设预置的监控对 象为URL (Uniform Resource Locator,统一资源定位符），监控指标为URL的访问次数。
[0071] 首先，从消息队列模块302中接收到的待处理数据分成3份，3个数据聚合单元中 的每一个处理相应一份待处理数据。假设待处理数据中包含URLUURL2以及URL3的数据， 预置的监控对象为URL1和URL2。假设在3个数据聚合单元中，数据聚合单元1处理的待 处理数据包含访问地址是URL1和URL3的数据，数据聚合单元2处理的待处理数据包括访 问地址是URL1和URL2的数据，数据聚合单元3处理的待处理数据包括访问地址是URL2和 URL3的数据。这时，数据聚合单元1处理这些数据后得到key为URL1的键值对；数据聚合 单元2处理这些数据后得到key为URL1和URL2的键值对；数据聚合单元3处理这些数据 后得到key为URL2的键值对。以监控指标为URL的访问次数为例，数据聚合单元1进行聚 合处理后产生的结果就是中间键值对，例如（URL1 :900)，其中900代表URL的访问次数。数 据聚合单元2进行聚合处理后产生的结果就是中间键值对（URL1 :400)、（URL2 :600)。数据 聚合单元3进行聚合处理后产生的结果就是中间键值对（URL2 :1000)。这时，各数据聚合单 元可以将产生的中间键值对中键相同的值传递给同一个数据收集单元。具体实现时，各数 据聚合单元根据键值对中的键key进行哈希运算，从而得到数据收集单元的访问地址（例 如，数据聚合单元中的某个特定于一个数据收集单元的缓存或内存地址），然后把相应键值 对传送到相应缓存或内存地址，从而相应数据收集单元可以在稍后通过访问相应缓存或内 存地址，得到相应键值对。例如，数据聚合单元1可以把key为URL1的键值对（URL1 :900) 传送到特定于数据收集单元1的缓存或内存地址R1。数据聚合单元2可以把key为URL1 的键值对（URL1 :400)传送到特定于数据收集单元1的缓存或内存地址R1，把key为URL2 的键值对（URL2 :600)传送到特定于数据收集单元2的缓存或内存地址R2。数据聚合单元 3可以把key为URL2的键值对（URL2 :1000)传送到特定于数据收集单元2的缓存或内存地 址R2。这样，具有相同键key = URL1的键值对最终均被传递给相同的数据收集单元1，由 数据收集单元1接收同一个键key(URLl)的值（900、400)，然后将这组值合并以产生合并结 果，即合并结果为（URL1:1300)。也就是说，通过数据聚合单元和数据收集单元的处理，从 众多URL中统计出key为URL1的总访问次数为1300。类似的，具有相同键key = URL2的 键值对最终均被传递给相同的数据收集单元2,由数据收集单元2接收同一个键key (URL2) 的值（600、1000)，然后将这组值合并以产生合并结果，即合并结果为（URL2 :1600)。也就是 说，通过数据聚合单元和数据收集单元的处理，从众多URL中统计出key为URL2的总访问 次数为1600。需要说明的是，以上仅为示例性说明，不视为对本发明的限制。
[0072] 在本实施例中，所述系统还可以包括统一配置模块（图3未示出），配置用于对所 述数据处理模块进行统一配置。由于采用分布式的技术，数据聚合单元和数据收集单元有 多个，所以如果在每个单元上进行配置文件部署会很不方便。因此在本发明实施例中利用 统一配置模块对数据聚合单元和数据收集单元进行统一管理配置。例如，当数据聚合单元 或者数据收集单元所在的机器负载较高时，可以立即注册一个新的机器成为新的数据收集 单元或数据聚合单元。如果数据聚合单元或者数据收集单元所在的机器宕机，也可以迅速 将宕掉的机器剔除，不影响整个系统的运行。又例如，由统一配置模块将来自消息队列模块 的数据分成与数据聚合单元的数目相对应的份数。又例如，由统一配置模块确定监控规则、 监控对象和监控指标、具体的哈希函数等等。
[0073] 进一步地，本发明实施例的系统还可以包括：报警模块，配置用于对经过数据处理 模块处理后的处理结果进行统计，当获得的统计结果满足预置的报警条件时，输出报警提 示信息。其中，报警模块根据数据处理模块统计后的结果进行对比分析。报警规则可配置， 支持多个维度多个层次的配置项，并提供邮件报警、短信报警等机制。
[0074] 在本发明这一实施例中，数据聚合单元和数据收集单元采用分布式的设计，数据 聚合单元通过对待监控对象的哈希得到数据收集单元的访问地址。这样系统可以无限水平 扩展，而且不需要整个架构做过多调整。各个数据聚合单元和数据收集单元并行地工作，实 现了对海量数据的实时处理，显著提高了对实时数据的处理能力。并且，由于数据聚合单元 和数据收集单元采用分布式的设计，整个系统的抗故障能力大幅度提高，不会出现集中式 设计中会出现的瓶颈。
[0075] 示例件方法
[0076] 在介绍了本发明示例性实施方式的设备之后，接下来，参考图4对本发明示例性 实施方式的、用于数据监控的方法进行介绍。
[0077] -种方法，应用于数据监控系统，所述系统包括数据发送模块、消息队列模块、以 及数据处理模块，所述方法包括：
[0078] S401，数据发送模块向所述消息队列模块发送待处理数据。
[0079] S402,所述消息队列模块接收并存储所述数据发送模块发送的所述待处理数据， 以及，向所述数据处理模块发送待处理数据。
[0080] S403,所述数据处理模块接收所述消息队列模块发送的待处理数据，按照预置的 监控规则对所述待处理数据进行处理，输出处理结果。
[0081] 其中，所述数据发送模块异步地向所述消息队列模块发送待处理数据。
[0082] 进一步地，所述方法还包括：
[0083] 当所述数据处理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请 求待处理数据；
[0084] 消息队列模块向所述数据处理模块发送待处理数据包括：
[0085] 当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块 发送待处理数据。
[0086] 其中，所述消息队列模块向所述数据处理模块发送待处理数据包括：
[0087] 根据存储的数据订阅信息，向数据处理模块发送与所述数据订阅消息对应的待处 理数据。
[0088] 其中，当所述数据处理模块包括数据聚合单元和数据收集单元时，则所述接收所 述消息队列模块发送的待处理数据，按照预置的监控规则对所述待处理数据进行处理，输 出处理结果包括：
[0089] 当所述预置的监控规则包括监控对象和监控指标时，所述数据聚合单元按照预置 的监控规则将待处理数据聚合处理成以监控对象为键，监控指标为值的键值对数据，以及， 对聚合处理后的数据进行哈希运算，得到与其对应的数据收集单元的访问地址，将所述聚 合处理后的数据发送到相应位置；
[0090] 所述数据收集单元接收所述数据聚合单元聚合处理后的数据，对具有相同键的键 值对数据进行合并得到合并结果。
[0091] 进一步地，所述方法还包括：
[0092] 对经过数据处理模块处理后的处理结果进行统计，当获得的统计结果满足预置的 报警条件时，输出报警提示信息。
[0093] 进一步地，在所述数据处理模块包括多个数据聚合单元和数据收集单元的情况 下，所述方法还包括：
[0094] 对所述数据处理模块进行统一设置。
[0095] 需要说明的是，以上对设备实施例进行了详细地介绍，方法实施例可以参照设备 实施例实现。
[0096] 应当注意，尽管在上文详细描述中提及了数据监控系统的若干装置或子装置，但 是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两 个或更多装置的特征和功能可以在一个装置中具体化。反之，上文描述的一个装置的特征 和功能可以进一步划分为由多个装置来具体化。
[0097] 此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者 暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的 结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一 个步骤分解为多个步骤执行。
[〇〇98] 虽然已经参考若干【具体实施方式】描述了本发明的精神和原理，但是应该理解，本 发明并不限于所公开的【具体实施方式】，对各方面的划分也不意味着这些方面中的特征不能 组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和 范围内所包括的各种修改和等同布置。
【权利要求】
1. 一种系统，包括数据发送模块、消息队列模块、数据处理模块，其中： 所述数据发送模块，配置用于向所述消息队列模块发送待处理数据； 所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数据， 以及，向所述数据处理模块发送待处理数据； 所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照 预置的监控规则对所述待处理数据进行处理，输出处理结果。
2. 根据权利要求1所述的系统，其中： 所述数据发送模块配置用于异步地向所述消息队列模块发送待处理数据。
3. 根据权利要求1所述的系统，其中： 所述数据处理模块配置用于： 当所述数据处理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请求待 处理数据； 所述消息队列模块配置用于： 当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块发送 待处理数据。
4. 根据权利要求1所述的系统，其中： 所述消息队列模块配置用于： 根据存储的数据订阅信息，向数据处理模块发送与所述数据订阅信息对应的待处理数 据。
5. 根据权利要求1所述的系统，其中： 所述数据处理模块包括数据聚合单元和数据收集单元， 所述数据聚合单元配置用于：当所述预置的监控规则包括监控对象和监控指标时，按 照预置的监控规则将待处理数据聚合处理成以监控对象为键、监控指标为值的键值对数 据，以及，对聚合处理后的数据进行哈希运算，得到与其对应的数据收集单元的访问地址， 将所述聚合处理后的数据发送到相应位置； 所述数据收集单元配置用于：接收所述数据聚合单元聚合处理后的数据，对具有相同 键的键值对数据进行合并得到合并结果。
6. 根据权利要求5所述的系统，其中，所述数据处理模块包括至少两个数据聚合单元 以及至少两个数据收集单元。
7. 根据权利要求6所述的系统，还包括： 统一配置模块，配置用于对所述数据处理模块进行统一配置。
8. 根据权利要求1所述的系统，其中： 所述系统包括至少两个数据发送模块；和/或 所述系统包括至少两个消息队列模块。
9. 根据权利要求1所述的系统，还包括： 报警模块，配置用于对经过数据处理模块处理后的处理结果进行统计，当获得的统计 结果满足预置的报警条件时，输出报警提示信息。
10. -种方法，应用于数据监控系统，所述系统包括数据发送模块、消息队列模块、以及 数据处理模块，所述方法包括： 所述数据发送模块向所述消息队列模块发送待处理数据； 所述消息队列模块接收并存储所述数据发送模块发送的所述待处理数据，以及，向所 述数据处理模块发送待处理数据； 所述数据处理模块接收所述消息队列模块发送的待处理数据，按照预置的监控规则对 所述待处理数据进行处理，输出处理结果。
【文档编号】H04L12/26GK104065540SQ201410331540
【公开日】2014年9月24日 申请日期:2014年7月11日 优先权日:2014年7月11日
【发明者】崔坤, 曹鲁, 董海疆, 张红泽 申请人:网之易信息技术（北京）有限公司