一种数据监控系统和方法
【技术领域】
[0001]本发明的实施方式涉及数据处理领域，更具体地，本发明的实施方式涉及一种数据监控系统和方法。
【背景技术】
[0002]随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，产生了大量待处理的实时数据，例如网络监测数据、电信呼叫记录、金融应用数据、Web日志及点击流数据等。这些实时数据具有数据量极大、生成速度快和生成速率随时间变化等特点。如何在资源有限的情况下，实现对这些实时数据的快速、有效处理成为一个亟需解决的问题。
[0003]本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0004]传统的关系数据库管理系统在处理有限的存储数据方面是高效的，但是处理大量的实时数据时则效率低下。
【发明内容】
[0005]在本发明实施方式的第一方面中，提供了一种系统，包括:数据发送模块、消息队列模块、数据处理模块，其中:
[0006]所述数据发送模块，配置用于向所述消息队列模块发送待处理数据；
[0007]所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据；
[0008]所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。
[0009]优选地，所述数据发送模块配置用于异步地向所述消息队列模块发送待处理数据。
[0010]优选地，所述数据处理模块配置用于:
[0011]当所述数据处理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请求待处理数据；
[0012]所述消息队列模块配置用于:
[0013]当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块发送待处理数据。
[0014]优选地，所述消息队列模块配置用于:
[0015]根据存储的数据订阅信息，向数据处理模块发送与所述数据订阅信息对应的待处理数据。
[0016]优选地，所述数据处理模块包括数据聚合单元和数据收集单元，
[0017]所述数据聚合单元配置用于:当所述预置的监控规则包括监控对象和监控指标时，按照预置的监控规则将待处理数据聚合处理成以监控对象为键、监控指标为值的键值对数据，以及，对聚合处理后的数据进行哈希运算，得到与其对应的数据收集单元的访问地址，将所述聚合处理后的数据发送到相应位置；
[0018]所述数据收集单元配置用于:接收所述数据聚合单元聚合处理后的数据，对具有相同键的键值对数据进行合并得到合并结果。
[0019]优选地，所述数据处理模块包括至少两个数据聚合单元以及至少两个数据收集单
J Li ο
[0020]优选地，所述系统包括至少两个数据发送模块；和/或所述系统包括至少两个消息队列模块。
[0021 ] 优选地，所述系统还包括:
[0022]报警模块，配置用于对经过数据处理模块处理后的处理结果进行统计，当获得的统计结果满足预置的报警条件时，输出报警提示信息。
[0023]优选地，所述系统还包括:
[0024]统一配置模块，配置用于对所述数据处理模块进行统一配置。
【具体实施方式】
[0025]本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
[0026]根据本发明的实施方式，提出了一种数据监控系统和方法。
[0027]在本文中，需要理解的是，所涉及的术语“消息队列”用于表示在消息的传输过程中保存消息的容器。一般地，“消息”是在两台计算机间传送的数据单位。“消息队列”的主要作用在于提供路由并保证消息的传递。例如，发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。
[0028]根据本发明实施方式，提供了一种数据监控系统和方法，当有待处理数据时，通过数据发送模块，向消息队列模块发送待处理数据，消息队列模块用于接收并存储待处理数据，并向数据处理模块发送待处理数据，所述数据处理模块用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。本发明实施例提供的系统和方法可以对实时产生的待处理数据，通过数据发送模块、消息队列模块发送给数据处理模块，由数据处理模块实现数据的实时处理，以输出处理结果，实现了对海量数据的实时处理，显著提高了系统对实时数据的处理能力。
[0029]在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
[0030]在本发明具体实现时，使用了消息队列模块接收并存储所述数据发送模块发送的所述待处理数据。其中，消息队列(MessageQueue)用于把那些复杂的数据处理业务跟在线主要业务分离，提供丰富的特性和可扩展性。在一种可能的实现方式中，可以采用ActiveMQ消息队列，其中，消息队列模块202为服务器，在数据发送模块和数据处理模块两个模块上分别有两个客户端，用来发布和订阅消息。具体实现时，为了提高系统的可靠性，消息队列模块可以采用集群的方式，例如系统可以包括至少两个消息队列模块。当系统包括至少两个消息队列模块时，可以创建负载均衡系统，用于实现各消息队列模块的负载均衡，任何一个消息队列模块发生故障或者宕机时，不会影响整个消息队列模块集群的正常运行。
[0031]具体实现时，消息队列模块配置用于向数据处理模块发送待处理数据，所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。
[0032]其中，数据处理模块可以主动拉取消息队列模块中保存的待处理数据。当数据处理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请求待处理数据。消息队列模块当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块发送待处理数据。也就是说，在这种实现方式中，数据处理模块可以根据自身的数据处理情况，灵活选择时机向消息队列模块请求发送待处理数据。相对于消息队列模块推送数据给数据处理模块的方式，这种方式更加灵活，由于是在数据处理模块空闲时主动拉取数据，因此可以保证数据处理模块可以有能力处理数据，而不会出现数据处理模块繁忙时仍向其推送数据导致的数据不能及时处理的情况。
[0033]当然，本领域技术人员可以理解的是，在一种可能的实现方式中，消息队列模块还可以接收数据处理模块的数据订阅信息，根据存储的数据订阅信息，向数据处理模块发送与所述数据订阅信息对应的待处理数据。当然，消息队列模块存储的数据订阅信息也可以是系统预先配置好的。消息队列模块可以实时地或者定时地向数据处理模块发送与数据订阅信息对应的待处理数据。
【主权项】
1.一种系统，包括数据发送模块、消息队列模块、数据处理模块，其中: 所述数据发送模块，配置用于向所述消息队列模块发送待处理数据；所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据；所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。2.根据权利要求1所述的系统，其中:所述数据发送模块配置用于异步地向所述消息队列模块发送待处理数据。3.根据权利要求1所述的系统，其中:所述数据处理模块配置用于:当所述数据处理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请求待处理数据；所述消息队列模块配置用于:当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块发送待处理数据。4.根据权利要求1所述的系统，其中:所述消息队列模块配置用于:根据存储的数据订阅信息，向数据处理模块发送与所述数据订阅信息对应的待处理数据。5.根据权利要求1所述的系统，其中:所述数据处理模块包括数据聚合单元和数据收集单元，所述数据聚合单元配置用于:当所述预置的监控规则包括监控对象和监控指标时，按照预置的监控规则将待处理数据聚合处理成以监控对象为键、监控指标为值的键值对数据，以及，对聚合处理后的数据进行哈希运算，得到与其对应的数据收集单元的访问地址，将所述聚合处理后的数据发送到相应位置；所述数据收集单元配置用于:接收所述数据聚合单元聚合处理后的数据，对具有相同键的键值对数据进行合并得到合并结果。6.根据权利要求5所述的系统，其中，所述数据处理模块包括至少两个数据聚合单元以及至少两个数据收集单元。7.根据权利要求6所述的系统，还包括:统一配置模块，配置用于对所述数据处理模块进行统一配置。8.根据权利要求1所述的系统，其中:所述系统包括至少两个数据发送模块；和/或所述系统包括至少两个消息队列模块。9.根据权利要求1所述的系统，还包括:报警模块，配置用于对经过数据处理模块处理后的处理结果进行统计，当获得的统计结果满足预置的报警条件时，输出报警提示信息。
【专利摘要】本发明的实施方式提供了一种数据监控系统。该系统包括：数据发送模块、消息队列模块、数据处理模块，其中：所述数据发送模块，配置用于向所述消息队列模块发送待处理数据；所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据；所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。
【IPC分类】H04L12/26
【公开号】CN105634834
【申请号】CN201410582431
【发明人】李 东
【申请人】青岛金讯网络工程有限公司
【公开日】2016年6月1日
【申请日】2014年10月27日