数据实时监控的方法、装置及系统的制作方法

文档序号:7894062阅读:230来源:国知局
专利名称:数据实时监控的方法、装置及系统的制作方法
技术领域
本发明涉及数据监控技术领域,尤其涉及一种数据实时监控的方法、装置及系统。
背景技术
当前,随着人们对数据业务精细化运营的要求越来越高,数据实时监控技术得到了广泛的应用。数据实时监控是指利用软件对系统运行的过程及相应的数据进行实时同步的监控,例如杀毒软件对计算机内存进行监控。现有技术的数据实时监控的系统包括数据提取、转换、装载(Extraction-Transformation-Loading,简称ETL)设备,数据库设备及数据展现系统。现有技术的数据实时监控的方法是由所述ETL设备对外来的数据(例如由深度数 据包检测设备(Deep Packet Inspection,简称DPI)进行汇总处理后的数据)进行定时获取、并进行汇总处理,然后定时向数据库设备(例如关系数据库或内存数据库)发送所述ETL设备汇总处理后的数据,数据库设备对所述ETL设备汇总处理后的数据进行存储,最后由所述数据展现系统(例如报表系统或仪表盘系统等)使用定时任务的方式,定时从所述数据库设备的数据表中获取数据,对获取的数据进行过滤和汇总,并以图或表的形式向用户进行展现。在实现本发明实施例的过程中,发明人发现现有技术中至少存在如下问题由于现有技术的ETL设备及数据展现系统都采用定时任务式的处理方式,一旦ETL设备处理性能跟不上,将导致数据发送存在延迟,则数据库设备的数据表中将没有记录某段时间内的数据,使得数据展现系统展现出现异常,例如报表展现出现锯齿状。

发明内容
本发明的实施例提供一种数据实时监控的方法、装置及系统,以实现数据的延迟展现在秒级范围内,一定程度上解决了现有技术中由于数据发送存在延迟,造成数据的展现存在异常的问题。为达到上述目的,本发明的实施例采用如下技术方案一种数据实时监控的方法,包括接收数据提取、转换、装载ETL设备推送过来的业务数据包,所述业务数据包包括业务数据及所述业务数据的业务类型;根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送,以使得所述数据展现系统基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。一种集成装置,包括接收单元,用于接收数据提取、转换、装载ETL设备推送过来的业务数据包,所述业务数据包包括业务数据及所述业务数据的业务类型;推送单元,用于根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送,以使得所述数据展现系统基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。一种数据实时监控的系统,包括数据提取、转换、装载ETL设备、集成装置和数据展现系统,所述数据提取、转换、装载ETL设备,用于在接收到业务数据包时,将所述业务数据包向所述集成装置推送,所述业务数据包包括业务数据及所述业务数据的业务类型;所述集成装置,用于根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送;所述数据展现系统,用于基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。本发明实施例提供的数据实时监控的方法、装置及系统,由于通过接收所述ETL 设备推送过来的业务数据包,并根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送,以使得所述数据展现系统基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。这样使得所述数据展现系统实时展现与所述业务数据对应的图表,避免了现有技术中一旦数据展现系统在当前周期定时任务触发时从数据库设备中没有获取到ETL设备延迟发送的数据,则需要等到下一个周期定时任务触发时才能获取到的情况,从而能实现数据的延迟展现在秒级范围内,一定程度上解决了现有技术中由于数据发送存在较大延迟,造成数据的展现存在异常的问题。


为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图I为本发明实施例提供的数据实时监控的方法的流程图;图2为本发明又一实施例提供的数据实时监控的方法的流程图;图3为本发明实施例提供的集成装置的结构示意图一;图4为本发明实施例提供的集成装置的结构示意图二 ;图5为本发明实施例提供的集成装置的结构示意图三;图6为本发明实施例提供的数据实时监控的系统的结构示意图。
具体实施例方式下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。为了使本发明技术方案的优点更加清楚,下面结合附图和实施例对本发明作详细说明。如图I所示,本发明实施例提供的数据实时监控的方法,所述方法包括
步骤101、接收数据提取、转换、装载ETL设备推送过来的业务数据包。其中,所述业务数据包包括业务数据及所述业务数据的业务类型。例如所述业务类型可以是用户掉话率、用户网络实时流量等,但不仅局限于此。步骤102、根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送,以使得所述数据展现系统基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。 需要说明的是,本发明实施例提到的数据触发模式是相对于现有技术中的定时任务触发模式之外的另一种触发模式,本发明实施例提到的数据触发模式可以理解为数据展现系统一收到业务数据,就绘制并展现与所述业务数据对应的图表。以及,步骤102中涉及的“实时展现”可以理解为一收到业务数据,数据展现系统就绘制并展现与所述业务数据对应的图表,应当理解为这里的实时展现可以允许数据的延迟展现在秒级范围内,但实时性相对于现有技术是有较大改进的。需要说明的是,本发明实施例对发送策略的获得方式不做限定,对发送策略的获得时机应当理解为可以是预先获得的,也可以是动态或实时获得的,只要在需要使用发送策略之前即可,这里的预先获得的可以理解为系统初始化运行时预先获得,也可以理解为在需要使用发送策略之前预先获得的,例如在将所述业务数据向数据展现系统推送之前预先获得。本发明实施例中,获得的发送策略可以是预先设置在所述集成装置的发送策略,或者,可以是预先设置在与所述集成装置具有通信连接的第三方存储设备上的发送策略,或者,所述集成装置上设置有交互接口,可以是通过所述交互接口接收用户动态配置的发送策略。例如,集成装置在获取到所述业务数据包后,获取到所述业务数据的业务类型(例如所述业务类型为用户掉话率),并根据所述发送策略(如用户掉话率采用直接透传的方式发送)将所述业务数据向数据展现系统推送,但不仅局限于此。其中,所述数据展现系统可以是报表系统或仪表盘系统等,所述业务数据对应的图表可以是曲线图、表格等,但不仅局限于此。其中,所述步骤101与步骤102的执行主体为一种集成装置,在一种实现方式下,该集成装置可以将所述ETL设备和数据展现系统进行集成,集成装置首先实现ETL设备的推送Push Data接口,并对外同样提供一个推送Push Data接口,与集成装置对接的数据展现系统需要实现集成装置的推送Push Data接口,以获取从ETL设备推送的业务数据,然后将数据实时的推送给所述数据展现系统,但不仅局限于此。可见,本发明实施例提供的数据实时监控的方法,由于通过接收所述ETL设备推送过来的业务数据包,并根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送,以使得所述数据展现系统基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。这样使得所述数据展现系统实时展现与所述业务数据对应的图表,避免了现有技术中一旦数据展现系统在当前周期定时任务触发时从数据库设备中没有获取到ETL设备延迟发送的数据,则需要等到下一个周期定时任务触发时才能获取到的情况,从而控制数据的延迟展现在秒级范围内,一定程度上解决了现有技术中由于数据发送存在较大延迟,造成数据的展现存在异常的问题。为了使得本领域的技术人员更好的理解本发明实施例提供过的技术方案,下面将通过又一个具体实例来进一步介绍本发明实施例中提供的数据实时监控的方法。如图2所示,本发明又一实施例提供的数据实时监控的方法,所述方法包括步骤201、ETL设备在接收到业务数据包时,将所述业务数据包推送到集成装置。其中,所述业务类型可以是例如用户掉话率、计算机风扇转速、计算机主板温度、用户网络实时流量等,但不仅局限于此。所述业务类型可以是用户掉话率、用户网络实时流量等,但不仅局限于此。具体的,所述集成装置在所述ETL设备推送数据时,应用一个第一数据推送函数(Push Date函数)中的一个ETL数据推送类(ETL Push Date类)接收来自所述ETL设备的业务数据包,其中所述ETL Push Date类遵守ETL元数据规则(ETL Meta Date规则),所述来自所述ETL设备的数据的元数据可以存储于所述ETL Push Date类中的一个ETL元数 据二维链表(ETL Meta Date 二维链表)中,所述二维链表是动态可配置的,但不仅局限于此。步骤202、集成装置解析所述业务数据包,并获取得到所述业务数据的业务类型。步骤203、集成装置根据所述业务数据的业务类型以及所述业务类型与发送方式的对应关系,确定业务数据的发送方式。其中,所述发送方式包括直接透传及定时发送,若确定得到的发送方式为直接透传,执行步骤204,若确定得到的发送方式为定时发送,执行步骤205。具体的,在所述集成装置中可以设置有对应于所述业务类型与发送方式的对应关系的配置文件,所述配置文件记录有多种业务类型所采取的发送方式,例如用户掉话率可以采用直接透传的发送方式,计算机主板温度可以采用直接透传的发送方式,用户网络实时流量可以采用定时发送的发送方式,但不仅局限于此。或者,所述集成装置上设置有交互接口,所述集成装置可以通过在获取到所述业务数据的业务类型后,通过所述交互接口接收用户动态配置的发送策略,其中包括所述业务类型所采取的发送方式,但不仅局限于此。步骤204、集成装置直接透传所述业务数据,将所述业务数据向数据展现系统推送。具体的,所述集成装置在将所述业务数据向所述数据展现系统推送时,将所述业务数据封装为整合推送数据类(Integrate Push Date类),并推送给一个第二数据推送函数(Integrate Push Date函数),使得所述数据展现系统通过所述Integrate Push Date函数接收到所述业务数据。例如,所述集成装置在第I分钟、第2分钟、第3分10秒的时刻获取到业务数据,则所述集成装置在第I分钟、第2分钟、第3分10秒的时刻直接将业务数据向所述数据展现系统推送,使得所述数据展现系统基于数据触发模式,在第I分钟、第2分钟、第3分10秒的时刻的误差允许范围(例如延迟小于等于O. I秒)内能够展现所述业务数据对应的图表。这样,就避免了现有技术中如果数据库设备中没有第3分钟的数据记录,当数据展现系统定时任务触发来获取数据时,比如第3分钟就获取不到数据,这样展现的图表在第3分钟处会出现断点,数据展现系统需要等到下一个周期定时任务触发才能获取到数据库设备中记录的第3分10秒的数据,从而带来较大延迟的问题,尤其是数据展现系统与ETL设备的定时任务时钟不同步,例如数据展现系统与ETL设备的定时任务时钟交错,则会带来比较严重延迟的问题。
又例如在所述业务类型为用户掉话率时,一般情况下用户掉话事件采用直接透传的发送方式,过程为所述ETL设备在获知到用户掉话后,触发用户掉话率统计流程以实时统计用户掉话率,并将所述用户掉话率推送到集成装置中;所述集成装置在接收到所述用户掉话率后,直接将与用户掉话率相关的数据打包,生成可扩展标记语言(Extensible Markup Language,简称XML)文件,并将所述XML文件推送给数据展现系统;所述数据展现系统(例如报表系统或仪表盘系统等)应用所述XML文件中的与用户掉话率相关的数据,展现所述用户掉话率对应的图表(例如曲线图、表格等)。步骤205、集成装置保存所述业务数据,并根据预先设置的保存时间,在超出所述预先设置的保存时间时将所述业务数据向数据展现系统推送。
·
可选的,所述预先设置的保存时间可以是所述配置文件中设置的保存时间,但不仅局限于此。例如在所述业务数据为用户网络实时流量时,配置文件中设置了所述集成装置按照每2分钟向数据展现系统推送一次用户当前的业务数据,例如所述集成装置在第I·分钟、第2分钟、第3分10秒、第4分钟的时刻获取到了业务数据,则所述第I分钟的业务数据需要在所述集成装置中保存I分钟,并在第2分钟与第2分钟的业务数据一起被推送到所述数据展现系统中,同理,所述第3分10秒的业务数据将在第4分钟与第4分钟的业务数据一起被推送到所述数据展现系统中,使得所述数据展现系统基于数据触发模式,在第2分钟的时刻的误差允许范围(例如延迟小于等于O. I秒)内能够展现第I分钟与第2分钟的业务数据对应的图表,在第4分钟的时刻的误差允许范围(例如延迟小于等于O. I秒)内能够展现第3分10秒与第4分钟的业务数据对应的图表。这样,就避免了现有技术中如果数据库设备中没有第3分钟的数据记录,当数据展现系统定时任务触发来获取数据时,比如第3分钟就获取不到数据,这样展现的图表在第3分钟处会出现断点,数据展现系统需要等到下一个周期定时任务触发才能获取到数据库设备中记录的第3分10秒的数据,从而带来较大延迟的问题,尤其是数据展现系统与ETL设备的定时任务时钟不同步,例如数据展现系统与ETL设备的定时任务正好时钟交错,则会带来比较严重延迟的问题。步骤206、数据展现系统基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。其中,所述数据展现系统可以是报表或仪表盘报表系统或仪表盘系统等,所述业务数据对应的图表可以是曲线图、表格等,但不仅局限于此。具体的,所述基于数据触发模式可以是所述数据展现系统在接收到业务数据后,即可在数据展现系统的界面上展现业务数据对应的图表,例如可以由所述Integrate PushDate函数触发展现进程。可见,本发明又一实施例提供的数据实时监控的方法,由于通过接收所述ETL设备推送过来的业务数据包,并根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送,以使得所述数据展现系统基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。这样使得所述数据展现系统实时展现更新后的基础数据,避免了现有技术中一旦数据展现系统在当前周期定时任务触发时从数据库设备中没有获取到ETL设备延迟发送的数据,则需要等到下一个周期定时任务触发时才能获取到的情况,从而控制数据的延迟展现在秒级范围内,一定程度上解决了现有技术中由于数据发送存在较大延迟,造成数据的展现存在异常的问题。如图3所示,本发明实施例提供的一种集成装置,包括接收单元31,用于接收数据提取、转换、装载ETL设备推送过来的业务数据包,所述业务数据包包括业务数据及所述业务数据的业务类型。其具体实现方式参见图I中步骤101所示,此处不再赘述。推送单元32,用于根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送,以使得所述数据展现系统基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。其具体实现方式参见图I中步骤102所示,此处不再赘述。
具体的,本发明实施例的集成装置可以将所述ETL设备和数据展现系统进行集成,集成装置首先实现ETL设备的推送Push Data接口,并对外同样提供一个推送PushData接口,与集成装置对接的数据展现系统需要实现集成装置的推送Push Data接口,以获取从ETL设备推送的业务数据,然后将数据实时的推送给所述数据展现系统,但不仅局限于此。进一步的,如图4所示,所述发送策略包括所述业务类型与发送方式的对应关系,所述推送单元32包括解析模块321,用于解析所述业务数据包,并获取得到所述业务数据的业务类型。其具体实现方式参见图2中步骤202所示,此处不再赘述。存储区控制模块322,用于根据所述业务数据的业务类型以及所述业务类型与发送方式的对应关系,确定业务数据的发送方式。具体的,所述存储区控制模块322可以是一种存储控制器Memory Keeper,所述Memory Keeper提供数据存储和数据交换功能,使得所述集成装置可以根据业务数据的类型确定是否将业务数据保存在所述Memory Keeper —段时间,或者从所述Memory Keeper中直接透传,但不仅局限于此。其具体实现方式参见图2中步骤203所示,此处不再赘述。数据推送模块323,用于根据所述发送方式将所述业务数据向数据展现系统推送。其具体实现方式参见图2中步骤204-205所示,此处不再赘述。进一步的,如图4所示,如果确定所述业务数据的发送方式为直接透传,所述数据推送模块323具体用于直接透传所述业务数据,将所述业务数据向数据展现系统推送。其具体实现方式参见图2中步骤204所示,此处不再赘述。或者,如图5所示,如果确定所述业务数据的发送方式为定时发送,所述推送单元32还包括存储模块324,用于保存所述业务数据。具体的,所述存储模块324可以是在所述Memory Keeper存储控制器中的一个Memory Keeper存储器,所述Memory Keeper存储器是一个基于内存的ETL元数据ETLMetaData 二维存储链表,能够存储来自ETL的业务数据。所述数据推送模块323具体用于根据预先设置的保存时间,在超出所述预先设置的保存时间时将所述存储模块324中的业务数据向数据展现系统推送。其具体实现方式参见图2中步骤205所示,此处不再赘述。
可见,本发明实施例提供的集成装置,由于通过接收单元接收所述ETL设备推送过来的业务数据包,并由推送单元根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送,以使得所述数据展现系统基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。这样使得所述数据展现系统实时展现更新后的基础数据,避免了现有技术中一旦数据展现系统在当前周期定时任务触发时从数据库设备中没有获取到ETL设备延迟发送的数据,则需要等到下一个周期定时任务触发时才能获取到的情况,从而控制数据的延迟展现在秒级范围内,一定程度上解决了现有技术中由于数据发送存在较大延迟,造成数据的展现存在 异常的问题。本发明实施例提供的数据实时监控的系统,如图6所示,包括数据提取、转换、装载ETL设备41、集成装置42、数据展现系统43。具体的,所述集成装置42能够将所述ETL设备41及所述数据展现系统43集成为同一个系统,使得所述ETL设备41、集成装置42、数据展现系统43的工作时钟一致,本发明实施例的数据实时监控的系统包括的所述ETL设备41、集成装置42、数据展现系统43可以部署在同一个节点上,也可以部署在不同的节点上,但不仅局限于此。所述ETL设备41,用于在接收到业务数据包时,将所述业务数据包向所述集成装置42推送,所述业务数据包包括业务数据及所述业务数据的业务类型。其具体实现方式参见图I中步骤101所示,此处不再赘述。所述集成装置42,用于根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统43推送。其具体实现方式参见上述集成装置的实施例,此处不再赘述。所述数据展现系统43,用于基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。其具体实现方式参见图I中步骤102所示,此处不再赘述。进一步的,如图6所示,所述集成装置42具体用于直接透传所述ETL设备41推送过来的业务数据,将所述业务数据向数据展现系统43推送;或者保存所述ETL设备41推送过来的业务数据,并根据预先设置的保存时间,在超出所述预先设置的保存时间时将所述业务数据向数据展现系统43推送。可见,本发明实施例提供的数据实时监控的系统,由于通过接收所述ETL设备推送过来的业务数据包,并根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送,以使得所述数据展现系统基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。这样使得所述数据展现系统实时展现更新后的基础数据,避免了现有技术中一旦数据展现系统在当前周期定时任务触发时从数据库设备中没有获取到ETL设备延迟发送的数据,则需要等到下一个周期定时任务触发时才能获取到的情况,从而控制数据的延迟展现在秒级范围内,一定程度上解决了现有技术中由于数据发送存在较大延迟,造成数据的展现存在异常的问题。进一步的,针对现有技术中由于ETL设备、数据库设备、数据展现系统属于不同的系统,而且多系统运行且各系统都采用定时任务式的处理方式,从而定时任务时钟无法保持一致即不同步,一旦ETL设备出现处理性能跟不上,导致数据发送存在严重的时间延迟,进而导致数据展现系统展现异常(比如某段时间内数据库表中没有数据记录,导致报表展现出现锯齿状)的问题,本发明实施例的集成装置42能够将所述ETL设备41及所述数据展现系统43集成为同一个系统,使得ETL设备41、集成装置42、数据展现系统43的工作时钟一致,而且本发明实施例中的ETL设备和集成装置主动推送数据,且数据展现系统采用数据触发模式进行实时图表展现,这样的话,即使ETL设备延迟数据发送,也能控制数据的延迟展现在秒级范围内,从而满足运营商对数据业务的实时监控要求,包括实时图表所反映的数据变化需要在秒级范围内。通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘,硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。以上所述,仅为本发明的具体实施方式
,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵 盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
权利要求
1.一种数据实时监控的方法,其特征在于,包括 接收数据提取、转换、装载ETL设备推送过来的业务数据包,所述业务数据包包括业务数据及所述业务数据的业务类型; 根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送,以使得所述数据展现系统基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。
2.根据权利要求I所述的方法,其特征在于,所述发送策略包括所述业务类型与发送方式的对应关系,所述根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送,包括 解析所述业务数据包,并获取得到所述业务数据的业务类型; 根据所述业务数据的业务类型以及所述业务类型与发送方式的对应关系,确定业务数据的发送方式; 根据所述发送方式将所述业务数据向数据展现系统推送。
3.根据权利要求2所述的方法,其特征在于,所述发送方式包括直接透传,所述根据所述发送方式将所述业务数据向数据展现系统推送,包括 直接透传所述业务数据,将所述业务数据向数据展现系统推送。
4.根据权利要求2所述的方法,其特征在于,所述发送方式包括定时发送,所述根据所述发送方式将所述业务数据向数据展现系统推送,包括 保存所述业务数据,并根据预先设置的保存时间,在超出所述预先设置的保存时间时将所述业务数据向数据展现系统推送。
5.一种集成装置,其特征在于,包括 接收单元,用于接收数据提取、转换、装载ETL设备推送过来的业务数据包,所述业务数据包包括业务数据及所述业务数据的业务类型; 推送单元,用于根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送,以使得所述数据展现系统基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。
6.根据权利要求5所述的集成装置,其特征在于,所述发送策略包括所述业务类型与发送方式的对应关系,所述推送单元,包括 解析模块,用于解析所述业务数据包,并获取得到所述业务数据的业务类型; 存储区控制模块,用于根据所述业务数据的业务类型以及所述业务类型与发送方式的对应关系,确定业务数据的发送方式; 数据推送模块,用于根据所述发送方式将所述业务数据向数据展现系统推送。
7.根据权利要求6所述的集成装置,其特征在于,如果确定所述业务数据的发送方式为直接透传,所述数据推送模块具体用于直接透传所述业务数据,将所述业务数据向数据展现系统推送。
8.根据权利要求6所述的集成装置,其特征在于,如果确定所述业务数据的发送方式为定时发送,所述推送单元还包括存储模块,用于保存所述业务数据; 所述数据推送模块具体用于根据预先设置的保存时间,在超出所述预先设置的保存时间时将所述存储模块中的业务数据向数据展现系统推送。
9.一种数据实时监控的系统,其特征在于,包括数据提取、转换、装载ETL设备、集成装置和数据展现系统, 所述数据提取、转换、装载ETL设备,用于在接收到业务数据包时,将所述业务数据包向所述集成装置推送,所述业务数据包包括业务数据及所述业务数据的业务类型; 所述集成装置,用于根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送; 所述数据展现系统,用于基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。
10.根据权利要求9所述的系统,其特征在于,所述集成装置具体用于 直接透传所述ETL设备推送过来的业务数据,将所述业务数据向数据展现系统推送;或者, 保存所述ETL设备推送过来的业务数据,并根据预先设置的保存时间,在超出所述预先设置的保存时间时将所述业务数据向数据展现系统推送。
全文摘要
本发明实施例公开了一种数据实时监控的方法、装置及系统,涉及数据监控技术领域,一定程度上解决了现有技术中一旦数据提取、转换、装载ETL设备处理性能跟不上时,数据发送存在延迟,使得数据展现系统展现出现异常的问题。所述数据实时监控的方法包括接收ETL设备推送过来的业务数据包,所述业务数据包包括业务数据及所述业务数据的业务类型;根据所述业务数据的业务类型以及获得的发送策略,将所述业务数据向数据展现系统推送,以使得所述数据展现系统基于数据触发模式,在接收到所述业务数据后实时展现与所述业务数据对应的图表。本发明适用于数据监控,如数据流量监控等。
文档编号H04L12/26GK102710455SQ20121011731
公开日2012年10月3日 申请日期2012年4月19日 优先权日2012年4月19日
发明者邱恒 申请人:华为技术有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1