上报数据的处理方法、装置、计算机设备和存储介质与流程

文档序号:21406751发布日期:2020-07-07 14:40阅读:254来源:国知局
上报数据的处理方法、装置、计算机设备和存储介质与流程

本申请涉及服务数据处理技术领域,特别是涉及一种上报数据的处理方法、装置、计算机设备和存储介质。



背景技术:

服务提供设备在提供服务过程中,由于一些无法掌控和预测的因素,在运行阶段中可能会出现一些异常情况导致无法提供正常服务。类似这些情况研发人员均都需要及时掌握,以便及时查看问题和解决问题,因此需要对服务提供设备的服务提供过程进行数据监控。

当前很多应用场景中都需要对各种服务数据进行监控。例如操作系统的服务数据监控、游戏进程的服务数据监控、后台进程的服务数据监控、数据库的服务数据监控等。然而,由于服务种类繁多、服务数量也比较多,不可能由每个服务提供设备各自处理监控。因此,需要一个统一监控装置对各个服务提供设备的服务数据进行统一监控管理。

然而,每个服务提供设备上报的上报数据有可能不同,上报数据的数据格式也可能多样化,统一监控装置很难对多个服务提供设备的上报数据进行存储管理,这也将导致无法实现统一监控装置对各个服务提供设备的服务数据进行统一监控管理。



技术实现要素:

基于此,有必要针对上述技术问题,提供一种能够对各服务提供设备上报的上报数据进行统一存储管理的上报数据的处理方法、装置、计算机设备和存储介质。

一种上报数据的处理方法,该方法包括:接收当前接入服务的当前上报数据,当前接入服务为接入到监控系统的多个接入服务中的任意一个接入服务,当前上报数据按照多个接入服务的统一配置信息进行数据格式配置且当前上报数据包含当前接入服务的标识信息;确定预先配置的数据存储格式,数据存储格式根据多个接入服务的统一配置信息进行设置;从当前上报数据中提取当前接入服务的标识信息;根据标识信息以及数据存储格式对当前上报数据进行数据存储。

在其中一个实施例中,上报数据的处理方法还包括:根据多个接入服务的统一配置信息在关系型数据库中设置数据存储格式;根据标识信息以及数据存储格式对当前上报数据进行数据存储,包括:根据标识信息获取当前接入服务的服务检索信息;若根据服务检索信息检测到关系型数据库中已包含按照数据存储格式进行存储的当前接入服务的第一历史上报数据时,通过用当前上报数据替换第一历史上报数据的方式将当前上报数据存储到关系型数据库中;若根据服务检索信息检测到关系型数据库中未包含当前接入服务的第一历史上报数据时,根据数据存储格式将当前上报数据存储到关系型数据库中。

在其中一个实施例中,上报数据的处理方法还包括:获取当前接入服务的标识信息;根据标识信息获取当前接入服务的第一显示配置信息;根据标识信息获取关系型数据库中的当前上报数据;根据第一显示配置信息对当前上报数据进行数据显示。

在其中一个实施例中,上报数据的处理方法还包括:根据多个接入服务的统一配置信息在时序数据库中设置数据存储格式;根据标识信息以及数据存储格式对当前上报数据进行数据存储,包括:根据标识信息确定时序数据库中包含数据存储格式对应的目标存储表;获取当前时间信息;将当前上报数据与当前时间信息进行关联后按照数据存储格式存储到目标存储表中;

优选地,上报数据的处理方法还包括:确定目标存储表中距离当前时间预设时间段内当前接入服务的第二历史上报数据;将目标存储表中除第二历史上报数据之外的当前接入服务的历史数据进行删除。

在其中一个实施例中,上报数据的处理方法还包括:获取当前接入服务的标识信息;根据标识信息获取当前接入服务的第二显示配置信息;根据标识信息获取目标存储表中存储的当前接入服务的第三历史上报数据;根据第二显示配置信息对第三历史上报数据进行数据显示。

在其中一个实施例中,上报数据的处理方法还包括:读取多个接入服务的统一配置信息,统一配置信息包含服务的标识信息、服务检索信息以及服务业务信息;根据服务的标识信息、服务检索信息以及服务业务信息设置数据存储格式。

在其中一个实施例中,接收当前接入服务的当前上报数据,包括:从多个接入服务的统一配置信息中读取当前接入服务的数据上报配置信息;若根据数据上报配置信息确定当前接入服务的数据上报模式为主动上报模式,当确定接收到当前接入服务的数据上报请求时,接收当前接入服务的当前上报数据;若根据数据上报配置信息确定当前接入服务的数据上报模式为被动上报模式,获取当前接入服务对应的数据提供设备的接口信息,根据接口信息从数据提供设备中采集当前接入服务的当前上报数据,以接收当前接入服务的当前上报数据。

一种上报数据的处理装置,该装置包括:接收模块,用于接收当前接入服务的当前上报数据,当前接入服务为接入到监控系统的多个接入服务中的任意一个接入服务,当前上报数据按照多个接入服务的统一配置信息进行数据格式配置且当前上报数据包含当前接入服务的标识信息;确定模块,用于确定预先配置的数据存储格式,数据存储格式根据多个接入服务的统一配置信息进行设置;提取模块,用于从当前上报数据中提取当前接入服务的标识信息;存储模块,用于根据标识信息以及数据存储格式对当前上报数据进行数据存储。

一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述任一实施例方法的步骤。

一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施例方法的步骤。

上述上报数据的处理方法、装置、计算机设备和存储介质,监控系统接收当前接入服务的当前上报数据。其中,当前接入服务为接入到监控系统的多个接入服务中的任意一个接入服务,当前上报数据按照多个接入服务的统一配置信息进行数据格式配置且当前上报数据包含当前接入服务的标识信息。进一步地,监控系统确定预先配置的数据存储格式,数据存储格式为监控系统根据多个接入服务的统一配置信息进行设置,同时从当前上报数据中提取当前接入服务的标识信息,最后根据标识信息以及数据存储格式对当前上报数据进行数据存储。因此,监控系统根据多个接入服务中任意一个接入服务的标识信息将该任意一个接入服务的上报数据按照统一配置信息设置得到的数据存储格式进行数据存储,从而使得监控系统能够对多个接入服务的上报数据进行统一存储管理,保证了上报到监控系统的上报数据的格式统一,实现了对各类型服务的接入服务的上报数据的统一存储管理。

附图说明

图1为一个实施例中一种上报数据的处理方法的应用环境图;

图2为一个实施例中一种上报数据的处理方法的流程示意图;

图3为另一个实施例中一种上报数据的处理方法的流程示意图;

图4为再一个实施例中一种上报数据的处理方法的流程示意图;

图5为又一个实施例中一种上报数据的处理方法的流程示意图;

图6为一个实施例中s102的流程示意图;

图7为一个实施例中监控系统的数据监控界面的显示示意图;

图8为另一个实施例中监控系统的数据监控界面的显示示意图;

图9为一个实施例中一种上报数据的处理装置的结构框图;

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请提供的一种上报数据的处理方法,应用于如图1所示的应用环境中。如图1所示,监控系统102对多个服务提供设备上报的上报数据进行统一数据监控。多个服务提供设备可以包括服务提供设备202、服务提供设备204、服务提供设备206和服务提供设备208等,各服务提供设备提供不一样的服务。例如,服务提供设备202为提供游戏进程服务的设备,服务提供设备204为提供后台进程服务的设备,服务提供设备206为提供游戏操作系统服务的设备,服务提供设备208为提供数据库服务的设备。服务提供设备将本地需要监控的服务数据上报到监控系统102,以便由监控系统102对各服务提供设备的服务进行监控管理。

然而,监控系统102在对各服务提供设备进行统一数据监控之前,需要对各服务提供设备上报的上报数据进行数据管理,例如对各服务提供设备上报的上报数据进行统一的存储管理。其中,监控系统102采用本申请的一种上报数据的处理方法对各服务提供设备上报的上报数据进行数据处理。具体地,监控系统102与各服务提供设备通信连接以接收各服务提供设备的接入服务对应的上报数据。监控系统102针对各接入服务设置有统一配置信息,并根据统一配置信息设置数据存储格式,各接入服务对应的上报数据均可按照该数据存储格式进行数据存储。但是,不同的接入服务对应的上报数据的数据格式可能不一样,此时监控系统102根据上报数据中接入服务的标识信息识别出对应的接入服务,再根据标识信息和数据存储格式对上报数据进行数据存储,因此可实现监控系统102对各类型的接入服务上报的上报数据进行数据统一存储管理。

在一个实施例中,如图2所示,提供了一种上报数据的处理方法,以该方法应用于图1中的监控系统为例进行说明,包括以下步骤:

s102,接收当前接入服务的当前上报数据,当前接入服务为接入到监控系统的多个接入服务中的任意一个接入服务,当前上报数据按照多个接入服务的统一配置信息进行数据格式配置且当前上报数据包含当前接入服务的标识信息。

在本实施例中,监控系统与多个服务提供设备连接,以接入多个接入服务。同时,监控系统针对多个接入服务设置有统一配置信息,监控系统根据统一配置信息对多个接入服务进行统一管理。其中,统一配置信息可以包括服务的标识信息、服务检索信息、服务业务信息以及服务的数据上报配置信息中的一项或多项信息。服务的标识信息可以是服务名或服务内部代码或者任意服务描述信息。服务检索信息可以是服务关键检索字段,服务关键检索字段用于区分服务间的差异性,所有的服务关键检索字段能够定位到唯一的一个服务的服务业务字段,服务关键检索字段也用于后续数据的检索优化与入库。服务业务信息可以是服务业务字段,服务业务字段用于监控系统收集服务间的各项差异性指标,此指标通常不用于确定唯一的服务,而只是用于数据查看与数据范围检索。数据上报配置信息可以是服务数据上报模式。服务数据上报模式包括主动上报模式和被动上报模式。主动上报模式需要将服务提供设备的发送信息串到监控系统的接收模块指定的url(uniformresourcelocator,统一资源定位符)中,被动上报模式需要监控系统提供一个对外开放的接口,用于监控系统的扫描模块对服务提供设备进行主动数据采集。

监控系统设置多个接入服务的统一配置信息之后,服务提供设备也需要按照统一配置信息对即将上报的上报数据进行数据格式配置。同时,为了识别出上报数据对应的接入服务,服务提供设备将表征接入服务的标识信息封装到上报数据中。监控系统接收当前接入服务的当前上报数据,并可以从当前上报数据中读取到标识信息,以根据标识信息识别出当前接入服务。

s104,确定预先配置的数据存储格式,数据存储格式根据多个接入服务的统一配置信息进行设置。

在本实施例中,监控系统针对多个接入服务预先配置有数据存储格式。该数据存储格式根据多个接入服务的统一配置信息进行设置,任一接入服务的上报数据均可按照该数据存储格式进行数据存储,从而可实现监控系统对多个接入服务的上报数据进行统一存储管理。

具体地,监控系统设置多个接入服务的统一配置信息之后,监控系统根据统一配置信息在存储模块创建对应的数据存储格式。例如,当统一配置信息包括服务内部代码、服务关键检索字段以及服务业务字段时,创建的数据存储格式可以是<服务内部代码、服务关键检索字段1、2、3……n、服务业务字段1、2、3……n>。具体地,在存储模块创建包含<服务内部代码、服务关键检索字段1..n、服务业务字段1..n>的数据存储格式的表。此外,将服务关键检索字段1..n作为存储模块中的索引表。因此,完成了对数据存储格式的预先配置。当监控系统接收当前接入服务的当前上报数据时,可直接确定出预先配置的数据存储格式。

s106,从当前上报数据中提取当前接入服务的标识信息。

在本实施例中,监控系统接收到当前接入服务的当前上报数据之后,从当前上报数据中解析出当前接入服务的标识信息。该标识信息用于唯一确定出当前接入服务。因此,监控系统可以根据标识信息识别出当前接入服务,从而对当前上报数据进行对应的数据处理。其中,当前接入服务的标识信息可以是监控系统定义的服务内部代码,或者是当前接入服务的服务名称,或者是其他用于描述当前接入服务的描述信息。

s108,根据标识信息以及数据存储格式对当前上报数据进行数据存储。

在本实施例中,监控系统中多个接入服务的服务类型可以是不同的,其接入服务对应的上报数据的数据格式也会存在差异。监控系统在使用统一的数据存储格式对上报数据进行数据存储时,需要根据不同的接入服务进行对应的存储调整。因此,监控系统可以根据当前接入服务的标识信息以及数据存储格式对当前上报数据进行数据存储,使得当前接入服务的当前上报数据的存储方式即满足监控系统对于数据存储的统一管理需求,又可以保留当前接入服务的当前上报数据的个性化存储需求。

具体地,监控系统可以根据标识信息以及数据存储格式确定出当前接入服务的数据存储方式,进而当前接入服务的当前上报数据按照当前接入服务的数据存储方式进行数据存储。例如,统一的数据存储格式包括服务内部代码字段、服务关键检索字段以及服务业务字段。监控系统根据标识信息识别出当前接入服务后,根据数据存储格式确定出当前接入服务的服务关键检索字段的第一数量以及服务业务字段的第二数量。根据服务内部代码字段、第一数量的服务关键检索字段以及第二数量的服务业务字段确定出当前接入服务的数据存储方式,进而将当前接入服务的当前上报数据按照该数据存储方式进行数据存储。如,数据存储方式可以是<服务内部代码、服务关键检索字段1、2、3……第一数量的数量值、服务业务字段1、2、3……第二数量的数量值>。

上述上报数据的处理方法,监控系统接收当前接入服务的当前上报数据。其中,当前接入服务为接入到监控系统的多个接入服务中的任意一个接入服务,当前上报数据按照多个接入服务的统一配置信息进行数据格式配置且当前上报数据包含当前接入服务的标识信息。进一步地,监控系统确定预先配置的数据存储格式,数据存储格式为监控系统根据多个接入服务的统一配置信息进行设置,同时从当前上报数据中提取当前接入服务的标识信息,最后根据标识信息以及数据存储格式对当前上报数据进行数据存储。因此,监控系统根据任意一个接入服务的标识信息将该任意一个接入服务的上报数据按照统一配置信息设置得到的数据存储格式进行数据存储,从而使得监控系统能够对多个接入服务的上报数据进行统一存储管理,保证了上报到监控系统的上报数据的格式统一,实现了对各类型服务的接入服务的上报数据的统一存储管理。

在一个实施例中,如图3所示,s104之前还包括步骤:

s1032,根据多个接入服务的统一配置信息在关系型数据库中设置数据存储格式。

此时s108包括步骤:

s1082,根据标识信息获取当前接入服务的服务检索信息。

s1084,若根据服务检索信息检测到关系型数据库中已包含按照数据存储格式进行存储的当前接入服务的第一历史上报数据时,通过用当前上报数据替换第一历史上报数据的方式将当前上报数据存储到关系型数据库中。

s1086,若根据服务检索信息检测到关系型数据库中未包含当前接入服务的第一历史上报数据时,根据数据存储格式将当前上报数据存储到关系型数据库中。

在该实施例中,监控系统采用关系型数据库对接入服务的上报数据进行数据存储。此时,监控系统根据多个接入服务的统一配置信息在关系型数据库中设置数据存储格式,利用该数据存储格式对多个接入服务的上报数据进行数据存储管理。具体地,监控系统配置需要接入的服务信息,也即是配置多个接入服务的统一配置信息之后,监控系统中的存储模块自动会在相应的关系型数据库mysql中设置数据存储格式。例如,数据存储格式为<服务内部代码、服务关键检索字段1、2、3……n、服务业务字段1、2、3……n>,此时可在关系型数据库mysql中创建<服务内部代码、服务关键检索字段1、2、3……n、服务业务字段1、2、3……n>的表,用于后续存储上报数据。此外,将服务关键检索字段1..n作为关系型数据库mysql的索引表。

进一步地,监控系统接收到当前接入服务的当前上报数据时,根据当前上报数据中的标识信息获取当前接入服务的服务检索信息,从而根据服务检索信息判断关系型数据库中是否包含有当前接入服务的第一历史上报数据。若是,则通过用当前上报数据替换第一历史上报数据的方式将当前上报数据存储到关系型数据库中。若否,则根据数据存储格式将当前上报数据存储到关系型数据库中。

具体地,当上报数据的数据格式为<服务内部代码、服务关键检索字段1、服务关键检索字段2..服务关键检索字段n、服务业务字段1、服务业务字段2..服务业务字段n>时,从上报数据中提取服务内部代码,该服务内部代码即为上述标识信息。进一步地,根据服务内部代码,定位到对应的关系数据库mysql的表中。根据服务关键检索字段1、服务关键检索字段2..服务关键检索字段n为检索条件的查询语句,对关系数据库mysql表中的记录进行检索。若能检索到相应记录,在关系型数据库mysql中进行更新操作,更新的条件为服务关键检索字段1、服务关键检索字段2..服务关键检索字段n,更新的数据为提取的服务业务字段1、服务业务字段2..服务业务字段n。若不能检索到相应记录,在关系型数据库mysql中进行数据插入操作,插入的条件为服务关键检索字段1、服务关键检索字段2..服务关键检索字段n,插入的数据为提取的服务业务字段1、服务业务字段2..服务业务字段n。其中,服务关键检索字段与服务业务字段为一对一对应的关系。

由于关系型数据库能够快速地检索出相应服务的最新数据,因此监控系统采用关系型数据库存储当前上报数据,能够实现快速读取出当前接入服务的当前上报数据以进行后续的数据监控,从而可以提高监控系统的数据管理效率。

在一实施例中,如图4所示,s1084或s1086之后,还包括步骤:

s110,接收当前接入服务的第一显示请求,第一显示请求中包含当前接入服务的标识信息,从第一显示请求中提取当前接入服务的标识信息。

s112,根据标识信息获取当前接入服务的第一显示配置信息。

s114,根据标识信息获取关系型数据库中的当前上报数据。

s116,根据第一显示配置信息对当前上报数据进行数据显示。

在该实施例中,当将当前接入服务的当前上报数据存储到关系型数据库之后,监控系统需要对当前上报数据进行数据显示。此时,监控系统接收当前接入服务的第一显示请求,第一显示请求中包含当前接入服务的标识信息,通过当前接入服务的标识信息获取到第一显示配置信息,第一显示配置信息用于指示监控系统按照指定的显示形式对当前上报数据进行数据显示。同时,监控系统根据标识信息获取关系型数据库中的当前上报数据,进而根据第一显示配置信息对当前上报数据进行数据显示。因此,可实现在监控系统中显示当前上报数据,从而实现对当前接入服务的数据监控。

其中,第一显示配置信息可以包括数据显示逻辑配置信息和/或数据依赖的资源的配置信息。数据显示逻辑配置信息可以包括数据是否显示的配置信息以及用于配置数据显示逻辑的自定义函数信息。数据依赖的资源的配置信息可以是配置服务依赖的资源表。具体地,服务关键检索字段、服务业务字段等均有配置显示的方法,每一个字段都可以配置它们的显示方式。例如,第一显示配置信息可以包括字段是否显示、是否包含自定义函数(在这个自定义函数中,有输入的字段的属性值、输入的字段的所在的行的全部数据、处理逻辑、输出,其中处理逻辑可以自定义编写)、依赖的资源表(一些显示逻辑会有对应关系,如道具id:1->荣耀护手)。在具体实现过程中,还可将资源表进行预加载,然后在自定义函数中用接口的形式进行快捷使用,预加载的过程能够提高效率,减少重复对资源表进行预加载的成本。进一步地,还可以配置依赖表的更新时间的时间差距,例如更新时间的时间差距为5分钟。

具体地,在显示当前上报数据的实现过程中,服务内部代码为当前接入服务的标识信息。从关系型数据库mysql中获取服务内部代码的对应表,进而遍历该对应表中的所有条目,对其进行上报时间降序显示,显示内容包括<服务名、服务关键检索字段1、服务关键检索字段2……服务关键检索字段n、服务业务字段1、服务业务字段2……服务业务字段n>。监控系统的显示模块对当前上报数据进行内容渲染显示。当渲染显示内容时,对服务关键字段1、2、3……n与服务业务字段1、2、3……n进行遍历,并进行显示渲染操作。在渲染过程中,判断当前上报数据的当前字段是否显示,如不显示,跳到下一个字段。如显示,若前字段不存在自定义函数,直接显示该字段的字段值。如存在自定义函数,判断是否已经配置依赖的资源表。如有配置,访问配置的url,将配置的url本身与所有的内存缓存哈希表进行比对,如果已经存在该url的内存缓存哈希表,则提取该内存缓存哈希表的最近更新时间,如大于配置依赖资源表的更新时间差距,则应刷新缓存,真正获取该配置表。此时,校验url中的内容是否为[{属性值1:显示值1},{属性值2:显示值2}……{属性值n:显示值n}]的形式,若是则将该内容存入内存缓存哈希表中,以键值对<属性值,显示值>形式存储,并记录该哈希表的最近更新时间。如不大于配置依赖资源表的更新时间差距,运用缓存,读取并执行自定义函数逻辑,自定义函数逻辑中提供一系列提供帮助的接口,可读取已经下载的资源表。提供帮助的接口提供一个输入,可以直接读取哈希表中的相关内容,并在自定义函数逻辑中作为执行过程中的其中一个输出。其中,是否将该输出直接输出为最终结果或中间经过处理以后再进行输出,取决于用户自身编写的逻辑。

对于当前上报数据的所有的行数的每一个字段按照以上方式进行显示处理,最终可通过输出显示表格的形式进行数据显示,并记录该显示表格生成的生成时间作为最后加载时间。此外,还可对监控系统的显示模块设置自动刷新时间,例如默认有<30秒、1分钟、5分钟、10分钟>的设置,用户可对其进行选择。若当前时间减去最后显示表格的加载时间的时间差距大于设置的自动刷新时间时,对显示表格进行自动数据刷新。

在一实施例中,如图5所示,s104之前还包括步骤:

s1034,根据多个接入服务的统一配置信息在时序数据库中设置数据存储格式。

此时,s108包括步骤:

s1087,根据标识信息确定时序数据库中包含数据存储格式对应的目标存储表。

s1088,获取当前时间信息。

s1089,将当前上报数据与当前时间信息进行关联后按照数据存储格式存储到目标存储表中。

在该实施例中,监控系统还采用时序数据库对当前上报数据进行数据存储。需要说明的是,以上关系型数据库只存储当前接入服务的当前上报数据,而时序型数据库中除了存储当前接入服务的当前上报数据之外,还用于存储当前接入服务的历史上报数据。具体地,在监控系统在存储当前接入服务的当前上报数据时,获取当前时间信息,将当前上报数据与当前时间信息进行关联后按照数据存储格式存储到时序型数据库的目标存储表中。例如,在时序性数据库influxdb中创建对应的目标存储表measurement,并将服务关键检索字段1……n设置为检索标签tag。监控系统采用时序型数据库对当前接入服务的当前上报数据进行数据存储,可实现对大量的数据快速地按照时间的维度快速做存储、分组、聚合等操作。此时,使用时序性数据库存储大量的时间数据,可实现以关键检索字段来进行快速检索。在生成图表与追溯过去历史的过程中,时序型数据库可作为数据的数据源。

优选地,s1089之后还包括:确定目标存储表中距离当前时间预设时间段内当前接入服务的第二历史上报数据,将目标存储表中除第二历史上报数据之外的当前接入服务的历史数据进行删除。

在该实施例中,监控系统对时序型数据库中目标存储表中的历史数据进行清除,将距离当前时间预设时间段内当前接入服务的第二历史上报数据之外的历史数据进行删除,从而保证后续对目标存储表中的历史数据的查询效率。例如,对目标存储表中相应的7天前数据进行清空处理,如此可确保数据能够自动进行过期,保证查询效率,避免数据的规模对查询性能与插入性能与存储空间的负面影响。

在一实施例中,s1089之后,还包括:接收当前接入服务的第二显示请求,第二显示请求中包含当前接入服务的标识信息,从第二显示请求中提取当前接入服务的标识信息;根据标识信息获取当前接入服务的第二显示配置信息;根据标识信息获取目标存储表中存储的当前接入服务的第三历史上报数据;根据第二显示配置信息对第三历史上报数据进行数据显示。

在该实施例中,监控系统接收当前接入服务的第二显示请求,第二显示请求中包含当前接入服务的标识信息,根据标识信息获取当前接入服务的第二显示配置信息,并且根据标识信息获取目标存储表中存储的当前接入服务的第三历史上报数据。其中,标识信息可以是监控系统设置的当前接入服务对应的服务内部代码。最终监控系统根据第二显示配置信息对第三历史上报数据进行数据显示。第二显示配置信息可以包括用于数据显示的显示图表的配置信息、数据的显示数据列格式化配置信息和/或渲染显示图表的类型配置信息。具体地,用户可以在监控系统的显示模块对当前接入服务的历史时序数据进行详细显示配置,配置界面先会显示各种服务配置给用户参考,然后再进行详细显示配置,详细显示配置可以包括多个图表的配置,一个图表的配置包括但不仅限于以下参数:<查询sql(可以对应查出所有数据)、显示数据列格式化配置(可以配置显示数据的数据格式)、渲染图表类型、渲染图表类型设置>。

配置完毕后,在显示模块进行渲染。具体地,显示模块查询数据并对数据进行预处理,数据预处理过程如下:

1、读取图表配置的查询sql,对时序数据库influxdb进行sql查询。

2、如sql查询错误,返回报错。

3、查询出对应的sql查询结果,将查询结果分为n行,每一行有m个字段,遍历m个字段,进行显示数据列格式化,格式化与渲染过程同上。

4、对预处理后的数据进行图表显示处理,渲染图表类型有多种,每种渲染图表的策略均有所不同,以下仅以折线图为例子进行说明:

4.1对于折线图而言,“渲染图表类型设置”包括但不仅包含以下配置:折线图显示宽度,折线图显示高度,每个点显示的像素,值警戒线数值,折线图颜色,显示的值字段。

4.2用上述配置的折线图显示宽度除以每个点显示的像素,得出显示的点的数量a。

4.3按照时间值大小从小到大排序,将数据的条目数量n除以点的数量a,得出需要采样的点采样距离b。将折线图显示宽度除以每个点显示的像素,得出每个点的间距距离。数据的显示值的字段的最大值max与最小值min。

4.4不断将数据条目数量n中对应的数据进行一条一条遍历,并渲染。

4.4.1记录当前的渲染位置横坐标x,纵坐标y与当前点的数量q。

4.4.2如果当前的点q是边界即0或者为n,将当前的点渲染,否则前进采样点采样距离b,将(q+b)作为新的q进行处理,到达目标数据条目q,将该条目的显示的值字段进行绘制,计算绘制的新位置为横坐标x=x+每个点的间距距离,纵坐标y=折线图显示高度乘以(当前显示值的字段值除以(最大值-最小值))。

4.5将步骤4.4中所有的点进行连线,线的颜色为上述步骤4.1的折线图颜色。

4.6对于值警戒线数值,确定纵坐标y=折线图显示高度乘以(值警戒线数值除以(最大值-最小值)),然后在这个纵坐标上画一条直线,画取警戒线以提示警戒值。

5.对所有的图表按照图表设置中的数据,按步骤4的步骤进行依次显示。

由此,监控系统可实现对时序型数据库的目标存储表中存储的当前接入服务的第三历史上报数据进行数据显示,从而可实现有助于对当前接入服务的数据进行数据监控。

在一实施例中,s104之前还包括:读取多个接入服务的统一配置信息,统一配置信息包含服务的标识信息、服务检索信息以及服务业务信息;根据服务的标识信息、服务检索信息以及服务业务信息设置数据存储格式。

在该实施例中,监控系统对多个接入服务设置有统一配置信息,该统一配置信息可以是人工配置后输入到监控系统中,由监控系统识别后进行存储。当统一配置信息包含服务的标识信息、服务检索信息以及服务业务信息时,监控系统设置的数据存储格式包含有服务的标识信息、服务检索信息以及服务业务信息对应的数据格式设置。例如,服务的标识信息可以是服务名、服务内部代码或服务描述信息等,服务检索信息可以是服务关键检索字段,服务业务信息可以是服务业务字段。此时,统一配置信息包括但不仅限于:服务名、服务内部代码、服务描述、服务关键检索字段(用于区分服务间的差异性,所有的关键检索字段必须能够定位到唯一的一个服务,也用于后续检索优化与入库)、服务业务字段(用于收集服务间的各项差异性指标,此指标通常不用作确定唯一的服务,而只是用于查看与范围检索)。此时,统一配置信息还可以包括服务的数据上报模式(分为主动上报模式与被动上报模式,主动上报模式需要发送信息串到装置接收模块指定的url中,被动上报模式需要提供一个对外开放的接口数据用于装置扫描模块进行主动采集)。监控系统可以根据统一配置信息在存储模块中设置数据存储格式,该数据存储格式对多个接入服务中任一接入服务的上报数据均适用,因此可实现监控系统对多个接入服务的上报数据的统一管理。

在一个实施例中,如图6所示,s102包括以下步骤:

s1022,从多个接入服务的统一配置信息中读取当前接入服务的数据上报配置信息。

s1024,若根据数据上报配置信息确定当前接入服务的数据上报模式为主动上报模式,当确定接收到当前接入服务的数据上报请求时,接收当前接入服务的当前上报数据。

s1026,若根据数据上报配置信息确定当前接入服务的数据上报模式为被动上报模式,获取当前接入服务对应的数据提供设备的接口信息,根据接口信息从数据提供设备中采集当前接入服务的当前上报数据,以接收当前接入服务的当前上报数据。

在该实施例中,监控系统设置的多个接入服务的统一配置信息中包含有接入服务的数据上报模式。该数据上报模式包括主动上报模式和被动上报模式。主动上报模式为服务提供设备主动向监控系统上传上报数据,监控系统只需要接收服务提供设备的上报数据即可。被动上报模式为监控系统对服务提供设备中的上报数据的采集。

若为主动上报模式,则在服务中实现数据主动上报逻辑为:

1、服务提供设备在服务中引用上报模块,并将上报模块进行配置,配置属性包括但不仅限于:服务内部代码、服务关键检索字段的值。

2、在上报模块中,配置上报数据的频率,并在配置数据上报的频率的同时,写好定时获取数据的逻辑。定时获取数据的逻辑主要是为了获取服务业务字段中的数据,程序需要自行实现获取数据的逻辑,并使用上报模块中提供的接口,将获取后的数据按照服务业务字段名依次写入到这些字段中,然后由程序采用上报逻辑自动向监控系统上报这些上报数据。

3、启动服务本身,服务提供设备的上报经过引用之后也会一并自动启动,检验参数是否合格:包括参数是否为上述已经配置的参数,获取数据的逻辑所写入的参数是否为已经配置的参数,通用的参数值是否在合法的配置范围内。

4、服务提供设备的上报模块自动按照数据上报的频率,自动执行获取数据的逻辑,并整理成<服务内部代码、服务关键检索字段1、服务关键检索字段2..服务关键检索字段n、服务业务字段1、服务业务字段2..服务业务字段n>形式的数据。

因此,服务提供设备实现了将上报数据上报到监控系统。对于监控系统而言,监测到服务提供设备进行数据上报时,接收服务提供设备发送的当前接入服务的当前上报数据即可。

若为被动上报模式,则在服务中实现数据被动上报逻辑为:

1、服务提供设备在服务中引用监控系统提供的暴露接口模块,并将暴露接口模块进行配置,配置属性包括但不仅限于:服务内部代码、服务关键检索字段的值。

2、在服务提供设备的暴露接口模块中写好获取数据的逻辑。获取数据的逻辑,主要是为了获取服务业务字段中的数据,程序需要自行实现获取数据的逻辑,并使用服务提供设备的上报模块中提供的接口,将获取后的数据按照服务业务字段名依次写入到这些字段中,然后这些数据会由暴露接口模块进行自动组装。

3、暴露接口模块会将数据自动整理成<服务内部代码、服务关键检索字段1、服务关键检索字段2……服务关键检索字段n、服务业务字段1、服务业务字段2……服务业务字段n>形式的数据。

4、服务提供设备启动服务本身,暴露接口服务也会随之而启动,并根据组装逻辑,自动增加地址为特定url的暴露接口,并将本服务的ip、端口、url信息上报到监控系统的数据接收模块。如此,监控系统的数据接收模块可根据ip、端口、url信息对服务提供设备进行自动数据采集。

因此,可实现监控系统对服务提供设备的上报数据进行数据采集。

需要说明的是,主动上报模式中数据经过整理后,服务提供设备自动通过gzip算法对数据进行压缩后上传到监控系统的数据接收模块。被动扫描模式中监控系统自动扫描对应暴露的接口地址信息以采集上报数据,并将上报数据存储到数据接收模块。因此,监控系统可实现多种数据上报模式,能够满足实际应用需求。

针对上述监控系统对多接入服务的统一配置信息,以下给出一些具体实现例子,以更好的说明本申请中的统一配置信息:

1、服务配置:

服务名:进程监控。

服务内部代码:process_monitor。

服务关键检索字段:gmweb.monitor.gamegmweb.monitor.platgmweb.monitor.serveridgmweb.monitor.type。

服务业务字段:不一一列举。

服务数据上报模式:主动上报。

当当前接入服务为进程监控时,其当前接入服务的当前数据显示如图7所示,其当前接入服务的历史数据显示如图8所示。

2、服务配置:

服务名:操作系统监控。

服务内部代码:os_monitor。

服务关键检索字段:gmweb.monitor.gamegmweb.monitor.platgmweb.monitor.serveridgmweb.monitor.type。

服务业务字段:不一一列举。

服务数据上报模式:主动上报。

本申请的一种上报数据的处理方法,采用关系型数据库与时序型数据库同时处理上报数据并抽取服务的共性关键字段,进而可以实现对服务进行监控,可以快速查看服务最新状态以及历史状态,并能解决数据的快速定位问题。此外,对于每个接入服务监控系统能够统一处理,对接入服务的上报数据进行数据结构统一,实现了共性中的个性,可进行定制化配置数据源以及数据展示模板,从而达到生成数据展示界面,便于统一查看数据。另外,对于监控系统而言,所有接入服务都能统一监控,不需要用户对每个服务单独监控处理或监控服务维护,使后期修改和维护更加便利。

应该理解的是,虽然流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,附图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本申请还提供一种上报数据的处理装置,如图9所示,该装置包括接收模块10、确定模块20、提取模块30以及存储模块40。接收模块10,用于接收当前接入服务的当前上报数据,当前接入服务为接入到监控系统的多个接入服务中的任意一个接入服务,当前上报数据按照多个接入服务的统一配置信息进行数据格式配置且当前上报数据包含当前接入服务的标识信息;确定模块20,用于确定预先配置的数据存储格式,数据存储格式根据多个接入服务的统一配置信息进行设置;提取模块30,用于从当前上报数据中提取当前接入服务的标识信息;存储模块40,用于根据标识信息以及数据存储格式对当前上报数据进行数据存储。

在一个实施例中,上报数据的处理装置还包括第一设置模块(图9未示出),用于根据多个接入服务的统一配置信息在关系型数据库中设置数据存储格式;此时存储模块40具体用于根据标识信息获取当前接入服务的服务检索信息,若根据服务检索信息检测到关系型数据库中已包含按照数据存储格式进行存储的当前接入服务的第一历史上报数据时,通过用当前上报数据替换第一历史上报数据的方式将当前上报数据存储到关系型数据库中,若根据服务检索信息检测到关系型数据库中未包含当前接入服务的第一历史上报数据时,根据数据存储格式将当前上报数据存储到关系型数据库中。

在一个实施例中,上报数据的处理装置还包括第一显示模块(图9未示出),用于获取当前接入服务的标识信息,根据标识信息获取当前接入服务的第一显示配置信息,根据标识信息获取关系型数据库中的当前上报数据,根据第一显示配置信息对当前上报数据进行数据显示。

在一个实施例中,上报数据的处理装置还包括第二设置模块(图9未示出),用于根据多个接入服务的统一配置信息在时序数据库中设置数据存储格式。此时存储模块40具体用于根据标识信息确定时序数据库中包含数据存储格式对应的目标存储表,获取当前时间信息,将当前上报数据与当前时间信息进行关联后按照数据存储格式存储到目标存储表中。

在一个实施例中,上报数据的处理装置还包括删除模块(图9未示出),用于确定目标存储表中距离当前时间预设时间段内当前接入服务的第二历史上报数据,将目标存储表中除第二历史上报数据之外的当前接入服务的历史数据进行删除。

在一个实施例中,上报数据的处理装置还包括第二显示模块(图9未示出),用于获取当前接入服务的标识信息,根据标识信息获取当前接入服务的第二显示配置信息,根据标识信息获取目标存储表中存储的当前接入服务的第三历史上报数据,根据第二显示配置信息对第三历史上报数据进行数据显示。

在一个实施例中,上报数据的处理装置还包括第三设置模块(图9未示出),用于读取多个接入服务的统一配置信息,统一配置信息包含服务的标识信息、服务检索信息以及服务业务信息,根据服务的标识信息、服务检索信息以及服务业务信息设置数据存储格式。

在一个实施例中,接收模块10具体用于从多个接入服务的统一配置信息中读取当前接入服务的数据上报配置信息,若根据数据上报配置信息确定当前接入服务的数据上报模式为主动上报模式,当确定接收到当前接入服务的数据上报请求时,接收当前接入服务的当前上报数据,若根据数据上报配置信息确定当前接入服务的数据上报模式为被动上报模式,获取当前接入服务对应的数据提供设备的接口信息,根据接口信息从数据提供设备中采集当前接入服务的当前上报数据,以接收当前接入服务的当前上报数据。

关于上报数据的处理装置的具体限定可以参见上文中对于上报数据的处理方法的限定,在此不再赘述。上述上报数据的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部设备连接,以与外部设备进行数据交互。该计算机程序被处理器执行时以实现一种上报数据的处理方法。

本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:接收当前接入服务的当前上报数据,当前接入服务为接入到监控系统的多个接入服务中的任意一个接入服务,当前上报数据按照多个接入服务的统一配置信息进行数据格式配置且当前上报数据包含当前接入服务的标识信息;确定预先配置的数据存储格式,数据存储格式根据多个接入服务的统一配置信息进行设置;从当前上报数据中提取当前接入服务的标识信息;根据标识信息以及数据存储格式对当前上报数据进行数据存储。

在其中一个实施例中,处理器执行计算机程序时实现以下步骤:根据多个接入服务的统一配置信息在关系型数据库中设置所述数据存储格式。处理器执行计算机程序实现上述的根据标识信息以及数据存储格式对当前上报数据进行数据存储步骤时,具体实现以下步骤:根据标识信息获取当前接入服务的服务检索信息;若根据服务检索信息检测到关系型数据库中已包含按照数据存储格式进行存储的当前接入服务的第一历史上报数据时,通过用当前上报数据替换第一历史上报数据的方式将当前上报数据存储到关系型数据库中;若根据服务检索信息检测到关系型数据库中未包含当前接入服务的第一历史上报数据时,根据数据存储格式将当前上报数据存储到关系型数据库中。

在其中一个实施例中,处理器执行计算机程序时实现以下步骤:获取当前接入服务的标识信息;根据标识信息获取当前接入服务的第一显示配置信息;根据标识信息获取关系型数据库中的当前上报数据;根据第一显示配置信息对当前上报数据进行数据显示。

在其中一个实施例中,处理器执行计算机程序时实现以下步骤:根据多个接入服务的统一配置信息在时序数据库中设置数据存储格式。处理器执行计算机程序实现上述的根据标识信息以及数据存储格式对当前上报数据进行数据存储步骤时,具体实现以下步骤:根据标识信息确定时序数据库中包含数据存储格式对应的目标存储表;获取当前时间信息;将当前上报数据与当前时间信息进行关联后按照数据存储格式存储到目标存储表中。

在其中一个实施例中,处理器执行计算机程序时实现以下步骤:确定目标存储表中距离当前时间预设时间段内当前接入服务的第二历史上报数据;将目标存储表中除第二历史上报数据之外的当前接入服务的历史数据进行删除。

在其中一个实施例中,处理器执行计算机程序时实现以下步骤:获取当前接入服务的标识信息;根据标识信息获取当前接入服务的第二显示配置信息;根据标识信息获取目标存储表中存储的当前接入服务的第三历史上报数据;根据第二显示配置信息对第三历史上报数据进行数据显示。

在其中一个实施例中,处理器执行计算机程序时实现以下步骤:读取多个接入服务的统一配置信息,统一配置信息包含服务的标识信息、服务检索信息以及服务业务信息;根据服务的标识信息、服务检索信息以及服务业务信息设置数据存储格式。

在其中一个实施例中,处理器执行计算机程序实现上述的接收当前接入服务的当前上报数据步骤时,具体实现以下步骤:从多个接入服务的统一配置信息中读取当前接入服务的数据上报配置信息;若根据数据上报配置信息确定当前接入服务的数据上报模式为主动上报模式,当确定接收到当前接入服务的数据上报请求时,接收当前接入服务的当前上报数据;若根据数据上报配置信息确定当前接入服务的数据上报模式为被动上报模式,获取当前接入服务对应的数据提供设备的接口信息,根据接口信息从数据提供设备中采集当前接入服务的当前上报数据,以接收当前接入服务的当前上报数据。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:接收当前接入服务的当前上报数据,当前接入服务为接入到监控系统的多个接入服务中的任意一个接入服务,当前上报数据按照多个接入服务的统一配置信息进行数据格式配置且当前上报数据包含当前接入服务的标识信息;确定预先配置的数据存储格式,数据存储格式根据多个接入服务的统一配置信息进行设置;从当前上报数据中提取当前接入服务的标识信息;根据标识信息以及数据存储格式对当前上报数据进行数据存储。

在其中一个实施例中,计算机程序被处理器执行时实现以下步骤:根据多个接入服务的统一配置信息在关系型数据库中设置所述数据存储格式。计算机程序被处理器执行实现上述的根据标识信息以及数据存储格式对当前上报数据进行数据存储步骤时,具体实现以下步骤:根据标识信息获取当前接入服务的服务检索信息;若根据服务检索信息检测到关系型数据库中已包含按照数据存储格式进行存储的当前接入服务的第一历史上报数据时,通过用当前上报数据替换第一历史上报数据的方式将当前上报数据存储到关系型数据库中;若根据服务检索信息检测到关系型数据库中未包含当前接入服务的第一历史上报数据时,根据数据存储格式将当前上报数据存储到关系型数据库中。

在其中一个实施例中,计算机程序被处理器执行时实现以下步骤:获取当前接入服务的标识信息;根据标识信息获取当前接入服务的第一显示配置信息;根据标识信息获取关系型数据库中的当前上报数据;根据第一显示配置信息对当前上报数据进行数据显示。

在其中一个实施例中,计算机程序被处理器执行时实现以下步骤:根据多个接入服务的统一配置信息在时序数据库中设置数据存储格式。计算机程序被处理器执行实现上述的根据标识信息以及数据存储格式对当前上报数据进行数据存储步骤时,具体实现以下步骤:根据标识信息确定时序数据库中包含数据存储格式对应的目标存储表;获取当前时间信息;将当前上报数据与当前时间信息进行关联后按照数据存储格式存储到目标存储表中。

在其中一个实施例中,计算机程序被处理器执行时实现以下步骤:确定目标存储表中距离当前时间预设时间段内当前接入服务的第二历史上报数据;将目标存储表中除第二历史上报数据之外的当前接入服务的历史数据进行删除。

在其中一个实施例中,计算机程序被处理器执行时实现以下步骤:获取当前接入服务的标识信息;根据标识信息获取当前接入服务的第二显示配置信息;根据标识信息获取目标存储表中存储的当前接入服务的第三历史上报数据;根据第二显示配置信息对第三历史上报数据进行数据显示。

在其中一个实施例中,计算机程序被处理器执行时实现以下步骤:读取多个接入服务的统一配置信息,统一配置信息包含服务的标识信息、服务检索信息以及服务业务信息;根据服务的标识信息、服务检索信息以及服务业务信息设置数据存储格式。

在其中一个实施例中,计算机程序被处理器执行实现上述的接收当前接入服务的当前上报数据步骤时,具体实现以下步骤:从多个接入服务的统一配置信息中读取当前接入服务的数据上报配置信息;若根据数据上报配置信息确定当前接入服务的数据上报模式为主动上报模式,当确定接收到当前接入服务的数据上报请求时,接收当前接入服务的当前上报数据;若根据数据上报配置信息确定当前接入服务的数据上报模式为被动上报模式,获取当前接入服务对应的数据提供设备的接口信息,根据接口信息从数据提供设备中采集当前接入服务的当前上报数据,以接收当前接入服务的当前上报数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1