数据运维监控方法及装置的制造方法
【技术领域】
[0001]本发明实施例涉及网络通信技术领域，尤其涉及一种数据运维监控方法及装置。
【背景技术】
[0002]随着计算机和网络通信的发展，数据承载和数据应用迅速普及，针对数据服务、业务应用的运维也显得日益重要。数据中心的运维范围包含两个层面，针对CPU、硬盘、网络等通用数据的运维，以及针对各业务应用的私有数据的运维。
[0003]在针对私有业务应用数据的运维层面，传统的实现方式是针对每种业务应用数据均经过数据指标定义、数据监控和统计展示分析、数据采集、数据清洗和数据展示界面等开发步骤，随着业务应用的逐步扩展，每种业务数据均重复上述开发工作而投入的工作量逐步增大，最终导致人力成本逐步提升而难以支撑。
【发明内容】
[0004]本发明实施例提供一种数据运维监控方法及装置，减少人工开发操作，实现对业务应用数据的自动化运维监控，提供运维支撑效率。
[0005]第一方面，本发明实施例还提供一种数据运维监控装置，包括:
[0006]基础元数据监控管理模块，用于提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；
[0007]统计元数据监控管理模块，用于提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。
[0008]第二方面，本发明实施例提供了一种数据运维监控方法，包括:
[0009]提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；
[0010]提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。
[0011]本发明实施例通过基础元数据监控管理模块提供基础元数据的监控管理功能，并对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；通过统计元数据监控管理模块提供对统计元数据的监控管理，并对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。本发明实施例所述提供的装置能够减少人工开发操作，实现对业务应用数据的自动化运维监控，提供运维支撑效率。
【附图说明】
[0012]图1A为本发明实施例一提供的数据运维监控装置的结构示意图；
[0013]图1B为本发明实施例一提供的数据运维监控装置中的基础元数据监控管理模块所执行的操作流程示意图；
[0014]图1C为本发明实施例一提供的数据运维监控装置中的统计元数据监控管理模块所执行的操作流程示意图；
[0015]图1D为本发明实施例一提供的数据运维监控装置中的任务调度过程示意图；
[0016]图1E为本发明实施例一提供的数据运维监控装置中的角色控制流程示意图；
[0017]图2为本发明实施例二提供的数据运维监控方法的流程示意图。
【具体实施方式】
[0018]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0019]实施例一
[0020]图1A为本发明实施例一提供的数据运维监控装置的结构示意图，如图1A所示，具体包括:基础元数据监控管理模块11和统计元数据监控管理模块12 ;
[0021]所述基础元数据监控管理模块11用于提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；
[0022]所述统计元数据监控管理模块12用于提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。
[0023]具体来说，如图1B所示，所述基础元数据监控管理模块11是对基础监控数据的管理，具体包括数据库表(例如，支持关系型数据库与非关系型的数据库)与字段的管理、元数据对象与对象属性的管理、界面与界面元素的管理、查询视图的管理。并以RESTFUL软件架构风格的形式对外提供元数据配置引擎、元数据管理引擎。
[0024]如图1C所示，所述统计元数据监控管理模块12是针对统计主题、维度与度量的管理，包括主题管理、主题模型管理、公有维度管理、私有维度管理、维度层级管理、度量管理、度量方式管理。一方面以RESTFUL接口形式对外提供统计元数据管理界面，另一方面提供统计元数据管理引擎，将统计元数据配置信息传给ETL引擎。
[0025]本实施例通过基础元数据监控管理模块提供基础元数据的监控管理功能，并对外提供基础元数据配置引擎和基础元数据管理引擎；通过统计元数据监控管理模块提供对统计元数据的监控管理，并对外提供统计元数据管理界面和统计元数据管理引擎。本实施例所述提供的装置能够减少人工开发操作，实现对业务应用数据的自动化运维监控，提供运维支撑效率。
[0026]示例性的，在上述实施例的基础上，所述装置还包括:主题表管理模块13 ;
[0027]所述主题表管理模块13用于提供主题表初始索引配置、主题表自动创建、自动升级、数据留存、版本管理与版本恢复功能和支持关系型数据库中的至少一种功能；针对主题表的访问历史记录进行分析和索引优化。
[0028]具体的，所述主题表管理模块13基于上述统计元数据管理引擎，进行主题表的管理，同时提供主题表自动创建、自动升级、数据留存、版本管理与版本恢复功能，并支持各种关系型数据库。还提供主题表初始索引配置功能，并提供针对主题表的访问历史记录与分析，自动或人工进行索引后期优化。提供主题表其他层面性能优化与分析功能。
[0029]示例性的，在上述实施例的基础上，所述装置还包括:数据处理模块14 ;
[0030]所述数据处理模块14用于采用商业智能平台SpagoBI的抽取转换加载ETL组件对数据进行抽取和清洗；采用商业智能平台SpagoBI的商业智能BI组件对数据采用统计图表进行展现。
[0031]具体的，所述数据处理模块14基于商业智能平台SpagoBI的抽取转换加载ETL组件实现实现基础元数据的获取、数据转换、数据清洗、数据归并、数据存储、数据流转监控等功能，达到数据清洗的自动化。并对源码进行修改，将ETL工具与元数据、主题表配置进行整合，提供给用户界面级配置工具，降低配置开发难度与人员水平。
[0032]示例性的，在上述实施例的基础上，所述装置还包括:任务管理模块15 ;
[0033]所述任务管理模块15用于提供任务管理配置、任务调度和任务监控功能；所述任务管理配置包括任务执行实体管理、任务执行实体归类管理、任务轮训时长管理、任务重试管理及任务执行日志管理中的至少一种，所述任务调度包括多线程任务处理和/或任务追赶，所述任务监控包括监控任务启动、任务停止、任务暂停、任务重试一次、任务执行日志、历史日志异常自动获取、自动统计和主动分析中的至少一种。
[0034]具体的，第一方面，所述任务管理模块15提供任务基础数据的管理配置，包括任务执行实体管理、任务执行实体归类管理、任务轮训时长管理、任务重试管理及任务执行日志管理。
[0035]第二方面，所述任务管理模块15基于待处理资源管理单元、线程池管理单元和应用服务管理单元进行多线程任务处理和任务追赶等操作。如图1D所示，为任务调度处理过程，所述待处理资源管理单元用于描述待处理资源，所述应用服务管理单元用于根据所述线程池中的线程数据为服务器分配线程，所述线程池管理单元用于为每个待处理资源描述分配运行的线程数，经过所述待处理资源管理单元、线程池管理单元和应用服务管理单元的处理，即可形成执行任务，即所述执行任务包括每个待处理资源描述对应的线程和运行服务器，通过任务管理引擎单元将所述执行任务传送至任务管理服务单元，同时所述任务管理服务单元根据待处理资源集合，得到每个待处理资源与对应的线程和运行服务器的对应关系，将其放置到缓存中的任务队列中，任务处理引擎间隔调用任务队列中的待处理资源，将所述待处理资源分配到对应的服务器上，启动对应的线程运行，最终得到数据处理结果O
[0036]第三方面，所述任务管理模块15提供任务监控功能，提供任务启动、停止、暂停、重试一次等操作，并监控任务执行日志，监控历史日志异常自动获取、自动统计和主动分析功能。
[0037]示例性的，在上述实施例的基础上，所述装置还包括:权限控制管理模块16 ;
[0038]所述权限控制管理模块16用于提供权限控制管理，所述权限控制管理包括用户、用户组、角色、员工、功能的配置及数据权限、角色分级中的至少一种。
[0039]具体