数据监控方法、装置及计算机设备与流程

1.本发明涉及计算机数据处理领域，具体涉及一种数据监控方法、装置及 计算机设备。


背景技术：

2.电商业务中常有对数据的异常监控，并且随着业务场景的变化监控规则 也复杂多变。由于电商业务中商品种类繁多，并且会出现不定期的促销活动 等，因此在毛利业务中需要从多维度对电商平台电商数据进行监控，并且还 有规则业务可配、规则热更新等需求。
3.目前在电商毛利业务中通常采用规则引擎对平台订单数据进行监控，市 场主流规则引擎例如drools等对多维度的数据监控通常需要从多维度对大 量数据进行数据聚合和分析，规则配置则需要开发。需要存储和分析海量数 据，并且需要人工修改配置规则，配置规则修改慢，导致工作量大、监控效 率低下。


技术实现要素：

4.本发明目的是：提供一种数据监控方法、装置及计算机设备。
5.本发明的技术方案是：第一方面，本发明提供一种数据监控方法，所述 方法包括：
6.接收监控请求，所述监控请求至少包括业务类型信息；
7.根据所述业务类型信息和预设配置规则获取目标配置项信息，所述目标 配置项信息至少包括目标监控维度与目标指标类型；
8.基于所述目标监控维度与所述目标指标类型从数据库中匹配对应的目 标监控数据；
9.根据预设监控操作规则对所述目标监控数据进行对应处理。
10.在一种较佳的实施方式中，所述根据所述业务类型信息和预设配置规则 获取目标配置项信息包括：
11.根据所述业务类型信息和预设配置规则定时周期性地获取目标配置项 信息，所述目标配置项信息至少包括目标监控维度与目标指标类型。
12.在一种较佳的实施方式中，所述接收监控请求之前，所述方法还包括：
13.接收业务平台传送的业务数据；
14.对所述业务数据进行预处理以获取预设监控维度与预设指标类型对应 的监控数据。
15.在一种较佳的实施方式中，所述对所述业务数据进行预处理包括：
16.根据所述预设监控维度筛选划分所述业务数据；
17.根据所述预设指标类型对每个所述预设监控维度下的业务数据进行聚 合筛选操作，生成第一聚合结果；
18.所述基于所述目标监控维度与所述目标指标类型从数据库中匹配对应 的目标监
控数据包括：
19.基于所述目标监控维度与所述目标指标类型筛选所述第一聚合结果获 得目标监控数据。
20.在一种较佳的实施方式中，在满足预设条件时，所述根据第一预设指标 类型对每个所述预设维度下的业务数据进行聚合筛选操作，生成第一聚合结 果之后，所述方法还包括：
21.基于所述业务类型信息将所述第一聚合结果嵌套聚合筛选或基于所述 业务类型信息和第二预设指标类型对所述第一聚合结果进行筛选获得第二 聚合结果；
22.所述基于所述目标监控维度与所述目标指标类型从数据库中匹配对应 的目标监控数据包括：
23.基于所述目标监控维度与所述目标指标类型筛选所述第二聚合结果获 得目标监控数据。
24.在一种较佳的实施方式中，所述基于所述目标监控维度与所述目标指标 类型从数据库中匹配对应的目标监控数据之后，所述方法还包括：
25.发送所述目标监控数据至所述业务平台以供所述业务平台基于所述目 标监控数据生成对应的操作指令。
26.在一种较佳的实施方式中，所述接收监控请求之前，所述方法还包括：
27.存储预设配置规则至mysql数据库中；
28.所述基于所述目标监控维度与所述目标指标类型从数据库中匹配对应 的目标监控数据之后，所述方法还包括：
29.存储所述目标监控数据至所述mysql数据库中。
30.在一种较佳的实施方式中，所述基于所述目标配置项信息获取目标监控 数据包括：
31.基于所述目标配置项信息及预设查询引擎获取目标监控数据。
32.第二方面，本发明还提供一种数据监控装置，所述装置包括：
33.接收模块，用于接收监控请求，所述监控请求至少包括业务类型信息；
34.获取模块，用于根据所述业务类型信息和预设配置规则获取目标配置项 信息，所述目标配置项信息至少包括目标监控维度与目标指标类型；
35.匹配模块，用于基于所述目标监控维度与所述目标指标类型从数据库中 匹配对应的目标监控数据；
36.处理模块，用于根据预设监控操作规则对所述目标监控数据进行对应处 理。
37.第三方面，本发明提供一种计算机设备，包括存储器及处理器，所述存 储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计 算机程序时实现第一方面中任一项所述方法的步骤。
38.本发明的优点是：提供一种数据监控方法、装置及计算机设备，方法包 括接收监控请求；接收监控请求，监控请求至少包括业务类型信息；根据业 务类型信息和预设配置规则获取目标配置项信息，目标配置项信息至少包括 目标监控维度与目标指标类型；基于目标监控维度与目标指标类型从数据库 中匹配对应的目标监控数据；根据预设监控操作规则对目标监控数据进行对 应处理；预先将监控数据按监控维度和指标类型配制成数据
模块，在需要对 目标业务进行监控时，根据预设配置规则确定业务相关的监控维度和指标类 型，从而从数据库中匹配对应的目标监控数据，不必每进行一种业务监控时 都对所有的业务数据进行处理筛选和开发对应的配置规则，有效降低工作 量，提高监控效率，达到灵活操控的效果。
附图说明
39.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中 所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的 前提下，还可以根据这些附图获得其他的附图。
40.图1为本发明实施例一所提供的数据监控方法的流程图；
41.图2为本发明实施例二所提供的数据监控方法的流程图；
42.图3为本发明所提供的数据监控方法的架构图；
43.图4为本发明实施例三所提供的数据监控装置的结构模块图。
具体实施方式
44.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施 例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本 发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得 的所有其他实施例，都属于本发明保护的范围。
45.如背景技术中所述，电商平台的业务有很多种，如毛利业务、组货业务、 物流业务等，不同的业务需要对平台订单的不同数据进行监控，即根据业务 的需要在获取平台订单数据后，从业务需求出发从平台订单数据中筛选出所 需要的数据，再进行聚合和分析，目前通常采用如drools等规则引擎从业 务相关的多个维度对平台订单数据进行聚合和分析，至于对平台订单进行聚 合和分析的规则配置则需要开发人员另行开发，每种业务进行数据监控时都 需要对平台订单数据进行存储、筛选、聚合分析，处理的数据量极大，并且 每种业务都需要人工开发配置规则，工作量大、监控效率低下。
46.为解决上述问题，本发明创造性地提出了一种数据监控方法、装置及计 算机设备，将数据预先配制成数据模块，根据监控请求确定配置项，从而获 取对应的数据模块进行处理，对监控维度以及指标进行了细化固定，业务方 可自主配置，直接获取配制的数据模块，不必依赖于开发代码更改监控规则， 达到灵活操控的效果。
47.下面将结合具体实施例对本发明所提供的数据监控方法、装置及计算机 设备作进一步说明。
48.实施例一：本实施例提供一种数据监控方法，参照图1所示，该方法包 括：
49.s110、接收监控请求，监控请求至少包括业务类型信息。
50.监控请求表明是何种业务请求的数据监控，以便后续读取相应数据。示 例性的，监控请求中包括的业务类型信息是毛利业务，则后续读取毛利业务 所相关的数据。
51.s120、根据业务类型信息和预设配置规则获取目标配置项信息，目标配 置项信息至少包括目标监控维度与目标指标类型。
52.预先配置规则设置业务类型与监控维度、业务类型与指标类型的配置规 则，以根据当前监控请求中的业务类型配置所对应的监控维度和指标类型。
53.s130、基于目标监控维度与目标指标类型从数据库中匹配对应的目标监 控数据。
54.数据库中预先按监控维度与指标类型划分归类存储监控数据，根据目标 监控维度与目标指标类型从数据库中预先划分归类存储的监控数据中匹配 获取对应的目标监控数据。
55.s140、根据预设监控操作规则对所述目标监控数据进行对应处理。
56.本实施例提供的数据监控方法，预先将监控数据按监控维度和指标类型 处理并划分存储，在需要对目标业务进行监控时，根据预先设置的配置规则 确定业务相关的监控维度和指标类型，从而从数据库中直接获取对应的目标 监控数据，不必每进行一种业务监控时都对所有的业务数据进行处理筛选和 开发对应的配置规则，有效降低工作量，提高监控效率。
57.实施例二：本实施例提供一种数据监控方法，参照图2所示，该方法包 括：
58.s210、接收业务平台传送的业务数据。
59.具体的，业务数据指电商业务平台的所有实时订单数据。其中，订单数 据中至少包括订单编号、订单成交额、商品编号、商品售价、商品销售数量 等。
60.s220、对业务数据进行预处理以获取预设监控维度与预设指标类型对应 的监控数据。
61.在一种较佳的实施方式中，本步骤包括：
62.s220-1、根据预设监控维度筛选划分业务数据。
63.具体的，预设监控维度根据业务监控场景设置，不同的业务监控场景对 应不同的监控维度。示例性的，针对毛利业务的监控场景，需要监控商品、 订单、客户、品牌等维度的数据，而其他业务的监控场景，则关联其他维度 的数据，其他业务对应的监控维度在此不做赘述。根据预设监控维度将业务 数据划分为多个模块。于本实施例中，以毛利业务为例，根据商品、订单、 客户、品牌维度筛选出相关的业务数据并按上述维度划分筛选出的业务数 据。
64.s220-2、根据预设指标类型对每个预设监控维度下的业务数据进行聚合 筛选操作，生成第一聚合结果。
65.具体的，对每个预设监控维度下的业务数据计算相同的预设聚合指标， 于本实施例中，对商品维度、订单维度、客户维度、品牌维度每个预设监控 维度下的业务数据进行聚合计算输出min、max、avg、count、sum数组指标， 第一聚合结果包括每种预设监控维度下的min、max、avg、count、sum数组 指标。
66.在一种较佳的实施方式中，在满足预设条件时，s220-2之后，该方法 还包括：
67.s220-3、基于业务类型信息将第一聚合结果嵌套聚合筛选或基于业务类 型信息和第二预设指标类型对第一聚合结果进行筛选获得第二聚合结果。
68.即在特殊类型业务需要时根据业务类型信息和预设配置规则将s220-2 所获得的每种预设监控维度下的min、max、avg、count、sum数组指标作为 中间表，根据第二预设指标类型嵌套再进行聚合与筛选select agg, sum(index)from(sql_in_step_3)where condition_1 group by agg havingcondition_2。
69.s230、存储预设配置规则至mysql数据库中。
70.mysql数据库提供很多种类型的存储引擎，可以根据对数据处理的需求， 选择不同的存储引擎，从而最大限度的利用mysql强大的功能，能够从mysql 数据库中快速获取对应数据。
71.s240、接收监控请求，监控请求中至少包括业务类型信息。
72.于本实施例中，业务类型信息为毛利业务。
73.s250、根据业务类型信息和预设配置规则获取目标配置项信息，目标配 置项信息至少包括目标监控维度与目标指标类型。
74.具体的，从数据库中读取预设配置规则并根据监控请求中的业务类型信 息配置监控请求对应的配置项生成目标配置项信息，于本实施例中，业务类 型信息为毛利业务，根据业务类型信息和预设配置规则获取的目标配置项信 息即为毛利业务对应的配置项信息，目标配置项信息至少包括目标监控维度 与目标指标类型，则获取的目标配置项信息包括商品维度、订单维度、客户 维度、品牌维度与指标类型avg。
75.优选的，根据业务类型信息和预设配置规则定时周期性地获取目标配置 项信息。
76.s260、基于目标监控维度与目标指标类型从数据库中匹配对应的目标监 控数据。
77.于本实施例中，根据前述步骤中获取的毛利业务对应的监控维度——商 品维度、订单维度、客户维度、品牌维度与指标类型avg从数据库中筛选第 一聚合结果获得对应的目标监控数据。
78.在一种较佳的实施方式中，本步骤包括：
79.基于目标配置项信息及预设查询引擎获取目标监控数据。
80.具体的，将目标监控维度、目标指标类型转换成目标sql结构语句，sql 语句即为结构化查询语句，将目标sql结构语句输入预设查询引擎中以从数 据库中获取目标监控数据。于本实施例中，将商品维度、订单维度、客户维 度、品牌维度与指标类型avg转换成sql结构语句输入查询引擎presto中 获取对应的目标监控数据。
81.在一种较佳的实施方式中，该方法还包括：
82.s270-1、存储目标监控数据至mysql数据库中。
83.具体的，将目标监控数据与目标监控维度、目标指标类型关联以数据表 形式存储至mysql数据库中，将目标监控数据存储至mysql数据库中便于业 务平台系统有需要时调取异常数据进行处理。
84.在一种较佳的实施方式中，该方法还包括：
85.s270-2、发送目标监控数据至业务平台以供业务平台基于目标监控数据 生成对应的操作指令。
86.本实施例对步骤s270-1与s270-2的先后顺序不作限定。
87.s280、根据预设监控操作规则对目标监控数据进行对应处理。
88.示例性的，对目标监控数据进行下架、拦截订单处理。
89.本实施例提供的数据监控方法，将获取的业务平台传送的业务数据按各 监控维度进行筛选和划分，并预先对每个监控维度下的数据进行预设指标类 型的聚合筛选后存储聚合结果表，在接收到监控请求后，去读预设配置规则 根据监控请求中的业务类型信息确定当前监控请求对应的目标监控维度和 目标预设指标，从数据库中存储的聚合结果表
中匹配目标监控维度和目标预 设指标对应的聚合结果数据，对监控维度以及指标类型进行了细化固定，提 供了配置可视化操作的可行性，业务方可自主配置，不必每进行一种业务监 控时都对所有的业务数据进行处理筛选和开发对应的配置规则，有效降低工 作量，提高监控效率。
90.实施例三：与上述实施例一至实施例二相对应的，下面将结合图4，对 本技术提供的数据监控装置进行介绍。其中，该装置可以通过硬件或软件的 方式实现，也可以通过软硬件结合的方式实现，本技术并不限定。
91.本实施例提供的一种数据监控装置，参照图4所示，该装置包括：
92.接收模块410，用于接收监控请求，监控请求至少包括业务类型信息；
93.获取模块420，用于根据业务类型信息和预设配置规则获取目标配置项 信息，目标配置项信息至少包括目标监控维度与目标指标类型；
94.匹配模块430，用于基于目标监控维度与目标指标类型从数据库中匹配 对应的目标监控数据；
95.处理模块440，用于根据预设监控操作规则对目标监控数据进行对应处 理。
96.在一种较佳的实施方式中，获取模块420具体用于根据业务类型信息和 预设配置规则定时周期性地获取目标配置项信息，目标配置项信息至少包括 目标监控维度与目标指标类型。
97.在一种较佳的实施方式中，该装置还包括：
98.业务接收模块450，用于收业务平台传送的业务数据；
99.预处理模块460，用于对所述业务数据进行预处理以获取预设监控维度 与预设指标类型对应的监控数据。
100.优选的，预处理模块460包括：
101.筛选划分单元460-1，用于根据所述预设监控维度筛选划分所述业务数 据；
102.第一聚合筛选单元460-2，用于根据所述预设指标类型对每个所述预设 监控维度下的业务数据进行聚合筛选操作，生成第一聚合结果；
103.则匹配模块430具体用于基于目标监控维度与目标指标类型筛选第一 聚合结果获得目标监控数据。
104.更优选的，预处理模块460还包括：
105.第二聚合筛选单元460-3，用于在第一聚合筛选单元460-2根据预设指 标类型对每个预设监控维度下的业务数据进行聚合筛选操作，生成第一聚合 结果之后，基于业务类型信息将第一聚合结果嵌套聚合筛选或基于业务类型 信息和第二预设指标类型对第一聚合结果进行筛选获得第二聚合结果；
106.则匹配模块430具体用于基于目标监控维度与目标指标类型筛选第二 聚合结果获得目标监控数据。
107.优选的，该装置还包括：
108.发送模块470，用于匹配模块430基于目标监控维度与目标指标类型从 数据库中匹配对应的目标监控数据之后，发送目标监控数据至业务平台以供 业务平台基于目标监控数据生成对应的操作指令。
109.优选的，该装置还包括：
110.存储模块480，用于接收模块410接收监控请求之前，存储预设配置规 则至mysql数据库中，以及匹配模块430基于目标监控维度与目标指标类型 从数据库中匹配对应的目标监控数据之后，存储目标监控数据至mysql数据 库中。
111.更优选的，获取模块420具体用于基于目标配置项信息及预设查询引擎 获取目标监控数据。
112.本实施例所提供的一种数据监控装置，用于执行实施例一所提供的一种 数据监控方法，其有益效果与所执行的数据监控方法的有益效果相同，在此 不做赘述。
113.需要说明的是：上述实施例提供的数据监控装置在触发数据监控业务 时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要 而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同 的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供 的数据监控装置与实施例一、实施例二提供的数据监控方法的实施例属于同 一构思，即该装置是基于该方法的，其具体实现过程详见方法实施例，这里 不再赘述。
114.实施例四：与上述实施例一至实施例三相对应的，下面对本技术提供的 计算机设备进行介绍。
115.本实施例提供的计算机设备，该计算机设备包括通过系统总线连接的处 理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控 制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易 失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失 性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网 络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时 以实现一种执行计划的优化方法。
116.本领域技术人员可以理解，本实施例中的结构，仅仅是与本发明方案相 关的部分结构，并不构成对本发明方案所应用于其上的计算机设备的限定， 具体的计算机设备可以包括更多或更少的部件，或者组合某些部件，或者具 有不同的部件布置。
117.作为一种较优的实施方式，本发明实施例中，计算机设备包括存储器及 处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处 理器执行所述计算机程序时实现以下步骤：
118.接收监控请求，所述监控请求至少包括业务类型信息；
119.根据所述业务类型信息和预设配置规则获取目标配置项信息，所述目标 配置项信息至少包括目标监控维度与目标指标类型；
120.基于所述目标监控维度与所述目标指标类型从数据库中匹配对应的目 标监控数据；
121.根据预设监控操作规则对所述目标监控数据进行对应处理。
122.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以 通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以 存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储 器，磁盘或光盘等。
123.当然上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉 此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的 保护范围。凡根据本发明主要技术方案的精神实质所做的修饰，都应涵盖在 本发明的保护范围之内。