一种数据处理方法和装置与流程

1.本技术涉及计算机技术领域，尤其涉及一种数据处理方法和装置。


背景技术：

2.目前，在获取存储在不同数据库中的数据，以进行异构数据源中的数据监控时，通过接口或其他调度、计算引擎，将异构数据源中的数据经过清洗、计算，汇总到统一的一种数据库类型的表中，基于汇总结果表进行监控分析时，有较高的开发和维护成本，可复用性差，迭代周期慢，无法保障数据的实时性和准确性。或者通过分别对不同类型的数据源中的数据进行监控，由人工判断数据间的联系，进而做出业务处理决策，很容易受主观因素影响，忽略重要告警。
3.在实现本技术过程中，发明人发现现有技术中至少存在如下问题：
4.当获取存储在不同数据库中的数据，以进行异构数据源中的数据监控时，存在较高的开发和维护成本，无法保障数据的实时性和准确性。


技术实现要素：

5.有鉴于此，本技术实施例提供一种数据处理方法和装置，能够解决现有的当获取存储在不同数据库中的数据，以进行异构数据源中的数据监控时，存在较高的开发和维护成本，可复用性差，无法保障数据的实时性和准确性的问题。
6.为实现上述目的，根据本技术实施例的一个方面，提供了一种数据处理方法，包括：
7.接收数据处理请求，进而调用数据计算及分析程序，以根据数据处理请求，生成对应各数据库类型的查询语句；
8.调用查询语句对应的数据库，以执行查询语句，得到待处理数据；
9.响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。
10.可选地，在生成对应各数据库类型的查询语句之前，方法还包括：
11.获取数据处理请求中的数据库标识；
12.根据各数据库标识确定待处理数据对应的各数据库类型。
13.可选地，在接收数据处理请求之前，方法还包括：
14.调用检索监控任务服务，以获取数据处理任务列表；
15.确定数据处理任务列表中的各数据处理任务的执行时间；
16.响应于确定当前时间到达各执行时间中的一个执行时间，根据到达的执行时间对应的数据处理任务生成数据处理请求。
17.可选地，生成对应各数据库类型的查询语句，包括：
18.获取数据处理请求对应的数据指标配置信息；
19.根据各数据库类型拆分数据指标配置信息，得到拆分信息；
20.根据各数据库类型对应的查询语法拼接拆分信息，生成对应各数据库类型的查询语句。
21.可选地，生成对应各数据库类型的查询语句，还包括：
22.响应于确定开启同环比监控，获取对应的同环比周期，进而基于同环比周期、拆分信息和各数据库类型，生成对应各数据库类型的查询语句。
23.可选地，基于同环比周期、拆分信息和各数据库类型，生成对应各数据库类型的查询语句，包括：
24.以同环比周期替换拆分信息中的查询时间周期，生成替换后的拆分信息；
25.根据各数据库类型对应的查询语法拼接替换后的拆分信息，生成对应各数据库类型的查询语句。
26.可选地，得到待处理数据，包括：
27.调用各查询语句对应的数据库，以对应执行各查询语句，得到各数据库对应的查询数据；
28.汇总各数据库对应的查询数据，以得到待处理数据。
29.可选地，响应于确定待处理数据与预设报警规则匹配，包括：
30.将待处理数据与预设报警阈值进行比较，响应于确定待处理数据大于预设报警阈值，确定待处理数据与预设报警规则匹配。
31.可选地，响应于确定待处理数据与预设报警规则匹配，包括：
32.基于预设的计算公式对待处理数据进行计算，进而将计算结果与预设报警阈值进行比较，响应于确定计算结果大于预设报警阈值，确定待处理数据与预设报警规则匹配。
33.另外，本技术还提供了一种数据处理装置，包括：
34.接收单元，被配置成接收数据处理请求，进而调用数据计算及分析程序，以根据数据处理请求，生成对应各数据库类型的查询语句；
35.待处理数据获取单元，被配置成调用查询语句对应的数据库，以执行查询语句，得到待处理数据；
36.数据处理单元，被配置成响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。
37.可选地，数据处理装置还包括数据库类型确定单元，被配置成：
38.获取数据处理请求中的数据库标识；
39.根据各数据库标识确定待处理数据对应的各数据库类型。
40.可选地，数据处理装置还包括请求生成单元，被配置成：
41.调用检索监控任务服务，以获取数据处理任务列表；
42.确定数据处理任务列表中的各数据处理任务的执行时间；
43.响应于确定当前时间到达各执行时间中的一个执行时间，根据到达的执行时间对应的数据处理任务生成数据处理请求。
44.可选地，接收单元进一步被配置成：
45.获取数据处理请求对应的数据指标配置信息；
46.根据各数据库类型拆分数据指标配置信息，得到拆分信息；
47.根据各数据库类型对应的查询语法拼接拆分信息，生成对应各数据库类型的查询
语句。
48.可选地，接收单元进一步被配置成：
49.响应于确定开启同环比监控，获取对应的同环比周期，进而基于同环比周期、拆分信息和各数据库类型，生成对应各数据库类型的查询语句。
50.可选地，接收单元进一步被配置成：
51.以同环比周期替换拆分信息中的查询时间周期，生成替换后的拆分信息；
52.根据各数据库类型对应的查询语法拼接替换后的拆分信息，生成对应各数据库类型的查询语句。
53.可选地，待处理数据获取单元进一步被配置成：
54.调用各查询语句对应的数据库，以对应执行各查询语句，得到各数据库对应的查询数据；
55.汇总各数据库对应的查询数据，以得到待处理数据。
56.可选地，数据处理单元进一步被配置成：
57.将待处理数据与预设报警阈值进行比较，响应于确定待处理数据大于预设报警阈值，确定待处理数据与预设报警规则匹配。
58.可选地，数据处理单元进一步被配置成：
59.基于预设的计算公式对待处理数据进行计算，进而将计算结果与预设报警阈值进行比较，响应于确定计算结果大于预设报警阈值，确定待处理数据与预设报警规则匹配。
60.另外，本技术还提供了一种数据处理电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述的数据处理方法。
61.另外，本技术还提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述的数据处理方法。
62.上述发明中的一个实施例具有如下优点或有益效果：本技术通过接收数据处理请求，进而调用数据计算及分析程序，以根据数据处理请求，生成对应各数据库类型的查询语句；调用查询语句对应的数据库，以执行查询语句，得到待处理数据；响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。通过调用计算分析服务，基于数据指标配置信息来生成对应不同数据库的查询语句，进而查询得到待处理数据，并与预设报警规则进行匹配，生成报警任务输出至用户端，进而供用户端进行基于报警任务的数据处理。从而实现对异构数据源进行数据监控，通过对异构数据源指标的绝对值或计算值监控，极大降低用户的开发和维护成本，可复用性强，并保证数据的实时性和准确性。
63.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
64.附图用于更好地理解本技术，不构成对本技术的不当限定。其中：
65.图1是根据本技术第一实施例的数据处理方法的主要流程的示意图；
66.图2是根据本技术第二实施例的数据处理方法的主要流程的示意图；
67.图3是根据本技术第三实施例的数据处理方法的应用场景示意图；
68.图4是根据本技术实施例的数据处理装置的主要模块的示意图；
69.图5是本技术实施例可以应用于其中的示例性系统架构图；
70.图6是适于用来实现本技术实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
71.以下结合附图对本技术的示范性实施例做出说明，其中包括本技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
72.图1是根据本技术第一实施例的数据处理方法的主要流程的示意图，如图1所示，数据处理方法包括：
73.步骤s101，接收数据处理请求，进而调用数据计算及分析程序，以根据数据处理请求，生成对应各数据库类型的查询语句。
74.本实施例中，数据处理方法的执行主体(例如，可以是服务器)可以通过有线连接或无线连接的方式，接收数据处理请求。其中，数据处理请求可以是对异构数据库中的用户感兴趣的数据进行监控的请求。其中，用户感兴趣的数据可以是异构数据库中的一些指标，比如a、b、d等。异构数据库，可以是不同类型的数据库，比如mysql和hbase两种异构的数据库，该两种数据库类型的存储方式和机制完全不同。当然，异构数据库还可以包括：jimdb、es、presto(即用presto引擎查询hive)、clickhouse等，本技术对异构数据库不做具体限定。
75.执行主体在接收到数据处理请求后，可以调用数据计算及分析程序，例如analyse模块中的数据计算及分析服务，根据数据处理请求，生成对应各数据库类型的查询语句。该数据计算及分析服务会基于监控任务(其中，监控任务可以是由执行主体中的provider模块从数据库中检索出需要执行监控的任务，并确定为监控任务。需要执行监控的任务可以是用户感兴趣的指标所对应的监控任务。执行主体在确定出监控任务后，可以调用监控任务服务，推送监控任务至jimdb，jimdb是一个以内存为中心的键值数据库)中，进而识别监控任务中的数据指标配置，以基于识别出的数据指标配置(数据指标配置可以是具体监控的指标列，一个数据库的表中可以有很多列，比如学生姓名、语文成绩、数学成绩，则数学成绩、语文成绩都可以作为指标列，用户的监控场景需要监控什么，就配置什么)，拼接成对应多种异构数据库的sql语句，以查询多种异构数据库中的各个指标。
76.具体地，执行主体可以调用拼接的sql先去查询明细，再基于用户配置的报警规则(例如，报警规则即将从数据库中查询的结果，按照用户配置的规则，在内存中进行计算，判断是否符合规则，比如用户配置的规则为a大于2，执行主体可以根据sql语句查出对应数据库中a的值，并判断a是否大于2，如果a确定大于2，则符合报警规则)，在内存中进行计算，并将分析结果存入hbase，将符合报警规则的任务推送至jimdb。报警发送服务消费analyse模块生成的报警任务并发送给用户端。hbase是一个解决海量数据的高速存储和读取的分布式数据库，适合于非结构化数据存储的数据库。hbase能够应用在上百亿行*上百万列，实现
百毫秒的查询，对于监控报警这种场景，hbase适合存储计算的结果。
77.具体地，本实施例中，在接收数据处理请求之前，数据处理方法还包括：
78.调用检索监控任务服务，以获取数据处理任务列表；确定数据处理任务列表中的各数据处理任务的执行时间；响应于确定当前时间到达各执行时间中的一个执行时间，根据到达的执行时间对应的数据处理任务生成数据处理请求。
79.具体地，本实施例中，在生成对应各数据库类型的查询语句之前，方法还包括：
80.获取数据处理请求中的数据库标识。
81.具体地，数据库标识可以是数据库的名称或者是与数据库类型相对应的编码。其中，数据库名称可以是mysql、hbase等。数据库类型相对应的编码可以是1对应mysql数据库，2对应hbase数据库。具体地，数据库类型对应的编码可以是数字也可以是字母，本技术对数据库类型对应的编码的具体形式不做限定。
82.根据各数据库标识确定待处理数据对应的各数据库类型。
83.具体地，用户可以预先确定出最为适合储存各场景的数据的数据库，并向执行主体输入确定出的最适合各场景的数据库的数据库标识，进而执行主体可以根据预设的各数据库标识与数据库类型的对应关系，确定需要搜索的待处理数据所位于的各数据库的数据库类型。
84.步骤s102，调用查询语句对应的数据库，以执行查询语句，得到待处理数据。
85.本实施例中，得到待处理数据，包括：
86.调用各查询语句对应的数据库，以对应执行各查询语句，得到各数据库对应的查询数据；汇总各数据库对应的查询数据，以得到待处理数据。即待处理数据可以是存储于不同类型数据库中的用户感兴趣数据的汇总集合。
87.步骤s103，响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。
88.在本实施例的一些可选的实现方式中，响应于确定待处理数据与预设报警规则匹配，包括：
89.将待处理数据与预设报警阈值进行比较，响应于确定待处理数据大于预设报警阈值，确定待处理数据与预设报警规则匹配。可以适用于没有开启同环比监控的情况，用于将从各个异构数据库中获取到的待处理数据不经进一步的计算而直接与预设报警阈值进行比较的情形。
90.具体地，同环比监控，包括同比监控和环比监控。同比监控是指在相邻时段中的某一相同时间或阶段点进行比较的监控。环比监控是指相邻时间段的对比。在统计中，同比和环比用于表示某一事物在对比时期内发展变化的方向和程度。示例的，以历史同期为基期，例如2016年2月份与2015年2月份、2016年上半年与2015年上半年的比较，就是同比。以前一个统计时间段为基期，例如2016年6月份与2016年5月份、2016年二季度与2016年一季度的比较，就是环比。
91.在本实施例的一些可选的实现方式中，响应于确定待处理数据与预设报警规则匹配，包括：
92.基于预设的计算公式对待处理数据进行计算，进而将计算结果与预设报警阈值进行比较，响应于确定计算结果大于预设报警阈值，确定待处理数据与预设报警规则匹配。可
以适用于执行主体判断已开启同环比监控的情形。
93.示例的，如果用户开启了同环比监控，会再拼接一个同比或环比周期的sql语句在对应数据库中进行数据查询，用于进行比值比对。比如用户开启同环比1天的周期，设定预设报警阈值为20％，则执行主体可以先查询一个当前监控时间段(比如近5min)的数据结果(设为当前值)，再查询一个昨天同时间段的数据结果(设为上周期值)，然后基于预设的计算公式，预设的计算公式可以是：(当前值
‑
上周期值/)当前值*100％，进而将计算得出的值作为同环比监控的计算结果，与预设报警阈值(例如20％)进行比较。当计算结果大于预设报警阈值(例如20％)，确定待处理数据与预设报警规则匹配。
94.执行主体在确定待处理数据与预设报警规则匹配后，可以生成异步报警任务，并加入至异步报警任务列表中，进而将列表中的达到执行时间的报警任务以即时沟通软件、邮箱或语音的形式输出至用户端，以供用户端基于报警任务对待处理数据进行处理。具体的处理过程可以是用户端基于报警任务，修改对应的数据指标配置，例如将a的值由2改为5等。
95.本实施例中的预设报警规则，例如可以包括绝对值类型的，比如某个指标a<20，也有同环比类型的，也可以支持指标间的正则计算，比如(a+b)/c<2。
96.本实施例通过接收数据处理请求，进而调用数据计算及分析程序，以根据数据处理请求，生成对应各数据库类型的查询语句；调用查询语句对应的数据库，以执行查询语句，得到待处理数据；响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。通过调用计算分析服务，基于数据指标配置信息来生成对应不同数据库的查询语句，进而查询得到待处理数据，并与预设报警规则进行匹配，生成报警任务输出至用户端，进而供用户端进行基于报警任务的数据处理。从而实现对异构数据源进行数据监控，通过对异构数据源指标的绝对值或计算值监控，极大降低用户的开发和维护成本，可复用性强，并保证数据的实时性和准确性。
97.图2是根据本技术第二实施例的数据处理方法的主要流程示意图，如图2所示，数据处理方法包括：
98.步骤s201，接收数据处理请求，进而调用数据计算及分析程序，以根据数据处理请求，生成对应各数据库类型的查询语句。
99.步骤s201的原理与步骤s101的原理类似，此处不再赘述。
100.具体地，步骤s201还可以通过步骤s2011～步骤s2013来实现：
101.步骤s2011，获取数据处理请求对应的数据指标配置信息。
102.具体地，指标配置信息可以包括具体监控的指标列。例如，一个数据库中的表中有很多列，比如，学生姓名、语文成绩、数学成绩。则语文成绩、数学成绩都可以作为指标列。其中，语文成绩指的是：学生姓名对应的语文成绩列名对应的语文成绩值、学生姓名对应的数学成绩列名对应的数学成绩值。示例的，数据指标配置信息可以包括：小明(列名称)，语文成绩(列名称)：59分(列名称对应的值)；小红(列名称)，语文成绩(列名称)：43分(列名称对应的值)。
103.步骤s2012，根据各数据库类型拆分数据指标配置信息，得到拆分信息。
104.具体地，执行主体可以根据各数据库类型对应的搜索语句语法拆分数据指标配置信息，以得到生成对应的sql语句所需要的拆分信息。示例的，数据指标配置信息可以包括
在语文成绩表中：小明，语文成绩：59分；小红，语文成绩43分；小白，语文成绩39分。经过拆分后得到的拆分信息可以是：语文成绩表、学生姓名、语文成绩、小明、59分、小红、43分、小白、39分。
105.步骤s2013，根据各数据库类型对应的查询语法拼接拆分信息，生成对应各数据库类型的查询语句。
106.示例的，比如查询mysql时按照mysql数据源的语法去查询，生成的对应的查询语句，例如select列名from表名where列名运算符(例如可以是：＝、<>、>、<、>＝、<＝、between、like)值(例如可以是设定的一个阈值)。示例的：select学生姓名from语文成绩表where语文成绩<60。即从语文成绩表中查找出语文成绩小于60的学生姓名。
107.再例如，若查询hbase时，则需要用hbase的语法，生成的对应的查询语句，例如scan't1',{columns＝>'c1',timerange＝>[1303668804,1303668904]}。
[0108]
本实施例通过根据不同的数据库类型对应的语法来拼接生成对应数据库类型的查询语句，可以无需将各异构数据库汇总的数据经过清洗、计算以汇总到统一的一种数据库类型的表中进行待处理数据的获取，从而可以实现针对不同类型的数据库中待处理数据的一键查询获取，极大地提升数据处理速度，降低用户的开发和运维成本，满足了用户数据监控的各类场景需求。
[0109]
在本实施例的一些可选的实现方式中，生成对应各数据库类型的查询语句，还包括：
[0110]
响应于确定开启同环比监控，获取对应的同环比周期，进而基于同环比周期、拆分信息和各数据库类型，生成对应各数据库类型的查询语句。执行主体在确定开启同环比监控时，可以获取设定的同环比周期，比如一周、一个月、一年等，然后执行主体可以基于用户配置的同环比周期，自动拼接查询语句，拼接时主sql不变，仅替换查询时间的周期。也就是在原有的基于拆分信息和各数据库类型对应的语法而生成的sql查询语句的基础上，将查询时间替换成设定的同环比周期，以生成一个新的限定了查询时间的查询语句，以供调用查询获取待处理数据。
[0111]
进一步地，基于同环比周期、拆分信息和各数据库类型，生成对应各数据库类型的查询语句，包括：
[0112]
以同环比周期替换拆分信息中的查询时间周期，生成替换后的拆分信息；根据各数据库类型对应的查询语法拼接替换后的拆分信息，生成对应各数据库类型的查询语句。当然，执行主体也可以将拆分信息中对应的查询时间替换为设定的同环比周期，然后基于替换后的拆分信息重新生成对应各数据库类型的查询语句。以通过待处理数据的计算值实现实时异构数据源的指标在线计算并报警，极大降低用户的开发和维护成本，并保证数据的实时性。
[0113]
步骤s202，调用查询语句对应的数据库，以执行查询语句，得到待处理数据。
[0114]
步骤s203，响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。
[0115]
步骤s202～步骤s203的原理与步骤s102～步骤s103的原理类似，此处不再赘述。
[0116]
图3是根据本技术第三实施例的数据处理方法的应用场景示意图。本技术实施例的数据处理方法，可以应用于实时异构数据源的指标在线计算并报警的场景。如图3所示，
服务器303可以接收基于数据处理任务列表301中的各数据处理任务(例如数据处理任务1、数据处理任务2、数据处理任务3、
……
、数据处理任务n)生成的数据处理请求302。进而服务器303可以调用数据计算及分析程序304，以根据数据处理请求302，生成对应各数据库类型(例如数据库类型1、数据库类型2、数据库类型3、
……
、数据库类型n)的查询语句306(例如查询语句1、查询语句2、查询语句3、
……
、查询语句n)。服务器303调用查询语句306对应的数据库305(例如数据库1、数据库2、数据库3、
……
、数据库n中的一个或多个)，以执行查询语句306(例如查询语句1、查询语句2、查询语句3、
……
、查询语句n中的一个或多个)，得到待处理数据307(例如可以是由待处理数据1、待处理数据2、待处理数据3、
……
、待处理数据n组成)。服务器303响应于确定待处理数据307与预设报警规则匹配，生成报警任务308，并输出至用户端309，以供用户端309基于报警任务308对待处理数据307进行处理。服务器303响应于确定待处理数据307与预设报警规则不匹配，不做处理。
[0117]
本实施例中，数据处理方法的系统架构可以包括：web前端、web后端、provider模块、analyze模块、报警模块。其中，web前端：用于用户注册数据源连接，配置监控规则和监控指标的计算关系。web后端：用于和后端数据库进行连接交互，将配置信息存入后端数据库，并提供发送自定义报警信息的接口，灵活支持用户报警信息的展示。provider模块(本技术实施例的核心功能模块)：数据采集任务发布模块，该模块会定期从数据库中检索需要监控的任务，并将其推送至jimdb，同时会从数据库中检索需要发送报警的任务，根据web端配置的信息发送报警。analyse模块(本技术实施例的核心功能模块)：接收jimdb中监控任务，基于任务中的数据源及指标信息去进行数据采集及复合计算，如加、减、乘除、同比、环比等，同时将计算结果与用户配置的规则阈值进行比对，判断是否应触发报警，如报警，则发送至报警jimdb的消息队列中，所有历史报警监控信息也会同步写入hbase，方便用户在页面进行查询。报警模块：用于将报警信息通过咚咚、邮箱、语音等形式发送至用户。本技术实施例的核心功能模块：provider模块和analyse模块提供了数据采集任务的发布和异构数据源采集的能力。极大降低了用户的开发和运维成本，满足了用户数据监控的各类场景需求。
[0118]
图4是根据本技术实施例的数据处理装置的主要模块的示意图。如图4所示，数据处理装置包括接收单元401、待处理数据获取单元402和数据处理单元403。
[0119]
接收单元401，被配置成接收数据处理请求，进而调用数据计算及分析程序，以根据数据处理请求，生成对应各数据库类型的查询语句。
[0120]
待处理数据获取单元402，被配置成调用查询语句对应的数据库，以执行查询语句，得到待处理数据。
[0121]
数据处理单元403，被配置成响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。
[0122]
在一些实施例中，数据处理装置还包括数据库类型确定单元，被配置成：获取数据处理请求中的数据库标识；根据各数据库标识确定待处理数据对应的各数据库类型。
[0123]
在一些实施例中，数据处理装置还包括请求生成单元，被配置成：调用检索监控任务服务，以获取数据处理任务列表；确定数据处理任务列表中的各数据处理任务的执行时间；响应于确定当前时间到达各执行时间中的一个执行时间，根据到达的执行时间对应的数据处理任务生成数据处理请求。
[0124]
在一些实施例中，接收单元401进一步被配置成：获取数据处理请求对应的数据指标配置信息；根据各数据库类型拆分数据指标配置信息，得到拆分信息；根据各数据库类型对应的查询语法拼接拆分信息，生成对应各数据库类型的查询语句。
[0125]
在一些实施例中，接收单元401进一步被配置成：响应于确定开启同环比监控，获取对应的同环比周期，进而基于同环比周期、拆分信息和各数据库类型，生成对应各数据库类型的查询语句。
[0126]
在一些实施例中，接收单元401进一步被配置成：以同环比周期替换拆分信息中的查询时间周期，生成替换后的拆分信息；根据各数据库类型对应的查询语法拼接替换后的拆分信息，生成对应各数据库类型的查询语句。
[0127]
在一些实施例中，待处理数据获取单元402进一步被配置成：调用各查询语句对应的数据库，以对应执行各查询语句，得到各数据库对应的查询数据；汇总各数据库对应的查询数据，以得到待处理数据。
[0128]
在一些实施例中，数据处理单元403进一步被配置成：将待处理数据与预设报警阈值进行比较，响应于确定待处理数据大于预设报警阈值，确定待处理数据与预设报警规则匹配。
[0129]
在一些实施例中，数据处理单元403进一步被配置成：基于预设的计算公式对待处理数据进行计算，进而将计算结果与预设报警阈值进行比较，响应于确定计算结果大于预设报警阈值，确定待处理数据与预设报警规则匹配。
[0130]
需要说明的是，在本技术数据处理方法和数据处理装置在具体实施内容上具有相应关系，故重复内容不再说明。
[0131]
图5示出了可以应用本技术实施例的数据处理方法或数据处理装置的示例性系统架构500。
[0132]
如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0133]
用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
[0134]
终端设备501、502、503可以是具有数据处理屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0135]
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所提交的数据处理请求提供支持的后台管理服务器(仅为示例)。后台管理服务器可以接收数据处理请求，进而调用数据计算及分析程序，以根据数据处理请求，生成对应各数据库类型的查询语句；调用查询语句对应的数据库，以执行查询语句，得到待处理数据；响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。通过调用计算分析服务，基于数据指标配置信息来生成对应不同数据库的查询语句，进而查询得到待处理数据，并与预设报警规则进行匹配，生成报警任务输出至用户端，进而供用户端进行基于报警任务的数据处理。从而实现对异构数据源进行数据监控，通过对异构数据源指标的绝对值或计算值监控，极大降低用户的开发和维
护成本，并保证数据的实时性和准确性。
[0136]
需要说明的是，本技术实施例所提供的数据处理方法一般由服务器505执行，相应地，数据处理装置一般设置于服务器505中。
[0137]
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0138]
下面参考图6，其示出了适于用来实现本技术实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0139]
如图6所示，计算机系统600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram603中，还存储有计算机系统600操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
[0140]
以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶征信授权查询处理器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
[0141]
特别地，根据本技术公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本技术的系统中限定的上述功能。
[0142]
需要说明的是，本技术所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的
任意合适的组合。
[0143]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0144]
描述于本技术实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括接收单元、待处理数据获取单元和数据处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
[0145]
作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备接收数据处理请求，进而调用数据计算及分析程序，以根据数据处理请求，生成对应各数据库类型的查询语句；调用查询语句对应的数据库，以执行查询语句，得到待处理数据；响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。通过调用计算分析服务，基于数据指标配置信息来生成对应不同数据库的查询语句，进而查询得到待处理数据，并与预设报警规则进行匹配，生成报警任务输出至用户端，进而供用户端进行基于报警任务的数据处理。
[0146]
根据本技术实施例的技术方案，从而实现对异构数据源进行数据监控，通过对异构数据源指标的绝对值或计算值监控，极大降低用户的开发和维护成本，并保证数据的实时性和准确性。
[0147]
上述具体实施方式，并不构成对本技术保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本技术的精神和原则之内所作的修改、等同替换和改进等，均应包含在本技术保护范围之内。