数据处理方法和装置与流程

1.本技术涉及数据处理技术领域，尤其涉及一种数据处理方法和装置。


背景技术：

2.在金融行业中，经常需要根据监管需求对数据进行加工处理。如，按照不同的监管需求对上报的数据进行相应的统计等。
3.为了能够满足监管需求，需要基于监管需求开发相应的数据加工程序，并通过数据加工程序对业务系统的数据进行处理。然而，针对同一业务中数据的监管需求也会不断变化，而每次监管需求存在变化都需要重新开发相应的数据加工程序，而开发数据加工程序的复杂度较高且需要耗费一定的时间，必然会导致数据监管的复杂度较高，影响到数据监管的时效性。


技术实现要素：

4.本技术提供了一种数据处理方法和装置，以降低生成数据加工程序的复杂度和耗时，提升数据监管的时效性。
5.一方面，本技术提供了一种数据处理方法，包括：
6.确定用户选择配置的目标指标；
7.获得存储的所述目标指标对应的规则配置信息表，所述规则配置信息表中包括：可用于对所述目标指标配置数据处理规则的至少一种规则取值符号以及至少一个指标取值；
8.基于所述规则配置信息表，输出可供选择的所述至少一个规则取值符号和至少一个指标取值；
9.基于用户为所述目标指标选择的目标规则取值符号和目标指标取值，确定用户为所述目标指标配置的目标数据处理规则；
10.基于所述目标数据处理规则，生成数据处理程序。
11.在一种可能的情况中，所述确定用户选择配置的目标指标，包括：
12.在规则配置界面展现可用于规则配置的多个指标；
13.确定用户从所述多个指标中选择的目标指标。
14.在又一种可能的情况中，所述确定用户选择配置的目标指标，包括：
15.确定用户从规则库中选择更新的待更新数据处理规则；
16.将所述待更新数据处理规则中的指标确定为目标指标。
17.在又一种可能的情况中，所述确定用户为所述目标指标配置的目标数据处理规则之后，还包括：
18.将所述规则库中的所述待更新数据处理规则替换为所述目标数据处理规则。
19.在又一种可能的情况中，所述基于所述目标数据处理规则，生成数据处理程序，包括：
20.按照设定的有效性校验规则，校验所述目标数据处理规则的有效性；
21.如果所述目标数据处理规则具有有效性，基于所述目标数据处理规则，生成数据处理程序。
22.在又一种可能的情况中，在所述生成数据处理程序之后，还包括：
23.基于所述数据处理程序执行数据库表的数据处理。
24.在又一种可能的情况中，所述数据库表为指标名称经过规范化后的数据库表。
25.又一方面，本技术提供了一种数据处理装置，包括：
26.指标确定单元，用于确定用户选择配置的目标指标；
27.表获得单元，用于获得存储的所述目标指标对应的规则配置信息表，所述规则配置信息表中包括：可用于对所述目标指标配置数据处理规则的至少一种规则取值符号以及至少一个指标取值；
28.可选输出单元，用于基于所述规则配置信息表，输出可供选择的所述至少一个规则取值符号和至少一个指标取值；
29.规则确定单元，用于基于用户为所述目标指标选择的目标规则取值符号和目标指标取值，确定用户为所述目标指标配置的目标数据处理规则；
30.程序生成单元，用于基于所述目标数据处理规则，生成数据处理程序。
31.在一种可能的实现方式中，所述指标确定单元，包括：
32.指标输出子单元，用于在规则配置界面展现可用于规则配置的多个指标；
33.第一指标确定子单元，用于确定用户从所述多个指标中选择的目标指标。
34.在又一种可能的实现方式中，所述指标确定单元，包括：
35.更新确定子单元，用于确定用户从规则库中选择更新的待更新数据处理规则；
36.第二指标确定子单元，用于将所述待更新数据处理规则中的指标确定为目标指标。
37.由以上可知，在本技术实施例中，可以配置不同指标对应的规则配置信息表，该规则配置信息表中包括：可用于对该指标配置数据处理规则的规则取值符号和指标取值。在此基础上，用户可以根据监管需求选择所需配置的目标指标，并基于输出的可供选择的规则取值符号以及指标取值，为该目标指标配置目标规则取值符号和指标取值，从而可以无需用户了解具备较高的程序编写技术，也可以较为灵活和便捷的实现数据处理规则的配置。而且，系统根据用户配置的数据处理规则可以自动生成相应的数据处理程序，从而无需开发人员再手动开发及编写数据处理规则，有利于提升生成数据处理规则的效率和便捷性，也就降低了数据监管的复杂度，并有利于及时基于数据处理程序实现数据监管，保证了数据监管的时效性。
附图说明
38.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
39.图1示出了本技术实施例提供的数据处理方法的一种流程示意图；
40.图2示出了本技术实施例提供的数据处理方法的又一种流程示意图；
41.图3示出了本技术实施例的数据处理装置的一种组成结构示意图。
具体实施方式
42.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
43.如图1所示，其示出了本技术实施例提供的数据处理方法的一种流程示意图，本实施例的方法可以应用于计算机设备，该计算机设备可以为涉及到数据监管处理的服务器等。
44.本实施例的方法可以包括：
45.s101，确定用户选择配置的目标指标。
46.其中，指标是指需要监管的数据所需监管的维度，每个指标也可以认为是数据库表中的一个字段。
47.如，银行系统中数据统计等监管处理可能需要对收入、利率、留存率、存储金额、交易合约号、产品类型等指标进行相应的监管，则可以将这些指标设置为可供选择配置的指标。
48.当然，数据库中指标还可以有不同的从属关系，对此不加限制。例如，利率这一指标还可以涉及到为利率种类以及利率方向这两个指标，而利率方向又涉及到换入利率和换出利率这两个指标。
49.在实际应用中，为了保证用户配置的数据处理规则中所采用的指标具有统一性和规范性，本技术中用户选择配置的目标指标是经过规范化后的指标。
50.如，在一种可能的实现方式中，本技术中获得需要监管的不同来源的数据，将数据中语义相同的指标名称统一为相同的指标名称，并将数据汇总到指标名称规范化之后的数据库表中。
51.其中，将数据中语义相同的指标统一为同一种指标的过程实际上就是差异清除与合并的过程。
52.例如，分交易(外汇买卖)分交易方向，分买入金额、卖出金额；而有些业务交易不需要区分买入卖出交易方向，便可以将买入金额、卖出金额统一作为一个指标。当然，有些部分交易类型缺少其他业务交易类型的维度或指标，则该交易类型相应的指标的取值可以置空。
53.相应的，本技术中预先可以通过规范化后的数据库表存储数据，因此，可供用户选择配置的指标也就是该数据库表中涉及到的各个指标。
54.s102，获得存储的目标指标对应的规则配置信息表。
55.该规则配置信息表中包括：可用于对目标指标配置数据处理规则的至少一种规则取值符号以及至少一个指标取值。
56.在本技术中，可以预先配置有规则配置表，该规则配置表中包括不同指标对应的规则信息表。每个指标的规则配置表中均涉及到该指标对应的两个配置域，一个配置域为
用于为该指标配置数据处理规则所可选择的各种规则取值符号；另一个配置域为针对该指标配置数据处理规时，可供选择的各指标取值。
57.其中，指标对应的规则取值符号是针对该指标配置的数据处理规则所需满足的条件中涉及到的条件符号、取值符号或者运算符号等。指标对应的规则取值符号可以基于针对该指标所可能涉及到的数据处理方式来综合确定。
58.指标取值是指该指标所可能涉及到的取值。
59.举例说明：
60.以指标为客户类型为例说明。
61.客户类型的规则配置表中可以包括：客户类型对应的规则取值符号，如可以包括：“＝”、“！＝”、“in”、“not in”、“like”以及“not like”等。
62.考虑到客户类型可以为：企业或者个人，因此，规则配置表中客户类型对应的指标取值可以包括：企业，个人这两种取值。
63.可以理解的是，规则配置表可以基于规范化后的数据库表所具有的指标来构建，如将数据库表中所涉及到各个指标确定为需要构建规则配置表的指标。而且，在构建指标的规则配置表时，可以结合指标在数据库表中的取值情况来设定指标的取值可能。
64.当然，还可以结合数据库表中该指标的取值以及针对该指标可能的数据处理，来合理设置指标对应的规则取值符号。
65.s103，基于规则配置信息表，输出可供选择的至少一个规则取值符号和至少一个指标取值。
66.其中，输出可供选择的规则取值符号和指标取值的目的是使得用户了解到可选择的取值符号和指标取值，并能够在配置数据处理规则的过程中选择所需的规则取值符号和指标取值。
67.在一种可能的实现方式中，可以输出规则配置界面，在该规则配置界面的规则配置区中展示出该目标指标对应的可供选择的至少一个规则取值符号和各指标取值。
68.其中，该规则配置界面可以输出到用户所在的设备端，如，用户所操作的设备为该计算机设备，则可以在该计算机设备上输出规则配置界面。如果用户通过其他终端访问该计算机设备，则可以将该规则配置界面输出并展现在该终端上。
69.其中，在该规则配置界面的规则配置区呈现出规则取值符号和指标取值的方式也可以有多种可能。
70.以一种可能的实现方式为例说明，在规则配置界面中可以包括指标选择框，符号选择框和取值选择框，这三种选择框都可以采用下拉菜单的形式展现。
71.在指标选择框可以选择了目标指标之后，在检测到用户点击符号选择框，可以在符号选择框的下拉菜单中呈现出该目标指标对应的各个规则取值符号，以便用户选择所需的规则取值符号。
72.类似的，在确定了目标指标之后，如果检测到指标选择框的下拉操作后，可以在指标选择框的下拉菜单中呈现出目标指标对应的可供选择的各个指标取值，以便用户选择所需的指标取值。
73.当然，此处仅仅是举例说明，输出规则取值符号和指标取值的方式还可以有其他可能，对此不加限制。
74.s104，基于用户为目标指标选择的目标规则取值符号和目标指标取值，确定用户为目标指标配置的目标数据处理规则。
75.其中，为了便于区分，本技术中针对该目标指标设定的数据处理规则称为目标数据处理规则，而将用户选择的用于配置该目标数据处理规则的规则取值符号称为目标规则取值符号，相应的，将用户选择的指标取值称为目标取值。
76.可以理解的是，一条数据处理规则需要指明待处理的指标以及指标所需满足的条件，而指标所需满足的条件可以通过配置指标的规则取值符号和指标取值来设定。基于此，在获得用户配置的目标指标，目标指标所需满足的条件中的规则取值符号以及指标取值的前提下，便可以得到相应的数据处理规则。
77.为了便于理解，以一个简单的例子进行说明：
78.以转账金额这一指标为例，假设这一指标对应的规则取值符号可以包括：“》”“《”“＝”“！＝”等等，取值可以包括“1万”、“10万”以及“100万”等。
79.假设用户需要统计转账金额大于100万的数据，那么目标指标可以为“转账金额”，在用户配置数据处理规则的过程中，可以选择规则取值符号为“》”，同时，选择指标数值可以为“100万”。
80.在此基础上，便可以得到一条数据处理规则“转账金额大于100万”。
81.当然，此处是以一个简单的例子说明。
82.在实际应用中，在规则配置界面可以根据需要设定预定好的语法和填写规范，并结合指标的规则配置表展现出可选的规则取值符号和指标取值之后，用户选择的规则取值符号和指标取值也可能会有多种。
83.相应的，生成数据处理规则时，需要结合用户选择的规则取值符号和指标取值，以及用户设定的不同子规则之间的关联关系以及规则语法等来构建数据处理规则，在此不再赘述。
84.s105，基于目标数据处理规则，生成数据处理程序。
85.可以理解的是，基于步骤s104得到的数据处理规则为文本形式的自然语言规则，而并非是计算机语言的代码。在此基础上，本技术需要基于确定出的目标数据处理规则，构建出能够被计算机执行且符号该目标数据处理规则的数据处理程序。
86.其中，可以按照设定的程序转换规则，将该目标数据处理规则转换出符合设定计算机语言对应语法的程序语句。
87.如，以数据处理程序为基于结构化查询语言(structured query language，sql)编写的程序为例，基于目标数据处理规则以及sql语言规则，确定该目标数据处理规则转换为sql语言所对应的sql语句，也就得到相应的数据处理程序。
88.可以理解的是，在生成该数据处理程序之后，本技术可以基于该数据处理程序执行数据库表的数据处理，从而可以及时满足数据监管需求。
89.可以理解的是，针对不同的数据处理规则，该数据处理程序所执行的数据处理的操作也会有所不同，如数据处理可以是数据统计或者数据筛选等等，对此不加限制。
90.在一种可选方式中，本技术可以将不同数据源的数据进行规范化后，可以存储到规范化后的数据库表中，因此，此处提到的数据库表可以指标名称经过规范化后的数据库表。
91.由以上可知，在本技术实施例中，可以配置不同指标对应的规则配置信息表，该规则配置信息表中包括：可用于对该指标配置数据处理规则的规则取值符号和指标取值。在此基础上，用户可以根据监管需求选择所需配置的目标指标，并基于输出的可供选择的规则取值符号以及指标取值，为该目标指标配置目标规则取值符号和指标取值，从而可以无需用户了解具备较高的程序编写技术，也可以较为灵活和便捷的实现数据处理规则的配置。
92.而且，系统根据用户配置的数据处理规则可以自动生成相应的数据处理程序，从而无需开发人员再手动开发及编写数据处理规则，有利于提升生成数据处理规则的效率和便捷性，也就降低了数据监管的复杂度，并有利于及时基于数据处理程序实现数据监管，保证了数据监管的时效性。
93.可以理解的是，本技术的方案适用于在存在新的数据监管需求的情况，由用户根据需要配置新的数据处理规则，以生成相应的数据处理程序。在该种情况下，本技术可以在规则配置界面展现可用于规则配置的多个指标，以供用户选择。相应的，可以确定用户从多个指标中选择的目标指标。基于目标指标配置了目标数据处理规则的过程可以参见前面的相关介绍。
94.可以理解的是，在获得用户新配置的目标数据处理规则之后，还可以可以将数据处理规则存储到规则库中。
95.又一方面，本技术还适用于根据数据监管需求的变化，对已构建的数据处理规则进行更新。在该种情况下，本技术可以确定用户从规则库中选择更新的待更新数据处理规则；然后，将待更新数据处理规则中的指标确定为目标指标。
96.在确定出目标指标之后，可以更改该待更新数据处理规则中，规则取值符号和指标数据中的一个或者多个，具体更改的方式可以如前面所述，由用户选择配置，最终重新生成一个数据处理规则，以将该待更新数据处理规则更为生成的该数据处理规则。
97.进一步的，在该种情况下，生成目标数据规则之后，可以将规则库中的该待更新数据处理规则替换为该目标数据处理规则。
98.可以理解的是，在实际应用中，为了保证用户配置的数据处理规则的有效性，本技术还可以在获得用户配置的数据处理规则之后，按照设定的有效性校验规则，校验目标数据处理规则的有效性。
99.下面结合一种可能的实现方式进行介绍。如图2所示，其示出了本技术实施例提供的数据处理方法的又一种流程示意图，本实施例的方法可以包括：
100.s201，在规则配置界面展现可用于规则配置的多个指标。
101.如，在检测到规则配置请求后，输出规则配置界面，在该规则配置界面的指标选择框可以通过下拉菜单的形式展现出可选择的多个指标。
102.s202，确定用户从多个指标中选择的目标指标。
103.本实施例可以是在存在新的数据监管需求，用户需要配置一个新的数据处理规则的情况下，获得用户选择的目标指标。也可以是，在数据监管需求存在变化的情况下，为了满足发生变化的数据监管需求，而需要重新生成一条数据处理规则的情况。
104.当然，对于数据监管需求发生变化的情况，也可以是对已有的数据处理规则进行更新，那么可以确定该待更新的数据处理规则中的目标指标，这一情况同样适用于本实施
例，在此不再赘述。
105.s203，获得存储的目标指标对应的规则配置信息表。
106.其中，该规则配置信息表中包括：可用于对所述目标指标配置数据处理规则的至少一种规则取值符号以及至少一个指标取值。
107.s204，基于该规则配置信息表，输出可供选择的该至少一个规则取值符号和至少一个指标取值。
108.s205，基于用户为该目标指标选择的目标规则取值符号和目标指标取值，确定用户为该目标指标配置的目标数据处理规则。
109.以上步骤s203到s205可以参见前面实施例的相关介绍，在此不再赘述。
110.s206，按照设定的有效性校验规则，校验目标数据处理规则是否具备有效性，如果否，则执行步骤s207；如果是，则执行步骤208。
111.其中，有效性校验规则可以根据需要设定，对此不加限制。如，有效性校验可以验证数据处理规则是否符合语法规则等。
112.s207，输出规则无效提醒，以提示用户重新配置数据处理规则。
113.该规则无效提醒可以表征用户配置的目标数据处理规则不具有有效性。相应的，用户在获得规则无效提醒后，可以重新配置数据处理规则。
114.在用户重新配置了数据处理规则之后，可以按照重新进行有效性校验，在此不再赘述。
115.s208，如果该目标数据处理规则具有有效性，基于目标数据处理规则，生成数据处理程序。
116.如果目标数据处理规则具有有效性，则认为该目标数据处理规则生效，从而可以生成相应的数据处理程序。
117.进一步的，在确认目标数据处理规则具有有效性之后，还可以向指定的审核人所在的设备发送复核提醒，复核提醒用于提醒审核人审核该数据处理规则。其中，审核人可以结合数据监管需求，对用户配置的数据处理规则进行复核。
118.相应的，如果审核人确认该数据处理规则通过复核，则可以基于该目标数据处理规则生成数据处理程序。
119.s209，检测到数据执行指令，基于该数据处理程序执行对数据库表的数据处理。
120.对应本技术的一种数据处理方法，本技术还提供了一种数据处理装置。
121.如图3所示，其示出了本技术实施例提供的数据处理装置的一种组成结构示意图，该装置可以包括：
122.指标确定单元301，用于确定用户选择配置的目标指标；
123.表获得单元302，用于获得存储的所述目标指标对应的规则配置信息表，所述规则配置信息表中包括：可用于对所述目标指标配置数据处理规则的至少一种规则取值符号以及至少一个指标取值；
124.可选输出单元303，用于基于所述规则配置信息表，输出可供选择的所述至少一个规则取值符号和至少一个指标取值；
125.规则确定单元304，用于基于用户为所述目标指标选择的目标规则取值符号和目标指标取值，确定用户为所述目标指标配置的目标数据处理规则；
126.程序生成单元305，用于基于所述目标数据处理规则，生成数据处理程序。
127.在一种可能的实现方式中，所述指标确定单元，包括：
128.指标输出子单元，用于在规则配置界面展现可用于规则配置的多个指标；
129.第一指标确定子单元，用于确定用户从所述多个指标中选择的目标指标。
130.在又一种可能的实现方式中，所述指标确定单元，包括：
131.更新确定子单元，用于确定用户从规则库中选择更新的待更新数据处理规则；
132.第二指标确定子单元，用于将所述待更新数据处理规则中的指标确定为目标指标。
133.在又一种可能的实现方式中，该装置还包括：
134.规则更新单元，用于在第二指标确定子单元确定用户为所述目标指标配置的目标数据处理规则之后，将所述规则库中的所述待更新数据处理规则替换为所述目标数据处理规则。
135.在又一种可能的实现方式中，程序生成单元，包括：
136.规则校验子单元，用于按照设定的有效性校验规则，校验所述目标数据处理规则的有效性；
137.程序生成子单元，用于如果所述目标数据处理规则具有有效性，基于所述目标数据处理规则，生成数据处理程序。
138.在又一种可能的实现方式中，该装置还包括：
139.数据处理单元，用于在程序生成单元生成数据处理程序之后，基于所述数据处理程序执行数据库表的数据处理。
140.在一种可选方式中，所述数据库表为指标名称经过规范化后的数据库表。
141.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。同时，本说明书中各实施例中记载的特征可以相互替换或者组合，使本领域专业技术人员能够实现或使用本技术。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
142.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
143.对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
144.以上仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来
说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。