一种数据处理方法和装置与流程

1.本发明实施例涉及数据处理技术领域，尤其涉及一种数据处理方法和装置。


背景技术：

2.外部审计特别是监管部门审计在实施过程中，一般会采集被审计单位的原始数据库备份文件，经过数据库备份文件的还原后形成被审计单位的财务数据和业务数据库表。在对被审计单位进行具体审计流程时，无论是数据分析还是财务账分析，或者是具体业务分析时，通常使用审计标准表作为数据分析的基础数据源，在审计标准表上进行定制化数据分析或者自主分析，以达到审计核查的目的。
3.被审计单位的数据库表文件和审计过程中使用的审计标准表的数据结构存在非常大的差异，同时不同被审计单位由于使用财务软件和业务软件的不同，以及数据库品牌、型号等不同，数据库表文件的数据结构也存在非常大的差异。因此，需要将不同类型的数据库表文件转化成审计人员熟悉的、规范的审计标准表。
4.由于审计在数据采集的过程中，通常只上收被审计单位的财务系统的数据库备份文件，对于被审计单位的财务系统的数据结构和码表均没有纳入上收范围，因此审计单位在对被审计单位的数据库备份文件进行数据结构重构时，通常是基于数据本身。通过研究备份数据库文件还原后的数据，发现其规律和数据逻辑，反向推导数据结构和关键字段及其取值的代码。因此，审计监管部门在被审计单位的财务数据采集的过程中，严重依赖数据采集工程师的个人经验。同时，对于数据采集工程师的个人要求非常高，既要有非常专业的财务相关知识积累，又要有应付各类财务软件和数据库各种复杂操作的it相关技能知识。
5.由于审计的特殊性，以及审计数据采集的上述特点，导致现有的技术和方案有如下缺点：1)对人员综合素质要求比较高，难以满足实时性强，时间约束高的审计任务；2)现有的审计数据重构依赖于个人的经验，故而在不同的审计项目中，数据采集的算账过程、存储过程和映射关系等经常需要调整和修改，严重制约了审计项目实施过程中的时效性和审计数据应用的通用性；3)现有的技术方案与当前审计工作组织结构存在巨大的矛盾，审计工作中，通常以审计业务人员为主，当前审计项目的组织结构对审计数据结构重构的大量it技术人员的需求存在严重不足，严重影响审计业务的开展。


技术实现要素：

6.本发明实施例提供一种数据处理方法和装置，解决了现有技术中在对审计数据进行处理时对于数据重构过于依赖个人经验所导致的难以满足审计项目的时效性和审计数据应用通用性的技术问题。
7.第一方面，本发明实施例提供了一种数据处理方法，所述数据处理方法包括：
8.接收数据重构配置信息；
9.将所述数据重构配置信息导入预设数据处理脚本模板中，得到目标数据脚本，其中，所述预设数据处理脚本模板为etl脚本；
10.接收数据修改信息，并基于所述数据修改信息调试所述目标数据脚本；
11.将所述目标数据脚本封装储存待用。
12.第二方面，本发明实施例还提供了一种数据处理装置，所述数据处理装置包括：
13.配置信息接收单元，用于接收数据重构配置信息；
14.配置信息导入单元，用于将所述数据重构配置信息导入预设数据处理脚本模板中，得到目标数据脚本，其中，所述预设数据处理脚本模板为etl脚本；
15.修改信息接收单元，用于接收数据修改信息，并基于所述数据修改信息调试所述目标数据脚本；
16.脚本封装单元，用于将所述目标数据脚本封装储存待用。
17.第三方面，本发明实施例还提供了一种数据结构重构编辑器，所述数据结构重构编辑器包括如本发明实施例第二方面任意的数据处理装置。
18.第四方面，本发明实施例还提供了一种数据处理设备，所述数据处理设备包括：
19.一个或多个处理器；
20.存储装置，用于存储一个或多个程序；
21.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例第一方面任意的数据处理方法。
22.第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例第一方面任意的数据处理方法。
23.第六方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本发明实施例第一方面任意的数据处理方法。
24.本发明实施例公开了一种数据处理方法和装置，数据处理方法包括接收数据重构配置信息；将数据重构配置信息导入预设数据处理脚本模板中，得到目标数据脚本，其中，预设数据处理脚本模板为etl脚本；接收数据修改信息，并基于数据修改信息调试目标数据脚本；将目标数据脚本封装储存待用。本技术解决了现有技术中在对审计数据进行处理时对于数据重构过于依赖个人经验所导致的难以满足审计项目的时效性和审计数据应用通用性的技术问题，实现了能够可视化的对审计数据进行重构处理，提高了处理效率，提升了处理准确率的技术效果。
附图说明
25.图1是本发明实施例提供的一种数据处理方法的流程图；
26.图2是本发明实施例提供的另一种数据处理方法的流程图；
27.图3是本发明实施例提供的又一种数据处理方法的流程图；
28.图4是本发明实施例提供的一种数据处理装置的结构图；
29.图5为本发明实施例提供的一种数据处理设备的结构示意图。
具体实施方式
30.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
31.需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。本发明下述各个实施例可以单独执行，各个实施例之间也可以相互结合执行，本发明实施例对此不作具体限制。
32.图1是本发明实施例提供的一种数据处理方法的流程图。该数据处理方法适用于所有需要进行数据处理的场景，还适用于其他需要进行数据重构的数据处理场景，例如审计数据的处理场景以及审计数据重构的处理场景等。该数据处理方法可以由数据处理装置来执行，该装置可以采用硬件和/或软件的方式来实现，并一般可集成于服务器中。本技术技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
33.如图1所示，该数据处理方法具体包括如下步骤：
34.s101，接收数据重构配置信息。
35.示例性地，以审计数据重构场景为例，由于审计业务具有不确定性，被审计对象的业务数据(业务系统和数据库版本均不确定)也具有不确定性，因此对于不同的审计项目，用户可以自定义的进行数据重构配置信息的设置，并将自定义的数据重构配置信息以可视化的操作形式输入至数据处理装置中。
36.s102，将数据重构配置信息导入预设数据处理脚本模板中，得到目标数据脚本，其中，预设数据处理脚本模板为etl脚本。
37.具体地，在接收到用户自定义的数据重构配置信息之后，将其导入预设数据处理脚本模板中，从而获取到目标数据脚本，其中，目标数据脚本即为针对特定审计业务形成的脚本，该脚本采用etl(extraction-transformation-loading，数据提取、转换和加载)脚本的形式，etl能够将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
38.s103，接收数据修改信息，并基于数据修改信息调试目标数据脚本。
39.具体地，在目标数据脚本生成之后，用户可以对审计数据进行校验，若发现有错误数据，则可以直接对其进行修改，数据处理装置在接收到用户输入的数据修改信息之后，会对目标数据脚本进行调试，以完善目标数据脚本。
40.s104，将目标数据脚本封装储存待用。
41.具体地，当目标数据脚本测试运行并调试完成之后，可以将其封装保存，即将其转化为应用系统可以使用的脚本格式，后续若存在同样的审计项目，则可以直接调用该目标数据脚本使用。
42.本技术解决了现有技术中在对审计数据进行处理时对于数据重构过于依赖个人经验所导致的难以满足审计项目的时效性和审计数据应用通用性的技术问题，实现了能够可视化的对审计数据进行重构处理，提高了处理效率，提升了处理准确率的技术效果。
43.在上述各技术方案的基础上，图2是本发明实施例提供的另一种数据处理方法的流程图，如图2所示，s101具体包括：
44.s201，接收标准表建立信息，并基于标准表建立信息创建可视化表格。
45.示例性地，以审计数据的处理场景为例，由于审计数据的处理过程中重要的一步是建立标准化数据表，且对于不同的审计项目，其标准化数据表在财务算账逻辑中存在较大差异，例如，有些审计项目需要得到被审计对象的全年纳税额，有些审计项目需要得到被
审计对象的全年营业额，因此需要接收用户自定义的标准表建立信息，并依据该标准表建立信息创建可视化表格。
46.需要说明的是，该过程全程为可视化处理过程，即用户根据需要在数据处理装置的可视化界面处输入标准表建立信息，生成的可视化表格也能够通过可视化界面直观的向用户进行展示。
47.s202，获取待处理数据。
48.具体地，由于不同的数据存在于不同的数据库中，因此需要将数据处理装置与需要获取待处理数据的数据库相连接，以获取需要的待处理数据。
49.需要说明的是，还可以根据需要由用户直接将获取到的待处理数据导入数据处理装置中，在此不做限制。
50.s203，建立待处理数据与可视化表格之间的填入规则。
51.具体地，在获取到待处理数据之后，用户需要根据审计项目需要设置待处理数据与可视化表格之间的映射关系或算账逻辑，即上述填入规则，其中，映射关系指的是将原始的待处理数据的数据结构转换为可视化表格需要的数据结构的转换关系，例如，将数据结构为字符型的待处理数据转换为数据结构为浮点型的数据，然后将其导入可视化表格中；算账逻辑指的是将原始的待处理数据经过数学运算处理后与可视化表格之间的逻辑关系，例如，利用待处理数据计算得到被审计对象的全年纳税额之后，将全年纳税额导入可视化表格。
52.s204，基于填入规则将待处理数据填入可视化表格中，其中，标准表建立信息、待处理数据以及填入规则作为数据重构配置信息。
53.具体地，用户在自定义设置好填入规则后，数据处理装置能够基于填入规则将待处理数据填入可视化表格中，节省了人力计算成本，将现有技术中数据异构和数据采集的存储过程的“黑盒”操作转变为用户直接可视化的“白盒”操作。
54.在上述各技术方案的基础上，s201具体包括：接收用户自定义的标准表表头信息以及标准表格式信息。
55.具体来说，用户在自定义标准表建立信息时，主要包括标准表建立时需要的标准表表头信息以及标准表格式信息，通过标准表表头信息以及标准表格式信息即可创建出可视化表格的实体表。
56.在上述各技术方案的基础上，图3是本发明实施例提供的又一种数据处理方法的流程图，如图3所示，s202具体包括：
57.s301，接收预设数据库登录信息。
58.具体地，预设数据库登录信息主要包括用户名、登录密码、登录地址信息等内容。
59.s302，基于登录信息向预设数据库发送建立连接请求。
60.具体地，在接收到用户通过可视化界面输入的预设数据库登录信息之后，可以基于该登录信息向相应的预设数据库发送建立连接请求。
61.s303，在建立连接请求通过后从预设数据库中获取待处理数据。
62.具体地，在预设数据库与数据处理装置建立连接之后，可以直接在数据处理装置中展示预设数据库下的表文件，用户点击相应的数据表文件，还可以直接展示或部分展示数据表文件下的数据明细。
63.在上述各技术方案的基础上，s203具体包括：建立待处理数据与可视化表格之间的字段类型关系；或者，建立待处理数据与可视化表格之间的逻辑运算关系，其中，逻辑运算关系指待处理数据经过预设数学运算处理后得到的数据与可视化表格内的单元格之间的对应关系。
64.具体地，在与预设数据库建立连接，获取到待处理数据之后，用户需要根据审计项目需要设置待处理数据与可视化表格之间的映射关系，即建立待处理数据与可视化表格之间的字段类型关系，该字段类型关系指的是将原始的待处理数据的数据结构转换为可视化表格需要的数据结构的转换关系。
65.或者，在与预设数据库建立连接，获取到待处理数据之后，用户需要根据审计项目需要设置待处理数据与可视化表格之间的算账逻辑，即建立待处理数据与可视化表格之间的逻辑运算关系，该逻辑运算关系指的是将原始的待处理数据经过预设数学运算处理后得到的数据与可视化表格内的单元格之间的对应关系。
66.在发明实施例中，由于不同审计项目具有不同的审计需求，且不同的审计项目所需要的转换的数据结构不同，因此通过用户自定义的建立待处理数据与可视化表格直接的填入规则，可以有针对性的将数据处理装置应用于不同的审计项目，提升了数据处理装置的适用性。
67.在上述各技术方案的基础上，在s103接收数据修改信息之前，数据处理方法还包括：运行目标数据脚本，判断目标数据脚本是否存在错误脚本，并在判断结果为存在错误脚本时获取数据修改信息。
68.具体地，在目标数据脚本生成之后，用户需要对审计数据进行校验，判断是否存在错误数据，即运行目标数据脚本，判断其是否存在错误脚本，若存在，则用户可以直接对其进行修改，这个修改过程就是对目标数据脚本进行调试与测试的过程。
69.在本发明实施例中，通过使用可视化的交互方式，对目标数据脚本进行调试与测试，可以让没有脚本撰写技术背景的审计人员快速、便捷地将审计中所需要的标准化数据表在数据处理装置中完成搭建，避免了审计业务人员与技术人员交流的工作流程长，信息传导失真的问题。
70.图4是本发明实施例提供的一种数据处理装置的结构图，如图5所示，该数据处理装置包括：
71.配置信息接收单元41，用于接收数据重构配置信息；
72.配置信息导入单元42，用于将数据重构配置信息导入预设数据处理脚本模板中，得到目标数据脚本，其中，预设数据处理脚本模板为etl脚本；
73.修改信息接收单元43，用于接收数据修改信息，并基于数据修改信息调试目标数据脚本；
74.脚本封装单元44，用于将目标数据脚本封装储存待用。
75.可选地，配置信息接收单元41包括：
76.表格创建子单元，用于接收标准表建立信息，并基于标准表建立信息创建可视化表格；
77.数据获取子单元，用于获取待处理数据；
78.规则建立子单元，用于建立待处理数据与可视化表格之间的填入规则；
79.数据填入子单元，用于基于填入规则将待处理数据填入可视化表格中，其中，标准表建立信息、待处理数据以及填入规则作为数据重构配置信息。
80.可选地，表格创建子单元具体用于接收用户自定义的标准表表头信息以及标准表格式信息。
81.可选地，数据获取子单元具体用于：
82.接收预设数据库登录信息；
83.基于登录信息向预设数据库发送建立连接请求；
84.在建立连接请求通过后从预设数据库中获取待处理数据。
85.可选地，规则建立子单元具体用于：
86.建立待处理数据与可视化表格之间的字段类型关系；
87.或者，建立待处理数据与可视化表格之间的逻辑运算关系，其中，逻辑运算关系指待处理数据经过预设数学运算处理后得到的数据与可视化表格内的单元格之间的对应关系。
88.可选地，在修改信息接收单元43接收数据修改信息之前，数据处理装置还包括：
89.脚本运行单元，用于运行目标数据脚本，判断目标数据脚本是否存在错误脚本，并在判断结果为存在错误脚本时获取数据修改信息。
90.本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
91.本发明实施例提供的数据处理装置，与上述实施例提供的数据处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
92.本发明实施例还提供了一种数据结构重构编辑器，数据结构重构编辑器包括任意实施例中的数据处理装置。
93.本发明实施例提供的数据结构重构编辑器包括上述实施例中的数据处理装置，因此本发明实施例提供的数据结构重构编辑器也具备上述实施例中所描述的有益效果，此处不再赘述。
94.图5为本发明实施例提供的一种数据处理设备的结构示意图，如图5所示，该数据处理设备包括处理器51、存储器52、输入装置53和输出装置54；数据处理设备中处理器51的数量可以是一个或多个，图5中以一个处理器51为例；数据处理设备中的处理器51、存储器52、输入装置53和输出装置54可以通过总线或其他方式连接，图5中以通过总线连接为例。
95.存储器52作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据处理方法对应的程序指令/模块(例如，数据处理装置中的配置信息接收单元41、配置信息导入单元42、修改信息接收单元43以及脚本封装单元44)。处理器51通过运行存储在存储器52中的软件程序、指令以及模块，从而执行数据处理设备的各种功能应用以及数据处理，即实现上述的数据处理方法。
96.存储器52可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器52可进一步包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至数据处理设
备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
97.输入装置53可用于接收输入的数字或字符信息，以及产生与数据处理设备的用户设置以及功能控制有关的键信号输入。输出装置54可包括显示屏等显示设备。
98.本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据处理方法。
99.具体地，该数据处理方法包括：
100.接收数据重构配置信息；
101.将数据重构配置信息导入预设数据处理脚本模板中，得到目标数据脚本，其中，预设数据处理脚本模板为etl脚本；
102.接收数据修改信息，并基于数据修改信息调试目标数据脚本；
103.将目标数据脚本封装储存待用。
104.当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据处理方法中的相关操作。
105.通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
106.值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
107.本发明实施例还提供一种计算机程序产品，该计算机程序产品包括计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时用于执行本发明任意实施例所提供的数据处理方法。
108.当然，本技术实施例所提供的计算机程序产品，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的方法中的相关操作。
109.在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
110.最后应说明的是，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。