业务系统数据处理方法及装置与流程

本发明涉及数据处理技术领域，特别涉及一种业务系统数据处理方法及装置。

背景技术：

业务系统(比如人事系统、财务系统，物资系统等等)运行过程中产生了大量的业务数据和流程数据，通常是在业务系统内部对这些数据进行统计和分析，在统计和分析时会遇到因对数据分类导致信息不够完善的问题。为了完善数据，使之满足统计和分析的需要，通常人们会改造业务系统，对其进行开发和变更。这样存在如下问题：1)随着业务的开展和市场的变化，统计和分析的需求也随之不断变化，采用开发的方式无法即时的满足对数据的统计和分析需求，同时也不能灵活的适应统计和分析的需求变化；2)对业务系统的变更是有风险的，轻则变更失败后回退，重则影响整个业务系统的运行，造成不可估量的损失；3)持续的开发意味着持续的人力、物力、财力投入，为企业增加了运营成本。

技术实现要素：

本发明实施例提供了一种业务系统数据处理方法，满足对数据的统计和分析需求，无需对业务系统进行开发和变更，节省开发成本。该方法包括：

从业务系统中抽取待处理数据，将所述待处理数据添加到数据表模板中，形成基础数据表；

建立与所述基础数据表相关联的标签项表，所述标签项表中包括根据待处理数据设置的标签项；

设置所述标签项表中标签项的可选值；

根据预设的推送规则将所述标签项推送给数据填写人员进行标签项赋值，其中，数据填写人员从设置的标签项的可选值中选择相应值为所述标签项赋值；

根据预设的推送规则将已赋值的标签项推送给审核人员进行审核，当审核通过时，所述已赋值的标签项生效，当审核不通过时，将未通过审核的已赋值的标签项推送给所述数据填写人员进行重新赋值。

在一个实施例中，将所述待处理数据添加到数据表模板中，形成基础数据表，包括：

对所述待处理数据进行清洗、转换处理，将进行清洗、转换处理后的数据加载到数据表模板中，形成基础数据表。

在一个实施例中，该方法还包括：

输出审核通过的标签项表和基础数据表。

在一个实施例中，该方法还包括：将所述基础数据表及审核通过的标签项表合并，获得业务数据表，输出所述业务数据表。

本发明实施例还提供了一种业务系统数据处理装置，满足对数据的统计和分析需求，无需对业务系统进行开发和变更，节省开发成本。该装置包括：

数据抽取模块，用于从业务系统中抽取待处理数据，将所述待处理数据添加到数据表模板中，形成基础数据表；

标签项表建立模块，用于建立与所述基础数据表相关联的标签项表，所述标签项表中包括根据待处理数据设置的标签项；

标签项值设置模块，用于设置所述标签项表中标签项的可选值；

推送模块，用于根据预设的推送规则将所述标签项推送给数据填写人员进行标签项赋值，其中，数据填写人员从设置的标签项的可选值中选择相应值为所述标签项赋值；

所述推送模块，还用于根据预设的推送规则将已赋值的标签项推送给审核人员进行审核，当审核通过时，所述已赋值的标签项生效，当审核不通过时，将未通过审核的已赋值的标签项推送给所述数据填写人员进行重新赋值。

在一个实施例中，所述数据表建立模块具体用于：

对所述待处理数据进行清洗、转换处理，将进行清洗、转换处理后的数据加载到数据表模板中，形成基础数据表。

在一个实施例中，该装置还包括：

输出模块，用于输出审核通过的标签项表和基础数据表。

在一个实施例中，所述输出模块还用于：将所述基础数据表及审核通过的标签项表合并，获得业务数据表，输出所述业务数据表。

在本发明实施例中，可以将待处理数据从业务系统中抽取出来，然后将待处理数据添加到数据表模板中，形成基础数据表，并建立与基础数据表相关联的标签项表，其中，标签项表中包括根据待处理数据设置的标签项；设置所述标签项表中标签项的可选值；根据预设的推送规则将所述标签项推送给数据填写人员进行标签项赋值，其中，数据填写人员从设置的标签项的可选值中选择相应值为所述标签项赋值；根据预设的推送规则将已赋值的标签项推送给审核人员进行审核，当审核通过时，所述已赋值的标签项生效，当审核不通过时，将未通过审核的已赋值的标签项推送给所述数据填写人员进行重新赋值。与现有技术相比，本发明是将数据从业务系统中抽取出来之后，再对数据的分类信息进行完善，从而满足对数据的统计和分析需求，同时还无需对业务系统进行开发和变更，不会影响整个业务系统的运行，也不会造成不可估量的损失，节省开发成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种业务系统数据处理方法流程图；

图2是本发明实施例提供的一种基础数据表和标签项表示意图；

图3是本发明实施例提供的对标签项表进行设置示意图一；

图4是本发明实施例提供的对标签项表进行设置示意图二；

图5是本发明实施例提供的对标签项表进行设置示意图三；

图6是本发明实施例提供的推送标签项表的示意图；

图7是本发明实施例提供的对标签项表进行赋值的示意图一；

图8是本发明实施例提供的对标签项表进行赋值的示意图二；

图9是本发明实施例提供的对标签项表进行审核的示意图；

图10是本发明实施例提供的一种业务系统数据处理方法装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的是在业务系统内部对数据进行统计和分析，当数据不满足统计和分析需求时，需要对业务系统进行开发和变更，这样会带来存在如下问题：1)随着业务的开展和市场的变化，统计和分析的需求也随之不断变化，采用开发的方式无法即时的满足对数据的统计和分析需求，同时也不能灵活的适应统计和分析的需求变化；2)对业务系统的变更是有风险的，轻则变更失败后回退，重则影响整个业务系统的运行，造成不可估量的损失。基于此，本发明提出一种业务系统数据处理方法及装置。

图1是本发明实施例提供的一种业务系统数据处理方法流程图，如图1所示，该方法包括：

步骤101：从业务系统中抽取待处理数据，将所述待处理数据添加到数据表模板中，形成基础数据表；

步骤102：建立与所述基础数据表相关联的标签项表，所述标签项表中包括根据待处理数据设置的标签项；

步骤103：设置所述标签项表中标签项的可选值；

步骤104：根据预设的推送规则将所述标签项推送给数据填写人员进行标签项赋值，其中，数据填写人员从设置的标签项的可选值中选择相应值为所述标签项赋值；

步骤105：根据预设的推送规则将已赋值的标签项推送给审核人员进行审核，当审核通过时，所述已赋值的标签项生效，当审核不通过时，将未通过审核的已赋值的标签项推送给所述数据填写人员进行重新赋值。

具体实施时，首先需要建立与目标业务系统的网络连接，然后根据实际情况，选择合适的ETL工具从目标业务系统中抽取待处理的数据(即需要添加数据标签的数据)，对将待处理的数据进行清洗、转换处理后，加载到目标库表(数据表模板)中，形成基础数据表，如图2所示。当待处理的数据的不满足数据统计分析业务的需求时，要建立与基础数据表相关联的标签项表，如图2所示，其中，标签项表中包括与根据待处理数据设置的标签项(也就是满足据统计分析业务需求的数据)，所述标签项表的名称可以是基础数据表的名称+check。

其中，ETL(Extract-Transform-Load)工具是用来描述将数据从来源端经过抽取(extract)、清洗、转换(transform)、加载(load)至目的端的过程，其中ETL工具可以包括DataStage、kettle、Informatica等等。

标签项表中包括的标签项是由用户根据实际需要定义的，用户可以根据需要添加或删除标签项表中的标签项。用户定义好标签项后，将其保存至建立的标签项表中，并定义好标签项的可选值以及配置查询条件，其中，标签项的值可以包括“是”和“否”。如图3-5所示为对标签项进行设置的示意图。

具体实施时，在建立好基础数据表及标签项表之后，标签项表中的标签项的值是空的，需要对标签项表进行赋值。本发明是将根据预设的推送规则将标签项表中相应的标签项推送到相应的数据填写人员(可以是一个人，也可以是一个组的人员)，由数据填写人员(需要提前选定)根据逐条查看基础数据表中的数据内容，然后从设置的标签项的可选值中选择标签项的值。数据填写人员可以是业务系统内部不同部门的人员，也可以是业务系统外部的人员。如图7-8所示为对标签项表进行赋值的示意图。

具体的，可以在前台使用规则配置页面自定义推送规则，其原理是使用前台页面编写sql脚本。预设的推送规则可以包括选择数据填写人员，选择所要推送的标签项表名等等，然后还要将推送规则进行保存，如图6所示。

具体实施时，在对标签项表中的标签项进行赋值后，还需要对已赋值的标签项进行审核。本发明是根据预设的推送规则将已赋值的标签项推送给审核人员，由审核人员对已赋值的标签项逐条进行审核。此时，推送规则中还可以包括选择审核人等，如图6所示。

具体的，审核存在两种情况：当审核通过时，说明已赋值的标签项的值生效；当审核未通过时，说明已赋值的标签项的值未生效，需要将未通过审核的已赋值的标签项推送给所述数据填写人员进行重新赋值。审核未通过可以包括两种情况：一种是数据填写人员未对所要赋值的所有标签项进行赋值；一种是对标签项进行赋值错误。在对已赋值的标签项表进行审核时还可以附上审核意见说明，如图9所示。

具体实施时，该方法还可以包括：输出审核通过的标签项表和基础数据表；或，将所述基础数据表及审核通过的标签项表合并，获得业务数据表，输出所述业务数据表。

具体实施时，该方法可以应用于数据分析场景、数据挖掘场景当中。当应用于数据分析场景中时，该方法还包括：对基础数据表及审核通过的标签项表进行统计分析；或，对所述业务数据表进行统计分析。

基于同一发明构思，本发明实施例中还提供了一种业务系统数据处理装置，如下面的实施例所述。由于业务系统数据处理装置解决问题的原理与业务系统数据处理方法相似，因此业务系统数据处理装置的实施可以参见业务系统数据处理方法的实施，重复之处不再赘述。以下所使用的术语“单元”或者“模块”可以是实现预定功能的软件和/或硬件的组合。尽管以上实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图10是本发明实施例提供的一种业务系统数据处理方法装置结构示意图，如图10所示，该装置包括：

数据抽取模块1001，用于从业务系统中抽取待处理数据，将所述待处理数据添加到数据表模板中，形成基础数据表；

标签项表建立模块1002，用于建立与所述基础数据表相关联的标签项表，所述标签项表中包括根据待处理数据设置的标签项；

标签项值设置模块1003，用于设置所述标签项表中标签项的可选值；

推送模块1004，用于根据预设的推送规则将所述标签项推送给数据填写人员进行标签项赋值，其中，数据填写人员从设置的标签项的可选值中选择相应值为所述标签项赋值；

所述推送模块1004，还用于根据预设的推送规则将已赋值的标签项推送给审核人员进行审核，当审核通过时，所述已赋值的标签项生效，当审核不通过时，将未通过审核的已赋值的标签项推送给所述数据填写人员进行重新赋值。

具体实施时，所述数据抽取模块1001具体用于：

对所述待处理数据进行清洗、转换处理，将进行清洗、转换处理后的数据加载到数据表模板中，形成基础数据表。

具体实施时，该装置还包括：输出模块，用于输出审核通过的标签项表和基础数据表。

具体实施时，所述输出模块还用于：将所述基础数据表及审核通过的标签项表合并，获得业务数据表，输出所述业务数据表。

综上所述，本发明装置可作为一个单独的系统，与业务系统分离；本发明装置将待处理数据从业务系统中抽取出来，对于给数据添加标签或对标签的增删改都在本发明装置中进行，不会对业务系统造成任何影响，有效的屏蔽了对业务系统变更时可能存在的风险；使用本发明装置可对任意业务系统的数据添加标签，具有普适性；本发明装置提供了数据抽取、标签项生成、推送规则配置、标签生成、标签审核等一系列模块，全面满足了数据标签业务需求；使用本发明装置，无需再进行业务系统开发，节约了开发成本。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。