一种标准化、流程化的数据录入方法和系统与流程

本发明涉及数据导入技术，尤其涉及一种标准化、流程化的数据录入方法和系统。

背景技术：

项目实施过程中经常遇到需要进行存量数据录入、数据割接的情况。数据对每个客户都是极其重要的资产，这是每个客户都会提出的要求。客户的存量数据存储形式多样，有的存储于某种系统或者数据库，有的甚至是用excel手工维护。

现有的方法一般是由单个模型构成模板，需要客户将每个模型单独导入。客户需要对一批有关联关系的数据进行多次导入操作。分散的模型不容易让客户注意到模型之间的关联关系，降低了客户提供的数据的准确性。原有的导入方式数据导入失败原因的提示比较笼统，客户对数据整改比较费劲，一个原因就经常需要整改多次。这就造成数据导入需要大量重复的工作，数据割接成为一个令项目人员非常头疼的工作。

技术实现要素：

为了解决以上技术问题，本发明提出了一种标准化、流程化的数据录入方法，有标准化模板，以规范的流程控制一键导入，高效可检查。

本发明提供一种标准化、流程化的数据录入方法，包括：

提供具有一定关联关系的模型组成的标准化模板，这种关联关系让使用者在填充数据的时候能准确认识到各模型之间的关联关系，有利于提高数据的准确性，提高数据录入的效率。

使用者按模板填充的数据文件可以通过前台页面手动上传到服务器。客户只需要进行一次上传操作就能将多个模型的数据一起录入系统，减少了客户的导入操作次数，提高了数据录入的效率。

如果是与其他系统对接也可以在数据文件生成好之后通知服务端让服务端进行采集。

进一步的，

数据文件上传后或者服务端收到数据文件已经生成的消息后就生成一条数据录入任务，任务信息包括执行状态、结果，执行开始时间、结束时间，任务创建者等。如果导入失败，能导出任务详情查看错误数据是哪些，错误原因是哪些。

数据录入程序定时轮训执行导入任务，这样能有效控制导入任务执行的数量以控制全部导入任务所消耗的服务器资源。

导出的任务详情能清晰的看到每一条错误数据都被标记出来，并且说明了数据错误的原因。客户能准确整改错误的数据，提高客户数据导入的效率。

进一步的，

任务执行后，如果需要采集数据文件会先采集数据文件再处理数据文件，客户已经上传数据文件的直接对数据文件进行处理；

对数据文件的处理包括：解析、校验、录入数据文件和返回执行结果。如果执行失败要标记录入失败的数据和数据录入失败的原因。解析、校验和录入是以模型为粒度的，任何一个模型录入失败就会返回执行失败的结果，后面的模型不再进行解析、校验和录入。

解析是指将根据每条数据提供的信息找到各关联数据对应的id，因为系统用id进行关联。

校验会对全量数据进行全部规则的校验，这样能一次校验出全部的错误数据和每条数据的全部错误原因为客户修改数据提供便利。

录入是当全部数据都校验成功后才会进行录入操作。另外，录入功能能够将外线数据录入到osp系统，解决了以前osp数据只能逐个手工创建的问题。

进一步的，

数据录入任务还起到了操作日志的功能。客户可以通过录入任务审查哪些人导入过哪些数据。这一点也对客户非常重要。

本发明还提供了一种标准化、流程化的数据录入系统，主要包括：

标准模板模块、数据文件上传模块、数据文件采集模块、数据文件解析模块、数据文件校验模块、数据文件录入模块、标记错误模块和检查模块；其中，

标准模板模块，提供具关联关系的模型组成的标准化模板，这种关联关系让使用者在填充数据的时候能准确认识到各模型之间的关联关系；

数据文件上传模块，将按模板填充的数据文件上传到服务器；

数据文件采集模块，与其他系统对接时在数据文件生成好之后通知服务端让服务端采集数据；

数据文件解析模块，将根据每条数据提供的信息找到各关联数据对应的id；

数据文件校验模块，对全量数据进行全部规则的校验；

数据文件录入模块，当全部数据都校验成功后会进行录入操作，将外线数据录入到osp系统；

标记错误模块，标记录入失败的数据和原因；

检查模块，检查数据录入任务执行情况。

进一步的，还包括：

存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行本发明前述的任一所述的方法。

进一步的，还包括：

一种计算机可读存储介质，包括：

其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明前述任一所述的方法。

本发明的有益效果是

以规范的流程控制一键导入，高效可检查，标准化的模板是多个模型的组合，这种组合是一种关联关系(比如服务开通所需的设备)的开始到结束；以任务控制为实现方式的规范流程，实现数据从源头系统录入目的系统，能够记录录入数据的人员和时间。模型可以面向各种存量的资源管理系统，组合关系能更好的引导使用者填充模型，多个模型一键化导入节省了操作时间。流程的数据源可以是采集也可以是手动录入，流程发起后生成一条任务，任务执行后将数据进行解析、校验、录入。

附图说明

图1是本发明的工作流程示意图。

具体实施方式

下面对本发明的内容进行更加详细的阐述：

具体的用一个开通ftth业务所需的设备的资源模板录入数据为例进行展开说明。

步骤一，提供标准化模板。

表一

表二

表一和表二分别展示了模板的前半部分和后半部分。可以看出这个模板是有九个模型组成的一个标准模板。这是一个开通ftth业务所需要的资源的模板。九个模型如果分别在九个模板中，客户就需要就此导入操作而组合模板只需要一次。

模板的排列顺序就是这些模型数据应该导入的先后顺序，排列靠后的模型的数据需要在前面的模型数据导入后才能导入。因为模型之间存在着关联关系。而将模型放在一起能让客户更好的关注这种关联关系。具体的关联关系下面具体展开：

表三

equipmentaddress是必须第一个填充数据的模型，后面的模型的数据大多与它有这关联的关系。这个模型也有三个属性subnetworkname、zonenetworkname、sitename需要关联其他模型的数据，但是这三个模型属于物理地址范畴的数据，认为应该提前具备而且不会被轻易改变。所以没有列出这三个模型。

表四

module中的属性relatedrack与equipmentaddress关联。relatedrack属性的值只能是已经导入到系统中的equipmentaddress的devicename的值。

表五

fdtsplitter中的属性relatedobject与equipmentaddress关联。relatedobject属性的值只能是已经导入到系统中的equipmentaddress的devicetype是fdt的数据的devicename的值。

表六

fatsplitter中的属性relatedobject与equipmentaddress关联。relatedobject属性的值只能是已经导入到系统中的equipmentaddress的devicetype是fat的数据的devicename的值。

表七

ocablesegment中的属性a-device和z-device与equipmentaddress关联。两个属性的值只能是已经导入到系统中的equipmentaddress的devicename的值。

表八

jumper中的属性adevicename和zdevicename与equipmentaddress、fdtsplitter、fatsplitter关联。两个属性的值只能是已经导入到系统中的equipmentaddress的devicename的值或者fdtsplitter、fatsplitter的posname的值。

表九

terminate中的属性devicename与equipmentaddress关联。属性的值只能是已经导入到系统中的equipmentaddress的devicename的值。

后面的两个模型customeraddress和address-resourcebinding不是必填项，先不做描述。

以上描述的关联关系主要是各模型与equipmentaddress的关联关系。其他模型之间的关联关系没有完全说明出来。

步骤二，给模板填充数据。数据可能是客户手动填充，也可以由其他资源系统通过程序填充。

步骤三，在页面上传数据文件或者给服务器发送数据文件已经生成的消息等待服务器采集，同时生成导入任务。

模板如果是由客户手工填充，填充好数据之后客户需要在前台页面导入数据文件，这个导入操作是以创建一条导入任务的形式完成，在导入文件的同时生成导入任务。

模板如果是由其他对接的资源系统填充，填充好数据之后改系统需要给服务端发送一条数据文件已经生成的消息，服务端收到消息后会生成一条导入任务并返回已经收到消息的消息。

数据录入程序定时轮训执行导入任务，可以通过配置控制导入任务同时执行的数量以控制全部导入任务所消耗的服务器资源。导入任务有几个重要的属性：任务创建人，系统根据登录用户自动添加；任务状态，有未执行、执行中、执行失败和执行成功四种；任务开始时间；任务结束时间；任务详情，详情可以导出，如果导入失败，详情中会标记出错误数据的位置并在模型中添加错误信息属性给出每条错误数据错误的原因，如果导入成功详情就是导入的数据。

利用详情的导出功能客户可以高效的整改错误数据，一次可以修改一个模型的所有错误数据的所有错误原因，提高了数据了录入的效率；任务创建人和详情导出功能一起使用能起到审查哪些用户导入了哪些数据的功能，便于管理员审查和管理。

步骤四，执行数据导入任务，将数据导入任务的执行状态修改为执行中。数据导入又分为四个小的步骤：

步骤4.1，采集数据文件，这一步骤在系统之间进行数据共享需要服务器采集数据文件时才会发生，如果数据文件是在前台页面导入，这一步骤会被跳过。

步骤4.2，解析数据，获取到数据文件以后要使用已有的数据根据制定的规则生成其他几个需要的字段，尤其是获取关联数据的唯一标识，毕竟程序是用唯一标识将数据关联起来。数据解析是为后续的步骤做好准备，方便后续的步骤进行。

步骤4.3，校验数据，校验数据是为了保证数据的准确性，校验规则可以根据需要配置。有两种配置文件一种用来配置模型名称和校验规则文件名称；一种是校验规则文件，一个校验规则文件对应一个模型，一个校验规则文件中配置有对应的模型的所有字段使用的所有校验规则。校验规则多种多样，可以是非空校验、数字类型校验、整数校验、长度校验、大小校验、是否重复校验、关联数据是否已经在服务端的校验、使用的关联数据是否正确的校验。

校验数据这一步骤会匹配正在执行的这一模型的所用数据对应的所用规则。如果校验失败，标记失败的是哪条数据并记录这条数据没能通过的校验规则，结束数据导入任务，将任务执行状态修改为执行失败状态。

客户根据数据错误的原因也就是没能通过的校验规则重新整改数据，再次进入步骤二。

如果校验成功，接着执行下面的步骤。

步骤4.4，录入数据，录入数据包括新数据的插入和对已经存在的数据的修改，录入数据可以将数据录入到一个数据库中也可以根据需要将数据录入到多个数据库中。

录入数据到数据库之后，一个模型的数据录入结束。对下一个模型的数据执行步骤四的4个小步骤，直到所有模型的数据都录入成功。

所有数据录入成功之后，将任务的执行状态修改为执行成功状态，数据录入任务结束。

术语说明

ftth是光纤到户即光纤直接到家庭的缩写。

开通业务是指自然人到电信运营商营业厅处开通自己家庭的语音业务或者宽带业务或者iptv业务。

osp一种根据模型的经纬度信息能够将模型(资源)展示在地图上的外线系统。通过osp可以看到模型(资源)经过的物理地址，经过的建筑、设施，一个资源到目标位置需要经过的道路、河流等地理环境。