数据导入方法及装置与流程

本发明涉及数据处理技术领域，具体涉及一种数据导入方法及装置。

背景技术：

企业年金业务作为年金管理的角色之一，需要与其他外部机构交互各类业务信息并导入到系统中进行处理，比如指令，函件，通知单，估值表，报告等等，但由于各家机构数据结构不统一，每家都有自己的一套格式，且经常会发生变化。

如果系统只能处理固定格式的数据文件，每次格式发生变化时需要技术开发新的导入格式来适配这些导入文件，则导入格式发生变化则需要变更版本来适配，这样的情况下系统版本未更新之前业务人员只能通过手工维护的方式使得接收到的文件能够正确导入系统，这将严重影响业务的处理效率。

技术实现要素：

针对现有技术中的问题的至少之一，第一方面，本发明提供一种数据导入方法，包括：

导入外部文件时，获取所述外部文件中的所有外部字段；所述外部字段根据外部格式排布；

遍历一内部标准格式的所有内部字段；所述内部标准格式与所述外部格式对应；

根据所述外部字段与所述内部字段的名称映射关系，在所述外部文件中查询对应每个内部字段的第一字段值；

按照设定规则对所述第一字段值进行转换，得到第二字段值；

以第二字段值对所述内部标准格式下对应的内部字段重新赋值，生成一根据内部标准格式排布的内部文件，并将所述内部文件导入数据库。

在一些实施例中，所述按照设定规则对所述第一字段进行转换，得到第二字段值，包括：

对每个所述第一字段值进行规则转换；

对规则转换后的所述第一字段值进行值转换，生成转换后的第二字段值。

在一些实施例中，还包括：

建立所述名称映射关系。

在一些实施例中，所述根据内部字段与所述外部格式的外部字段的名称映射关系，在所述外部文件中查询对应每个内部字段的第一字段值，包括：

获取所述外部文件中每个外部字段对应的第一字段值；

根据所述名称映射关系，对每个外部字段进行名称转换，得到对应的内部字段，进而查询得到对应每个内部字段的第一字段值。

第二方面，本发明提供一种数据导入装置，包括：

外部字段获取模块，导入外部文件时，获取所述外部文件中的所有外部字段；所述外部字段根据外部格式排布；

遍历模块，遍历一内部标准格式的所有内部字段；所述内部标准格式与所述外部格式对应；

内部字段查询模块，根据所述外部字段与所述内部字段的名称映射关系，在所述外部文件中查询对应每个内部字段的第一字段值；

转换模块，按照设定规则对所述第一字段值进行值转换，得到第二字段值；

内部文件生成模块，以第二字段值对所述内部标准格式下对应的内部字段重新赋值，生成一根据内部标准格式排布的内部文件，并将所述内部文件导入数据库。

在一些实施例中，所述转换模块，包括：

规则转换单元，对每个所述第一字段值进行规则转换；

值转换单元，对规则转换后的所述第一字段值进行值转换，生成转换后的第二字段值。

在一些实施例中，还包括：

映射关系建立模块，建立所述名称映射关系。

在一些实施例中，所述内部字段查询模块，包括：

第一字段值获取单元，获取所述外部文件中每个外部字段对应的第一字段值；

映射单元，根据所述名称映射关系，对每个外部字段进行名称转换，得到对应的内部字段，进而查询得到对应每个内部字段的第一字段值。

第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的数据导入方法。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的数据导入方法。

由上述技术方案可知，本发明提供的数据导入方法及装置，通过设置内部字段和外部字段的名称映射关系，进而锚定每个数据类，然后以标准内部格式的字段值进行转换，将具有外部格式的外部文件转换为内部标准格式，能够处理上百种业务类型下各家外部机构的不同文件格式，并可以快速匹配文件让文件能正常导入系统。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中数据导入方法的流程示意图。

图2为本发明实施例中对应关系示意图。

图3为一具体应用场景步骤示意图。

图4为本发明实施例中数据导入装置的结构示意图。

图5为本发明实施例中的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例中一种数据导入方法，包括：

s1：导入外部文件时，获取所述外部文件中的所有外部字段；所述外部字段根据外部格式排布。

如图2所示的一种外部字段与内部标准字段的对应关系示意图，外部文件是外部机构产生，并需要导入数据库内部的文件，其具有外部格式，通过将外部字段按照外部格式排布形成外部文件。

外部格式即一非标准统一的格式，根据外部机构需要形成，一般地，以表格为例，外部字段可以是外部文件(表格)中的行表头或列表头，其表头下对应的值即为字段值。

s2：遍历一内部标准格式的所有内部字段；所述内部标准格式与所述外部格式对应。

内部标准格式是数据库中预设的统一格式，同理，将内部字段按照内部格式排布，并对对应的内部字段进行赋值，即可得到内部文件，同样以表格为例，对行表头进行赋值，即在行表头后的数据格中填写对应的字段值。

可以理解，外部字段和内部字段具有名称映射关系，也即外部字段名称和内部字段名称可以一致或者不一致，例如“今日单位净量”在外部字段中可以是“当日单位净量”、“每日单位净量”等，也即可以理解的是，外部字段与内部字段的映射关系可以是一一映射，也可以是多对一映射，即多种外部字段对应一个内部标准格式中的内部字段。

一般地，在数据文件导入系统中，外部字段与内部字段的映射是通过遍历内部标准格式的所有内部字段，即映射为满映射，当然由于内部字段是基于标准格式，因此包括所有内部系统需要的字段，内部字段中的部分即可形成对应外部字段的内部文件。

可以理解，在一个外部文件中，每个内部字段对应一个唯一的外部字段，但是对于多个外部文件，每个内部字段对应多个外部字段，例如“今日单位净量”在外部字段中可以是“当日单位净量”、“每日单位净量”，但在一个外部文件中，是“当日单位净量”和“每日单位净量”是择一的。

s3：根据所述外部字段与所述内部字段的名称映射关系，在所述外部文件中查询对应每个内部字段的第一字段值。

在一些实施例中，步骤s3具体包括s31和s32：

s31：获取所述外部文件中每个外部字段对应的第一字段值。

本发明中定义第一字段值为外部字段的字段值，由于每个外部字段在内部标准格式中具有一个对应的内部字段，因此，每个外部字段的字段值(第一字段值)都

s32：根据所述名称映射关系，对每个外部字段进行名称转换，得到对应的内部字段，进而查询得到对应每个内部字段的第一字段值。

s4：按照设定规则对所述第一字段值进行转换，得到第二字段值。

在一些实施例中，步骤s4具体包括s41和s42:

s41：对每个所述第一字段值进行规则转换；

s42：对规则转换后的所述第一字段值进行值转换，生成转换后的第二字段值。

规则转换是指根据设定的规则对原始数据进行转换，例如去百分号，乘100等，或设定字段为表头，表体。

值转换是对于不同的管理人，对同一实体会有不同的命名，可以根据设置将外部的输入实体名称转换为系统可识别的实体名称。

s5：以第二字段值对所述内部标准格式下对应的内部字段重新赋值，生成一根据内部标准格式排布的内部文件，并将所述内部文件导入数据库。

下面以一企业年金作为示例对本发明进行说明，如图3所示导入外部的例如工行缴费通知单时，找到对应的标准格式(建行缴费通知单)，遍历建行通知单中的所有字段，对于每个字段：

1、根据映射关系在工行通知单中找到对应的字段值；

2、根据业务的转换规则对字段值进行规则转换；

3、根据业务设置的数据映射对字段值做值转换；

4、对工行通知单处理完成后生成建行格式的新文件；

5、将新文件按标准格式处理流程导入到系统数据库中。

可以理解，本发明提供的数据导入方法，通过设置内部字段和外部字段的名称映射关系，进而锚定每个数据类，然后以标准内部格式的字段值进行转换，将具有外部格式的外部文件转换为内部标准格式，能够处理上百种业务类型下各家外部机构的不同文件格式，并可以快速匹配文件让文件能正常导入系统。

基于相同的发明构思，本发明实施例还提供一种数据导入装置，如图4所示，包括：

外部字段获取模块1，导入外部文件时，获取所述外部文件中的所有外部字段；所述外部字段根据外部格式排布；

遍历模块2，遍历一内部标准格式的所有内部字段；所述内部标准格式与所述外部格式对应；

内部字段查询模块3，根据所述外部字段与所述内部字段的名称映射关系，在所述外部文件中查询对应每个内部字段的第一字段值；

转换模块4，按照设定规则对所述第一字段值进行值转换，得到第二字段值；

内部文件生成模块5，以第二字段值对所述内部标准格式下对应的内部字段重新赋值，生成一根据内部标准格式排布的内部文件，并将所述内部文件导入数据库。

在一些实施例中，所述转换模块，包括：

规则转换单元，对每个所述第一字段值进行规则转换；

值转换单元，对规则转换后的所述第一字段值进行值转换，生成转换后的第二字段值。

在一些实施例中，还包括：

映射关系建立模块，建立所述名称映射关系。

在一些实施例中，所述内部字段查询模块，包括：

第一字段值获取单元，获取所述外部文件中每个外部字段对应的第一字段值；

映射单元，根据所述名称映射关系，对每个外部字段进行名称转换，得到对应的内部字段，进而查询得到对应每个内部字段的第一字段值。

可以理解，本发明提供的数据导入装置，通过设置内部字段和外部字段的名称映射关系，进而锚定每个数据类，然后以标准内部格式的字段值进行转换，将具有外部格式的外部文件转换为内部标准格式，能够处理上百种业务类型下各家外部机构的不同文件格式，并可以快速匹配文件让文件能正常导入系统。

从硬件层面来说，本发明提供一种用于实现所述数据导入方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：

处理器(processor)、存储器(memory)、通信接口(communicationsinterface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现服务器、装置、分布式消息中间件集群装置、各类数据库以及用户终端等相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例中的数据导入方法的实施例，其内容被合并于此，重复之处不再赘述。

图5为本发明实施例的电子设备9600的系统构成的示意框图。如图5所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图5是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

一实施例中，数据导入功能可以被集成到中央处理器9100中。例如，中央处理器9100可以被配置为进行如下控制：

s1：导入外部文件时，获取所述外部文件中的所有外部字段；所述外部字段根据外部格式排布；

s2：遍历一内部标准格式的所有内部字段；所述内部标准格式与所述外部格式对应；

s3：根据所述外部字段与所述内部字段的名称映射关系，在所述外部文件中查询对应每个内部字段的第一字段值；

s4：按照设定规则对所述第一字段值进行转换，得到第二字段值；

s5：以第二字段值对所述内部标准格式下对应的内部字段重新赋值，生成一根据内部标准格式排布的内部文件，并将所述内部文件导入数据库。

从上述描述可知，本发明的实施例提供的电子设备，通过设置内部字段和外部字段的名称映射关系，进而锚定每个数据类，然后以标准内部格式的字段值进行转换，将具有外部格式的外部文件转换为内部标准格式，能够处理上百种业务类型下各家外部机构的不同文件格式，并可以快速匹配文件让文件能正常导入系统。

在另一个实施方式中，数据导入装置可以与中央处理器9100分开配置，例如可以将数据导入装置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现数据导入功能。

如图5所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图5中所示的所有部件；此外，电子设备9600还可以包括图5中没有示出的部件，可以参考现有技术。

如图5所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。

其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。

输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为lcd显示器，但并不限于此。

该存储器9140可以是固态存储器，例如，只读存储器(rom)、随机存取存储器(ram)、sim卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为eprom等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。

存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。

本发明的实施例还提供能够实现上述实施例中的执行主体可以为服务器的数据导入方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的数据导入方法的全部步骤。

从上述描述可知，本发明的实施例提供的计算机可读存储介质，通过设置内部字段和外部字段的名称映射关系，进而锚定每个数据类，然后以标准内部格式的字段值进行转换，将具有外部格式的外部文件转换为内部标准格式，能够处理上百种业务类型下各家外部机构的不同文件格式，并可以快速匹配文件让文件能正常导入系统。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。