本发明涉及数据处理
技术领域：
：，具体涉及一种数据导入系统及基于该系统的数据导入方法。
背景技术：
：：经济的全球化，给企业带来了无限商机，同时也给企业带来越来越大的压力。业务的迅速扩展，使企业的信息化程度需要急速提升，而企业的核心数据处理速度现成为抑制企业信息沟通的瓶颈。对于各类企业，随着业务的增多与商业全球化，企业通常通过信息系统统一存储各种业务数据、产品数据和员工管理数据等等，均需要将大量数据导入数据系统中以进行查阅、存储和实施管理。以往，导入原始数据这一工作通常由人工完成：即人工进行原始数据的识别、筛选以及最后导入。如此，存在如下不足之处：一是效率低下，人工导入原始数据浪费了大量时间；二是容易出错，人工导入原始数据很容易出错；三是导入可能不及时。以业务数据为例：当企业与客户处在地球的不同时区时，相互之间的数据沟通就需要跨时区进行，如果客户数据信息的导入必须由人工完成，当客户与企业的工作时间不同时，势必造成客户数据信息与企业信息系统的沟通不能在第一时间进行，使客户与企业双方失去大量业务处理的有效时机。为了解决上述技术问题，现有技术中出现了大量的改进技术，例如现有技术中的分布式顺序表(distributedorderedtable简称dot)是一种最适用于海量数据(tb到pb级)下的数据库系统，有效实现大量数据信息的导入。但针对该数据导入方式，由于数据量过大，使用dot提供的接口导入的时候，需要自上而下逐级寻找region分片的位置，导致导入数据时间漫长，效率低下。由此可见，能否基于现有技术中的不足，提供一种改进的数据导入技术，能够满足对海量数据导入需求，极大地提高数据导入速度。成为本领域技术人员家亟待解决的技术难题。技术实现要素：本发明为了解决上述技术问题，提供一种数据导入系统及基于该系统的数据导入方法，能够对海量数据进行导入和处理，极大地提高数据导入速度。为了达到上述技术效果，本发明包括以下技术方案：一种数据导入系统，包括相互连接的应用服务器和计算机，所述计算机用于提供数据信息，其特征在于，所述服务器包括数据接收模块、数据处理模块和数据存储模块；所述数据接收模块用于接收计算机提供的数据信息并将所述数据信息发送至数据处理模块；所述数据处理模块用于将接收的数据信息导入界面，并提供相应数据模板和格式信息，将所述数据信息与数据模板和格式信息相结合，生成数据文件，将所述数据文件发送至数据存储模块；所述数据存储模块，用于接收所述数据文件，并将所述数据文件存储至数据库中。进一步的，所述数据模板是根据数据信息类型进行预先设定。进一步的，所述数据模板为excel数据模板，所述excel数据模板中包括至少一个页签；在所述页签中包括数据信息类型编号、与所述数据信息类型相关的一类数据中的多个属性数据；所述获取的数据文件为excel数据文件。进一步的，所述数据信息包括至少一个如下的信息：数据编号、数据名称、日期、摘要、自定义字段和与数据信息类型相关的文字信息；所述格式信息包括至少一个如下的信息：数据信息类型、长度、是否是必录信息和自定义格式。进一步的，所述数据获取模块还用于将已接收的数据信息与待接收的数据信息比对，若已接收的数据信息的数据名称与待接收的数据信息的数据名称一致，则待接收的数据信息导入失败，若已接收的数据信息的数据名称与待接收的数据信息的数据名称不一致，则待接收的数据信息导入成功。进一步的，所述数据导入系统还包括数据检测模块，所述数据处理模块将所述数据文件发送至数据检测模块，所述数据检测模块用于对所述数据文件中的数据进行校验，并将校验后的数据文件发送至数据存储模块。一种基于上述数据导入系统的数据导入方法，包括以下步骤：步骤一：接收计算机提供的数据信息；步骤二：将接收的所述数据信息导入界面，并将所述数据信息与数据模板和格式信息相结合，生成数据文件；步骤三：将所述数据文件进行存储。进一步的，所述步骤一还包括以下步骤：在接受计算机提供的数据信息时，将已接收的数据信息与待接收的数据信息比对，若已接收的数据信息的数据名称与待接收的数据信息的数据名称一致，则待接收的数据信息导入失败，若已接收的数据信息的数据名称与待接收的数据信息的数据名称不一致，则待接收的数据信息导入成功；所述步骤二中还包括以下步骤：将生成的数据文件进行校验，如果校验通过，则执行步骤三；如校验未通过则结束本次数据文件导入，并继续执行步骤一。其中对数据的校验可以按照如下预置的规则进行校验，可以包括：储存单据规则、数据合法性规则、数据正确性规则、反写规则或权限规则等，比如校验供应商是否存在，日期是否小于当期系统时间，以及业务逻辑检查比如价格策略、信用额度、物料权限、反写上游单据的逻辑等。且系统中预置的进行校验的规则可以根据用户需要进行设置。进一步的，所述数据模板是根据数据信息类型进行预先设定；所述数据模板为excel数据模板，所述excel数据模板中包括至少一个页签；在所述页签中包括数据信息类型编号、与所述数据信息类型相关的一类数据中的多个属性数据；所述获取的数据文件为excel数据文件。进一步的，所述数据信息包括至少一个如下的信息：数据编号、数据名称、日期、摘要、自定义字段和与数据信息类型相关的文字信息；所述格式信息包括至少一个如下的信息：数据信息类型、长度、是否是必录信息和自定义格式。采用上述技术方案，包括以下有益效果：本发明提供的一种数据导入系统及基于该系统的数据导入方法，各模块及数据导入流程设计科学合理，能够快速准确及时地将原始数据导入信息系统，大大提高了数据的导入效率，充分保证数据导入的准确性和及时性。附图说明图1为本发明实施例数据导入系统一种实施方式的结构框图；图2为本发明实施例数据导入系统另一种实施方式的结构框图；图3为本发明实施例数据导入方法一种实施方式的结构框图；图4为本发明实施例数据导入方法另一种实施方式的结构框图；具体实施方式下面通过具体的实施例对本发明做进一步的详细描述。实施例：一种数据导入系统，如图1所示，包括相互连接的应用服务器1和计算机2，所述计算机用于提供数据信息，所述服务器包括数据接收模块11、数据处理模块12和数据存储模块13；所述数据接收模块用于接收计算机提供的数据信息并将所述数据信息发送至数据处理模块；所述数据处理模块用于将接收的数据信息导入界面，并提供相应数据模板和格式信息，将所述数据信息与数据模板和格式信息相结合，生成数据文件，将所述数据文件发送至数据存储模块；所述数据存储模块，用于接收所述数据文件，并将所述数据文件存储至数据库中。在本实施例中，进一步的，所述数据模板是根据数据信息类型进行预先设定。在本实施例中，进一步的，所述数据模板为excel数据模板，所述excel数据模板中包括至少一个页签；在所述页签中包括数据信息类型编号、与所述数据信息类型相关的一类数据中的多个属性数据；所述获取的数据文件为excel数据文件。在本实施例中，进一步的，所述数据信息包括至少一个如下的信息：数据编号、数据名称、日期、摘要、自定义字段和与数据信息类型相关的文字信息；所述格式信息包括至少一个如下的信息：数据信息类型、长度、是否是必录信息和自定义格式。在本实施例中，进一步的，所述数据获取模块还用于将已接收的数据信息与待接收的数据信息比对，若已接收的数据信息的数据名称与待接收的数据信息的数据名称一致，则待接收的数据信息导入失败，若已接收的数据信息的数据名称与待接收的数据信息的数据名称不一致，则待接收的数据信息导入成功。在本实施例中，进一步的，如图2所示，所述数据导入系统还包括数据检测模块14，所述数据处理模块将所述数据文件发送至数据检测模块，所述数据检测模块用于对所述数据文件中的数据进行校验，并将校验后的数据文件发送至数据存储模块。本实施例还提供一种基于上述数据导入系统的数据导入方法，如图3所示，包括以下步骤：s101：接收计算机提供的数据信息；s102：将接收的所述数据信息导入界面，并将所述数据信息与数据模板和格式信息相结合，生成数据文件；s103：将所述数据文件进行存储。在本实施例中，进一步的，如图4所示，所述s101还包括以下步骤：在接受计算机提供的数据信息时，将已接收的数据信息与待接收的数据信息比对，若已接收的数据信息的数据名称与待接收的数据信息的数据名称一致，则待接收的数据信息导入失败，若已接收的数据信息的数据名称与待接收的数据信息的数据名称不一致，则待接收的数据信息导入成功；所述s102中还包括以下步骤：将生成的数据文件进行校验，如果校验通过，则执行s103；如校验未通过则结束本次数据文件导入，并继续执行s101。其中对数据的校验可以按照如下预置的规则进行校验，可以包括：储存单据规则、数据合法性规则、数据正确性规则、反写规则或权限规则等，比如校验供应商是否存在，日期是否小于当期系统时间，以及业务逻辑检查比如价格策略、信用额度、物料权限、反写上游单据的逻辑等。且系统中预置的进行校验的规则可以根据用户需要进行设置。在本实施例中，进一步的，所述数据模板是根据数据信息类型进行预先设定。在本实施例中，进一步的，所述数据模板为excel数据模板，所述excel数据模板中包括至少一个页签；在所述页签中包括数据信息类型编号、与所述数据信息类型相关的一类数据中的多个属性数据；所述获取的数据文件为excel数据文件。在本实施例中，进一步的，所述数据信息包括至少一个如下的信息：数据编号、数据名称、日期、摘要、自定义字段和与数据信息类型相关的文字信息；所述格式信息包括至少一个如下的信息：数据信息类型、长度、是否是必录信息和自定义格式。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12