一种Excel数据的处理方法、系统及设备与流程

本发明涉及计算机信息技术领域，特别是指一种excel数据的处理方法、系统及设备。

背景技术：

随着数据的日益增多，excel表格已不满足百万级别的数据查询处理，迫切需要把excel中的数据加工处理后导入关系型数据库，通常的做法是根据用户需求定制研发一套excel数据处理程序，但是用户需求千变万化，每次数据处理方式的改变都会引起程序的修改，牵一发而动全身，进行数据处理的工作量大，且数据处理不灵活。

技术实现要素：

本发明提出一种excel数据的处理方法、系统及设备，解决了现有技术中excel数据处理工作量大且不灵活的技术问题。

本发明的技术方案是这样实现的：一种excel数据的处理方法，包括以下步骤：

数据获取：选定待处理的文件，获取待处理数据的文件路径；

创建数据流表：从选定的文件中获取文件表头和数据，并将其注册为数据流表；

数据预处理：配置数据处理的动态sql，对所述数据流表的表头及数据进行相应的预处理；

数据导入：获取预处理后的数据流并将其导入关系型数据库中。

作为优选的技术方案，所述文件表头和数据是采用flink流计算从选定的文件中获取的。

作为优选的技术方案，还包括在获取待处理数据之前，导入提交文件的步骤。

一种excel数据的处理系统，包括：

输入模块，用于导入选定的文件；

数据流表创建模块，用于从选定的文件中获取文件的表头和数据，并将其注册为数据流表；

动态sql工具，用于对所述数据流表的表头和数据进行预处理；

数据导入模块，将经过预处理后的数据流导入关系型数据库；

关系型数据库，用于存储提交数据或数据流表中经过处理的数据。

一种数据处理设备，应用上述excel数据的处理系统。

作为优选的技术方案，所述数据处理设备包括存储设备、移动设备、pc端。

本发明的有益效果在于：本发明提供的数据处理方法，在用户需求发生改变时，只需要对应数据构成的数据流表采用动态sql进行处理，即可满足需求，大大降低了研发工作量，数据处理更加灵活。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为工作流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在

本技术：
的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

如图1所示，本发明涉及的一种excel数据的处理方法，包括以下步骤：

步骤1：文件导入开始，选定待处理的文件；

步骤2：获取文件路径，提交待处理的excel数据文件；

步骤3：使用flink流计算获取表头和数据；

步骤4：将步骤3中的表头和数据命名为新的表名并注册为数据流表；

步骤5：配置数据处理的动态sql，对数据流表的表头及数据进行相应的预处理；

步骤6：获取处理后的数据流；

步骤7：将处理后的数据流导入关系型数据库；

其中，步骤5中，配置动态sql具体通过以下步骤对数据流表进行预处理：

ⅰ、输入select

ii、输入对表头处理的函数，如left、right、trim、sum、count等sql语句；

iii、输入from关键字；

iv、输入注册的数据流表名称；

v、输入需要的where条件。

一种excel数据的处理系统，包括：

输入模块，用于导入选定的文件；

数据流表创建模块，用于从选定的文件中获取文件的表头和数据，并将其注册为数据流表；

动态sql工具，用于对数据流表的表头和数据进行预处理；

数据导入模块，将经过预处理后的数据流导入关系型数据库；

关系型数据库，用于存储提交数据或数据流表中经过处理的数据。

本发明还涉及一种数据处理设备，应用上述excel数据的处理系统。包括存储设备、移动设备、pc端等能够应用本发明所涉及的excel数据的处理方法的电子设备。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种excel数据的处理方法，其特征在于，包括以下步骤：

数据获取：选定待处理的文件，获取待处理数据的文件路径；

创建数据流表：从选定的文件中获取文件表头和数据，并将其注册为数据流表；

数据预处理：配置数据处理的动态sql，对所述数据流表的表头及数据进行相应的预处理；

数据导入：获取预处理后的数据流并将其导入关系型数据库中。

2.如权利要求1所述的excel数据的处理方法，其特征在于：所述文件表头和数据是采用flink流计算从选定的文件中获取的。

3.如权利要求1所述的excel数据的处理方法，其特征在于：还包括在获取待处理数据之前，导入提交文件的步骤。

4.一种应用如权利要求1至3任一项所述方法的excel数据处理系统，其特征在于，包括：

输入模块，用于导入选定的文件；

数据流表创建模块，用于从选定的文件中获取文件的表头和数据，并将其注册为数据流表；

动态sql工具，用于对所述数据流表的表头和数据进行预处理；

数据导入模块，将经过预处理后的数据流导入关系型数据库；

关系型数据库，用于存储提交数据或数据流表中经过处理的数据。

5.一种数据处理设备，其特征在于：应用如权利要求4所述的excel数据处理系统。

6.如权利要求5所述的数据处理设备，其特征在于：所述数据处理设备包括存储设备、移动设备、pc端。

技术总结
本发明涉及计算机信息技术领域，公开了一种Excel数据的处理方法，包括以下步骤：数据获取：选定待处理的文件，获取待处理数据的文件路径；创建数据流表：从选定的文件中获取文件表头和数据，并将其注册为数据流表；数据预处理：配置数据处理的动态SQL，对数据流表的表头及数据进行相应的预处理；数据导入：获取预处理后的数据流并将其导入关系型数据库中。本发明提供的数据处理方法，在用户需求发生改变时，只需要对应数据构成的数据流表采用动态sql进行处理，即可满足需求，大大降低了研发工作量，数据处理更加灵活。

技术研发人员：王小玄;范浩哲;王小阳;雷俊鸽;林军军
受保护的技术使用者：河南安冉云网络科技有限公司
技术研发日：2020.03.04
技术公布日：2020.07.10