一种数据湖的数据写入方法及装置与流程

本发明涉及计算机，尤其涉及一种数据湖的数据写入方法及装置。

背景技术：

1、随着科学的发展，计算机技术的不断进步，由于数据湖具有存储海量的原始数据以及较好的分析能力等优势，越来越多的企业为了更智能、便捷地处理多个系统的数据，采用了以数据湖作为支撑的软件系统。

2、但在将数据写入数据湖的过程中，由于数据湖中已有的表字段是确定的不能发生修改，所以当传入一条新数据，若新数据的字段数量以及字段名与已有的表字段中的字段数量以及字段名不一致时，则会导致数据写入失败，最终大大降低数据的处理效率。

技术实现思路

1、鉴于上述问题，本发明提供一种数据湖的数据写入方法及装置，主要目的是为了实现在传入一条新数据的字段数量以及字段名与已有的表字段中的字段数量以及字段名不一致时，可以将该条数据成功写入数据湖，以提升对数据的处理效率。

2、为解决上述技术问题，本发明提出以下方案：

3、第一方面，本发明提供了一种数据湖的数据写入方法，所述方法包括：

4、获取待写入数据的表字段信息；

5、判断所述表字段信息与数据湖的预设表字段信息是否一致；

6、若不一致，根据表字段信息的差异确定对所述待写入数据的修改策略；

7、根据所述修改策略修改所述待写入数据，并写入所述数据湖。

8、第二方面，本发明提供了一种数据湖的数据写入装置，所述装置包括：

9、获取单元，用于获取待写入数据的表字段信息；

10、第一判断单元，用于判断所述表字段信息与数据湖的预设表字段信息是否一致；

11、确定单元，用于若不一致，根据表字段信息的差异确定对所述待写入数据的修改策略；

12、修改单元，用于根据所述修改策略修改所述待写入数据，并写入所述数据湖。

13、为了实现上述目的，根据本发明的第三方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述第一方面的数据湖的数据写入方法。

14、为了实现上述目的，根据本发明的第四方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述第一方面的数据湖的数据写入方法。

15、借由上述技术方案，本发明提供的一种数据湖的数据写入方法及装置，是在传入一条待写入数据湖的数据之后，获取待写入数据的表字段信息，然后判断所述表字段信息与数据湖的预设表字段信息是否一致，若不一致，根据表字段信息的差异确定对所述待写入数据的修改策略，进而根据所述修改策略修改所述待写入数据，最终成功将待写入数据写入所述数据湖，通过本发明提供的数据湖的数据写入方案，可以实现根据判断出的所述表字段信息与数据湖的预设表字段信息之间的差异结果确定对所述待写入数据的修改策略，进而根据所述修改策略对所述待写入数据进行修改，解决了在待写入数据的表字段信息与数据湖中预设表字段信息不一致的情况下导致的数据写入失败的情况，从而大大提升对数据的处理效率。

16、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

技术特征：

1.一种数据湖的数据写入方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述判断所述表字段信息与数据湖的预设表字段信息是否一致，包括：

3.根据权利要求2所述的方法，其特征在于，根据表字段信息的差异确定对所述待写入数据的修改策略，包括：

4.根据权利要求3所述的方法，其特征在于，根据所述差异类型确定对所述待写入数据的修改策略，包括：

5.根据权利要求1-4中任一项所述的方法，其特征在于，在根据所述修改策略修改所述待写入数据，并写入所述数据湖之前，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，根据所述修改策略修改所述待写入数据，并写入所述数据湖，包括：

7.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

8.一种数据湖的数据写入装置，其特征在于，所述装置包括：

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1至权利要求7中任意一项所述的数据湖的数据写入方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行如权利要求1至权利要求7中任意一项所述的数据湖的数据写入方法。

技术总结
本发明公开了一种数据湖的数据写入方法及装置，涉及计算机技术领域，主要目的在于实现在传入一条新数据的字段数量以及字段名与已有的表字段中的字段数量以及字段名不一致时，可以将该条数据成功写入数据湖，以提升对数据的处理效率。本发明主要的技术方案为：获取待写入数据的表字段信息；判断所述表字段信息与数据湖的预设表字段信息是否一致；若不一致，根据表字段信息的差异确定对所述待写入数据的修改策略；根据所述修改策略修改所述待写入数据，并写入所述数据湖。本发明用于数据湖的数据写入。

技术研发人员：刘向前
受保护的技术使用者：北京国双科技有限公司
技术研发日：
技术公布日：2024/1/15