数据存储方法和数据存储装置与流程

本申请涉及数据库领域，尤其涉及一种数据存储方法和数据存储装置。

背景技术：

1、目前在油田系统中的文件数据(包括文档，地震数据和测井曲线数据)分布在各个专业系统和统建系统中，其中元数据部分存储在不同的数据库中的不同库表结构中，文件体存储在不同的介质中。

2、但是，分散存储文件数据的方法，存在无法对上述文件数据统一检索、分析的问题，导致检索效率较低。

技术实现思路

1、本申请提供一种数据存储方法和数据存储装置，实现了对文件数据的统一检索，有利于提高文件数据的检索效率。

2、第一方面，提供了一种数据存储方法，应用于包括多个源文件系统服务器和数据湖服务器的系统，包括：获取上述多个源文件系统服务器存储的文件数据的第一元数据，上述第一元数据包括上述文件数据的在上述多个源文件系统服务器所在的目录、上述文件数据在上述多个源文件系统服务器的属性名称以及上述属性名称对应的属性值；建立上述文件数据在上述多个源文件系统服务器所在的目录与上述数据湖服务器中预设目录之间的第一映射关系，以及上述文件数据在上述多个源文件系统服务器的属性名称与上述数据湖服务器中预设属性名称之间的第二映射关系；基于上述第一映射关系和上述第二映射关系，确定第二元数据，上述第二元数据包括上述预设目录和上述预设属性名称；将上述文件数据和上述第二元数据同步存储至上述数据湖服务器中，并建立上述文件数据与上述第二元数据之间的对应关系。

3、在本申请中，通过将分散存储在多个文件系统服务器中的文件数据用统一的数据结构存储至数据湖中，解决了分散存储带来的不能统一检索上述文件数据的问题，有效提高后续对文件数据的检索效率，进而还有利于后续对文件数据的统一管理或者使用。此外，本申请保留了源系统中文件数据的各种属性信息，即在不丢失源系统中文件数据与其他数据的关联关系的前提下，提高对文件数据的检索效率。

4、结合第一方面，在第一方面的某些实现方式中，上述方法还包括：向检索服务器发送上述文件数据的索引信息，上述索引信息用于对上述文件数据进行检索。

5、结合第一方面，在第一方面的某些实现方式中，上述索引信息包括下列至少一个：上述文件数据的名称、上述文件数据的标识、上述文件数据的创建时间、上述文件数据的大小、上述预设属性名称以及上述预设属性名称对应的属性值。

6、结合第一方面，在第一方面的某些实现方式中，来自上述多个源文件系统服务器中的不同源文件系统服务器的上述文件数据在上述数据湖服务器中的存储路径的命名方式统一。

7、第二方面，提供了一种数据存储装置，包括获取模块和处理模块，其中获取模块用于：获取上述多个源文件系统服务器存储的文件数据的第一元数据，上述第一元数据包括上述文件数据在上述多个源文件系统服务器所在的目录、上述文件数据在上述多个源文件系统服务器的属性名称以及上述属性名称对应的属性值；处理模块用于：建立上述文件数据在上述多个源文件系统服务器所在的目录与预设目录之间的第一映射关系，以及上述文件数据在上述多个源文件系统服务器的属性名称与预设属性名称之间的第二映射关系；基于上述第一映射关系和上述第二映射关系，确定第二元数据，上述第二元数据包括上述上述预设目录和上述预设属性名称；以及，将上述文件数据和上述第二元数据同步存储至上述数据湖服务器中，并建立上述文件数据与上述第二元数据之间的对应关系。

8、结合第二方面，在第二方面的某些实现方式中，上述处理模块用于：向检索服务器发送上述文件数据的索引信息，上述索引信息用于对上述文件数据进行检索。

9、结合第二方面，在第二方面的某些实现方式中，上述索引信息包括下列至少一个：上述文件数据的名称、上述文件数据的标识、上述文件数据的创建时间、上述文件数据的大小、上述预设属性名称以及上述预设属性名称对应的属性值。

10、结合第二方面，在第二方面的某些实现方式中，来自上述多个源文件系统服务器中的不同源文件系统服务器的上述文件数据在上述数据湖服务器中的存储路径的命名方式统一。

11、第三方面，提供了一种处理器，包括：输入电路、输出电路和处理电路。处理电路用于通过输入电路接收信号，并通过输出电路发射信号，使得处理器执行上述第一方面中任一种可能实现方式中的方法。

12、在具体实现过程中，上述处理器可以为芯片，输入电路可以为输入管脚，输出电路可以为输出管脚，处理电路可以为晶体管、门电路、触发器和各种逻辑电路等。输入电路所接收的输入的信号可以是由例如但不限于接收器接收并输入的，输出电路所输出的信号可以是例如但不限于输出给发射器并由发射器发射的，且输入电路和输出电路可以是同一电路，该电路在不同的时刻分别用作输入电路和输出电路。本申请实施例对处理器及各种电路的具体实现方式不做限定。

13、第四方面，提供了一种处理装置，包括处理器和存储器。该处理器用于读取存储器中存储的指令，并可通过接收器接收信号，通过发射器发射信号，以执行上述第一方面中任一种可能实现方式中的方法。

14、可选地，处理器为一个或多个，存储器为一个或多个。

15、可选地，存储器可以与处理器集成在一起，或者存储器与处理器分离设置。

16、在具体实现过程中，存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(read only memory，rom)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。

17、上述第四方面中的处理装置可以是一个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。

18、第五方面，提供了一种计算机程序产品，计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当计算机程序被运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。

19、第六方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序(也可以称为代码，或指令)当其在计算机上运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。

技术特征：

1.一种数据存储方法，其特征在于，应用于包括多个源文件系统服务器和数据湖服务器的系统，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述索引信息包括下列至少一个：

4.根据权利要求1至3中任一项所述的方法，其特征在于，来自所述多个源文件系统服务器中的不同源文件系统服务器的所述文件数据在所述数据湖服务器中的存储路径的命名方式统一。

5.一种数据存储装置，其特征在于，包括：

6.根据权利要求5所述的装置，其特征在于，所述处理模块用于：

7.根据权利要求6所述的装置，其特征在于，所述索引信息包括下列至少一个：

8.一种数据存储装置，其特征在于，包括：处理器，所述处理器和存储器耦合，所述存储器用于存储计算机程序，当所述处理器调用所述计算机程序时，使得所述装置执行如权利要求1至4中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序包括实现如权利要求1至4中任一项所述的方法的指令。

10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法。

技术总结
本申请提供了一种数据存储方法和数据存储装置，涉及数据库领域，应用于包括多个源文件系统服务器和数据湖服务器的系统，实现了对文件数据的统一检索，有利于提高文件数据的检索效率。该方法包括：获取多个源文件系统服务器存储的文件数据的第一元数据；建立文件数据在多个源文件系统服务器所在的目录与上述数据湖服务器中预设目录之间的第一映射关系，以及上述文件数据在上述多个源文件系统服务器的属性名称与上述数据湖服务器中预设属性名称之间的第二映射关系；基于第一映射关系和上述第二映射关系，确定第二元数据；将文件数据和上述第二元数据同步存储至数据湖服务器中，并建立文件数据与上述第二元数据之间的对应关系。

技术研发人员：杨勇,孟令培,刘君琦,赵秋生,张骁
受保护的技术使用者：中国石油天然气集团有限公司
技术研发日：
技术公布日：2024/1/13