一种数据存储方法、系统、电子设备及存储介质与流程

本发明涉及计算机，更具体地说，涉及一种数据存储方法、系统、电子设备及存储介质。

背景技术：

1、随着社会的发展和时间的积累，产生了大量的信息，这些信息一般以数字的方式存储在相应的设备中。由于不同数据的应用场景不同，使得不同数据所需存放的时间、查询、更新速度等等相关需求也存在很大的差异，进而可以将需要频繁查询或者修改的数据存放于可以提供快速查询更新操作的oltp(on line transaction processing)的数据库系统，将不做修改用于统计分析的数据存放至olap(on line analytical processing)的数据仓库和大数据系统。

2、但是当前的数据仓库及大数据系统，其底层存储介质大部分为固态硬盘、机械硬盘等等，使用年限普遍较低并不适合长期存放数据，需要在每次接近有效期时将存储的数据迁移至新的存储设备中，在数据迁移的过程中容易出现操作风险，以及增加相应的运营成本。

技术实现思路

1、有鉴于此，本发明提供一种数据存储方法、系统、电子设备及存储介质，以解决现有的存储设备由于存储年限有限，需要在每次接近有效期时将存储的数据迁移至新的存储设备中，导致在数据迁移的过程中容易出现操作风险，以及增加相应的运营成本的问题。

2、本发明第一方面公开一种数据存储方法，应用于客户端，所述方法包括：

3、接收授权服务器反馈的票证时，与hdfs系统建立连接，并向所述hdfs系统发送远程过程访问请求，以使所述hdfs系统确定存在所述远程访问请求中的待迁移文件名称匹配的待迁移文件时，获取与所述待迁移文件对应的至少一个数据节点信息，并确定每个数据节点信息对应的目标数据节点与所述客户端距离最短的目标链路；其中，所述票证是所述授权服务器根据所述客户端发送的验证信息确认所述客户端为合法性客户端时反馈的；所述验证信息是所述客户端基于认证服务器基于所述客户端发送的授权票证请求生成的；

4、根据对应的目标链路与相应所述目标数据节点进行通信，从所述目标数据节点中获取与所述待迁移文件相应的数据块，并将所述数据块传输至与所述hdfs系统连接的蓝光存储系统，直至所述待迁移文件相关的所有数据块均传输至所述蓝光存储系统为止；其中，待迁移文件为无需修改、查询需求为非实时，以及保存时间要求长的数据。

5、本发明第二方面公开的一种数据存储系统，所述数据存储系统应用于客户端，所述系统包括：

6、远程过程访问请求发送单元，用于接收授权服务器反馈的票证时，与hdfs系统建立连接，并向所述hdfs系统发送远程过程访问请求，以使所述hdfs系统确定存在所述远程访问请求中的待迁移文件名称匹配的待迁移文件时，获取与所述待迁移文件对应的至少一个数据节点信息，并确定每个数据节点信息对应的目标数据节点与所述客户端距离最短的目标链路；其中，所述票证是所述授权服务器根据所述客户端发送的验证信息确认所述客户端为合法性客户端时反馈的；所述验证信息是所述客户端通过验证信息生成单元基于认证服务器根据所述客户端发送的授权票证请求生成的；

7、传输单元，用于根据对应的目标链路与相应所述目标数据节点进行通信，从所述目标数据节点中获取与所述待迁移文件相应的数据块，并将所述数据块传输至与所述hdfs系统连接的蓝光存储系统，直至所述待迁移文件相关的所有数据块均传输至所述蓝光存储系统为止；其中，待迁移文件为无需修改、查询需求为非实时，以及保存时间要求长的数据。

8、本发明第三方面提供一种电子设备，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现如上述本发明第一方面公开的数据存储方法。

9、本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如上述本发明第一方面公开的数据存储方法。

10、本发明提供一种数据存储方法、系统、电子设备及存储介质，客户端接收授权服务器反馈的票证时，与hdfs系统建立连接，并向hdfs系统发送远程过程访问请求，以使hdfs系统确定存在远程访问请求中的待迁移文件名称匹配的待迁移文件时，获取与待迁移文件对应的至少一个数据节点信息，并确定每个数据节点信息对应的目标数据节点与客户端距离最短的目标链路；其中，票证是授权服务器根据客户端发送的验证信息确认客户端为合法性客户端时反馈的；验证信息是客户端基于认证服务器根据客户端发送的授权票证请求生成的；针对每个目标数据节点而言，客户端根据对应的目标链路与目标数据节点进行通信，从目标数据节点中获取与待迁移文件相应的数据块，并将数据块传输至与hdfs系统连接的蓝光存储系统，直至待迁移文件相关的所有数据块均传输至蓝光存储系统为止；其中，待迁移文件为无需修改、查询需求为非实时，以及保存时间要求长的数据。本发明提供的技术方案，预先建立hdfs系统与蓝光存储系统的连接，进而可以通过客户端将hdfs系统中的无需修改、查询需求为非实时，以及保存时间要求长的待迁移文件迁移至蓝光存储系统中进行存储，从而解决由于现有的存储设备存在存储年限，需要在每次接近有效期时将存储的数据迁移至新的存储设备中，导致在数据迁移的过程中容易出现操作风险，以及增加相应的运营成本的问题。

技术特征：

1.一种数据存储方法，其特征在，应用于客户端，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于认证服务器基于所述客户端发送的授权票证请求的加密信息，生成所述验证信息，包括：

3.根据权利要求1所述的方法，其特征在于，所述将所述数据块传输与所述hdfs系统连接的蓝光存储系统，包括：

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述将待迁移文件相关的所有数据块均传输至所述蓝光存储系统之后，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.一种数据存储系统，其特征在于，所述数据存储系统应用于客户端，所述系统包括：

9.一种电子设备，其特征在于，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现如权利要求1-7任一项所述的数据存储方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1-7任一项所述的数据存储方法。

技术总结
本发明提供一种数据存储方法、系统、电子设备及存储介质，客户端接收授权服务器反馈的票证时，与HDFS系统建立连接，并向HDFS系统发送远程过程访问请求，以使HDFS系统确定存在远程访问请求中的待迁移文件名称匹配的待迁移文件时，获取与待迁移文件对应的至少一个数据节点信息，并确定每个数据节点信息对应的目标数据节点与客户端距离最短的目标链路；客户端根据对应的目标链路与相应目标数据节点进行通信，从目标数据节点中获取与待迁移文件相应的数据块，并将数据块传输至与HDFS系统连接的蓝光存储系统，直至待迁移文件相关的所有数据块均传输至蓝光存储系统为止。本发明能够解决在数据迁移的过程中容易出现操作风险以及增加相应的运营成本的问题。

技术研发人员：吕旖旎,韩超,奚卫红,高云,邓罡,门玉森,李睿,杨俊,梁策,杨元,曹铭轩,赵文韬,李巍伟,林恩爱,娄峰,马晓平
受保护的技术使用者：中国民航信息网络股份有限公司
技术研发日：
技术公布日：2024/1/13