存算分离方法、系统、设备及介质与流程

本技术涉及存储，特别涉及存算分离方法、系统、设备及介质。

背景技术：

1、近年来，随着大数据存储业务的持续发展，出于弹性扩容，成本考虑，大数据存储分离成为主要发展方向。并且随着应用需求的不断演变，控制成本、按需索取成为大数据基础技术发展的主要方向。同时面对海量非结构化数据，大数据存储系统，实现原生hdfs（即hadoop distributed file system，即海杜普分布式文件系统）协议支持、非结构化多协议存储统一、突破原有元数据单命名空间缺陷、兼容大数据安全生态是大数据存储分离中的主要挑战。

2、现有技术中，主要采用以下两种方式实现存算分离：（1）hdfs分布式存储系统与计算平台进行分离。这种方式部署复杂度高。（2）通过在计算节点安装插件实际计算平台与分布式存储系统的对接，这种方式系统可维护性差。

技术实现思路

1、有鉴于此，本技术的目的在于提供存算分离方法、系统、设备及介质，能够降低部署复杂度，无需在计算平台安装插件，提升系统可维护性。其具体方案如下：

2、第一方面，本技术公开了一种存算分离方法，应用于存储节点中部署的大数据存储服务，包括：

3、获取原生hdfs客户端发送的文件请求；所述原生hdfs客户端为计算平台中的hdfs客户端；

4、基于hdfs原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件系统，以便所述分布式文件系统处理所述文件请求，并返回相应的处理结果；

5、将所述处理结果返回给所述原生hdfs客户端。

6、可选的，所述将解析后的文件请求发送至分布式文件系统，包括：

7、调用dfs客户端将解析后的文件请求发送至分布式文件系统。

8、可选的，所述将解析后的文件请求发送至分布式文件系统，包括：

9、对所述解析后的文件请求中的位置块关键字段进行重定义，将重定义后的文件请求发送至分布式文件系统。

10、可选的，所述对所述解析后的文件请求中的位置块关键字段进行重定义，包括：

11、将位置块关键字段中的块标识重定义为文件标识、numbytes重定义为块大小，块生成时间重定义为块在文件中的偏移量。

12、可选的，所述获取原生hdfs客户端发送的文件请求之前，还包括：

13、获取所述原生hdfs客户端发送的建链请求；

14、基于hdfs原生协议处理所述建链请求，与所述原生hdfs客户端建立链接。

15、可选的，所述与所述原生hdfs客户端建立链接之后，还包括：

16、获取所述原生hdfs客户端发送的元数据请求；

17、向所述原生hdfs客户端返回本节点的ip信息，以便所述原生hdfs客户端基于所述ip信息发送所述文件请求。

18、可选的，还包括：

19、启动一个进程，以通过该进程监听所述元数据请求以及所述文件请求。

20、可选的，所述向所述原生hdfs客户端返回本节点的ip信息，包括：

21、向所述原生hdfs客户端返回本节点的ip信息以及预设数量个其他存储节点的ip信息。

22、可选的，所述基于hdfs原生协议处理所述建链请求，包括：

23、基于hdfs clientprotocol协议处理所述建链请求。

24、可选的，所述基于hdfs原生协议解析所述文件请求，包括：

25、基于hdfs clientdatanodeprotocol、datatransferprotocol协议解析所述文件请求。

26、可选的，还包括：

27、利用大数据标准安全组件对所述原生hdfs客户端进行鉴权操作。

28、可选的，所述获取所述原生hdfs客户端发送的建链请求，包括：

29、获取所述原生hdfs客户端基于可用ip信息发送的建链请求；

30、其中，所述可用ip信息为分布式大数据存储系统基于负载均衡策略在所述分布式大数据存储系统中的多个存储节点中确定出的节点ip信息。

31、第二方面，本技术公开了一种存算分离方法，应用于分布式大数据存储系统，所述分布式大数据存储系统包括多个存储节点，每个所述存储节点上均部署大数据存储服务，所述方法包括：

32、获取原生hdfs客户端发送的负载均衡查询请求；

33、基于负载均衡策略在所述分布式大数据存储系统中的多个存储节点中确定出可用节点ip信息，并将所述可用节点ip信息返回所述原生hdfs客户端；

34、基于所述可用节点ip信息对应的大数据存储服务执行前述的存算分离方法的步骤。

35、可选的，还包括：

36、基于所述多个存储节点的ip信息配置域名，以便所述原生hdfs客户端基于该域名发送负载均衡查询请求。

37、可选的，还包括：

38、监控各所述存储节点上的大数据存储服务。

39、可选的，还包括：

40、若监控到任一所述大数据存储服务异常挂掉，则针对该大数据存储服务进行拉起操作。

41、可选的，还包括：

42、若监控到任一所述大数据存储服务异常挂掉，则进行虚拟ip漂移操作。

43、第三方面，本技术公开了一种存算分离系统，应用于存储节点中部署的大数据存储服务，包括：

44、文件请求获取模块，用于获取原生hdfs客户端发送的文件请求；所述原生hdfs客户端为计算平台中的hdfs客户端；

45、文件请求处理模块，用于基于hdfs原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件系统，以便所述分布式文件系统处理所述文件请求，并返回相应的处理结果；

46、处理结果返回模块，用于将所述处理结果返回给所述原生hdfs客户端。

47、第四方面，本技术公开了一种电子设备，包括存储器和处理器，其中：

48、所述存储器，用于保存计算机程序；

49、所述处理器，用于执行所述计算机程序，以实现前述的存算分离方法。

50、第五方面，本技术公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的存算分离方法。

51、可见，本技术中，通过存储节点中部署的大数据存储服务获取原生hdfs客户端发送的文件请求；所述原生hdfs客户端为计算平台中的hdfs客户端，并基于hdfs原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件系统，以便所述分布式文件系统处理所述文件请求，并返回相应的处理结果，之后将所述处理结果返回给所述原生hdfs客户端。也即，本技术兼容hdfs原生协议，在大数据存储服务中实现hdfs原生协议进行文件请求处理，替换hadoop大数据生态中的计算平台的本地hdfs，支持存算分离，能够降低部署复杂度，无需在计算平台安装插件，提升系统可维护性。