业务处理方法、装置、电子设备和存储介质与流程

本公开涉及大数据，更具体地，涉及一种业务处理方法、装置、电子设备和存储介质。

背景技术：

1、随着k8s(容器集群管理系统)技术在各个领域不断的深化和推进，k8s在大数据平台的存算分离架构下，作为计算引擎不断的在大数据领域推进，成为新一代大数据计算引擎的趋势。

2、然而相关技术在大数据云平台架构体系下处理业务时，计算引擎在执行计算任务的过程中会不断的通过io来请求底层的存储层的数据，用以满足计算任务的需求。而频繁的io请求，会占用大量的带宽，使得业务处理的数据通信开销较大，业务处理效率较低。

技术实现思路

1、有鉴于此，本公开提供了一种业务处理方法、装置、电子设备、可读存储介质和计算机程序产品。

2、本公开的一个方面提供了一种业务处理方法，包括：响应于接收针对目标业务的处理请求，确定处理所述目标业务所需的业务数据的数据范围；基于所述业务数据的数据范围，从元数据集群中查询得到所述业务数据的存储位置；在所述业务数据的存储位置表示所述业务数据均存储在本地存储单元的情况下，基于所述业务数据的存储位置，从容器集群管理系统包括的多个工作节点中确定第一目标工作节点，其中，所述本地存储单元包括所述多个工作节点的本地磁盘；以及调用所述第一目标工作节点来处理所述目标业务。

3、根据本申请的实施例，所述方法还包括：在所述业务数据的存储位置表示所述业务数据中的第一目标业务数据未存储在所述本地存储单元的情况下，基于所述业务数据和所述第一目标业务数据，得到第二目标业务数据，其中，所述第二目标业务数据包括已存储在所述本地存储单元的业务数据；基于所述第二目标业务数据的存储位置，从所述多个工作节点中确定第二目标工作节点；基于所述第一目标业务数据的数据量，对所述第二目标工作节点进行可存储性检验，得到第一检验结果；基于所述第一检验结果，利用所述第一目标业务数据对所述第二目标工作节点的本地磁盘进行数据加载处理；以及基于数据加载处理后的第二目标工作节点，对所述元数据集群中所述第一目标业务数据的存储位置进行修正；其中，所述调用所述第一目标工作节点来处理所述目标业务，包括：调用所述数据加载处理后的第二目标工作节点来处理所述目标业务。

4、根据本申请的实施例，所述基于所述第一目标业务数据的数据量，对所述第二目标工作节点进行可存储性检验，得到第一检验结果，包括：基于所述第一目标业务数据的数据量，确定所述第一目标业务数据的预期存储空间；获取所述第二目标工作节点的空闲磁盘空间；在所述预期存储空间小于或等于所述空闲磁盘空间的情况下，得到表示检验通过的第一检验结果；以及在所述预期存储空间大于所述空闲磁盘空间的情况下，得到表示检验不通过的第一检验结果。

5、根据本申请的实施例，所述基于所述第一检验结果，利用所述第一目标业务数据对所述第二目标工作节点的本地磁盘进行数据加载处理，包括：在所述第一检验结果表示检验通过的情况下，从文件存储系统中拉取所述第一目标业务数据；以及将所述第一目标业务数据加载至所述第二目标工作节点的本地磁盘中。

6、根据本申请的实施例，所述基于所述第一检验结果，利用所述第一目标业务数据对所述第二目标工作节点的本地磁盘进行数据加载处理，包括：在所述第一检验结果表示检验不通过的情况下，利用与所述第二目标工作节点对应的缓存策略，对所述第二目标工作节点的本地磁盘进行数据更新处理；从文件存储系统中拉取所述第一目标业务数据；以及将所述第一目标业务数据加载至数据更新处理后的第二目标工作节点的本地磁盘中。

7、根据本申请的实施例，所述方法还包括：在所述第二目标工作节点的本地磁盘的磁盘空间小于所述业务数据的预期存储空间的情况下，从所述多个工作节点中确定第三目标工作节点；利用所述第一目标业务数据对所述第三目标工作节点的本地磁盘进行数据加载处理；以及基于数据加载处理后的第三目标工作节点，对所述元数据集群中所述第一目标业务数据的存储位置进行修正；其中，所述调用所述第一目标工作节点来处理所述目标业务，包括：调用所述第二目标工作节点和所述数据加载处理后的第三目标工作节点来处理所述目标业务。

8、根据本申请的实施例，所述基于所述业务数据的存储位置，从容器集群管理系统包括的多个工作节点中确定第一目标工作节点，包括：基于所述业务数据的存储位置，确定存储所述业务数据的目标本地磁盘；以及确定所述多个工作节点中与所述目标本地磁盘关联的工作节点为所述第一目标工作节点。

9、本公开的另一个方面提供了一种业务处理装置，包括：第一确定模块，用于响应于接收针对目标业务的处理请求，确定处理所述目标业务所需的业务数据的数据范围；查询模块，用于基于所述业务数据的数据范围，从元数据集群中查询得到所述业务数据的存储位置；第二确定模块，用于在所述业务数据的存储位置表示所述业务数据均存储在本地存储单元的情况下，基于所述业务数据的存储位置，从容器集群管理系统包括的多个工作节点中确定第一目标工作节点，其中，所述本地存储单元包括所述多个工作节点的本地磁盘；以及调用模块，用于调用所述第一目标工作节点来处理所述目标业务。

10、本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当上述一个或多个指令被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的方法。

11、本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。

12、本公开的另一方面提供了一种计算机程序产品，上述计算机程序产品包括计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。

13、根据本公开的实施例，通过采用基于业务数据的数据范围，从元数据集群中查询得到业务数据的存储位置，在业务数据的存储位置表示业务数据均存储在本地存储单元的情况下，基于业务数据的存储位置，从容器集群管理系统包括的多个工作节点中确定第一目标工作节点的技术手段，可以利用第一目标工作节点的本地磁盘进行业务数据的预存储，在进行目标业务的处理时，业务数据的读写方式为本地读写而不是跨层的io读写，所以至少部分地克服了相关技术中业务处理的数据通信开销较大，业务处理效率较低的技术问题，从而达到了降低目标业务处理时的数据通信开销，提高业务处理效率和资源利用率的技术效果。

技术特征：

1.一种业务处理方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中，所述基于所述第一目标业务数据的数据量，对所述第二目标工作节点进行可存储性检验，得到第一检验结果，包括：

4.根据权利要求3所述的方法，其中，所述基于所述第一检验结果，利用所述第一目标业务数据对所述第二目标工作节点的本地磁盘进行数据加载处理，包括：

5.根据权利要求3所述的方法，其中，所述基于所述第一检验结果，利用所述第一目标业务数据对所述第二目标工作节点的本地磁盘进行数据加载处理，包括：

6.根据权利要求2所述的方法，还包括：

7.根据权利要求1所述的方法，其中，所述基于所述业务数据的存储位置，从容器集群管理系统包括的多个工作节点中确定第一目标工作节点，包括：

8.一种业务处理装置，包括：

9.一种电子设备，包括：

10.一种计算机可读存储介质，其上存储有可执行指令，所述可执行指令被处理器执行时使处理器实现权利要求1至7中任一项所述的方法。

11.一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述计算机可执行指令在被执行时用于实现权利要求1至7中任一项所述的方法。

技术总结
本公开提供了一种业务处理方法、装置、电子设备和存储介质，可以应用于大数据技术领域。该方法包括：响应于接收针对目标业务的处理请求，确定处理目标业务所需的业务数据的数据范围；基于业务数据的数据范围，从元数据集群中查询得到业务数据的存储位置；在业务数据的存储位置表示业务数据均存储在本地存储单元的情况下，基于业务数据的存储位置，从容器集群管理系统包括的多个工作节点中确定第一目标工作节点，其中，本地存储单元包括多个工作节点的本地磁盘；以及调用第一目标工作节点来处理目标业务。

技术研发人员：杨清强
受保护的技术使用者：中国建设银行股份有限公司
技术研发日：
技术公布日：2024/1/13