数据处理方法、装置、电子设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术：

1、随着大数据计算领域的技术发展，为满足用户不同的计算需求，以spark为核心的大数据计算引擎得到了广泛的应用。

2、在部署spark的计算集群中，由于内存溢出的存在，为了避免内存溢出造成的程序运行出错，在运行程序前，通常会预先给该程序分配较大的固定内存资源，以降低内存溢出发生的几率，但是，上述内存分配方式不够灵活，容易导致内存出现浪费，降低计算集群的计算效率。

技术实现思路

1、本申请提供一种数据处理方法、装置、电子设备及存储介质，可以降低内存出现浪费的机率，提升计算集群的计算效率。

2、第一方面，本申请提供一种数据处理方法，包括：

3、获取目标程序和目标任务；所述目标程序用于在计算集群中处理所述目标任务；

4、根据所述目标程序，确定处理所述目标任务的至少一个处理单元；所述处理单元用于指示所述目标程序处理所述目标任务的步骤；

5、根据所述目标任务，为至少一个所述处理单元分配对应的计算资源；

6、利用所述计算资源执行所述目标程序对目标任务进行处理，输出计算结果。

7、可选的，所述根据所述目标任务，为至少一个所述处理单元分配对应的计算资源，包括：

8、根据所述目标程序的标识，获取资源预测模型；

9、将所述目标任务和所述目标程序输入至所述资源预测模型，获取所述处理单元处理所述目标任务所需的计算资源数据；

10、根据所述计算资源数据，为所述处理单元分配对应的计算资源。

11、可选的，所述根据所述计算资源数据，为所述处理单元分配对应的计算资源，包括：

12、根据所述计算资源数据，确定计算容器数量；所述计算容器用于指示单位计算资源；

13、根据所述计算容器数量，为所述处理单元分配对应数量的计算容器。

14、可选的，所述方法还包括：

15、所述资源预测模型采用多元线性拟合的方式对所述处理单元处理所述目标任务所需的计算资源数据进行计算。

16、可选的，所述多元线性拟合满足如下所示公式：

17、y＝a00+a11*x1+a12*x1+...+a21*x2+a22*x2+......aij*xj

18、其中，y为预测的计算资源、aij为由最小二乘法计算出的系数、xj为目标任务对应的数据大小。

19、可选的，所述利用所述计算资源执行所述目标程序对目标任务进行处理，包括：

20、根据所述计算节点的计算资源配置阈值，将所述处理单元分配至所述计算集群的至少一个计算节点；

21、在所述计算节点利用所述处理单元的计算资源对所述目标任务进行处理。

22、可选的，所述根据所述目标程序，确定处理所述目标任务的至少一个处理单元之前，所述方法还包括：

23、对所述目标程序进行解析，获取所述目标程序的源代码；

24、若根据所述源代码确定所述目标程序非线性程序，丢弃所述目标程序和所述目标任务。

25、第二方面，本申请提供一种数据处理装置，包括：

26、获取模块，用于获取目标程序和目标任务；所述目标程序用于在计算集群中处理所述目标任务；

27、确定模块，用于根据所述目标程序，确定处理所述目标任务的至少一个处理单元；所述处理单元用于指示所述目标程序处理所述目标任务的步骤；

28、分配模块，用于根据所述目标任务，为至少一个所述处理单元分配对应的计算资源；

29、处理模块，用于利用所述计算资源执行所述目标程序对目标任务进行处理，输出计算结果。

30、第三方面，本申请提供一种电子设备，包括：存储器和处理器；

31、存储器用于存储计算机指令；处理器用于运行存储器存储的计算机指令实现第一方面中任一项的方法。

32、第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现第一方面中任一项的方法。

33、第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面中任一项的方法。

34、本申请提供的数据处理方法、装置、电子设备及存储介质，通过获取目标程序和目标任务；所述目标程序用于在计算集群中处理所述目标任务；根据所述目标程序，确定处理所述目标任务的至少一个处理单元；所述处理单元用于指示所述目标程序处理所述目标任务的步骤；根据所述目标任务，为至少一个所述处理单元分配对应的计算资源；利用所述计算资源执行所述目标程序对目标任务进行处理，输出计算结果。通过对处理所述目标任务所需的计算资源进行预测，为不同的处理阶段分配对应的计算资源，从而使计算资源的分配方式更加灵活，降低计算资源的浪费，提高计算集群的计算效率。

技术特征：

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标任务，为至少一个所述处理单元分配对应的计算资源，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据所述计算资源数据，为所述处理单元分配对应的计算资源，包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，所述多元线性拟合满足如下所示公式：

6.根据权利要求1所述的方法，其特征在于，所述利用所述计算资源执行所述目标程序对目标任务进行处理，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述目标程序，确定处理所述目标任务的至少一个处理单元之前，所述方法还包括：

8.一种数据处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-7中任一项所述的方法。

技术总结
本申请实施例提供一种数据处理方法、装置、电子设备及存储介质，涉及数据处理技术领域。方法包括：获取目标程序和目标任务；所述目标程序用于在计算集群中处理所述目标任务；根据所述目标程序，确定处理所述目标任务的至少一个处理单元；所述处理单元用于指示所述目标程序处理所述目标任务的步骤；根据所述目标任务，为至少一个所述处理单元分配对应的计算资源；利用所述计算资源执行所述目标程序对目标任务进行处理，输出计算结果。通过对处理所述目标任务所需的计算资源进行预测，为不同的处理阶段分配对应的计算资源，从而使计算资源的分配方式更加灵活，降低计算资源的浪费，提高计算集群的计算效率。

技术研发人员：陈柯名,徐文涛,崔宇帆,吴琮,陶晓英,刘丽萍
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：
技术公布日：2024/3/12