一种智能优化方法、装置、设备及存储介质与流程

本申请涉及计算机领域，尤其涉及一种智能优化方法、装置、设备及存储介质。

背景技术：

1、湖仓一体已经成为大数据平台演进的新方向，其具备数据增量读取能力，实现实时流处理场景支持，除支持数据分析场景之外，还支持bi分析等更广泛应用场景。

2、湖仓一体平台具有跨idc(internet data center，互联网数据中心)物理分散的机房，机房中具有设备，通过设备结合引擎进行任务的处理。然而，现有的湖仓一体平台无法实现跨idc机房的有效调度，无法有效确定高效率的跨idc机房进行任务处理。

技术实现思路

1、本申请实施例提供一种智能优化方法、装置、设备及存储介质，以解决相关技术存在的至少一问题，技术方案如下：

2、第一方面，本申请实施例提供了一种智能优化的方法，包括：

3、接收由湖仓一体平台发送的待处理任务；

4、通过智能优化算法对所述待处理任务进行预测分析，得到预测分析结果；

5、发送所述预测分析结果至所述湖仓一体平台，所述预测分析结果用于供所述湖仓一体平台确定目标互联网数据中心机房以及目标计算引擎以处理所述待处理任务。

6、在一种实施方式中，所述通过智能优化算法对所述待处理任务进行预测分析，得到预测分析结果包括：

7、根据所述待处理任务以及预测算法，得到目标计算引擎；

8、根据所述待处理任务以及机房优化算法，得到目标互联网数据中心机房。

9、在一种实施方式中，所述根据所述待处理任务以及预测算法，得到目标计算引擎包括：

10、对所述待处理任务在不同计算引擎中的执行时间进行预测，得到不同的所述计算引擎对应的预测执行时间；

11、将所述预测执行时间最小的所述计算引擎确定为目标计算引擎。

12、在一种实施方式中，所述根据所述待处理任务以及机房优化算法，得到目标互联网数据中心机房包括：

13、确定若干个不同的互联网数据中心机房之间的机房距离；

14、对所述待处理任务的任务语句进行血缘分析，得到数据拓扑信息；

15、根据所述机房距离以及所述数据拓扑信息，确定传输成本最低的互联网数据中心机房为目标互联网数据中心机房。

16、在一种实施方式中，还包括：

17、接收运行日志；

18、对所述运行日志的运行数据进行热度分析，得到所述运行数据的热度分析结果；

19、当所述热度分析结果满足热度条件时，生成第一迁移结果，否则生成第二迁移结果；

20、将所述第一迁移结果或所述第二迁移结果发送至所述湖仓一体平台，以所述湖仓一体平台根据所述第一迁移结果将所述运行数据移动至热数据集群或者根据所述第二迁移结果将所述运行数据移动至冷数据集群。

21、第二方面，本申请实施例提供了另一种智能优化方法，包括：

22、将待处理任务发送至智能大脑；

23、接收所述智能大脑返回的预测分析结果；所述预测分析结果为所述智能大脑通过智能优化算法对所述待处理任务进行预测分析得到；

24、根据所述预测分析结果确定目标互联网数据中心机房以及目标计算引擎；

25、根据所述目标互联网数据中心机房以及所述目标计算引擎，处理所述待处理任务。

26、在一种实施方式中，还包括：

27、发送运行日志至所述智能大脑；

28、接收第一迁移结果或者第二迁移结果；所述第一迁移结果为所述智能大脑对所述运行日志的运行数据进行热度分析得到所述运行数据的热度分析结果后，当所述热度分析结果满足热度条件时生成，所述第二迁移结果为当所述热度分析结果不满足热度条件时生成；

29、根据所述第一迁移结果将所述运行数据移动至热数据集群，或者根据所述第二迁移结果将所述运行数据移动至冷数据集群。

30、第三方面，本申请实施例提供了一种智能优化装置，包括：

31、智能大脑或者湖仓一体平台；

32、所述智能大脑包括：

33、第一接收模块，用于接收由湖仓一体平台发送的待处理任务；

34、分析模块，用于通过智能优化算法对所述待处理任务进行预测分析，得到预测分析结果；

35、第一发送模块，用于发送所述预测分析结果至所述湖仓一体平台，所述预测分析结果用于供所述湖仓一体平台确定目标互联网数据中心机房以及目标计算引擎以处理所述待处理任务；

36、所述湖仓一体平台包括：

37、第二发送模块，用于将待处理任务发送至智能大脑；

38、第二接收模块，用于接收所述智能大脑返回的预测分析结果；所述预测分析结果为所述智能大脑通过智能优化算法对所述待处理任务进行预测分析得到；

39、确定模块，用于根据所述预测分析结果确定目标互联网数据中心机房以及目标计算引擎；

40、处理模块，用于根据所述目标互联网数据中心机房以及所述目标计算引擎，处理所述待处理任务。

41、第四方面，本申请实施例提供了一种电子设备，包括：处理器和存储器，该存储器中存储指令，该指令由该处理器加载并执行，以实现上述各方面任一种实施方式中的方法。

42、第五方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被执行时实现上述各方面任一种实施方式中的方法。

43、上述技术方案中的有益效果至少包括：

44、接收由湖仓一体平台发送的待处理任务，通过智能优化算法对待处理任务进行预测分析，得到预测分析结果，发送预测分析结果至湖仓一体平台，预测分析结果用于供湖仓一体平台确定目标互联网数据中心机房以及目标计算引擎，有利于解决相关技术中无法实现跨idc机房的有效调度的问题，确定目标互联网数据中心机房以及目标计算引擎以处理待处理任务，从而提高待处理任务的处理效率。

45、上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。

技术特征：

1.一种智能优化方法，其特征在于，包括：

2.根据权利要求1所述智能优化方法，其特征在于：所述通过智能优化算法对所述待处理任务进行预测分析，得到预测分析结果包括：

3.根据权利要求2所述智能优化方法，其特征在于：所述根据所述待处理任务以及预测算法，得到目标计算引擎包括：

4.根据权利要求2所述智能优化方法，其特征在于：所述根据所述待处理任务以及机房优化算法，得到目标互联网数据中心机房包括：

5.根据权利要求1-4任一项所述智能优化方法，其特征在于：还包括：

6.一种智能优化方法，其特征在于，包括：

7.根据权利要求6所述智能优化方法，其特征在于：还包括：

8.一种智能优化装置，其特征在于，包括：智能大脑或者湖仓一体平台；

9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器中存储指令，所述指令由所述处理器加载并执行，以实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被执行时实现如权利要求1-7中任一项所述的方法。

技术总结
本申请提出一种智能优化方法、装置、设备及存储介质，智能优化方法通过接收由湖仓一体平台发送的待处理任务，通过智能优化算法对待处理任务进行预测分析，得到预测分析结果，发送预测分析结果至湖仓一体平台，预测分析结果用于供湖仓一体平台确定目标互联网数据中心机房以及目标计算引擎，有利于解决相关技术中无法实现跨IDC机房的有效调度的问题，确定目标互联网数据中心机房以及目标计算引擎以处理待处理任务，从而提高待处理任务的处理效率。

技术研发人员：张伟,汤志凤,张运基,王宁,余奕颖,廖小文
受保护的技术使用者：广东亿迅科技有限公司
技术研发日：
技术公布日：2024/1/15