基于云计算技术的数据分析方法与流程

本发明属于涉及云计算技术数据分析领域，具体是基于云计算技术的数据分析方法。

背景技术：

1、随着互联网技术和云计算技术的发展，越来越多的应用程序需要在云服务器上运行。在这种情况下，如何有效地管理云服务器资源，确保任务的及时完成，同时提高云服务器资源的利用率和客户体验，成为云计算领域的一个重要问题。

2、目前的云计算调度算法主要是基于静态规划或贪心算法。这些算法的缺点是不能适应任务请求的实时变化，无法动态调整云服务器资源的分配。另外，由于缺乏对客户优先级和任务紧急程度的考虑，这些算法不能满足客户的需求。因此，需要一种新的云计算调度算法，以实时智能化的根据云服务器的当前任务处理状态，自适应的满足任务请求的变化和提高客户满意度等多元化需求；

3、为此，提出基于云计算技术的数据分析方法。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出基于云计算技术的数据分析方法，该基于云计算技术的数据分析方法对任务紧急程度、客户优先级、云服务器资源利用率以及客户体验的综合考量，实现了任务请求的智能调度。

2、为实现上述目的，根据本发明的实施例1提出基于云计算技术的数据分析方法，包括以下步骤：

3、步骤一：收集云服务器集群基础数据以及客户业务数据；

4、步骤二：收集云服务器集群的历史任务处理数据；

5、步骤三：基于历史任务处理数据获得历史任务序列调度数据，并基于历史任务处理数据训练出预测任务处理时长的机器学习模型；

6、步骤四：将历史任务序列调度数据转化为深度强化学习模型所接收的四元组集合，并基于四元组集合训练出对任务序列进行调度的深度强化学习模型；

7、步骤五：在云服务器集群接收到待调度任务请求时，实时收集云服务器集群的实时任务处理数据，根据实时任务处理数据和机器学习模型判断是否存在实时处理服务器，若存在实时处理服务器，将待调度任务请求发送至该实时处理服务器，若不存在实时处理服务器，执行步骤六；

8、步骤六：将实时任务处理数据转化四元组中的初始状态，并将初始状态输入至深度强化学习模型，获得对待调度任务请求进行调度的决策；

9、所述云服务器集群基础数据包括云平台中每台云服务器的最大内存空间以及最大实时算力；

10、所述客户业务数据包括该云服务器集群中对应的每个客户的单任务最大供给内存、单任务最大供给算力以及任务程序列表；所述任务程序列表为每个客户所提供的用于执行数据处理任务的程序列表；

11、将云服务器集合中每台云服务器的编号标记为i；将第i台云服务器的最大内存空间标记为mi，将第i台云服务器的最大实时算力标记为ci；

12、将客户的编号标记为j，将第j个客户的单任务最大供给内存标记为sj，将第j个客户的单任务最大供给算力标记为dj，将第j个客户的任务程序列表标记为pj，将任务程序列表pj中的每个任务程序编号标记为pjk，其中，k为任务程序在任务程序列表pj中的序号；

13、其中，所述历史任务处理数据包括在云服务器集群处理数据处理任务的历史中，每次接收到由客户发送的新任务处理请求时，收集的新任务处理请求对应的任务程序编号、每台云服务器的单服务器任务处理数据以及新任务处理请求的历史调度决策和历史调度信息；

14、所述单服务器任务处理数据包括每台云服务器已使用实时算力、已使用内存空间、处理中任务的处理信息以及排队中任务的任务信息；其中，所述任务信息包括该任务的待处理的数据量以及剩余最大处理时长；所述处理信息包括处理中任务所分配的实时算力、分配的内存空间、剩余的处理数据量以及预估剩余处理时长；每个处理中任务的预估剩余处理时长为该任务此时距离处理完成时间的时长距离；剩余最大处理时长为当前时刻，该任务距离其预先设定的最迟完成时间的时长距离；

15、新任务处理请求的历史调度决策为选择一台云服务器进行实时处理或选择一台云服务器进行排队处理中的任意一个，其中，历史调度决策为选择一台云服务器进行实时处理时，历史调度信息包括选择的云服务器的编号；

16、将新任务处理请求的编号标记为x；在云服务器集群接收到第x个新任务处理请求时，将第i台云服务器的已使用实时算力标记为cix，将第i台云服务的已使用内存空间标记为mix，将第i台云服务的处理中任务的任务集合标记为rix，将每个处理中任务标记为rix，则对于每个处理中任务rix，将其分配的实时算力标记为crix，将其分配的内存空间标记为mrix，将其预估剩余处理时长标记为trix，将其剩余的处理数据量标记为yrix；将第i台云服务的排队中任务的任务集合标记为aix，将每个排队中任务标记为aix，则对于每个排队中任务aix，将其待处理的数据量标记为naix，将其剩余最大处理时长标记为laix；

17、基于历史任务处理数据获得历史任务序列调度数据的方式为：

18、将每次接收新任务处理请求时的新任务处理请求对应的任务程序编号、每台云服务器的单服务器任务处理数据以及新任务处理请求的历史调度决策和历史调度信息的组合标记为一组历史调度数据；

19、从历史任务处理数据的所有历史调度数据中，筛选出历史调度信息为选择一台云服务器进行排队处理的历史调度数据；

20、筛选后得到的历史调度数据集合即为历史任务序列调度数据；

21、基于历史任务处理数据训练出预测任务处理时长的机器学习模型的方式为：

22、将所有历史调度数据中的所有处理中任务按照对应的任务程序编号进行分类；

23、对于每个任务程序编号pjk，将其对应的所有的处理中任务rix的分配的实时算力crix、分配的内存空间mrix以及剩余的处理数据量yrix作为机器学习模型的输入，该机器学习模型的输入以预估的处理时长为输出以每个处理中任务的预估剩余处理时长trix作为预测目标，以最大化预测准确率作为训练目标，对机器学习模型进行训练，获得预测任务处理时长的机器学习模型；所述机器学习模型为深度神经网络模型；该机器学习模型的其他的模型参数，例如网络模型的深度、每层的神经元数量、网络模型使用的激活函数、收敛条件、训练集测试集验证集比例以及损失函数等均通过实际的工程实现，不断地进行实验调优后获得；

24、将任务程序编号pjk对应的机器学习模型标记为vpjk；

25、将历史任务序列调度数据转化为深度强化学习模型所接收的四元组集合的方式为：

26、对于云服务器集群接收到第x次新任务处理请求时：

27、以此时所有云服务器的单服务器任务处理数据作为初始状态；

28、以选择的进行排队处理该新任务处理请求的云服务器的编号作为选择的动作；

29、计算此时选择动作后获得的奖励值q，其中，奖励值q的计算方式为：

30、若选择的云服务器完成该待调度任务请求的时间大于最迟完成时间或该云服务器的排队中任务中存在任务完成的时间大于该任务的最迟完成时间时，奖励值q设置为-max；其中，max为预设的最大奖励值；

31、否则，奖励值q的计算公式为：

32、

33、其中，h＝(α*(ci-cix)+β*(mi-mix))；其中，α、β以及δ分别为预设的比例系数；

34、以选择动作后，所有云服务器的单服务器任务处理数据作为下一个状态；

35、则对于每次接收新任务处理请求，<初始状态、选择的动作、奖励值q、下一个状态>作为其四元组；

36、所有新任务处理请求对应的四元组共同组成四元组集合；

37、基于四元组集合训练出对任务序列进行调度的深度强化学习模型的方式为：

38、将四元组集合作为深度强化学习模型的输入，该深度强化学习模型通过从四元组集合中随机抽取若干四元组进行训练，学习在不同的初始状态下，选择一台云服务器对新任务处理请求进行排队处理，以获得最大奖励值q的策略；

39、判断是否存在实时处理服务器的方式为：

40、将待调度任务请求编号标记为x1；计算此时第i台云服务器的剩余实时算力bix1以及剩余内存空间eix1；其中，剩余实时算力bix1的计算公式为bix1＝ci-cix1；剩余内存空间eix1的计算公式为eix1＝mi-mix1；

41、若存在云服务器的剩余实时算力bix1大于单任务最大供给算力dj，以及剩余内存空间eix1大于单任务最大供给内存sj，则该云服务器作为实时处理服务器；保证了在条件允许下，客户能获得其该有的最高的算力和内存供给；

42、否则，将该调度任务请求的待处理数据量、每台云服务器i的剩余实时算力bix1以及剩余内存空间eix1分别输入至对应的机器学习模型vpjk中，获得每台云服务器预估的处理该待调度任务请求的时长；

43、从所有云服务器中选择处理该待调度任务请求的时长最短时长的云服务器，并计算该时长是否大于该待调度任务请求的剩余最大处理时长；若小于剩余最大处理时长，则将该云服务器作为实时处理服务器；若大于剩余最大处理时长，判断为不存在实时处理服务器。

44、与现有技术相比，本发明的有益效果是：

45、本发明通过预先收集云服务器集群基础数据、客户业务数据以及历史任务处理数据，再基于历史任务处理数据获得历史任务序列调度数据，并基于历史任务处理数据训练出预测任务处理时长的机器学习模型，将历史任务序列调度数据转化为深度强化学习模型所接收的四元组集合，并基于四元组集合训练出对任务序列进行调度的深度强化学习模型，在接收到待调度任务请求时，分析各台云服务器的资源占用情况，在云服务器的资源充足条件下，实时对待调度任务请求时，在云服务器的资源不充足时，利用深度强化学习模型，对该待调度任务请求调度生成智能调度策略，选择合适的云服务器进行任务排队；对任务紧急程度、客户优先级、云服务器资源利用率以及客户体验的综合考量，实现了任务请求的智能调度。