一种分布式超并发云计算系统的制作方法

1.本发明涉及云计算技术领域，尤其涉及一种分布式超并发云计算系统。


背景技术：

2.云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。现有技术中，云计算下的超并发数据处理系统内无法进行并发数据的自运算，也不能有效避免并发事件的发生，导致并发概率只高不低，无法对系统内的大量数据进行快速计算，超并发数据的云计算效率有待提高。
3.我国专利申请号：cn201811174061.4，公开日：2019.02.01，公开了一种基于云计算的并发数据处理方法，包括云处理单元、执行记录模块、数据监控模块、进程监控模块、数据修正模块、计时单元、控制器、显示模块、执行记录模块和数据输入模块；本发明通过数据监控模块获取得到待处理进程信息组对应的优先级数，当待处理进程急于解决时在待处理进程后面加上注释sss，当待处理进程不急于解决处于正常情况时在待处理进程后面加上注释ss，当待处理进程可以延迟解决时在待处理进程后面加上注释s，根据待处理进程后面的注释获取得到对应待处理进程的优先级数hi值；根据数据监控模块读取对应注释即可得到待处理进程的轻重缓急程度。
4.但本技术发明人在实现上述申请实施例中技术方案的过程中，发现上述技术至少存在如下技术问题：云计算下的超并发数据处理系统内无法进行并发数据的自运算，也不能有效避免并发事件的发生，导致并发概率只高不低，无法对系统内的大量数据进行快速计算，超并发数据的云计算效率有待提高。


技术实现要素：

5.本发明通过提供一种分布式超并发云计算系统，解决了现有技术中云计算下的超并发数据处理系统内无法进行并发数据的自运算，也不能有效避免并发事件的发生，导致并发概率只高不低，无法对系统内的大量数据进行快速计算，超并发数据的云计算效率有待提高的问题。实现了有序处理云计算任务，合理分配任务，提高超并发数据的云计算效率。
6.本发明提供了一种分布式超并发云计算系统，具体包括以下技术方案：一种分布式超并发云计算系统，包括以下部分：任务接收模块、任务监控模块、计算处理模块、缓冲区、任务存储模块和数据库；所述任务监控模块，用于实时监测服务器接收的云计算任务请求，当监测到在预定时间间隔内接收到的云计算任务请求数量大于所述计算处理模块所能处理的任务数量阈值时，从所述云计算任务请求中提取所述计算处理模块所能处理的最大数量的云计算任务请求发送给所述计算处理模块，并将提取后剩余的云计算任务请求存储在预设的所述缓冲区中，所述任务监控模块通过数据传输的方式与所述计算处理模块和所述缓冲区连接；
所述计算处理模块包括任务接收单元、任务分配单元、存储调度单元、若干计算单元和算法更新单元，所述任务接收单元接收云计算任务请求后存储到所述任务存储模块，并发送给所述任务分配单元；所述任务分配单元将计算任务分配给各个所述计算单元；所述计算单元根据分配到的计算任务向所述存储调度单元发送数据读取请求，创建进程，根据云计算任务请求和原始数据执行对应的计算任务，实现分布式计算，并将计算结果发送给所述算法更新单元；所述存储调度单元基于数据读取请求从所述数据库中读取存储数据，并将读取的存储数据进行合并得到数据读取请求的原始数据发送给所述计算单元；所述算法更新单元在每个周期内根据新数据对算法进行更新，保证算法的实时准确性，使得超并发计算任务通过分布式处理方法高效率完成；所述计算处理模块通过数据传输的方式与所述任务存储模块和所述数据库相连。
7.一种分布式超并发云计算处理方法，包括以下步骤：s1. 任务监控模块实时监测服务器接收的云计算任务请求，获取任务的优先级，根据优先级和任务发布时间创建任务分发序列；s2. 任务分配单元创建进程状态网络拟合计算单元中各个进程的进程状态函数，进程随着时间变化的状态值得到进程状态函数，根据状态函数建立进程状态空间，得到进程决策，根据进程决策对任务进行分配。
8.进一步，所述步骤s1包括：客户端对每个云计算任务请求标记了优先级，获取任务的优先级，根据优先级和任务发布时间创建任务分发序列，将同一优先级的云计算任务请求按照时间先后顺序排列，优先级高的云计算任务请求位于优先级低的云计算任务请求之前。
9.进一步，所述步骤s2包括：创建进程状态网络拟合进程状态函数，进程状态函数表示的是与不同时刻对应的进程状态；在神经网络训练过程中，输入不同时刻对应的不同进程的进程状态，通过训练拟合出当前进程以时间为变量的进程状态函数。
10.进一步，所述步骤s2包括：首先将输入进程状态网络的每个变量进行神经网变换，然后引入逻辑门，用逻辑门控制变量区间，将进程状态函数分为多段子函数；当某个逻辑门被激活时，对应的子函数的权重与偏移量在逻辑门的包裹下变为非0，从而输出这一段的函数值。
11.进一步，所述步骤s2包括：设立逻辑门的开关函数，使用激活函数构建开关门，根据各个区间的开关门拟合出每段子函数，不同的进程状态中包含了不同的数据误差和计算进度。
12.进一步，所述步骤s2包括：根据不同进程的状态函数得到计算单元的单位进程处理时间：其中，表示处理进程信息所耗费的时间，表示当前周期计算单元所能处理的进程总量；设定重启阈值参数，若当前进程在的时间范围内仍未完成计算，则重启进程。
13.进一步，所述步骤s2包括：根据状态函数建立进程状态空间，根据进程状态空间创建进程决策，对进程决策进行求解，根据进程决策对任务进行分配，同时，算法更新单元在每个周期内根据新数据对算法进行更新，保证算法的实时准确性，使得超并发计算任务通过分布式处理方法高效率完成。
14.本发明至少具有如下技术效果或优点：1、根据任务优先级和任务发布时间创建任务分发序列，使任务有序处理，加快任务处理速度，提高超并发数据的处理效率。
15.2、根据进程随着时间变化的状态值得到进程状态函数，将输入进程状态网络的每个变量进行神经网变换，并引入逻辑门控制变量区间，增加拟合出的复杂进程状态函数的精准度，从而可以得到进程处理效率，重启计算效率低的进程，并根据各进程的处理效率分配计算任务，提高超并发数据的云计算效率。
16.3、本发明的技术方案能够有效解决云计算下的超并发数据处理系统内无法进行并发数据的自运算，也不能有效避免并发事件的发生，导致并发概率只高不低，无法对系统内的大量数据进行快速计算，超并发数据的云计算效率有待提高。并且，上述系统或方法经过了一系列的效果调研，通过验证，最终能够有序处理云计算任务，合理分配任务，提高超并发数据的云计算效率。
附图说明
17.图1为本发明所述的一种分布式超并发云计算系统结构图；图2为本发明所述的一种分布式超并发云计算处理方法流程图；图3为本发明所述的计算处理模块的详细结构图。
具体实施方式
18.本技术实施例通过提供一种分布式超并发云计算系统，解决了现有技术中的问题：云计算下的超并发数据处理系统内无法进行并发数据的自运算，也不能有效避免并发事件的发生，导致并发概率只高不低，无法对系统内的大量数据进行快速计算，超并发数据的云计算效率有待提高。
19.本技术实施例中的技术方案为解决上述问题，总体思路如下：根据任务优先级和任务发布时间创建任务分发序列，使任务有序处理，加快任务处理速度，提高超并发数据的处理效率；根据进程随着时间变化的状态值得到进程状态函数，将输入进程状态网络的每个变量进行神经网变换，并引入逻辑门控制变量区间，增加拟合出的复杂进程状态函数的精准度，从而可以得到进程处理效率，重启计算效率低的进程，并根据各进程的处理效率分配计算任务，提高超并发数据的云计算效率。
20.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
21.参照附图1，本发明所述的一种分布式超并发云计算系统包括以下部分：任务接收模块10、任务监控模块20、计算处理模块30、缓冲区40、任务存储模块50和数据库60。
22.所述任务接收模块10，用于接收客户端发送的云计算任务请求，并将云计算任务请求调度分发到云计算平台的任务监控模块20，任务接收模块10通过数据传输的方式与任务监控模块20连接；所述任务监控模块20，用于实时监测服务器接收的云计算任务请求，当监测到在预定时间间隔内接收到的云计算任务请求数量大于计算处理模块30所能处理的任务数量阈值时，从所述云计算任务请求中提取计算处理模块30所能处理的最大数量的云计算任务请求发送给计算处理模块30，并将提取后剩余的云计算任务请求存储在预设的缓冲区40中，任务监控模块20通过数据传输的方式与计算处理模块30和缓冲区40连接；所述计算处理模块30包括任务接收单元301、任务分配单元302、存储调度单元303、若干计算单元304和算法更新单元305，如图3所示，所述任务接收单元301接收云计算任务请求后存储到任务存储模块50，并发送给任务分配单元302；所述任务分配单元302将计算任务分配给各个计算单元304；所述计算单元304根据分配到的计算任务向存储调度单元303发送数据读取请求，创建进程，根据云计算任务请求和原始数据执行对应的计算任务，实现分布式计算，并将计算结果发送给算法更新单元305；所述存储调度单元303基于数据读取请求从数据库60中读取存储数据，并将读取的存储数据进行合并得到数据读取请求的原始数据发送给计算单元304；所述算法更新单元305在每个周期内根据新数据对算法进行更新，保证算法的实时准确性，使得超并发计算任务通过分布式处理方法高效率完成；计算处理模块30通过数据传输的方式与任务存储模块50和数据库60相连；所述缓冲区40，用于对计算处理模块30未能及时处理的云计算任务请求进行缓存，缓冲区40将缓存的云计算任务请求通过数据传输的方式发送给计算处理模块30；所述任务存储模块50，用于存储历史任务，以便后续查询；所述数据库60，用于存储原始数据。
23.参照附图2，本发明所述的一种分布式超并发云计算处理方法包括以下步骤：s1. 任务监控模块实时监测服务器接收的云计算任务请求，获取任务的优先级，根据优先级和任务发布时间创建任务分发序列；在服务器端搭建云计算平台，任务接收模块10接收客户端发送的云计算任务请求，并将云计算任务请求调度分发到云计算平台的任务监控模块20。任务监控模块20实时监测服务器接收的云计算任务请求，当监测到在预定时间间隔内接收到的云计算任务请求数量大于计算处理模块30所能处理的任务数量阈值时，从所述云计算任务请求中提取计算处理模块30所能处理的最大数量的云计算任务请求发送给计算处理模块30，并将提取后剩余的云计算任务请求存储在预设的缓冲区40中。具体提取方法如下：客户端对每个云计算任务请求标记了优先级，获取任务的优先级，根据优先级和任务发布时间创建任务分发序列，所述任务分发序列的创建方法为：设立云计算任务请求的优先级为，，k为优先级的等级总数，将同一优先级的云计算任务请求按照时间先后顺序排列，优先级高的云计算任务请求位于优先级低的云计算任务请求之前，即
其中，表示优先级为的云计算任务请求的排列位置，，表示任务发布时间，表示时间发布的优先级为的云计算任务请求的排列位置，从而形成任务分发序列。
24.所述步骤s1的有益效果为：根据任务优先级和任务发布时间创建任务分发序列，使任务有序处理，加快任务处理速度，提高超并发数据的处理效率。
25.任务分配单元创建进程状态网络拟合计算单元中各个进程的进程状态函数，进程随着时间变化的状态值得到进程状态函数，根据状态函数建立进程状态空间，得到进程决策，根据进程决策对任务进行分配。
26.计算处理模块30包括任务接收单元301、任务分配单元302、存储调度单元303、若干计算单元304和算法更新单元305，任务接收单元301接收云计算任务请求后存储到任务存储模块50，并发送给任务分配单元302，由任务分配单元302将计算任务分配给各个计算单元304，由计算单元304执行相应的计算任务，所述计算单元304根据分配到的计算任务向存储调度单元303发送数据读取请求，由所述存储调度单元303基于数据读取请求从数据库60中读取存储数据，并将读取的存储数据进行合并得到数据读取请求的原始数据发送给计算单元304，所述计算单元304创建进程，根据云计算任务请求和原始数据执行对应的计算任务，实现分布式计算。所述任务分配单元302的具体分配过程如下：首先获取一个周期内每个计算单元304所能处理的进程信息总量以及计算单元304正在处理的进程信息，将当前周期计算单元304所能处理的进程总量标记为，将计算单元304正在处理的进程信息标记为，。根据一个周期内进程随着时间变化的状态值得到进程状态函数，从而可以得到进程处理效率，重启计算效率低的进程，并根据各进程的处理效率分配计算任务，提高超并发数据的计算效率。
27.创建进程状态网络拟合进程状态函数，进程状态函数表示的是与不同时刻对应的进程状态。在神经网络训练过程中，输入不同时刻对应的不同进程的进程状态，通过训练拟合出当前进程以时间为变量的进程状态函数。
28.为了增加拟合出的复杂进程状态函数的精准度，首先将输入进程状态网络的每个变量进行神经网变换，作为一个具体实施例，所述神经网变换过程为：input=input(time)dense11=dense (activation=’softplus’, units=100) (input)dense12=dense (activation=’softplus’, units=100) (dense11)newinput= dense (units=100) (dense12)上述变换过程是指：输入时间time，调用命令dense中的参数activation进行非线性变换，选用activation里的softplus作为激活函数，设定神经元节点数units为100。
29.然后引入逻辑门，用逻辑门控制变量区间，将进程状态函数分为多段子函数。当某个逻辑门被激活时，对应的子函数的权重与偏移量在逻辑门的包裹下变为非0，从而输出这一段的函数值。
30.作为一个具体实施例，设立逻辑门的开关函数：
其中，表示第层开关。使用激活函数构建开关门：其中，是第一层门，是激活函数。通过平移指定门的位置：表示平移距离。然后将开关门进行与/或组合，作为一个具体实施例，设立开关门负责激活，开关门负责激活，则定义：即可用表示区间。从而根据各个区间的开关门拟合出每段子函数。
31.其中，为进程的状态函数，为初始进程状态，表示状态误差，表示t时刻进程的计算进度。不同的进程状态中包含了不同的数据误差和计算进度。
32.根据不同进程的状态函数得到计算单元304的单位进程处理时间：其中，表示处理进程信息所耗费的时间。设定重启阈值参数，若当前进程在的时间范围内仍未完成计算，则重启进程。
33.根据状态函数建立进程状态空间t：根据进程状态空间创建进程决策：其中，表示进程决策，即任务分配单元302的分配依据，表示当前任务中数据之间的关联函数，表示当前任务中数据之间的扰动函数，是对数据计算产生影响的所有扰动因素服从的函数变化。
34.对进程决策进行求解，具体的求解方法为：根据进程决策对任务进行分配，同时，算法更新单元305在每个周期内根据新数据对算法进行更新，保证算法的实时准确性，使得超并发计算任务通过分布式处理方法高效
率完成。
35.所述步骤s2的有益效果为：根据进程随着时间变化的状态值得到进程状态函数，将输入进程状态网络的每个变量进行神经网变换，并引入逻辑门控制变量区间，增加拟合出的复杂进程状态函数的精准度，从而可以得到进程处理效率，重启计算效率低的进程，并根据各进程的处理效率分配计算任务，提高超并发数据的计算效率。
36.综上所述，便完成了本发明所述的一种分布式超并发云计算系统。
37.上述本技术实施例中的技术方案，至少具有如下的技术效果或优点：效果调研：本发明的技术方案能够有效解决云计算下的超并发数据处理系统内无法进行并发数据的自运算，也不能有效避免并发事件的发生，导致并发概率只高不低，无法对系统内的大量数据进行快速计算，超并发数据的云计算效率有待提高。并且，上述系统或方法经过了一系列的效果调研，通过验证，最终能够有序处理云计算任务，合理分配任务，提高超并发数据的云计算效率。
38.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
39.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
40.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
41.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。