一种数据流处理方法、服务器及计算机存储介质与流程

文档序号:19248336发布日期:2019-11-27 19:53阅读:184来源:国知局
一种数据流处理方法、服务器及计算机存储介质与流程

本发明涉及计算机技术领域中的数据处理,尤其涉及一种数据流的处理方法、服务器及计算机存储介质。



背景技术:

工业设备应用于工业生产的各个环节,且工业设备会产生的大量的工业数据。相对技术中对工业数据的处理是基于人工设计数据处理方案,将数据分配到对应的设备,并通过对应的设备来实现数据处理的。但是,相对技术中的这种数据处理方法参杂了人为因素,从而导致无法合理的分配数据流,进而造成数据处理效率低的问题。



技术实现要素:

有鉴于此,本发明实施例期望提供一种数据流处理方法、服务器及计算机可读存储介质,解决了相对技术中采用人工分配设备造成数据流分配不合理的问题,保证流数据流能够合理的分配,且提高了数据流处理效率。

为达到上述目的,本发明的技术方案是这样实现的:

一种数据流处理方法,所述方法包括:

获取数据集群中每个设备的配置信息;

获取待处理的第一数据流的属性信息;

基于每个设备的所述配置信息和所述第一数据流的属性信息,从所述数据集群的设备中确定目标设备;

控制所述目标设备对所述第一数据流进行处理。

可选地,所述获取待处理的第一数据流的属性信息,包括:

获取待处理数据的第一数据流的数据类型信息;

相应的,基于每个设备的所述配置信息和所述第一数据流的属性信息,从所述数据集群的设备中确定目标设备,包括:

基于所述第一数据流的类型信息和所述每个设备的所述配置信息,从所述数据集群的设备中确定所述目标设备。

可选地,所述获取数据集群中每个设备的配置信息,包括:

获取所述数据集群中每个设备的应用软件信息;其中,所述配置信息包括所述应用软件信息;

相应的,所述基于所述第一数据流的类型信息和所述每个设备的所述配置信息,从所述数据集群的设备中确定所述目标设备,包括:

基于所述第一数据流的类型信息和所述应用软件信息,从所述数据集群的设备中确定所述目标设备。

可选地,所述基于所述第一数据流的类型信息和所述应用软件信息,从所述数据集群的设备中确定所述目标设备,包括:

获取所述数据集群中每个设备的属性参数;

基于所述第一数据流的类型信息、所述应用软件信息以及所述每个设备的属性参数,从所述数据集群的设备中确定所述目标设备。

可选地,所述基于所述第一数据流的类型信息、所述应用软件信息以及所述每个设备的属性参数,从所述数据集群的设备中确定所述目标设备,包括:

基于每个设备的属性参数,从所述数据集群中确定设备的属性参数满足预设参数的第一设备;

基于所述第一数据流的类型信息和所述应用软件信息,从所述第一设备中确定所述目标设备。

可选地,所述基于所述第一数据流的类型信息、所述应用软件信息以及所述每个设备的属性参数,从所述数据集群的设备中确定所述目标设备,包括:

基于所述第一数据流的类型信息、所述应用软件信息以及所述每个设备的属性参数,从所述数据集群的设备中确定第二设备;

获取所述每一第二设备处理所述第一数据流的第一时间;其中,所述第一时间包括所述第一数据流产生时间、所述每一第二设备读写所述第一数据流的时间、所述第一数据流暂存到所述每一第二设备磁盘的时间以及所述第一数据流网络传输的时间;

基于所述第一时间计算第二时间;

基于所述第二时间,从所述第二设备中确定所述目标设备。

可选地,所述基于所述第一时间计算第二时间,包括:

若所述第一时间满足预设时间阈值,对所述每一所述第二设备对应的第一时间求和,得到多个第三时间;

按照从小到大的顺序对所述多个第三时间进行排序,并从排序后的第三时间中确定最短的时间为所述第二时间。

可选地,所述基于所述第二时间,从所述第二设备中确定所述目标设备,包括:

控制排序倒数第一的第二设备处理第一数据,并获取所述排序倒数第一的第二设备处理所述第一数据流的第三时间;其中,所述第一数据为所述排序倒数第二的第二设备的数据;

控制排序倒数第二的第二设备处理第二数据,并获取所述排序倒数第二的第二设备处理所述第一数据流的第四时间;其中,所述第二数据为所述排序倒数第一的第二设备的数据;所述第一数据和所述第二数据均包括所述第一数据流;

确定所述第三时间和所述第四时间中最小的时间对应的第二设备为所述目标设备。

一种服务器,所述服务器包括:处理器、存储器和通信总线,包括:

所述通信总线用于实现处理器和存储器之间的通信连接;

所述处理器用于执行存储器中的数据流处理方法的程序,以实现以下步骤:

获取数据集群中每个设备的配置信息;

获取待处理的第一数据流的属性信息;

基于每个设备的所述配置信息和所述第一数据流的属性信息,从所述数据集群的设备中确定目标设备;

控制所述目标设备对所述第一数据流进行处理。

一种计算机存储介质,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述的文件传输方法的步骤。

本发明实施例所提供的数据流处理方法、服务器及计算机存储介质,能够获取数据集群中每个设备的配置信息;获取待处理的第一数据流的属性信息;基于每个设备的配置信息和第一数据流的属性信息,从数据集群的设备中确定目标设备;控制目标设备对第一数据流进行处理,如此,本发明中基于获取到的数据集群中每个设备的配置信息以及待处理的第一数据流的属性信息,自动的从数据集群中确定对待处理的第一数据流进行下一步处理的目标设备,有效的解决了相对技术中采用人工分配设备造成数据流分配不合理的问题,保证流数据流能够合理的分配,且提高了数据流处理效率。

附图说明

图1为实现本发明各个实施例的一种数据流处理方法的流程示意图;

图2为本发明实施例提供的另一种数据流处理方法的流程示意图;

图3为本发明实施例提供的又一种数据流处理方法的流程示意图;

图4为本发明另一实施例提供的一种数据流处理方法的流程示意图;

图5为本发明又一实施例中提供的另一种数据流处理方法的流程示意图;

图6为本发明实施例提供的又一种服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本发明的实施例提供了一种数据流处理方法,应用于服务器,参照图1所示,该方法包括以下步骤:

步骤101、获取数据集群中每个设备的配置信息。

本发明实施例中,服务器控制数据集群中的每个设备基于当前的操作需求,服务器获取数据集群中的每个设备的配置信息。其中,数据集群中的每个设备拥有自己的配置信息,例如每个设备的硬盘容量、内存大小、中央处理器(centralprocessingunit,cpu)核数以及配置的软件都各不相同。

步骤102、获取待处理的第一数据流的属性信息。

本发明实施例中,服务器在同一时刻能够获取到多个不同的待处理的第一数据流,其中,每一个待处理的第一数据流中都包含与自身数据相关的属性信息,服务器能够基于第一数据流携带的属性信息,合理的分配设备对数据流进行进一步数据处理。

步骤103、基于每个设备的配置信息和第一数据流的属性信息,从数据集群的设备中确定目标设备。

本发明实施例中,服务器获取到数据集群中的每一设备的配置信息和待处理的第一数据流的属性信息后,服务器根据待处理的第一数据流的属性信息,从数据集群各设备的配置信息中确定出满足处理第一数据流条件的目标设备。

步骤104、控制目标设备对第一数据流进行处理。

本发明实施例中,服务器基于获取到的数据集群中的每一设备的配置信息以及待处理的第一数据流的属性信息,服务器能够控制数据集群中的任一设备,基于获取到的信息,控制能够处理待处理的第一数据流的设备对第一数据流的数据进行处理。

示例性的,数据集群中的a设备采集温度数据,并且a设备中安装有对温度数据进行处理的软件,那么,服务器基于获取到的温度数据控制a设备基于温度处理软件对温度数据进行进一步处理。若a中只是对温度数据进行采集的设备,而a设备中不包含温度数据处理软件,则服务器在数据集群中查找能够处理温度数据的目标设备b,并且服务器能够基于获取得到的数据集群中每一服务器的信息,控制b设备对a设备采集的温度数据进行数据处理。

本发明实施例所提供的数据流处理方法,能够获取数据集群中每个设备的配置信息;获取待处理的第一数据流的属性信息;基于每个设备的配置信息和第一数据流的属性信息,从数据集群的设备中确定目标设备;控制目标设备对第一数据流进行处理,如此,本发明中基于获取到的数据集群中每个设备的配置信息以及待处理的第一数据流的属性信息,自动的从数据集群中确定对待处理的第一数据流进行下一步处理的目标设备,有效的解决了相对技术中采用人工分配设备造成数据流分配不合理的问题,保证流数据流能够合理的分配,且提高了数据流处理效率。

基于前述实施例,本发明的实施例提供一种数据流处理方法,应用于服务器,参照图2所示,该方法包括以下步骤:

步骤201、获取数据集群中每个设备的配置信息。

其中,步骤201可以通过以下方式来实现:

获取数据集群中每个设备的应用软件信息;其中,配置信息包括应用软件信息。

本发明实施例中,服务器获取到的数据群中每个设备安装的应用软件信息以及每个设备的属性参数。其中,这里的每个设备的属性参数是指数据集群中每个设备的硬盘容量大小、cpu核数以及内存大小的信息。在一种可行性实现方式中,数据集群中的应用软件信息包括:每个设备自身的操作系统信息以及通过第三方安装的应用软件信息。服务器获得到数据集群中的每个设备的信息后,服务器根据待处理的第一数据流的属性信息、每个设备的应用软件信息以及每个设备的属性参数,从数据集群的设备中确定出能够处理第一数据流的目标设备。

步骤202、获取待处理数据的第一数据流的数据类型信息。

本发明实施例中,服务器获取数据集群中待处理的第一数据流的类型信息。数据集群中的设备产生的数据类型包括多种,在一种可行性实现方式中,数据流的数据类型信息包括:温度数据、湿度数据、光照数据以及振动数据。相应的,服务器基于第一数据流的类型信息和每个设备的参数信息以及每个设备的应用软件信息,从数据集群的设备中确定目标设备。

步骤203、基于第一数据流的类型信息和每个设备的配置信息,从数据集群的设备中确定目标设备。

本发明实施例中,服务器获取到数据集群中每个设备的配置信息和第一数据流的类型信息后,服务器根据第一数据流的类型信息在数据集群中选择与第一数据流的类型信息对应的设备作为目标设备。

示例性的,服务器获取到第一数据流的类型为温度数据,服务器在数据集群的查找可以处理温度数据的设备,例如,数据集群中的a设备可以处理温度数据,服务器将第一数据流发送到数据集群中的设备a中。

本发明实施例中,当步骤201、获取数据集群中每个设备的配置信息为数据集群中每个设备的应用软件信息时,步骤203可以通过以下实现方式来实现:

基于第一数据流的类型信息和应用软件信息,从数据集群的设备中确定目标设备。

本发明实施例中,服务器获取到第一数据流的类型信息和数据集群中每个设备的应用软件信息后,服务器根据第一数据流的类型信息在数据集群中选择与能够对第一数据流进行处理的软件的设备作为目标设备。

示例性的,服务器获取到第一数据流的类型为设备的振动数据,服务器在数据集群的查找安装能够处理设备的振动数据的软件的设备,例如,数据集群中的b设备安装的labview软件可以处理设备的振动数据,服务器将第一数据流发送到数据集群中安装的labview软件的设备b中。

步骤204、控制目标设备对第一数据流进行处理。

需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。

本发明实施例所提供的数据流处理方法,能够获取数据集群中每个设备的配置信息;获取待处理的第一数据流的属性信息;基于每个设备的配置信息和第一数据流的属性信息,从数据集群的设备中确定目标设备;控制目标设备对第一数据流进行处理,如此,本发明中基于获取到的数据集群中每个设备的配置信息以及待处理的第一数据流的属性信息,自动的从数据集群中确定对待处理的第一数据流进行下一步处理的目标设备,有效的解决了相对技术中采用人工分配设备造成数据流分配不合理的问题,保证流数据流能够合理的分配,且提高了数据流处理效率。

发明的实施例提供一种数据流处理方法,应用于服务器,参照图3所示,该方法包括以下步骤:

步骤301、获取数据集群中每个设备的应用软件信息。

步骤302、获取待处理数据的第一数据流的数据类型信息。

步骤303、获取数据集群中每个设备的属性参数。

步骤304、基于第一数据流的类型信息、应用软件信息以及每个设备的属性参数,从数据集群的设备中确定目标设备。

本发明实施例中,步骤304基于第一数据流的类型信息、应用软件信息以及每个设备的属性参数,从数据集群的设备中确定目标设备,可以通过以下步骤实现。

步骤304a、基于每个设备的属性参数,从数据集群中确定设备的属性参数满足预设参数的第一设备。

本发明实施例中,服务器获取到数据集群中每个设备的属性参数,根据设备的属性参数可以获知当前每个设备的状态信息,基于每个设备的状态信息确定处于空闲的设备且能够处理第一数据流的设备作为第一设备。其中,每个设备的属性参数包括:每个设备的当前运行状态、每个数据能够处理的数据的精确度、是否能够处理周期性数据以及数据的准确性。

示例性的,若服务器检测到能够处理第一数据流的设备包含多个且当前都在处理其他数据,则从中选择出运行内存最大的作为处理第一数据流的第一设备。例如,工业数据的产生量会非常大,并且数据产生很快,并且数据类型容易划分,比如温度数据、湿度数据等,将同类数据的数据流,分配到相同的设备上,运行在合理分配的虚拟机内,可以提升虚拟机效率、减少某种数据类型数据流的运行时异常导致虚拟机崩溃。如果一个设备上分配的数据流过多,会造成内存溢出,此时可以将数据流分配到不同的设备上。

步骤304b、基于第一数据流的类型信息和应用软件信息,从第一设备中确定目标设备。

本发明实施例中,服务器基于数据集群中设备的参数信息对设备进行了第一次筛选,确定数据集群中设备参数满足预设参数的设备为第一设备。此时,数据集群中符合条件的设备为第一设备,再次根据第一数据流的类型信息和应用软件信息,从第一设备中选出目标设备。

步骤305、控制目标设备对第一数据流进行处理。

需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。

本发明实施例所提供的数据流处理方法,能够获取数据集群中每个设备的配置信息;获取待处理的第一数据流的属性信息;基于每个设备的配置信息和第一数据流的属性信息,从数据集群的设备中确定目标设备;控制目标设备对第一数据流进行处理,如此,本发明中基于获取到的数据集群中每个设备的配置信息以及待处理的第一数据流的属性信息,自动的从数据集群中确定对待处理的第一数据流进行下一步处理的目标设备,有效的解决了相对技术中采用人工分配设备造成数据流分配不合理的问题,保证流数据流能够合理的分配,且提高了数据流处理效率。

发明的实施例提供一种数据流处理方法,应用于服务器,参照图4所示,该方法包括以下步骤:

步骤401、获取数据集群中每个设备的应用软件信息和数据集群中每个设备的属性参数。

步骤402、获取待处理数据的第一数据流的数据类型信息。

步骤403、基于第一数据流的类型信息、应用软件信息以及每个设备的属性参数,从数据集群的设备中确定第二设备。

本发明实施例中,服务器经过对数据集群中多个设备的筛选,确定出第一设备后,再次获取待处理的第一数据流的类型信息和每个设备的应用软件信息,进一步的从满足处理第一数据流的第一设备中,基于第一数据流的类型应用软件信息,将第一数据流分配到能够处理第一数据流所对应的数据类型的应用软件的第二设备中。

示例性的,服务器在开始数据流的处理工作之前,服务器获取到数据集群中每个设备的参数信息、每个设备的应用软件信息以及第一数据流的类型信息。

本发明实施例中,数据集群中第一数据流经过至少两个阶段的处理,如图5所示,例如,第一数据流需要经过第一阶段、第二阶段以及第三阶段才能够完成数据流的处理过程。并且,每个阶段都需要对数据集群中的设备进行筛选,查找能够满足第一数据流处理要求的设备。

步骤404、获取每一第二设备处理第一数据流的第一时间。

其中,第一时间包括第一数据流产生时间、每一第二设备读写第一数据流的时间、第一数据流暂存到每一第二设备磁盘的时间以及第一数据流网络传输的时间。

本发明实施例中,服务器获取数据集群中待处理的第一数据流的第一时间。第一数据流包含至少一个,每一第一数据流产生时间、对应软件处理所需的时间以及在网络中传输的时间均不相同。其中,第一时间至少包括一个时间数据。

示例性的,数据流的处理流程如下表所示,数据集群中包含设备a、设备b、设备c、设备d、设备e、以及设备f共计6个设备。数据集群中设备a并行处理第一数据流和第二数据流,且第一数据流的第一阶段在设备a中完成,第二阶段在设备b中完成或设备c中完成,第三阶段在设备c中完成。服务器计算第一数据流以第一方式:第一阶段设备a(表中的第一阶段与设备a对应的1/1)、第二阶段设备b(表中的第二阶段与设备b对应的1/1)以及第三阶段设备c(表中的第三阶段与设备c对应的1/1)完成第一数据流的处理过程所需的第一时间。服务器计算第一数据流以第二种方式:第一阶段设备a(表中的第一阶段与设备a对应的1/1)、第二阶段设备c(表中的第二阶段与设备c对应的2/1)以及第三阶段设备c(表中的第三阶段与设备c对应的1/1)完成第一数据流的处理过程所需的第一时间。

同样的,第二数据流的数据处理第一阶段在设备a中或设备d中完成,第二阶段在设备d中完成,第三阶段在设备e中完成。第三数据流的处理过程只有两个阶段,第一阶段在设备e中或设备f中完成,第二阶段也可以在设备e或f中完成。

在一种可行的实现方式中,假设每条数据流的数据源每秒钟产生数据fi(x),由于有些工厂数据的产生速度呈现周期性,所以这是一个周期函数。

第二时间=σiσj(100/fi(x)+100/msj+2*((xj/fi(x))/(xj/fi(x)-xj/ns)-mpj)*xj/wsj+100/ns)

其中,数据集群中设备之间的实际网速为ns;设备的磁盘读写速度为wsi,存读写速度为msi;每个设备的最多运行的数据流的个数为p,计划分配的数据流个数为ps;每个设备为运行在设备上的数据流最多保存数量为xi的缓存数据;每个设备中可以保存的缓存数据个数为mpi,mpi是未知数;则每条数据流,在计划分配方案中,处理100m数据需要的时间即是方案的第二时间;得到第二时间后,方程中仍然包含mpi以及xi两个未知数,可以解出当方程取得最大值时,mpi以及xi的配置,最终带入mpi和xi,得到最终第二时间。

示例性的,如果下个阶段所需的软件在远程机器上,需要网络传输,则需要计算数据网络传输时间。如果下个阶段在所需要的软件在当前机器上,不需要网络传输,则不需要计算网络传输时间。

步骤405、基于第一时间计算第二时间。

本发明实施例中,步骤405基于第一时间计算第二时间,可以通过以下步骤实现。

步骤405a、若第一时间满足预设时间阈值,对每一第二设备对应的第一时间求和,得到多个第三时间。

本发明实施例中,服务器判断第一时间是否超出预设的时间阈值,若第一时间小于等于预设时间阈值,服务器对每一第二设备对应的第一时间求和得到第三时间,其中,第三时间是指服务器将第一数据流的产生时间、第一数据流在网络中传输的时间、每一第二设备读写第一数据流的时间、第一数据流暂存到每一第二设备磁盘的时间求和得到的时间。

示例性的,服务器计算第一时间,得到多个第三时间,当新建一条数据流后立即计算一次分配结果,清空以前记录的分配结果,并将间隔时间重置,如果这次分配结果的第二时间大于上次记录的分配结果第二时间则重新分配。

步骤405b、按照从小到大的顺序对多个第三时间进行排序,并从排序后的第三时间中确定最短的时间为第二时间。

按照从小到大的顺序对多个第三时间进行排序,并从排序后的第三时间中确定最短的时间为第二时间。

本发明实施例中,服务器对计算得到的第三时间按照从小到大的顺序进行排序,确定时间最短的第三时间作为第二时间。

示例性的,服务器对以第一方式计算的第一数据流的第三时间与以第二方式计算的第一数据流的第三时间进行比较,若以第一方式计算得到的第三时间比以第一方式计算得到的第三时间短,则确定以第一方式计算得到的第三时间为第二时间。

本发明实施例中,服务器确定时间最短的第三时间为第二时间,进一步的,将得到第二时间对应的设备作为处理第一数据流的目标设备。若第一数据流还需进行其他的数据处理,可以再次基于上述确定目标设备的方法进行筛选。也就是说,本发明中基于时间进行目标设备的选择可以进行多次。

步骤406、基于第二时间,从第二设备中确定目标设备。

本发明实施例中,步骤406基于第二时间,从第二设备中确定目标设备,可以通过以下步骤实现。

步骤406a、控制排序倒数第一的第二设备处理第一数据,并获取排序倒数第一的第二设备处理第一数据流的第三时间。

其中,第一数据为排序倒数第二的第二设备的数据。

本发明实施例中,服务器控制第二时间排序倒数第一的第二设备与排序倒数第二的第二设备进行交换数据处理。也就是说,服务器使得之前处理排序倒数第一的第二设备处理排序倒数第二的第二设备的数据,服务器再次获取排序倒数第一的第二设备处理第一数据流的时间,该时间作为第三时间。这样的数据处理方式,能够使得设备之间数据处理的均衡,进一步提高数据集群中设备处理数据的效率整体水平。

步骤406b、控制排序倒数第二的第二设备处理第二数据,并获取排序倒数第二的第二设备处理第一数据流的第四时间。

其中,第二数据为排序倒数第一的第二设备的数据;第一数据和第二数据均包括第一数据流;

本发明实施例中,服务器控制第二时间排序倒数第二的第二设备与排序倒数第一的第二设备进行交换数据处理。也就是说,服务器使得之前处理排序倒数第二的第二设备处理排序倒数第一的第二设备的数据,服务器再次获取排序倒数第二的第二设备处理第一数据流的时间,该时间作为第四时间。这样的数据处理方式,能够使得设备之间数据处理的均衡,进一步提高数据集群中设备处理数据的效率整体水平。

步骤406c、确定第三时间和第四时间中最小的时间对应的第二设备为目标设备。

本发明实施例中,服务器基于交换数据处理设备得到的第三时间和第四时间,判断第三时间与第四时间中时间最小的时间对应的设备为目标设备,基于目标设备处理第一数据流的数据。

步骤407、控制目标设备对第一数据流进行处理。

需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。

本发明实施例所提供的数据流处理方法,能够获取数据集群中每个设备的配置信息;获取待处理的第一数据流的属性信息;基于每个设备的配置信息和第一数据流的属性信息,从数据集群的设备中确定目标设备;控制目标设备对第一数据流进行处理,如此,本发明中基于获取到的数据集群中每个设备的配置信息以及待处理的第一数据流的属性信息,自动的从数据集群中确定对待处理的第一数据流进行下一步处理的目标设备,同时得到合理的缓存数据块的字节数以及数据块的个数后,对设备进行合理配置,有效的解决了相对技术中采用人工分配设备造成数据流分配不合理的问题,保证流数据流能够合理的分配,且提高了数据流处理效率。

本发明实施例提供的服务器,该服务器5可以应用于图1-4对应的实施例提供的数据流处理方法中,参照图6所示,该服务器5可以包括:处理器51、存储器52和通信总线53,其中:

通信总线53用于实现处理器51和存储器52之间的通信连接。

处理器51用于执行存储器52中存储的数据流处理方法的程序,以实现以下步骤:

获取数据集群中每个设备的配置信息;

获取待处理的第一数据流的属性信息;

基于每个设备的配置信息和第一数据流的属性信息,从数据集群的设备中确定目标设备;

控制目标设备对第一数据流进行处理。

在本发明的其他实施例中,处理器51用于执行存储器52中存储的获取待处理的第一数据流的属性信息,以实现以下步骤:

获取待处理数据的第一数据流的数据类型信息;

相应的,基于每个设备的配置信息和第一数据流的属性信息,从数据集群的设备中确定目标设备,包括:

基于第一数据流的类型信息和每个设备的配置信息,从数据集群的设备中确定目标设备。

在本发明的其他实施例中,处理器51用于执行存储器52中获取数据集群中每个设备的配置信息,以实现以下步骤:

获取数据集群中每个设备的应用软件信息;其中,配置信息包括应用软件信息;

相应的,基于第一数据流的类型信息和每个设备的配置信息,从数据集群的设备中确定目标设备,包括:

基于第一数据流的类型信息和应用软件信息,从数据集群的设备中确定目标设备。

在本发明的其他实施例中,处理器51用于执行存储器52中基于第一数据流的类型信息和应用软件信息,从数据集群的设备中确定目标设备,以实现以下步骤:

获取数据集群中每个设备的属性参数;

基于第一数据流的类型信息、应用软件信息以及每个设备的属性参数,从数据集群的设备中确定目标设备。

在本发明的其他实施例中,处理器51用于执行存储器52中基于第一数据流的类型信息、应用软件信息以及每个设备的属性参数,从数据集群的设备中确定目标设备,以实现以下步骤:

基于每个设备的属性参数,从数据集群中确定设备的属性参数满足预设参数的第一设备;

基于第一数据流的类型信息和应用软件信息,从第一设备中确定目标设备。

在本发明的其他实施例中,处理器51用于执行存储器52中基于第一数据流的类型信息、应用软件信息以及每个设备的属性参数,从数据集群的设备中确定目标设备,以实现以下步骤:

基于第一数据流的类型信息、应用软件信息以及每个设备的属性参数,从数据集群的设备中确定第二设备;

获取每一第二设备处理第一数据流的第一时间;其中,第一时间包括第一数据流产生时间、每一第二设备读写第一数据流的时间、第一数据流暂存到每一第二设备磁盘的时间以及第一数据流网络传输的时间;

基于第一时间计算第二时间;

基于第二时间,从第二设备中确定目标设备。

在本发明的其他实施例中,处理器51用于执行存储器52中基于第一时间计算第二时间,以实现以下步骤:

若第一时间满足预设时间阈值,对每一第二设备对应的第一时间求和,得到多个第三时间;

按照从小到大的顺序对多个第三时间进行排序,并从排序后的第三时间中确定最短的时间为第二时间。

在本发明的其他实施例中,处理器51用于执行存储器52中基于第二时间,从第二设备中确定目标设备,以实现以下步骤:

控制排序倒数第一的第二设备处理第一数据,并获取排序倒数第一的第二设备处理第一数据流的第三时间;其中,第一数据为排序倒数第二的第二设备的数据;

控制排序倒数第二的第二设备处理第二数据,并获取排序倒数第二的第二设备处理第一数据流的第四时间;其中,第二数据为排序倒数第一的第二设备的数据;第一数据和第二数据均包括第一数据流;

确定第三时间和第四时间中最小的时间对应的第二设备为目标设备。

需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照图1-4对应的实施例提供的数据流处理方法中的实现过程,此处不再赘述。

本发明实施例所提供的服务器,能够获取数据集群中每个设备的配置信息;获取待处理的第一数据流的属性信息;基于每个设备的配置信息和第一数据流的属性信息,从数据集群的设备中确定目标设备;控制目标设备对第一数据流进行处理,也就是说,本发明中基于获取到的数据集群中每个设备的配置信息以及待处理的第一数据流的属性信息,自动的从数据集群中确定对待处理的第一数据流进行下一步处理的目标设备,同时服务器为目标设备重新设置合理的数据流缓存配置,有效的解决了相对技术中的人工进行数据处理,从而导致无法合理的分配数据流,进而造成数据处理效率低的问题,提高了数据流的处理效率,且确保了能够合理的分配数据流。

基于前述实施例,本发明的实施例提供一种计算机存储介质,计算机存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现以下步骤:

获取数据集群中每个设备的配置信息;

获取待处理的第一数据流的属性信息;

基于每个设备的配置信息和第一数据流的属性信息,从数据集群的设备中确定目标设备;

控制目标设备对第一数据流进行处理。

在本发明的其他实施例中,该一个或者多个程序可被一个或者多个处理器执行获取待处理的第一数据流的属性信息,以实现以下步骤:

获取待处理数据的第一数据流的数据类型信息;

相应的,基于每个设备的配置信息和第一数据流的属性信息,从数据集群的设备中确定目标设备,包括:

基于第一数据流的类型信息和每个设备的配置信息,从数据集群的设备中确定目标设备。

在本发明的其他实施例中,该一个或者多个程序可被一个或者多个处理器执行获取数据集群中每个设备的配置信息,以实现以下步骤:

获取数据集群中每个设备的应用软件信息;其中,配置信息包括应用软件信息;

相应的,基于第一数据流的类型信息和每个设备的配置信息,从数据集群的设备中确定目标设备,包括:

基于第一数据流的类型信息和应用软件信息,从数据集群的设备中确定目标设备。

在本发明的其他实施例中,该一个或者多个程序可被一个或者多个处理器执行基于第一数据流的类型信息和应用软件信息,从数据集群的设备中确定目标设备,以实现以下步骤:

获取数据集群中每个设备的属性参数;

基于第一数据流的类型信息、应用软件信息以及每个设备的属性参数,从数据集群的设备中确定目标设备。

在本发明的其他实施例中,该一个或者多个程序可被一个或者多个处理器执行基于第一数据流的类型信息、应用软件信息以及每个设备的属性参数,从数据集群的设备中确定目标设备,以实现以下步骤:

基于每个设备的属性参数,从数据集群中确定设备的属性参数满足预设参数的第一设备;

基于第一数据流的类型信息和应用软件信息,从第一设备中确定目标设备。

在本发明的其他实施例中,该一个或者多个程序可被一个或者多个处理器执行基于第一数据流的类型信息、应用软件信息以及每个设备的属性参数,从数据集群的设备中确定目标设备,以实现以下步骤:

基于第一数据流的类型信息、应用软件信息以及每个设备的属性参数,从数据集群的设备中确定第二设备;

获取每一第二设备处理第一数据流的第一时间;其中,第一时间包括第一数据流产生时间、每一第二设备读写第一数据流的时间、第一数据流暂存到每一第二设备磁盘的时间以及第一数据流网络传输的时间;

基于第一时间计算第二时间;

基于第二时间,从第二设备中确定目标设备。

在本发明的其他实施例中,该一个或者多个程序可被一个或者多个处理器执行基于第一时间计算第二时间,以实现以下步骤:

若第一时间满足预设时间阈值,对每一第二设备对应的第一时间求和,得到多个第三时间;

按照从小到大的顺序对多个第三时间进行排序,并从排序后的第三时间中确定最短的时间为第二时间。

在本发明的其他实施例中,该一个或者多个程序可被一个或者多个处理器执行基于第二时间,从第二设备中确定目标设备,以实现以下步骤:

控制排序倒数第一的第二设备处理第一数据,并获取排序倒数第一的第二设备处理第一数据流的第三时间;其中,第一数据为排序倒数第二的第二设备的数据;

控制排序倒数第二的第二设备处理第二数据,并获取排序倒数第二的第二设备处理第一数据流的第四时间;其中,第二数据为排序倒数第一的第二设备的数据;第一数据和第二数据均包括第一数据流;

确定第三时间和第四时间中最小的时间对应的第二设备为目标设备。

需要说明的是,上述计算机可读存储介质可以是只读存储器(readonlymemory,rom)、可编程只读存储器(programmableread-onlymemory,prom)、可擦除可编程只读存储器(erasableprogrammableread-onlymemory,eprom)、电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory,eeprom)、磁性随机存取存储器(ferromagneticrandomaccessmemory,fram)、快闪存储器(flashmemory)、磁表面存储器、光盘、或只读光盘(compactdiscread-onlymemory,cd-rom)等存储器;也可以是包括上述存储器之一或任意组合的各种电子设备,如移动电话、计算机、平板设备、个人数字助理等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所描述的方法。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据文件处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据文件处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据文件处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据文件处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1