数据采集系统的节点调度方法、装置、服务器和存储介质与流程

文档序号:32401974发布日期:2022-12-02 19:18阅读:141来源:国知局
数据采集系统的节点调度方法、装置、服务器和存储介质与流程

1.本技术实施例涉及数据处理技术领域,尤其涉及一种数据采集系统的节点调度方法、装置、服务器和存储介质。


背景技术:

2.随着互联网技术的发展和大数据时代的到来,在生产过程中,每时每刻都有大量的数据产生,有些需要分析,有些需要存储,这就对数据采集系统的效率和稳定性提出了更高的要求。
3.因此,如何提高数据采集系统的效率和稳定性成为现有技术中亟需解决的技术问题。


技术实现要素:

4.本技术实施例提供一种数据采集系统的节点调度方法、装置、服务器和存储介质,提高了数据采集系统的效率和稳定性。
5.第一方面,本技术实施例提供一种数据采集系统的节点调度方法,应用于数据采集系统中的节点调度服务器,所述节点调度服务器中存储有预先设置的令牌,所述数据采集系统中还包括多个节点,所述方法包括:当所述数据采集系统出现异常时,接收至少两个竞选节点发送的令牌争抢请求,所述多个节点中包括所述竞选节点;根据所述至少两个竞选节点的令牌争抢请求的接收时间,从所述至少两个竞选节点中确定出主节点和从节点,所述主节点用于进行数据采集任务的分发,所述从节点用于执行数据采集任务;生成所述主节点的特征识别码,并将所述特征识别码与所述令牌关联存储;向所述主节点发送令牌抢占成功响应,向所述从节点发送令牌抢占失败响应。
6.第二方面,本技术实施例提供一种数据采集系统的节点调度装置,集成于数据采集系统中的节点调度服务器,所述节点调度服务器中存储有预先设置的令牌,所述数据采集系统中还包括多个节点,所述装置包括:通信模块,用于当所述数据采集系统出现异常时,接收至少两个竞选节点发送的令牌争抢请求,所述多个节点中包括所述竞选节点;处理模块,用于根据所述至少两个竞选节点的令牌争抢请求的接收时间,从所述至少两个竞选节点中确定出主节点和从节点,所述主节点用于进行数据采集任务的分发,所述从节点用于执行数据采集任务;生成所述主节点的特征识别码,并将所述特征识别码与所述令牌关联存储;所述通信模块,还用于向所述主节点发送令牌抢占成功响应,向所述从节点发送令牌抢占失败响应。
7.第三方面,本技术实施例提供一种数据采集系统的节点调度服务器,包括存储器、
处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一方面所述的数据采集系统的节点调度方法。
8.第四方面,本技术实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的数据采集系统的节点调度方法。
9.本技术实施例提供的数据采集系统的节点调度方法、装置、服务器和存储介质,当数据采集系统出现异常时,通过节点调度服务器接收至少两个竞选节点发送的令牌争抢请求,根据至少两个竞选节点的令牌争抢请求的接收时间,从至少两个竞选节点中确定出主节点和从节点,生成主节点的特征识别码,并将特征识别码与令牌关联存储,向主节点发送令牌抢占成功响应,向从节点发送令牌抢占失败响应,由主节点进行数据采集任务的分发,由从节点执行数据采集任务,保证了数据采集工作的有序进行,不仅提高了数据采集系统的稳定性和可靠性,还提高了数据采集系统的数据采集效率。
10.应当理解,本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征,也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
11.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
12.图1为本技术实施例提供的一种数据采集系统的结构示意图;图2为本技术实施例一提供的一种数据采集系统的节点调度方法的流程示意图;图3为本技术实施例二提供的一种数据采集方法的原理示意图;图4为本技术实施例二提供的一种数据采集方法的流程示意图;图5为本技术实施例三提供的一种数据采集系统的节点调度装置的结构示意图;图6为本技术实施例四提供的一种数据采集系统的节点调度服务器的结构示意图。
具体实施方式
13.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分的实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本技术保护的范围。
14.需要说明的是,本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
15.目前市面上流行的采集框架有flume、logstash等apache开源框架,以logstash为例,其主要存在以下缺陷:(1)内部没有persist queue,所以在异常情况下会出现数据丢失的问题;(2)不支持分布式,只支持单节点,进程挂掉之后需要手动拉起,无法满足生产上的高可用需求;(3)多个logstash同时运行在一台服务器上,刷取多个数据源的时候,会出现字段值错位的情况,比如,a字段的值,存到b字段上,b字段的值存到c字段。从而导致现有技术中的数据采集系统存在稳定性和可靠性不高的问题。
16.基于现有技术中存在的技术问题,本技术实施例提供一种数据采集系统,数据采集系统中包括多个节点和节点调度服务器,一方面,由于该系统支技术分布式,可以由多个节点同时进行数据采集,极大地提升了数据的采集效率,另一方面,设置节点调度服务器,当数据采集系统出现异常时,由节点调度服务器基于令牌争抢机制实现多个节点的自动选主,保证了数据采集工作的有序进行,不仅提高了数据采集系统的稳定性和可靠性,还进一步提高了数据采集系统的数据采集效率。
17.示例性地,图1为本技术实施例提供的一种数据采集系统的结构示意图,如图1所示,数据采集系统中包括节点调度服务器、数据库和多个节点,图1中以三个节点:节点a、节点b和节点c为例示出。
18.节点调度服务器可以与各节点进行通信和数据交互,主要用于进行逻辑先主,即从节点a、节点b和节点c中确定出主节点和从节点,数据采集系统中的多个节点中每次只有一个节点为主节点,除主节点以外的所有其他节点,均为从节点。例如,若节点a为主节点,则节点b和节点c为从节点,从而使节点a担任领导角色,进行数据采集任务的分发,使节点b和节点c担任工人角色,执行具体的数据采集任务,从而保证各节点工作的有序性。
19.数据库用于存储各节点的公用数据,如状态数据、配置信息等,所有节点都可以访问数据库中的数据或将数据存储到数据库中。
20.需要说明的是,数据采集系统中的多个节点位于同一台服务器上,也可以位于不同的服务器上,此处不做限制。例如,节点a、节点b和节点c可以位于一个服务器上,也可以位于三个不同的服务器上,也可以其中的两个节点(如节点a和节点b)位于一个服务器,另外一个节点(如节点c)位于另一个服务器上。
21.可选地,本技术实施例中的节点调度服务器可以为远程字典服务(remote dictionary server,redis )服务器。
22.可选地,本技术实施例中的数据库可以为hadoop分布式文件系统(hadoop distributed file system,hdfs)。
23.实施例一图2为本技术实施例一提供的一种数据采集系统的节点调度方法的流程示意图,本实施例的方法可以由本技术实施例所提供的数据采集装置执行,该装置可以由软件和/或硬件的方式来实现,并可集成于图1所示的节点调度服务器中。如图2所示,本实施例的数据采集系统的节点调度方法,包括:s201、当数据采集系统出现异常时,接收至少两个节点发送的令牌争抢请求。
24.本实施例中,通过预先设定一个token(即令牌),并由节点调度服务器对token进行保存,并在数据采集系统初始化过程中或在数据采集系统出现异常时,基于令牌争抢机
制,确定出系统的多个节点中哪个节点以主节点的身份工作,哪些节点以从节点的身份工作,从而保证数据采集系统的稳定性和高可用性,使数据采集能够有序进行,提高数据采集的效率。
25.本实施例中,令牌争抢机制的核心是,获取到token的节点则为新的主节点,并且保证在任意的一个时刻都只能有一个节点持有token,其他的未获取到token的节点则不断的监听主节点的最新状态,随时准备争抢token,循环此过程,从而保证数据采集系统的稳定性和高可用性。
26.本实施例中,将数据采集系统出现异常作为多个节点争抢token时机,当数据采集系统出现异常时,节点调度服务器接收至少两个竞选节点发送的令牌争抢请求。
27.其中,竞选节点是指向节点调度服务器的节点,竞选节点中可以只包括从节点,也可以既包括主节点,也包括从节点,即竞选节点的数量小于或等于系统中节点的数量。
28.可以理解的是,当数据采集系统为正常状态(没有出现异常)时,所有节点(包括主节点和从节点)均能有序工作,因此,无需进行逻辑选主,当数据采集系统出现异常时,如当某个服务器断电,由于不知道异常是由哪个节点或服务器引起的,因此,为保证数据采集系统的正常工作,需要进行逻辑选主。
29.本实施例中,可以根据数据采集系统的状态为主节点赋予不同的状态值,例如,当数据采集系统为正常状态时,设置主节点的状态值为0,当数据采集系统为异常状态时,设置主节点的状态值为1,相应地,各主节点和从节点通过监听主节点的状态值是0,还是1,确定是否要向节点调度服务器发送令牌争抢请求。
30.以图1所示的系统为例,假设初始化过程中,确定的主节点为节点a,从节点为节点b和节点c,当根据节点a的状态值确定数据采集系统出现异常时,在一些情况下,节点a、节点b和节点c均向节点调度服务器发送了令牌争抢请求,则节点a、节点b和节点c均为竞选节点;在另一些情况下,仅节点b和节点c均向节点调度服务器发送了令牌争抢请求,则节点b和节点c作为竞选节点;在另一些情况下,仅节点a和节点c均向节点调度服务器发送了令牌争抢请求,则节点a和节点c作为竞选节点。
31.s202、根据至少两个竞选节点的令牌争抢请求的接收时间,从至少两个竞选节点中确定出主节点和从节点。
32.本步骤中,根据s201中接收到令牌争抢请求,从系统的多个节点中重新确定出主节点和从节点,并由重新确定出主节点进行数据采集任务的分发,由重新确定出的从节点执行数据采集任务,以保证数据采集工作的有序进行。
33.本实施例中,节点调度服务器基于时间优先原则,根据至少两个竞选节点的令牌争抢请求的接收时间,确定主节点和从节点,进而,生成主节点的特征识别码,并将特征识别码与所述令牌关联存储,并向所述主节点发送令牌抢占成功响应,向所述从节点发送令牌抢占失败响应,从而实现token的分配。
34.在一种可能的实施方式中,根据各竞选节点对应的令牌争抢请求接收时间的先后顺序,生成令牌争抢请求队列;将排在令牌争抢请求队列首位的令牌争抢请求对应的竞选节点,确定为主节点,将除主节点之外的其他竞选节点,确定为从节点。
35.以图1为例,假设竞选节点为节点a、节点b和节点c,并假设令牌争抢请求队列为:节点a—》节点c—》节点b;可知,节点a为最先发送令牌争抢请求的竞选节点,因此,确定节
点a为主节点,确定节点c和节点b为从节点。
36.需要说明的是,若在令牌争抢请求队列中,某几个节点为并列第一,则可以根据附加条件,如节点当前的任务量多少、节点所在服务器的内存等进一步进行主节点的确定。
37.s203、生成主节点的特征识别码,并将特征识别码与令牌关联存储。
38.本实施例中,为主节点生成特征识别码目的是保证主节点的唯一性,进而通过将主节点的特征识别码与令牌关联存储,就可以使得令牌在每时每刻只有一个节点持有令牌,即只有主节点可以进行任务的分发。
39.以redis服务器为例,通过将token作为key,将主节点的特征识别码作为key对应的value,从而实现主节点的特征识别码与令牌关联存储。
40.在一种可能的实施方式中,令牌争抢请求中包括各节点的服务器地址和进程识别码,相应地,在确定出主节点后,通过主节点的令牌争抢请求中提取主节点的服务器地址和进程识别码,进而根据主节点的服务器地址和进程识别码,通过预设算法,生成主节点的特征识别码。
41.其中,服务器地址,是指发送令牌争抢请求的节点所在的服务器地址,用于唯一确定一个服务器,如可以是服务器的ip地址。
42.进程识别码,是指发送令牌争抢请求的节点对应的进程的识别码,用于唯一确定一个进程。
43.本实施方式中,通过采用某种特定的主节点的算法将服务器地址和进程识别码进行组合,得到主节点的特征识别码。
44.可选地,预设算法可以为hostname+pid+add,其中,hostname表示主节点的服务器地址,pid表示主节点的进程识别码,add表示附加值。
45.可选地,add可以通过计算md5(pid),如可以通过取md5(pid)的前五位,得到add值。
46.s204、向主节点发送令牌抢占成功响应,向从节点发送令牌抢占失败响应。
47.本步骤中,在s202之后,向s202中确定的主节点和从节点分别发送令牌抢占成功响应和令牌抢占失败响应。
48.以图1为例,假设s202中确定的主节点为节点a,从节点为节点b和节点c,则本步骤中,向节点a令牌抢占成功响应,向节点b和节点发送令牌抢占失败响应。
49.在一种可能的实施方式中,令牌抢占成功响应中包括true字符,令牌抢占失败响应中包括false字符。
50.可选地,本实施例中的令牌具有过期时间,当令牌过期时,数据采集系统中的节点向节点调度服务器发送令牌争抢请求,重新进行令牌的争抢。
51.其中,过期时间可以根据数据采集任务可以容忍的程度来确定。
52.在一种可能的实施方式中,当数据采集系统出现异常且当令牌过期时,数据采集系统中的节点向节点调度服务器发送的令牌争抢请求。
53.由于在令牌过期后,系统才重新进行逻辑选主,因此,为避免过期时间过长有可能导致集群在长时间处于不可用的状态,令牌的过期时间不宜设置得过长。可选地,过期时间为30s。
54.本实施例中,主节点在接收到令牌抢占成功响应,可以周期性地对过期时间进行
更新,如在每次令牌的过期时间快到时,对令牌的过期时间进行刷新,即将有效期延长一个过期时间。示例性地,若过期时间为30s,从主节点拿到令牌(接收到令牌抢占成功响应)的时刻开始计时,并记录当前的时间为0,当时间到达30s,对过期时间刷新一次,当时间到达60s,对过期时间再次刷新,
……
,从而保证只要数据采集系统不出现异常,主节点可以一直持有token,即不重新进行逻辑选主。
55.需要说明的是,在初始化过程中,可以基于令牌争抢机制,采用s201-s204中确定主节点和从节点,也可以通过指定的方式确定主节点和从节点,此处不做限制。
56.本实施例中,通过当数据采集系统出现异常时,接收至少两个竞选节点发送的令牌争抢请求,根据至少两个竞选节点的令牌争抢请求的接收时间,从至少两个竞选节点中确定出主节点和从节点,生成主节点的特征识别码,并将特征识别码与令牌关联存储,向主节点发送令牌抢占成功响应,向从节点发送令牌抢占失败响应,由主节点进行数据采集任务的分发,由从节点执行数据采集任务,保证了数据采集工作的有序进行,不仅提高了数据采集系统的稳定性和可靠性,还提高了数据采集系统的数据采集效率。
57.实施例二下面将一个具体的实施例中,对本技术提供的数据采集系统的数据采集过程加以介绍。以离线数据采集为例, 示例性地,图3为本技术实施例二提供的一种数据采集方法的原理示意图,图3中以数据采集系统中包括两个节点(excutor)和redis作为节点调度服务器为例示出,如图3所示,本实施例中,可以设置多个不同的任务,以通过不同的任务实现不同的数据处理逻辑。示例性地,设置任务1、任务2、任务3和任务4,具体地:(1)任务1进行逻辑选主(确定主节点和从节点)、加载配置信息到redis服务器和生成新的任务分配策略(如基于加权的轮询算法,确定目标从节点);(2)任务2定时发送心跳到redis服务器;(3)任务3定时获取最新的任务分配策略;(4)任务4执行具体数据的采集作业,包括拉取数据、缓存(加入host)、压缩(如lzo压缩)和传输(如将数据放到hdfs集群中)。
58.示例性地,假如图3中两个节点对应的进程分别为p1和p2,初始化的时候,p1和p2通过向redis服务器发送set请求,从而争抢在redis服务器里执行set指令,从而把value和key进行关联,key也就是token,value就是每个节点的特征识别码,set请求被依次的放入到redis里,形成一个队列,先进先出,所以先被接受的请求将会被返回令牌抢占成功响应,而后面的请求则会直接返回令牌抢占失败响应。当某个进程如p1获取到对应的token之后,会不断的刷新token的过期时间,从而保证token是一直有效的,当持有token的进程如p1挂掉之后,维护token的任务也就随之消失,key消失之后就可以通过 set key value nx重复之前的token的获取过程。
59.示例性地,图4为本技术实施例二提供的一种数据采集方法的流程示意图,本实施例中数据采集方法由主节点和目标从节点共同完成,如图4所示,本实施例中,数据采集方法包括:s401、接收客户端发送的数据采集请求。
60.当用户具有数据采集需求时,用户通过客户端向主节点发送数据采集请求,相应地,主节点接收客户端发送的数据采集请求。
61.其中,数据采集请求中包括数据采集地址,数据采集地址用于指示待采集数据的来源,如存储数据的服务器地址或数据库的地址等。
62.s402、根据数据采集地址,生成目标数据采集任务。
63.本步骤中,主节点根据s401中接收到的数据采集请求,生成目标数据采集任务,目标数据采集任务中包括数据采集地址。其中,目标数据采集任务可以为一个,也可以为多个,当待采集的数据量较大时,也可以生成多个数据采集任务,并分发给不同的从节点执行,从而加快数据采集效率。
64.s403、确定执行目标数据采集任务的目标从节点。
65.本步骤中,主节点根据预设策略,确定执行目标数据采集任务的一个或多个目标从节点。
66.在一种可能的实施方式中,主节点基于加权的轮询算法,确定执行目标数据采集任务的目标从节点。
67.在另一种可能的实施方式中,主节点根据各从节点当前的忙闲状态、各从节点所在服务器的配置等,确定执行目标数据采集任务的目标从节点。
68.其中,目标从节点可以是任意从节点,主节点确定目标从节点所需要的数据,如各从节点忙闲状态、各从节点所在服务器的配置等可以从数据库中获取。
69.s404、向目标从节点发送目标数据采集任务。
70.本步骤中,主节点向s403中确定的目标从节点发送目标数据采集任务,完成数据采集任务的分发。
71.s405、根据目标数据采集任务进行数据采集,得到目标数据。
72.本步骤中,目标从节点根据接收到的数据采集任务,进行数据采集,得到目标数据。
73.s406、对目标数据进行压缩,并将压缩后的目标数据存储到数据库中。
74.本步骤中,为便于目标数据的传输,减少数据传输量,目标从节点先对s305中获取到的目标数据进行压缩,再将压缩后的目标数据存储到数据库。
75.本步骤中,存储目标数据的数据库与可以与s303提到的数据库相同,也可以不同。
76.可选地,如图3所示,提高目标数据的安全性和降低目标数据的维护成本,为实施例中,采用hdfs对压缩后的目标数据进行存储。
77.如图3所示,本实施例中还可以设置告警机制,在目标从节点执行数据采集的过程中,当出现问题时,自动向开发人员进行告警,例如,当数据拉取失败时,向开发人员发送拉取失败告警,当数据传输失败时,向开发人员发送上传失败告警等,从而使开发人员及时介入,以排除故障和解决问题,从而保证系统的高可用性和效率。
78.本实施例提供的数据采集系统,不仅可以进行分布式部署和数据采集,并且,通过节点调度服务器自动逻辑选主,避免单点故障的发生,保证了数据采集工作的有序进行,极大地提高了数据采集效率和稳定性。
79.实施例三图5为本技术实施例三提供的一种数据采集系统的节点调度装置的结构示意图,该装置可以由软件和/或硬件的方式来实现,并可集成于图1所示的节点调度服务器中。如图5所示,本实施例中节点调度装置10包括:
通信模块11和处理模块12。
80.通信模块11,用于当数据采集系统出现异常时,接收至少两个竞选节点发送的令牌争抢请求,多个节点中包括竞选节点;处理模块12,用于根据至少两个竞选节点的令牌争抢请求的接收时间,从至少两个竞选节点中确定出主节点和从节点,主节点用于进行数据采集任务的分发,从节点用于执行数据采集任务;生成主节点的特征识别码,并将特征识别码与令牌关联存储;通信模块11,还用于向主节点发送令牌抢占成功响应,向从节点发送令牌抢占失败响应。
81.可选地,令牌争抢请求中包括各节点的服务器地址和进程识别码;处理模块12具体用于:获取主节点的服务器地址和进程识别码;根据主节点的服务器地址和进程识别码,通过预设算法,生成主节点的特征识别码。
82.可选地,处理模块12具体用于:根据接收时间的先后顺序,生成令牌争抢请求队列;将排在令牌争抢请求队列首位的令牌争抢请求对应的竞选节点,确定为主节点,将除主节点之外的其他竞选节点,确定为从节点。
83.可选地,令牌具有过期时间,主节点还用于周期性地对过期时间进行更新。
84.可选地,当令牌过期时,接收至少两个竞选节点发送的令牌争抢请求。
85.可选地,主节点具体用于:接收客户端发送的数据采集请求,数据采集请求中包括数据采集地址;根据数据采集地址,生成目标数据采集任务;确定执行目标数据采集任务的目标从节点;向目标从节点发送目标数据采集任务。
86.可选地,目标从节点具体用于:根据目标数据采集任务进行数据采集,得到目标数据;对目标数据进行压缩,并将压缩后的目标数据存储到数据库中。
87.本实施例所提供的数据采集系统的节点调度装置可执行上述方法实施例所提供的数据采集系统的节点调度方法,具备执行方法相应的功能模块和有益效果。本实施例的实现原理和技术效果与上述方法实施例类似,此处不再一一赘述。
88.实施例四图6为本技术实施例四提供的一种数据采集系统的节点调度服务器的结构示意图,如图6所示,该节点调度服务器20包括存储器21、处理器22及存储在存储器上并可在处理器上运行的计算机程序;节点调度服务器20中处理器22的数量可以是一个或多个,图6中以一个处理器22为例;节点调度服务器20中的处理器22、存储器21可以通过总线或其他方式连接,图6中以通过总线连接为例。
89.存储器21作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本技术实施例中的通信模块11和处理模块12对应的程序指令/模块。处理器22通过运行存储在存储器21中的软件程序、指令以及模块,从而执行节点调度服务器的各
种功能应用以及数据处理,即实现上述的数据采集系统的节点调度方法。
90.存储器21可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少两个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器21可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少两个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器21可进一步包括相对于处理器22远程设置的存储器,这些远程存储器可以通过网格连接至节点调度服务器。上述网格的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
91.实施例五本技术实施例五还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在由计算机处理器执行时用于执行一种数据采集系统的节点调度方法,该方法包括:当数据采集系统出现异常时,接收至少两个竞选节点发送的令牌争抢请求,多个节点中包括竞选节点;根据至少两个竞选节点的令牌争抢请求的接收时间,从至少两个竞选节点中确定出主节点和从节点,主节点用于进行数据采集任务的分发,从节点用于执行数据采集任务;生成主节点的特征识别码,并将特征识别码与令牌关联存储;向主节点发送令牌抢占成功响应,向从节点发送令牌抢占失败响应。
92.当然,本技术实施例所提供的一种包计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本技术任意实施例所提供的数据采集系统的节点调度方法中的相关操作。
93.通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本技术可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网格设备等)执行本技术各个实施例所述的方法。
94.值得注意的是,上述数据采集系统的节点调度装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本技术的保护范围。
95.注意,上述仅为本技术的较佳实施例及所运用技术原理。本领域技术人员会理解,本技术不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本技术的保护范围。因此,虽然通过以上实施例对本技术进行了较为详细的说明,但是本技术不仅仅限于以上实施例,在不脱离本技术构思的情况下,还可以包括更多其他等效实施例,而本技术的范围由所附的权利要求范围决定。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1