一种数据传输方法及系统与流程

文档序号:15567932发布日期:2018-09-29 03:47阅读:162来源:国知局

本申请涉及数据处理技术领域,特别涉及一种数据传输方法及系统。



背景技术:

随着互联网技术的发展,网络中需要的数据传输量也越来越多,传统的数据传输的方式已不能满足实际需求。为了满足长时间大数量的数据传输的需求,分布式数据处理系统应运而生。

分布式处理系统,为将不同地点、具有不同功能或拥有不同数据的多台计算机通过通信网络连接起来,在控制系统的统一管理控制下,协调地完成大规模信息处理任务的计算机系统。目前,分布式处理系统广泛地应用于物联网、云处理、网络监控等领域。

现有技术中,分布式处理系统存在以下缺点:只能机械地将需要传输的数据分配至各个传输节点,无法根据传输节点的执行情况动态调整数据传输的路径。例如在某个节点负载过大的情形下,如果还是继续将数据通过该节点传输,则会导致网路拥堵,进而影响整体数据流的传输效率。



技术实现要素:

有鉴于此,本申请实施例提供了一种数据传输方法及系统,以解决现有技术中存在的技术缺陷。

本申请实施例公开了一种数据传输方法,应用于数据传输系统,所述数据传输系统包括管理节点、数据归集节点以及m层传输节点;

位于第m层的传输节点均与数据归集节点通过数据通道相连接;

位于第n层的每个传输节点分别与位于第n+1层的两个传输节点通过数据通道相连接,并将所述位于第n+1层的两个传输节点中的一个作为所述位于第n层的传输节点的主传输节点,另一个作为所述位于第n层的传输节点的备传输节点;其中,m≥2,1≤n≤m-1,且n、m为正整数;

所述管理节点与位于第1层的传输节点连接,以接收所有传输节点的状态信息;

所述方法包括:

所述管理节点获取所有传输节点的状态信息,并判断传输节点是否满足第一切换条件、第二切换条件或第三切换条件或;

在所述传输节点满足第一切换条件的情况下,所述管理节点控制所述传输节点将接收到的数据经由所述传输节点的主传输节点传输;

在所述传输节点满足第二切换条件的情况下,所述管理节点控制所述传输节点将接收到的数据分别经由所述传输节点的主传输节点和备传输节点传输;

在所述传输节点满足第三切换条件的情况下,所述管理节点控制所述传输节点将接收到的数据经由所述传输节点的备传输节点传输。

在本申请的一种示意性的实施方案中,所述状态信息包括:

传输节点的cpu负载、网络带宽占用率和/或内存使用量。

在本申请的一种示意性的实施方案中,所述第一切换条件包括:

所述传输节点的cpu负载小于等于50%;

所述传输节点的网络带宽占用率小于等于50%;和/或

所述传输节点的内存使用量小于等于50%;

所述第二切换条件包括:

所述传输节点的cpu负载大于等于80%;

所述传输节点的网络带宽占用率大于等于80%;和/或

所述传输节点的内存使用量大于等于80%;

所述第三切换条件包括:

所述传输节点的主传输节点的cpu负载大于等于95%;

所述传输节点的主传输节点的网络带宽占用率大于等于95%;

所述传输节点的主传输节点的内存使用量大于等于95%;和/或

所述传输节点的主传输节点失效。

在本申请的一种示意性的实施方案中,位于第n层的传输节点与位于第n+1层的传输节点之间的数据通道包括信息数据通道,所述管理节点与位于第1层的传输节点通过信息数据通道连接;

所述管理节点获取所有传输节点的状态信息,并判断传输节点是否满足第一切换条件、第二切换条件或第三切换条件,包括:

所述管理节点经由所述信息数据通道发送询问信息至各个传输节点,并接收各个传输节点的响应信息,其中,所述响应信息包括各个传输节点的状态信息;

所述管理节点解析所述响应信息,得到各个传输节点的状态信息;

所述管理节点将各个传输节点的状态信息与预存的各个传输节点的属性信息进行对比,以判断传输节点是否满足第一切换条件、第二切换条件或第三切换条件。

在本申请的一种示意性的实施方案中,位于第n层的传输节点与位于第n+1层的传输节点之间的数据通道包括处理数据通道;

所述管理节点控制所述传输节点将接收到的数据分别经由所述传输节点的主传输节点和备传输节点传输,包括:

所述管理节点在确定所述传输节点满足第二切换条件的情况下,根据所述主传输节点和所述备传输节点的状态信息,分配所述传输节点传输至所述主传输节点和所述备传输节点的数据量,并生成第一控制信息经由信息数据通道传输至所述传输节点;

所述传输节点根据所述第一控制信息开启所述传输节点与所述备传输节点之间的处理数据通道;

所述传输节点将接收到的数据分别经由所述传输节点的主传输节点和备传输节点的处理数据通道传输。

在本申请的一种示意性的实施方案中,所述管理节点控制所述传输节点将接收到的数据经由所述传输节点的备传输节点传输,包括:

所述管理节点在确定所述传输节点满足第三切换条件的情况下,所述管理节点生成第二控制信息,并将所述第二控制信息经由信息数据通道传输至所述传输节点;

所述传输节点根据所述第二控制信息开启所述传输节点与所述备传输节点之间的处理数据通道、关闭所述传输节点与所述主传输节点之间的处理数据通道;

所述传输节点将接收到的数据经由所述传输节点的备传输节点的处理数据通道传输。

在本申请的一种示意性的实施方案中,所述管理节点接收各个传输节点的响应信息,包括:

位于第n+1层的传输节点将所述响应信息择一信息数据通道发送至第n层的传输节点;

位于第1层的传输节点分别将所述响应信息经由与所述管理节点连接的信息数据通道发送至所述管理节点。

在本申请的一种示意性的实施方案中,所述管理节点在时间阈值内未收到所述传输节点的响应信息,则确定所述传输节点失效。

本申请实施例公开了一种数据传输系统,包括管理节点、数据归集节点以及m层传输节点;

位于第m层的传输节点均与数据归集节点通过数据通道相连接;

位于第n层的每个传输节点分别与位于第n+1层的两个传输节点通过数据通道相连接,并将所述位于第n+1层的两个传输节点中的一个作为所述位于第n层的传输节点的主传输节点,另一个作为所述位于第n层的传输节点的备传输节点;其中,m≥2,1≤n≤m-1,且n、m为正整数;

所述管理节点与位于第1层的传输节点连接,以接收所有传输节点的状态信息;

所述管理节点包括:

状态信息获取单元,用于获取所有传输节点的状态信息,并判断传输节点是否满足第一切换条件、第二切换条件或第三切换条件;

第一控制单元,用于在所述传输节点满足第一切换条件的情况下,控制所述传输节点将接收到的数据经由所述传输节点的主传输节点传输;

第二控制单元,用于在所述传输节点满足第二切换条件的情况下,控制所述传输节点将接收到的数据分别经由所述传输节点的主传输节点和备传输节点传输;

第三控制单元,用于在所述传输节点满足第三切换条件的情况下,控制所述传输节点将接收到的数据经由所述传输节点的备传输节点传输。

在本申请的一种示意性的实施方案中,位于第n层的传输节点与位于第n+1层的传输节点之间的数据通道包括信息数据通道,所述管理节点与位于第1层的传输节点通过信息数据通道连接;

所述状态信息获取单元包括:

询问信息发送模块,用于经由所述信息数据通道发送询问信息至各个传输节点,并接收各个传输节点的响应信息,其中,所述响应信息包括各个传输节点的状态信息;

解析模块,用于解析所述响应信息,得到各个传输节点的状态信息;

对比模块,用于将各个传输节点的状态信息与预存的各个传输节点的属性信息进行对比,以判断传输节点是否满足第一切换条件、第二切换条件或第三切换条件。

本申请提供的数据传输方法及系统,通过为传输节点设置主传输节点以及备传输节点,并使管理节点获取所有传输节点的状态信息,判断传输节点是否满足第一切换条件、第二切换条件或第三切换条件,并在满足其中一个切换条件的情况下进行对应的处理,从而实现各个传输节点的负载均衡,提高整体数据的传输效率。

附图说明

图1是本申请实施例的一种数据传输系统的流程示意图;

图2是本申请实施例的一种数据传输方法的流程示意图;。

图3是本申请实施例的一种数据传输方法的流程示意图;

图4是本申请实施例的一种数据传输方法的流程示意图;

图5是本申请实施例的一种数据传输方法的流程示意图;

图6是本申请实施例的管理节点的结构示意图;

图7是本申请实施例的管理节点的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。

在本申请中,提供了一种数据传输方法及系统,在下面的实施例中逐一进行详细说明。

首先,对本实施例涉及的数据传输系统进行详细的说明。本实施例涉及的数据传输系统包括:管理节点、数据归集节点以及m层传输节点;

位于第m层的传输节点均与数据归集节点通过数据通道相连接;

位于第n层的每个传输节点分别与位于第n+1层的两个传输节点通过数据通道相连接,并将所述位于第n+1层的两个传输节点中的一个作为所述位于第n层的传输节点的主传输节点,另一个作为所述位于第n层的传输节点的备传输节点;其中,m≥2,1≤n≤m-1,且n、m为正整数;

所述管理节点与位于第1层的传输节点连接,以接收所有传输节点的状态信息。

此处需要注意的是,管理节点与位于第1层的传输节点连接,并非只接收第1层的传输节点的状态信息,而是可以接收所有传输节点的状态信息。为了实现此目的,设置两层之间的传输节点之间的数据通道包括信息数据通道,从而实现两层之间的传输节点之间的状态信息的传递。

具体地,位于第n层的传输节点与位于第n+1层的传输节点之间的数据通道包括信息数据通道和处理数据通道,管理节点与位于第1层的传输节点通过信息数据通道连接。

参见图1,图1中的传输节点分为3层,包括:位于第1层的传输节点11~16,位于第2层的传输节点21~24,位于第3层的传输节点31~33。

传输节点11~16中的任意一个分别与传输节点21~24的两个通过数据通道连接,并将传输节点21~24的两个中的其中一个作为主传输节点,另一个节点作为备传输节点。例如传输节点11分别与传输节点21和23连接,并将传输节点21作为传输节点11的主传输节点,将传输节点23作为传输节点11的备传输节点。

位于第3层的传输节点31~33均与数据归集节点41通过数据通道相连接。

管理节点51分别与位于第1层的传输节点11~16连接,以接收所有传输节点的状态信息。

在具体使用时,为了使每层的传输节点的负载均衡,需要尽量避免集中地将同一层的传输节点的主传输节点或备传输节点设置为某一个或多个,而是根据上一层的各个传输节点的负载能力,均衡地设置本层的传输节点的主传输节点或备传输节点。以图1为例,设置传输节点21为传输节点11和12的主传输节点以及传输节点14的备传输节点,设置传输节点22为传输节点15的主传输节点以及传输节点13和16的备传输节点,设置传输节点23为传输节点14的主传输节点以及传输节点11和12的备传输节点,设置传输节点24为传输节点13和16的主传输节点以及传输节点15的备传输节点。这样,在传输节点21~24满足第一切换条件的情况下,传输节点21接收传输节点11和12的数据,传输节点22接收传输节点15的数据,传输节点23接收传输节点14的数据,传输节点24接收传输节点13和16的数据,以实现数据负载的均衡化。

参见图2,本申请一实施例的数据传输方法应用于数据传输系统,所述方法包括步骤202~208:

202、所述管理节点获取所有传输节点的状态信息,并判断传输节点是否满足第一切换条件、第二切换条件或第三切换条件。

具体地,参见图3,步骤202包括:

302、管理节点经由所述信息数据通道发送询问信息至各个传输节点,并接收各个传输节点的响应信息。

其中,所述响应信息包括各个传输节点的状态信息。

详细地,步骤302中管理节点接收各个传输节点的响应信息,包括:

位于第n+1层的传输节点将所述响应信息择一信息数据通道发送至第n层的传输节点;

位于第1层的传输节点分别将所述响应信息经由与所述管理节点连接的信息数据通道发送至所述管理节点。

需要说明的是,位于第n+1层的传输节点在选择信息数据通道时,任意选择一条信息数据通道将响应信息发送至第n层的传输节点,以避免数据的重复发送。

若管理节点在时间阈值内未收到所述传输节点的响应信息,则确定所述传输节点失效。该时间阈值可以人为设定,例如可以设置为10秒。

304、管理节点解析所述响应信息,得到各个传输节点的状态信息。

306、管理节点将各个传输节点的状态信息与预存的各个传输节点的属性信息进行对比,以判断传输节点是否满足第一切换条件、第二切换条件或第三切换条件。

其中,状态信息包括:传输节点的cpu负载、网络带宽占用率和/或内存使用量。

其中,所述第一切换条件包括:

所述传输节点的cpu负载小于等于50%;

所述传输节点的网络带宽占用率小于等于50%;和/或

所述传输节点的内存使用量小于等于50%;

所述第二切换条件包括:

所述传输节点的cpu负载大于等于80%;

所述传输节点的网络带宽占用率大于等于80%;和/或

所述传输节点的内存使用量大于等于80%;

所述第三切换条件包括:

所述传输节点的主传输节点的cpu负载大于等于95%;

所述传输节点的主传输节点的网络带宽占用率大于等于95%;

所述传输节点的主传输节点的内存使用量大于等于95%;和/或

所述传输节点的主传输节点失效。

204、在所述传输节点满足第一切换条件的情况下,所述管理节点控制所述传输节点将接收到的数据经由所述传输节点的主传输节点传输。

在一种具体的实现方式中,所述管理节点在确定传输节点满足第一切换条件的情况下,发送控制信息所述传输节点,关闭所述传输节点与备传输节点的处理数据通道,开启传输节点与主传输节点的处理数据通道,以使传输节点将接收到的数据经由所述传输节点的主传输节点传输。

206、在所述传输节点满足第二切换条件的情况下,所述管理节点控制所述传输节点将接收到的数据分别经由所述传输节点的主传输节点和备传输节点传输。

具体地,参见图4,步骤206包括:

402、管理节点在确定所述传输节点满足第二切换条件的情况下,根据所述主传输节点和所述备传输节点的状态信息,分配所述传输节点传输至所述主传输节点和所述备传输节点的数据量,并生成第一控制信息经由信息数据通道传输至所述传输节点。

需要注意的是,管理节点在分配传输节点传输至主传输节点和备传输节点的数据量时,并非平均分配传输至主传输节点和备传输节点的数据量,而是根据主传输节点和备传输节点的状态信息进行数据的传输,以实现负载的均衡。

404、传输节点根据所述第一控制信息开启所述传输节点与所述备传输节点之间的处理数据通道。

406、传输节点将接收到的数据分别经由所述传输节点的主传输节点和备传输节点的处理数据通道传输。

208、在所述传输节点满足第三切换条件的情况下,所述管理节点控制所述传输节点将接收到的数据经由所述传输节点的备传输节点传输。

具体地,参见图5,步骤208包括:

502、管理节点在确定所述传输节点满足第三切换条件的情况下,所述管理节点生成第二控制信息,并将所述第二控制信息经由信息数据通道传输至所述传输节点。

504、所述传输节点根据所述第二控制信息开启所述传输节点与所述备传输节点之间的处理数据通道、关闭所述传输节点与所述主传输节点之间的处理数据通道;

506、所述传输节点将接收到的数据经由所述传输节点的备传输节点的处理数据通道传输。

本申请提供的数据传输方法,通过为传输节点设置主传输节点以及备传输节点,并使管理节点获取所有传输节点的状态信息,判断传输节点是否满足第一切换条件、第二切换条件或第三切换条件,并在满足其中一个切换条件的情况下进行对应的处理,从而实现各个传输节点的负载均衡,提高整体数据的传输效率。

本申请一实施例还公开了一种数据传输系统,参见图1和图6,包括:管理节点、数据归集节点以及m层传输节点;

位于第m层的传输节点均与数据归集节点通过数据通道相连接;

位于第n层的每个传输节点分别与位于第n+1层的两个传输节点通过数据通道相连接,并将所述位于第n+1层的两个传输节点中的一个作为所述位于第n层的传输节点的主传输节点,另一个作为所述位于第n层的传输节点的备传输节点;其中,m≥2,1≤n≤m-1,且n、m为正整数;

所述管理节点与位于第1层的传输节点连接,以接收所有传输节点的状态信息;

如图6所示,所述管理节点包括:

状态信息获取单元62,用于获取所有传输节点的状态信息,并判断传输节点是否满足第一切换条件、第二切换条件或第三切换条件;

第一控制单元64,用于在所述传输节点满足第一切换条件的情况下,控制所述传输节点将接收到的数据经由所述传输节点的主传输节点传输;

第二控制单元66,用于在所述传输节点满足第二切换条件的情况下,控制所述传输节点将接收到的数据分别经由所述传输节点的主传输节点和备传输节点传输;

第三控制单元68,用于在所述传输节点满足第三切换条件的情况下,控制所述传输节点将接收到的数据经由所述传输节点的备传输节点传输。

可选地,状态信息获取单元62包括:

询问信息发送模块,用于经由所述信息数据通道发送询问信息至各个传输节点,并接收各个传输节点的响应信息,其中,所述响应信息包括各个传输节点的状态信息;

询问信息发送模块接收各个传输节点的响应信息,包括:位于第n+1层的传输节点将所述响应信息择一信息数据通道发送至第n层的传输节点;位于第1层的传输节点分别将所述响应信息经由与所述管理节点连接的信息数据通道发送至询问信息发送模块。

可选地,询问信息发送模块在时间阈值内未收到所述传输节点的响应信息,则确定所述传输节点失效。

解析模块,用于解析所述响应信息,得到各个传输节点的状态信息;

对比模块,用于将各个传输节点的状态信息与预存的各个传输节点的属性信息进行对比,以判断传输节点是否满足第一切换条件、第二切换条件或第三切换条件。

可选地,第二控制单元66包括:

第一控制信息生成模块,用于在确定所述传输节点满足第二切换条件的情况下,根据所述主传输节点和所述备传输节点的状态信息,分配所述传输节点传输至所述主传输节点和所述备传输节点的数据量,并生成第一控制信息经由信息数据通道传输至所述传输节点。所述传输节点根据所述第一控制信息开启所述传输节点与所述备传输节点之间的处理数据通道,然后传输节点将接收到的数据分别经由所述传输节点的主传输节点和备传输节点的处理数据通道传输。

可选地,第三控制单元68包括:

第二控制信息生成模块,用于在确定所述传输节点满足第三切换条件的情况下,所述管理节点生成第二控制信息,并将所述第二控制信息经由信息数据通道传输至所述传输节点。所述传输节点根据所述第二控制信息开启传输节点与备传输节点之间的处理数据通道、关闭传输节点与主传输节点之间的处理数据通道,然后传输节点将接收到的数据经由传输节点的备传输节点的处理数据通道传输。

本申请提供的数据传输系统,通过为传输节点设置主传输节点以及备传输节点,并使管理节点获取所有传输节点的状态信息,判断传输节点是否满足第一切换条件、第二切换条件或第三切换条件,并在满足其中一个切换条件的情况下进行对应的处理,从而实现各个传输节点的负载均衡,提高整体数据的传输效率。

本实施例的数据传输系统可以应用于能源系统监控。以某公司的能源系统为例,通过在全国范围内的各个工业园区布置传输节点,实现了全国范围内的跨区域能源系统监控,为企业能源使用和管理提供一站式服务,动态监测、动态优化,助力企业实现能源使用的高质量,提升能源使用效益。

上述为本实施例的数据传输系统的示意性方案。需要说明的是,该数据传输系统的技术方案与上述的数据传输方法的技术方案属于同一构思,数据传输系统的技术方案未详细描述的细节内容,均可以参见上述数据传输方法的技术方案的描述。

图7是示出了根据本申请一实施例的管理节点700的结构框图。该管理节点700的部件包括但不限于存储器710和处理器720。处理器720与存储器710相连接。

存储器710中存储有计算机指令。所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述存储器710可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述存储器包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。

虽然图7中没有示出,但是应该知道,管理节点700还可以包括网络接口,网络接口使得管理节点700能够经由一个或多个网络通信。这些网络的示例包括局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。网络接口可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。

在本申请的一个实施例中,管理节点700的上述以及图7中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图7所示的管理节点结构框图仅仅是出于示例的目的,而不是对本申请范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。

管理节点700可以是任何类型的静止或移动管理节点,包括移动计算机或移动管理节点(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的管理节点(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止管理节点。管理节点700还可以是移动式或静止式的服务器。

处理器720执行下述步骤:

获取所有传输节点的状态信息,并判断传输节点是否满足第一切换条件、第二切换条件或第三切换条件;

在所述传输节点满足第一切换条件的情况下,所述管理节点控制所述传输节点将接收到的数据经由所述传输节点的主传输节点传输;

在所述传输节点满足第二切换条件的情况下,所述管理节点控制所述传输节点将接收到的数据分别经由所述传输节点的主传输节点和备传输节点传输;

在所述传输节点满足第三切换条件的情况下,所述管理节点控制所述传输节点将接收到的数据经由所述传输节点的备传输节点传输。

需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1