跨网络数据传输系统及负载均衡调度方法

文档序号:10555684阅读:391来源:国知局
跨网络数据传输系统及负载均衡调度方法
【专利摘要】本发明公开了一种跨网络数据传输系统及负载均衡调度方法。其中系统包括分布式处理中心和多个网络节点,网络节点用于根据每个处理节点的负荷信息从多个处理节点中确定处理待处理数据的目标节点,并将待处理数据上传至目标节点;目标节点用于保存网络节点上传的待处理数据,并根据关联关系从多个处理节点中确定与目标节点存在关联关系的关联节点,并将待处理数据备份至关联节点上,并通过目标节点处理待处理数据;关联节点用于保存目标节点发送的待处理数据。该系统通过网络节点实现对处理节点负载均衡的管理,有效提高系统负载能力,同时系统中的目标节点能够自动将数据保存至关联节点保证数据的可靠性,避免目标节点宕机时无法对待处理数据进行处理,提高处理数据的稳定性。
【专利说明】
跨网络数据传输系统及负载均衡调度方法
技术领域
[0001] 本发明涉及计算机技术领域,尤其涉及一种跨网络数据传输系统及负载均衡调度 方法。
【背景技术】
[0002] 随着互联网技术的迅速发展,需要由计算机实现的处理已经变得越来越复杂且大 规模。然而,仅仅作为硬件的性能(计算能力、存储量等)的提高已经达到极限。因此,近来, 已经特别开发出借助网络相互连接的多个计算机以分配方式协作执行处理所采用的分布 式处理的技术(分布式数据库、分布式高速缓存、分布式共享存储器、分布器批处理等)。
[0003] 目前,分布式数据处理系统在接收到网络节点上报的数据后,一般通过两种方式 存储所接收的数据,一种是通过共享存储结构构建的分布式数据处理系统,其中,分布式数 据处理系统处理数据的过程为:将所接收到的数据保存至共享存储设备中,并加入到任务 队列中,然后,系统中的负载均衡设备对系统中的各个节点进行管理,并将任务队列中的任 务调度给对应的节点进行处理。对应的节点根据负载均衡设备分配的任务从共享存储设备 中读取对应的待处理数据进行相关处理。然而,这种分布式数据系统中,所有节点除了要访 问非共享的存储设备外,还需要访问共享存储设备中的数据,且由于负载均衡设备和共享 存储设备的成本较高,并且整个系统的稳定性跟负载均衡设备的稳定性有极大关系,在负 载均衡设备不能运行时,整个数据处理系统无法继续提供服务,并且构建该类型的分布式 数据处理系统所需要成本较高。
[0004] 另一种方式为基于分布式存储结构构建的分布式数据处理系统,其中,分布式数 据处理系统处理数据的过程为:将所接收到的数据分布分散存储在多个数据存储节点上, 并将相关信息添加至任务队列中,然后,系统中的负载均衡设备对系统中的各个节点进行 管理,并将任务队列中的任务调度给对应的节点进行处理,对应的节点从对应的数据存储 节点中读取对应的数据进行处理,然而,由于数据分散地存储在多个数据存储节点上,部署 和维护该类型的数据处理系统所需要成本较高,且任务执行比较随机,共同完成任务的效 果不理想。

【发明内容】

[0005] 本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006] 为此,本发明的第一个目的在于提出一种跨网络数据传输系统。该系统通过网络 节点实现对处理节点负载均衡的管理,有效提高系统负载能力,同时该系统中的目标节点 能够自动将数据保存至与该目标节点存在关联关系的关联节点,并通过目标节点对待处理 数据进行处理,保证了数据的可靠性,避免了目标节点宕机时无法对待处理数据进行处理, 提高处理数据的稳定性。
[0007] 本发明的第二个目的在于提出一种负载均衡调度的方法。
[0008] 为达上述目的,本发明第一方面实施例的跨网络数据传输系统,所述系统包括分 布式处理中心和多个网络节点,其中,所述分布式处理中心,包括多个处理节点,所述多个 处理节点组成闭环拓扑结构,且所述闭环拓扑结构中相邻的处理节点之间存在关联关系; 所述网络节点,用于根据每个处理节点的负荷信息从所述多个处理节点中确定处理待处理 数据的目标节点,并将所述待处理数据上传至所述目标节点;所述目标节点,用于保存所述 网络节点上传的所述待处理数据,并根据所述关联关系从所述多个处理节点中确定与所述 目标节点存在关联关系的关联节点,并将所述待处理数据备份至所述关联节点上,并通过 所述目标节点处理所述待处理数据;所述关联节点,用于保存所述目标节点发送的所述待 处理数据。
[0009] 根据本发明实施例的跨网络数据传输系统,在分布式处理中心设置多个处理节 点,并通过网络节点从分布式处理中心中确定出目标节点,并将待处理数据上传至目标节 点保存,并且在保存待处理数据的同时,目标节点根据分布式处理中心中预先保存的各个 处理节点之间的关联关系从多个处理节点中确定出目标节点的关联节点,并将待处理数据 备份至关联节点中,由此,通过网络节点实现对处理节点负载均衡的管理,有效提高系统负 载能力,同时该系统中的目标节点能够自动将数据保存至与该目标节点存在关联关系的关 联节点,并通过目标节点对待处理数据进行处理,保证了数据的可靠性,避免了目标节点宕 机时无法对待处理数据进行处理,提高处理数据的稳定性。
[0010] 为达上述目的,本发明第二方面实施例的分布式并行数据处理装置,所述方法包 括:根据每个处理节点的负荷信息从多个处理节点中确定处理待处理数据的目标节点;将 所述待处理数据上传至所述目标节点。
[0011]根据本发明实施例的负载均衡调度的方法,在分布式处理中心设置多个处理节 点,并通过网络节点从分布式处理中心中确定出目标节点,并将待处理数据上传至目标节 点保存,并且在保存待处理数据的同时,目标节点根据分布式处理中心中预先保存的各个 处理节点之间的关联关系从多个处理节点中确定出目标节点的关联节点,并将待处理数据 备份至关联节点中,由此,通过网络节点实现对处理节点负载均衡的管理,有效提高系统负 载能力,同时该系统中的目标节点能够自动将数据保存至与该目标节点存在关联关系的关 联节点,并通过目标节点对待处理数据进行处理,保证了数据的可靠性,避免了目标节点宕 机时无法对待处理数据进行处理,提高处理数据的稳定性。
[0012] 本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变 得明显,或通过本发明的实践了解到。
【附图说明】
[0013] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得 明显和容易理解,其中,
[0014] 图1是根据本发明一个实施例的跨网络数据传输系统的结构框图;
[0015] 图2是本发明一个具体实施例的跨网络数据传输系统的结构框图;
[0016] 图3是各个处理节点进行存活检测的示例图;
[0017] 图4是根据本发明一个实施例的负载均衡调度的方法的流程图;
[0018] 图5是根据本发明一个实施例的应用图1所示的分布式处理中心进行负载均衡调 度的方法的流程图;
[0019] 图6是根据本发明另一个实施例的应用图1所示的分布式处理中心进行负载均衡 调度的方法的流程图。
【具体实施方式】
[0020] 下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
[0021] 下面参考附图描述本发明实施例的跨网络数据传输系统及负载均衡调度方法。
[0022] 图1是根据本发明一个实施例的跨网络数据传输系统的结构框图。
[0023]如图1所示,该系统包括分布式处理中心和多个网络节点,其中,
[0024] 分布式处理中心,包括多个处理节点,多个处理节点组成闭环拓扑结构,且闭环拓 扑结构中相邻的处理节点之间存在关联关系。
[0025] 例如,分布式处理中心包括四个处理节点,分别为处理节点1、2、3和4,该分布式处 理中心中预先保存的这四个处理节点的关联关系为:处理节点1关联处理节点2,处理节点2 关联处理节点3,处理节点3关联处理节点4,处理节点4关联处理节点1。
[0026]网络节点,用于根据每个处理节点的负荷信息从多个处理节点中确定处理待处理 数据的目标节点,并将待处理数据上传至目标节点。
[0027] 其中,负荷信息为各个节点统一约定的信息,可以是功率、带宽、实际负载率等。
[0028] 其中,需要说明的是,该系统中的各个网络节点可以处于不同的网络中。
[0029]其中,需要理解的是,目标节点是分布式处理中心中的一个处理节点。
[0030]其中,分布式处理中心的每个处理节点对自身中的负荷信息进行统计,并将自身 的负荷信息周期性地发送至网络节点中,网络节点获取每个处理节点的负荷信息,并根据 所获得的负荷信息按照负荷由轻到重的选择原则,将负荷最轻的处理节点作为目标节点。
[0031] 例如,分布式处理系统包括四个处理节点,分别为处理节点1、2、3和4,根据所获取 到的处理节点1、2、3、4的负荷信息确定出这四个处理节点中负荷最轻的处理节点,如果根 据负荷由轻到处理节点进行排序后所获得的结果为处理节点3、4、1、2,此时,可将处理节点 3作为目标节点。
[0032] 在本发明的一个实施例中,如果存在多个负荷最轻的处理节点时,网络节点可根 据预设的目标节点选择策略从多个负荷最轻的处理节点中选择出目标节点。
[0033]具体地,在负荷最轻的处理节点有多个时,网络节点可对负荷最轻的处理节点的 原编号进行排序,并根据排序结果为对应的负荷最轻的处理节点分配新编号,并保存负荷 最轻的处理节点的原编号和新编号之间的对应关系。然后,网络节点确定负荷最轻的处理 节点的节点数量,并将网络节点的编号对节点数量进行取余,得到余数,以及根据余数和对 应关系确定处理网络节点的目标节点。
[0034] 例如,网络节点确定出负载最轻的处理节点,分别为处理节点1、3、4,此时,网络节 点可按照编号由小到大的顺序对其进行排序,并根据排序结果对处理节点进行重新编号, 其中,处理节点的原编号与新编号的对应关系为:即新编号?对应处理节点1,①对应处理 节点3;②对应处理节点4。网络节点可确定出负载最轻的处理节点的节点数为3,假设网络 节点自身的编号为5,将5%3得到的余数为2,根据处理节点的原编号与新编号的对应关系, 可以确定出余数2对应的处理节点为处理节点4,此时,处理节点4即为网络节点5上报数据 的目标节点。
[0035]目标节点,用于保存网络节点上传的待处理数据,并根据关联关系从多个处理节 点中确定与目标节点存在关联关系的关联节点,并将待处理数据备份至关联节点上,并通 过目标节点处理待处理数据。
[0036]关联节点,用于保存目标节点发送的待处理数据。
[0037] 具体而言,目标节点在根据关联关系从多个处理节点中确定出与目标节点存在关 联关系的关联节点后,目标节点将待处理数据同步或者异步备份至关联节点上。
[0038] 其中,需要理解的是,将数据从一个节点同步或者异步备份至另一个节点过程可 通过现有的数据同步或者数据异步技术实现,此处不再赘述。
[0039] 例如,分布式数据处理中心中包括三个处理节点,分别为处理节点1、2、3,且保存 的关联关系为处理节点1关联处理节点2,即处理节点1的关联节点为处理节点2,处理节点2 关联处理节点3,即,处理节点2的关联节点为处理节点3。假设当前确定出目标节点为处理 节点2,在目标节点接收到对应网络节点上报的待处理数据后,目标节点根据该关联关系可 确定出关联节点为处理节点3,此时,目标节点可通过数据同步或者异步技术将网络节点上 报的待处理数据备份至处理节点3中。
[0040] 为了提高处理数据的稳定性,在本发明的一个实施例中,在目标节点对待处理数 据进行处理的过程中,与目标节点存在关联关系的关联节点还可以检测目标节点是否宕 机,并在检测到目标节点宕机时,关联节点对目标节点未处理完的待处理数据进行处理。
[0041] 也就是说,在确定出目标节点宕机时,关联节点还用于继续对剩余的待处理数据 进行处理,以保证待处理数据可以正常处理。
[0042]根据本发明实施例的跨网络数据传输系统,在分布式处理中心设置多个处理节 点,并通过网络节点从分布式处理中心中确定出目标节点,并将待处理数据上传至目标节 点保存,并且在保存待处理数据的同时,目标节点根据分布式处理中心中预先保存的各个 处理节点之间的关联关系从多个处理节点中确定出目标节点的关联节点,并将待处理数据 备份至关联节点中,由此,通过网络节点实现对处理节点负载均衡的管理,有效提高系统负 载能力,同时该系统中的目标节点能够自动将数据保存至与该目标节点存在关联关系的关 联节点,并通过目标节点对待处理数据进行处理,保证了数据的可靠性,避免了目标节点宕 机时无法对待处理数据进行处理,提高处理数据的稳定性。
[0043]图2是本发明一个具体实施例的跨网络数据传输系统的结构框图。
[0044]为了清楚起见,在图2中以分布式处理中心中包括四个处理节点为例进行描述,分 别为处理节点1、2、3和4。
[0045] 其中,该分布式处理中心中这四个处理节点的关联关系为:处理节点1关联处理节 点2,处理节点2关联处理节点3,处理节点3关联处理节点4,处理节点4关联处理节点1,存在 四级关联关系。
[0046]假设每个处理节点的负荷信息相当,为了使得每个处理节点的处理任务均等,即 为了实现对处理节点的负载均衡,对于跨网络数据传输系统中的各个网络节点,对于网络 节点1通过预设的目标节点策略可以确定出网络节点1所对应的目标节点为处理节点1;网 络节点2所对应的目标节点为处理节点2,网络节点3所对应的目标节点为处理节点3、网络 节点4所对应的目标节点为处理节点4,网络节点5所对应的目标节点为处理节点1。
[0047]需要理解的是,如果系统中仅有一个网络节点在上报数据,为了达到负载均衡的 目的,该系统还可以设置按照处理节点的顺序对网络节点上报的数据进行处理,假设,目 前,只有网络节点1在上报数据,在网络节点1上报待处理数据1时,网络节点1将待处理数据 1上报至处理节点1,处理节点1将待处理数据1同步或者异步备份到处理节点2。
[0048] 在网络节点1上报待处理数据2时,网络节点1将待处理数据2上报至处理节点2,处 理节点2将待处理数据2同步或者异步备份到处理节点3。
[0049] 对应地,在网络节点1上报待处理数据3时,网络节点1将待处理数据3上报至处理 节点3,处理节点3将待处理数据3同步或者异步备份到处理节点4。
[0050] 对应地,在网络节点1上报待处理数据4时,网络节点1将待处理数据4上报至处理 节点4,处理节点4将待处理数据4同步或者异步备份到处理节点1。
[0051] 假设当前网络节点2上报数据,网络节点2根据预设的目标节点策略可以确定出该 网络节点2所对应的目标节点为2,因此,在网络节点2上报待处理数据1时,网络节点2将待 处理数据1上报至处理节点2,处理节点2将待处理数据1同步或者异步备份到处理节点3;网 络节点2将待处理数据2上报至处理节点3,处理节点3将待处理数据2同步或者异步备份到 处理节点4;网络节点2将待处理数据3上报至处理节点4,处理节点4将待处理数据3同步或 者异步备份到处理节点1;网络节点2将待处理数据4上报至处理节点1,处理节点1将待处理 数据3同步或者异步备份到处理节点2。
[0052]其中,该分布式处理中心中各个处理节点检测进行存活检测的示例图,如图3所 示,通过图3可以看出,在处理节点1与处理节点2这对关联关系中,处理节点2为处理节点1 的关联节点,处理节点2对处理节点1进行存活检测,即,处理节点2检测处理节点1是否存在 宕机;相应地,处理节点3对处理节点2进行存活检测;处理节点4对处理节点3进行存活检 测;处理节点1对处理节点4进行存活检测。
[0053] 本发明还提供了一种应用图1所示的跨网络数据传输系统进行负载均衡调度的方 法。
[0054] 图4是根据本发明一个实施例的负载均衡调度的方法的流程图,如图4所示,可以 包括以下步骤:
[0055] S41,根据每个处理节点的负荷信息从多个处理节点中确定处理待处理数据的目 标节点。
[0056]具体地,获取分布式处理中心的每个处理节点的负荷信息,并根据所获得的负荷 信息按照负荷由轻到重的选择原则,将负荷最轻的处理节点作为目标节点。
[0057]例如,分布式处理系统包括四个处理节点,分别为处理节点1、2、3和4,根据所获取 到的处理节点1、2、3、4的负荷信息确定出这四个处理节点中负荷最轻的处理节点,如果根 据负荷由轻到处理节点进行排序后所获得的结果为处理节点3、4、1、2,此时,可将处理节点 3作为目标节点。
[0058]在本发明的一个实施例中,如果存在多个负荷最轻的处理节点时,可根据预设的 目标节点选择策略从多个负荷最轻的处理节点中选择出目标节点。
[0059]具体地,在负荷最轻的处理节点有多个时,可对负荷最轻的处理节点的原编号进 行排序,并根据排序结果为对应的负荷最轻的处理节点分配新编号,并保存负荷最轻的处 理节点的原编号和新编号之间的对应关系。然后,确定负荷最轻的处理节点的节点数量,并 将网络节点的编号对节点数量进行取余,得到余数,以及根据余数和对应关系确定处理网 络节点的目标节点。
[0060] 例如,网络节点确定出负载最轻的处理节点,分别为处理节点1、3、4,此时,网络节 点可按照编号由小到大的顺序对其进行排序,并根据排序结果对处理节点进行重新编号, 其中,处理节点的原编号与新编号的对应关系为:即新编号?对应处理节点1,①对应处理 节点3;②对应处理节点4。网络节点可确定出负载最轻的处理节点的节点数为3,假设网络 节点自身的编号为5,将5%3得到的余数为2,根据处理节点的原编号与新编号的对应关系, 可以确定出余数2对应的处理节点为处理节点4,此时,处理节点4即为网络节点5上报数据 的目标节点。
[0061] S42,将待处理数据上传至目标节点。
[0062] 需要说明的是,前述对跨网络数据传输系统实施例的解释说明也适用于该负载均 衡调度的方法实施例,此处不再赘述。
[0063]根据本发明实施例的负载均衡调度的方法,在分布式处理中心设置多个处理节 点,并通过网络节点从分布式处理中心中确定出目标节点,并将待处理数据上传至目标节 点保存,并且在保存待处理数据的同时,目标节点根据分布式处理中心中预先保存的各个 处理节点之间的关联关系从多个处理节点中确定出目标节点的关联节点,并将待处理数据 备份至关联节点中,由此,通过网络节点实现对处理节点负载均衡的管理,有效提高系统负 载能力,同时该系统中的目标节点能够自动将数据保存至与该目标节点存在关联关系的关 联节点,并通过目标节点对待处理数据进行处理,保证了数据的可靠性,避免了目标节点宕 机时无法对待处理数据进行处理,提高处理数据的稳定性。
[0064]图5是根据本发明一个实施例的应用图1所示的分布式处理中心进行负载均衡调 度的方法的流程图。如图5所示,该数据处理方法可以包括以下步骤:
[0065] S51,接收网络节点上传的待处理数据。
[0066] S52,根据每个处理节点的负荷信息从多个处理节点中确定处理待处理数据的目 标节点。
[0067]具体地,在接收到网络节点上传的待处理数据后,可获取每个处理节点的负荷信 息,并根据所获得的负荷信息按照负荷由轻到重的选择原则,将负荷最轻的处理节点作为 目标节点。
[0068] 其中,负荷信息为各个节点统一约定的信息,可以是功率、带宽、实际负载率等。
[0069] 在确定目标节点的过程中,有时会存在多个在负荷最轻的处理节点,为了快速确 定出目标节点,在本发明的一个实施例中,可根据预设的目标节点选择策略,从多个负荷最 轻的处理节点中选择出目标节点。
[0070] 具体地,在负荷最轻的处理节点有多个时,可对负荷最轻的处理节点的原编号进 行排序,并根据排序结果为对应的负荷最轻的处理节点分配新编号,并保存负荷最轻的处 理节点的原编号和新编号之间的对应关系。然后,确定负荷最轻的处理节点的节点数量,并 将网络节点的编号对节点数量进行取余,得到余数,以及根据余数和对应关系确定处理网 络节点的目标节点。
[0071] 例如,网络节点确定出负载最轻的处理节点,分别为处理节点1、3、4,此时,网络节 点可按照编号由小到大的顺序对其进行排序,并根据排序结果对处理节点进行重新编号, 其中,处理节点的原编号与新编号的对应关系为:即新编号?对应处理节点1,①对应处理 节点3;②对应处理节点4。网络节点可确定出负载最轻的处理节点的节点数为3,假设网络 节点自身的编号为5,将5%3得到的余数为2,根据处理节点的原编号与新编号的对应关系, 可以确定出余数2对应的处理节点为处理节点4,此时,处理节点4即为网络节点5上报数据 的目标节点。
[0072] S53,将待处理数据保存至目标节点上,并根据关联关系从多个处理节点中确定与 目标节点存在关联关系的关联节点。
[0073] S54,将待处理数据备份至关联节点上,并通过目标节点处理待处理数据。
[0074]具体地,在确定出关联节点后,可将待处理数据同步备份至关联节点上。或者,将 待处理数据异步备份至关联节点上。
[0075]为了提高处理数据的稳定性,在本发明的一个实施例中,在目标节点对待处理数 据进行处理的过程中,如图6所示,该数据处理方法还可以包括以下步骤:
[0076] S55,控制关联节点对目标节点是否宕机进行检测。
[0077] S56,在检测到目标节点宕机时,通过关联节点对未处理完的待处理数据进行处 理。
[0078] 根据本发明实施例的负载均衡调度的方法,在接收到网络节点上传的数据后,根 据每个处理节点的负荷信息确定出处理数据的目标节点,并将所获取到的数据保存至目标 节点的同时,能够自动将数据保存至与该目标节点存在关联关系的关联节点,并通过目标 节点对待处理数据进行处理,保证了数据的可靠性,避免了目标节点宕机时无法对待处理 数据进行处理,提高处理数据的稳定性。
[0079] 在本发明的描述中,需要理解的是,术语"第一"、"第二"仅用于描述目的,而不能 理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有"第 一"、"第二"的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,"多个" 的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
[0080] 在本说明书的描述中,参考术语"一个实施例"、"一些实施例"、"示例"、"具体示 例"、或"一些示例"等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不 必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任 一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技 术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结 合和组合。
[0081] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括 一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部 分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺 序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明 的实施例所属技术领域的技术人员所理解。
[0082] 在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用 于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供 指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执 行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设 备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传 输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装 置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电 连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器 (ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存 储器(CDR0M)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的 介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其 他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
[0083]应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述 实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件 或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下 列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路 的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA)JIg 可编程门阵列(FPGA)等。
[0084]本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步 骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介 质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
[0085]此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以 是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模 块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如 果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机 可读取存储介质中。
[0086] 上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描 述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限 制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变 型。
【主权项】
1. 一种跨网络数据传输系统,其特征在于,所述系统包括分布式处理中心和多个网络 节点,其中, 所述分布式处理中心,包括多个处理节点,所述多个处理节点组成闭环拓扑结构,且所 述闭环拓扑结构中相邻的处理节点之间存在关联关系; 所述网络节点,用于根据每个处理节点的负荷信息从所述多个处理节点中确定处理待 处理数据的目标节点,并将所述待处理数据上传至所述目标节点; 所述目标节点,用于保存所述网络节点上传的所述待处理数据,并根据所述关联关系 从所述多个处理节点中确定与所述目标节点存在关联关系的关联节点,并将所述待处理数 据备份至所述关联节点上,并通过所述目标节点处理所述待处理数据; 所述关联节点,用于保存所述目标节点发送的所述待处理数据。2. 如权利要求1所述的系统,其特征在于,所述网络节点,具体用于: 获取每个处理节点的负荷信息,并根据所获得的负荷信息按照负荷由轻到重的选择原 贝IJ,将负荷最轻的处理节点作为目标节点。3. 如权利要求2所述的系统,其特征在于,所述网络节点,还用于: 在负荷最轻的处理节点有多个时,根据预设的目标节点选择策略从多个负荷最轻的处 理节点中选择出目标节点。4. 如权利要求3所述的系统,其特征在于,所述网络节点,具体用于: 在负荷最轻的处理节点有多个时,对所述负荷最轻的处理节点的原编号进行排序,并 根据排序结果为对应的负荷最轻的处理节点分配新编号,并保存负荷最轻的处理节点的原 编号和新编号之间的对应关系; 确定所述负荷最轻的处理节点的节点数量,并将所述网络节点的编号对所述节点数量 进行取余,得到余数;以及 根据所述余数和所述对应关系确定处理所述网络节点的目标节点。5. 如权利要求1所述的系统,其特征在于,所述目标节点,具体用于: 将所述待处理数据同步备份至所述关联节点上;或者, 将所述待处理数据异步备份至所述关联节点上。6. 如权利要求1-5中任一项所述的系统,其特征在于,所述关联节点,还用于: 检测所述目标节点是否宕机; 在检测到所述目标节点宕机时,对所述目标节点未处理完的待处理数据进行处理。7. -种使用如权利要求1-6中任一项所述的跨网络数据传输系统进行负载均衡调度的 方法,其特征在于,所述方法包括以下步骤: 根据每个处理节点的负荷信息从多个处理节点中确定处理待处理数据的目标节点; 将所述待处理数据上传至所述目标节点。8. 如权利要求7所述的方法,其特征在于,所述根据每个处理节点的负荷信息从多个处 理节点中确定处理待处理数据的目标节点,具体包括: 获取每个处理节点的负荷信息,并根据所获得的负荷信息按照负荷由轻到重的选择原 贝IJ,将负荷最轻的处理节点作为目标节点。9. 如权利要求8所述的方法,其特征在于,在负荷最轻的处理节点有多个时,所述方法 还包括: 根据预设的目标节点选择策略从多个负荷最轻的处理节点中选择出目标节点。10.如权利要求9所述的方法,其特征在于,所述根据预设的目标节点选择策略从多个 负荷最轻的处理节点中选择出目标节点,具体包括: 在负荷最轻的处理节点有多个时,对所述负荷最轻的处理节点的原编号进行排序,并 根据排序结果为对应的负荷最轻的处理节点分配新编号,并保存负荷最轻的处理节点的原 编号和新编号之间的对应关系; 确定所述负荷最轻的处理节点的节点数量,并将所述网络节点的编号对所述节点数量 进行取余,得到余数;以及 根据所述余数和所述对应关系确定处理所述网络节点的目标节点。
【文档编号】H04L29/08GK105915630SQ201610382965
【公开日】2016年8月31日
【申请日】2016年6月1日
【发明人】李东鸽, 牟晓光
【申请人】东软集团股份有限公司, 国家信息中心
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1