基于大数据分析的网络负载均衡方法和装置与流程

本发明涉及移动通信技术，尤其是涉及一种基于大数据分析的网络负载均衡方法和装置。

背景技术：

近几年，随着互联网网络规模不断扩大，网络数据交互也更加广泛。大量互联网数据整合和数据汇聚现象，使数据处理应用量和需求量呈井喷式爆发，互联网所要分析或处理的业务量也日益繁重。针对于海量数据服务，如何将这些数据进行有效均衡调配，为网络用户提供方便快捷的网络搜索服务，成为互联网当前所面临的重要问题。大数据网络资源环境下的资源调度问题，寻求高效调度策略，对于增强大数据网络资源利用率以及网络负载均衡具有重要作用。

技术实现要素：

本发明要解决的技术问题是提供一种基于大数据分析的网络负载均衡方法和装置，该装置主要解决了大数据网络虚拟资源与物理资源的均衡调度，确保大数据网络的负载均衡。该装置也为未来网络发展提供有效分析，提前做好网络资源的均衡调整分配，确保未来大数据网络的负载均衡。

为了解决现有技术存在的问题，本发明采用的技术方案是：

基于大数据分析的网络负载均衡装置，包括有数据分析挖掘装置、网络负载均衡处理装置和数据资源分配装置，所述的网络负载均衡处理装置分别与数据分析挖掘装置和数据资源分配装置通过通信电缆相连，数据分析挖掘装置通过通信电缆与用户相连，数据资源分配装置通过通信电缆与服务器相连；所述的网络负载均衡处理装置主要包括数据处理层、数据调度层和数据迁移层；所述的数据分析挖掘装置中包含大数据接口、数据分析层、数据挖掘层和大数据存储装置；所述的数据资源分配装置包含数据资源监控和数据资源分配。

所述的数据处理层与数据调度层通过数据电缆相连，数据调度层与数据迁移层通过数据电缆相连；所述的大数据接口、数据分析层、数据挖掘层和大数据存储装置通过数据电缆相连；所述的数据资源监控和数据资源分配是通过通信电缆相连。

所述数据处理层将不同类型的数据源水平扩展成分布式数据源；数据调度层使用mapreduce框架作为分布式程序的基础，使用yarm精确控制数据迁移使用的资源；数据迁移层使用分布式文件存储系统将目标集群虚拟为一个整体存储系统。

所述大数据接口类型包括有数据库接口、文件接口、消息接口和搜索查询接口；数据分析层主要是对收集上来的数据首先按照文件类型进行划分，再次再按照文件大小、文件内容进行分析整理；数据挖掘层将数据分析层分析整理的数据通过统计方法、事例推理、决策树、规则推理、模糊集、神经网络、遗传算法的方法进行处理，得出有用的分析信息；并将分析信息存储到大数据存储中或通过通信电缆发送给网络负载均衡处理装置，网络负载均衡处理装置通过接收到的分析信息和数据，对比现阶段网络状况，根据对比结果调整网络资源，达到网络均衡的目的。

所述数据资源监控起到监督、视察的作用，主要监控大数据网络里的物理机和虚拟机的资源使用情形和运营状况，主要包括网络的通信状况、实时监控、告警信息；对所有收集到的数据信息逐一研究，以便于指导负载均衡调节；数据资源分配主要是通过网络负载均衡处理装置提供的用户信息分置到各用户的虚拟机和服务器上，实现大数据网络负载的均衡；资源分配方法有虚拟机分配和手动分配两种。

所述通信电缆是数字通信电缆或高速通信电缆。

所述数据电缆是com口数据电缆或usb口数据电缆。

基于大数据分析的网络负载均衡装置的均衡方法，包括以下步骤：

针对在闲置资源较多的环境中能够有效提高性能情况下，在数据处理层和数据迁移层内部进行数据移动以充分利用闲置资源，从数据角度避免访问热点；在数据调度层设计实现负载均衡的迁移策略，从数据调度避免对同一块数据的热点访问；通过间接迁移技术用来实现集群内部的负载均衡，并通过使用sharding技术对数据处理层和数据迁移层的优化，直接保证数据的均衡分布，为高效率的数据迁移提供保证。

基于大数据分析的网络负载均衡装置的均衡方法，包括以下步骤：

通过基于能量大小评判的调度方法，对网络中的资源进行均衡调度；基于能量评判的网络均衡调度模型中的资源节点和网络任务间的相关参数为：

集合[a={a1，a2，…，an}]用于描述n个不同资源点所组成的网络情况；

集合[p={p1，p2，…，pm}]用于描述完成m个网络下发任务；

设置[mpij]描述资源点[aj]实施任务[pi]所花费的时间；

[lj]用于描述资源点[aj]的初始能量值；

[mj]用于描述特定时间里资源点[aj]完成任务要花费的能量；

[dj]用于描述一定时间里资源点[aj]获取数据的耗能量；

[bwj]用于描述资源点[aj]的网络带宽大小；

网络数据调度模型的耗能是指：任务[pi]通过资源[aj]的本地计算耗能量[mmdij]与完成任务时间[mpij]和耗能量率有着紧密的联系，如下式（1）所示：

[mmdij=mpij·mj]（1）

任务[pi]利用网络沟通的思维来考虑资源[aj]里沟通的耗能量[dmdij]，将单元数据量的网络传递时间界定成网络带宽[bwj]的最后一位数，如果任务传递的数据量为[hi]，网络沟通耗能量如式（2）所示：

[dmdij=hi⋅（1bwj）⋅dj]（2）

[mdij]表示测量网络任务匹配到网络资源中的耗能量，有：

[mdij=mmdij+dmdij]（3）

式（3）中的耗能量值[mdij]是一个资源[aj]在调度里的耗能量状态，但模型应考虑总体调度环境，完成能量的改进；所以需要增加一个衡量数值[ecavg]，[ecavg]用于描述全部网络资源的平均耗能量率，同时也是调度计算耗能量的衡量规范；[ecavg]值同调度能耗具有正相关性，[ecavg]的表达式如下：

[ecavg=j=0n-1（mdijlj）n，aj∈a]（4）

基于能量评判的大数据网络均衡调度的具体步骤为：

（1）将大数据网络资源调度任务集p里的全部任务，映射到资源节点集a中的全部资源点上，通过数据处理层计算出全部相匹配的代价值[cost（i，j）]；

（2）数据处理层设置大数据网络资源集里的全部资源节点状态为未标记；

（3）随意提取大数据网络资源调度任务集中的1个任务[pi]，将其映射到代价值[cost（i，j）]中最小的资源节点[aj]上，同时计算出[cost（i，j）]值，这个值表示最小代价；

（4）获取映射值，它的含义是当把大数据网络资源调度任务，映射到[aj]以外的任意资源节点的过程，就会产生更多的能耗，映射值就是最小代价和第二小的代价间的差值；

（5）分析大数据网络资源点[aj]的标示状态：假设资源节点没有标示，在大数据网络资源调度任务集p里过滤任务[pi]，设置资源点[aj]为已标记；假设资源点是标记状态，对比待映射到资源节点[aj]中的任务帐和任务[pi]映射值，如果[aj]的映射值较小，那么要把帐再次返还到任务集p里，并把[pi]映射到[aj]中，在任务集p里过滤[pi]；

（6）循环运行过程（3）～过程（5），直到不能将新大数据网络资源调度任务支配出去；

（7）被支配的新大数据网络资源调度任务资源点的准备时间[di]与资源结余能量值，在当前迭代中完成实时调整；

（8）循环运行过程（2）～过程（7），数据调度层和数据迁移层进行数次迭代，一直到任务集里的全部任务都完成，并计算[ecavg]的数值，通过调控[ecavg]值，实现大数据网络负载的控制，确保大数据网络负载均衡。

本发明所具有的优点与有益效果是：

本发明基于大数据分析的网络负载均衡装置，主要包括数据分析挖掘装置，网络负载均衡处理装置和数据资源分配装置，所述的网络负载均衡处理装置分别与数据分析与挖掘装置和数据资源分配装置相连。网络负载均衡处理装置中包含数据处理层、数据调度层、数据迁移层；数据分析与挖掘装置中包含大数据接口、数据分析层、数据挖掘层和大数据存储单元；数据资源分配装置包含数据资源监控和数据资源分配。本发明主要解决了大数据网络物理资源与虚拟资源的均衡调度，确保大数据网络的负载均衡。该装置也为未来网络发展提供有效分析，提前做好网络资源的均衡调整分配，确保未来大数据网络的负载均衡。适用于大数据网络资源环境下的资源调度问题，寻求高效调度策略，对于增强大数据网络资源利用率以及负载均衡具有重要作用。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明：

图1是本发明基于大数据分析的网络负载均衡装置的原理框图；

图2是本发明基于大数据分析的网络负载均衡装置的结构链接示意图。

具体实施方式

为了进一步说明本发明，下面结合附图及实施例对本发明进行详细地描述，但不能将它们理解为对本发明保护范围的限定。

如图1、2所示，本发明基于大数据分析的网络负载均衡装置，包括有数据分析挖掘装置2、网络负载均衡处理装置1和数据资源分配装置3，所述的网络负载均衡处理装置分别与数据分析挖掘装置和数据资源分配装置通过通信电缆4相连，数据分析挖掘装置通过通信电缆与用户相连，数据资源分配装置通过若通信电缆4与多个服务器相连。所述的通信电缆可以选用电话线、5类网线、6类网线等普通的数字通信电缆，也可以使用光纤、光电复合缆等高速通信电缆。本发明中，优选的是具有供电功能的6芯光电复合缆。

所述的网络负载均衡处理装置1主要包括数据处理层11、数据调度层12和数据迁移层13。其中，数据处理层11将获取的数据库根据数据类别将数据库111分成不同的数据112，将不同的数据文件根据不同的数据类型组成不同的分布式文件113。数据调度层12根据数据获取时间分为正在调度数据122和等待调度数据121。数据迁移层13通过hadoop分布式数据文件系统将文件迁移调度到不同的服务器131中。所述的数据分析挖掘装置2中包含大数据接口21、数据分析层22、数据挖掘层23和大数据存储24；所述的数据资源分配装置3包含数据资源监控31和数据资源分配32。其中，所述的网络负载均衡处理装置1中的数据处理层11与数据调度层12通过数据电缆5相连，数据调度层12与数据迁移层13通过数据电缆5相连；使得网络负载均衡处理装置在收到数据处理到数据迁移过程中有效解决网络负载均衡问题；其中，所述的数据分析挖掘装置2中的大数据接口21、数据分析层22、数据挖掘层23和大数据存储装置24通过数据电缆5相连；其中，所述的数据资源分配装置3中的数据资源监控31和数据资源分配32是通过通信电缆4相连。所述数据电缆包含com口数据电缆和usb口数据电缆，本发明中，优选选用的是usb3.0接口的数据电缆。

所述数据处理层11将不同类型的数据源水平扩展成分布式数据源；数据调度层12使用mapreduce框架作为分布式程序的基础，使用yarm精确控制数据迁移使用的资源；数据迁移层13使用分布式文件存储系统将目标集群虚拟为一个整体存储系统。

所述大数据接口21类型包括有数据库接口（支持主流的多种数据库）、文件接口（支持excel、txt、xml等）、消息接口和搜索查询接口（搜索引擎、查询分析引擎）；数据分析层22主要是对收集上来的数据首先按照文件类型进行划分，再次再按照文件大小、文件内容进行分析整理；数据挖掘层23将数据分析层22分析整理的数据通过统计方法、事例推理、决策树、规则推理、模糊集、神经网络、遗传算法的方法进行处理，得出有用的分析信息；并将分析信息存储到大数据存储24中或通过通信电缆4发送给网络负载均衡处理装置1，网络负载均衡处理装置1通过接收到的分析信息和数据，对比现阶段网络状况，根据对比结果调整网络资源，从而达到网络均衡的目的。

所述数据资源监控31起到监督、视察的作用，主要监控大数据网络里的物理机和虚拟机的资源使用情形和运营状况，主要包括网络的通信状况311、实时监控312、告警信息313；对所有收集到的数据信息逐一研究，以便于指导负载均衡调节；数据资源分配32主要是通过网络负载均衡处理装置1提供的用户信息分置到各用户的虚拟机和服务器上，实现大数据网络负载的均衡；资源分配方法有虚拟机分配321和手动分配322两种。

基于大数据分析的网络负载均衡装置的均衡方法，包括以下步骤：

针对在闲置资源较多的环境中能够有效提高性能情况下，在数据处理层11和数据迁移层13内部进行数据移动以充分利用闲置资源，从数据角度避免访问热点；在数据调度层12设计实现负载均衡的迁移策略，从数据调度避免对同一块数据的热点访问；通过间接迁移技术用来实现集群内部的负载均衡，并通过使用sharding技术对数据处理层11和数据迁移层13的优化，直接保证数据的均衡分布，为高效率的数据迁移提供保证。

基于大数据分析的网络负载均衡装置的均衡方法，包括以下步骤：

通过基于能量大小评判的调度方法，对网络中的资源进行均衡调度；基于能量评判的网络均衡调度模型中的资源节点和网络任务间的相关参数为：

集合[a={a1，a2，…，an}]用于描述n个不同资源点所组成的网络情况；

集合[p={p1，p2，…，pm}]用于描述完成m个网络下发任务；

设置[mpij]描述资源点[aj]实施任务[pi]所花费的时间；

[lj]用于描述资源点[aj]的初始能量值；

[mj]用于描述特定时间里资源点[aj]完成任务要花费的能量；

[dj]用于描述一定时间里资源点[aj]获取数据的耗能量；

[bwj]用于描述资源点[aj]的网络带宽大小；

网络数据调度模型的耗能是指：任务[pi]通过资源[aj]的本地计算耗能量[mmdij]与完成任务时间[mpij]和耗能量率有着紧密的联系，如下式（1）所示：

[mmdij=mpij·mj]（1）

任务[pi]利用网络沟通的思维来考虑资源[aj]里沟通的耗能量[dmdij]，将单元数据量的网络传递时间界定成网络带宽[bwj]的最后一位数，如果任务传递的数据量为[hi]，网络沟通耗能量如式（2）所示：

[dmdij=hi⋅（1bwj）⋅dj]（2）

[mdij]表示测量网络任务匹配到网络资源中的耗能量，有：

[mdij=mmdij+dmdij]（3）

式（3）中的耗能量值[mdij]是一个资源[aj]在调度里的耗能量状态，但模型应考虑总体调度环境，完成能量的改进；所以需要增加一个衡量数值[ecavg]，[ecavg]用于描述全部网络资源的平均耗能量率，同时也是调度计算耗能量的衡量规范；[ecavg]值同调度能耗具有正相关性，[ecavg]的表达式如下：

[ecavg=j=0n-1（mdijlj）n，aj∈a]（4）

基于能量评判的大数据网络均衡调度的具体步骤为：

（1）将大数据网络资源调度任务集p里的全部任务，映射到资源节点集a中的全部资源点上，通过数据处理层计算出全部相匹配的代价值[cost（i，j）]；

（2）数据处理层设置大数据网络资源集里的全部资源节点状态为未标记；

（3）随意提取大数据网络资源调度任务集中的1个任务[pi]，将其映射到代价值[cost（i，j）]中最小的资源节点[aj]上，同时计算出[cost（i，j）]值，这个值表示最小代价；

（4）获取映射值，它的含义是当把大数据网络资源调度任务，映射到[aj]以外的任意资源节点的过程，就会产生更多的能耗，映射值就是最小代价和第二小的代价间的差值；

（5）分析大数据网络资源点[aj]的标示状态：假设资源节点没有标示，在大数据网络资源调度任务集p里过滤任务[pi]，设置资源点[aj]为已标记；假设资源点是标记状态，对比待映射到资源节点[aj]中的任务帐和任务[pi]映射值，如果[aj]的映射值较小，那么要把帐再次返还到任务集p里，并把[pi]映射到[aj]中，在任务集p里过滤[pi]；

（6）循环运行过程（3）～过程（5），直到不能将新大数据网络资源调度任务支配出去；

（7）被支配的新大数据网络资源调度任务资源点的准备时间[di]与资源结余能量值，在当前迭代中完成实时调整；

（8）循环运行过程（2）～过程（7），数据调度层和数据迁移层进行数次迭代，一直到任务集里的全部任务都完成，并计算[ecavg]的数值，通过调控[ecavg]值，实现大数据网络负载的控制，确保大数据网络负载均衡。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。