一种面向服务网络的服务聚合与缓存方法与流程

本发明涉及网络通信领域，特别涉及一种基于大数据和云平台的服务网络的服务聚合与缓存方法。

背景技术：

云计算和大数据掀起的热潮，带动了物联网技术的快速发展，使得连接到网络的设备和数据量呈指数级增长。自2011年以后，连接到物联网的设备(如智能手机，城市、工业感知设备等等)已经超过人口的数量，达到90亿个(台)设备。来自cisco公司的报告显示物联网产生的数据流量在2014年已经占到整个互联网络流量的69％,是2000年数据流量的30倍,而且数据量的增长还正处于加速度的状态中。

这种史无前例大量设备与数据量的增长,给当前基于数据传输的互联网络管理技术与方式带来空前的挑。产生这种挑战的内在原因是当前的网络通信体系结构与模式已经跟不上应用的快速发展。具体体现在如下几个方面:(1)当前基于数据传输的网络难以满足物联网技术快速发展所带来的巨量数据传输的需求。在当前的网络结构中,这些巨量的网络数据经过漫长的网络路由传输到cloud端,并在用户请求时再次经过漫长的路由返回给用户,因此给骨干网络传输带来了沉重的负担,使得网络设备超负荷运转,网络整体性能大幅度下降。所有这些导致网络设备不堪重负,带来维护和管理日益困难。(2)当前的中心式数据处理与计算网络模式恶化了网络性能。当前大数据网络中,数据中心是整个数据的处理与存储中心,所有的数据要通过多跳路由传输到数据中心,然后数据中心对所有的数据进行计算和存储,并在用户请求时查询和返回数据,因而数据中心的工作负载非常重,尤其是当网络数据量和用户请求量巨大时，数据中心的工作量不堪重负。与此同时,功能强大,数据巨大的网络设备却只需简单向网络发送数据和请求服务。在这种情况下,当前网络在巨大的通信流量带宽与计算能力的双重需求与现有的有限的网络带宽与基础设施之间的鸿沟越来越大，从而使得诸如网络延迟，抖动,丢包率,吞吐量等与网络性能有关的用户服务质量指标持续恶化。

因此,寻求更为有效的网络体系结构与通信模式,以确保网络的可靠性和服务质量,是一个亟待解决的问题。服务网络的提出是一个重大的转折点，通过借助网络分布广泛的数据众多的内容路由器来进行简单地数据处理，能够改变了以往中心式的统一管理模式,从而实现网络管理模式从中心式向边缘化的转移。在这种网络架构中,原始数据被转换为服务后逐跳传输给数据中心,而服务是去除了无效数据后经过程序化处理得到的,因而数据量远小于原始数据.

数据融合是最常被采用来降低传输数据量的方法。数据融合是依据网络中传输的数据之间存在相关性与冗余度，融合成比原来的数据包小的数据包再向前路由.数据融合开始主要运用到传感器网络中，后来发现数据融合方法不仅是一种有效减少传感网络的有效方法,而且可以应用到云计算中.在服务网络下，可以采用服务聚合来实现数据融合的效果。

同时，网内缓存方法从计算机的出现开始就一直被使用的提高系统性能的方法.这种方法的本质在于在网络的设备(通常是内容路由器)上缓存用户可能需要的数据,从而当用户需要这些数据时,就不需要从数据中心去请求,而是直接返回给用户。

服务网络作为近几年兴起的网络，虽然已经提出了基本框架和概念，但目前还没有具体的实现方案，更缺乏服务聚合和网内缓存与其结合的应用，这说明面向服务网络的聚合与缓存方法还存在进一步研究的地方。

技术实现要素：

本发明提供一种适用于大数据和云计算平台的服务网络的服务聚合与缓存方法，其目的在于，解决当前大数据和云计算网络所面临的巨量数据增长所带来的问题。通过对数据进行处理并沿路缓存，降低数据中心负载和数据传输量，加强能量有效利用，提升用户体验。

为实现上述目的，本发明提供一种sac服务聚合与缓存方法，包括如下步骤：步骤一，边缘节点周期性接收数据采集设备传送过来的原始数据，并对数据进行初步处理，在冗余处理和数据提取后借助网络硬件和软件将原始数据包转换为服务包。步骤二，中心路由层节点接收下层服务包，每隔一段时间间隔聚合接收到的所有服务包，并形成一个精确度置信度更高的服务。步骤三，节点将其聚合形成的新服务缓存在本地，按分块存储方法，并维护更新服务与节点的存储映射表。步骤四，服务包传输到数据中心，数据中心进行深入处理并存储，并进行全局服务聚合和全面智能决策。步骤五，用户发送服务请求，数据中心查询服务存储表，并依据存储情况选择从数据中心返回数据和从节点返回数据。

基于上述聚合与缓存过程，建立单个节点服务聚合模型，全局服务聚合模型，并依据应用程序要求确定聚合规则。在服务缓存部分，在数据包基础上改进服务数据包格式，保持固定的字段不变，只从可选字段中划分位来添加服务字段。基于上述的服务聚合与缓存方法，采用最短路由方法，同时采用最近最久未使用置换算法。

本发明方法具有以下有益效果：本发明提供了一种面向服务网络的服务聚合与缓存方法，在网络数据传输到数据中心的上行路由中，数据包被转换成服务包传输，由于转换时进行了数据初步处理，此时去掉了冗余的,无效的,不完整的信息，因此数据量减少了。而且转换后得到的服务在上行路由到数据中心的过程中又反复聚合,所以不断减少需要传输的量，本发明从系统层面显著的降低网络需要传输的量,减轻了网络管理的压力与复杂度.本发明中，每个内容路由器可作为一个小型的数据中心，原来全部由数据中心承担的工作量数量巨大的网络设备承担,从而使得数据中心的负载降低了数倍,并使得网络体系结构具有无限的可展性.服务通过沿路组合,相关以及联合，可以形成更大的服务,增加数据的置信度,准确性和完整性。而且在返回数据给用户时，可以从网络层直接返回，缩短路由距离和传输成本。整体来看，本发明通过降低传输量提高能量有效利用，改善用户使用体验。

附图说明

图1为本发明实例服务网络中服务聚合与缓存方法示意图

图2为本发明实施数据包转换后的服务包数据结构示意图。

图3为本发明实施单节点服务聚合示意图。

图4为本发明实施全局服务聚合示意图。

图5为本发明实施服务缓存与请求响应示意图。

图6为本发明方法和现有方法的请求响应时间对比示意图

图7为本发明方法和现有方法下原始数据经过传输路由各节点时的数据量示意图

图8为本发明方法和现有方法下数据中心工作量对比示意图

图9为本发明方法和现有方法下1小时累积数据量示意图

图10为本发明方法和现有方法的单跳延迟对比示意图

图11为本发明方法和现有方法的平均端到端延迟对比示意图

图12为本发明方法和现有方法的能量消耗趋势示意图

图13为本发明方法和现有方法的平均能量消耗对比示意图

具体实施方式

下面结合附图和实例对本发明做进一步说明。

图1所示为本发明方法的整体结构与核心思想示意图，整个网络系统划分为数据采集层、网络路由层、数据中心层和应用层，网络中有三类传输流和两种路由，分别是数据流，服务流，服务请求流和上行路由、下行路由。在本实例中，整个网络仅有一个数据中心，内容路由器节点均匀地分布在网络中。规范化网络模型定义如下:网络可描述为一个无向图g＝(r,e),其中r是非空的顶点集合,由内容路由器节点组成；e是r中元素构成的无序二元组的集合,是任意两个节点之间的通信链路。所有路由节点的集合为r,r＝{cr1,cr2,…,crn}；所有服务的集合为s,s＝{s1,s2,…,sn}；；同时,网络中的数据或服务以内容块的形式存储在数据中心和路由节点中,某一服务的内容块集合为c,c＝{c[1],c[2],…,c[n]}。本实例主要包括以下内容：

数据结构的改进。首先,数据包的数据结构与现有方法一样,分为首部和数据部分,其中首部用来标明源地址,目的地址,数据长度,检验和以及传输协议等,首部的前20字节固定不变,且每个数据包的数据部分可能大小不一。本发明在数据包原有格式基础上添加了两个字段以构成服务包的数据结构，如图2所示，将选项字段的前8位划分出来增加两个标志字段,一个是flag_ser,另一个是aggr_ser.其中flag_ser是用来标志该包是否为一个服务包,以便供用户直接使用。第二个字段是aggr_ser,用来判断是否为聚合服务包,以便数据中心恢复原始数据。在服务包中，同样保留前20字节的信息不变用来检验恢复数据的正确性。

传输路由的逐跳服务聚合。服务聚合有三要素:输入,处理和输出。输入是节点接收到的服务包,处理是具体的服务操作,通常指聚合函数。输出是指服务融合后得到的新服务。图3所示为单个节点的服务聚合过程。节点1,节点2,节点3向节点4发送服务包s1,s2,s3。节点4按照聚合要求aggr()对数据包进行聚合,并形成新的服务包s4。聚合实现通过设备内置的聚合单元完成,设备对数据进行自动化关联,相关,估计,组合。服务聚合系统由三个聚合区和一个管理单元组成,第一区为数据准备区,实现融合前的数据预处理和零级联合检测操作；第二区为目标聚合区,实现一级目标状态估计和二级目标身份判断；第三区为态势评估区,实现三级形势评估和四级安全评估；第五级聚合管理也就是管理单元,进行服务聚合系统效率估计优化.；

图4所示为全局聚合模型,数据中心是整个网络的核心聚合节点,图中包含四种聚合规则,分别是保留输入数据的有效数据全集,又叫冗余聚合，这种聚合的实现是先将所有数据放置到数据准备区,然后从全体数据中删除重复的数据，这种聚合是后续几种规则的基础。第二种是去掉异类属性,也叫合作聚合,如图所示，s11,s12,s13是传输给节点14的三个包,其中s11和s12都是音频格式的包,而s13是是图像格式.第三种是保留数据中的最大值或最小值等,在这种规则下服务聚合类似数据提取.第四种是依据设定阈值来进行数据筛选。这些规则通过软件编程植入到网络设备的处理单元中,然后再调用硬件单元来实现.

服务缓存。每个节点有唯一标识cr_id,每个服务有serv_id.服务的存储方式是分块存储,存储时被划分为大小相等的内容块,同时用一张服务缓存表来记录其节点存储的服务内。在表中有4个字段,cr_id,serv_id,c_chunks,size,每个服务对应一条记录,serv_id与cr_id相互对应,是多对一的关系,而c_chunks和size则用来标志服务的大小,由于每个节点的存储容量是有限的,当cr的存储空间满之后，系统就会清除cr中最近最久未被使用的服务,此时,会优先选择size较大且很久未被使用的服务。以节点14为例,节点14的cr_id为cra0014,s[e]的serv_id为sera00e0,s[e+1]的serv_id为sera00e1,s[n6]的serv_id为sera00n6,s[e],s[e+1],s[n6]被划分为m1,m,m2个内容块,每个块的大小为10kb,则图5中cr14对应的服务缓存如下所示.；

最后用户发送服务请求，数据中心查询服务节点映射表，若服务存储在节点中，向节点发送操作指令，要求其返回数据，否则数据中心处理请求。

对比现有方法，本发明sac方法可以降低请求响应延迟，减少传输数据量，加强能量有效利用。图6给出了当传输路径上节点数量为2-10时，本发明方法与现在方法所需的请求响应延迟。服务请求延迟是指从用户发出请求到该请求得到响应所需要的时间，在本方法中，数据在服务聚合时已经封装好，且查询服务存储位置只需要对服务存储表进行单表查询，因此本方法的延迟产生在返回数据的传输上。而现有方法还要聚合时间和查询时间。从实验结果来看,本方法下的请求响应延迟远小于现有其它方法。

图7所示为每分钟产生的数据经过不同沿路节点时的数据量情况。每秒产生的数据包数量为1000,每个数据包大小为20kb,1分钟产生的总数据量为1200000kb,这些数据包经过一个中继节点数量为10的路由传输到dc.在现有非聚合方法下,数据呈现近似水平的趋势。而在方法下，每经过一个节点，数据进行一次处理,数据量随着经过的节点数量增长而减少，本说明方法下的传输数据量大大减少。

图8为在同样的实验环境中,现有方法与本方法下的数据中心工作量对比示意图。在本方法下，网络中的每个节点相当于一个微型的数据中心,可以对数据进行处理也可以响应用户请求,所以大大减轻了数据中心的工作负载。

图9为本发明方法与现有方法1小时累积数据量对比示意图。对数据进行聚合可以减慢数据增长速度，而在同类型聚合方法中，本发明方法具有更好的聚合效果。这说明在一个长期运行的大数据网络中，本方法适用且可有效降低产生数据量。

图10为本发明方法与现在方法的一跳延迟对比示意图，由于本方法不断对数据进行处理,传输的数据量随着经过路由跳数的增加而逐渐减少,所以在后面的路由中,数据聚合时间,数据传输时间和数据缓存时间随着数据量的减少而大大缩短了,传输延迟也降低了.这说明本方案适用于路由跳数较多的大规模网络。

图11为本发明方法与现在方法的平均延迟对比示意图，本文方法相比于现在的数据中心传输方法，端到端延迟有所增加，但相比同样的聚合方法，其差别不大，这说明本方法的负面效果并不影响网络整体性能，可以在实际网络场景中采用。

图12为各方法的1小时总能量消耗,网络每秒产生20000kb数据,随着网络运行的时间的延长,原始数据量呈线性增长,而在本方法下,数据量越大,聚合效果越好,聚合后保留的有效数据越少,因而传输的能量消耗随着时间的延长增长并不明显.

图13所示为各方法的平均能量消耗对比示意图。从图中可以看到,本方法的能量消耗虽然随着时间而增长,但增长速度并不是很快.当网络运行时间为1小时,本方法的能量消耗仅为现有数据中心方法的三分之一。这说明本方法相比其它方法可降低网络通信开销和运行成本。