一种基于云服务平台的大规模数据计算加速系统的制作方法

文档序号:11236638阅读:444来源:国知局

本发明属于数据处理技术领域,尤其涉及一种基于云服务平台的大规模数据计算加速系统。



背景技术:

数据(data)是事实或观察的结果,是对客观事物的逻辑归纳,是用于表示客观事物的未经加工的的原始素材。数据是信息的表现形式和载体,可以是符号、文字、数字、语音、图像、视频等。数据和信息是不可分离的,数据是信息的表达,信息是数据的内涵。数据本身没有意义,数据只有对实体行为产生影响时才成为信息。数据可以是连续的值,比如声音、图像,称为模拟数据。也可以是离散的,如符号、文字,称为数字数据。在计算机系统中,数据以二进制信息单元0,1的形式表示。现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。阿里巴巴创办人马云来台演讲中就提到,未来的时代将不是it时代,而是dt的时代,dt就是datatechnology数据科技。

综上所述,现有技术存在的问题是:目前大规模数据处理存在处理速度慢,降低云服务平台工作效率。



技术实现要素:

针对现有技术存在的问题,本发明提供了一种基于云服务平台的大规模数据计算加速系统。

本发明是这样实现的,一种基于云服务平台的大规模数据计算加速系统,所述基于云服务平台的大规模数据计算加速系统包括:

云服务平台,用于接收来自企业网管模块的应用服务请求,从加速管理和控制平台获得加速策略,根据加速策略将应用的加速模块下载到企业网关模块进行缓存;

所述云计算平台的信任值计算方法包括以下步骤:

步骤一,采集节点间不同时间片的交互次数,根据得到的数据建立时间序列,通过三次指数平滑法来预测节点间下一个时间片的交互次数,将交互次数预测值与实际值的相对误差作为节点的直接信任值;采集网络观测节点i与节点j之间的n个时间片的交互次数:

选取一定时间间隔t作为一个观测时间片,以观测节点i和被测节点j在1个时间片内的交互次数作为观测指标,真实交互次数,记作yt,依次记录n个时间片的yn,并将其保存在节点i的通信记录表中;

预测第n+1个时间片的交互次数:

根据采集到的n个时间片的交互次数建立时间序列,采用三次指数平滑法预测下一个时间片n+1内节点i和j之间的交互次数,预测交互次数,记作计算公式如下:

预测系数an、bn、cn的取值可由如下公式计算得到:

其中:分别是一次、二次、三次指数平滑数,由如下公式计算得到:

是三次指数平滑法的初始值,其取值为:

α是平滑系数(0<α<1),体现信任的时间衰减特性,即离预测值越近的时间片的yt权重越大,离预测值越远的时间片的yt权重越小;一般地,如果数据波动较大,且长期趋势变化幅度较大,呈现明显迅速的上升或下降趋势时α应取较大值(0.6~0.8),增加近期数据对预测结果的影响;当数据有波动,但长期趋势变化不大时,α在0.1~0.4之间取值;如果数据波动平稳,α应取较小值(0.05~0.20);

计算直接信任值:

节点j的直接信任值tdij为预测交互次数和真实交互次数yn+1的相对误差,

步骤二,采用多路径信任推荐方式而得到的计算式计算间接信任值;收集可信节点对节点j的直接信任值:

节点i向所有满足tdik≤φ的可信关联节点询问其对节点j的直接信任值,其中φ为推荐节点的可信度阈值,根据可信度的要求精度,φ的取值范围为0~0.4;

计算间接信任值:

综合计算所收集到的信任值,得到节点j的间接信任值trij,

其中,set(i)为观测节点i的关联节点中与j节点有过交互且其直接信任值满足tdik≤φ的节点集合;

步骤三,由直接信任值和间接信任值整合计算得出综合信任值,综合信任值(tij)的计算公式如下:tij=βtdij+(1-β)trij,其中β(0≤β≤1)表示直接信任值的权重,当β=0时,节点i和节点j没有直接交互关系,综合信任值的计算直接来自于间接信任值,判断较客观;当β=1时,节点i对节点j的综合信任值全部来自于直接信任值,在这种情况下,判断较为主观,实际计算根据需要确定β的取值;

加速管理和控制模块,用于接收企业网关模块的处理能力,根据企业网关的处理能力和应用的加速模块确定加速策略,将加速策略发送给云服务平台;

企业网管模块,用于向加速管理和控制模块注册处理能力;缓存应用的加速模块,接收来自用户的应用服务请求,通过应用的服务端和缓存的应用的加速模块为用户提供服务;

客户计算机,用于接受企业网管模块的服务和云服务平台的申请应用服务请求;

所述客户计算机设置有无线网络模块,所述无线网络模块的网络节点部署方法包括:

步骤一,无线网络节点部署:无线网络工作区域中包括1个源节点n,1个目的节点sink和n个中间节点b={b1,b2,…,bn};其中,源节点n负责生成含水印数据包,目的节点sink负责接收数据包,中间节点b={b1,b2,…,bn}负责将源节点n生成的含水印数据包传输到目的节点sink,每个中间节点包括能量、安全度及位置三个属性,其中第i个中间节点的属性分别记为能量ei∈[0,0.2],安全度si∈[0,10]及位置(xi,yi);

步骤二,生成含水印数据包:首先源节点n生成原始数据包data={data1,data2,…,datai,…,data8},其中第i个数据项datai由28位二进制序列组成;然后生成32位原始水印序列w={w1,w2,…wi,…,w8},其中第i个水印项wi由4位二进制序列组成;再次,将第i个水印项wi追加到第i个数据项datai后,得到32位的第i个含水印数据项wdatai,最后重复这一过程直到得到含水印数据包wdata={wdata1,wdata2,…,wdatai,…,wdata8},i=1,2,…8;

步骤三,选择邻居节点;

(3a)选定源节点n作为当前节点,记为u;

(3b)按照下式,计算当前节点u到目的节点sink的距离dusink:

其中(xu,yu)为当前节点u的位置,(xsink,ysink)为目的节点sink的位置;

(3c)根据公式tr=πr2计算当前节点u的传输范围tr,并将当前节点u传输范围tr内的所有中间节点作为候选邻居节点,得到候选邻居节点集合bm={bm1,bm2,…,bmi,…,bmm},其中π为圆周率3.14,r为当前节点u的传输半径,即当前节点u能够传输数据的最大距离;

(3d)按照下式,计算第i个候选邻居节点bmi到目的节点sink的距离di并将其与当前节点u到目的节点sink的距离dusink进行比较,

如果di<dusink,则将第i个候选邻居节点bmi作为邻居节点放入邻居节点集合bh中,其中(xi,yi)为候选邻居节点bmi的位置,i=1,2,…m,(xsink,ysink)为目的节点sink的位置;

(3e)重复步骤(3d),直到处理完候选邻居节点集合bm={bm1,bm2,…,bmi,…,bmm}中的所有候选邻居节点,得到邻居节点集合bh={bh1,bh2,…,bhi,…,bhh};

步骤四,转发含水印数据包;

步骤五,水印提取和检测;

步骤六,重复步骤二~步骤五,直到无线网络中任一中间节点找不到满足条件的下一跳节点进行数据包转发时终止;

所述无线网络模块的快速唤醒关联方法包括:

步骤一,hub根据当前通信的需要设置sss、asso_ctrl域为相应的值,构造wakeup帧;在发送wakeup帧后,向节点发送t-poll帧;

步骤二,节点收到唤醒帧后,获得本次关联的配置信息以及hub的公钥pkb,然后选择自己的私钥ska长为256比特,计算公钥计算公钥pka=ska×g,计算出公钥后,节点再计算基于口令的公钥,pka'=pka-q(pw),q(pw)=(qx,qy),qx=232×pw+mx;节点根据收到的wakeup帧中的nonce_b以及自身选择的nonce_a计算:

kmac_1a

=cmac(temp_1,add_aadd_bnonce_anonce_bsss,64)

kmac_2a

=cmac(temp_1,add_badd_anonce_bnonce_asss,64);

利用上述计算的信息pka、kmac_2a构造第一关联请求帧,并向hub发送;

步骤三,hub收到第一关联请求帧后,首先复原当前节点的公钥pka=pka'+q(pw),q(pw)=(qx,qy),qx=232×pw+mx;mx为使qx满足椭圆曲线上的点的最小非负整数;计算dhkey=x(skb×pka)=x(ska×skb×g),这里x()函数是取椭圆曲线密钥的x坐标值,temp_1=rmb_128(dhkey),根据收到的信息以及计算得到的信息计算:

kmac_1b

=cmac(temp_1,add_aadd_bnonce_anonce_bsss,64)

kmac_2b

=cmac(temp_1,add_badd_anonce_bnonce_asss,64)

对比收到的kmac_2a和计算得到的kmac_2b,如果相同则继续构造第二关联请求帧并进入本次关联请求的步骤五,如果不同则取消本次关联请求;

步骤四,节点收到第二关联请求帧,对比在步骤二中计算的kmac_1a与收到的kmac_1b,如果不同则取消本次关联请求,如果相同则进入本次关联的步骤五步;

步骤五,节点与hub计算mk=cmac(temp_2,nonce_anonce_b,128),temp_2=lmb(dhkey),为dhkey的最左128位;双方完成唤醒关联。

进一步,所述企业网管模块的数据加密方法包括:

1)设定初始密钥x0;

2)给定一组数据码xn,n=1,...,n,n为欲加密的数据码总数;

3)不可逆转换步骤,用于将输入的一组p位二进制位的数据码xn转换为q位二进制位的转换码zm,即zm=u(xn-1);

4)暂存步骤,暂存所述转换后的数据码zm以将其延迟一个工作周期;

5)组合步骤,接收延迟的转换后的数据码zm,并将其组合成为p位二进制位码后输出;

6)异或逻辑运算步骤,接收所述组合步骤的输出和所述数据码xn作为输入,经过异或逻辑操作后输出加密后的所述数据码yn:

yn=(xnxoru(xn-1))。

进一步,所述无线网络模块的无线接入点及局域网交换机在实时数据传输时隙参数码指定的时钟到达发送实时数据传输启动码时间时,检测原局域网传输协议传输工作状态,当原局域网传输协议下传输状态为用户终端数据发送结束时,无线接入点及局域网交换机向实时数据用户终端发送实时数据传输启动码;激活时分vlan路由表中的各个相关局域网交换机的相关端口在指定的子时隙中呈现为集线器工作模式,即当激活时分vlan路由表中所包含的一个交换机的相关端口有输入数据时,将该数据复制到激活时分vlan路由表中所包含的相关交换机的相关端口予以输出;当激活vlan路由表所包含的某些无线实时数据用户终端在同一个无线接入点接入时,该无线接入点将在对应的无线子时隙上行传输通道收到的无线上行数据码通过无线子时隙下行传输通道发送出去;无线接入点及局域网交换机在发送的信道标识码中保持空闲子时隙及应急子时隙编号及对应子时隙的位置不变,对接收到的的实时数据码分配占用子时隙编号及对应子时隙位置。

本发明的优点及积极效果为:在企业网关模块上运行云计算的加速模块,通过加速管理和控制模块进行加速策略维护,并由云服务平台根据加速策略调度加速模块,充分利用企业网关模块的位置优势和计算能力,对云服务平台进行优化,提高系统的运行效率。

附图说明

图1是本发明实施例提供的基于云服务平台的大规模数据计算加速系统结构示意图;

图中:1、云服务平台;2、加速管理和控制模块;3、企业网管模块;4、客户计算机。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示,本发明实施例提供的基于云服务平台的大规模数据计算加速系统包括:云服务平台1、加速管理和控制模块2、企业网管模块3、客户计算机4。

云服务平台1,用于接收来自企业网管模块3的应用服务请求,从加速管理和控制平台获得加速策略,根据加速策略将应用的加速模块下载到企业网关模块3进行缓存。

加速管理和控制模块2,用于接收企业网关模块3的处理能力,根据企业网关的处理能力和应用的加速模块确定加速策略,将加速策略发送给云服务平台1。

企业网管模块3,用于向加速管理和控制模块2注册处理能力;缓存应用的加速模块,接收来自用户的应用服务请求,通过应用的服务端和缓存的应用的加速模块为用户提供服务。

客户计算机4,用于接受企业网管模块3的服务和云服务平台1的申请应用服务请求。

所述云计算平台1的信任值计算方法包括以下步骤:

步骤一,采集节点间不同时间片的交互次数,根据得到的数据建立时间序列,通过三次指数平滑法来预测节点间下一个时间片的交互次数,将交互次数预测值与实际值的相对误差作为节点的直接信任值;采集网络观测节点i与节点j之间的n个时间片的交互次数:

选取一定时间间隔t作为一个观测时间片,以观测节点i和被测节点j在1个时间片内的交互次数作为观测指标,真实交互次数,记作yt,依次记录n个时间片的yn,并将其保存在节点i的通信记录表中;

预测第n+1个时间片的交互次数:

根据采集到的n个时间片的交互次数建立时间序列,采用三次指数平滑法预测下一个时间片n+1内节点i和j之间的交互次数,预测交互次数,记作计算公式如下:

预测系数an、bn、cn的取值可由如下公式计算得到:

其中:分别是一次、二次、三次指数平滑数,由如下公式计算得到:

是三次指数平滑法的初始值,其取值为:

α是平滑系数(0<α<1),体现信任的时间衰减特性,即离预测值越近的时间片的yt权重越大,离预测值越远的时间片的yt权重越小;一般地,如果数据波动较大,且长期趋势变化幅度较大,呈现明显迅速的上升或下降趋势时α应取较大值(0.6~0.8),增加近期数据对预测结果的影响;当数据有波动,但长期趋势变化不大时,α在0.1~0.4之间取值;如果数据波动平稳,α应取较小值(0.05~0.20);

计算直接信任值:

节点j的直接信任值tdij为预测交互次数和真实交互次数yn+1的相对误差,

步骤二,采用多路径信任推荐方式而得到的计算式计算间接信任值;收集可信节点对节点j的直接信任值:

节点i向所有满足tdik≤φ的可信关联节点询问其对节点j的直接信任值,其中φ为推荐节点的可信度阈值,根据可信度的要求精度,φ的取值范围为0~0.4;

计算间接信任值:

综合计算所收集到的信任值,得到节点j的间接信任值trij,

其中,set(i)为观测节点i的关联节点中与j节点有过交互且其直接信任值满足tdik≤φ的节点集合;

步骤三,由直接信任值和间接信任值整合计算得出综合信任值,综合信任值(tij)的计算公式如下:tij=βtdij+(1-β)trij,其中β(0≤β≤1)表示直接信任值的权重,当β=0时,节点i和节点j没有直接交互关系,综合信任值的计算直接来自于间接信任值,判断较客观;当β=1时,节点i对节点j的综合信任值全部来自于直接信任值,在这种情况下,判断较为主观,实际计算根据需要确定β的取值;

所述客户计算机4设置有无线网络模块,所述无线网络模块的网络节点部署方法包括:

步骤一,无线网络节点部署:无线网络工作区域中包括1个源节点n,1个目的节点sink和n个中间节点b={b1,b2,…,bn};其中,源节点n负责生成含水印数据包,目的节点sink负责接收数据包,中间节点b={b1,b2,…,bn}负责将源节点n生成的含水印数据包传输到目的节点sink,每个中间节点包括能量、安全度及位置三个属性,其中第i个中间节点的属性分别记为能量ei∈[0,0.2],安全度si∈[0,10]及位置(xi,yi);

步骤二,生成含水印数据包:首先源节点n生成原始数据包data={data1,data2,…,datai,…,data8},其中第i个数据项datai由28位二进制序列组成;然后生成32位原始水印序列w={w1,w2,…wi,…,w8},其中第i个水印项wi由4位二进制序列组成;再次,将第i个水印项wi追加到第i个数据项datai后,得到32位的第i个含水印数据项wdatai,最后重复这一过程直到得到含水印数据包wdata={wdata1,wdata2,…,wdatai,…,wdata8},i=1,2,…8;

步骤三,选择邻居节点;

(3a)选定源节点n作为当前节点,记为u;

(3b)按照下式,计算当前节点u到目的节点sink的距离dusink:

其中(xu,yu)为当前节点u的位置,(xsink,ysink)为目的节点sink的位置;

(3c)根据公式tr=πr2计算当前节点u的传输范围tr,并将当前节点u传输范围tr内的所有中间节点作为候选邻居节点,得到候选邻居节点集合bm={bm1,bm2,…,bmi,…,bmm},其中π为圆周率3.14,r为当前节点u的传输半径,即当前节点u能够传输数据的最大距离;

(3d)按照下式,计算第i个候选邻居节点bmi到目的节点sink的距离di并将其与当前节点u到目的节点sink的距离dusink进行比较,

如果di<dusink,则将第i个候选邻居节点bmi作为邻居节点放入邻居节点集合bh中,其中(xi,yi)为候选邻居节点bmi的位置,i=1,2,…m,(xsink,ysink)为目的节点sink的位置;

(3e)重复步骤(3d),直到处理完候选邻居节点集合bm={bm1,bm2,…,bmi,…,bmm}中的所有候选邻居节点,得到邻居节点集合bh={bh1,bh2,…,bhi,…,bhh};

步骤四,转发含水印数据包;

步骤五,水印提取和检测;

步骤六,重复步骤二~步骤五,直到无线网络中任一中间节点找不到满足条件的下一跳节点进行数据包转发时终止;

所述无线网络模块的快速唤醒关联方法包括:

步骤一,hub根据当前通信的需要设置sss、asso_ctrl域为相应的值,构造wakeup帧;在发送wakeup帧后,向节点发送t-poll帧;

步骤二,节点收到唤醒帧后,获得本次关联的配置信息以及hub的公钥pkb,然后选择自己的私钥ska长为256比特,计算公钥计算公钥pka=ska×g,计算出公钥后,节点再计算基于口令的公钥,pka'=pka-q(pw),q(pw)=(qx,qy),qx=232×pw+mx;节点根据收到的wakeup帧中的nonce_b以及自身选择的nonce_a计算:

kmac_1a

=cmac(temp_1,add_aadd_bnonce_anonce_bsss,64)

kmac_2a

=cmac(temp_1,add_badd_anonce_bnonce_asss,64);

利用上述计算的信息pka、kmac_2a构造第一关联请求帧,并向hub发送;

步骤三,hub收到第一关联请求帧后,首先复原当前节点的公钥pka=pka'+q(pw),q(pw)=(qx,qy),qx=232×pw+mx;mx为使qx满足椭圆曲线上的点的最小非负整数;计算dhkey=x(skb×pka)=x(ska×skb×g),这里x()函数是取椭圆曲线密钥的x坐标值,temp_1=rmb_128(dhkey),根据收到的信息以及计算得到的信息计算:

kmac_1b

=cmac(temp_1,add_aadd_bnonce_anonce_bsss,64)

kmac_2b

=cmac(temp_1,add_badd_anonce_bnonce_asss,64)

对比收到的kmac_2a和计算得到的kmac_2b,如果相同则继续构造第二关联请求帧并进入本次关联请求的步骤五,如果不同则取消本次关联请求;

步骤四,节点收到第二关联请求帧,对比在步骤二中计算的kmac_1a与收到的kmac_1b,如果不同则取消本次关联请求,如果相同则进入本次关联的步骤五步;

步骤五,节点与hub计算mk=cmac(temp_2,nonce_anonce_b,128),temp_2=lmb(dhkey),为dhkey的最左128位;双方完成唤醒关联。

所述企业网管模块的数据加密方法包括:

1)设定初始密钥x0;

2)给定一组数据码xn,n=1,...,n,n为欲加密的数据码总数;

3)不可逆转换步骤,用于将输入的一组p位二进制位的数据码xn转换为q位二进制位的转换码zm,即zm=u(xn-1);

4)暂存步骤,暂存所述转换后的数据码zm以将其延迟一个工作周期;

5)组合步骤,接收延迟的转换后的数据码zm,并将其组合成为p位二进制位码后输出;

6)异或逻辑运算步骤,接收所述组合步骤的输出和所述数据码xn作为输入,经过异或逻辑操作后输出加密后的所述数据码yn:

yn=(xnxoru(xn-1))。

所述无线网络模块的无线接入点及局域网交换机在实时数据传输时隙参数码指定的时钟到达发送实时数据传输启动码时间时,检测原局域网传输协议传输工作状态,当原局域网传输协议下传输状态为用户终端数据发送结束时,无线接入点及局域网交换机向实时数据用户终端发送实时数据传输启动码;激活时分vlan路由表中的各个相关局域网交换机的相关端口在指定的子时隙中呈现为集线器工作模式,即当激活时分vlan路由表中所包含的一个交换机的相关端口有输入数据时,将该数据复制到激活时分vlan路由表中所包含的相关交换机的相关端口予以输出;当激活vlan路由表所包含的某些无线实时数据用户终端在同一个无线接入点接入时,该无线接入点将在对应的无线子时隙上行传输通道收到的无线上行数据码通过无线子时隙下行传输通道发送出去;无线接入点及局域网交换机在发送的信道标识码中保持空闲子时隙及应急子时隙编号及对应子时隙的位置不变,对接收到的的实时数据码分配占用子时隙编号及对应子时隙位置。

本发明实施例提供的基于云服务平台的大规模数据计算加速方法包括:

步骤一,企业网关登录网络后,到云服务平台中的加速管理和控制模块注册,注册的内容包括冗余处理能力。

步骤二,客户计算机申请应用服务,应用服务请求经过企业网关模块转发到云服务平台。

步骤三,云服务平台查看客户申请的应用是否存在加速模块,如果存在,云服务平台向加速管理和控制模块申请加速,携带企业网关模块和应用的加速模块信息。

步骤四,加速管理和控制模块根据企业网关的处理能力,加速模块的能力确定加速策略,将加速策略发送给云服务平台。

步骤五,云服务平台根据加速策略将加速模块下载到企业网关模块进行缓存。

步骤六,企业网关模块上应用的加速模块和云服务平台上应用的服务端共同为客户提供服务。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1