本发明属于无线通信网络技术领域,具体涉及一种面向感知大数据重建的加速分布式优化算法。
背景技术
在感知大数据时代,感知数据的数量通过无处不在的无线传感设备高速生长,并且超出了传统无线传感器网络的处理和管理能力。因此,我们称现在的传感器网络为无线感知大数据网络,它能有效地组织和管理感知大数据。
处理大量感知数据的主要挑战之一是数据量越来越大,导致存储设备无法跟上感知数据生产速度的增长。
目前,解决数据规模与存储容量之间增长速率不匹配问题有两种方法,这两种方法的共同目标是减少数据传输和存储容量。
一种方法是关键数据点检索方法,另一种是纯数据压缩方法;虽然前一种方法可以显著减少感知大数据的传输量,但恢复精度不如第二种方法;第二种方法的典型代表是基于压缩感知(compressedsensing,cs)的压缩方法,cs将计算负担转移到汇聚节点,并且可以有效地探索时空数据的相关性,在感知大数据网络中得以成功应用。
总体来说,解决数据规模和存储容量之间增长速率不匹配问题存在两个挑战,一个是无法达到高精度的数据质量标准;另一个是不能满足低延迟的要求。
面对上述两个挑战,即现有技术在提高恢复性能方面的问题以及在解决优化问题时无法满足低时延的问题,现有技术主要解决以上单一挑战。
根据具有不同数据恢复精度的压缩方案,现有技术可以分为以下三类:
第一类调查数据压缩方法以减轻存储负担,该方案通过设计不同的数据压缩方案,有效减少传输和接收数量,通过压缩数据来缓解增加感知大数据的增长的存储压力,但是恢复精度仍有待提高;
第二类是通过优化cs理论的内部参数来研究数据恢复精度的提高方法,该方案通过考虑测量矩阵和稀疏字典之间的相关性,提出优化测量矩阵,可以提高原始数据的重建质量;
第三类是通过引入网络资源优化来实现数据恢复精度的提高,目前,对于从网络资源角度提高恢复性能的研究还很少,虽然一些技术提出了网络效用最大化问题来提高压缩数控流的恢复性能,但它是解决无线干扰问题的有线网络场景;现有技术消除了上述的无线干扰问题,并从网络资源分配的角度构造重构误差优化模型,可以最大限度地减少原始数据的恢复错误;一般来说,某些特定的业务需要实时处理能力,如自然灾害检测、军事防御、火灾探测、交通监控等,然而,迭代确定最优解的收敛速度难以满足采用传统次梯度算法的实时或近实时的要求。
技术实现要素:
本发明的目的在于提高感知大数据的重建精度,提出一种面向感知大数据重建的加速分布式优化算法,实现压缩数据的重构误差最小化以及求解唯一最优值的收敛速度提高,解决现有技术无法同时满足高精度数据质量和低时延要求的技术问题。
本发明采用如下技术方案,一种面向感知大数据重建的加速分布式优化算法,具体步骤如下:
1)构建感知大数据的重构误差r(xl)最小化模型;
2)基于拉格朗日乘子构造原始优化问题和相应的对偶问题;
3)利用双重分解法将原始优化问题进行分解;
4)采用加速次梯度方法解决对偶问题,构建加速优化算法进行求解。
优选地,所述步骤1)中感知大数据的重构误差最小化模型具体为:
数据流l中感知大数据的重构误差函数r(xl)为,
r(xl)=c1(xl)-2α
其中常数c1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,xl是数据流l的总流量,即单位时间内汇聚节点接收的测量值;
重构误差最小化模型为:
约束条件为:
其中,f表示传输速率,g表示群流;
第一个约束条件表示汇聚节点处接收到的数据流l的总流量等于所有感知节点的流量总和,其中在汇聚节点的流量为0,表示为
第二个约束条件表示发送数据满足流量守恒定律,链接(i,j)中除源节点和汇聚节点以外,其余感知节点的输入流量总和等于输出流量的总和,源节点为起始发送数据流的感知节点,从节点i输出的输出流量
其中
帧内编码可以激发同一链接中不同感知节点的相同流量,通过一起编码来共享链接量。
第三个约束条件表示互相干扰的链接不能同时发送数据流,即属于同一个集团
链接(i,j)上所有数据流l∈g的传输速率总和不超过链接(i,j)的相关容量能力cij,即:
第四个约束条件表示定义变量
优选地,所述步骤2)的具体步骤为:
21)基于重构误差r(xl)最小化模型,将第二和第三约束条件的不等式右边项左移再分别乘以两个乘子,即对两个约束条件进行了扩大或缩小,利用拉格朗日乘子
其中,x表示流量,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,xl是数据流l的总流量,
22)构造如下格式的原始优化问题:
建立相应对偶问题如下:
约束条件为:λ≥0;ε≥0(6)
优选地,所述步骤3)具体为将原始优化问题分解为拥塞控制问题和无线链接流量守恒及互干扰问题;
拥塞控制问题为:
约束条件为:
其中,x表示流量,r为重构误差函数,
无线链接流量守恒及互干扰问题为:
约束条件为:
其中,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,
优选地,所述步骤4)构建加速优化算法进行求解具体为:
41)基于拥塞价格因子
其中,
42)基于拥塞价格因子
其中,
43)每个链接(i,j),i∈{v-d}根据步骤42)得到的第t-1次迭代最优传输速率以及如下公式更新拥塞价格因子
其中
44)感知节点i根据步骤42)在第t-1次迭代中更新的最优传输速率以及如下公式更新干扰价格因子
其中
45)迭代次数加一,返回到步骤41)并重复执行,直到迭代收敛结束。
优选地,所述拥塞控制问题和无线链接流量守恒及互干扰问题的最优解求解方法具体为:
拥塞控制问题:基于拥塞控制问题l1(x,λ)的目标函数,感知节点i∈{v-d}的最优流量
利用低通滤波方法解决优化问题(9),感知节点i∈{v-d}的流量通过如下公式更新:
根据最优化拉格朗日增广变量的定义,增广变量
按照如下公式计算:
其中,xl(t+1)表示第t次迭代后数据流l的总流量;
无线链接流量守恒及互干扰问题:基于无线链接流量守恒及互干扰问题l2(f,λ,ε)的目标函数,数据流l在链接(i,j)上的最优传输速率如公式(10)所示,根据拥塞价格因子
求解函数l2(f,λ,ε)相对于变量
结合一阶拉格朗日算法和低通滤波方法按照公式(17)组成联合求解方法,
链接(i,j)上的数据流l的传输速率更新为:
其中增广变量
发明所达到的有益效果:本发明是一种面向感知大数据重建的加速分布式优化算法,实现压缩数据的重构误差最小化以及求解唯一最优值的收敛速度提高,解决现有技术无法同时满足高精度数据质量和低时延要求的技术问题;本发明可用于具有相似网络拓扑的不同尺寸的网络,相比于常规方法,本发明设计方法可以稳定收敛到最优值,并且可以显着提高常规优化算法的收敛速度,本发明可将传统优化求解算法的收敛速度从o(1/t)提升到o(1/t^2),o(n)表示时间复杂度,n=1/t到n=1/t^2表示整个求解算法耗时从1/t缩短到1/t^2,,而且可适用于不同规模大小的网络,不会牺牲加速收敛效果。
附图说明
图1为本发明实施例感知大数据重建优化模型的求解步骤流程图;
图2为具有12个节点的网络拓扑中步长为0.06时流率的演变图;
图3为具有12个节点的网络拓扑中步长为0.06时恢复误差的演变图;
图4为具有12个节点的网络拓扑中步长为0.04时流率演变图;
图5为具有12个节点的网络拓扑中步长为0.04时恢复误差的演变图;
图6为步长相同时20个节点和30个节点的网络规模下的流率演变图;
图7为步长相同时20个节点和30个节点的网络规模下的恢复误差演变图。
具体实施方式
下面根据附图并结合实施例对本发明的技术方案作进一步阐述。
首先,构建一个感知大数据网络,其中汇聚节点负责收集感知节点观察到的感知数据。整个网络有许多感知节点,每个感知节点通过cs理论同时实现对原始数据的压缩和采样。感知节点向汇聚节点(sink节点)发送采样数据,同时作为中继节点转发来自其他感知节点的数据。线性网络编码(networkcoding,nc)在感知节点转发其自身和传入数据之前执行。最后,汇聚节点通过一跳或多跳从所有感知节点接收编码数据。
同一个时隙内不同感知节点的观察数据被认为是同一个数据流,在模型中只执行内流nc,即只对相同流量的数据进行随机nc操作。
随后,假设来自感知节点的采样数据通过多个链接传播到相邻节点,并通过预定路由转发到汇聚节点。对于通信覆盖的重叠,存在不同环节的相互干扰,因此引入作为基本冲突集合的派系。派系是由相互干扰的链接组成的,派系中同一时隙只有一个链接可以传输数据,以避免相互干扰。集合ec由网络中的所有派系组成,即随机派系
由于无线链接的不稳定性和不可靠性,假设感知节点以一定概率成功在链接上传输编码数据。传输速率
制定优化模型以最大限度地减少来自感知大数据网络的多组数据流g的重构误差。当cs的测量矩阵具有有限等距性质(restrictedisometryproperty,rip)时,已知cs的恢复精度重构算法在现有的cs理论文献中与汇聚节点接收到的测量值和感知数据的稀疏水平相关联。从j.haupt和r.nowak,的文章中得到数据流l∈g中感知数据的平均重建误差上限为
图1为求解感知大数据重建优化模型的步骤流程图,根据网络模型,测试中提供了三种不同大小的相似网络拓扑,以测试加速优化算法的收敛和加速效果。这三种网络拓扑结构分别由12个,20个和30个节点组成。一种面向感知大数据重建的加速分布式优化算法,包括以下步骤:
1)构建感知大数据的重构误差最小化模型;
在感知大数据的时间维度上,假设来自群流g的不同数据流在一定的基础上都是可压缩的数据,而来自g的不同数据流具有相同的可压缩程度,数据流l中感知大数据的重构误差函数r(xl)为,
r(xl)=c1(xl)-2α
其中常数c1>0,α=α1≥0是与原始感知数据的可压缩程度相关的常数,αl表示数据流l中感知数据的稀疏水平,xl是数据流l的总流量,即单位时间内汇聚节点接收的测量值;
重构误差最小化模型为:
约束条件为:
其中,f表示传输速率,g表示群流;
第一个约束条件表示汇聚节点处接收到的数据流l的总流量等于所有感知节点的流量总和,其中在汇聚节点的流量为0,表示为
第二个约束条件表示发送数据满足流量守恒定律,链接(i,j)中除源节点和汇聚节点以外,其余感知节点的输入流量总和等于输出流量的总和,源节点为起始发送数据流的感知节点,从节点i输出的输出流量
其中
帧内编码可以激发同一链接中不同感知节点的相同流量,通过一起编码来共享链接量。
第三个约束条件表示互相干扰的链接不能同时发送数据流,即属于同一个集团
链接(i,j)上所有数据流l∈g的传输速率总和不超过链接(i,j)的相关容量能力cij,即:
第四个约束条件表示定义变量
2)基于拉格朗日乘子构造原始优化问题和相应的对偶问题;
21)将第二和第三约束条件的不等式右边项左移再分别乘以两个乘子,即对两个约束条件进行了扩大或缩小,利用拉格朗日乘子
其中,x表示流量,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,xl是数据流l的总流量,
22)构造如下格式的原始优化问题:
建立相应对偶问题如下:
约束条件为:λ≥0;ε≥0.(6)
3)利用双重分解法将原始优化问题进行分解;
根据拉格朗日函数的可分性和d(λ,ε)的陈述,d(λ,ε)可以分解为拥塞控制问题和无线链接流量守恒及互干扰问题;
拥塞控制问题为:
约束条件为:
其中,x表示流量,r为重构误差函数,
无线链接流量守恒及互干扰问题为:
约束条件为:
其中,f表示传输速率,λ、ε均为拉格朗日乘子,λ、ε是对偶变量,
4)采用加速次梯度方法解决对偶问题,构建加速优化算法进行求解。
41)基于拥塞价格因子
其中,
基于拥塞控制问题l1(x,λ)的目标函数,感知节点i∈{v-d}的最优流量
利用低通滤波方法解决优化问题(9),感知节点i∈{v-d}的流量通过如下公式更新:
根据最优化拉格朗日增广变量的定义,增广变量
最后将所有节点流量汇聚到汇聚节点,按照如下公式计算:
其中,xl(t+1)表示第t次迭代后数据流l的总流量;
42)基于拥塞价格因子
其中,
基于无线链接流量守恒及互干扰问题l2(f,λ,ε)的目标函数,数据流l在链接(i,j)上的最优传输速率如公式(10)所示,根据拥塞价格因子
求解函数l2(f,λ,ε)相对于变量
结合一阶拉格朗日算法和低通滤波方法按照公式(17)组成联合求解方法,链接(i,j)上的数据流l的传输速率更新为:
其中增广变量
43)每个链接(i,j),i∈{v-d}根据步骤42)得到的第t-1次迭代最优传输速率以及如下公式更新拥塞价格因子
其中
44)感知节点i根据步骤42)在第t-1次迭代中更新的最优传输速率以及如下公式更新干扰价格因子
其中
45)迭代次数加一,返回到步骤41)并重复执行,直到迭代收敛结束。
结合图2,3可以看出,在具有12个节点的网络拓扑结构中,步长为0.06时,常规方法和本发明方法流量的流速随迭代次数逐渐收敛,但显然本发明方法的迭代次数半于常规方法,能够显著提高一般优化算法的收敛速度。当流量接近最优值时,恢复误差(原问题的目标函数)也收敛到相应的最优值。这也意味着通过采用所提出的加速方法,重建误差可以被快速地最小化并且获得低延迟。
根据图4,5可知,在同等规模的拓扑结构中,将步长减为0.04时,虽然加速方法的收敛速度变慢但是与常规方法相比效果依然显著。同时观察到步长大小与收敛速度成正相关,所以使用时仍需自适应地选择步长,并通过实现最优解的收敛速度和精度之间的权衡来设置合适的大小。
由图6,7可以看出,常规方法和本发明设计方法在20、30个节点的拓扑网络结构中,步长相同时,不同网络规模的收敛值对于使用类似的网络拓扑是近似的,加速方法的性能效果对网络规模从20节点到30节点的变化不敏感。