一种基于边缘计算的延迟优化方法与流程

文档序号:23624624发布日期:2021-01-12 10:36阅读:72来源:国知局
一种基于边缘计算的延迟优化方法与流程

本发明涉及边缘计算技术领域,特别涉及一种基于边缘计算的延迟优化方法。



背景技术:

边缘计算,是一种分布式的计算模型,作为云数据中心和物联网设备的中间层,提供了计算、网络和存储的功能,让基于云数据中心的服务可以离物联网设备更近。边缘计算的概念的引入,也是为了应对传统云计算在物联网应用时所面临的挑战。边缘计算让数据在边缘网络处处理。边缘网络基本上由终端设备(例如移动手机、智能设备)、边缘设备(例如边界路由器、机顶盒、网桥、基站、无线接入点)、边缘服务器等构成。这些设备具有一定的性能用来支持边缘计算。作为一种本地化的计算模式,边缘计算提供了更快的响应速度,通常情况下不将大量的原始数据发回云数据中心。

随着大数据时代的来临,企业的数据量越来越大,时效性要求越来越高,如今,对大数据的搜集、整理、分析及应用都需要相应的技术实现与支撑,如果处理不当,则会产生较高的数据处理延迟,影响服务效率;现有的etl性能上越来越难满足企业的要求,导致数据延时以及数据不全,影响企业决策分析以及跨部门的协作,成为企业未来发展的瓶颈。



技术实现要素:

针对现有技术存在的不足,本发明目的是提供一种基于边缘计算的延迟优化方法。本发明首先对采集到的数据包并进行分析,计算得出数据包的处理优先值,根据处理优先值的大小依次对对应数据包进行处理,使数据处理更加有层次,有条不紊,提高了数据处理的效率;

通过对数据传输的节点资源与时延要求进行具体分析,测量各路径的往返时间rtt及往返时间的变化导数值;根据往返时延rtt和往返时延rtt变化导数值对各传输路径进行初步筛选,淘汰过度拥塞的路径,保留传输质量和稳定性尚好的路径作为可用路径;避免了传输不稳定、拥塞较重的路径对整体性能的干扰和带来的额外运算复杂度;

通过为各路径分配数据传输配额,通过粒子群算法实现自动分配路径资源与数据传输的节点数量,调度器按照得出的各路径的数据传输配额分发传输数据包,本发明利用往返时延的变化情况判断路径的拥塞程度,同时设计数据传输配额估算机制,准确估计当前选择路径的数据传输配额,合理控制调度器调度到此路径上的数据包数,避免调度数据包过多发生拥塞带来的传输动荡问题。

本发明的目的可以通过以下技术方案实现:一种基于边缘计算的延迟优化方法,包括如下步骤:

步骤一:将设置在云服务器上的数据采集模块和物联网平台进行通讯连接,并将设置在云服务器上的数据处理模块和物联网平台进行通讯连接,数据处理模块用于获取数据采集模块上采集到的数据包并进行分析;

步骤二:对数据传输的节点资源与时延要求进行具体分析,测量各路径的往返时间rtt及往返时间的变化导数值,具体过程为:

s21:计算出数据从一个主机发送到另一个主机然后又返回至发送主机节点过程中所花费的单程时间,然后根据单程时间计算出数据发送的往返时延;

定义4个时间标签,4个时间标签分别用t1、t2、t3和t4表示;t1表示节点a的发送时刻,t2表示节点b的接收时刻,t3表示节点b往返发送时刻,t4表示返回到达节点a的时刻,所述t2和t4由发送端节点a标识,t2和t3由接收端节点b标识,往返时延rtt的计算公式如下:

rtt=(t4-t1)-(t3-t2)

其中,(t1-t2)为接收端处理时间,处理时间远远小于传输时间,因此,(t3-t2)近似等于0,则往返时延rtt=t4-t1;

s22:建立往返时延rtt随时间变化的曲线图;根据往返时延rtt的变化情况将往返时延rtt随时间变化的曲线分割为上升阶段、过渡阶段和下降阶段;

分别计算曲线图中上升阶段、过渡阶段和下降阶段曲线方程的往返时延rtt变化导数值;

s23:当往返时延rtt处于上升阶段,若在第一预设时间t1内,往返时延rtt变化导数值均大于等于预设导数阈值;则表示该路径为拥塞路径,直接摒弃;

当往返时延rtt处于下降阶段,若在第一预设时间t1内,往返时延rtt变化导数值均小于零且往返时延rtt变化导数值的绝对值均大于等于预设导数阈值;则表示该路径正在快速恢复,保留该路径;

s24:当往返时延rtt处于过渡阶段,若在第一预设时间t1内,往返时延rtt变化导数值的绝对值均小于预设导数阈值,则表示该路径数据传输稳定;

若往返时延rtt小于等于预设时延阈值,则保留该路径;

若往返时延rtt大于预设时延阈值,则摒弃该路径;

步骤三:为各路径分配数据传输配额,通过粒子群算法实现自动分配路径资源与数据传输的节点数量;

步骤四:调度器按照步骤三得出的各路径的数据传输配额分发传输数据包;包括:

调度器选取最低往返时延p0最小的路径作为最佳路径,按步骤三得出的数据传输配额分配数据包进行数据传输,当最低往返时延p0最小的路径的数据传输配额用完之后,再选取最低往返时延p0次小的路径进行传输,依次进行,直到发送完成缓存的全部数据包为止。

进一步地,步骤一中数据处理模块用于获取数据采集模块上采集到的数据包并进行分析,具体步骤包括:

s11:获取预设时间内数据采集模块采集到的数据包的基本信息;所述基本信息包括采集设备、数据类型以及数据大小;

s12:按照采集设备将同一采集设备的采集次数累加形成设备频次,将设备频次标记为f1i;其中i表示第i个采集设备;

按照采集设备将同一采集设备采集的数据大小累加形成设备总量,将设备总量标记为f2i;设备频次f2i与设备总量f1i一一对应;

s13:对设备频次和设备总量进行权重分配,将设备频次的权重标记为z1,将设备总量的权重标记为z2;其中z1+z2=1;

利用公式qi=f1i×z1+f2i×z2分别计算每个采集设备的采集吸引值qi;

s14:按照数据类型将同一数据类型的采集次数累加形成类型频次,将类型频次标记为f3m;其中m表示第m种数据类型;

按照数据类型将同一数据类型的数据大小累加形成类型总量,将类型总量标记为f4m;类型频次f3m与类型总量f4m一一对应;

s15:对类型频次和类型总量进行权重分配,将类型频次的权重标记为z3,将类型总量的权重标记为z4;其中z3+z4=1;

利用公式pm=f3m×z3+f4m×z4分别计算每种数据类型的采集吸引值pm;

s16:利用公式计算得出数据包的处理优先值yim,具体计算公式如下:

其中b1、b2和b3均为预设比例系数,且b1+b2+b3=1,β为均衡因子,取值0.65564321;yim表示第i个采集设备采集的第m种数据类型的处理优先值;

s17:根据处理优先值yim的大小依次对对应数据包进行处理。

进一步地,步骤三中通过粒子群算法实现自动分配路径资源与数据传输的节点数量,具体过程如下:

s31:获取每条路径的最低往返时延并标记为p0;

开始时,为每条路径分配一个数据包进行传输;

s32:当数据包传输完成后,将当前数据包的往返时延标记为px;x=1,…,n;

s33:将px与预设时延阈值进行对比;

若px>预设时延阈值,则认为该路径已经满负荷,不再给该路径添加新的数据包,保持派发当前数据包数给该路径,将当前数据包数标记为该路径的数据传输配额;

若px≤预设时延阈值,则利用公式q=(px-px-1)/px-1×100%计算得出变化幅度q;

s34:若q>预设变化幅度阈值,则认为该路径已经满负荷,不再给该路径添加新的数据包,保持派发当前数据包数给该路径,将当前数据包数标记为该路径的数据传输配额;

若q≤预设变化幅度阈值,则认为该路径还能添加更多的数据包,则会在当前派发数据包数基础上再加一,派发给该路径,继续执行s32;由此得到所有路径的数据传输配额。

本发明的有益效果是:

1、本发明通过对采集到的数据包进行分析,获取预设时间内采集到的数据包的基本信息;按照采集设备将同一采集设备的采集次数累加形成设备频次,按照采集设备将同一采集设备采集的数据大小累加形成设备总量,利用公式qi=f1i×z1+f2i×z2分别计算每个采集设备的采集吸引值qi;再按照数据类型将同一数据类型的采集次数累加形成类型频次,按照数据类型将同一数据类型的数据大小累加形成类型总量,将类型总量标记为f4m;利用公式pm=f3m×z3+f4m×z4分别计算每种数据类型的采集吸引值pm;结合相关算法计算得出数据包的处理优先值yim,根据处理优先值yim的大小依次对对应数据包进行处理;使数据处理更加有层次,有条不紊,提高了数据处理的效率;

2、本发明通过对数据传输的节点资源与时延要求进行具体分析,测量各路径的往返时间rtt及往返时间的变化导数值;当往返时延rtt变化导数值超过了预设导数阈值,说明路径状况正发生剧烈变化,若检测到往返时延rtt是在增大时,说明该路径正要发生严重拥塞,丢弃该路径;若往返时延rtt是在减小时,说明路径状况正在快速恢复,保留该路径;根据往返时延rtt和往返时延rtt变化导数值对各传输路径进行初步筛选,淘汰过度拥塞的路径,保留传输质量和稳定性尚好的路径作为可用路径;避免了传输不稳定、拥塞较重的路径对整体性能的干扰和带来的额外运算复杂度;

3、本发明为各路径分配数据传输配额,通过粒子群算法实现自动分配路径资源与数据传输的节点数量,调度器按照得出的各路径的数据传输配额分发传输数据包;本发明利用往返时延的变化情况判断路径的拥塞程度,同时设计数据传输配额估算机制,准确估计当前选择路径的数据传输配额,合理控制调度器调度到此路径上的数据包数,避免调度数据包过多发生拥塞带来的传输动荡问题。

附图说明

为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。

图1为本发明的流程图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

如图1所示,一种基于边缘计算的延迟优化方法,包括如下步骤:

步骤一:将设置在云服务器上的数据采集模块和物联网平台进行通讯连接,并将设置在云服务器上的数据处理模块和物联网平台进行通讯连接,数据处理模块用于获取数据采集模块上采集到的数据包并进行分析;具体包括:

s11:获取预设时间内数据采集模块采集到的数据包的基本信息;所述基本信息包括采集设备、数据类型以及数据大小;

s12:按照采集设备将同一采集设备的采集次数累加形成设备频次,将设备频次标记为f1i;其中i表示第i个采集设备;

按照采集设备将同一采集设备采集的数据大小累加形成设备总量,将设备总量标记为f2i;设备频次f2i与设备总量f1i一一对应;

s13:对设备频次和设备总量进行权重分配,将设备频次的权重标记为z1,将设备总量的权重标记为z2;其中z1+z2=1;

利用公式qi=f1i×z1+f2i×z2分别计算每个采集设备的采集吸引值qi;

s14:按照数据类型将同一数据类型的采集次数累加形成类型频次,将类型频次标记为f3m;其中m表示第m种数据类型;

按照数据类型将同一数据类型的数据大小累加形成类型总量,将类型总量标记为f4m;类型频次f3m与类型总量f4m一一对应;

s15:对类型频次和类型总量进行权重分配,将类型频次的权重标记为z3,将类型总量的权重标记为z4;其中z3+z4=1;

利用公式pm=f3m×z3+f4m×z4分别计算每种数据类型的采集吸引值pm;

s16:利用公式计算得出数据包的处理优先值yim,具体计算公式如下:其中b1、b2和b3均为预设比例系数,且b1+b2+b3=1,β为均衡因子,取值0.65564321;yim表示第i个采集设备采集的第m种数据类型的处理优先值;

s17:根据处理优先值yim的大小依次对对应数据包进行处理;

步骤二:对数据传输的节点资源与时延要求进行具体分析,测量各路径的往返时间rtt及往返时间的变化导数值,具体过程为:

s21:计算出数据从一个主机发送到另一个主机然后又返回至发送主机节点过程中所花费的单程时间,然后根据单程时间计算出数据发送的往返时延;

定义4个时间标签,4个时间标签分别用t1、t2、t3和t4表示;t1表示节点a的发送时刻,t2表示节点b的接收时刻,t3表示节点b往返发送时刻,t4表示返回到达节点a的时刻,所述t2和t4由发送端节点a标识,t2和t3由接收端节点b标识,往返时延rtt的计算公式如下:

rtt=(t4-t1)-(t3-t2);

其中(t1-t2)为接收端处理时间,处理时间远远小于传输时间,因此,(t3-t2)近似等于0,则往返时延rtt可以利用如下计算式进行表达:

rtt=t4-t1;

s22:建立往返时延rtt随时间变化的曲线图;根据往返时延rtt的变化情况将往返时延rtt随时间变化的曲线分割为上升阶段、过渡阶段和下降阶段;

分别计算曲线图中上升阶段、过渡阶段和下降阶段曲线方程的往返时延rtt变化导数值;

s23:当往返时延rtt处于上升阶段,若在第一预设时间t1内,往返时延rtt变化导数值均大于等于预设导数阈值;则表示该路径为拥塞路径,直接摒弃;

当往返时延rtt处于下降阶段,若在第一预设时间t1内,往返时延rtt变化导数值均小于零且往返时延rtt变化导数值的绝对值均大于等于预设导数阈值;则表示该路径正在快速恢复,保留该路径;

当往返时延rtt变化导数值超过了预设导数阈值,说明路径状况正发生剧烈变化,若检测到往返时延rtt是在增大时,说明该路径正要发生严重拥塞,丢弃该路径;若往返时延rtt是在减小时,说明路径状况正在快速恢复,保留该路径;

s24:当往返时延rtt处于过渡阶段,若在第一预设时间t1内,往返时延rtt变化导数值的绝对值均小于预设导数阈值,则表示该路径数据传输稳定;

若往返时延rtt小于等于预设时延阈值,则保留该路径;

若往返时延rtt大于预设时延阈值,则摒弃该路径;

往返时延rtt和往返时延rtt变化导数值是反映当前路径数据传输情况和传输质量的两个重要参数,往返时延rtt变化导数值越小,表明该路径数据传输越稳定,反之越差;往返时延rtt越小,表明路径传输质量越高,反之越差,rtt持续增大说明网络中数据包正在堆积,继续增大数据传输包数将会引起网络拥塞;本处理过程的意义在于:根据往返时延rtt和往返时延rtt变化导数值对各传输路径进行初步筛选,淘汰过度拥塞的路径,保留传输质量和稳定性尚好的路径作为可用路径;避免了传输不稳定、拥塞较重的路径对整体性能的干扰和带来的额外运算复杂度;

步骤三:为各路径分配数据传输配额,通过粒子群算法实现自动分配路径资源与数据传输的节点数量,具体过程如下:

s31:获取每条路径的最低往返时延并标记为p0;

开始时,为每条路径分配一个数据包进行传输;

s32:当数据包传输完成后,将当前数据包的往返时延标记为px;x=1,…,n;

s33:将px与预设时延阈值进行对比;

若px>预设时延阈值,则认为该路径已经满负荷,不再给该路径添加新的数据包,保持派发当前数据包数给该路径,将当前数据包数标记为该路径的数据传输配额;

若px≤预设时延阈值,则利用公式q=(px-px-1)/px-1×100%计算得出变化幅度q;

s34:若q>预设变化幅度阈值,则认为该路径已经满负荷,不再给该路径添加新的数据包,保持派发当前数据包数给该路径,将当前数据包数标记为该路径的数据传输配额;

若q≤预设变化幅度阈值,则认为该路径还能添加更多的数据包,则会在当前派发数据包数基础上再加一,派发给该路径,继续执行s32;由此得到所有路径的数据传输配额;

步骤四:调度器按照步骤三得出的各路径的数据传输配额分发传输数据包;包括:

调度器选取最低往返时延p0最小的路径作为最佳路径,按步骤三得出的数据传输配额分配数据包进行数据传输,当最低往返时延p0最小的路径的数据传输配额用完之后,再选取最低往返时延p0次小的路径进行传输,依次进行,直到发送完成缓存的全部数据包为止。

本发明利用往返时延的变化情况判断路径的拥塞程度,同时设计数据传输配额估算机制,准确估计当前选择路径的数据传输配额,合理控制调度器调度到此路径上的数据包数,避免调度数据包过多发生拥塞带来的传输动荡问题;

步骤s1中物联网平台上连接有认证管理模块,所述认证管理模块用于对数据采集模块的认证和授权进行管理;所述认证管理模块的工作步骤如下:

ww1:用户通过输入安全码进行安全认证,安全码为随机生成的六位数验证码;随机生成的六位数验证码由数字和英文字母随机混合组成;

ww2:获取安全码中每位字符的输入时刻并标记为mti,i=1,…,6;将相邻字符的输入时刻进行时间差计算得到字符的输入间隔时长并标记为jti,jti=mti+1-mti;

ww3:获取人员输入安全码的总时长并标记为t1,t1=mt6-mt1;设定安全码的预设输入时长为t2,将人员输入安全码的总时长t1与预设输入时长t2进行比对,当t1大于t2时,认证失败;当t1小于等于t2时,继续执行步骤ww4;

ww4:设定字符的预设输入间隔时长为t3;计算出jti与预设输入间隔时长t3的差值得到间隔时长差wjti,若所有的wjti均小于预设间隔时长差值,继续执行步骤ww5,否则认证失败;

ww5:获取安全码中每位字符输入时的压力并标记为yi,设定字符输入时的预设压力阈值为cy;计算出yi与预设压力阈值cy的差值得到压力差dyi,若所有的dyi均小于预设压力差值,则认证成功,否则认证失败。

本发明通过认证管理模块对数据采集模块的认证和授权进行管理,能够有效地防止数据采集模块内部数据被盗用,为数据提供了安全的运行环境。

一种基于边缘计算的延迟优化方法,在工作时,首先数据处理模块获取数据采集模块上采集到的数据包并进行分析,获取预设时间内数据采集模块采集到的数据包的基本信息;按照采集设备将同一采集设备的采集次数累加形成设备频次,按照采集设备将同一采集设备采集的数据大小累加形成设备总量,利用公式qi=f1i×z1+f2i×z2分别计算每个采集设备的采集吸引值qi;再按照数据类型将同一数据类型的采集次数累加形成类型频次,按照数据类型将同一数据类型的数据大小累加形成类型总量,将类型总量标记为f4m;利用公式pm=f3m×z3+f4m×z4分别计算每种数据类型的采集吸引值pm;结合相关算法计算得出数据包的处理优先值yim,根据处理优先值yim的大小依次对对应数据包进行处理;使数据处理更加有层次,有条不紊,提高了数据处理的效率;

然后对数据传输的节点资源与时延要求进行具体分析,测量各路径的往返时间rtt及往返时间的变化导数值;当往返时延rtt变化导数值超过了预设导数阈值,说明路径状况正发生剧烈变化,若检测到往返时延rtt是在增大时,说明该路径正要发生严重拥塞,丢弃该路径;若往返时延rtt是在减小时,说明路径状况正在快速恢复,保留该路径;根据往返时延rtt和往返时延rtt变化导数值对各传输路径进行初步筛选,淘汰过度拥塞的路径,保留传输质量和稳定性尚好的路径作为可用路径;避免了传输不稳定、拥塞较重的路径对整体性能的干扰和带来的额外运算复杂度;

为各路径分配数据传输配额,通过粒子群算法实现自动分配路径资源与数据传输的节点数量,调度器按照得出的各路径的数据传输配额分发传输数据包;包括:调度器选取最低往返时延p0最小的路径作为最佳路径,按得出的数据传输配额分配数据包进行数据传输,当最低往返时延p0最小的路径的数据传输配额用完之后,再选取最低往返时延p0次小的路径进行传输,依次进行,直到发送完成缓存的全部数据包为止;本发明利用往返时延的变化情况判断路径的拥塞程度,同时设计数据传输配额估算机制,准确估计当前选择路径的数据传输配额,合理控制调度器调度到此路径上的数据包数,避免调度数据包过多发生拥塞带来的传输动荡问题。

上述公式均是由采集大量数据进行软件模拟及相应专家进行参数设置处理,得到与真实结果符合的公式。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1