一种融合直流电力线载波的多模态通信网络组网方法与流程

1.本发明涉及一种融合直流电力线载波的多模态通信网络组网方法，属于配电网组网技术领域。


背景技术：

2.目前，随着新能源并网技术的发展，受环境影响较大的光伏、风电、水电等新能源的并网会改变配电网的拓扑结构和潮流分布、改变短路电流的大小及流向，对配电网产生较大影响。因此，亟需对光伏等新能源的运行状态进行全面、实时的监测，以保障并网稳定性及配电网安全稳定运行。为满足配电网监测的低时延需求，可以将分布式光伏状态监测、分布式能源及储能信息采集等设备产生的计算任务卸载至边缘服务器进行处理。
3.在高比例新能源接入背景下，由于多种分布式新能源及分布式储能要求直流并网，且楼宇内各种用电设备采用直流驱动，配电网呈现交直流共存趋势。基于配用电系统直流化特征，直流电力线载波通信优势显著。直流电力线载波通信无需铺设专用线路，安装运维方便。同时，由于其线路上不存在工频信号，直流转换频率大大减少、高频污染源少，具有良好的传输抗干扰性。然而，直流电力线载波在长距离传输时存在时延高、可靠性差、难以跨越变压器等不足，不适用于跨台区间的通信。无线通信网络具有广覆盖、超低时延和高可靠性等优势，可以进行台区间的广域高可靠、低时延通信。因此，可以采用“直流电力线载波+无线通信网络”多模态通信网络，实现配电网的全覆盖通信。一方面支持分布式光伏、分布式储能的数据监测，同时施工成本低；另一方面保障配电网广域数据传输的高可靠、低时延性能。
4.为了综合发挥不同通信媒介的优势，考虑直流电力线载波、无线通信网络在传输速率、带宽等的差异性，为在保证监测数据可靠性的同时提升多模态通信网络的资源利用率，有必要将配电网多模态通信网络中的任务准入与流量适配联合优化纳入研究。其中，任务准入是为避免拥塞问题而采用的一种应用层数据控制方法，根据直流电力线载波和无线通信网络的信道状态，控制进入应用层的数据量；流量适配是多模态通信网络下根据监测数据的时延、传输速率等需求确定分割比例，将任务“化整为零”，并存入直流电力线载波缓存队列或无线通信网络缓存队列进行并行处理的物理层数据管理方法。
5.然而，在任务准入与流量适配联合优化过程中仍然面临诸多挑战，具体总结如下：
6.第一，应用层任务准入与物理层流量适配决策相耦合，应用层的任务准入控制影响物理层的流量适配。比如，当大量应用层监测数据接入时，物理层必须及时调整进入直流电力线载波缓存队列和无线通信网络缓存队列的分配比例，否则，若数据以连续大比例方式接入，则会造成极高的队列时延，严重威胁电力系统的安全稳定运行。
7.第二，由于直流电力线载波、无线通信网络通信在信道特性、传输速率等方面存在差异性，同时各信道状态具有时变性，且多种监测业务的服务质量(quality of service，qos)要求也不一样，导致流量适配决策动作的数量呈指数增长，导致维数灾难问题，难以做到复杂环境信息下的多设备实时动态决策。
8.第三，配电网任务卸载的低时延优化不能仅仅关注平均性能指标(如平均时延和平均速率稳定)，需进一步考虑极端事件(如突发性的超大队列积压)的发生对时延性能的影响。否则，难以保障高可靠低时延的通信服务需求。
9.因此，亟需设计一种全局信息未知时任务准入与流量适配联合优化方法，以提高直流电力线载波与无线通信网络异构融合的多模态通信网络性能，满足不同配电网监测业务的qos需求，有效降低队列时延，实现电力监测数据的高质量传输。


技术实现要素：

10.为解决上述技术问题，本发明的目的是提供一种无线通信网络与直流电力线载波融合的多模态组网方法。
11.本发明的一种融合直流电力线载波的多模态通信网络组网方法，具体步骤为：
12.将预先构建的多模态异构组网系统模型中的监测数据建模为设备队列模型；
13.根据所述设备队列模型，确定所述监测数据的传输模型，并得到设备队列时延模型；
14.对所述设备队列时延模型分别进行设备队列时延长期约束、极端事件发生概率约束；
15.基于设备队列时延长期约束、极端事件发生概率约束，将优化问题转化为最小化设备队列时延；以及
16.利用虚拟队列理论及李雅普诺夫理论，设计优化问题的转化与系统状态、动作及奖励函数，将优化问题转化为求解李雅普诺夫“漂移+惩罚”的上界问题；
17.针对所述上界问题，基于深度q网络的任务准入与流量适配联合优化算法进行优化，确定融合直流电力线载波的多模态通信网络组网。
18.进一步的，所述预先构建的多模态异构组网系统模型中共有m个配电网监测设备，其集合为且每个设备有两个任务缓存队列，分别是直流电力线载波缓存队列和无线通信网络缓存队列，分别存储采用直流电力线载波和无线通信网络通信进行传输的任务。
19.进一步的，
20.所述设备队列模型为直流电力线载波缓存队列模型和无线通信网络缓存队列模型，具体为：
[0021][0022][0023]
其中，和分别表示为直流电力线载波缓存队列中当前时刻和下一时刻的队列积压；和分别表示为无线通信网络缓存队列中当前时刻和下一时刻的队列积压；和分别表示设备通过直流电力线载波和无线通信网络通信方式卸载至边缘服务器的任务量；和分别表示直流电力线载波缓存队列和无线通信网络通信缓存队列的数据到达量。
[0024]
所述直流电力线载波缓存队列和无线通信网络缓存队列中的监测数据可分别经
直流电力线和无线通信网络进行传输，并依据香农公式得到所述传输模型。
[0025]
进一步的，所述传输模型包括直流电力线载波传输模型和无线通信网络传输模型，其中：
[0026]
所述直流电力线载波传输模型通过下述方式表示：
[0027][0028][0029][0030]
其中，是设备um利用直流电力线子载波n进行数据传输的信噪比；是设备um利用直流电力线子载波n进行数据传输的传输速率；是设备um采用直流电力线载波的总数据传输速率；是设备um利用直流电力线子载波n传输数据所需的传输功率；是直流电力线子载波n的功率增益因子；n0是白噪声功率谱密度；b
l
是直流电力线载波总带宽；n
l
是直流电力线子载波总数；γ
l
是不同直流电力线子载波间的信噪比间隙；m
l
是采用直流电力线载波进行任务传输的设备数；
[0031]
所述无线通信网络传输模型通过下述方式表示：
[0032][0033][0034][0035]
其中，是设备um利用无线通信网络子载波n进行数据传输的信噪比；是设备um利用无线通信网络子载波n进行数据传输的传输速率；是设备um采用无线通信网络的总数据传输速率；是设备um利用无线通信网络子载波n传输数据所采用的传输功率；是无线通信网络子载波n的功率增益因子；n0是白噪声功率谱密度；bw是以无线通信网络方式传输的信道总带宽；ie是电磁干扰功率；nw是无线通信网络子载波总数；γw是不同无线通信网络子载波间的信噪比间隙；mw是采用无线通信网络进行数据传输的设备数；设备um采用直流电力线载波和无线通信网络通信方式卸载至边缘服务器上的任务量分别为：
[0036][0037][0038]
其中，τ是时隙长度。
[0039]
进一步的，所述设备队列时延模型为其中为直流电力
线载波缓存队列时延，为无线通信网络缓存队列时延，设备队列时延为设备直流电力线载波缓存队列时延和无线通信网络缓存队列时延中的最大值。
[0040]
进一步的，所述设备队列长期时延约束及极端事件发生概率约束具体步骤为：
[0041]
将设备um直流电力线载波缓存队列和无线通信网络缓存队列发生极端事件分别表示为：
[0042][0043][0044]
将以上两种极端事件的发生概率进行以下约束：
[0045][0046][0047]
其中，和分别表示直流电力线载波缓存队列和无线通信网络缓存队列发生的极端事件，和分别是直流电力线载波缓存队列和无线通信网络缓存队列当前时刻的队列积压，和分别是直流电力线载波缓存队列和无线通信网络缓存队列的任务平均到达速率，和分别表示采用直流电力线载波和无线通信网络进行数据传输的长期队列时延阈值，和分别表示直流电力线载波和无线通信网络通信方式下可容忍极端事件发生概率的阈值。
[0048]
进一步的，所述基于设备队列时延长期约束、极端事件发生概率约束进行优化问题设计具体方法是：
[0049]
将优化问题p1设置为：
[0050][0051][0052]
c2:0≤ρm(t)≤1
[0053][0054][0055]
其中，m是设备数，t是总的优化时间，τm(t)是设备队列时延，a
m,min
是设备um每个时隙内任务最小准入量，是实际任务准入量，am(t)是设备um在时隙t内产生的任务量，ρm(t)是任务分割比例，表示存入直流电力线载波缓存队列的任务占实际准入任务的比例，和分别是直流电力线载波缓存队列和无线通信网络缓存队列当前时刻的队列积
压，和分别是直流电力线载波缓存队列和无线通信网络缓存队列的任务平均到达速率，和分别表示采用直流电力线载波和无线通信网络进行数据传输的长期队列时延阈值，和分别表示直流电力线载波和无线通信网络通信方式下可容忍极端事件发生概率的阈值；
[0056]
约束条件c1是设备任务准入量约束，约束条件c2是设备流量适配比例约束，约束条件c3是直流电力线载波缓存队列和无线通信网络缓存队列长期队列时延约束，约束条件c4是直流电力线载波缓存队列和无线通信网络缓存队列长期极端事件发生概率约束。
[0057]
进一步的，所述优化问题转化为最小化设备队列时延以及将优化问题转化为上界问题的具体内容为：
[0058]
将优化问题p1转化为优化问题p2：
[0059][0060]
s.t.c1,c2[0061][0062][0063][0064]
均平均速率稳定其中，m是设备数，t是总的优化时间，τm(t)是设备队列时延，和分别表示利用虚拟队列理论将直流电力线载波缓存队列长期队列时延约束转化后的当前时刻和下一时刻直流电力线载波虚拟队列积压，和分别表示利用虚拟队列理论将无线通信网络缓存队列长期队列时延约束转化后的当前时刻和下一时刻无线通信网络虚拟队列积压，和分别是直流电力线载波缓存队列和无线通信网络缓存队列当前时刻的队列积压，和分别是直流电力线载波缓存队列和无线通信网络缓存队列的任务平均到达速率，和分别表示采用直流电力线载波和无线通信网络进行数据传输的长期队列时延阈值，和分别表示利用虚拟队列理论将直流电力线载波缓存队列长期极端事件发生概率约束转化后的当前时刻和下一时刻直流电力线载波虚拟队列积压，和分别表示利用虚拟队列理论将无线通信网络缓存队列长期极端事件发生概率约束转化后的当前时刻和下一时刻无线通信网络虚拟队列积压，ii{ω
l
}和ii{ωw}分别表示直流电力线载波缓存队列和无线通信网络缓存队列发生极端事件的指示函数，ii{ω
l
}＝1表示直流电力线载波缓存队列发生极端事件，ii{ω
l
}＝0表示直流电力线载波缓存队列未发生极端事件，ii{ωw}＝1表示无线通信网络缓存队列发生极端事件，ii{ωw}＝0表示无线通信网络缓存队列未发生极端事件，和分别表示直流电力线载波和无线通信网络通信方式下可容
忍极端事件发生概率的阈值；
[0065]
约束条件c1是设备任务准入量约束，公式为约束条件c2是设备流量适配比例约束，公式为0≤ρm(t)≤1。
[0066]
优化问题p2转化为在满足约束c1和c2的前提下最小化“漂移+惩罚”的上界，实现将p2中的约束c5转化到了p3的目标函数中，得到优化问题p3：
[0067][0068]
s.t.c1,c2[0069]
其中，
[0070]
和分别是直流电力线载波缓存队列和无线通信网络缓存队列当前时刻的队列积压，和分别表示设备通过直流电力线载波和无线通信网络通信方式卸载至边缘服务器的任务量，和分别表示直流电力线载波缓存队列和无线通信网络通信缓存队列的数据到达量，和分别表示利用虚拟队列理论将直流电力线载波缓存队列和无线通信网络缓存队列长期队列时延约束转化后的当前时刻直流电力线载波虚拟队列和无线通信网络缓存队列积压，和分别是直流电力线载波缓存队列和无线通信网络缓存队列的任务平均到达速率，和分别表示采用直流电力线载波和无线通信网络进行数据传输的长期队列时延阈值，和分别表示利用虚拟队列理论将直流电力线载波缓存队列和无线通信网络缓存队列长期极端事件发生概率约束转化后的当前时刻直流电力线载波虚拟队列和无线通信网络虚拟队列积压，和分别表示直流电力线载波和无线通信网络通信方式下可容忍极端事件发生概率的阈值，ii{ω
l
}和ii{ωw}分别表示直流电力线载波缓存队列和无线通信网络缓存队列发生极端事件的指示函数，ii{ω
l
}＝1表示直流电力线载波缓存队列发生极端事件，ii{ω
l
}＝0表示直流电力线载波缓存队列未发生极端事件，ii{ωw}＝1表示无线通信网络缓存队列发生极端事件，ii{ωw}＝0表示无线通信网络缓存队列未发生极端事件；
[0071]
约束条件c1是设备任务准入量约束，公式为约束条件c2是设备流量适配比例约束，公式为0≤ρm(t)≤1。
[0072]
进一步的，所述系统状态、动作及奖励函数的具体内容是：
[0073]
1)系统状态sm(t)包括各队列状态信息，系统状态的矢量表示为：
[0074][0075]
2)系统动作am(t)为设备um根据系统状态sm(t)所采取的任务准入控制和流量适配决策，表示为每个时隙设备um的任务准入量和流量适配比例ρm(t)；和ρm(t)均为连续变化的物理量，为简化分析过程，将和ρm(t)分别离散化为k个等级，表示为
ρm(t)∈ρ，其中ρ＝[ρ1,ρ2,
…
,ρk]；因此，系统动作am(t)表示为：
[0076][0077]
3)奖励函数的设计应该和优化问题相关联，优化问题p3目标为最小化β(t)，故此处将奖励函数为r(t)＝-β(t)。
[0078]
进一步的，基于深度q网络的任务准入与流量适配联合优化算法具体步骤如下：
[0079]
初始化估值网络参数ω
eval
(t)、目标网络参数ω
target
(t)、损失函数φ及经验池p；
[0080]
设备采用ε-greedy策略，基于估计的q值以概率ε随机做出任务准入与流量适配决策，以1-ε的概率根据估值网络得到的q值做出任务准入与流量适配决策，具体是：其中，μ∈(0,1)为系统生成的随机数；
[0081]
设备根据所做任务准入与流量适配决策决定进入设备队列的数据量、进入直流电力线载波缓存队列和无线通信网络缓存队列的数据量，并分别将直流电力线载波缓存队列和无线通信网络缓存队列中的数据卸载至边缘服务器；
[0082]
每次卸载之后计算奖励函数r(t)，并更新各个队列信息；随后，转移至下一状态sm(t+1)，同时，将sm(t)、am(t)、r(t)和sm(t+1)存入经验池p；
[0083]
设备从经验池p中随机抽取一组经验数据作为估值网络的训练数据，并基于上述训练数据计算损失函数其中，表示由目标网络得到的目标q值；
[0084]
随后，基于损失函数并采取梯度下降法更新估值网络参数ω
eval
，其中，λ为学习速率；最后，每隔t0时间，更新目标网络参数ω
target
(t+1)＝ω
eval
(t+1)。
[0085]
一种无线通信网络与直流电力线载波融合的多模态组网装置，具体包括：
[0086]
建模模块：用于将预先构建的多模态异构组网系统模型中的监测数据建模为设备队列模型，根据所述设备队列模型，确定所述监测数据的传输模型，并得到设备队列时延模型；
[0087]
约束模块：用于对所述设备队列时延模型分别进行设备队列时延长期约束、极端事件发生概率约束；
[0088]
转化模块：用于基于设备队列时延长期约束、极端事件发生概率约束，将优化问题转化为最小化设备队列时延；以及利用虚拟队列理论及李雅普诺夫理论，设计优化问题的转化与系统状态、动作及奖励函数，将优化问题转化为求解李雅普诺夫“漂移+惩罚”的上界问题；针对所述上界问题，基于深度q网络的任务准入与流量适配联合优化算法并进行优化，确定融合直流电力线载波的多模态通信网络组网。
[0089]
进一步的，所述建模模块中共有m个配电网监测设备，其集合为且每个设备有两个任务缓存队列，分别是直流电力线载波缓存队列和无线通信网络缓存队列，分别存储采用直流电力线载波和无线通信网络通信进行传输的任务。
[0090]
进一步的，所述约束模块用于将设备um直流电力线载波缓存队列和无线通信网络
缓存队列发生极端事件分别表示为：
[0091][0092][0093]
将以上两种极端事件的发生概率进行以下约束：
[0094][0095][0096]
其中，和分别表示直流电力线载波和无线通信网络通信方式下可容忍极端事件发生概率的阈值。
[0097]
借由上述方案，本发明至少具有以下优点：
[0098]
1.决策耦合时的跨层联合优化：本发明设计的应用层任务准入和物理层流量适配的跨层优化方案，充分考虑直流电力线载波与无线通信网络通信在传输速率、带宽等方面的差异性对融合通信网络拥塞程度的影响，无需对决策解耦，同时根据多模态网络的信道状态等确定数据实际准入量和流量适配比例，有效解决融合通信网络拥塞问题，满足配电网监测业务的qos需求。
[0099]
2.信息不完整和高维度下的流量适配：基于观察到的队列性能和深度q网络，本发明所提算法可以在全局信息未知情况下，利用神经网络提供的近似函数回避高维度真实值求解过程，从而解决高比例分布式新能源、分布式储能等设备接入所引发的维度灾难问题。
[0100]
3.高可靠低时延通信感知：为了配电网直流监测业务的低时延需求，本发明对长期队列时延和极端事件的发生概率进行约束，使得所提算法可以根据极端事件发生概率性能偏差动态优化任务准入与流量适配策略，使得极端事件发生概率大幅度降低，在满足低时延的同时实现直流电力线载波和无线通信网络多模态网络的高可靠通信。
[0101]
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
[0102]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某个实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0103]
图1是本发明系统模型示意图；
[0104]
图2是本发明仿真实验的平均本地队列时延随时间变化情况折线图；
[0105]
图3是本发明仿真实验的设备本地极端事件的发生概率的柱状图；
[0106]
图4是本发明仿真实验的直流电力线载波和无线通信网络任务卸载时本地队列积压情况示意图；
[0107]
图5是本发明仿真实验的平均吞吐量随时间变化情况的折线图。
具体实施方式
[0108]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0109]
本发明的整个技术方案主要包括五个步骤：(1)构建系统模型框架；(2)模型的细化；(3)设备队列时延约束及极端事件约束与优化问题的设计；(4)优化问题的转化与系统状态、动作及奖励函数设计；(5)设计基于深度q网络(deep q-learning network，dqn)的任务准入与流量适配联合优化算法。具体介绍如下：
[0110]
1.构建系统模型框架
[0111]
本发明考虑直流电力线载波与无线通信网络异构组网的多模态配电网通信场景。如图1所示，场景中主要包括配电子站、配电网监测设备(如分布式能源储能设备、直流电能表、光伏板，直流监测设备)、直流电力线、无线通信网络基站、直流电力线载波网关和边缘服务器。场景中共有m个配电网监测设备，其集合定义为且每个设备包括直流电力线载波缓存队列和无线通信网络缓存队列，分别存储采用直流电力线载波和无线通信网络通信进行传输的任务。此外，设备um的流量适配比例为ρm(t)∈[0,1]，表示进入直流电力线缓存队列的数据占准入数据的比例。以图1中设备u1为例，设备u1产生的任务量为a1(t)，实际准入的任务量为随后，将实际准入任务量进行流量适配，有40％(ρ1＝0.4)的任务存入直流电力线载波缓存队列，60％(1-ρ1＝0.6)的任务存入无线通信网络缓存队列；最后，分别采用直流电力线载波和无线通信网络通信的方式将缓存队列的任务卸载至边缘服务器进行任务处理。本发明采取准静态时隙模型，将时间划分为t个等长的时隙，时隙长度为τ，用集合表示为信道状态信息在同一个时隙内保持不变，在不同时隙之间发生变化。
[0112]
2.模型的细化
[0113]
(1)设备队列模型
[0114]
本发明考虑多模态网络中设备缓存能力有限的特点以及设备的qos需求，首先进行任务准入控制，其实际任务准入量满足以下两个约束：
[0115][0116][0117]
其中，θg∈(0,1)表示设备um在能够保障其基本qos需求前提下的长期最小平均任务准入比例，表示um每个时隙内最小任务准入量。公式(1)表示任务准入量的长期平均约束，然而，瞬时的任务准入量将对qos产生较大影响，仅考虑长期约束无法保证监测业务的qos需求，因此进一步考虑公式(2)的短期任务准入约束。
[0118]
设备um根据直流电力线载波缓存队列和无线通信网络缓存队列的队列积压及信道状态，确定流量适配比例。直流电力线载波缓存队列任务到达量和无线通信网络缓
存队列任务到达量可以表示为
[0119][0120][0121]
因此，设备um的直流电力线载波缓存队列和无线通信网络缓存队列分别可以表示为
[0122][0123][0124]
其中，和分别表示设备通过直流电力线载波和无线通信网络通信方式卸载至边缘服务器的任务量。
[0125]
(2)传输模型
[0126]
1)直流电力线载波传输模型
[0127]
直流电力线载波采用正交频分复用(orthogonal frequency division multiplexing，ofdm)的调制方式，其子载波集合表示为且各子信道特性完全相同，采用直流电力线载波进行任务传输的设备平均分配子载波资源。定义设备um利用子载波n进行数据传输的信噪比为传输速率为设备um的总数据传输速率为具体表达式为：
[0128][0129][0130][0131]
其中，是设备um利用子载波n传输数据所需的传输功率；是子载波n的功率增益因子；n0是白噪声功率谱密度；b
l
是直流电力线载波总带宽；γ
l
是不同子载波间的信噪比间隙；m
l
是采用直流电力线载波进行任务传输的设备数。
[0132]
2)无线通信网络传输模型
[0133]
无线通信网络通信同样采用ofdm的调制方式，而其与直流电力线载波通信方式下的子载波总数不同，定义无线通信网络通信下的子载波总数为nw，且各子信道特性完全相同，采用无线通信网络进行任务传输的设备平均分配子载波资源。定义设备um利用子载波n进行数据传输的信噪比为传输速率为设备um的总数据传输速率为具体表达式为：
[0134][0135][0136][0137]
其中，是设备um利用子载波n传输数据所采用的传输功率；是子载波n的功率增益因子；bw是以无线通信网络方式传输的信道总带宽；ie是电磁干扰功率；γw是不同子载波间的信噪比间隙；mw是采用无线通信网络进行数据传输的设备数。因此，设备um采用直流电力线载波和无线通信网络通信方式卸载至边缘服务器上的任务量分别为
[0138][0139][0140]
(3)设备队列时延模型
[0141]
定义设备um上直流电力线载波缓存队列、无线通信网络缓存队列的任务平均到达速率为具体表达式为：
[0142][0143][0144]
根据利特尔定律，设备um的直流电力线载波缓存队列、无线通信网络缓存队列的时延分别为
[0145][0146][0147]
设备队列时延定义为设备直流电力线载波缓存队列时延和无线通信网络缓存队列时延中的较大值。因此，设备um的队列时延为
[0148][0149]
3.设备队列时延约束及极端事件约束与优化问题的设计
[0150]
由于排队时延对端到端时延有很大的影响，因此对排队时延施加了长期约束，以确保卸载任务的有效性和及时性。同时，为支撑配电网智能分布式配电自动化、用电负荷需求侧响应等业务的实时性，分布式新能源、分布式储能的监测业务同样对瞬时时延有着苛刻的要求。设备缓存队列的一次超大任务积压将引起极高的队列时延，严重威胁电力系统的安全稳定运行。因此，仅仅基于长期平均队列时延性能的约束无法满足配电网多模态异
构通信高可靠、低时延需求。
[0151]
(1)长期设备队列时延约束及极端事件发生概率约束
[0152]
为降低设备队列积压，保障设备的qos需求，设备的直流电力线载波缓存队列和无线通信网络缓存队列应分别满足如下约束
[0153][0154]
其中，和分别表示直流电力线载波缓存队列时延和无线通信网络缓存队列时延的阈值。
[0155]
本发明提出了设备极端事件约束模型。定义设备极端事件为设备任务缓存队列时延超出所给定的长期队列时延阈值，则设备um直流电力线载波缓存队列和无线通信网络缓存队列发生极端事件时的时延分别定义为
[0156][0157][0158]
为减少配电网极端事件的发生，保障电力系统的安全稳定运行，对以上两种极端事件的发生概率满足以下约束
[0159][0160][0161]
其中，和分别表示直流电力线载波和无线通信网络通信方式下可容忍极端事件发生概率的阈值。
[0162]
(2)优化问题的设计
[0163]
本发明考虑设备任务准入控制和流量适配的联合优化问题，优化目标为在满足长期队列时延约束、长期极端事件发生概率约束的前提下最小化设备队列时延。因此，优化问题p1定义为：
[0164][0165]
其中，c1是设备任务准入量约束；c2是设备流量适配比例约束；c3是设备长期队列时延约束；c4是设备长期极端事件发生概率约束。
[0166]
4.优化问题的转化与系统状态、动作及奖励函数设计
[0167]
(1)优化问题的转化
[0168]
首先，基于虚拟队列概念，将上述约束c3与c4转换为虚拟队列，虚拟队列的长度代表实际累积队列长度与发生极端事件时延阈值的偏差，其公式如下：
[0169]
针对p1中的长期队列时延约束c3，构建以下虚拟队列
[0170][0171][0172]
针对p1中的长期极端事件发生概率约束c4，构建以下虚拟队列
[0173][0174][0175]
其中，ii{
·
}＝{0，1}为示性函数，ii{x}＝1表示事件x为真，反之事件x为假。
[0176]
经过上述分析，优化问题p1可以转化为优化问题p2：
[0177][0178]
s.t.c1,c2[0179][0180][0181][0182]
均平均速率稳定
[0183]
随后，构建包含缓存队列与虚拟队列的队列集合θ(t)，具体表达式如下
[0184]
[0185]
定义李雅普诺夫标量函数l(t)，用于表征θ(t)中所有队列的积压程度，其具体表达式如下
[0186][0186][0187][0188]
当l(t)较小时，θ(t)中的数据缓存队列及虚拟队列积压程度较小，反之则至少有一个队列积压程度较大，队列稳定性较差。
[0189]
基于上述定义的李雅普诺夫标量函数l(t)，进一步定义李雅普诺夫漂移函数δl(t)，用于表征相邻两个时隙的队列积压差，具体表达式如下
[0190][0191]
从上式可以看出，当设备每个时隙通过优化任务准入与流量适配策略，使得δl(t)最小化，那么θ(t)中所有队列都会被推向较小的积压程度、保证队列的平均速率稳定，从而保证满足约束c5。
[0192]
为求解c5约束下的优化问题p2，可将表征队列平均速率稳定性的δl(t)与p2的优化目标相结合，得到新的目标函数δvl(t)，具体表达式如下
[0193][0194]
其中，v是一个非负权重，通过调节v的大小，可以实现队列稳定性和队列时延间的折中。
[0195]
可求得目标函数δvl(t)的上界为
[0196][0197]
其中，c为非负常数。
[0198]
因此，优化问题p2可以转化为在满足约束c1和c2的前提下最小化δvl(t)的上界，得到优化问题p3[0199]
[0200]
其中，
[0201]
本发明将p2中的约束c5转化到了p3的目标函数中，从而保证了数据任务高可靠低时延的需求。
[0202]
(2)系统状态、动作及奖励函数设计
[0203]
1)系统状态sm(t)包括各队列状态信息，系统状态的矢量表示为：
[0204][0205]
2)系统动作am(t)定义为设备um根据系统状态sm(t)所采取的任务准入控制和流量适配决策，表示为每个时隙设备um的任务准入量和流量适配比例ρm(t)。和ρm(t)均为连续变化的物理量，为简化分析过程，本发明将和ρm(t)分别离散化为k个等级ρm(t)∈ρ。其中ρ＝[ρ1,ρ2,
…
,ρk]。因此，系统动作am(t)表示为
[0206][0207]
3)奖励函数的设计应该和优化问题相关联，优化问题p3目标为最小化β(t)，故此处将奖励函数定义为r(t)＝-β(t)。
[0208]
5.基于dqn的任务准入和流量适配算法
[0209]
本发明所设计的基于dqn的任务准入和流量适配算法是一种基于时序差分学习的强化学习算法，其核心思想是利用深度q网络在状态s下采取动作a所对应的动作值函数q(s,a)然后基于估计的q值做出决策，并通过不断更新神经网络来实现动作值函数估计值向实际值的逼近其中ω为深度q网络估值参数。同时，引入经验回放机制来打散q值估值网络训练数据之间的相关性，从而提升网络训练效果；同时引入目标网络辅助估值网络训练，以提高估值网络训练的稳定性。
[0210]
本发明设计的基于dqn的任务准入和流量适配算法具体步骤如下：
[0211]
(1)初始化：初始化估值网络参数ω
eval
(t)、目标网络参数ω
target
(t)及经验池p。
[0212]
(2)任务准入与流量适配决策：设备采用ε-greedy策略，基于估计的q值进行任务准入与流量适配决策，具体是：设备以概率ε随机做出决策，以1-ε的概率根据估值网络得到的q值做出决策
[0213]
(3)状态转移：设备根据所做决策进行任务准入和流量适配，并将缓存队列中的数据卸载至边缘服务器；计算奖励函数r(t)；并更新各个队列信息；随后，转移至下一状态sm(t+1)，同时，将sm(t)、am(t)、β(t)和sm(t+1)存入经验池p。
[0214]
(4)网络更新：设备从经验池中随机抽取一组经验数据作为估值网络的训练数据，并基于上述训练数据计算损失函数其中，
表示由目标网络得到的目标q值。随后，利用损失函数更新神经网络参数其中，λ为学习速率。最后，更新目标网络参数ω
target
(t+1)＝ω
eval
(t+1)。
[0215]
(5)重复步骤(2)、(3)、(4)，直至优化周期结束。
[0216]
通过仿真验证，验证本发明能够带来的进步效果：
[0217]
首先构建仿真场景。考虑的仿真场景包括5个配电网监测设备，100个优化周期，且各时隙大小为100ms。为简化分析过程，设定直流电力线载波、无线通信网络两种任务传输方式的信道带宽相同，为0.1mhz；缓存队列时延阈值相同，为0.003ms；可容忍极端事件概率阈值相同，为0.2。此外，设备任务到达数据量在1.0mbits和2.0mbits之间波动。
[0218]
本发明对上述设计的任务准入与流量适配联合优化算法，进行了如下的仿真对比实验。其中，方法1为基于上置信区间(ucb)流量适配算法，该算法基于传统ucb算法进行流量适配比例的选择；方法2为队列积压感知(qba)流量适配算法，该算法的流量适配比例根据直流电力线载波和无线通信网络两个队列之间积压的比值进行分割。此外，ucb和qba采取了恒定的数据准入控制，满足
[0219]
仿真结果如下：
[0220]
图2显示了设备的本地队列时延随时间变化情况，与其他对比算法相比，本发明所提算法可以有效的降低平均本地队列时延。
[0221]
如图3所示，本发明所提算法在极端事件发生概率方面的性能最优。与ucb和qba相比，所提算法分别可以降低极端事件的发生概率58.78％、70.81％和70.97％、68.05％。
[0222]
如图4所示，本发明所提算法可以有效减小两个本地卸载队列积压。与ucb和qba相比，在直流电力线载波队列积压方面，所提算法分别可以降低14.91％和31.06％，在无线通信网络队列积压方面，分别可以降低23.77％和33.72％。
[0223]
如图5所示，与ucb和qba相比，本发明所提算法可以有效提高平均吞吐量12.34％和24.77％。原因在于对比算法均采用恒定的任务准入机制，即使本地队列积压很小，也不会增加数据的准入量，从而导致两者吞吐量性能较差。综合图2至图5可以看出，本发明设计的基于dqn的任务准入与流量适配联合优化算法能够有效处理高维复杂的环境状态信息，并通过深度强化学习做出最优的任务准入与流量适配决策，同时保障配电网直流监测业务的高可靠低时延通信服务需求。
[0224]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0225]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0226]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0227]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0228]
最后应当说明的是：以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解:本领域技术人员阅读本发明后依然可对发明的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在发明待批的权利要求保护范围之内。