基于区块链使能的智能电网电力故障检测与安全传输方法

1.本发明涉及电网领域中进行电力故障检测与数据安全传输的技术，通过无人机检测来代替成本高且危险的人工检测，尤其涉及到区块链技术和数据传输技术相结合进行电力故障的安全传输。


背景技术：

2.随着电网的覆盖范围正在迅速扩大，电气故障的检测与维护一直是亟待解决的难题。考虑到输电线和输电塔长期暴露在野外，气候变化、人为破坏、雷击、鸟害等原因使输电线和输电塔成为智能电网中容易发生故障的主要设备。而目前主要采取的检修方法仍是人工检修。然而，复杂的地理环境、危险的高空作业和昂贵的人工费用是阻碍人工检修准确性和及时性的巨大障碍。因此，准确地发现、记录、上报电力故障并维护的自动化检测范式迫在眉睫。在5g通信技术支持下，无人机(unmanned aerial vehicle，下文简称无人机)信号传输技术为实现电力故障的自动检测提供了机遇。不同于人工检修，装备有高清摄像头和图像识别技术的无人机能够不受时间和地理环境的限制做到自动检测，将识别出的电力故障用高清摄像头记录成视频数据。但截至目前，根据中国工业和信息化部发布的统计数据，陆地上网络覆盖占比仅约20％，地球表面覆盖占比仅约6％，对于没有网络覆盖的偏远地区，电力故障视频需要传输到供电站(power supply station，下文简称pss)覆盖的区域内上传以人工核验和派遣维护人员检修。zhang等人
1.研究了无人机的两种通信模式下的多无人机通信，但并不适用于偏远地区的长距离数据传输问题，长距离数据传输过程带来的巨大时延，这大大增加了电力故障所带来的影响，而在这个过程中，无人机设备随时有可能遭遇攻击从而造成电力窃取、机密泄露等损失，如乌克兰电网攻击事件、委内瑞拉大范围电网攻击停电事件。zhou等人
2.提出了一种安全的无人机移动边缘计算系统，采用低复杂度的迭代算法最大化最小保密容量，但该方法牺牲了大量传输性能来确保安全性，不适用于延迟敏感的电力故障传输场景； kudumakis等人
3.研究了基于区块链技术来保证安全性，虽然区块链技术的成熟给工业领域的安全性带来了机遇，但如何量化区块链验证的安全性并与性能做出权衡是一个迫在眉睫的挑战。因此，如何在保证数据安全性的基础上提高传输效率从而实现可靠的长距离电力故障数据传输是本发明的关注重点。


技术实现要素：

3.本发明主要针对难以及时检测电力故障并传输故障数据的偏远地区。在地理环境复杂的偏远山区，使用无人机检测输电线和输电塔，并使用联盟区块链保证安全性的前提下进行高效传输。
4.针对这个问题构建了一个基于城市电网的电力故障检测与安全传输系统，并制定了一个多目标优化问题来最大化传输效益和安全性。将公式化问题分解为两个子问题，即：安全协同传输优化和上传子信道分配。对于第一个子问题，提出一个基于区块链的安全传输方案，并分解区块链验证优化和协同传输路径优化两个步骤，为了解决这两个问题，相应
提出了改进的近端策略优化训练算法和一种基于a*算法的双目标多目的地路径优化算法来分别处理这两个步骤；针对第二个子问题，考虑到有限的频谱资源和电力故障的时延敏感性，提出了一种改进的市场匹配算法来优化故障信号的上传时延，最终实现电力故障的安全高效传输。
5.因此，本发明采用的技术方案是：
6.一种基于区块链使能的智能电网电力故障检测与安全传输方法，步骤如下：
7.1)对城市拓扑进行域的划分，构建城市拓扑，并以此构建传输模型，将供电站(pss)覆盖域作为城市拓扑的传输终点；
8.2)无人机检测到产生的电力故障，使用无人机进行电力故障数据传输，基于步骤1)中构建的传输模型，确定多目标优化函数；将问题分解成两个待解决的子问题；
9.3)若电力故障所产生的域不在pss可覆盖范围域，则基于步骤2)中确定的优化函数使用无人机进行域内传输；
10.4)为了保证数据传输的安全性和传输性能，对区块链传输的安全性和传输性能进行权衡，确定深度强化学习的状态空间、动作空间和奖励函数，使用改进的近端策略优化训练算法优化共识节点数量和区块大小；
11.5)基于步骤4)中优化后的区块链参数进行区块链认证，若认证未通过，则记录错误信息，返回错误数据，若认证通过，则使用基于a*算法的双目标多目的地路径优化算法优化路径，基于优化后的路径进行故障数据传输；
12.6)重复域内传输步骤3)～5)直至传输到pss覆盖域，使用改进的市场匹配算法选择合适的信号上传子信道优化上传时延；
13.7)数据上传后进行电力故障的人工检测，并根据故障数据回传奖励。
14.本发明构建模型时考虑了输电塔遍布住宅区、工业区、商业区、办公楼区、机场区、各类发电厂及偏远地区等多个区域，无人机对输电塔和输电线进行实时监控，每个域内包含一个无人机管理站对无人机进行统一管理和充电操作。
15.本发明购进的延时模型传输请求封装为交易上传给无人机管理站，经验证后将其投入交易池中，由无人机管理站将交易封装成区块发起共识，并将共识结果返回给发起设备，通过区块链认证后，该信息开始进行域内数据传输和域间数据传输，为了保证传输安全性，域内的无人机管理站要对请求传输的每个信息进行验证，直至选择子信道上传给供电站。
16.一般的延迟贪婪策略没有固定的趋势，该策略目的仅为在满足安全性的基础上最小化延迟。一旦区块链验证参数满足最小安全阈值，设备将停止搜索安全性更好的策略，而本发明中提出的改进的近端策略优化算法最接近安全贪婪策略所获得的最优安全性，说明本发明中提出的改进的近端策略优化算法的安全性高。同时改进的近端策略优化算法在保持稍逊于延迟贪婪策略的延迟性能的前提下有着远高于延迟贪婪策略的安全性。
17.本发明中改进的近端策略优化算法在安全性能和延迟性能之间进行权衡后牺牲了部分可接受延迟达到更高的安全性，具有最低成本指标。
18.由于基于a*的路径优化算法能够在传输时延和传输成本之间进行权衡，性能上能够做到同时接近最优性能。
19.本发明提出的改进的市场匹配策略在每次迭代中不断维护和更新请求者和子信
道的偏好列表，得到的结果接近最优策略；能够控制最差情况(即最大总时延)恶化，并得到接近最优(贪婪策略)的结果。
附图说明
20.图1为基于无人机的智能电网的说明性场景图；
21.图2为具体的电力故障检测
‑
传输
‑
维护流程示意图；
22.图3为区块链验证共识过程示意图；
23.图4为在节点共识异常概率不同的情况下，区块链验证成功概率变化；
24.图5为在不同的最低网络吞吐量限制的情况下，区块链验证时延性能在不同策略情况下的变化；
25.图6为在不同的最低网络吞吐量限制的情况下，区块链验证成本指标性能在不同策略情况下的变化；
26.图7为在随机分布下，不同无人机数量的情况下，故障数据传输路径的时延性能在不同策略情况下的变化；
27.图8为在随机分布下，不同无人机数量的情况下，故障数据传输路径的成本性能在不同策略情况下的变化；
28.图9为在标准分布下，不同无人机数量的情况下，故障数据传输路径的时延性能在不同策略情况下的变化；
29.图10为在标准分布下，不同无人机数量的情况下，故障数据传输路径的成本性能在不同策略情况下的变化；
30.图11为在不同的pss子信道数量的情况下，无人机子信道匹配模型的总时延期望性能的变化；
31.图12为在不同的pss子信道数量的情况下，无人机子信道匹配模型的最大总时延性能的变化；
32.图13为在提出请求的无人机数量不同的情况下，无人机子信道匹配模型的总时延期望性能的变化；
33.图14为在提出请求的无人机数量不同的情况下，无人机子信道匹配模型的最大总时延性能的变化。
具体实施方式
34.为了更加清楚详实地展现本发明的优点，下面将结合图片进一步描述本发明的实施方式。
35.本发明提供了一种基于区块链使能的智能电网电力故障检测与安全传输方法，旨在设计一种高效安全的电力故障自动检测系统，这个过程使用无人机对偏远地区高危且易受损害的输电线和输电塔进行故障检测，而后使用无人机传输记录下的故障信号，考虑到无蜂窝网络覆盖的偏远地区，该故障数据需要传输到在pss通信范围内的域内，并上传给pss进行人工检测，传输过程中设备随时可能遭受攻击，为此，本发明使用联盟区块链技术来保证传输过程的安全性，进而实现安全高效的电力故障检测和故障数据传输。
36.图1为基于无人机的智能电网的说明性场景图，基于城市的规划，将大规模城市中
的不同区域划分为同等大小的域以便于对无人机进行管理。在城市中遍布着输电线、输电塔和不同的电力节点，每个域中的工作无人机以固定高度h 和固定速度v飞行以监测输电线和输电塔，根据不同的功能，无人机可以被分为监测无人机和中继无人机，其中，监测无人机配备了高清摄像头和图像识别功能，一旦无人机监测到故障图像，就会立刻对所监测到的电力故障进行多角度录像并打包成故障数据包，而后该故障数据将经过多个域传输给pss进行人工核验。
37.图2为具体的故障数据传输过程，可以总结为以下几个步骤：
①
监测无人机检测到电力节点或输电线的电力故障，将其记录下来并打包成故障信号；
②
监测无人机将传输请求打包为一个交易，包含交易头和故障项，该交易被发送给无人机管理站进行区块链验证以保证数据包的安全性。无人机管理站对椭圆曲线数字签名算法生成的签名进行核验，以验证接收到的故障信号的安全性和完整性，完成核验后，无人机管理站在交易上签名并将验证后的交易加入交易池；
③
一个包含多个交易的区块由无人机管理站生成并广播给其他共识节点进行区块链验证；
④
若该区块通过验证，该区块将被存储在区块链中。无人机可以查找到相应故障信息以核验安全性；
⑤
如果传输请求通过验证，无人机管理站将选择中继无人机和域内目的地来传输故障信号，否则，无人机管理站将返回错误消息并拒绝传输；
⑥
当故障信号被发送到下一个域时，负载故障信号的无人机需要首先进行传输请求的验证，验证后，重复步骤
②
～
⑤
，直到故障信号被发送到pss覆盖范围内的域；
⑦
在pss覆盖范围域内，中继无人机基于信道状态选择子信道将故障信号上传到pss；
⑧
pss收到故障信号后，通过人工核验故障信号，经核验后派遣维护人员前往故障地点进行维护。同时，pss将奖励信息发送参与传输域的无人机管理站，由管理站对参与传输的无人机进行奖励。
38.步骤1)：对城市拓扑进行域的划分，构建城市拓扑，并以此构建传输模型，将供电站(pss)覆盖域作为城市拓扑的传输终点。具体分析如下：
39.考虑到城市规模给无人机调度带来的困难，首先将城市划分为多个规模相等的域，并将城市表示为图其中表示城市内域的集合，ε表示域间的邻接关系。表示域的集合且d表示域的总数，各域间的邻接关系集合则表示为ε＝{e<d,d
′
>|d,d
′
∈d∧d≠d
′
}，如果域d和域d
′
是邻接的， e<d,d
′
>＝1，e<d,d
′
>表示域d和域d
′
之间的邻接关系。而对于域d而言，域d内包含d
d
个无人机，无人机的集合表示为其设备间连接关系的集合表示为其中e<i,j>表示无人机i和无人机j之间的邻接关系即是否可通信。无人机根据不同的工作模式划分为检测无人机和中继无人机。设定所有工作无人机的飞行高度和飞行时间固定，分别为h和v。为了能够对域内的无人机进行高效管理，每个域包含一个无人机管理站对无人机进行及时调度和充电，域d的无人机管理站表示为c
d
。pss负责管理所有的无人机管理站，pss表示为将在pss覆盖范围内的域的集合表示为其中表示pss覆盖范围内的域的集合，表示pss覆盖范围内域的个数。在城市任一域中检测到的电力故障都要传输到集合中的一个域以便上传给pss进行人工核验。
40.1.1)安全模型的详细说明如下：
41.本发明利用联盟区块链技术来保证数据传输过程的安全性。在区块链结构中，pss
担任注册机构的角色对联盟中的所有节点赋权，为了保证区块链验证过程的稳定性，具有固定供能模式的无人机管理站被赋予共识权限，工作无人机被赋予了读取权限，以便核验请求的安全性。生成新的区块之前，区块需要通过共识协议验证，此处使用实用拜占庭容错共识协议。该协议的共识过程如图3所示，可分为五个阶段：
①
无人机将传输请求打包成交易，并将包含数字签名和哈希值的交易发送给所在范围内的无人机管理站；
②
接收到交易后，一个包含多个交易的区块需要计算哈希值来构造默克尔树，生成区块的无人机管理站被视为验证该区块过程的领导者广播区块给其他共识节点进行验证，由其他共识节点验证是否接受通过各交易；
③
共识节点收到区块后，首先对区块的完整性和合法性进行验证和审计。每个节点将审计结果集成到接收到的交易的数字签名中，并广播给其他节点。在这个过程中，共识节点被认为是半可信的，将验证失败的概率设为p，完成共识后，节点之间广播共识结果进行核验，当每个共识节点收到来自2q个不同节点的共识成功结果，其中q表示可以容忍的异常节点的数量(如图3中的共识节点3)；
④
核验结果会广播给其他节点进行比较，一旦接收到超过(2q+1)的比较结果，则认为共识成功；
⑤
最后，每个共识节点将自己的比较结果单播给领导节点，而后领导节点将核验结果返回给相应的请求者。
42.共识机制作为保证传输安全的主要操作，是对区块链的安全性进行评估的主要操作。假设共识节点的数量为d
*
，考虑到共识节点可能被攻击为异常节点，共识节点的数量需要满足d
*
≥3q+1。因此，共识协议验证成功的概率可以表示为：
[0043][0044]
用以反映传输的安全性。
[0045]
1.2)通信模型的详细说明如下：
[0046]
本发明中，5g使能的无人机通信包括三种模式：无人机与管理站通信(uav
‑
to
‑
management station，下文简称u2m)、无人机与无人机通信(uav
‑
to
‑
uav，下文简称u2u)、无人机与pss通信(uav
‑
to
‑
pss，下文简称 u2s)，具体规定如下：
[0047]
a.u2m通信模型
[0048]
每架工作无人机都配备有视距(line
‑
of
‑
sight，下文简称los)和非视距(non
‑
line
‑
of
‑
sight，下文简称nlos)通信组件。自由空间中的路径损耗由λ
i
计算，可以由公式
[0049][0050]
计算，其中f
c
和v
c
分别表示信道频率和光速,π为圆周率。则无人机i到无人机管理站c
d
的los的路径损耗可以由公式
[0051][0052]
计算得到，无人机i到无人机管理站c
d
的nlos的路径损耗可以由公式
[0053][0054]
计算得到。在这两个公式中，η
los
和η
nlos
分别表示los和nlos的平均额外路径损耗，l
i,d
表示无人机i到无人机管理站c
d
的距离，可以由计算得到，其中x
i
和y
i
分别表示无人机i的横纵坐标，x
d
和y
d
分别表示无人机管理站c
d
的横纵坐标，h为无人机固定飞行高度，因此平均路径损耗可以计算为：
[0055][0056]
基于无人机和管理站的位置，表示los通信的概率，表示nlos 通信的概率。其中，
[0057][0058][0059]
其中a和b是信道系数，用来评估通信模式的概率。其中θ
i,d
表示无人机i和域内的无人机管理站位置的夹角。所占用信道的平均接收功率可由
[0060][0061]
其中p
i
是无人机i的传输概率。在u2m通信模式中，利用正交频分多址技术来保证通信质量，因此，信噪比γ
i,d
可以由p
i,d
/σ2计算，其中σ2表示高斯白噪声。因此，u2m通信速率可以计算为
[0062][0063]
其中b
m
表示u2m通信的子信道带宽。
[0064]
b.u2s通信模型
[0065]
所有的故障信号最终都需要上传到pss中，这对有限的频谱资源造成了很大压力。因此，在u2s通信中使用非正交多址访问技术来通过子信道复用提升故障信号的上传效率。pss的带宽记为b
s
，pss的信道分为k个子信道，pss的子信道可以表示为集合，pss的信道分为k个子信道，pss的子信道可以表示为集合表示pss子信道集合。子信道k的干扰可以由
[0066][0067]
计算得到。其中ξ
ι,s,k
表示设备ι占用了子信道k的标识，p
ι,s,k
表示平均接收功率，由
[0068][0069]
计算得到，其中表示无人机i和pss通信的平均路径损耗，同时占用子信道k的无人机集合记为因此，u2s通信的信干噪比γ
i,s,k
可以由计算，相应地，在固定pss信道带宽为b
s
的情况下，u2s占用子信道k的通信速率在可以计算为：
[0070][0071]
c.u2u通信模型
[0072]
利用自由空间信道模型对u2u通信进行建模。从无人机i到j的接收功率可由
[0073][0074]
计算得到。其中g表示基于功率放大器和天线的恒定功率增益因子，参数表示路径损耗，且为了保证通信质量，每个时隙只能构建一个u2u信道。因此，在无人机信道带宽固定的情况下，u2u信号传输的通信速率为
[0075][0076]
1.3)时延模型的详细说明如下：
[0077]
信号传输的时延影响电网故障维护的效率。在故障上传系统中，时延可以简化为四个部分，即：记录时延、验证时延、传输时延和上传时延。故障x的时效性可以由表示，其中表示记录时延，表示域内传输时延(包括区块链验证和故障域内传输两部分时延)，表示上传时延。
[0078]
a.记录时延模型
[0079]
监测无人机i记录的故障信息x的数据大小用s
x
表示。在此，设记录和处理一段故障视频所需的cpu周期分别为l
v
和l
p
。因此，故障信息x的记录时延可以表示为
[0080][0081]
其中f
i
表示无人机i的计算处理能力，即cpu频率。
[0082]
b.验证时延模型
[0083]
如图3所示，区块链验证过程主要包括块生成和区块链验证两个步骤。因此，区块链验证时延可以由块生成时延和块验证时延之和计算得到，即这里，区块生成的详细过程如下：
①
将打包为交易的传输请求发送给无人机管理站，并添加到无人机管理站的交易池中生成区块。从无人机i到无人机管理站c
d
的传输时延可以表示为s
in
表示单个交易的大小；
②
无人机管理站从交易池中选择ω个交易来验证签名并计算哈希值来构建默克尔树，默克尔树构建时延可以表示为其中l
g
和l
h
分别为签名验证和哈希值计算所需要的cpu周期数，此处表示默克尔树的节点个数，f为无人机管理站的计算能力。因此，故障信号x的区块生成时延可以表示为：
[0084][0085]
生成区块后，区块生成器需要基于共识协议对新生成的区块进行验证。验证过程可以总结如下：
①
生成区块的无人机管理站获取共识节点的数量，并广播生成的区块，广播
和比较时延的预定义参数定义为ψ，共识节点之间的广播时延可以通过ψd
*
ωs
in
计算得到，其中s
in
表示交易输入的大小，ωs
in
和d
*
分别表示为区块的大小和参与验证的共识节点个数。在保证安全的同时，共识节点的数量会影响时延，共识时延可以表示为
②
获得共识后，生成区块的无人机管理站广播给其他共识节点进行核验，与步骤
①
相似，广播时延可以表示为ψd
*
s
out
ω，结果的比较时延可以通过s
out
ωl
c
/f，其中s
out
表示交易输出的大小，l
c
表示比较一个交易的共识结果所需的cpu周期；
③
共识的结果要单播回块生成器，并添加到现有的区块链中，这个过程的相应时延可以表示为其中表示传输速率，表示区块写入过程。综合上述步骤，可以计算域d中故障数据x的验证时延可以表示为：
[0086][0087]
c.传输时延模型
[0088]
故障信号验证后，无人机管理站根据观测到的状态确定信号传输路径，包括中继无人机的选择决策β
x,d,i,j
和可达目的地的选择决策α
x,d
。无人机i和无人机j 之间的飞行时延和u2u通信时延可以分别表示为和当某一时刻，故障数据传输没有可用无人机时，可将故障信号传输至无人机管理站暂存。因此，在域d中的传输时延可以计算为
[0089]
综合上述模型，总传输时延可以表示为：
[0090][0091]
d.上传时延模型
[0092]
故障信号传输至pss覆盖范围内的域后，该故障信号将被上传到pss进行人工验证，上传时延可以由公式其中γ
x,j
′
,k
表示无人机j
′
选择信道k与pss通信，表示无人机j
′
的u2s的传输速度，k表示子信道个数。
[0093]
1.4)效益模型的详细说明如下：
[0094]
系统效益可以通过传输奖励与成本的差值计算得到。当pss接收到故障信息后，故障信号x的奖励将反馈给相应的无人机管理站。
[0095]
a.奖励模型
[0096]
故障信息每比特的基础单位奖励表示为φ
b
，故障信号传输的基本奖励则表示为φ
b
s
x
。为了激励无人机协同传输信号同时减少电力故障产生的影响，本发明使用sigmoid函数来定义基于故障时效性的额外奖励，因此，电力故障的奖励可以定义为：
[0097][0098]
该式中，为设定的价格因子。
[0099]
b.成本模型
[0100]
该系统中，无人机具有飞行、悬停、计算和传输四种工作模式，其成本分别表示为cf、c
h
、c
c
和c
t
。在这里，悬停和飞行成本定义为能耗与能耗单价的乘积。悬停模式所需的功率可以表示为在这个公式中w和w分别表示为无人机的总重量和总宽度，参数ρ和分别表示空气密度和风速。对于飞行模式，飞行模式的功率可以表示为其中κ和o分别表示空气阻力系数和着力面积。参数v
+
表示通过空气的相对速度，可以由其中v为无人机速度，表示风速。当无人机执行传输或计算操作时，无人机悬停于原地，即计算和传输两种模式的成本包含操作成本和悬停成本。计算操作成本可由s
x
(l
v
+l
p
)φ
c
计算得到，传输操作成本可由s
x
φ
t
计算得到。因此，故障 x传输的总成本可以表示为：
[0101][0102]
综上，故障x的传输效益可以表示为：
[0103][0104]
其中，φ(a
x
,s
x
)表示奖励函数其定义如1.4)a.奖励模型所示，a
x
表示信息的时效性，s
x
表示信息的大小。
[0105]
步骤2)：无人机检测到产生的电力故障，使用无人机进行电力故障数据传输，基于步骤1)中构建的传输模型，确定多目标优化函数；将问题分解成两个待解决的子问题。
[0106]
基于步骤1)中所明确的模型，本发明的优化问题建模为最大化传输效益和最大化传输安全性h
x
的多目标优化问题，优化问题可以表示为：
[0107][0108][0109]
其中，约束c1限制了对安全性的最低要求，其中，d
*
表示共识节点个数决策，p表示共识节点异常概率，h
min
表示最低安全性阈值；约束c2和c3分别限制了选择传输域和域内中继无人机的决策变量，其中α
x,d
表示信息x在域d中传输的决策，表示域的集合；β
x,d,i,j
表
示信息x在域d中由无人机i传输给无人机j的决策，表示域d中传输设备的集合；约束c4限制了u2s子通道的选择，其中γ
x,j
′
,k
表示负载信息x的无人机j
′
选择子信道k的决策，k是子信道个数；约束c5限制了u2s通信需满足的最小信噪比，其中γ
x,j
′
,k
表示负载信息x的无人机j
′
选择子信道k通信的信噪比，γ
min
表示信噪比应满足的最低阈值；约束c6限制了共识节点的上限，其中d
*
表示共识节点个数决策，d表示共识节点总数；交易决策约束 c7保证了交易的数量ω不应超过交易池容量y；c8限制了区块链验证时通信需要满足的最小吞吐量t
x
表示传输时延。
[0110]
由于传输效益被定义为奖励与成本的差值，由奖励的定义可知，当故障数据大小已确定，传输时延越低，奖励越大。为了解决这个问题，多目标联合优化问题p可以分为两个子问题p1和p2。子问题p1可以表示为：
[0111][0112]
即最大化安全性h
x
，最小化故障传输延迟和传输成本
[0113]
p1旨在保证传输安全的同时优化跨域信号传输性能。但区块链认证过程和数据传输过程相互独立且在时间量级上存在差距，则将p1转化成区块链优化 p1
(1)
和传输路径优化p1
(2)
两个优化步骤，对于区块链优化过程而言，传输成本仅与传输时延有关，因此优化目标可以转化为：
[0114][0115]
即最大化安全性h
x
，最小化区块链验证时延
[0116]
而对于传输路径的优化过程p1
(2)
，优化目标为：
[0117][0118][0119]
即最小化域内传输时延和传输成本
[0120]
p2旨在选择子通道来优化故障信号上传时延即：
[0121][0122]
在解决p1后，故障信号将传输到pss所覆盖的域而后上传到pss。考虑到位于城市中央的pss与多个域相邻，同一时间可能有不止一个无人机请求u2s 通信信道来上传故障信号。因此，问题p2转换为最小化所有u2s通信最大上传时延来分配子信道，即：
[0123]
[0124]
其中表示无人机u上传时延，表示同时向pss提出上传请求的无人机集合，决策变量γ
u,k
表示无人机u占用子信道k。
[0125]
步骤3)：当电力故障产生并被监测到后，首先判断电力故障的所在域是否在pss的通信覆盖范围内，若是，则电力故障可以直接上传，若不是则要传输到pss通信覆盖域中，具体操作如下：
[0126]
step1：基于步骤1)中的城市拓扑宏观上通过迪杰斯特拉算法获取当前域到pss通信覆盖域的最短可达路径，考虑到城市的拓扑是规整的，简单地从跳数和距离上获取最短路径可能存在不止一条，将所有可能的路径集合所指向的下一跳域的集合作为当前域的可能目的地集合υ
d
；
[0127]
step2:观测当前域可用无人机状态，构建当前域的拓扑为全连接图，即：其中在这里，s表示故障数据的传输起点，即设备提出传输申请的位置，为可用无人机的集合，c
d
为无人机管理站，υ
d
为可能达到的目的地的集合；
[0128]
step3：将全连接图中以s为终点的边和以集合υ
d
中的点为起点的边删去，提取出图
[0129]
step4：根据无人机的剩余电量情况，将不可达的路径删除，提取出图
[0130]
step5：使用深度优先搜索算法获取图中的环路，对于每一条环路，提取出度最大的点，删除一条以该点为出度的边，或者提取入度最大的点，删除一条以该点为入度的边，每一步操作后判断一次该环路是否破除，直到不存在环路，提取出图以待传输路径优化操作。
[0131]
步骤4)：为了保证数据传输的安全性和传输性能，对区块链传输的安全性和传输性能进行权衡，确定深度强化学习的状态空间、动作空间和奖励函数，使用改进的近端策略优化训练算法优化共识节点数量和区块大小。负载有故障数据的无人机在传输前首先将传输请求打包为一个交易，发送给无人机管理站，无人机管理站验证该交易后将该交易放入交易池中，并使用近端策略优化算法对区块链参数进行优化。
[0132]
4.1)系统状态
[0133]
状态空间包括无人机管理站所采集到的环境状态，和初始动作状态，即状态空间可以表示为：
[0134][0135]
此处s
t
表示时隙t时的状态，包括无人机管理站可用计算资源状态f
t
，管理站之间通信速率状态生成区块的等待时延(t为可能的等待时间集合)，时隙t时的共识节点个数决策时隙t时的交易数量决策ω
t
，时隙 t属于t属于为训练总时长。
[0136]
4.2)系统动作
[0137]
考虑到同时优化两个策略，组合策略的直接作为动作进行优化会给动作空间维度带来灾难。为了简化，如4.1)中，本发明将提组合策略作为状态，将对策略的调整作为动作，
即+1、
‑
1和0(不变)3种动作，该方案将动作空间由d
×
y(d为共识节点数量，y为交易池中待选交易数量)缩减至3
×
3，极大降低了动作空间维度负担。系统动作可以表示为：
[0138][0139]
其中为共识节点数量调整策略，为区块交易数量调整策略，且
[0140]
4.3)奖励函数
[0141]
为了同时对安全性和性能进行评估，设定z
x,d
作为成本指标，由区块链认证失败概率和时延相乘得到，即：
[0142][0143]
其中和是区块生成时延和区块链验证时延。则奖励函数为：
[0144][0145]
从初始时隙开始，无人机管理站按照策略π(a
t
,s
t
)。因此，累积的奖励为：
[0146][0147]
其中η为折扣因子。
[0148]
4.4)优化步骤
[0149]
改进的近端策略优化算法来训练策略的过程如下：
[0150]
step1：首先，迭代从一个状态开始，包含一个初始的组合策略和一个初始的调整策略。初始化组合策略参数θ，和调整策略其中初始的θ
old
＝θ；
[0151]
step2：运行初始策略π
θ
，并收集状态，与非同步评价器演算法类似，需要计算优势值在方差和偏差之间做出妥协，即：
[0152][0153]
在这个公式中，η为奖励函数折扣因子，设经历了t
′
个时隙，函数v(s
t+t
′
+1
)表示在状态s
t+t
′
+1
的期望累积奖励，即：这里的期望表示在采样和优化之间交替的算法中，有限批次样本经验的平均值，r可以由4.3)中累积奖励公式获得，r
t+t
′
表示策略的变化概率，可以由公式策略的变化概率，可以由公式计算得到。
[0154]
step3：在迭代过程中，每k步要更新训练策略，训练策略的更新依赖于损失函数的计算，损失函数可以表示为：
[0155][0156]
其中表示估计奖励值和真实奖励值之间的差值，μ为损失函数权重，即：其中，表示t时刻的差值期望，表示未知的真
实值函数，但可以通过基于值的强化学习方法估计得到，即：实值函数，但可以通过基于值的强化学习方法估计得到，即：实值函数，但可以通过基于值的强化学习方法估计得到，即：用来限制替代策略的更新范围，被定义为：
[0157][0158]
其中r
t
(θ)和分别表示策略变化概率和策略优势评估，可由step2中的公式计算得到，截断函数表示了将r
t
(θ)移出区间[1
‑
∈,1+∈] 来修正更新策略。其中，∈用来表示一个极小的精确范围，用来约束精确值来评估收敛性，获取到更新的参数后，对策略进行更新，直到损失函数收敛，即区块链参数训练完成。
[0159]
步骤5)：基于步骤4)中优化后的区块链参数进行区块链认证，若认证未通过，则记录错误信息，返回错误数据，若认证通过，则使用基于a*算法的双目标多目的地路径优化算法优化路径，基于优化后的路径进行故障数据传输。
[0160]
基于步骤4)中优化后的区块链参数对传输请求进行验证，验证步骤见1.1)安全模型，若请求未通过区块链验证，则记录错误信息，并向请求设备返回错误数据，若请求通过了区块链验证，则优化数据在域内的传输路径。基于步骤3)中提取到的拓扑，无人机管理站基于a*算法获取帕累托可行最优路径集，通过选择中继无人机和可达目的地确定数据传输路径。在本系统中，域内设备旨在找到同时优化传输和时延的帕累托路径，设表示路径从源点x0(即前文模型中所提到的起点s)到点x
m
的集合，即{x0,x1,
…
,x
m
}。为了便于表示两点之间的路径，定义向量e
i,j
＝(t
i,j
,c
i,j
)来表示从设备i到设备j的路径标签，其中t
i,j
表示数据从设备i传输到设备j的时延，c
i,j
表示数据从设备i到设备j的成本。在这里定义一个字典顺序来表示路径之间的关系，对于向量e1＝(t1,c1)和向量e2＝(t2,c2)，若t1<t2，或者t1＝t2∧c1<c2，则定义两个向量之间满足关系e1<e2，即e1在字典顺序上小于e2。为了获得帕累托解，定义了一个占优策略，设定如果t1≤t2∨ c1≤c2，则认为e1优于e2，求帕累托路径就是获得能够不被其他路径占优的解，即从起点s到目的地υ的最优路径对应的点集可以表示为根据两种优化目标，本发明假定根据时延获得的从位置i到位置j的最短路径可以表示为在这里表示数据从位置i传输到位置j所需最短时延，表示最短时延路径下所需要的最大成本；相应地，根据成本获得的从位置i传输到位置j的最短路径可以表示为与上式向量相反，表示最小成本路径所需要的最大时延，表示数据从位置i传输到位置j所需最小成本。获得到帕累托最优路径集后，按所定义的字典序排序最优路径集。基于上述定义，定义了一个最小时延路径指标最大额外时延可以表示为最大额外时延可以表示为来表示成本和时延分别作为指标得到的最优路径的时延差异，在搜索过程中，根据降序的额外时延(即)选择子路径。当找到到每个目标节点的帕累托最优路径(即所有子路径的最小路径指标大于)，算法停止。
[0161]
算法具体步骤如下：
[0162]
step1：初始化路径标签e
s
＝(0,0)，暂存列表开放列表存放所有可行路径和
封闭空列表添加初始化路径标签e
s
加入路径标签e
s,v
(υ∈υ
d
)和暂存列表
[0163]
step2：使用迪杰斯特拉算法计算起点到其他任意点之间的step2：使用迪杰斯特拉算法计算起点到其他任意点之间的反向使用迪杰斯特拉算法得到每一个目的地到其他点的反向使用迪杰斯特拉算法得到每一个目的地到其他点的并计算每条路径的指标
[0164]
step3：进行路径搜索，当路径满足对于υ∈υ
d
，挑选开放列表中满足的路径e；
[0165]
step4：对于每一个e
s,j
＝(e
s,i
(t
s,i
)+t
i,j
,e
s,i
(c
s,i
)+c
i,j
)，如果路径e
s,j
不被其他路径占优，则β
x,d,i,j
＝1，并将e
s,j
加入标签e中；
[0166]
step5：如果路径e
s,j
占优于暂存列表的路径e，则将e移除暂存列表和路径 e
s,j
，并将e添加到封闭列表β
x,d,i,j
＝0，直至没有路径满足搜索条件搜索停止；
[0167]
step6：得到每一个υ∈υ
d
的最优路径集，和相应的{β
x,d,i,j
}，依据占优策略筛选最优路径集，得到最优路径集中字典序最小路径作为数据传输路径，设该传输路径的终点对应的域为d
′
，则α
x,d
′
＝1。
[0168]
步骤6)：重复步骤3)～5)，直到故障数据传输至pss覆盖域。负载故障数据的无人机向pss提出通信请求，进行子信道匹配。在该问题中，子信道分配问题涉及无人机和子信道两种实体，两种实体的集合可以分别表示为道两种实体，两种实体的集合可以分别表示为和每个无人机维护一个根据子信道状态排序的偏好列表，即占用子信道的用户数量，定义最差状态的实体被认为是最差匹配情况。每架无人机的匹配容量为1，即步骤2)中的c4。故障数据的传输时延用来评估无人机请求的紧迫程度，即已产生时延越高，上传请求越紧迫。相应的，各子信道维护的偏好列表按无人机的优先级排序。步骤2)中的c5定义了子信道匹配的最差情况。获取稳定的匹配结果需要匹配列表中不存在匹配冲突的情况。
[0169]
本发明中改进的市场匹配步骤如下：
[0170]
step1：生成无序列表将所有实体无序列表，即：初始化空列表作为暂存列表，初始化所有实体的偏好列表，初始化两种实体的优先级列表；
[0171]
step2：若暂存列表非空，则取出暂存列表中的第一个实体，按照其偏好列表依次向对手实体提出匹配请求，直至将暂存列表中所有实体取出；
[0172]
step3：若无序列表非空，则交替取出一个优先级最高的用户实体或优先级最高的子信道实体(即若本次取出实体为优先级最高的用户实体，则下次取出优先级最高的子信道实体)，按照取出实体的偏好列表向其对手实体提出匹配请求；
[0173]
step4：如果此时暂存列表和无序实体列表非空，则重复step2和step3，直至和中所有实体均完成匹配，不存在匹配冲突的情况，输出匹配结果。
[0174]
在上述匹配过程中，step2和step3涉及到匹配请求过程，实体m
i
请求m
j
的匹配过程如下：
[0175]
step1：初始化临时存储队列，初始队列为空；
[0176]
step2：如果实体m
i
不在实体m
j
的偏好列表中，或者实体m
j
不在实体m
i
的偏好列表中，则结束此轮匹配；
[0177]
step3：如果实体m
i
劣于实体m
j
的最差匹配情况，或实体m
j
劣于实体m
i
的最差匹配情况，则结束此轮匹配；
[0178]
step4：如果实体m
i
的匹配容量已满，则暂时解除m
i
的最差匹配情况的匹配状态，若m
i
至少提出过一次匹配请求，且m
i
不在临时队列中，则将m
i
存入临时队列；
[0179]
step5：如果实体m
j
的匹配容量已满，则暂时解除m
j
的最差匹配情况的匹配状态，若m
j
至少提出过一次匹配请求，且m
j
不在临时队列中，则将m
j
存入临时队列；
[0180]
step6：对临时队列中的实体根据优先级降序排序，并依序插入至暂存列表中。
[0181]
step7：暂时匹配实体m
i
和实体m
j
，即将实体m
i
暂时加入到实体m
j
的匹配列表中，并将实体m
j
暂时加入到实体m
j
的匹配列表中。返回匹配结果和暂存列表
[0182]
步骤7)：pss完成故障信号接收后，查询区块链核验安全性，通过区块链核验后，人工核验电力故障，派遣维护人员前往故障地点进行检修。同时，根据上传电力故障大小和时延计算奖励，并将奖励信息回传给传输过程中途径域的无人机管理站。
[0183]
通过以上步骤，实现本发明所提出的远距离电力故障检测与安全传输。图4给出了在固定最小安全性为0.96的情况下，在不同的共识节点异常概率下，通过区块链验证的概率。需要注意的是延迟贪婪策略没有固定的趋势，该策略目的仅为在满足安全性的基础上最小化延迟。一旦区块链验证参数满足最小安全阈值，设备将停止搜索安全性更好的策略，而本发明中提出的改进的近端策略优化算法最接近安全贪婪策略所获得的最优安全性。可以看出，即便随着共识节点异常概率逐渐上升，本发明提出的算法也能够维持较高的安全性且安全性趋于1。
[0184]
图5和图6分别评估了在限制不同的最小网络吞吐量的情况下本发明所提出算法的时延性能和成本指标(定义于步骤4.3)中)，从图5和图6中可以观察到，所提出的算法因为具有较高的安全性，图5可以观察到四种策略的延迟随着吞吐量限制的增加而增加。所提出的改进的近端策略优化算法的延迟性能仅次于延迟贪婪策略，但结合图4，改进的近端策略优化算法算法在保持稍逊于延迟贪婪策略的延迟性能的前提下有着远高于延迟贪婪策略的安全性。图6中成本指标的定义见步骤4.3)。改进的近端策略优化算法在安全性能和延迟性能之间进行权衡后牺牲了部分可接受延迟达到更高的安全性，具有最好的综合性能(即最低的成本指标)，而时延性能则仅次于时延最优的情况，换言之，本发明提出的算法牺牲了小部分时延性能得到了较高的安全性。
[0185]
图7和图8评估了在随机分布的情况下不同无人机数量下所提出算法的时延和成本性能。图7可以观察到，当无人机数量为10架时，这四种策略的延迟高于无人机大于等于20架的情况。当无人机数量多于20架时，除随机策略，其他三种策略时延下降，变化逐渐趋于平缓。这是因为无人机的增加为信号传输过程中减少了中继无人机选择的延迟提供了更好的位置。然而，无人机之间的信息传输带来了额外的延迟和成本。因此，随着无人机数量的增加，总传输性能逐渐稳定在一个范围内，基于a*的路径优化算法能够在基于时延和成
and optimization for multi
‑
uav networks[j].ieee transactions on wireless communications,2019,18(2):1346
‑
1359.
[0192]
[2]zhou y,pan c,yeoh p l,et al.secure communications for uav
‑
enabled mobile edge computing systems[j].ieee transactions on communications,2020, 68(1):376
‑
388.
[0193]
[3]kudumakis p,wilmering t,sandler m b,et al.the challenge:from mpeg intellectual property rights ontologies to smart contracts and blockchains [standards in a nutshell][j].ieee signal processing magazine,2020,37(2):89
‑
95。