1.本发明涉及无人机桥梁状态监测
技术领域：
：，尤其是基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法。
背景技术：
：：2.桥梁城市交通的重要载体，然而大型重要桥梁存在巡检养护工作量大，难度高，而且存在一些人工无法准确识别的病害和安全监测死角，日益提高的监测标准与检测频率给巡检养护工作提出了新的要求。如今无人机技术发展迅猛，通过无人机集群对桥梁各结构进行信息采样，同时结合桥梁上安装的传感器，对桥梁健康状况进行监测，为桥梁的安全服役提供了一种有效的措施，但是桥梁健康实时监测所要求的设备之间传输的数据量，呈现出指数式增长的趋势。云计算可以提供集中的计算资源，但由于桥梁健康监测设备传输的数据量大，如果把所有的终端数据传送到云数据中心，将给网络带来庞大的拥挤压力和高延迟，从而严重影响桥梁状态监测的体验质量。为了解决这一问题，于是提出采用移动边缘计算，通过将基站与边缘服务器组成的服务节点下沉到桥梁终端设备附近的位置，在网络边缘为桥梁健康监测设备提供计算、通信与存储服务。将计算任务卸载至边缘服务节点中执行，从而降低系统延迟，提高服务质量。对于一些人工检测比较困难的情况，采用无人机辅助的监测方法,具有高效,灵活,省时省力省资源等优点。然而，无人机本身具有电池容量低、计算资源不充足等的问题，因此，存在性能的问题。通过无人机集群可同时对桥梁多个任务进行检测，缩短无人机巡航时间，通过合理分配，充分利用的计算资源，能极大提高检测效率。技术实现要素：3.本发明针对上述问题及技术需求，提出了基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法。以蜂窝拓扑结构的方式部署若干个无人机，同时随机放置多个边缘服务器，位于该环境中的桥梁健康监测设备可将计算密集型任务卸载到边缘服务节点进行处理。而对于处在边缘服务器通信范围之外的设备无法对其任务进行有效稳定的卸载，则将无人机组网作为中继节点，为终端设备寻找经过无人机组网到边缘服务器的最优路径。本发明将路径选择设计为马尔可夫决策过程，并采用强化学习来获得最优路径。4.本发明的技术方案如下：5.一种基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法，其特征在于，部署在人工检测比较困难的桥梁环境下，包括桥梁表面数据采集无人机集群，桥梁状态监测设备，地面边缘计算信息处理系统。6.进一步的，所述桥梁表面数据采集无人机集群可以贴近桥梁表面，实现对大型复杂桥梁的快速识别，同时可以作为边缘处理节点或者中继节点。7.进一步的，所述桥梁状态监测设备包括温湿度传感器、风速风向传感器、系杆位移传感器、动挠度传感器、支座位移传感器、体外预应力传感器和伸缩缝位移传感器等，用于收集桥梁的运行状态。8.进一步的，所述地面边缘计算信息处理系统包括桥梁环境建模系统,无人机巡航路径规划系统,无人机蜂窝拓扑组网系统，桥梁状态识别系统，桥梁质量检测报告生成系统。9.进一步的，桥梁环境建模系统用于对桥梁及桥梁周围环境进行建模；无人机巡航路径规划系统采用基于重要性采样的强化学习来获得最优路径，用于规划无人机集群的巡航路径；无人机蜂窝拓扑组网系统根据无人机状态切换无人机状态为中继节点，选取最优路径，将任务传输到边缘服务器进行处理，或切换为移动服务器，进行桥梁状态数据的本地处理。桥梁状态识别系统用于根据桥梁传感器数据识别桥梁当前状态。桥梁质量检测报告生成系统用于生成桥梁的监测报告。10.进一步的，所述无人机蜂窝拓扑组网系统基于无人机组网建立计算卸载模型，其中无人机不仅可以为近距离终端设备提供计算资源，同时可以为设备选取到达通信范围之外的边缘服务器的最优路径。11.进一步的，所述无人机蜂窝拓扑组网系统包括：12.在所述系统中有桥梁监测设备任务到达时，会首先将任务保存在云缓冲区中。云服务器根据用户设备本地资源，无人机资源，以及边缘服务器资源进行卸载决策。与此同时，假设用户设备通过正交多址的方式访问网络，其中不同用户设备使用正交频带实现互不干扰。13.所述系统的高效计算卸载方案，同时考虑了终端设备，无人机和边缘服务器的延迟和有限的计算能力。所述的问题作为优化问题，以使无人机组网的能耗最小化，达到模型提供服务时间的最大化。14.所述系统模型考虑到可用于路径选择的无人机的数量和通信条件的不确定性，所述的基于重要性采样的深度强化学习，以找到计算分流和资源分配的策略。15.在所述的路径选择模块用于为处于边缘服务器通信范围之外的终端设备提供任务卸载的最优路径，从而尽可能的降低任务传输的功耗和延迟。16.进一步的，通信模型的技术方案为：17.当桥梁健康监测设备将任务卸载到不在设备可直接通信范围内的边缘服务器时，用户设备先通过上行链路将任务传输到无人机。通过下式计算用户设备和无人机之间信道增益[0018][0019]其中k0表示为距离为1m的信道增益，||*||表示为向量的欧几里得范数。[0020]基于上述的信道增益，通过下式计算通信链路的传输速率和传输时间[0021][0022][0023]其中bi表示用户设备i用于任务传输的信道带宽，表示用户设备i的传输功率。同时，由于不同设备在传输任务时可能会复用同一信道。因此，[0024][0025]其中，δ为高斯白噪声。[0026]用户设备通过上行链路发送数据给无人机时的能耗为：[0027][0028]进一步的，无人机将任务卸载到边缘服务器。通过下式计算无人机与边缘服务器之间的信道增益，传输速率以及传输时间分别表示为之间的信道增益，传输速率以及传输时间分别表示为[0029][0030][0031][0032]其中表示分配给无人机m的信道带宽，表示无人机的发射功率，为对应的信道增益，δefs为边缘服务器中的自然噪声。[0033]无人机通过下行链路发送数据给边缘服务器时的损耗为：[0034][0035]进一步的，当处理的任务较大时，无法保证在对任务进行卸载时，用户设备与边缘服务器保持稳定通信。将无人机作为任务传输的中继节点，将任务卸载到更远的边缘服务器。通过下式计算无人机a与无人b之间的信道增益，传输速率以及传输时间：[0036][0037][0038][0039]其中为噪声功率，表示用于无人机之间信息传输的信道带宽，无人机a的发射功率为通过下式计算两个无人机之间传输时的能耗：[0040][0041]对于用户设备i，如果需要借助无人机将任务卸载到边缘服务器，则通过下式计算通过多个无人机进行任务传输的总能耗为：[0042][0043]其中va,b用来决定是否选择当前路线进行传输。[0044]进一步的，移动边缘计算模型技术方案为：[0045]每个无人机都拥有相同的计算能力为fuav，当用户设备i中任务被卸载到无人机之后，通过下式计算执行完当前任务所需要的时间：[0046][0047]其中无人机中cpu分配给该任务的计算资源fiuav为，因此就可以得出相应的功耗[0048][0049]其中k(fiuav)3为cpu的功耗，k的取值跟无人机上cpu的架构有关，并且在同一个时间间隔内，无人机所能接收的最大任务请求满足以下约束：[0050][0051]进一步的技术方案为，通过基于重要性采样的强化学习得到无人机的飞行路径。桥梁状态监控设备决定把任务卸载到远处的边缘服务器时首先将任务经过若干个中继无人机传输，任务每到达一个无人机就决策下一次的传输节点，将无人机对下一步决策的过程看作马尔可夫决策过程。[0052]进一步的设置状态空间。当决定把任务卸载到距离太远而无法直接通信的边缘服务器时，将无人机作为任务传输的中继节点，任务通过若干个无人机后，到达边缘服务器。对于桥梁状态监控设备i而言，当前任务的状态与可通信的无人机以及边缘服务器有关，通过下式计算当前无人机传输任务的状态变量si,path：[0053][0054]其中，与设备i可通信的无人机集合为k表示可用无人机数量,可用服务器集合为[0055]进一步的设置奖励函数。用户设备先将任务卸载到无人机i，然后经过若干个中继无人机，传输到边缘服务器j。无人机i，边缘服务器j的坐标分别为采用蜂窝拓扑结构部署无人机组网，每个无人机周围有m∈[0,6]个无人机。通过下式计算任务在传输时每个状态-行为对的及时奖励函数：[0056][0057]其中，无人机k是当前任务已经传输到的无人机，无人机k周围的无人机集合为[0058]进一步的设置状态行为价值函数。通过下式计算状态价值函数：[0059][0060]其中，si表示用户设备i的任务的当前阶段状态，ai表示即将采取的下一步动作,s'i表示采取完动作之后，下一个阶段状态。表示当任务开始被传输时的状态转移概率。通过下式计算在状态si采取ai动作之后，对应状态-动作对(si，ai)的动作价值函数:[0061][0062]假设为状态si在∏策略下，采取ai动作之后所能获得的最优值，那么状态si的最优价值函数满足如下等式：[0063][0064]进一步的处理路径选择问题。对于阶段t的每个桥梁健康监控设备，更新q-table中对应(s，a)对的值。桥梁健康监控设备根据ε-greedy值选择随机策略或者贪婪策略进行下一步的任务卸载决策。之后根据该动作获得的立即回报以及和下一个状态动作的q值的加权和，以及q-table中获得的当前状态和动作下的q值，利用时间差分法对q-table进行更新，通过下式计算更新值：[0065]q(s,a)＝q(s,a)+α[γmaxa'q(s',a')-q(s,a)+reward(s,a)][0066]其中α(0＜α＜1)为学习速率，用于权衡上一次学习到的结果占这一次学习结果的比重。γ为折扣因子，它用来定义未来奖励的重要性。[0067]进一步的，使用卷积神经网络估算每个(s，a)对的q(s,a)值，代替在内存维护一张复杂的q-table表。使用重要性采样以尽可能大的概率抽取到价值更高的样本，加快q-table拟合速度,提高算法的性能。[0068]使用卷积神经网络估算每个(s，a)对的q(s,a)值使用到两个神经网络,它们的结构相同，一个用来选择动作，更新模型参数，另一个用于计算目标q(s,a值，分别称为当前网络(qcurrent(s,a,w))和目标网络(qtarget(s,a,w'))。其中目标网络的网络参数不需要迭代更新，而是每隔一段时间将当前网络的权重参数w复制给目标网络w'，即延时更新。引入经验回放机制以便把系统探索环境得到的经验过渡元组(st,at,r(st，at),st+1,done)储存起来，然后随机选取批量样本来估算出两个网络分别对应的q值以更新网络的参数。通过下式计算目标网络的q值yi：[0069][0070]将(s,a)对的值输入给当前网络，获得当前网络的q值，之后通过当前网络的q值和yi值训练网络，通过下式计算损失函数：[0071]loss(θ)＝(r(s,a)+γmaxa'(qtarget(s',a',w'))-qcurrent(s,a,w))2[0072]进一步的，采用经验回放打破样本之间关联。采用随机抽取样本的方式来更新参数，为样本设置优先级，对于价值越高的样本，优先级越高，抽取到的概率越大，价值较低的样本，也有一定的概率抽到。通过下式计算一个样本的价值：[0073]δt＝r(s,a)+γmaxa'(qtarget(s',a',w'))-qcurrent(s,a,w)[0074]每个样本被抽取的概率计算如下：[0075][0076]其中pi＝∣δt+∈∣,∈》0。由于为样本设置优先级引入了偏差，改变了数据分布和期望值，使用重要性采样方法来修正网络权重：[0077]wj＝(n*p(j))-β/maxiwi[0078]其中当β为1时完全消除偏置，越小则优先级大的样本对训练的影响越大。[0079]其进一步的技术方案为，桥梁状态识别系统用于根据桥梁传感器数据识别桥梁当前状态。桥梁质量监测报告生成系统用于生成桥梁的监测报告。[0080]本发明的有益技术效果是：[0081]本技术提出的模型布置在人工难以监测的桥梁环境下，不仅可以利用无人机组网和边缘服务器组成的服务节点对现有通信网络进行有效补充，还可以将无人机转换成中继节点，将任务传输到更远处的边缘服务器进行处理，从而保证终端设备在大范围内能够对计算密集型任务进行有效卸载。移动终端不需要将计算密集的任务通过无线接入的方式迁移至云服务器，而是通过就近的边缘服务器来减少网络资源占有率，缩短网络时延。本发明实现桥梁状态监测过程计算资源的优化配置,大幅提高状态监测资源利用效率,提高监测质量。附图说明[0082]图1是本发明申请公开的桥梁状态监测系统框架图；[0084]图2是本发明申请公开的桥梁监测数据传输模型图。[0083]图3是本发明申请公开的计算卸载模型中路径选择的原理图；具体实施方式[0085]下面结合附图对本发明的具体实施方式做进一步说明。[0086]如图1所示，本发明是一种基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法，包括桥梁表面数据采集无人机集群，桥梁状态监测设备，地面边缘计算信息处理系统。桥梁监测数据传输模型如图2所示。该方法包括：若干个桥梁状态监测设备，桥梁表面数据采集无人机集群，地面信息处理系统。桥梁状态监测设备通过传感器对桥梁状态进行监测。无人机集群用于对桥梁数据进行本地处理或作为中继节点传输桥梁数据。地面信息处理系统包括桥梁环境建模系统,无人机巡航路径规划系统,无人机蜂窝拓扑组网系统，桥梁状态识别系统，桥梁质量检测报告生成系统:桥梁环境建模系统用于对桥梁及桥梁周围环境进行建模；无人机巡航路径规划系统采用基于重要性采样的强化学习来获得最优路径，用于规划无人机集群的巡航路径；无人机蜂窝拓扑组网系统根据无人机状态切换无人机状态为中继节点，选取最优路径，将任务传输到边缘服务器进行处理，或切换为移动服务器，进行桥梁状态数据的本地处理。桥梁状态识别系统用于根据桥梁传感器数据识别桥梁当前状态。桥梁质量监测报告生成系统用于生成桥梁的监测报告。[0087]步骤一：桥梁状态监测设备用于获取桥梁实时状态参数，如结构位移、应力、动挠度、温湿度、风速风向数据，基于无线传输网络，将监测数据卸载至桥梁表面数据采集无人机集群各中继节点。[0088]步骤二：桥梁环境建模系统通过无人机对桥梁和周围环境信息进行采集，并通过3d建模建立坐标系还原真实场景。[0089]步骤三：无人机巡航路径规划系统根据桥梁环境建模系统建立的三维模型，采用基于重要性采样的强化学习来获得最优路径，用于规划无人机集群的巡航路径与导航控制，并使无人机集群在各自对应的扫描检测区域执行任务。[0090]步骤四：无人机蜂窝拓扑组网系统将桥梁状态监测设备上传的数据与无人机的检测数据进行实时分配，根据无人机状态切换无人机状态为中继节点，选取数据传输最优路径，将任务传输到边缘服务器进行处理，或切换为移动服务器，进行桥梁状态数据的本地处理。[0091]步骤五：桥梁状态识别系统通过对传输的监测进行清洗，筛选出有效数据，并根据算法对传感数据与图像数据进行融合分析，计算各项安全指标，识别桥梁当前状态。[0092]步骤六：桥梁质量检测报告生成系统根据养护标准，通过分析各项安全指标，生成桥梁的监测报告，实现对桥梁的在线监测。[0093]图3是通过基于重要性采样的强化学习得到无人机的飞行路径。桥梁状态监控设备决定把任务卸载到远处的边缘服务器时首先将任务经过若干个中继无人机传输，任务每到达一个无人机就决策下一次的传输节点，将无人机对下一步决策的过程看作马尔可夫决策过程。[0094]步骤一：设置状态空间。当决定把任务卸载到距离太远而无法直接通信的边缘服务器时，将无人机作为任务传输的中继节点，任务通过若干个无人机后，到达边缘服务器。对于桥梁状态监控设备i而言，当前任务的状态与可通信的无人机以及边缘服务器有关，通过下式计算当前无人机传输任务的状态变量si,path：[0095][0096]其中，与设备i可通信的无人机集合为k表示可用无人机数量,可用服务器集合为[0097]步骤二：设置奖励函数。用户设备先将任务卸载到无人机i，然后经过若干个中继无人机，传输到边缘服务器j。无人机i，边缘服务器j的坐标分别为采用蜂窝拓扑结构部署无人机组网，每个无人机周围有m∈[0,6]个无人机。通过下式计算任务在传输时每个状态-行为对的及时奖励函数：[0098][0099]其中，无人机k是当前任务已经传输到的无人机，无人机k周围的无人机集合为[0101]步骤三：设置状态行为价值函数。通过下式计算状态价值函数：[0102][0103]其中，si表示用户设备i的任务的当前阶段状态，ai表示即将采取的下一步动作,s'i表示采取完动作之后，下一个阶段状态。表示当任务开始被传输时的状态转移概率。通过下式计算在状态si采取ai动作之后，对应状态-动作对(si，ai)的动作价值函数:[0104][0105]假设为状态si在∏策略下，采取ai动作之后所能获得的最优值，那么状态si的最优价值函数满足如下等式：[0106][0107]步骤四：处理路径选择问题。对于阶段t的每个桥梁健康监控设备，更新q-table中对应(s，a)对的值。桥梁健康监控设备根据ε-greedy值选择随机策略或者贪婪策略进行下一步的任务卸载决策。之后根据该动作获得的立即回报以及和下一个状态动作的q值的加权和，以及q-table中获得的当前状态和动作下的q值，利用时间差分法对q-table进行更新，通过下式计算更新值：[0108]q(s,a)＝q(s,a)+α[γmaxa'q(s',a')-q(s,a)+reward(s,a)][0109]其中α(0＜α＜1)为学习速率，用于权衡上一次学习到的结果占这一次学习结果的比重。γ为折扣因子，它用来定义未来奖励的重要性。[0110]步骤五：使用卷积神经网络估算每个(s，a)对的q(s,a)值，代替在内存维护一张复杂的q-table表。使用重要性采样以尽可能大的概率抽取到价值更高的样本，加快q-table拟合速度,提高算法的性能。[0111]使用卷积神经网络估算每个(s，a)对的q(s,a)值使用到两个神经网络,它们的结构相同，一个用来选择动作，更新模型参数，另一个用于计算目标q(s,a)值，分别称为当前网络(qcurrent(s,a,w))和目标网络(qtarget(s,a,w'))。其中目标网络的网络参数不需要迭代更新，而是每隔一段时间将当前网络的权重参数w复制给目标网络w'，即延时更新。引入经验回放机制以便把系统探索环境得到的经验过渡元组(st,at,r(st，at),sx+1,done)储存起来，然后随机选取批量样本来估算出两个网络分别对应的q值以更新网络的参数。通过下式计算目标网络的q值yi：[0112][0113]将(s,a)对的值输入给当前网络，获得当前网络的q值，之后通过当前网络的q值和yi值训练网络，通过下式计算损失函数：[0114]loss(θ)＝(r(s,a)+γmaxa'(qtarget(s',a',w'))-qcurrent(s,a,w))2[0115]步骤六：采用经验回放打破样本之间关联。采用随机抽取样本的方式来更新参数，为样本设置优先级，对于价值越高的样本，优先级越高，抽取到的概率越大，价值较低的样本，也有一定的概率抽到。通过下式计算一个样本的价值：[0116]δt＝r(s,a)+γmaxa'(qtarget(s',a',w'))-qcurrent(s,a,w)[0117]每个样本被抽取的概率计算如下：[0118][0119]其中pi＝∣δt+∈∣,∈》0。由于为样本设置优先级引入了偏差，改变了数据分布和期望值，使用重要性采样方法来修正网络权重：[0120]wj＝(n*p(j))-β/maxiwi[0121]其中当β为1时完全消除偏置，越小则优先级大的样本对训练的影响越大。[0122]在本技术中，一种基于无人机蜂窝拓扑组网和移动边缘计算的桥梁状态监测方法。涉及无人机桥梁状态监测
技术领域：
：。本发明实现桥梁状态监测过程计算资源的优化配置,大幅提高状态监测资源利用效率,提高监测质量。[0123]以上所述的仅是本技术的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。当前第1页12当前第1页12