一种无人机数据收集方法

1.本发明属于无线通信技术领域，涉及一种无人机数据收集方法。


背景技术：

2.近年来，由于uav制造技术的发展和成本的降低，uav已广泛应用于民用和商业领域。在部分物联网数据收集应用中，无线传感器节点需采集环境数据并传输至汇聚节点，由于sn能量有限且与汇聚节点之间距离较远，难以高效完成数据收集，使用uav进行数据收集已经受到越来越多的关注，与传统地面通信系统相比，通过对uav轨迹及关联策略的优化可以有效提升数据收集的效率。相关研究表明，uav的轨迹及关联策略将对系统性能产生显著的影响。
3.目前已有文献针对uav数据收集问题进行研究，如提出了一种基于最小化时间年龄的uav数据收集策略；但现有研究较少联合考虑sn成簇、sn发送能耗及uav收集数据所需能耗对网络效用的影响问题，难以实现高效的数据收集性能优化。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种无人机数据收集方法，针对包含一个uav以及多个sn的uav辅助的物联网数据收集系统，建模网络效用函数为sn发送能耗及uav收集数据所需能耗的相反数，以最大化网络效用为目标，实现uav轨迹及用户关联策略的联合优化。
5.为达到上述目的，本发明提供如下技术方案：
6.一种无人机数据收集方法，包括以下步骤：
7.s1：建模uav模型；
8.s2：建模sn模型；
9.s3：建模信道模型；
10.s4：基于亲和力传播算法确定sn聚类策略；
11.s5：建模网络效用函数；
12.s6：建模资源调度、带宽分配限制条件；
13.s7：建模系统状态、动作和输出奖励；
14.s8：建模并训练双时延深度确定性策略梯度网络；
15.s9：基于双时延深度确定性策略梯度算法确定uav数据收集策略。
16.进一步，步骤s1中所述建模uav模型具体包括：将系统时间划分为大小相等的时隙，令t表示时隙总数，τ表示时隙长度，并假设在一个时隙内uav的位置固定不变；uav从初始位置出发对所有sn进行数据收集后返回初始位置，令h为uav的飞行高度，uav在时隙t的位置为uav的最大速度为v
max
；v
t
∈[0,v
max
]表示uav在时隙t的飞行速度；令b0表示uav的可用带宽。
[0017]
进一步，步骤s2中所述建模sn模型具体包括：snm表示第m个sn，χm表示snm的数据包
大小，snm的位置为1≤m≤m，m为sn数量，sns从环境中采集数据并通过正交频分多址技术传输至uav，时隙t内，最多可支持m0个sn同时上传数据至uav。
[0018]
进一步，步骤s3中所述建模信道模型具体包括：建模时隙t，snm与uav之间信道模型，具体为：其中a为路径损耗系数，ρ0为距离为1m时的参考信道增益，表示时隙t，uav与snm之间的距离；建模为高斯随机变量，e∈{los,nlos}为传播参数。
[0019]
进一步，步骤s4中所述基于亲和力传播算法确定sn聚类策略，具体包括：利用sn之间的相似性将其划分为k个簇；令二元指标矩阵ρ＝[ρ
m,k
]m×m，其中ρ
m,k
∈{0,1}，若ρ
m,k
＝1，表示snk为snm的聚类中心，反之，ρ
m,k
＝0；
[0020]
基于优化问题对聚类中心进行优化，其中κ是非负常数，表示节点作为聚类中心的能力；
[0021]
建模sns成簇限制条件为：
[0022]
①
表示一个sn只能与一个聚类中心关联；
[0023]
②
表示一个簇最多包含m0个sn；
[0024]
令s＝(s
m,k
)m×m为相似度矩阵，其中s
m,k
表示snm和snk之间的相似性，建模为：
[0025][0026]
令ψ＝(ψ
m,k
)m×m为吸引度矩阵，其中ψ
m,k
表示snk成为覆盖snm的聚类中心的适合度；令为归属度矩阵，其中为snm选择snk作为其聚类中心的适合度；给定snk，初始化ψ
m,k
＝0，假设n是当前迭代次数，分别为ψ
m,k
，的第n次迭代值，则ψ
m,k
及的更新公式如下：
[0027][0028]
[0029]
重复执行更新步骤直至算法收敛，得到聚类中心，集合进而确定sn的聚类策略为：
[0030]
进一步，在步骤s5中所述建模网络效用函数为：
[0031][0032]
其中ζ和ω分别为sn传输能耗和uav推进能耗的权重系数；为sn在时隙t的传输能耗，e
m,t
表示snm在时隙t的能耗，计算公式为：e
m,t
＝α
m,t
p
m,tdm,t
，其中α
m,t
∈{0,1}，若α
m,t
＝1，表示snm在时隙t上传数据至uav，反之，α
m,t
＝0；p
m,t
表示snm在时隙t的传输功率，d
m,t
表示上传数据的时延，建模为：r
m,t
表示snm在时隙t内的传输速率，建模为其中b
m,t
为snm在时隙t分配的带宽，σ2为噪声功率；
[0033]
表示uav在时隙t的能量消耗，建模为其中l0为给定门限值，为uav的悬停能耗，建模为其中ph为悬停能耗；表示uav在时隙t飞行时的能耗，计算公式为：
[0034][0035]
其中p0和pi为常数，分别表示叶片剖面功率和悬停状态下的感应功率，u
tip
为转子叶片的叶尖速度，v0为uav悬停时平均转子诱导速度，d0和s分别为机身阻力比和转子可靠性，ρ和λ分别为空气密度和转子盘面积。
[0036]
进一步，在步骤s6中所述建模资源调度、带宽分配限制条件，具体包括：
[0037][0038][0039]
进一步，在步骤s7中所述建模系统状态、动作和输出奖励，具体包括：建模系统在时隙t的状态其中h
t
＝{h
1,t
,h
2,t
,...,h
m,t
}表示uav与sn之间信道增益的集合；建模时隙t，动作a
t
＝《θ
t
,v
t
,b
t
,c
t
》，其中θ
t
∈(0,2π]为uav的飞行方向，b
t
＝{b
1,t
,b
2,t
,
…
,bm,t
}，c
t
＝{α
1,t
,α
2,t
,
…
,α
m,t
}；建模时隙t，uav的输出奖励
[0040]
进一步，在步骤s8中所述建模并训练双时延深度确定性策略梯度网络，具体包括：初始化折扣因子γ，更新率υ；演员网络和两个评论网络的在线策略网络参数为θ1和θ2，将在线策略网络参数复制给目标网络，参数为θ
′1和θ
′2；初始化经验回放缓冲区初始化小样本集并对系统状态s
t
进行初始化；对于u，根据策略将动作a
t
施加于系统环境，得到奖励值r
t
(s
t
,a
t
)和下一时刻的状态s
t+1
，并将(s
t
,a
t
,r
t
,s
t+1
)存入经验回放缓冲区从中抽取一批样本通过计算出s
t+1
状态下对应的动作的值目标值为基于损失函数最小化更新评论网络；利用策略梯度更新公式更新其演员网络；通过软更新算法更新在线策略网络和目标网络的参数，具体为：θ
′i←
υθ
i,t
+(1-υ)θ
′
i,t
,i＝1,2。
[0041]
进一步，在步骤s9中所述基于双时延深度确定性策略梯度算法确定uav数据收集策略，具体包括：将环境观测值输入网络，根据在线策略网络的输出确定uav飞行轨迹、sn的带宽分配及资源调度策略。
[0042]
本发明的有益效果在于：本发明在综合考虑sn的带宽分配及资源调度限制的情况下，联合优化无人机轨迹及传感器节点关联策略，实现网络效用最大化。
[0043]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0044]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0045]
图1为无人机数据收集场景示意图；
[0046]
图2为基于双时延深度确定性策略梯度算法的无人机数据收集方法的流程图。
具体实施方式
[0047]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离
本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0048]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0049]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0050]
请参阅图1～图2，图1为无人机数据收集场景示意图，如图1所示，网络中存在一架无人机，多个传感器节点，传感器节点收集环境信息，通过无人机进行数据收集，同时，无人机根据网络效用最大化联合优化轨迹及节点关联策略。
[0051]
图2为本发明无人机数据收集方法的流程图，如图2所示，该方法具体包括以下步骤：
[0052]
1)建模uav模型
[0053]
将系统时间划分为大小相等的时隙，令t表示时隙总数，τ表示时隙长度，并假设在一个时隙内uav的位置固定不变；uav从初始位置出发对所有sn进行数据收集后返回初始位置，令h为uav的飞行高度，uav在时隙t的位置为uav的最大速度为v
max
；v
t
∈[0,v
max
]表示uav在时隙t的飞行速度；令b0表示uav的可用带宽。
[0054]
2)建模sn模型
[0055]
snm表示第m个sn，χm表示snm的数据包大小，snm的位置为1≤m≤m，m为sn数量，sns从环境中采集数据并通过正交频分多址技术传输至uav，时隙t内，最多可支持m0个sn同时上传数据至uav。
[0056]
3)建模信道模型
[0057]
建模时隙t，snm与uav之间信道模型，具体为：其中a为路径损耗系数，ρ0为距离为1m时的参考信道增益，表示时隙t，uav与snm之间的距离；建模为高斯随机变量，e∈{los,nlos}为传播参数。
[0058]
4)基于亲和力传播算法确定sn聚类策略
[0059]
利用sn之间的相似性将其划分为k个簇；令二元指标矩阵ρ＝[ρ
m,k
]m×m，其中ρ
m,k
∈{0,1}，若ρ
m,k
＝1，表示snk为snm的聚类中心，反之，ρ
m,k
＝0；
[0060]
基于优化问题对聚类中心进行优化，其中
κ是非负常数，表示节点作为聚类中心的能力；
[0061]
建模sns成簇限制条件为：
[0062]
①
表示一个sn只能与一个聚类中心关联；
[0063]
②
表示一个簇最多包含m0个sn；
[0064]
令s＝(s
m,k
)m×m为相似度矩阵，其中s
m,k
表示snm和snk之间的相似性，建模为：
[0065][0066]
令ψ＝(ψ
m,k
)m×m为吸引度矩阵，其中ψ
m,k
表示snk成为覆盖snm的聚类中心的适合度；令为归属度矩阵，其中是snm选择snk作为其聚类中心的适合度；给定snk，初始化ψ
m,k
＝0，假设n是当前迭代次数，分别为ψ
m,k
，的第n次迭代值，则ψ
m,k
及的更新公式如下：
[0067][0068][0069]
重复执行上述更新步骤直至算法收敛，得到聚类中心，集合进而确定sn的聚类策略为：
[0070]
5)建模网络效用函数
[0071]
网络效用其中ζ和ω分别为sn传输能耗和uav推进能耗的权重系数；
[0072]
其中为sn在时隙t的传输能耗，e
m,t
表示snm在时隙t的能耗，计算公式为：e
m,t
＝α
m,t
p
m,tdm,t
，其中α
m,t
∈{0,1}，若α
m,t
＝1，表示snm在时隙t上传数据至uav，反之，α
m,t
＝0；p
m,t
表示snm在时隙t的传输功率，d
m,t
表示上传数据的时延，建模为：rm,t
表示snm在时隙t内的传输速率，建模为其中b
m,t
为snm在时隙t分配的带宽，σ2为噪声功率；
[0073]
表示uav在时隙t的能量消耗，建模为其中l0为给定门限值，为uav的悬停能耗，建模为其中ph为悬停能耗；表示uav在时隙t飞行时的能耗，计算公式为：
[0074]
其中p0和pi为常数，分别表示叶片剖面功率和悬停状态下的感应功率，u
tip
为转子叶片的叶尖速度，v0为uav悬停时平均转子诱导速度，d0和s分别为机身阻力比和转子可靠性，ρ和λ分别为空气密度和转子盘面积。
[0075]
6)建模资源调度、带宽分配限制条件
[0076]
①
[0077]
②
[0078]
7)建模系统状态、动作和输出奖励
[0079]
建模系统在时隙t的状态其中h
t
＝{h
1,t
,h
2,t
,...,h
m,t
}表示uav与sn之间信道增益的集合；建模时隙t，动作a
t
＝《θ
t
,v
t
,b
t
,c
t
》，其中θ
t
∈(0,2π]为uav的飞行方向，b
t
＝{b
1,t
,b
2,t
,
…
,b
m,t
}，c
t
＝{α
1,t
,α
2,t
,
…
,α
m,t
}；建模时隙t，uav的输出奖励
[0080]
8)建模并训练双时延深度确定性策略梯度网络
[0081]
初始化折扣因子γ，更新率υ；演员网络和两个评论网络的在线策略网络参数为θ1和θ2，将在线策略网络参数复制给目标网络，参数为θ
′1和θ
′2；初始化经验回放缓冲区初始化小样本集并对系统状态s
t
进行初始化；对于u，根据策略将动作a
t
施加于系统环境，得到奖励值r
t
(s
t
,a
t
)和下一时刻的状态s
t+1
，并将(s
t
,a
t
,r
t
,s
t+1
)存入经验回放缓冲区从中抽取一批样本通过计算出s
t+1
状态下对应的动作的值目标值为基于损失函数最小化
更新评论网络；利用策略梯度更新公式更新其演员网络；通过软更新算法更新在线策略网络和目标网络的参数，具体为：θ
′i←
υθ
i,t
+(1-υ)θ
′
i,t
,i＝1,2。
[0082]
9)将环境观测值输入网络，根据在线策略网络的输出确定uav飞行轨迹、sn的带宽分配及资源调度策略。
[0083]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。