用于风力涡轮机监测的智能无人机的制作方法

1.本技术涉及无人机领域。具体地，本技术涉及一种无人机及其用于监测风力涡轮机状态的方法。


背景技术：

2.保持风力涡轮机长时间运行的一个关键因素是按比例进行适当的维护。这需要持续监测风力涡轮机的状态。目前，这项任务使用多种方法执行，例如：无人机检查、地面摄像头检查和手动检查，每种方法的市场份额分别为7％、10％和83％。地面摄像头检查和手动检查效率不高，难以满足日益增长的检查需求。无人机和其由于其灵活性和低成本，在自动化检查方面发挥着越来越重要的作用。然而，其中许多检查任务由操作员执行，操作员手动控制配备摄像头或其他感知设备的无人机的移动，如何实现无人机的自主检查目前仍然是一个挑战。
3.为了完成这项任务，无人机需要的主要功能之一是使用计算机视觉技术,从捕获的图像中识别对象、执行定位、图像分割和运动跟踪。计算机视觉系统的输出可以用作无人机用于自主导航的多个输入之一。在视觉伺服系统中，无人机的位置和方向由一个或多个视觉特征控制。这些特征可以是点、线或其他几何形状。现有的视觉伺服算法可分为基于位置的视觉伺服、基于图像的伺服或两种技术的混合。


技术实现要素：

4.本发明提出了一种基于深度神经网络的四轴无人机及其用于监测风力涡轮机状态的方法。本发明使用基于图像的视觉伺服来导航到目标对象，但不使用轨迹或斑点来确定目标。
5.本发明的第一方面涉及一种无人机，其包括：
6.摄像头，用于采集图像；
7.模拟复眼，用于摄像头采集的图像分割成四个象限，通过深度神经网络进行处理，计算每个象限中的图像包含风力涡轮机对象的概率，形成数据；
8.视觉伺服控制器，接受来自模拟复眼的数据，计算朝向风力涡轮机导航所需的偏航角、前进速度以及何时停止以避免与风力涡轮机碰撞；基于所述计算结果，控制所述无人机的飞行。
9.在本技术的一个优选实施方式中，所述模拟复眼表示为[ii,ti]，其中ii是串联图像像素，ti是图像的标签。标签t＝[t1,t2,t3,t4]代表四个象限：然后将该向量发送到视觉伺服控制器，在此将其解压缩并转换为图像，获得图像大小及其对应的标签。
[0010]
在本技术的一个优选实施方式中，使用名为alexnet(一种深度学习神经网络)的经过预训练的深度神经网络通过迁移学习识别风力涡轮机。
[0011]
在进一步优选的实施方式中，通过应用合成变换(如反射和翻译)在内存中对图像
进行预处理，目的是增加训练图像的数量，避免过拟合。
[0012]
在进一步优选的实施方式中，使用0.0001的低学习率来训练第一层；对于最后一层，使用了20的最快权重学习率，以便他们能够快速学习风力涡轮机的主要特性。
[0013]
在进一步优选的实施方式中，通过公式计算偏航角ψ
ref
[0014]
其中，τs是常数，且基于以下
[0015][0016]
其中p(s
l
)和p(sr)分别表示水平面上以中心点为分界点的左右两段上风力涡轮机出现的概率，p(s
l
)表示左段出现的概率，p(sr)表示右段出现的概率。
[0017]
基于以下公式计算无人机出现概率，基于此做为参考来降低无人机的前向速度，
[0018][0019]
其中，p
sum
表示无人机出现概率之和，q表示分段数；
[0020]
所述概率的阈值p
tserv
由用户定义，这用于阻止无人机向前移动。
[0021]
本发明运用深度神经网络(dnn)，借助基于图像的无人机伺服解决针对风力涡轮机的自主检测问题。尤其适合于可能找不到明确地标的近海环境无人机部署场景，通过图像中识别并定位希望导航的对象，并使用这些信息进行导航。
[0022]
所发明的视觉导航系统可以达到如下效果：
[0023]
1)让无人机能够在没有可见轨迹或地标的环境中(除了目标本身)自主导航到目标；
[0024]
2)有效减轻操作员持续跟踪无人机位置和轨迹的负担，让无人机操作员专注于拍摄检查所需的图像；
[0025]
3)通过无人机完全自动化检查过程来减少总体检查时间和成本。
附图说明
[0026]
图1展示了本技术的摄像头将图像分割为4个象限，每个象限的分辨率为227x227x3像素
[0027]
图2展示了视觉伺服的方框图，为外回路的偏航控制输出参考
[0028]
图3展示了原始和经过过滤的
[0029]
图4展示了无人机动态的动力学变量和坐标
[0030]
图5展示了导航控制系统的结构
具体实施方式
[0031]
为了简明，本文仅具体地公开了一些数值范围。然而，任意下限可以与任何上限组
合形成未明确记载的范围；以及任意下限可以与其它下限组合形成未明确记载的范围，同样任意上限可以与任意其它上限组合形成未明确记载的范围。此外，每个单独公开的点或单个数值自身可以作为下限或上限与任意其它点或单个数值组合或与其它下限或上限组合形成未明确记载的范围。
[0032]
在本文的描述中，除非另有说明，“以上”、“以下”包含本数。
[0033]
除非另有说明，本技术中使用的术语具有本领域技术人员通常所理解的公知含义。除非另有说明，本技术中提到的各参数的数值可以用本领域常用的各种测量方法进行测量(例如，可以按照在本技术的实施例中给出的方法进行测试)。
[0034]
术语“中的至少一者”、“中的至少一个”、“中的至少一种”或其他相似术语所连接的项目的列表可意味着所列项目的任何组合。例如，如果列出项目a及b，那么短语“a及b中的至少一者”意味着仅a；仅b；或a及b。在另一实例中，如果列出项目a、b及c，那么短语“a、b及c中的至少一者”意味着仅a；或仅b；仅c；a及b(排除c)；a及c(排除b)；b及c(排除a)；或a、b及c的全部。项目a可包含单个组分或多个组分。项目b可包含单个组分或多个组分。项目c可包含单个组分或多个组分。
[0035]
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种分布式无人机集群控制系统的具体实施方式及其功效，详细说明如后。
[0036]
本发明将安装在无人机上的rgb摄像头拍摄的图像分割成复合眼，后者由四象限组成。dnn并行分析分割图像的四个象限，以确定哪个象限包含风力涡轮机的概率最高。这些数据不断输入控制器，控制器计算朝向风力涡轮机导航所需的偏航角、车辆前进速度以及何时停止车辆以避免与风力涡轮机碰撞。控制系统各个部分如下所述。
[0037]
图像捕获和处理(复合眼)
[0038]
intel的车载摄像头r200用于捕捉图像。这台相机能够以每秒30帧的速度拍摄分辨率为1080x1920x3像素的图像，其中图像大小被缩放到454x453x3像素，以创建我们复合眼的四个象限。图1显示了在这项工作中呈现的实验期间收集的图像。使用这张图像，dnn计算了左上象限包含风力涡轮机的概率，从而触发“发现物体”事件。
[0039]
对无人机车载摄像头图像进行处理和分割，创建一个向量，将复合眼表示为[ii,ti]，其中ii是大小为(227*227*3)的串联图像像素，ti是图像的标签。结果向量大小为227*227*3+1＝154588。标签t＝[t1,t2,t3,t4]代表四个象限：然后将该向量发送到地面控制站(gcs)，在地面控制站(gcs)将其解压缩并转换为图像，图像大小(227x227x3像素)及其对应的标签。分段的数量是任意的，仅受相机分辨率的限制。因此，在一般情况下，标记可以用t＝[t1,t2,t3,t4]表示。然后通过预训练的dnn对未打包的图像进行处理。
[0040]
基于dnn的图像检测
[0041]
本发明使用名为alexnet的经过预训练的dnn通过迁移学习识别风力涡轮机。输出分为四类：窗帘、网、墙、风力涡轮机。之所以选择这些类别，是因为这些是无人机最常遇到的视图，其中[windturbine]类别用于视觉伺服。使用70％的图像用于训练，30％用于验证。通过应用合成变换(如反射和翻译)在内存中对图像进行预处理，目的是增加训练图像的数量，避免过拟合。使用0.0001的低学习率来训练第一层。对于最后一层，使用了20的最快权
重学习率，以便他们能够快速学习风力涡轮机的主要新特性。
[0042]
视觉伺服
[0043]
基于感知的视觉伺服控制器基于这样一个假设：当风力涡轮机出现在其中一个象限中时，dnn计算的概率在相应象限中最大。因此，该概率可用于调整无人机的方向，使其具有所需的方向，即最中间的象限具有最大的看到目标的概率。
[0044]
如果我们把这个问题简化为水平面上的两段，我们将得到一个左右段，其中心点位于笛卡尔坐标系中，表示为[s
l
＝[x
l
，y
l
]sr＝[xr，yr]]。每一段中的图像都有包含所讨论对象的概率，由两种概率[p(s
l
)，p(sr)]表示。
[0045]
视觉伺服系统中的最终输出是使用dnn进行推断，并产生一个概率，即风力涡轮机出现在s
l
或sr段的概率。下一步是将概率[p(s
l
)，p(sr)]与一个角度联系起来，该角度用作反馈回路的参考。在经典意义上，这可以使用atan2函数实现，如表达式1所示。
[0046]
ψ
ref
＝atan2(y
s-y
uav
，x
s-x
uav
)
ꢀꢀ
(1)
[0047]
其中，[xs，ys]是航段的中心位置，[x
uav
，y
uav
]是无人机在笛卡尔坐标系中的相机焦点，ψ
ref
是参考角。如果我们有一个确定性系统，这种方法可以很好地工作，但是在我们的例子中[p(s
l
),p(sr)]可能是随机变化的，并且在没有“看到风力涡轮机”的情况下不必为0。本发明提出了另一种方法，如表达式2所示减去两段的概率，我们称之为增广角，表达式3显示了三种产生的偏航角ψ情况。
[0048][0049][0050]
如图5所示，增加的角度用作外环控制器的参考值，即(ψ
ref
)。
[0051]
由于概率p(s
l
),p(sr)在实现中有重要影响，因此增加了一个低通滤波器。视觉伺服的结构如图2所示。图3显示了原始和过滤后的在表达式4中称为ψ
ref
。
[0052][0053]
如果包含更多的片段，这个问题可能会增加，因为问题被重新表述为对图像两侧的概率求和，见表达式5，其中(.)n表示第n段。
[0054][0055]
在本发明中，视觉伺服控制器使用与风力涡轮机类别相关的dnn概率。使用了四个航段，其中dnn计算航段3和4的概率，即带有标签[t3,t4]的航段，其具有相应的概率[p3,p4]，并使用它们计算偏航参考[ψ
ref
]，如图2所示。偏航基准用于计算偏航控制器的误差信号，如图5所示。
[0056]
基于感知的避障和前向运动控制
[0057]
基于感知的避障基于以下假设：无人机离目标越近，概率之和越大(见表达式
(6))。
[0058][0059]
其中q是分段数(本发明中使用了4个分段)。概率的阈值p
tserv
由用户定义，这用于阻止无人机向前移动。无人机的前向运动通过概率之和进行同等控制，概率之和的增加用于降低无人机的前向速度。
[0060]
如图4所示，x方向上的前进速度作为所有分段概率之和乘以控制参数b的函数计算，并从最大前进速度v
max
中减去，见表达式(7)。
[0061][0062]
由用户定义，取决于无人机的最大允许速度，控制参数通过表达式8计算。其中v
max
是用户设置的最大允许速度。
[0063][0064]
因此，一旦检测到风力涡轮机，无人机就开始以预设速度v
max
向其导航。然后计算并用其降低v
max
。随着无人机靠近风力涡轮机，p
sum
将增加，因为风力涡轮机的表观尺寸将在摄像机的视野范围内增加，最终达到p
tserv
。表达式8中的设计控制参数将确保表达式9中所示的两种情况保持不变，如表达式8所示。
[0065][0066]
在本发明中，前进运动由外环控制器控制，如图5所示，外环控制器以外部参照为参考。基于感知的向前运动控制器计算位置x
ref
＝∫v。
[0067]
无人机动力学与导航控制
[0068]
本发明使用pid控制器为无人机设计基于视觉伺服的导航控制器，无人机在欧几里德空间的坐标如图4所示。无人机的动力学由6自由度欠驱动非线性系统建模，如下所示：
[0069][0070][0071]
其中ξ＝[x,y,z]
t
是无人机在惯性系中的平移位置，η＝[φ,θ,ψ]
t
是欧拉角，φ、θ和ψ分别是横摇、俯仰和偏航，m是无人机的质量，r是无人机机身固定架到惯性系的旋转矩阵，如下所述:
[0072][0073]
其中s(
·
)＝sin(
·
),c(
·
)＝cos(
·
)，g是重力加速度，是coriolis矩阵，
f是惯性系中的平移力，i是惯性矩阵，e3＝[0,0,1]
t
。
[0074]
由于coriolis矩阵是高度非线性的，因此很难精确确定，本发明使用一系列pid控制器来设计导航控制系统，使用内外环控制策略。参见图5。控制器的目标是使无人机达到所需的位置和姿态[x
ref
,y
ref
,z
ref
,ψ
ref
]，与面向导航摄像机的风力涡轮机保持恒定的距离。实际上，这样做是为了让无人机到达风力涡轮机检查的起始位置。在外环控制中，将跟踪误差定义为进而，表达式(10)可以改写为：
[0075][0076]
在x、y和z方向定义了三个虚拟控制输入，如下所示：
[0077][0078]
在这里，u
x
、uy和uz由三个pid控制器设计，如下所示：
[0079][0080]
表达式(15)的传递函数可以写成
[0081][0082]
为了获得良好的控制器性能，本发明使用simulink/matlab中的pid模块通过实验对控制参数k
p
、ki和kd进行了调整。然后，我们可以通过以下公式计算控制力、横摇和偏航欧拉角：
[0083][0084]
现在，已知所需的欧拉角ф
ref
、θ
ref
和ψ
ref
。同样，采用其他三个pid控制器来控制内环中的姿态，如下所示：
[0085][0086]
在simulink/matlab中使用pid模块对控制参数k
p
、ki和kd进行整定，以保证闭环稳定性和良好的控制性能。最后，得到了四维控制输入(f,τ)，需要将其转换为pwm脉冲，并分配给四个电机，用[u1,u2,u3,u4]表示。为了平衡电机力矩，控制力和电机pwm值之间的线性映射可通过以下表达式(18)给出：
[0087][0088]
式中，ff是pwm为1时每个电机的最大力，l
ф
是电机f1和f2之间沿向前/向后方向到无人机中心的距离，如图4所示。l
θ
是电机f1和f3之间沿侧向到无人机中心的距离，t是电机
扭矩常数。需要注意的是，表达式18中控制力和电机力矩之间的映射矩阵是可逆的，因此[u1,u2,u3,u4]
t
可以由控制力[f,τ
φ
,τ
θ
,τ
ψ
]
t
唯一确定。
[0089]
反馈参数x,y,z,ψ从opti-track摄像头系统获取，并使用补充的滤波器和车载imu(惯性测量单元)计算姿态角和。完整结构如图5所示。
[0090]
实施例1
[0091]
在面积为4.5
×
4m2、高度为4米的室内实验室环境中开展了现场测试。该实验室设施称为“自动车辆研究工作室”(avrs)，由四架直升机无人机、地面控制系统和光学跟踪系统组成。此外，还使用了1:336比例的vestas v112-3.0mw风力涡轮机。初步实验表明，无人机可以自主地向风力涡轮机方向导航，控制其速度，并在安全距离处停止。
[0092]
虽然已经说明和描述了本技术的一些示例性实施方式，然而本技术不限于所公开的实施方式。相反，本领域普通技术人员将认识到，在不脱离如所附权利要求中描述的本技术的精神和范围的情况下，可对所描述的实施方式进行一些修饰和改变。