一种滑坡无人机线性传感器网络框架检测系统的制作方法

本发明一种滑坡无人机线性传感器网络框架检测系统，属于山体滑坡预警技术领域。

背景技术：

滑坡是一种大规模的灾难性地质灾害。滑坡造成的交通阻塞和建筑破坏，可能会严重威胁到居民的安全，会给经济造成巨大的损失,近年来，随着社会经济的快速发科学技术，人类活动对自然环境的影响越来越大，由于人为因素，山体滑坡事件变得更加频繁。因此，为了尽量避免潜在滑坡造成的损失，有必要对经常发生滑坡的地区进行监测，及时提醒人们注意地质灾害。

滑坡位移监测是跟踪滑坡的运动状态,该方法通过滑坡运动的方向和速度量来跟踪滑坡当前的变化趋势，进而预测滑坡发生的可能性。滑坡位移监测可以直观地反映滑坡灾害的演变过程,并使用了不同的技术，例如激光测距技术，gps技术，卫星雷达技术以及其他遥感技术。

大多数利用地表结构分布的滑坡监测系统是由数字高程模型(dems)来定义的，dems是利用遥感技术来评估滑坡灾害。创建高质量的数字高程模型需要高分辨率的卫星数据。然而，由于时空区域信息密度巨大，卫星数据既耗时又非常昂贵。

为了克服这些不足，一些学者考虑采用结构运动(sfm)与无人机(uav)相结合的方法来产生高分辨率的dems，用于详细的地貌应用。paolo提出了一种滑坡监测系统，该系统描述了多传感器无人机在空间(广泛)方面的演变，无人机系统可用于更新鸟瞰图，并支持密集监测系统设计和数据解释。ma利用无人机拍摄数据，给出了滑坡的几何特征和运动特征。roberta描绘了滑坡的形态和地貌特征，并测量了滑坡体内的水平位移和高程变化差异。

其中，buˇsa采用综合方法评估滑坡运动，利用无人机摄影测量技术建立了地形模型，该模型可以识别从空间到亚厘米的滑坡位移或通过小型无人机创建高分辨率模型。kamila提出了一种新的滑坡特征识别和形态映射技术，该技术使用计算机辅助方法来增强视觉解释hrdem。两种提到的方法都使用图像技术来识别滑坡的表面形态。

为了分析滑坡易感性，一些研究人员考虑利用svm对以往引起滑坡的相似地质条件下的滑坡图像进行分类。lee通过从基于gis的数据库中提取的18个因子作为训练数据，应用svm绘制滑坡敏感性图。pham提出了一种新的混合智能模型，该模型将multiboost与svm相结合，可以更准确地评估滑坡的易感性。kuma采用三种不同的支持向量机变体进行滑坡易感性制图。与上面提到的所有结果一样，训练数据是通过使用航空摄影从基于gis的数据库中提取的，该模型的预测能力取决于使用数据的质量。但是，由于使用了基于gis的数据库中提取的特征，因此需要大量的计算工作。收集这些表面形态特征的方法是费时且资源密集的。

随着计算机视觉技术的出现，直接从图像中提取的因素将减少计算资源的消耗。滑坡检测只需要几个关键点。减少相似图像的数量，提取关键信息在滑坡监测中更有意义。

目前许多研究人员已经考虑建立一个滑坡敏感度图，以来区分不同级别的滑坡易发区，然而，为了防止滑坡的伤害，灾害控制中心更重要的是确定滑坡发生的时间和地点在哪些高度敏感的地区。为此，提出了一种适用于局部山区的降雨诱发滑坡监测系统。

技术实现要素：

本发明克服了现有技术存在的不足，提供了一种滑坡无人机线性传感器网络框架检测系统，节省能量并延长系统运行时间。

为了解决上述技术问题，本发明采用的技术方案为：一种滑坡无人机线性传感器网络框架检测系统，利用多个无人机传感器按时采集高敏感区边坡的立体图像，建立双目模型，基于得到立体图像和双目模型获得深度信息，利用深度信息和加速鲁棒特征检测，构造支持向量机的输入数据，利用python语言设计支持向量机的算法，并实时执行，利用该算法，将无人机采集到的实时图像和滑坡预警信息发送到控制中心进行进一步分析，为决策提供参考。

所述无人机传感器采用降雨作为触发机制，土壤水分高于预设值时，控制中心将指示无人机采用时间触发机制进行工作，基于这种混合触发机制，通过与无人机相关联的立体摄像机来收集实时图像。

通过收集的图像来演示山区的滑坡，为了评估某些需要深度信息的特征，设计了双目视觉模型，基于加速鲁棒特征和双目视觉模型，计算关键点的坐标，考虑到特征分析中的缺陷，将粗糙度指数，开放度和印刷位置指数这三个特征用作支持向量机的输入。

本发明与现有技术相比具有的有益效果是：

附图说明

下面结合附图对本发明做进一步的说明。

图1为本发明中滑坡监测系统的结构示意图。

图2为本发明中监视系统层次结构不同级别上的各个节点示意图。

图3为本发明中混合的事件触发和时间触发机制示意图。

图4为本发明中3d中的双目视觉模型示意图。

图5为本发明中简单的双目视觉模型示意图。

图6中(a)为x-z平面中的视觉模型，(b)为y-z平面中的视觉模型。

图7为本发明中滑坡检测系统图。

具体实施方式

本发明一种滑坡无人机线性传感器网络框架检测系统，利用多个无人机传感器按时采集高敏感区边坡的立体图像，建立双目模型，基于得到立体图像和双目模型获得深度信息，利用深度信息和加速鲁棒特征检测，构造支持向量机的输入数据，利用python语言设计支持向量机的算法，并实时执行，利用该算法，将无人机采集到的实时图像和滑坡预警信息发送到控制中心进行进一步分析，为决策提供参考。

所述无人机传感器采用降雨作为触发机制，土壤水分高于预设值时，控制中心将指示无人机采用时间触发机制进行工作，基于这种混合触发机制，通过与无人机相关联的立体摄像机来收集实时图像。

通过收集的图像来演示山区的滑坡，为了评估某些需要深度信息的特征，设计了双目视觉模型，基于加速鲁棒特征和双目视觉模型，计算关键点的坐标，考虑到特征分析中的缺陷，将粗糙度指数，开放度和印刷位置指数这三个特征用作支持向量机的输入。

本发明提出了一种基于无线传感器网络的滑坡敏感区实时监测框架，该系统使用了多个无人机。建立一个滑坡敏感度图，以来区分不同级别的滑坡易发区。

首先，构建无线传感器网络框架，在滑坡发生时，及时通知控制中心。

其次，多个无人机传感器将负责按时采集高敏感区边坡的立体图像。基于得到立体图像和双目模型，可以获得到深度信息。利用深度信息和加速鲁棒特征(surf)检测，关键点特征信息被构造成支持向量机的输入数据(svm)。利用python语言设计了一种支持向量机算法，并实时执行。利用该算法，将无人机采集到的实时图像和滑坡预警信息发送到控制中心进行进一步分析。最后，通过实验证明了该方法的有效性。

本发明基于滑坡监测系统给出了多无人机的支持向量机方法和监控系统框架。该系统的设计目的是为了节省能量并延长系统运行时间。设计了一种基于降雨的事件触发机制，当土壤含水量达到或超过其阈值时，就会发生滑坡。

考虑到无人机性能随着时间的流逝而降低，多无人机的任务安排是基于时间触发机制。在山体滑坡中，山区有很多特色。然而，由于其易受外部环境干扰，一些特性将会消失或改变。这样，图像将遭受由无人机运动引起的旋转和缩放。考虑到图像处理的实时性要求，采用加速鲁棒特征(surf)对图像的关键点进行检测和描述。基于提取的特征并应用双目模型，可以获得3d特征信息。将通过关键点的3d特征信息计算出的滑坡特征作为svm的输入，并通过训练后的模型对当前图像进行预测，以确定滑坡是否发生。同时，将检测到的图像和报警信息分别发送到数据库和控制中心。管理员将根据数据库服务器中的图像进一步确认警告消息，通过实验验证了该方法的有效性。

本发明为延长传感器网络的持续时间，提出了一种混合的时间触发和事件触发机制。为了获得滑坡的拓扑特征，给出了双目模型以获取深度信息。并使用surf提取了考虑了特征性断层的所选特征。而且公开一种基于svm的滑坡检测方法，给出了仿真和实验，以证明所提出的方法与相关算法及结论。

滑坡监测系统的结构如图1所示，主要组成部分及其在系统中的连接。为了实现滑坡监测和应急预警，整个系统由四部分组成：观测特征节点(cons)、标记节点(mns)、多个无人机(uavs)和铁路侧机房(rr)。设定，一座山围边距离为3公里的侧边房间被认为是斜坡。这些铁路侧室将收集图像数据并将处理后的数据发送到指挥中心。每个铁路侧房间都配备了风能和太阳能互补发电系统，可为无人机充电。监测系统的所有基本组成部分详列如下:

con：选择con作为环境信息反射，这样就可以检测到滑坡。它们可以反映不同的滑坡迹象，如平台仍在斜坡上时，平台与周围斜坡的形状明显不一致；近年来，随着坡面裂缝的扩大和延伸，坡面出现了明显的裂缝；斜坡上有裂缝或倾斜的房屋。

mn：mn是con中的关键特征节点，表示节点具有比其他cons更明显的状态变化的con。该这些变化的特征由专业人员在每个特定环境中确定，并由无人机收集。

rr：rr负责将无人机收集不同cons的数据进行合并，并将集成信息报告给指挥中心同时，同时，如果需要，rr可以发送控制消息以命令uavs识别灾难。考虑到信号传输和电池续航力的因素，在山区周围以3公里的间隔部署rrs，以便无人机可以在合适的距离内工作。

uav:uav被部署在rr顶部,执行定期检查和紧急信息确认。无人机是移动的，可以沿着监测系统网络中的轨迹移动，在滑坡预警位置附近拍照或录像。它将把收集到的信息带回接收节点，以识别灾难。

本发明涉及的事件触发和时间触发机制多无人机：现有的时间触发机制由于传感效率低下而造成不必要的能量消耗。考虑到降水速率是降雨诱发滑坡的一个关键因素，它甚至可以作为触发事件的触发机制。为了提高多无人机的能效，本发明重点研究了滑坡监测时触发机制和事件触发机制的集成，以进行滑坡监测。

图2显示了监控系统结构中的各个节点，为了在下雨后最多72小时实现对易感区的斜坡的实时监控，提出了一种混合触发机制，即事件触发和时间触发机制多无人机，现有的时间触发机制由于传感效率低下而造成不必要的能量消耗。考虑到降水速率是降雨诱发滑坡的一个关键因素，它甚至可以作为触发事件的触发机制。为了提高多无人机的能效，重点研究了滑坡监测时触发机制和事件触发机制的集成，以进行滑坡监测，所提出的混合机制如图3所示。

通过对历史数据的分析，可以发现，当降水率的值低于下限阈值时，来自各个传感器的信息不会影响控制中心的决策，即事件触发机制将不会被激活。因此，定义当降水率高于7.6mm/h时发生降雨事件，而当降水率小于2.5mm/h时不发生降雨事件。值得一提的是，获得的降雨发生率具有周期性的特征。事件触发的阈值定义如下。

如图3所示，可以使用以下命令触发三个不同的事件不同的触发条件。如果第一个事件的条件满意后，无人机将运行24小时。在每个预定义的时间戳，只有一架无人机会操作以在固定位置捕获斜坡的图像。如果满足的条件，将有两个无人机监视该区域。对于事件，由于发生滑坡的可能性增加，因此三个无人机将在一个时间段内运行。由于要比较的特征信息是由两个或两个以上的无人机收集的，并且图像噪声不能被所有的无人机同时接收，因此可以有效地降低图像噪声的影响。此外，如果一个区域中所有无人机所检测到的事件相同，则可以认为是滑坡信号。然后，控制中心将获得滑坡预警，并将信息转发给当地居民。

在测量方面，可以获取更多的视觉信息查询是否使用更多相机。为了实际实施，立体视觉系统通常使用双目相机，如图所示图4，为更好的问题的分析和描述，给出以下假设：

(1)两台性能相同且内部和外部参数已知的摄像机并进行放置。

(2)目标对象的特征点始终在视图内的摄像机。

(3)在图像平面坐标系中，左摄像机位于坐标的原点。

在图5中显示了x-y-z平面上的目标点w(x，y，z)。o1(o2)代表左(右相机镜头中心,oxyz，oxyz1和oθyz2分别代表相机坐标系，左图像平面坐标系和右图像平面坐标系。考虑摄像机坐标系中具有w(x，y，z)坐标的对象。然后，左像平面中的w的成像点w1的坐标为(x，y)，右像平面中的w的成像点w2的坐标为(θ，y)。注意，在图4和5中，f表示相机的焦距。b是双目镜中心的距离。假定两个摄像机在同一水平面上，即它们的垂直坐标y相同。z1和z2表示两个摄像机的光轴，它们彼此平行且与z平行。

显示了x-z平面上的目标点w(x，y，z)的图像在图6(a)中示出了y-z平面上的图像。w(x，y，z)的成像坐标在左平面上为w1(-x，-y)，并且在右平面上为w2(θ，-y)。考虑人类的观察习惯并易于在图像处理过程中实现在显示屏上，假定成像点在相应相机镜头的中心。如图6所示,假定的成像点p，q和r是原始p0，q0和r0通过原点的反射。结果，新坐标系中的成像坐标分别为w1(x，y)，w2(-θ，y)。

图6中(a)x-z平面中的视觉模型(b)y-z平面中的视觉模型。

根据上面的方程，

得到

令^cp＝[x,y,z]^t表示目标点的坐标摄像机坐标系,^ca＝[vxc,vyz,vzc]^t表示摄像机坐标系中对象坐标系原点的线速度,^cω＝[ωxc,ωyz,ωzc]^t,ωyz,ωzc表示摄像机坐标系中对象点坐标系原点的角速度。然后，获得以下等式。

^cp＝^ca+^cω×^cp

因此，

对于手眼系统，当无人机随物体移动时相对而言，我们可以有以下关系。

^ta＝[vx,vy,vz]^t＝-^ca

^tω＝[ωx,ωy,ωz]^t＝-^ct

根据上述方程，成像点的速度计算如下：

把

代入

得到

表示目标对象的特征点。

定义mi＝[xyθ]^t∈r³。

如果摄像机的运动速度为^cv＝[vxvyvzωxωyωz]∈r⁶，则

其中是表示的图像的雅可比矩阵特征点。

为新的双目立体视觉模型。它可以容易观察到该模型的图像雅可比矩阵不具有未知对象点的深度值。基于利用双目视觉模型，可以获得滑坡的特征信息计算机视觉技术。

在降雨诱发的滑坡中，就像在其他许多典型的诱发事件中一样由于地震或落石，不同特征之间存在一定的相关性。考虑到不同特征之间的相关性，可以减少要测量的信息量。定义一个包含n个特征的集合，这些特征根据斜坡区域中的历史数据分析得到,s＝(c1,c2,...,cn)。然后，令s”＝(c'1,c'2,...,c'n)表示由具有立体的无人机测量的n个特性的信息。

d(d1,d2,...,dn)＝s'(c'1,c'2,...,c'n)-s(c1,c2,...,cn)

其中，di表示雨前和雨后第i个特性的测量信息的偏差。由于大多数测量信息可能不包含任何事件特征，这是一种功率浪费并可能增加数据量。因此，开发了以下现场处理技术以获得s0和s的偏差信息。对di的量化设计如下：

考虑到标记特性的影响，将其量化与权系数ωi的偏差为：

dωi＝ωi×sgn(di)

此外，为了评估滑坡的可能性，定义：

如前所述，当使用多个时，可以忽略噪声的无人机。由于检测到的信号可以被视为滑坡症状，如果计算出的概率在一个地区很高，则可以确定一个相同的事件。

基于surf方法的关键点检测

surf是一个本地特征检测器和描述符，可以用于三维重建或目标识别、注册和分类等任务。检测器是用来定位图像中的兴趣点，而描述符是用来描述兴趣点和为这些点构造特征向量。检测到的特征在移动、旋转和缩放下是不变的，并且对光照和仿射变换下是部分不变的。这些特征对图像的缩放和旋转是不变的。这些特征在每个图像的所有缩放比例和位置上被自动识别，并且部分不受光照条件变化的影响。

本发明利用hassian矩阵对关键点特征进行检测。在surf。假设图像i中的点x＝(u,v)和hessian矩阵标度为σ的x点h(x,σ)定义如下。

其中lxx(x,σ)是点i上图像i中高斯二阶导数的卷积，类似地，可以得到lxy(x,σ)和lyy(x,σ)。

本发明中以下特征性故障集中在真正的基于无人机的陆上系统中可能发生的情况:

·自然消失:特征由自然产生在土地上的植物，这可能会随着时间的变化。在这个情况下，特征可能自然消失。

·标志特征的弱化与强化由于干扰：可能会选择不需要的标记特性。反之，有用的标记特征可能是由于噪音而忽略。

·无人机摄像头影响:无人机中的摄像机可能会受到噪音的影响。噪音较长的镜头噪点引起的读数会影响许多连续样本。

·无人机运动干扰:无人机的运动稳定性可能受到当地自然环境的影响，可能导会致图像模糊。

在没有植被或积雪的地区，将倾斜局部基级(slbl)方法用作快速估算表面几何形状破坏的工具时的有效性，而无需太多先验知识。来自基伊半岛台风塔拉斯引发的滑坡的数据用于测试slbl技术。高分辨率数字高程模型用于基于计算机辅助方法远程识别滑坡特征并研究滑坡形态。考虑到特征性断层，需要选择可靠的特征来识别山区的滑坡。

本发明关于滑坡特征

粗糙度指数：大多数滑坡的表面较粗糙(局部坡度比相邻坡度高几米)。粗糙度用于区分滑坡和非滑坡，识别滑坡群内的单个形态学区域，并估计两个相邻区域的相对近期活动。限定(x1,y1,z1),…,(xn,yn,zn)作为n个单位矢量的集合(垂直于n个地形像素)。然后，可以从下式获得向量的取向矩阵t。

矩阵的特征值(k1,k2,k3)描述了数量和向量方向集的性质。

开放度：与原始数字地形模型(dtm)不同，是一个插值dem，其中每个网格单元代表具有内核大小的移动窗口的平均高程值。

可以通过以下公式计算出在dem上的距离为l且距离l为负的开放度ψl的表面位置，其中dφl是天顶角，是天底角，d是从北方顺时针方向测量的方位角方向，l是计算的基本极限。

φl＝(0φl+45φl+…+315φl)/8

ψl＝(0ψl+45ψl+…+315ψl)/8

地形位置指数(tpi)26：tpi用于测量地形图形坡度位置。为tpi值应用特定阈值可以识别不同的地形地貌，例如由于滑坡陡坡大多发生在山脊上，因此tpi指数增强了滑坡陡坡的代表性。tpi如下测量中心点z0处的标高与其在预定半径r之内的平均标高之差。

tpi正值表示中心点位于较高位置低于其平均环境，而负值表示低于位置。tpi的范围不仅取决于海拔差异而且在r上。较大的r值主要显示主要景观单位，而较小的值则突出显示较小的特征，例如较小的山谷。

为了基于上述特征识别滑坡，由于机器学习技术的发展，本文考虑采用支持向量机(svm)。

本发明通过svm进行滑坡检测，支持向量机(svm)，属于机器学习选择算法以对滑坡的不同特征进行分类区域。

svm由vapnik在1990年代提出，具有广泛的在分类，回归分析和非线性估计中的应用，给定训练集非线性svm的表达式为：

yi＝ω^tφ(xi)+b

其中xi∈r²和yi∈r分别表示该模型的输入和输出，ω表示该模型的复杂度,φ(·)表示将输入映射到更高维空间的非线性函数，b是偏差。非线性svm的表达式可以转换为凸二次规划问题，该问题也被认为是一个主要问题：

其中，ξ称为松弛变量，惩罚因子表示为γ因为svm是一个凸二次规划问题，所以应该存在ω,b,ξ的解。通过引入拉格朗日乘数βi,μi,i＝1,2,…,n,拉格朗日函数的构造如下：

该公式应满足以下条件条件：

将

代入

得到了对偶问题：

其中δij是kronecker的德尔塔函数，其中对于i＝j，δij＝1，δij＝0否则。核心功能由径向定义函数(rbf)内核函数：参数σ表示内核的宽度，这归因于过度拟合或欠拟合问题。因此，σ是一个重要的参数，应谨慎选择。

图7显示了滑坡系统图。数据中心使用svm技术处理训练图像和测试图像。然后，中心将要求无人机系统收集更多图像来计算滑坡概率。所有的计算是在基于arm的raspberrypi3b+上执行1.4ghz64位四核处理器，具有1gbsdram的内存记忆。

用于该研究的滑坡监测无人机基于djiphantom4prov2.0平台。搬运重量不超过2kg的有效载荷20-30分钟。卫星定位系统集成了gps和glonass。悬停精度范围为垂直：±0.5m；水平：±1.5m。phantom4prov2.0相机配备1英寸20百万像素传感器并具有从f2.8到f11的手动可调光圈。它也支持通过半按“快门”按钮自动对焦并具有对焦从1m到无限远。相机应始终重新对焦如果拍摄对象已经超出焦点，则拍摄更多照片点，并且如果拍摄对象超过98英尺(30m)，则应聚焦在无穷远处远。从近距离拍摄切换到长距离拍摄时，也需要重新对焦录制过程中拍摄。以米/米为单位的比例因子设置为由于相机采样，α＝990988像素/米。焦距是f＝0.008m。两个透镜光学中心之间的距离b为0.1m。在python和opencv平台上已经完成了仿真。

对于可能发生的滑坡，我们选择了三个特征(即粗糙度指数，开放度和地形位置指数)作为svm中的输入。训练了200张图像，其中100张图像代表滑坡，带有相应的训练标签“1”，其他100张图像代表滑坡，带有训练标签“0”。

表1.具有不同功能的svm的性能γ值。

表2.不同参数τ的svm的性能

选择10张图像作为测试图像。表1显示了不同样本的svm方法的精度，并且在的相同条件下，比较了参数γ的不同值所获得的精度结果。从表中可以很容易地看出，参数γ越低，预测精度越高。该结论也适用于假阳性值。因此，考虑到假阳性值。有了这个值，真正的积极高于假阳性值，以使可接受的预测精度可以满足。在表2中，在参数γ相同的情况下，τ的值越小，则真正值和假正值越高价值将。因此，在本实验中，我们采用参数设置为τ＝2.2和γ＝2.5。

表3.不同情况下的预测性能样品数量。

表3显示了不同样本数量的预测精度关系。显然，随着测试样品数量的增加，假阳性值将减少，而真实阳性值则没有显着变化。但是，如果测试了更多的样本，则无人机需要更多的能量来捕获图像，并且需要更长的处理时间来执行svm算法。考虑到这一方面，在实验中选择收集和测试的样本数为25。因此，重要的是要根据实际的滑坡易感区选择合适的参数。

本发明中使用无人机的实时监视和预警系统基于无线传感器网络的滑坡敏感区设计。为了延长无人机传感器网络的运行时间，牺牲了无人机的电池寿命，混合事件触发和提出了时间触发机制。之所以采用降雨作为触发事件，是因为发生在土地上的一个必要条件是土壤水分高于预设值。一旦事件触发机制条件得到满足，控制中心将指示无人飞行器采用时间触发机制。基于这种混合触发机制，可以通过与无人机相关联的立体摄像机来收集实时图像。通过收集的图像，可以使用许多特征来演示山区的滑坡。为了评估某些需要深度信息的特征，设计了双目视觉模型。基于surf和双目视觉模型，计算关键点的坐标。考虑到特征分析中的缺陷，可以将粗糙度指数，开放度和印刷位置指数这三个特征用作支持向量机的输入。为了调整系统某些参数的目的，一些实验进行。根据这些实验的结论，选择参数τ，γ和测试样品的数量。选择的实验证明了该方法的有效性。

上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。