一种水库大坝护坡表面损伤视觉检测仿生装置的制作方法

本实用新型涉及检测技术领域，特别涉及一种水库大坝护坡表面损伤视觉检测仿生装置。

背景技术：

水库大坝多位于山区，三面环山，大坝护坡的裂纹或塌陷凹坑等损伤是主要病害之一，一旦发生台风暴雨或无法预测的地震等自然灾害，损伤致使水库决堤将给人民带来严重危害，特别是突发性的塌陷凹坑最危险。因此，需要定期对护坡健康状况进行检测，早期发现和损伤评估与灾害预警具有重要意义。传统的人工定期检测裂纹及其损伤方法作业时存在危险，检测精确度很低，因水库位于山区，交通不便，水坝健康检测并不及时，产生的裂缝或小的凹坑未及时发现和修复造成缝里面还长出杂草，使裂纹或损伤处快速扩展。虽然基于图像的损伤检测及水泥裂纹识别研究已形成热点，但是水库大坝护坡材料有混泥土和浆砌石等不同材料，加之杂草背景，飞行器视觉定期的远距离测量斜度上护坡裂纹很难保证精度。因此，迫切需要研究复杂背景下的水库大坝护坡裂纹和凹坑等表面损伤的检测方法。

技术实现要素：

本实用新型的目的在于克服现有技术中存在的缺点，提供一种检测精度高、成本低、结构简单的水库大坝护坡表面损伤视觉检测仿生装置。

本实用新型的目的通过下述技术方案实现：

一种水库大坝护坡表面损伤视觉检测方法，包括下述步骤：

(1)摄像机标定：首先，分别对两个摄像机进行标定，获取用于校正拍摄图像畸变的摄像机内部参数和畸变参数；进行立体视觉的标定，得到两个摄像机之间的位置关系及用于进行三维重构的重投影矩阵；由于两个摄像机安装完成后相对位置已经固定了，上述参数都不会再改变，因此该步骤只需在开始进行一次；

(2)获取校正图像：通过摄像机来捕获全方位裂纹或凹坑的数字图像，然后根据摄像机的标定结果对数字图像进行畸变校正，得到裂纹或凹坑的校正图像；

(3)灰度化与平滑：将裂纹或凹坑的校正图像进行灰度化，将其r、g、b三个通道，每个通道以不同的权值进行加权平均；然后用高斯函数对检测区域进行平滑处理，获得裂纹或凹坑的平滑单通道灰度图像；

(4)改进canny边缘检测：对裂纹或凹坑的平滑单通道灰度图像的边缘信息进行检测，采用改进的canny边缘检测算法，根据图像的整体特征进行高阈值h和低阈值l的选择，使得检测到的边缘信息比较多且连续，从而检测出裂纹或凹坑的完整边缘信息；

(5)基于小波变换去噪：基于小波变换canny算法进一步去除杂草类噪声，针对含有杂草类噪声的复杂背景，先建立一个核函数φ(x,y)，然后进行边缘检测，如果核函数φ(x,y)的积分为0，再对x,y两个方向上的导数做基本小波；然后对去除了杂草类噪声的裂纹或凹坑的表面进行三维重构；

(6)立体匹配：在获取了校正图像对并去除杂草类噪声后，对左右摄像机的左右图像进行立体匹配，获得各匹配点的视差图；

(7)三维重构：得到步骤(6)的视差图后，再依据步骤(1)得到的重投影矩阵，生成三维点云，进行三维重构；

(8)评估损伤形式与程度：依据损伤的不同形态，可分别选择几何数学的方法，拟合裂纹或凹坑的长度、宽度或近似直径、深度参数；然后进行评估，得到损伤程度和损伤形式，最后将相关数据反馈给用户。

步骤(1)中，所述摄像机为广角高精度16通道红外摄像机。

步骤(3)中，灰度化加权的权值采用文献公开的经典值；采用高斯函数进行平滑处理，高斯平滑滤波器的核内的数是呈现高斯分布的，这与均值滤波器不同，均值滤波器的核每一个值都是相等，因此，采用高斯平滑滤波器可以更好得到原图像中裂纹或凹坑的信息。为了消除噪声干扰并且不影响损伤区域的信息，在进行图像平滑处理时，高斯函数的标准方差σ的选取至关重要。为克服经典canny算法采用人为设定该参数的缺陷，在n×n窗口中，将方差作为选取σ的度量标准之一，这样就兼顾了窗口内局部图像信息。而图像中非边缘区域或被噪声污染较小的区域往往是方差较小的像素，可将这些像素点作为边缘点和噪声点的参考。鉴于图像的整体特性，将最小方差作为选取σ值的度量标准，其中m、e、σ分别是n×n窗口内的均值、方差和高斯标准方差；emin是最小方差，当方差最小时，σ最小值为1；

emin＝min(e)(3)

这样无论方差e值很大还是很小，σ值都要小于公式(4)计算的值，这样可以防止图像过度平滑或边缘变模糊。

步骤(4)中，在运用canny算法进行边缘检测时，高低阈值的获取对检测到边缘信息的多少及检测正确性具有决定作用；由于边缘检测的起始点往往由高阈值控制，如果高阈值越小，虽然边缘信息保留得越多，但是误检测也会变得很多；如果定义高阈值很大，虽然误检测会变得很少，但是会造成目标关键信息丢失。因此，采用改进的canny边缘检测算法，选择高低阈值时考虑图像整体特性，这样检测到的边缘信息就会比较多且是连续的，从而检测出整个图像中裂缝的信息。

步骤(4)中，采用改进的canny边缘检测算法进行高阈值h和低阈值l的选择，其算法如下；

其中eave、fave、lw、lh分别是平均方差、平均灰度、图像的宽度、图像的高度；其中低阈值l＝h/2，m是指在n×n窗口内的均值，k＝1/m，emin是最小方差，fm(i,j)是在图像中第i行、第j列位置的像素值。m在求和符号中代表了从1加到lw*lh。

步骤(5)中，小波变换canny算法如下：对于去除裂缝图像的含有杂草的复杂背景，先建立一个核函数φ(x,y)，再进行边缘检测，如果核函数φ(x,y)的积分为0，再对x,y两个方向上的导数做基本小波，式中s为x与y围成的面积：

为了去除杂草噪声，根据小波变换的原理，制作一个小波变换的滤波器，设尺度为2^j，对图像进行离散的小波变换，分量为梯度方向上小波变换模值的局部极大值点，如公式(9)所示：

模值如公式(10)所示：

梯度方向如公式(11)所示：

如果(x,y)是其局部最大值，局部最大时沿着梯度方向下降，可在裂缝图像检测中得到模值，用于保留其裂缝信息极大值，同时去除杂草信息非极大值；大于阈值的局部极大值才能作为边缘保留下；具体方法是对有杂草的图像利用小波系数模值进行非极大值抑制，对裂缝区域以外的背景像素点进行抑制，再按比例得到杂草在图像中的阈值，如果杂草的极大值小于给定的阈值，那么就会删除杂草，最后用canny将边缘点检测出来。

步骤(6)中，立体匹配的原理是选取点、线、面等匹配基本单元，将其沿着经过校正后的图像对(图像对是指左右两个摄像机同一时间获取的两张图片)的水平方向进行遍历(遍历是指沿着某条搜索路线，依次对每个像素点做一次且仅做一次访问)搜索，根据匹配基本单元的相似性判定为匹配或不匹配，从而求取左右图像中像素点的匹配关系；由于左右摄像机的视场不同，匹配点在两个摄像机的位置必然不同，故由此可以计算出相应的视差图；立体四配算法的核心思想是首先充分利用基本的约束条件消除匹配过程中的多解、歧义问题，然后将匹配问题转化为能量函数最优化问题；立体匹配算法的求解形式是通过建立一个基于匹配基元的代价能量函数，采取不同的匹配策略使得这个代价能量函数最小化来估计像素点视差值。进过步骤(2)到步骤(5)处理后，左右图像的非目标部分已经被去除掉了，只剩下裂纹部分，因此在立体匹配时得到的视差也只有裂纹部分。

步骤(7)中，三维点云的生成方法是利用相似三角形的三角测量原理，某一点的深度与其视差之间存在如下关系：其中z为某一点的深度距离，d为视差，f为焦距，b为两个相机之间的基线距离；步骤(6)中的视差图实际上就是图像上每个像素点的视差集合，因此，可以生成目标的三维点云；三维点云是目标表面三维坐标点的集合，从直观角度看，若大坝存在着损伤，则该部分与大坝表面不在一个深度上。

步骤(8)中，裂纹采用非线性曲线进行拟合；对于凹坑，依据其图像分析选用椭圆或圆进行拟合。根据经验，裂纹具备长而细的特征，其长度远大于宽度，而凹坑的长宽差距不会太大，因此预先确定好裂纹或凹坑的长宽比，依据前期经验，预设长宽比为10，当图像上损伤的长宽比大于该值时，判断为裂纹；反之则判断为凹坑。对于裂纹，采用多项式曲线对其三维点云进行拟合，以求解长度，而宽度信息则通过计算三维点云中两侧边缘点的距离得到。对于凹坑，首先提取其三维点云的边界，然后利用最小二乘法将边界点进行椭圆拟合，得到椭圆的长边作为凹坑的长度，椭圆的短边作为凹坑的宽度，凹坑的深度则通过三维点云中凹坑与大坝表面的距离得到。

步骤(8)中，先分别对裂纹和凹坑建立一套损伤程度判定依据：对于裂纹，以其长度和宽度为依据，根据长度和宽度大小逐级划分损伤等级，短而细的裂纹等级最小，长而粗的裂纹等级最高；对于凹坑，以其大小和深浅为依据，根据大小和深浅逐级划分损伤等级，小而浅的凹坑等级损伤等级最小，大而深的凹坑损伤等级最大；得到裂纹或凹坑的尺寸信息后，与后台中的损伤等级判定依据进行对比，从而确定损伤程度。

一种水库大坝护坡表面损伤视觉检测的仿生装置，包括仿生水泥树5和双目立体视觉系统即两个微型摄像机7，采用上述水库大坝护坡表面损伤视觉检测方法；仿生水泥树5的中部设置有仿生白鹭头8，双目立体视觉系统安装在仿生白鹭头上，仿生白鹭头可以通过转动来调整双目立体视觉系统的角度，实时监测水库大坝护坡10表面的裂纹或凹坑等护坡损伤9。

仿生水泥树5的顶部安装有仿生树顶盖子2，仿生树顶盖子2的外围通过紧固机构固定有太阳能板及其电池1。太阳能板一方面可以接受太阳能源，通过电线3与微型摄像机7相连接，为微型摄像机提供能源；另一方面太阳能板可以为相机挡雨和太阳，降低阳光直照，避免相机发热损坏和精度降低。

微型摄像机7通过网线及其发射器4与计算机14连接，将微型摄像机7的数据传送给计算机14。计算机14中安装有水库大坝护坡表面损伤视觉检测方法的相关控制系统和软件系统，包括视觉控制系统及软件系统、表面损伤视觉检测算法、语音提示系统。

仿生水泥树5是模仿沿海抗台风的椰树结构，仿生水泥树5的横截面为近似椭圆形，设置有年轮沟槽，该结构可以疏散力和减少阻力及震动。

仿生白鹭头8通过螺旋装置安装于仿生水泥树5上，通过调整螺旋装置来调节微型摄像机的角度。仿生白鹭头8上设置有相机安装架，用于安装微型摄像机7。仿生白鹭头8的上方设置有仿生树叶6，为光滑材料，用于为微型摄像机7遮挡雨水和阳光。

仿生水泥树5通过螺母12和安装螺杆13固定在仿生树底座11上。

上述水库大坝护坡表面损伤视觉检测的仿生装置，在工作时，首先通过微型摄像机采集损伤目标图像，并实时传送到远程计算机控制系统，由计算机进行图像处理，分析是否存在损伤现象，对技术人员做出相应提示、损伤程度及健康评估。

本实用新型与现有技术相比具有如下优点和效果：

(1)本实用新型仿生装置的成本低，结构简单，可以实时检测大坝护坡的表面损伤情况，节省技术测量人员；

(2)本实用新型检测方法的精度高，通过双目视觉系统、人机交互、噪声去除、三维重构等，可以直观地检测大坝损伤表面情况；

(3)本实用新型方便操作，可以通过语音、短信或微信的方式，将损伤情况发送给大坝管理人员。

附图说明

图1为本实用新型装置使用时的三维示意图。

图2为本实用新型装置仿生白鹭头示意图。

图3为本实用新型的算法流程图。

1、太阳能板及其电池；2、仿生树顶盖子；3、电线；4、网线及其发射器；5、仿生水泥树；6、仿生树叶、7、微型摄像机；8、仿生白鹭头；9、护坡损伤；10、护坡；11、仿生树底座；12、螺母；13、安装螺杆；14、计算机。

具体实施方式

下面结合实施例对本实用新型做进一步详细的描述，但本实用新型的实施方式不限于此。

实施例1

如图1所示，一种水库大坝护坡表面损伤视觉检测仿生装置，包括仿生水泥树5和双目立体视觉系统即两个微型摄像机7，采用水库大坝护坡表面损伤视觉检测方法；仿生水泥树5的中部设置有仿生白鹭头8，双目立体视觉系统安装在仿生白鹭头上，仿生白鹭头可以通过转动来调整双目立体视觉系统的角度，实时监测水库大坝护坡10表面的裂纹或凹坑等护坡损伤9。仿生水泥树5是模仿沿海抗台风的椰树结构，仿生水泥树5的横截面为近似椭圆形，设置有年轮沟槽，该结构可以疏散力和减少阻力及震动。仿生白鹭头8通过螺旋装置安装于仿生水泥树5上，通过调整螺旋装置来调节微型摄像机的角度。仿生白鹭头8上设置有相机安装架，用于安装微型摄像机7。仿生白鹭头8的上方设置有仿生树叶6，为光滑材料，用于为微型摄像机7遮挡雨水和阳光。如图2所示，两个微型摄像机7安装在仿生水泥树5一定高度上中间的安装架上的仿生白鹭的头部两侧，有角尺校正，2个摄像机需要对着护坡，保证摄像机镜头中心线与护坡垂直，并作为一对眼睛，摄像机获得的图像通过网络传输给远程计算机视觉图像处理的软件系统。

如图3所示，在进行水库大坝护坡表面损伤视觉检测时，先对摄像机进行标定，通过图像预处理：包括对获取损伤的图像去畸变，校正，得到损伤处的校正图像；灰度化与平滑；然后用高斯函数对检测区域进行平滑处理，获得裂纹的平滑单通道灰度图像；用改进的canny边缘检测算法提取损伤边缘，基于小波变换去噪，进一步地去除噪声，例如杂草类噪声。再对损伤表面进行三维重构：对左右相机的图像进行立体匹配，生成三维点云，进一步去除噪声，进行三维重构。识别损伤是裂纹还是凹坑，依据损伤的不同形态，可分别选择几何数学的方法，拟合裂纹或凹坑的长度、宽度或近似直径、深度参数。最后系统对这些参数进行评估，得到损伤程度和损伤形式，为修复护坡提供决策数据。视觉软件应该包括语音系统，提示技术或操作人员。

以上所述仅为本实用新型的实施例，但本实用新型的实施方式并不受上述实施例的限制，其他的任何未背离本实用新型的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本实用新型的保护范围之内。