结构裂缝自动化描绘及宽度精准测量方法与设备与流程

技术特征：

1.一种结构裂缝自动化描绘方法，其特征在于，所述描绘方法包括以下步骤，1)基于多尺度的深度学习的裂缝检测方法，用多个尺度的深度学习检测出图像中的裂缝范围，保障后续工作不遗漏裂缝信息；2)基于深度学习、中值滤波及Hessian矩阵线性增强的“整体-局部协同分割”裂缝初步提取方法，保障提取出结果中同时完整的包含图像中的宽裂缝、细微裂缝信息，保障检测结果的高召回率；3)基于深度学习、图像分割、图像重构的裂缝精细化检测方法，能够有效的剔除结果中的噪声干扰，保障检测结果的高准确率、高精确率。

2.根据权利要求1所述的一种结构裂缝自动化描绘方法，其特征在于，所述步骤1)多尺度深度学习检测裂缝方法具体如下：

采用从大到小多个尺度的深度学习模型，先用大尺度的深度学习模型对整个图像进行扫描检测，再大尺度(224*224*3)深度学习模型确定裂缝范围的基础上，用小尺度(32*32*3)的深度学习模型对每个大尺度深度模型检测到裂缝的窗口进行扫描检测。对于大尺度的深度学习模型检测，扫描检测时，采用从四个直角往中心扩散的方式，每层窗口x、y方向错开112像素，在图像对称的x轴和y轴上为中心上，加密一层扫描窗口，保证能够部分重叠的扫描到整个图像，输出包含裂缝的范围；对于检测到的每个224*224大小包含裂缝的窗口，采用32*32*3的小尺度的深度学习模型，移动扫描检测每个224*224图像，在x、y方向依次错开16像素。

3.根据权利要求2所述的一种结构裂缝自动化描绘方法，其特征在于，所述步骤2)中的“整体-局部协同分割”裂缝初步提取方法具体方法如下：

21)在大尺度深度学习模型每个检测到裂缝的224*224大小窗口内，将原图转化为灰度图，用大尺度的中值滤波处理图像，与原图像相减，得到新的图像，对新的图像进行Otsu自适应阈值分割得到裂缝二值化图像img1；

22)用小尺度的中值滤波处理图像，并与原图相减，而后用基于Hessian矩阵的图像增强方法增强图像中的线性部分，图像I(x)的各点处的Hessian矩阵为计算各点Hessian矩阵的特征值为λ1、λ2，从而计算定义R(x)＝λ12(x)为增强后的图像，取α＝0.25。并在小尺度深度学习模型检测到裂缝的每个32*32大小的窗口内对增强后的图像进行Otsu自适应阈值分割，取并集后得到裂缝二值化图像img2；

23)将二值化图像img1和二值化图像img2取并集操作，得到这一块224*224大小的输出裂缝二值化图像；

24)第一步中所有检测到的包含裂缝的224*224大小窗口输出二值化图像结果取并集操作，得到整个图像的初步提取裂缝结果。

4.根据权利要求3所述的一种结构裂缝自动化描绘方法，其特征在于，所述步骤3)基于深度学习、图像分割、图像重构的裂缝精细化检测方法具体如下：

初步提取的裂缝二值化图像中会包含很多的噪音信息，利用提出的基于单像素裂缝骨架的图像分割方法对初步提取的裂缝图像进行两个层次的分割，利用图像重构方法结合深度学习对分割出的裂缝进行单因素分析，判断是否为裂缝，最终实现裂缝的精细化提取；

基于单像素骨架的图像分割方法，分为两个层次：首先按照连通性将骨架分割开来，分别提取出对应每个独立的连通域的裂缝二值化图像的部分，再利用单像素裂缝骨架统计的端点、节点信息进一步分割每个剩余连通域为独立的部分；第一层次的分割利用初始裂缝二值化图像的连通性就可以实现。

第二层次的分割具体方法如下：

①骨架上的像素点在其8邻域的像素点只有一个在骨架上，测定义为端点，其8邻域上有超过3个像素点在骨架上，定义为节点，每个独立的连通域骨架基础上，利用单像素上的端点、节点信息将上一层次输出二值化图像再次分割为独立的部分，作为这一层次的输出，对独立连通域的分割方法，包含以下几个操作：

②利用8邻域规则识别骨架上的端点和节点，骨架上只有端点、没有节点的情况，分割终止，直接输出初始裂缝二值化图像中对应的区域；

③从利用端点和节点的信息，删除此连通域上的节点得到独立的各段骨架，计算各段骨架的长度，设置阈值T＝32；

④由于裂缝上的其他干扰，往往是以骨架分支的形式出现，所以对于分割出的每段骨架中包含原来骨架中的一个端点的，不考虑骨架的长度是否低于阈值，以节点为中心、画半径为10像素的圆，找到与相同节点其他分支骨架的交点，利用节点上的各分支的角平分线及初始裂缝二值化图像的轮廓确定骨架的区域，利用区域生长算法填充，分割出独立的裂缝二值化区域；

⑤对于长度大于阈值T，并且两端均是原骨架上的节点，以节点为中心、画半径为10像素的圆，找到与相同节点其他分支骨架的交点，利用节点上的角平分线及原二值化图像的轮廓确定骨架的区域，利用区域生长算法填充，分割出独立的裂缝二值化区域；

⑥如果提取骨架的长度小于阈值，确定骨架的中心，直接用截取该段骨架中心周围长宽为T的初始裂缝二值化图像作为分割出的图像。

利用图像重构方法结合深度学习对分割出的裂缝进行单因素分析，针对每一个分割出独立区域的精细化裂缝检测，就需要构造新的精细化检测图像，使其中既能包含独立分割出的裂缝信息又能剔除其他的干扰信息。

5.根据权利要求4所述的一种结构裂缝自动化描绘方法，其特征在于，所述步骤3)中构造精细化检测图像具体方法如下：

①得到初始裂缝二值化图像后，在原图像中把初始裂缝二值化图像对应的区域剔除；

②用初始裂缝二值化图像每个连通域周围像素三通道(RGB)值的平均值填充图像的剔除区域，并用中值滤波平滑边缘，构造新图像；

③对于两个层次的基于单像素骨架的裂缝二值化图像分割出的图像，提取出二值化连通域，计算连通域的外接矩形长度；

④利用原图像和新图像以及连通域的外接矩形范围构造精细化检测图像，即在每个独立的分割出裂缝二值化图像区域内采用原图像的值，在分割出裂缝二值化图像区域范围外采用新图像的值，就得到构造的检测图像，具体规则如下：对于外接矩形长度小于等于32，在围绕中心32*32范围内，利用原图和新图像构造检测图像，缩放到224*224大小；外接矩形大于32小于96，围绕中心外接矩形长度范围内，构造新图像，缩放到224*224大小；外接矩形长度大于96小于224的，直接利用新图像和原图围绕中心构造224*224大小图像；外接矩形长度大于224的，围绕中心以外接矩形向外扩展224像素的范围内，构造检测图像。

6.一种基于单像素骨架和Zernike正交矩的裂缝宽度计算方法，其特征在于：所述方法包括以下步骤，1)由宽度测量点处单像素裂缝骨架确定裂缝法线方向，由法线与裂缝边缘的交点，确定裂缝宽度L(单位：pixel)，对于计算结果大于5像素的，将裂缝宽度(单位：pixel)与像素解析度(mm/pixel)相乘得到裂缝宽度(单位：mm)；2)对于计算结果小于5像素的，利用单像素骨架确定旋转角度，将该点处图像旋转、对称、镜像为两个关于y坐标轴对称的图像，分别计算两个对称图像的2阶、4阶Zernike正交矩A′20、A′40，由此计算两个对称图像的宽度并进行两次误差修正后，取平均值，作为该点处的裂缝宽度(单位：pixel)，结合像素的解析度(mm/pixel)得到该点处裂缝的最终宽度。

7.权利要求6所述的一种基于单像素骨架和Zernike正交矩的裂缝宽度计算方法，其特征在于，所述步骤2)的具体方法如下：

21)提取计算宽度点周围单像素裂缝骨架，确定图像旋转角度，截取围绕计算宽度点13*13像素范围内的图像，进行预处理1：得到图像的灰度图(0-1)，用13*13的元素全部为1的矩阵与灰度图相减，使图中裂缝像素灰度值高，背景像素灰度值低，记录最大的灰度值MAX；

22)根据骨架方向，对图像进行旋转以旋转后裂缝的累积灰度值最高一列(即最亮一列)为中心列，分别进行镜像操作，即可得到两幅对称的图像，并对两幅图像进行竖向的平滑滤波；

23)检查镜像后的图像是否符合计算的要求(假设线宽为5，最亮的为第2列，镜像后，其中一个图像不符合计算条件，需要进一步处理)。取中心列模板范围内灰度平均值为L，两边依次标记为L1、L2、L3、L4，设置三个条件：|L4-L3|/|L-L4|>＝0.3，|L2-L4|/|L-L4|>＝0.8，|L4-L3|>0.1*|L-L4|。如果三个条件都满足，则删除中心列及左侧一列，并进行记录Mark＝2，否则Mark＝0，预处理2：找到图像中心7*7范围内灰度最小值MIN，图像灰度减去这个值来构造新的图像；

24)用现有的Zernike正交矩M20、M40模板代替公式计算对应的正交矩，从而计算图像裂缝宽度；第一次误差修正：设置条件：L*L2/L1/L1>0.7，不考虑第一次误差修正，否则按照m＝L1/L的值对照图8插值计算原理误差修正值；第二次误差修正：用计算图像中心列模板范围内灰度平均值与原图像灰度最大值MAX减去记录的灰度最小值MIN的商作为修正系数，修正之后加上mark值作为镜像图像最终裂缝宽度；取两幅镜像图像经过误差修正后的计算宽度的平均值为最终裂缝宽度。

8.一种实验室混凝土试件裂缝自动描绘及宽度测量设备，其特征在于：包括图像标定模块(1)、图像采集模块(2)、图像处理系统(3)以及相机支架(4)，其中，图像处理系统(3)中内嵌裂缝自动勾画算法模块、裂缝特征分析算法模块、计算结果存储模块及无线传输模块；

所述图像标定模块(1)用于矫正相机姿势以及计算图像的解析度，在混凝土试件表面粘贴数个人工打印的已知尺寸的棋盘格；所述图像获取模块(2)由单反相机构成，主要用于获取混凝土试件的高分辨率图像，为下一步图像处理做准备；所述图像处理模块(3)，内嵌裂缝自动勾画算法模块、裂缝特征分析算法模块、计算结果存储模块及无线传输模块，其中无线传输模块用于把检测结果及原图像无线传输到用户端；

其中，裂缝自动勾画算法模块中包含：基于多尺度深度学习的裂缝范围检测，基于深度学习、中值滤波及Hessian矩阵线性增强的裂缝初步提取，基于深度学习、图像分割、图像重构的裂缝精细化检测三部分模块，能够对采集图像进行快速、高精确率、高准确率、高召回率的自动勾画，同时勾画出图像中的宽裂缝、细微裂缝信息；

裂缝特征分析算法模块用于计算裂缝宽度，包含本发明提出的基于单像素骨架和Zernike正交矩的裂缝宽度计算方法，对于图像中小于5像素的细微裂缝也能够达到较高的计算精度，计算精度明显优于传统算法。