本发明属于计算机视觉、数字图像处理与机器学习领域，具体涉及一种基于兴趣区域的桥梁或路面裂缝检测方法和评价方法。
背景技术：
：随着我国经济水平的不断提高，交通运输业飞速发展。桥梁作为公路的组成部分，肩负着跨越天然屏障和人工障碍连接两地交通运输的重要责任，是交通运输业的枢纽。桥梁建设是一种安全性能要求非常高的建设项目，但是由于整体结构中橡胶层的老化、混凝土材料收缩、支座的不断变化、桥梁柱墩结构表面粗糙以及钢筋保护层的强度差使得桥梁在使用过程中存在着多种破损形式，而桥梁裂缝是最为常见的破损形式之一，因此对桥梁裂缝的检测工作必不可少。桥梁裂缝缺陷的图像检测与分类技术研究是实现桥梁结构安全维护的重要手段，近几年，为了高效、快速的检测出桥梁裂缝，国内外大量学者针对裂缝的智能化检测技术进行了深入的研究。王军等人针对路面裂缝特征的快速提取与分类,提出一种基于hessian矩阵的多尺度滤波算法，该算法通过从不同尺度检测路面图像中的裂缝,利用hessian矩阵的特征值和特征方向实现裂缝生长方向的跟踪,再根据裂缝曲率特征对裂缝进行快速分类，但对于场景复杂、噪声较大的场景的检测效果却不理想；王兴建等人提出多级去噪模型的路面裂缝检测方法，使用灰度值去噪与空间滤波相结合的方法，有效的去除噪声点从而仅保留裂缝特征完成检测，但由于图像经历多次滤波操作，使得处理后的图像细小裂缝信息丢失，存在检验不准确的情况；由此可见，仅使用传统的裂缝检测算法不能高效的识别出裂缝特征。随着生物神经学的发展，人工神经网络的研究愈发深入，以猫的视觉皮层同步脉冲发放现象为模型的脉冲耦合神经网络(pcnn—pulsecoupledneuralnetworks)出现，它不同于传统的人工神经网络，无需庞大的数据进行训练学习便可在较短的时间内高效的完成检测任务，但是使用pcnn对不同的图像进行分割时网络参数众多且选取多以人工经验为主，这显然不利于pcnn的应用。虽马义德等人提出使用熵值最大准则确定pcnn自动迭代次数，从而实现脉冲神经网络的自动分割功能，但由于其最大熵为对数函数形式，在零点处无意义，对像素的取值有选择性，因此分割结果往往不佳；shuowei等人通过对脉冲耦合神经网络参数的研究，提出自适应阈值变化模型，其中阈值将根据图像的整体特征进行自适应调整，但除了阈值外的其他参数仍需人为设定，这使得网络的工作性能有所局限；随后周东国等人提出一种基于pcnn优化连接系数的方法，利用动态阈值与区域均值的关系提出网络中各参数的确定准则，改善了网络的性能，但当图片中目标灰度值低于背景灰度值时检测效果不好。由于pcnn的参数众多并且对参数的依赖性大，而且使用现有模型不适用于桥梁或路面裂缝这种线性特征的提取，实验结果往往不佳。除此之外，以上方法都是建立在对整张图像进行处理的基础之上，大部分时间都用于对裂缝之外的背景图像进行处理。然而，通过观察含有裂缝的图像可知，裂缝像素占整幅图像像素的比值是比较小的，现有的桥梁裂缝提取方法都是针对整幅图像进行处理，这样就大大浪费了时间，降低了检测效率。因此针对以上问题，提出了一种结合图像处理技术与人工神经网络的基于兴趣区域的桥梁裂缝检测方法。技术实现要素：为了解决现有技术中存在检测效率低和使用现有脉冲耦合神经网络模型对参数依赖性强、对裂缝提取效果不佳的问题，本发明提供了一种基于兴趣区域的桥梁或路面裂缝检测方法和评价方法，对脉冲耦合神经网络进行了改进，避免了使用现有脉冲耦合神经网络模型对参数依赖性强、对裂缝提取效果不佳的弊端,且检测效率高。本发明要解决的技术问题通过以下技术方案实现：一种基于兴趣区域的桥梁或路面裂缝检测方法，包括以下步骤：步骤一：提取出含有裂缝的桥梁或路面图像区域，作为兴趣区域；a.提取桥梁或路面裂缝的特征：桥梁或路面裂缝图像经gabor滤波器滤波，采用不同方向和不同尺度的gabor滤波器提取出裂缝图像不同方向和不同尺度的特征；b.扩大桥梁或路面裂缝的可取范围：桥梁或路面裂缝图像经过gabor滤波器后，再使用高斯滤波进行平滑处理，扩大裂缝的可取范围；c.提取显著性特征：使用主成分分析法提取桥梁或路面裂缝图像的显著性特征，使每个像素对应的特征减少；d.提取兴趣区域：对主成分分析后的结果再进行k-means聚类，按照聚类的结果，对原图进行分割，找到桥梁或路面裂缝的兴趣区域；步骤二：通过脉冲耦合神经网络对兴趣区域进行裂缝提取。进一步地，上述步骤二中所述脉冲耦合神经网络的具体算法如下：uij(n)＝fij(n)[1+βlij(n)]；yij(n)＝uij(n)＞eij(n-1)||yij(n-1)；eij(n)＝αeij(n-1)+(1-α)yij(n-1)；式中，下标i,j为神经元的标号，n为迭代次数，fij为神经元i,j的馈送输入，lij为神经元i,j的链接输入，αf和αl为相应的衰减系数，m，w为权重矩阵，uij就相当于神经元活动的凸触，负责发送脉冲信号，β控制邻域神经元的内部活动强度，k,l表示神经元与周围连接的范围。yij为脉冲耦合神经网络的脉冲输出值,eij为动态阈值。进一步地，上述步骤一中gabor滤波复数数学表达式如公式(1)：式中，x、y分别表示gabor滤波器窗口的宽与长，x'＝xcosθ+ysinθ，y'＝-xsinθ+ycosθ，λ表示gabor函数的波长，单位是像素，θ表示gabor函数的方向，σx和σy分别表示高斯包络线在x轴和y轴上的标准偏差，γ表示长宽比，φ表示相位偏移；桥梁或路面裂缝图像i(i,j)经gabor滤波簇滤波，可以表示为公式(2)：其中，表示卷积算子。进一步地，上述步骤一中使用高斯滤波平滑处理的方法为：选取的桥梁或路面裂缝图像经过高斯滤波后，将每个像素对应的gabor滤波特征和空间位置特征进行标准化，使其均值为0，方差为1，采用公式(3)～(5)：i'(i,j)＝[f(i,j)-aver]/std(5)其中，f(i,j)表示gabor滤波后的图像，m和n分别表示图像的长和宽，aver表示图像灰度的均值，std表示图像灰度的标准差，i'(i,j)表示图像经过标准化后的结果。进一步地，上述步骤一中使用主成分分析法提取显著性特征的具体过程为：假设图像i'(i,j)被切分为小块，即其中，xi(1≤i≤m)是一个p×p的图像块，这样n等于p×p；主成分分析的目标是将xi(1≤i≤m)的维数从n维降到k维；定义∑如式(6)所示：对xi(1≤i≤m)进行均值标准化，计算∑的特征向量，所有特征向量组成了特征向量矩阵u，如式(7)所示：u＝[u1u2…un](7)其中，u1是主向量，u2是次向量，以此类推，λ1,λ2,...,λn是各自对应的特征值；由于进行均值标准化后，xi(1≤i≤m)的均值为0，所以∑是xi(1≤i≤m)的协方差矩阵；通过判断协方差矩阵是否是一个对角矩阵，来判断求得的σ的特征值的正确性，进而判断特征向量的正确性；然后，将xi(1≤i≤m)投影到每个特征向量ui(1≤i≤n)上，如式(8)所示：其中，是xi在u1特征向量方向上的投影；随着，i的增大，特征向量ui(k＜i≤n)全部变为0；自然地，x投影到所有特征向量ui(1≤i≤n)方向上的结果如式(9)所示：至止，的维数从n降到k，接下来，用重建x；鉴于u是正交矩阵，utu＝uut＝i，其中i是单位矩阵，所以x的重建如下式(10)：其中，k的选取规则定义如下式(11)：在主成分分析的基础上进行白化处理，进一步的减少冗余，如式(12)所示：再使用主成分分析法，提取出显著性特征，使得每个像素对应的多个特征减少为1个特征。进一步地，上述步骤一中k-means聚类的具体过程为：设数据集d＝{d1,d2,...,dm}，每个数据对象都有p个特征，即di＝{di1,di2,...,dip}；通过欧式距离计算数据对象间的两两距离，具体公式如下式(13)：然后找出距离最小的2个数据对象，合并为一个类，同时重新计算这2个数据对象的平均值作为新类的中心点，并计算出所得新类和其他各类的相似度，见下式(14)，接着再按相似度最大的两类合并；其中，davg(ci,cj)表示类ci,cj间的相似度，||d-d’||表示数据对象d和d'的距离，ni表示类ci中数据的个数，nj表示类cj中数据的个数，不断重复上述迭代过程，直到将所有样本数据合并成一类为止，从而找到桥梁裂缝的兴趣区域。一种基于兴趣区域的桥梁或路面裂缝检测方法的评价方法包括如下步骤：首先，将所有的原图和裂缝检测后的结果图都分割成多个图像块；然后，对比原图，在检测后的结果图中找到误检和漏检的图像块，统计各自的数量，除以总的图像块数，得到误检率和漏检率。与现有技术相比，本发明的有益效果：1.本发明的桥梁或路面裂缝检测方法，先对图像进行提取，选出含有裂缝的桥梁或路面图像区域，然后对该区域进行处理，提高了检测效率，避免了对裂缝之外的背景图像进行处理耗费大部分时间；2.本发明的桥梁或路面裂缝检测方法，对脉冲耦合神经网络进行了改进，避免了使用现有脉冲耦合神经网络模型对参数依赖性强、对裂缝提取效果不佳的弊端；3.本发明提出一种新的评价方法来评判裂缝检测效果，具体是通过误检率和漏检率来判断该桥梁或路面裂缝检测方法的效果。附图说明图1是本实施例3个尺度、5个方向的gabor滤波器。图2是本实施例各个不同尺度和方向的gabor滤波的结果。图3是本实施例各个不同尺度和方向的特征图经过高斯滤波后的结果。图4是本实施例经过主成分分析法降维后的图像。图5是本实施例经过k-means聚类的结果。图6是本实施例最终的桥梁兴趣区域。图7是本实施例单个神经元模型。图8是本实施例不同桥梁裂缝检测效果。图9是本实施例单个裂缝的兴趣区域和检测效果。图10是本实施例网状裂缝的兴趣区域和检测效果。图11是本实施例碎片化裂缝的兴趣区域和检测效果。图12是本实施例切割成图像块的示意图。具体实施方式下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。一种基于兴趣区域的桥梁或路面裂缝检测方法，包括以下步骤：步骤一：提取出含有裂缝的桥梁或路面图像区域，作为兴趣区域；a.提取桥梁或路面裂缝的特征：桥梁或路面裂缝图像经gabor滤波器滤波，采用不同方向和不同尺度的gabor滤波器提取出裂缝图像不同方向和不同尺度的特征；b.扩大桥梁或路面裂缝的可取范围：桥梁或路面裂缝图像经过gabor滤波器后，再使用高斯滤波进行平滑处理，扩大裂缝的可取范围；c.提取显著性特征：使用主成分分析法提取桥梁或路面裂缝图像的显著性特征，使每个像素对应的特征减少；d.提取兴趣区域：对主成分分析后的结果再进行k-means聚类，按照聚类的结果，对原图进行分割，找到桥梁裂缝的兴趣区域；步骤二：通过脉冲耦合神经网络对兴趣区域进行裂缝提取。。gabor滤波根据人类视网膜成像而产生的，最接近人类视觉系统对于频率和方向的描述。gabor小波提供不同的频率和尺度进行选择，对旋转具有不变性，可以对细小特征进行捕捉，即便对于特征不是特别丰富的图像，也可以提取出很多的特征。二维gabor滤波器复数数学表达式如公式(1)：其中，x、y分别表示gabor滤波器窗口的宽与长，x'＝xcosθ+ysinθ，y'＝-xsinθ+ycosθ。λ表示gabor函数的波长，单位是像素，通常情况下，值大于等于2，但不能大于输入图像尺寸的1/5。θ表示gabor函数的方向，指定gabor函数并行条纹的方向，取值范围从0到360度。σx和σy分别表示高斯包络线在x轴和y轴上的标准偏差。γ表示长宽比，决定gabor函数形状的椭圆率，当γ＝1时，形状是圆的；当γ＜1时，形状随着平行条纹方向而拉长，通常该值为0.5。φ表示相位偏移，取值范围从-180度到180度。桥梁或路面裂缝图像i(i,j)经gabor滤波簇滤波，可以表示为公式(2)：其中，表示卷积算子。不同方向θ和不同尺度λ的滤波器可以提取出裂缝图像不同方向和尺度的特征，对裂缝图像的局部细节的描述能力更强。不同方向的gabor滤波器对裂缝类型和方向的敏感程度不同，不同的尺寸可以描述不同大小的裂缝。本实施例将采集来的图像归一化为480*480大小。如图1所示，图1为3个尺度、5个方向的gabor滤波器。本实施例选择尺度和方向时，尽量使其正交，减少不必要的特征信息。方向θ从0度开始，每隔30度取一个方向，直到150度为止。尺度λ从开始，下一次的尺度是上一次的尺度的平方，直到输入图像的斜边长度为止。各个不同尺度和方向的gabor滤波的结果如图2所示。由图2可以发现：第一个方向的特征提取图像(子图a(1)、a(2)、a(3)、a(4))几乎没有提供任何有用的桥梁裂缝信息。因此，舍弃第一个方向。而且，第三个尺度和第四个尺度的特征提取图像(子图a(3)、a(4)、b(3)、b(4)、c(3)、c(4)、d(3)、d(4))提取的特征太粗糙，很多有效的信息都被忽略了，因此，舍弃第三个和第四个尺度。从剩下的特征提取图像(子图b(1)、b(2)、c(1)、c(2)、d(1)、d(2))可以大致得出一个猜想，桥梁裂缝有一个或者几个大致的方向，如果选取的这些不同的方向θ和桥梁裂缝的方向越吻合，那么，提取出的桥梁裂缝的特征就越详尽。高斯滤波器是一种线性滤波器，能够有效的抑制噪声，平滑图像。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。由于在裂缝图像中有噪声的存在，并且噪声会对以后的实验产生巨大的负面影响，因此图像经过gabor滤波后，需要平滑处理进行高斯滤波，经过高斯滤波后的结果如图3所示。图3中，同一行图像的方向相同，同一列图像的尺度相同。由图3可以看出，选取的图像(子图b(1)、b(2)、c(1)、c(2)、d(1)、d(2))经过高斯滤波后，明显扩大了裂缝的可取范围，扩大了兴趣区域，这样可以避免桥梁裂缝的漏检，进一步提高桥梁裂缝的检测效率。这样一来，每个像素就对应16个gabor滤波特征和2个空间位置特征，然后将这些特征进行标准化，使其均值为0，方差为1，见式(3)～(5)。i'(i,j)＝[f(i,j)-aver]/std(5)其中，f(i,j)表示gabor滤波后的图像，m和n分别表示图像的长和宽，aver表示图像灰度的均值，std表示图像灰度的标准差，i'(i,j)表示图像经过标准化后的结果。主成分分析法的相关原理如下：假设原始图像i'(i,j)被切分为小块，即其中，xi(1≤i≤m)是一个p×p的图像块，这样n等于p×p。主成分分析的目标是将xi(1≤i≤m)的维数从n维降到k维。定义∑如式(6)所示：为了便于后续工作，xi(1≤i≤m)最好有相同的均值和方差，所以必须进行均值和方差的标准化。由于拍摄桥梁图像时没有添加人工光照等人为因素，这种类型的图像就称为自然图像，而自然图像的每个图像块的统计特征和其他图像块的是相似的，所以同一个图像的每个图像块的方差近似相等。这样，xi(1≤i≤m)就只需要进行均值标准化。计算∑的特征向量。所有特征向量组成了特征向量矩阵u，如式(7)所示：u＝[u1u2…un](7)其中，u1是主向量(对应最大的特征值)，u2是次向量，以此类推。λ1,λ2,...,λn是对应的特征值。如果将每一个特征乘以一个正实数，则求得的特征向量不变。这样的话，即使拍摄图像时天气状况不好，得到的图像的灰度值很低，主成分分析处理的结果仍旧不变，这就保证了该方法对光照变化保持不敏感。在进行均值标准化后，xi(1≤i≤m)的均值为0，所以∑是xi(1≤i≤m)的协方差矩阵。如果协方差矩阵是一个对角矩阵，则求得的σ的特征值就是正确的，相应地，特征向量也是正确的。然后，需要将xi(1≤i≤m)投影到每个特征向量ui(1≤i≤n)上，如式(8)所示：其中，是xi在u1特征向量方向上的投影。到一定程度时，特征向量ui(k＜i≤n)就全部变为0。自然地，x投影到所有特征向量ui(1≤i≤n)方向上的结果如式(9)所示：.迄今为止，已经将的维数从n降到k，接下来，需要用重建x。鉴于u是正交矩阵，utu＝uut＝i，其中i是单位矩阵，所以x的重建如下式(10)：当然，k的选取十分关键，如果过大，则冗余信息没有明显减少，如果过小，则丢失重要信息。这里，由于桥梁图像的内容本身不十分丰富，所以保留原有信息的99％，选取规则定义如下式(11)：白化可以在主成分分析的基础上进一步的减少冗余，如式(12)所示：为了减少不必要的冗余信息，再使用主成分分析法，提取出显著性特征，最终使得每个像素就对应的18个特征减少为1个特征，效果图如下图4所示。由图4可以看出，经过降维后的图像大致可以对应三类，颜色最亮的和颜色最黑的这两类对应的桥梁或路面裂缝区域，剩下的灰色区域为背景区域。k-means是一种层次聚类算法，它是根据给定的数据集集合按层次结构进行分解，形成一棵以簇为节点的树。根据分解形式可以分为：凝聚和分裂。凝聚层次聚类是采用了自底向上的策略，由于其聚类方式简单，因此成为广泛应用的聚类方法。凝聚层次聚类算法是先让每个对象自成一簇，然后将这些簇合并为更大的簇，直到将所有对象都在一个簇中，或者满足某个终止条件。设数据集d＝{d1,d2,...,dm}，每个数据对象都有p个特征，即di＝{di1,di2,...,dip}。首先通过欧式距离来计算数据对象间的两两距离，具体公式如下式(13)：通过以上公式来计算数据集中两两数据对象间的距离，找出距离最小的2个数据对象，将它们合并为一个类，同时重新计算这2个数据对象的平均值作为新类的中心点，并计算出所得新类和其他各类的相似度，见下式(14)，接着再按相似度最大的两类合并。其中，davg(ci,cj)表示类ci,cj间的相似度，||d-d'||表示数据对象d和d'的距离，ni表示类ci中数据的个数，nj表示类cj中数据的个数。不断重复上述迭代过程，直到将所有样本数据合并成一类为止。因此，对主成分分析后的结果再进行k-means聚类就可以找到桥梁或路面裂缝的兴趣区域，从而提高了检测效率，避免了对裂缝之外的背景图像进行处理耗费大部分时间。聚类的结果如图5所示。按照聚类的结果，对原图进行分割，最终的桥梁或路面裂缝图像的兴趣区域6所示。脉冲耦合神经网络不同于传统人工神经网络，有着生物学背景，是根据猫、猴等动物的大脑视觉皮层上的同步脉冲发放现象而提出的。脉冲耦合神经网络是在eckhorn提出的单个神经元模型的基础上得到的，单个神经元模型如图7所示。在这个神经元结构模型中，神经元的输入可以划分为反馈输入f和链接输入l两部分：具体算法如公式(15)～(16)式中，下标i,j为神经元的标号，n为迭代次数，sij为神经元i,j的外部刺激，fij为神经元i,j的馈送输入，lij为神经元i,j的链接输入，vf和vl为幅度常数，αf和αl为相应的衰减系数，δt为时间常数，m，w为权重矩阵，用于连接8邻域神经元nij，通常将其设置为相邻神经元的欧氏距离的倒数，如下式(17)：然后，两部分输入通过非线性耦合的方式，激励神经元内部活动，得到公式(18)：uij＝fij(n)[1+βlij(n)](18)其中，uij就相当于神经元活动的凸触，负责发送脉冲信号，β控制邻域神经元的内部活动强度。当uij大于其内部的动态阈值eij时，神经元会发生点火，并形成脉冲，输出为1，即公式(19)与(20)所示：yij(n)＝step(uij(n)-eij(n))(19)其中，神经元阈值为eij为由上式可知，在神经元发生点火之后，其动态阈值会瞬间增加常数ve，然后在衰减因子αe的影响下，阈值呈指数衰减直至该神经元再次发生点火。因此，每个神经元都会有一定的点火频率。由于神经元的邻域连接，点火的神经元会激励邻域相似的神经元产生同步振荡现象，即一个神经元点火，会捕获其周围与其相似的神经元同步点火，这就是脉冲耦合神经网络可以检测到桥梁裂缝的本质原因。由以上式子可以看出，脉冲耦合神经网络包含很多可调节的参数，从而桥梁或路面裂缝的检测效果对参数设置的依赖较强。因此，本文将原始脉冲耦合神经网络作了简化和改进，即公式(21)～(25)uij(n)＝fij(n)[1+βlij(n)](23)yij(n)＝uij(n)＞eij(n-1)||yij(n-1)(24)eij(n)＝αeij(n-1)+(1-α)yij(n-1)(25)改进后的脉冲耦合神经网络明显需要调节的参数变少了，而且，桥梁裂缝检测的效果也还是不错的，如图8所示。由图可知，改进后的脉冲耦合神经网络，对含有裂缝的桥梁或路面图像的检测效果还是不错的，较低的漏检率，较高的检测正确率，对不含裂缝的桥梁图片，没有检测出裂缝，说明有一定的鲁棒性，另外，对噪声有一定的抗干扰能力。针对单个裂缝、网状裂缝、碎片化裂缝进行实验的结果如下图9～图11。本实施例的基于兴趣区域的桥梁或路面裂缝检测算法，能够有效的减少不必要的冗余信息，提取出显著性特征，大大缩短了桥梁或路面裂缝检测需要的时间，具体时间见表1。由表可以看出，每幅图像的处理时间缩短了约88％。表1单幅图像(480x480像素)相应操作平均所需时间为了评价一下本实施例的基于兴趣区域的桥梁或路面裂缝检测的优劣，提出了一种评价方法。首先，将所有的原图和裂缝检测后的结果图都分割成16*16的图像块，如图12所示。然后，对比原图，在检测后的结果图中找到误检和漏检的图像块，统计一下各自的数量，最后，除以总的图像块数，得到误检率和漏检率，以此来对实验结果进行评价。本实施例的评价结果见表2。表2漏检率和误检率(以图像块为单位计算)名称数值误检51167块漏检45732块总和1181700块误检率4.33％漏检率3.87％准确率91.97％以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属
技术领域：
的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。当前第1页12