裂缝检测方法、装置、终端设备以及存储介质

1.本发明涉及工业检修技术领域，尤其涉及裂缝检测方法、装置、终端设备以及存储介质。


背景技术：

2.国内外大规模基础与工业设施建设带来了大量的检测维修工作，也使得设施表面的自动视觉检测技术得到了快速发展。裂缝是一种常见的缺陷类型，达到危害等级的弱小信号裂缝多出现于安全要求较高的工业设施，为了长久的安全生产必须得到检测与修复。
3.目前，大部分基于 dcnn 的裂缝检测模型在连续的下采样中会由于空间分辨率的降低而导致对象的空间信息丢失，因此不合适对弱小信号裂缝进行分割。而且，大部分方法是以相同的方式处理所有裂缝特征，而忽略了不同裂缝特征对裂缝检测的贡献不同的情形。
4.因此，有必要提出一种提高裂缝分割有效性的解决方案。
5.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

6.本发明的主要目的在于提供一种裂缝检测方法、装置、终端设备以及存储介质，旨在提高裂缝分割的有效性。
7.为实现上述目的，本发明提供一种裂缝检测方法，所述裂缝检测方法包括：获取目标裂缝图像；基于预先创建的分割模型对所述目标裂缝图像进行分割，得到裂缝分割图，其中，所述分割模型包括前端模块、局部特征提取模块及跳跃连接结构，所述分割模型基于所述前端模块、局部特征提取模块及跳跃连接结构训练得到；基于裂缝测量模块对所述裂缝分割图进行测量，得到裂缝检测结果。
8.可选地，所述基于预先创建的分割模型对所述目标裂缝图像进行分割，得到裂缝分割图的步骤之前还包括：训练得到所述分割模型，具体包括：获取预先采集的训练数据集，其中，所述训练数据集包括样本裂缝图像及对应真实数据；将所述样本裂缝图像输入上下文聚合网络，由所述前端模块聚合上下文信息，所述局部特征提取模块进行局部特征聚合，得到样本裂缝分割图；基于预设裂缝拓扑结构损失函数，计算所述样本裂缝分割图与对应真实数据之间的损失函数；将所述损失函数回传至所述上下文聚合网络，对网络参数进行更新，并返回执行将所述样本裂缝图像输入上下文聚合网络的步骤及后续步骤；
以此循环，进行参数迭代，直到所述上下文聚合网络收敛，终止训练，得到所述分割模型。
9.可选地，所述获取预先采集的训练数据集的步骤包括：获取原始样本图像数据；对所述原始样本图像数据进行筛选及剪切，得到所述样本裂缝图像；对所述样本裂缝图像进行标注，得到所述对应真实数据；基于所述样本裂缝图像及对应真实数据构建所述训练数据集。
10.可选地，所述训练得到所述分割模型的步骤之后还包括：根据所述分割模型生成的样本裂缝分割图与对应真实数据中同一位置的每个像素，统计判断结果，其中，所述判断结果包括真阳性、假阳性、假阴性和/或真阴性；基于所述判断结果计算所述分割模型的性能指标，其中，所述性能指标包括查准率和/或查全率；基于所述性能指标中的查准率和/或查全率计算整体指标，以用于评判所述分割模型。
11.可选地，所述基于裂缝测量模块对所述裂缝分割图进行测量，得到裂缝检测结果的步骤包括：基于裂缝测量模块对所述裂缝分割图进行连通域提取，得到裂缝提取图；根据所述裂缝分割图和/或所述裂缝提取图得到所述裂缝检测结果，其中，所述裂缝检测结果包括裂缝总长度、每条裂缝的长度、裂缝总面积、每条裂缝的面积、裂缝平均宽度和/或每条裂缝宽度。
12.可选地，所述根据所述裂缝分割图和/或所述裂缝提取图得到所述裂缝检测结果的步骤包括：对所述裂缝分割图进行骨架提取，得到所述裂缝总长度；对所述裂缝提取图进行骨架提取，得到所述每条裂缝的长度；根据所述裂缝分割图得到所述裂缝总面积，根据所述裂缝提取图得到所述每条裂缝的面积；根据所述裂缝总面积及所述裂缝总长度计算所述裂缝平均宽度；根据所述每条裂缝的面积及所述每条裂缝的长度计算所述每条裂缝宽度。
13.可选地，所述跳跃连接结构用于将所述前端模块和局部特征提取模块中拥有相同扩张率的卷积操作得到的层级进行连接。
14.此外，为实现上述目的，本发明还提供一种裂缝检测装置，所述裂缝检测装置包括：获取模块，用于获取目标裂缝图像；分割模块，用于基于预先创建的分割模型对所述目标裂缝图像进行分割，得到裂缝分割图，其中，所述分割模型包括前端模块、局部特征提取模块及跳跃连接结构，所述分割模型基于所述前端模块、局部特征提取模块及跳跃连接结构训练得到；测量模块，用于基于所述裂缝分割图进行测量，得到裂缝检测结果。
15.此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的裂缝检测程序，所述裂缝检测程
序被所述处理器执行时实现如上所述的裂缝检测方法的步骤。
16.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有裂缝检测程序，所述裂缝检测程序被处理器执行时实现如上所述的裂缝检测方法的步骤。
17.本发明实施例提出的一种裂缝检测方法、装置、终端设备以及存储介质，通过获取目标裂缝图像；基于预先创建的分割模型对所述目标裂缝图像进行分割，得到裂缝分割图，其中，所述分割模型包括前端模块、局部特征提取模块及跳跃连接结构，所述分割模型基于所述前端模块、局部特征提取模块及跳跃连接结构训练得到；基于裂缝测量模块对所述裂缝分割图进行测量，得到裂缝检测结果。通过基于前端模块、局部特征提取模块及跳跃连接结构训练得到分割模型，该分割模型可以通过前端模块和局部特征提取模块充分利用空洞卷积的优越性，同时充分考虑到裂缝网状结构的重要性，从而提高裂缝分割的有效性。
附图说明
18.图1为本发明裂缝检测装置所属终端设备的功能模块示意图；图2为本发明裂缝检测方法一示例性实施例的流程示意图；图3为本发明实施例中的分割模型网络结构示意图；图4为本发明实施例中将基于拓扑结构的损失函数用于分割网络训练的原理示意图；图5为本发明裂缝检测方法另一示例性实施例的流程示意图；图6为图2实施例中步骤s30的具体流程示意图；图7为本发明实施例中的裂缝测量评估原理流程图；图8为本发明实施例中进行裂缝检测的整体流程示意图。
19.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
20.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
21.本发明实施例的主要解决方案是：通过获取目标裂缝图像；基于预先创建的分割模型对所述目标裂缝图像进行分割，得到裂缝分割图，其中，所述分割模型包括前端模块、局部特征提取模块及跳跃连接结构，所述分割模型基于所述前端模块、局部特征提取模块及跳跃连接结构训练得到；基于裂缝测量模块对所述裂缝分割图进行测量，得到裂缝检测结果。通过基于前端模块、局部特征提取模块及跳跃连接结构训练得到分割模型，该分割模型可以通过前端模块和局部特征提取模块充分利用空洞卷积的优越性，同时充分考虑到裂缝网状结构的重要性，从而提高裂缝分割的有效性。
22.本发明实施例涉及的技术术语：深度卷积神经网络（deep convolutional neural network，dcnn）；全卷积网络(fully convolutional network，fcn)；u 型上下文聚合网络（ucan）。
23.国内外大规模基础与工业设施建设带来了大量的检测维修工作，也使得设施表面的自动视觉检测技术得到了快速发展。裂缝是一种常见的缺陷类型，达到危害等级的弱小
信号裂缝多出现于安全要求较高的工业设施，为了长久的安全生产必须得到检测与修复。在过去的几十年中，自动视觉裂缝检测领域已经出现了大量的研究和应用，传统的视觉检测也逐渐被半自动或自动技术所取代。基于计算机视觉技术的图像分割算法是一类用于裂缝检测的有效方法，不仅可以自动准确得到裂缝的位置，也可以在分割结果的基础上得到裂缝的其他结构信息。
24.近年来，深度学习作为使用多层神经网络的机器学习技术的一个子集正在迅速地发展。深度学习方法不需要预定义的特征提取阶段，仅通过提供更多数据就可以训练出更通用、更鲁棒的模型。现有技术表明，使用 fcn 网络进行裂缝检测，有效的提高了裂缝分割的精度和速度。基于编码器-解码器的网络使用多尺度交叉熵损失进行训练，其在裂缝分割性能方面优于其他一些深度卷积神经网络，例如 u-net和 segnet。然而，这些方法没有考虑不同宽度和拓扑的裂缝需要不同的上下文大小这一事实。此外，这些方法是以相同的方式处理所有裂缝特征，而忽略了不同裂缝特征对裂缝检测的贡献不同的情形。
25.大部分基于 dcnn 的裂缝检测模型在连续的下采样中会由于空间分辨率的降低而导致对象的空间信息丢失，因此不合适对弱小信号裂缝进行分割。而且，大部分方法是以相同的方式处理所有裂缝特征，而忽略了不同裂缝特征对裂缝检测的贡献不同的情形。除此之外，在裂缝分割问题中，需要提取的对象在局部呈管状结构和全局呈网状结构，其中很重要的一个特征就是全局网络拓扑的连通性。这里的网络指的是物理连接的结构，强调的是裂缝的整体。裂缝的拓扑结构对于计算裂缝的数量、长度、宽度等信息有重要的作用。而现有的深度学习裂缝分割模型没有考虑到这点，只专注于提高裂缝的整体分割精度，这些方法得到的分割结果不利于后续裂缝相关数据的测量。
26.本发明提供一种解决方案，针对图像分割模型面临的难以提取弱小信号裂缝特征、受到正负样本不平衡的困扰、难以提取完整拓扑结构的挑战，本发明设计了一个端到端的 u 型上下文聚合网络（ucan），以及一个基于裂缝拓扑结构的损失函数。ucan网络利用空洞卷积的优越性，在不失分辨率的同时也可以提高卷积核的感受野，从而在提取特征过程中保留更多的信息。新的损失函数充分考虑到裂缝的网状结构的重要性，设计了裂缝骨架损失项，从而提高裂缝分割的有效性。
27.具体地，参照图1，图1为本发明裂缝检测装置所属终端设备的功能模块示意图。该裂缝检测装置可以为独立于终端设备的、能够进行裂缝检测的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
28.在本实施例中，该裂缝检测装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
29.存储器130中存储有操作系统以及裂缝检测程序，裂缝检测装置可以将获取的目标裂缝图像；基于预先创建的分割模型对所述目标裂缝图像进行分割，得到的裂缝分割图等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括wifi模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
30.其中，存储器130中的裂缝检测程序被处理器执行时实现以下步骤：获取目标裂缝图像；基于预先创建的分割模型对所述目标裂缝图像进行分割，得到裂缝分割图，其中，
所述分割模型包括前端模块、局部特征提取模块及跳跃连接结构，所述分割模型基于所述前端模块、局部特征提取模块及跳跃连接结构训练得到；基于裂缝测量模块对所述裂缝分割图进行测量，得到裂缝检测结果。
31.进一步地，存储器130中的裂缝检测程序被处理器执行时还实现以下步骤：训练得到所述分割模型，具体包括：获取预先采集的训练数据集，其中，所述训练数据集包括样本裂缝图像及对应真实数据；将所述样本裂缝图像输入上下文聚合网络，由所述前端模块聚合上下文信息，所述局部特征提取模块进行局部特征聚合，得到样本裂缝分割图；基于预设裂缝拓扑结构损失函数，计算所述样本裂缝分割图与对应真实数据之间的损失函数；将所述损失函数回传至所述上下文聚合网络，对网络参数进行更新，并返回执行将所述样本裂缝图像输入上下文聚合网络的步骤及后续步骤；以此循环，进行参数迭代，直到所述上下文聚合网络收敛，终止训练，得到所述分割模型。
32.进一步地，存储器130中的裂缝检测程序被处理器执行时还实现以下步骤：获取原始样本图像数据；对所述原始样本图像数据进行筛选及剪切，得到所述样本裂缝图像；对所述样本裂缝图像进行标注，得到所述对应真实数据；基于所述样本裂缝图像及对应真实数据构建所述训练数据集。
33.进一步地，存储器130中的裂缝检测程序被处理器执行时还实现以下步骤：根据所述分割模型生成的样本裂缝分割图与对应真实数据中同一位置的每个像素，统计判断结果，其中，所述判断结果包括真阳性、假阳性、假阴性和/或真阴性；基于所述判断结果计算所述分割模型的性能指标，其中，所述性能指标包括查准率和/或查全率；基于所述性能指标中的查准率和/或查全率计算整体指标，以用于评判所述分割模型。
34.进一步地，存储器130中的裂缝检测程序被处理器执行时还实现以下步骤：基于裂缝测量模块对所述裂缝分割图进行连通域提取，得到裂缝提取图；根据所述裂缝分割图和/或所述裂缝提取图得到所述裂缝检测结果，其中，所述裂缝检测结果包括裂缝总长度、每条裂缝的长度、裂缝总面积、每条裂缝的面积、裂缝平均宽度和/或每条裂缝宽度。
35.进一步地，存储器130中的裂缝检测程序被处理器执行时还实现以下步骤：对所述裂缝分割图进行骨架提取，得到所述裂缝总长度；对所述裂缝提取图进行骨架提取，得到所述每条裂缝的长度；根据所述裂缝分割图得到所述裂缝总面积，根据所述裂缝提取图得到所述每条裂缝的面积；根据所述裂缝总面积及所述裂缝总长度计算所述裂缝平均宽度；根据所述每条裂缝的面积及所述每条裂缝的长度计算所述每条裂缝宽度。
36.本实施例通过上述方案，具体通过获取目标裂缝图像；基于预先创建的分割模型对所述目标裂缝图像进行分割，得到裂缝分割图，其中，所述分割模型包括前端模块、局部特征提取模块及跳跃连接结构，所述分割模型基于所述前端模块、局部特征提取模块及跳跃连接结构训练得到；基于裂缝测量模块对所述裂缝分割图进行测量，得到裂缝检测结果。通过基于前端模块、局部特征提取模块及跳跃连接结构训练得到分割模型，该分割模型可以通过前端模块和局部特征提取模块充分利用空洞卷积的优越性，同时充分考虑到裂缝网状结构的重要性，从而提高裂缝分割的有效性。
37.基于上述终端设备架构但不限于上述架构，提出本发明方法实施例。
38.本实施例方法的执行主体可以为一种裂缝检测装置或终端设备等，本实施例以裂缝检测装置进行举例。
39.参照图2，图2为本发明裂缝检测方法一示例性实施例的流程示意图。所述裂缝检测方法包括：步骤s10，获取目标裂缝图像；具体地，裂缝是基础与工业设施表面的一种常见的缺陷类型，达到危害等级的弱小信号裂缝多出现于安全要求较高的工业设施，为了长久的安全生产必须得到检测与修复。可以通过手持相机或无人机拍摄获取建筑设施表面的原始图像，进而经过剪切等方式进行图像预处理，得到目标裂缝图像，以用于进行分割得到裂缝分割图。
40.步骤s20，基于预先创建的分割模型对所述目标裂缝图像进行分割，得到裂缝分割图，其中，所述分割模型包括前端模块、局部特征提取模块及跳跃连接结构，所述分割模型基于所述前端模块、局部特征提取模块及跳跃连接结构训练得到；进一步地，获取到目标裂缝图像后，基于预先创建的分割模型对获取的目标裂缝图像进行分割，即可得到裂缝分割图。在此之前，先通过前端模块、局部特征提取模块及跳跃连接结构训练得到分割模型，即：训练得到所述分割模型，具体包括：获取预先采集的训练数据集，其中，所述训练数据集包括样本裂缝图像及对应真实数据；将所述样本裂缝图像输入上下文聚合网络，由所述前端模块聚合上下文信息，所述局部特征提取模块进行局部特征聚合，得到样本裂缝分割图；基于预设裂缝拓扑结构损失函数，计算所述样本裂缝分割图与对应真实数据之间的损失函数；将所述损失函数回传至所述上下文聚合网络，对网络参数进行更新，并返回执行将所述样本裂缝图像输入上下文聚合网络的步骤及后续步骤；以此循环，进行参数迭代，直到所述上下文聚合网络收敛，终止训练，得到所述分割模型。
41.具体地，所述获取预先采集的训练数据集的步骤包括：获取原始样本图像数据；对所述原始样本图像数据进行筛选及剪切，得到所述样本裂缝图像；对所述样本裂缝图像进行标注，得到所述对应真实数据；基于所述样本裂缝图像及对应真实数据构建所述训练数据集。
42.本发明实施例中，训练数据集的获取可以使用手持相机或无人机拍摄获取建筑设施表面的原始图像数据，经过专业人员挑选包含达到危害标准裂缝的图像。之后经过剪切得到固定大小的裂缝数据，再根据这些裂缝图像进行手动标注，从而构建出符合训练与测试标准的数据集。
43.进一步地，参照图3，图3为本发明实施例中的分割模型网络结构示意图，如图3所示，ucan分割模型包括前端模块、局部特征提取模块以及跳跃连接结构。前端模块包含了七个膨胀因子指数增加的空洞卷积层，由此可以聚合上下文信息。局部特征提取模块包含了七个膨胀因子指数减小的空洞卷积层，用来聚合分散在前端模块的高分辨率特征图中的局部信息。网络中的每个卷积模块都由卷积层、批量归一化层和 relu 激活层组成。细裂缝的局部和全局特征同等重要，因此为了融合多尺度信息，网络结构使用的跳跃连接是将前端模块和后端模块中拥有相同扩张率的卷积操作得到的层级联起来。在前端模块中, 随着网络越来越深, 对应的特征图的感受野会越来越大, 但相邻单元之间的空间一致性会逐渐变弱。前端模块中各层得到的特征作为跳跃层, 在后端模块中对局部特征聚合后的特征进行拼接, 使空间一致性较差的层提前进行局部特征聚合。
44.参照图4，图4为本发明实施例中将基于拓扑结构的损失函数用于分割网络训练的原理示意图，如图4所示，设计基于裂缝拓扑结构的损失函数；令代表提出的深度神经网络。训练数据集。其中表示原始输入图像, 其中m代表数据集中数据的数量, h、w、c 分别代表每张图像的高度、宽度、通道, 表示与x 对应的裂缝标签(ground truth), y中的像素值为0或1，分别代表背景与裂缝, 其中h、w的定义同上, 分割图的通道数指定为1。网络输出定义为，s为f提取出的骨架结构，
ŝ
为g提取出的骨架结构。网络的权重ω通常通过最小化设计的损失函数来学习。令c代表裂缝测量方法，则,其中n代表裂缝数量，l为裂缝长度，代表裂缝的平均宽度。在曲线结构上使用形态学操作（骨架化）进行细化可以保持拓扑结构。因此本发明实施例中设计了一种高效、通用且直观的损失函数，该损失函数可以利用形态学操作在分割裂缝对象时实现拓扑保存。该损失有两个项，基本的交叉熵项l
bce
和 topce 损失项l
topce
：其中f是通过分割网络得到似然，g 是ground truth，β是l
topce
的权重。
45.本发明实施例中专注于单个图像，而实际损失是在整个训练集上聚合的。topce损失增强了裂缝分割算法发现有挑战性的拓扑位置的正确性。为了强制对骨架位置的像素进行正确分割，本发明实施例中将s表示为从预测得到的分割图中提取出的骨架，
ŝ
表示从ground truth标记图中提取出的骨架，之后计算限制在骨架结构中的似然映射f和ground truth g之间的交叉熵，形式上为其中是 hadamard 积。
46.更进一步地，经过训练得到分割模型后，可以通过计算查准率及查全率对分割模型进行评判，还可以基于裂缝测量模块对所述裂缝分割图进行测量，得到包括裂缝数量、长度、宽度在内的裂缝检测结果，从而进一步丰富裂缝检测的相关数据，提高裂缝分割的有效性。
47.步骤s30，基于裂缝测量模块对所述裂缝分割图进行测量，得到裂缝检测结果。
48.进一步地，在图像分割网络输出裂缝分割图之后，裂缝测量模块将利用裂缝分割图中裂缝的几何特征计算其数量、长度与宽度。分割图经过二值化后得到只包含像素为0或1的灰度图，其中裂缝像素为1，背景像素为0。裂缝分割图通过提取连通域的操作，将属于同一条裂缝的像素列为同一类，由此即可得出图像中裂缝数量。计算裂缝的长度与宽度是通过提取裂缝的骨架得到的。计算裂缝的总长度需要提取原始分割图的骨架，最终得到裂缝检测结果。
49.在本实施例中，通过获取目标裂缝图像；基于预先创建的分割模型对所述目标裂缝图像进行分割，得到裂缝分割图其中，所述分割模型包括前端模块、局部特征提取模块及跳跃连接结构，所述分割模型基于所述前端模块、局部特征提取模块及跳跃连接结构训练得到；基于裂缝测量模块对所述裂缝分割图进行测量，得到裂缝检测结果。通过基于前端模块、局部特征提取模块及跳跃连接结构训练得到分割模型，该分割模型可以通过前端模块和局部特征提取模块充分利用空洞卷积的优越性，同时充分考虑到裂缝网状结构的重要性，从而提高裂缝分割的有效性。
50.参照图5，图5为本发明裂缝检测方法另一示例性实施例的流程示意图。基于上述图2所示的实施例，在本实施例中，在训练得到所述分割模型的步骤之后，所述裂缝检测方法还包括：步骤s01，根据所述分割模型生成的样本裂缝分割图与对应真实数据中同一位置的每个像素，统计判断结果，其中，所述判断结果包括真阳性、假阳性、假阴性和/或真阴性；具体地，裂缝分割任务是像素级的二分类问题, 神经网络得到的分割图中每个像素的值只有0和1两种，给定预测和真实裂缝分割图像，通过查看同一位置的每个像素可以获得：真阳性(tp)：正确预测实际裂缝像素。
51.假阳性(fp)：实际裂缝像素为非裂缝像素但被预测为裂缝像素。
52.假阴性(fn)：实际裂缝像素被预测为非裂缝像素。
53.真阴性(tn)：正确预测实际的非裂缝像素。
54.步骤s02，基于所述判断结果计算所述分割模型的性能指标，其中，所述性能指标包括查准率和/或查全率；进一步地，基于统计出的真阳性、假阳性、假阴性和/或真阴性等判断结果，可以计算出以下指标：查准率precision(简称pr)和查全率recall(简称re)的性能指标计算分别定义为：，根据查准率和查全率可以进一步计算整体指标。
55.步骤s03，基于所述性能指标中的查准率和/或查全率计算整体指标，以用于评判所述分割模型。
56.更进一步地，查准率和查全率是一对矛盾的度量, 一般来说, 查准率高时, 查全率往往偏低；而查全率高时, 查准率往往偏低。因此为了平等重视查准率与查全率, 本发明实施例中使用f1-score, 也就是查准率和查全率的调和平均作为性能评估的整体指标：
基于查准率和查全率的调和平均可以评估分割模型检测裂缝的性能。
57.本实施例通过上述方案，具体通过根据所述分割模型生成的样本裂缝分割图与对应真实数据中同一位置的每个像素，统计判断结果，其中，所述判断结果包括真阳性、假阳性、假阴性和/或真阴性；基于所述判断结果计算所述分割模型的性能指标，其中，所述性能指标包括查准率和/或查全率；基于所述性能指标中的查准率和/或查全率计算整体指标，以用于评判所述分割模型。通过对样本裂缝分割图与对应真实数据中同一位置的每个像素进行统计判断，计算出查准率及查全率，进而计算整体指标，能够全面反映分割模型的性能，使采用的分割模型性能最大化，从而提高裂缝分割的有效性。
58.参照图6，图6为图2实施例中步骤s30的具体流程示意图。本实施例基于上述图2所示的实施例，在本实施例中，上述步骤s30包括：步骤s301，基于裂缝测量模块对所述裂缝分割图进行连通域提取，得到裂缝提取图；步骤s302，根据所述裂缝分割图和/或所述裂缝提取图得到所述裂缝检测结果，其中，所述裂缝检测结果包括裂缝总长度、每条裂缝的长度、裂缝总面积、每条裂缝的面积、裂缝平均宽度和/或每条裂缝宽度，具体包括：对所述裂缝分割图进行骨架提取，得到所述裂缝总长度；对所述裂缝提取图进行骨架提取，得到所述每条裂缝的长度；根据所述裂缝分割图得到所述裂缝总面积，根据所述裂缝提取图得到所述每条裂缝的面积；根据所述裂缝总面积及所述裂缝总长度计算所述裂缝平均宽度；根据所述每条裂缝的面积及所述每条裂缝的长度计算所述每条裂缝宽度。
59.具体地，参照图7，图7为本发明实施例中的裂缝测量评估原理流程图，在图像分割网络输出裂缝图像的分割图之后，裂缝测量模块将利用分割图中裂缝的几何特征计算其数量、长度与宽度。分割图经过二值化后得到只包含像素为0或1的灰度图，其中裂缝像素为1，背景像素为0。裂缝分割图通过提取连通域的操作，将属于同一条裂缝的像素列为同一类，由此即可得出图像中裂缝数量。计算裂缝的长度与宽度是通过提取裂缝的骨架得到的。计算裂缝的总长度需要提取原始分割图的骨架。当裂缝通过单像素宽的表示进行骨架化时，裂缝长度可以被计算为：其中为几何校准指数，dl表示骨架的有限长度。定义来校准检测图像中像素的位移,而本实施例中假设裂纹数据集是由没有几何失真的图像组成的。因此，简化为1，即通过直接计算骨架像素来计算裂纹长度。同时，裂缝的平均宽度可以被计算为：其中ds表示裂纹元素的有限面积。
60.计算每条裂缝的长度与宽度与上述方法类似，不同的是需要在提取连通域之后的裂缝分割图中操作，记录每条裂缝的像素集合，最终得到每条裂缝的长度与宽度。给定图像
分辨率或比例（每公尺像素数），以像素为单位的裂纹长度和宽度可以转换为现实世界中的物理长度和宽度。更重要的是，可以通过计算裂缝像素占总像素数的比例来定量评估图像中裂缝的覆盖率。这些指标为工程师估计建筑结构的工作状况提供了合理的参考。
61.本实施例通过上述方案，具体通过基于裂缝测量模块对所述裂缝分割图进行连通域提取，得到裂缝提取图；根据所述裂缝分割图和/或所述裂缝提取图得到所述裂缝检测结果，其中，所述裂缝检测结果包括裂缝总长度、每条裂缝的长度、裂缝总面积、每条裂缝的面积、裂缝平均宽度和/或每条裂缝宽度。通过计算裂缝像素占总像素数的比例来定量评估图像中裂缝的数量、长度、宽度以及覆盖率等指标，为工程师估计建筑结构的工作状况提供了合理的参考。
62.此外，本发明实施例还提出一种裂缝检测装置，所述裂缝检测装置包括：获取模块，用于获取目标裂缝图像；分割模块，用于基于预先创建的分割模型对所述目标裂缝图像进行分割，得到裂缝分割图，其中，所述分割模型包括前端模块、局部特征提取模块及跳跃连接结构，所述分割模型基于所述前端模块、局部特征提取模块及跳跃连接结构训练得到；测量模块，用于基于裂缝测量模块对所述裂缝分割图进行测量，得到裂缝检测结果。
63.参照图8，图8为本发明实施例中进行裂缝检测的整体流程示意图，如图8所示，具体实施步骤如下：（1）获取数据集与数据预处理：使用手持相机拍摄获取核电站安全壳表面的原始图像数据，经过专业人员挑选包含达到危害标准裂缝的图像，之后经过剪切得到固定大小的裂缝数据，本实施例中将数据集的图像固定为 512
ꢀ×ꢀ
512 进行训练。再根据这些裂缝图像进行手动标注，构建出符合训练与测试标准的数据集。同时，可以将从数据库中获取的裂缝数据集与上述获取的数据进行混合，最后得到平均宽度为0~5像素之间的裂缝数据。本实施例所使用的数据集crack_t共包括617裂缝图像及其对应的分割标注，按照 7:1:2 的比例划分为训练、验证和测试数据集。
64.（2）构建u 型上下文聚合网络（ucan）：ucan分割模型包括前端模块、局部特征提取模块以及跳跃连接结构。前端模块包含了七个膨胀因子指数增加的空洞卷积层，由此实现聚合上下文信息；局部特征提取模块包含了七个膨胀因子指数减小的空洞卷积层，用来聚合分散在前端模块的高分辨率特征图中的局部信息。网络中的每个卷积模块都由卷积层、批量归一化层和 relu 激活层组成。细裂缝的局部和全局特征同等重要，因此为了融合多尺度信息，网络结构使用的跳跃连接是将前端模块和后端模块中拥有相同扩张率的卷积操作得到的层级联起来。在前端模块中, 随着网络越来越深, 对应的特征图的感受野会越来越大, 但相邻单元之间的空间一致性会逐渐变弱。前端模块中各层得到的特征作为跳跃层, 在后端模块中对局部特征聚合后的特征进行拼接, 使空间一致性较差的层提前进行局部特征聚合。网络的最后一层扩张率为1的卷积层的输出为各像素属于裂缝目标的概率图，通过引入阈值（本实施方式优选阈值为0.5），即可得到最终的分割结果。
65.设计基于裂缝拓扑结构的损失函数：令代表提出的深度神经网络。训练数据集。其中表示原始输入图像, 其中m代表数据集中数据的数量, h、w、c 分别代表每张图像的高度、宽度、通道, 表示与x 对应的裂
缝标签(ground truth), y中的像素值为0或1，分别代表背景与裂缝, 其中h、w的定义同上, 分割图的通道数指定为1。网络输出定义为，s为f提取出的骨架结构，
ŝ
为g提取出的骨架结构。网络的权重ω通常通过最小化设计的损失函数来学习。令c代表裂缝测量方法，则,其中n代表裂缝数量，l为裂缝长度，代表裂缝的平均宽度。在曲线结构上使用形态学操作（骨架化）进行细化可以保持拓扑结构。因此本发明实施例中设计了一种高效、通用且直观的损失函数，该损失函数可以利用形态学操作在分割裂缝对象时实现拓扑保存。该损失有两个项，基本的交叉熵项l
bce
和 topce 损失项l
topce
：其中f是通过分割网络得到似然，g 是ground truth，β是l
topce
的权重。
66.本发明实施例中专注于单个图像，而实际损失是在整个训练集上聚合的。topce损失增强了裂缝分割算法发现有挑战性的拓扑位置的正确性。为了强制对骨架位置的像素进行正确分割，本发明实施例中将s表示为从预测得到的分割图中提取出的骨架，
ŝ
表示从ground truth标记图中提取出的骨架，之后计算限制在骨架结构中的似然映射f和ground truth g之间的交叉熵，形式上为其中是 hadamard 积。
67.（4）基于数字图像处理技术的裂缝测量：在图像分割网络输出裂缝图像的分割图之后，裂缝测量模块将利用分割图中裂缝的几何特征计算其数量、长度与宽度。分割图经过二值化后得到只包含像素为0或1的灰度图，其中裂缝像素为1，背景像素为0。裂缝分割图通过提取连通域的操作，将属于同一条裂缝的像素列为同一类，由此即可得出图像中裂缝数量。计算裂缝的长度与宽度是通过提取裂缝的骨架得到的。计算裂缝的总长度需要提取原始分割图的骨架。当裂缝通过单像素宽的表示进行骨架化时，裂缝长度可以被计算为：其中为几何校准指数，dl表示骨架的有限长度。定义来校准检测图像中像素的位移,而本实施例中假设裂纹数据集是由没有几何失真的图像组成的。因此，简化为1，即通过直接计算骨架像素来计算裂纹长度。同时，裂缝的平均宽度可以被计算为：其中ds表示裂纹元素的有限面积。计算每条裂缝的长度与宽度与上述方法类似，不同的是需要在提取连通域之后的裂缝分割图中操作，记录每条裂缝的像素集合，最终得到每条裂缝的长度与宽度。给定图像分辨率或比例（每公尺像素数），以像素为单位的裂纹长度和宽度可以转换为现实世界中的物理长度和宽度。更重要的是，可以通过计算裂缝像素占总像素数的比例来定量评估图像中裂缝的覆盖率。这些指标为工程师估计建筑结构的工作状况提供了合理的参考。
68.（5）采用本实施例中的数据集，利用步骤（3）中提出的损失对ucan网络进行训练，直到网络loss值收敛，比较输出的裂缝分割图与对应的真实数据标注部分的重叠部分，保存评价指标最优的分割模型。本实施例所有实验均使用单个 nvidia geforce rtx 3090 gpu 进行。本实施例使用公开可用的 pytorch3.6 来实现本实施例中的网络。在本实施例的网络中, 在网络中的每个卷积层之后使用批量归一化, 这被认为可以加快训练过程中
的收敛速度。整个网络中卷积层的权重和偏置均采用正态分布初始化方法进行初始化。网络中的优化会更新权重参数以最小化损失函数。adam（自适应矩估计）方法被发现优于其他随机优化方法，即它收敛得更快，并被选为本实施例中的网络优化器。在训练中, 初始全局学习率设置为0.0001, 最小批处理大小设置为4。
69.（6）用训练好的ucan网络对预处理后的图像进行测试，自动获得图像中裂缝的分割区域：获取的裂缝分割图经过裂缝测量模块后，得到相关指标，包括查准率、查全率、以及两者的调和平均值，还有裂缝的数量、平均长度与平均宽度。
70.本实施例中，针对图像分割模型面临的难以提取弱小信号裂缝特征、受到正负样本不平衡的困扰、难以提取完整拓扑结构的挑战，设计了一个端到端的 u 型上下文聚合网络ucan，以及一个基于裂缝拓扑结构的损失函数。ucan网络利用空洞卷积的优越性，在不失分辨率的同时也可以提高卷积核的感受野，从而在提取特征过程中保留更多的信息。新的损失函数充分考虑到裂缝的网状结构的重要性，设计了裂缝骨架损失项，从而提高裂缝分割的有效性。
71.此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的裂缝检测程序，所述裂缝检测程序被所述处理器执行时实现如上所述的裂缝检测方法的步骤。
72.由于本裂缝检测程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
73.此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有裂缝检测程序，所述裂缝检测程序被处理器执行时实现如上所述的裂缝检测方法的步骤。
74.由于本裂缝检测程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
75.相比现有技术，本发明实施例提出的裂缝检测方法、装置、终端设备以及存储介质，通过获取目标裂缝图像；基于预先创建的分割模型对所述目标裂缝图像进行分割，得到裂缝分割图，其中，所述分割模型包括前端模块、局部特征提取模块及跳跃连接结构，所述分割模型基于所述前端模块、局部特征提取模块及跳跃连接结构训练得到；基于裂缝测量模块对所述裂缝分割图进行测量，得到裂缝检测结果。通过基于前端模块、局部特征提取模块及跳跃连接结构训练得到分割模型，该分割模型可以通过前端模块和局部特征提取模块充分利用空洞卷积的优越性，同时充分考虑到裂缝网状结构的重要性，从而提高裂缝分割的有效性。
76.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
77.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
78.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本技术每个实施例的方法。
79.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。