本方法涉及数字图像处理、深度学习等技术领域，具体涉及基于自动上下文和数据增强的超声图像智能分割方法。
背景技术：
随着现代工业的发展，人们对材料性能和产品质量的关注日益增长，对工业产品的检测精度和可靠性也提出了更高的要求。工业产品缺陷检测不但要检测出固体内部和表面缺陷的位置，还要确定缺陷的大小、种类和形状。用超声脉冲回波技术来检测缺陷不仅检测周期长、误检率高，而且无法定量分析缺陷形态、大小等特性。超声成像技术的发展使超声无损检测实现了图像化，固体内部和表面的缺陷能够以超声图像的形式直观、清晰的显示出来。对被检固体的超声图像进行分割，可以将缺陷区域从复杂的背景区域中提取出来，实现精确的定位和定性定量分析。因此，被检固体超声图像缺陷智能分割对固体缺陷检测具有非常重要的研究意义。
传统的超声图像分割方法包括：阈值法、区域法、边缘法和图论法。
1）阈值法：基于图像的灰度特征来选取一个或多个灰度阈值，并将图像中每个像素的灰度值与阈值相比较，将像素点根据比较结果分到合适的类别中。虽然阈值法运算速度很快，但对噪声敏感，在实际应用中，通常要与其他分割方法结合使用，且对于复杂的超声图像难以得到理想的分割效果。
2）区域法：利用了图像的局部空间信息，将图像按照相似性准则分成不同的区域，把具有某种相似性质的像素连通，从而构成最终的分割区域，有效的克服其他方法存在的图像分割空间小连续的缺点。常用的区域法包括：区域生长法、分裂合并法、分水岭法等。这些方法具有计算速度快、分割精度高、分割边界连续等优点，但是由于超声图像中通常存在噪声和局部不规则性，可能产生大量的假边界，出现过度分割的现象。
3）边缘法：建立在边缘灰度值会呈现出阶跃型或屋顶型变化这一观测基础上，利用不同区域间像素不连续的特点检测出区域的边缘。边缘处像素灰度值的不连续可通过求导数来检测到，因此常用灰度的一阶微分算子（sobel算子、roberts算子）、二阶微分算子（laplace算子）进行边缘检测。边缘法虽然简单，计算速度很快，但存在抗噪性能和检测精度之间的矛盾。若提高检测精度，则噪声产生的伪边缘会导致不合理的分割轮廓；若提高抗噪性能，则会产生轮廓漏检和位置偏差。
4）图论法：采用了图论的思想去分割图像，把像素点考虑成节点，把相邻像素点考虑成相连节点，把整幅图像考虑成一幅很大的图，然后利用最小生成树（minimumspanningtree,mst）算法对图进行计算，得到一系列最小生成树，每一棵最小生成树即代表一个分割区域。图论法取得了良好的分割效果，对超声图像的高噪声具有很好的鲁棒性，但有两个决定分割效果的参数k和α需要根据经验设定，对于一些复杂的超声图像，避免不了过分割或者欠分割的发生。
近年来，随着深度学习的蓬勃发展，基于深度学习的图像分割方法相比传统方法在超声图像处理领域有更好的表现。卷积神经网络(convolutionalneuralnetwork,cnn)在图像前景分类有不错的效果。但是基于cnn的分割方法一般采取逐像素取块分类的方法，非常耗时，同时限制于图像块的大小，无法利用上下文信息(context),算法的性能有较大瓶颈。而端到端的全卷积神经网络(fullyconvolutionalnetwork，fcn)利用卷积层代替全连接层，可以对任意尺寸的图像进行分割，但fcn中采用的上采样结构会使图像细节信息丢失，导致分割精度的降低。
因此针对上述基于深度学习的图像分割方法存在的各种问题，例如：无法利用上下文信息、上采样结构会使图像细节信息丢失，本发明采用自动上下文(auto-context)思想对全卷积神经网络结构进行完善，使网络能够将上下文信息从浅层传递到更髙分辨率层。采用自动上下文思想充分利用了上下文信息，提高了预测图的局部空间一致性，强化了网络全局特征的学习能力，提升了网络的分类性能，有效解决了因细节信息丢失而导致分割精度降低的问题。
同时由于深度学习往往需要大量的训练样本，而获取大规模的超声图像困难、且代价昂贵，尤其是经过专业技术人员标注的超声图像。因此，本发明采用基于超声图像特性的数据增强技术，产生大量的训练样本以扩大数据集规模，充分利用超声图像的先验知识提高分割的准确率和可靠性，解决因样本量限制致使网络训练出现过拟合的问题，使该方法在很小的训练数据集情况下也能获得理想的分割效果。
综上所述，本发明将自动上下文和数据增强的方法相结合，提出基于自动上下文和数据增强的超声图像智能分割方法。相比于现有的图像分割方法，本发明分割准确率高、鲁棒性和泛化性强、分割边缘平滑性好、在很小的训练数据集情况下也能获得理想分割效果。本发明的应用范围不限于固体缺陷检测，适当对数据增强方法加以修改，可推广至海洋勘测、医学检测等其他应用场景。
技术实现要素：
本方法的目的在于克服现有图像分割方法应用于超声图像缺陷智能分割场景的不足，提出基于自动上下文和数据增强的超声图像智能分割方法，具体原理如下：
自动上下文是一种细节信息优化策略，核心是一系列训练模型的级联叠加，第k-1级分类器输出的预测概率图包含感兴趣目标区域的基本形状、前景与背景的轮廓分割等有价值的信息，通过上下文特征与灰度特征的融合，得到相比于k-1级更加有效的特征描述，将其输入到第k级分类器，进而实现预测图的概率精细化，按照这种方式不断迭代，直到取得最优图像分割结果。如图4所示，在全卷积神经网络中实现自动上下文，将全卷积神经网络编码过程中的特征图与对应解码部分融合，在解码过程的上采样部分加入了复制和裁剪通道，使网络能够将上下文信息从浅层传递到更髙分辨率层。自动上下文充分利用了上下文信息，增强了预测图的局部空间一致性，强化了全卷积网络的特征学习能力，提升了网络的分类性能，提高了超声图像智能分割的准确率。
数据增强是深度学习中一种有效的数据集扩增技术，为了避免有效数据不足而出现的过拟合等问题，通过对可获取的目标域标注数据进行翻转、缩放、平移等变换来丰富实际可用于训练的数据，使深度学习网络的性能得到一定的提升。数据增强技术的实质是，在目标域的数据分布具有变换不变性的前提下，通过对数据进行简单可塑性变换或仿射变换等操作，使深度学习网络可以学习到更多关于训练数据的不变性特征。本发明选择数据增强技术时要充分考虑超声图像特性，要对形变和灰度值变化鲁棒且满足位移和旋转不变形。因此本发明基于超声图像特性，采用缩放、水平垂直翻转、平滑形变、刚性变换方式将数据集扩增至原规模的若干倍，提高分割的准确率和可靠性，解决因数据集过小致使网络训练出现过拟合的问题，提高分割的鲁棒性和泛化性，使该方法在很小的训练数据集情况下也能获得理想的分割效果。
基于上述原理，本发明提出基于自动上下文和数据增强的超声图像智能分割方法，具体方法如下：
首先，对超声数据集进行一系列的预处理以达到基于自动上下文全卷积神经网络的训练要求：（1）由多位经验丰富的技术人员分别对超声数据集进行间隔为m天的多次标注，为降低技术人员之间因工程经验不同等原因导致的标注误差，我们取多位技术人员多次标注的平均值作为分割的标签；（2）针对超声图像的高噪声、低对比度、弱边界、不均匀等特性，进行去噪等一系列图像处理手段。首先截取超声图像感兴趣区域。接着，使用双边滤波器进行滤波处理，在保留图像中边缘信息的同时去除噪声。然后，进行直方图均衡化来增强图像的对比度。最后，使用均值漂移滤波改善超声图像的均匀性。
接着，对上述超声图像数据集进行数据增强。由于深度学习往往需要大量的训练样本，而获取大规模的超声图像困难、且代价昂贵，尤其是经过专业技术人员标注的超声图像，因此，本发明基于超声图像特性，采用缩放、水平垂直翻转、平滑形变、刚性变换方式将数据集扩增至原规模的若干倍，从而使深度学习网络可以学习到更多关于训练数据的不变性特征，充分利用超声图像的先验知识，提高分割的准确率和可靠性，解决因数据集过小致使网络训练出现过拟合的问题，提高分割的鲁棒性和泛化性，使该方法在很小的训练数据集情况下也能获得理想的分割效果。
然后，对上述超声图像数据集进行基于自动上下文的缺陷分割。首先，进行数据输入，对输入的超声数据集进行随机打乱，并用多队列去并行读取，加快数据的读入。然后，在全卷积神经网络中实现自动上下文，将编码过程中的特征图与解码过程中对应层的特征图通过通道拼接实现特征融合，使网络能够将上下文信息从浅层传递到更髙分辨率层。自动上下文充分利用了上下文信息，增强了预测图的局部空间一致性，强化了全卷积网络的特征学习能力，提升了网络的分类性能，提高了超声图像缺陷分割的准确率。接着，使用交叉熵作为损失函数，采用反向传播和随机梯度下降算法，以端到端的方式训练模型。最后，用训练好的模型对测试数据集进行预测，实现对超声测试数据的缺陷初步分割。
最后，对上述缺陷初步分割结果进行后处理。首先，去除分割结果中由于高噪声而误判的缺陷区域，提升超声图像分割结果的准确率和可靠性。然后，对分割结果进行形态学闭运算和开运算处理，改善分割结果的边缘平滑性，实现对缺陷分割结果的精细化处理。
为了达到以上目的，本发明所述的基于自动上下文和数据增强的超声图像智能分割方法由预处理、数据增强、基于自动上下文的缺陷分割、后处理四个模块组成，如图1所示。
上述预处理模块用于生成符合后续图像分割要求的超声数据集。首先由多位经验丰富的技术人员进行标注，取多位技术人员多次标注的平均值作为分割的标签。然后截取超声图像感兴趣区域，使用双边滤波器进行滤波处理在保留图像中边缘信息的同时去除噪声，进行直方图均衡化来增强图像的对比度，使用均值漂移滤波改善超声图像的均匀性。
预处理模块的具体实现步骤如图2所示。
步骤1：打标签，包括以下步骤：
1.1技术人员标注。由多位技术人员分别对超声数据集进行间隔为m（m取大于等于2的整数）天的多次标注，m为设定值。
1.2确定标签。为降低技术人员之间因工程经验不同等原因导致的标注误差，我们取多位技术人员多次标注的平均值作为分割的标签。
步骤2：图像预处理，包括以下步骤：
2.1截取感兴趣区域。从原始超声图像中截取包含完整缺陷区域且缺陷区域居中的子图像，即感兴趣区域。
2.2双边滤波。对步骤2.1得到的感兴趣区域使用双边滤波器完成去噪，得到去噪图像。
2.3直方图均衡化。对去噪图像进行直方图均衡化来增强对比度得到直方图均衡化的图像。
2.4均值漂移。对直方图均衡化的图像使用均值漂移滤波器来改善均匀性。
上述数据增强模块用于超声数据集扩增。基于超声图像特性，采用对形变和灰度值变化鲁棒且满足位移和旋转不变形的数据增强技术，以缩放、水平垂直翻转、刚性变换、平滑形变等方式将数据集扩增至原规模的数倍。
数据增强模块的具体实现步骤如图3所示。
步骤1：缩放。
按照一定的比例缩小或者放大原始图像，其中缩放比例的大小可以采用随机或人为定义的方式给出，得到缩放图像。
步骤2：水平、垂直翻转。
沿着水平或者垂直方向翻转原始图像翻转缩放图像，得到翻转图像。
步骤3：平滑形变。
使用随机位移矢量在n×n(0<n<min(0.5h，0.5w)，n为整数，h和w为翻转图像的高和宽)网格上产生平滑形变，即将翻转图像划分为n×n的网格，对非图像边缘网格点进行随机位移，位移大小从k像素(0<k<0.5n，k为整数)标准差的高斯分布中采样，然后使用双三次插值计算其他像素位移，得到平滑形变图像。
步骤4：刚性变换。
采用基于移动最小二乘的刚性变换对平滑形变图像进行数据增强，得到扩增数据集。
上述基于自动上下文的缺陷分割模块采用基于自动上下文的全卷积神经网络实现缺陷区域的初步分割。首先，进行数据输入，对输入的扩增数据集进行随机打乱，并用多队列去并行读取，加快数据的读入。然后，在全卷积神经网络中实现自动上下文，即将编码过程中的特征图与解码过程中对应层的特征图通过通道拼接实现特征融合，使网络能够将上下文信息从浅层传递到更髙分辨率层。接着，使用交叉熵作为损失函数，采用反向传播和随机梯度下降算法，以端到端的方式训练模型。最后，用训练好的模型对测试数据集进行预测，实现对超声测试数据缺陷区域的初步分割。
基于自动上下文的缺陷分割模块具体实现步骤如图5所示。
步骤1：数据集输入。
对输入的扩增数据集进行随机打乱，并用多队列去并行读取，加快数据的读入，完成网络输入功能。
步骤2：自动上下文。
实现基于自动上下文的全卷积网络。将编码过程中的特征图与解码过程中对应层的特征图通过通道拼接实现特征融合，使网络能够将上下文信息从浅层传递到更髙分辨率层。
步骤3：模型训练。
使用交叉熵作为损失函数，采用反向传播和随机梯度下降算法，以端到端的方式训练模型。
步骤4：样本预测。
用训练好的模型对测试数据集进行预测，实现对超声测试数据缺陷区域的初步分割。
上述后处理模块用于对缺陷分割初步结果做精细化处理。首先，去除分割结果中由于高噪声而误判的缺陷区域，提升超声图像分割结果的准确率和可靠性。然后，对分割结果进行形态学闭运算和开运算处理，改善分割结果的边缘平滑性，实现对缺陷分割结果的精细化处理。
后处理模块的具体实现步骤如图6所示。
步骤1：去除误判缺陷区域。
使用opencv计算所有判别为缺陷区域的面积大小，去除上述面积过小的误判缺陷区域，得到去除误判区域的分割结果。
步骤2：形态学闭运算和开运算处理，包括以下步骤：
2.1闭运算。对去除误判区域的分割结果使用闭运算填充缺陷区域的空洞部分，连接狭窄的缺口，得到闭运算处理的分割结果。
2.2开运算。对闭运算处理的分割结果使用开运算断开狭窄的缺口，消除缺陷区域边缘的突出部分，平滑缺陷区域边缘，得到精细化后处理的分割结果。
本发明所述的基于自动上下文和数据增强的超声图像智能分割方法,具有如下优点：
1）本发明在基于自动上下文的缺陷分割模块中利用自动上下文的思想完善全卷积神经网络结构，将全卷积神经网络编码过程中的特征图与对应解码部分融合，在解码过程的上采样部分加入了复制和裁剪通道，使网络能够将上下文信息从浅层传递到更髙分辨率层，可以捕捉不同尺寸不同层次的特征信息，增强了预测图的局部空间一致性，强化了全卷积网络的特征学习能力，提升了网络的分类性能，提高了超声图像缺陷分割的准确率。
2）本发明在基于自动上下文的缺陷分割模块中使用的全卷积神经网络采用基于自动上下文的编码器-解码器(encoder-decoder)结构。编码器采用池化层提取更加高层的特征，减少空间维度并捕捉上下文，用于后续分类；而解码器通过复制和裁剪通道，充分利用上下文信息，采用上采样结构恢复相应的空间维度和目标细节来实现精确定位。编码器-解码器结构有效解决了传统神经网络图像分割中分类精度和定位精度不可兼得的问题。
3）本发明在数据增强模块中基于超声图像特性进行数据增强，充分考虑超声图像特性，对形变和灰度值变化鲁棒的同时满足位移和旋转不变形。基于超声图像特性进行数据增强可以充分利用超声图像的先验知识，使增强后的数据涵盖原始数据集分布的更多可能，提升基于自动上下文全卷积神经网络学习到的特征多样性，增大分割系统对原始数据集的信息利用率，解决因数据集过小致使网络训练出现过拟合的问题，提高分割的鲁棒性和泛化性，使该方法在很小的训练数据集情况下也能获得理想的分割效果。
4）本发明在后处理模块中基于超声图像特性对缺陷初步分割结果进行后处理，有效去除了由于高噪声而误判的缺陷区域，提升超声图像分割结果的准确率。形态学的闭运算和开运算处理有效的填充缺陷内空洞部分，消除缺陷边缘细小的突出部分，使缺陷边缘平滑性得到了明显的改善，实现对缺陷初步分割结果的精细化处理。
综上，本发明能够克服传统图像分割方法应用于超声图像缺陷智能分割场景的不足，具有对超声图像复杂多变的高噪声不敏感、分割准确率高、鲁棒性和泛化性强、分割边缘平滑性好、在很小的训练数据集情况下也能获得理想的分割效果等优点，同时适当地加以改造可广泛用于海洋勘测、医学检测及其它领域。
附图说明
图1为本发明所述基于自动上下文和数据增强的超声图像智能分割方法模块结构图；
图2为本发明所述预处理模块流程图；
图3为本发明所述数据增强模块流程图；
图4为本发明所述基于自动上下文的全卷积神经网络模型图；
图5为本发明所述基于自动上下文的缺陷分割模块流程图；
图6为本发明所述后处理模块流程图。
具体实施方式
本发明将深度学习和数字图像处理等方法有机地结合在一起，基于自动上下文和数据增强，实现超声图像缺陷智能分割。下面结合具体实施步骤及附图对本发明做进一步详细的描述说明，但本发明的实施方式不限于此。
图1为本发明的一种具体实施方式，主要包括预处理、数据增强、基于自动上下文的缺陷分割、后处理四个模块。本发明首先对超声图像数据集进行一系列预处理。接着，对预处理的数据集进行数据增强扩大数据集规模，得到扩增数据集。然后，将扩增的超声数据集输入到基于自动上下文的全卷积神经网络中，以端到端的方式训练模型，实现对超声测试数据的初步分割。最后，对缺陷初步分割结果进行精细化后处理。
上述预处理模块用于生成符合后续图像分割要求的超声数据集。首先由多位经验丰富的技术人员进行标注，取多位技术人员多次标注的平均值作为分割的标签。然后截取超声图像感兴趣区域，使用双边滤波器进行滤波处理在保留图像中边缘信息的同时去除噪声，进行直方图均衡化来增强图像的对比度，使用均值漂移滤波改善超声图像的均匀性。
预处理模块的具体实现步骤如图2所示。
步骤1：打标签，包括以下步骤：
1.1技术人员标注。由多位技术人员分别对超声数据集进行间隔为m天（m取大于等于2的整数）的多次标注，m为设定值，例如三位技术人员间隔为7天的两次标注。
1.2确定标签。为降低技术人员之间因工程经验不同等原因导致的标注误差，我们取多位技术人员多次标注的平均值作为分割的标签。
步骤2：图像预处理，包括以下步骤：
2.1截取感兴趣区域。从原始超声图像中截取包含完整缺陷区域且缺陷区域居中的子图像，即感兴趣区域。
2.2双边滤波。对步骤2.1得到的感兴趣区域使用双边滤波器完成去噪，得到去噪图像。
2.3直方图均衡化。对去噪图像进行直方图均衡化来增强对比度得到直方图均衡化的图像。
2.4均值漂移。对直方图均衡化的图像使用均值漂移滤波器来改善均匀性。
上述数据增强模块用于超声图像数据集扩增。基于超声图像特性，采用对形变和灰度值变化鲁棒且满足位移和旋转不变形的数据增强技术，以缩放、水平垂直翻转、刚性变换、平滑形变等方式将数据集扩增至原规模的数倍。
数据增强模块的具体实现步骤如图3所示。
步骤1：缩放。
按照一定的比例缩小或者放大原始图像，其中缩放比例的大小可以采用随机或人为定义的方式给出，得到缩放图像。
步骤2：水平、垂直翻转。
沿着水平或者垂直方向翻转原始图像翻转缩放图像，得到翻转图像。
步骤3：平滑形变。
使用随机位移矢量在n×n(0<n<min(0.5h，0.5w)，n为整数，h和w为翻转图像的高和宽)网格上产生平滑形变，即将翻转图像划分为n×n的网格，对非图像边缘网格点进行随机位移，位移大小从k像素(0<k<0.5n，k为整数)标准差的高斯分布中采样，例如将超声图像划分为10×10的网格，对非图像边缘网格点的随机位移从标准差为3的高斯分布中采样。然后使用双三次插值计算其他像素位移，得到平滑形变图像。
步骤4：刚性变换。
采用基于移动最小二乘的刚性变换对平滑形变图像进行数据增强，得到扩增数据集。
上述基于自动上下文的缺陷分割模块采用基于自动上下文的全卷积神经网络实现缺陷区域的初步分割。首先，进行数据输入，对输入的扩增数据集进行随机打乱，并用多队列去并行读取，加快数据的读入。然后，在全卷积神经网络中实现自动上下文，即将编码过程中的特征图与解码过程中对应层的特征图通过通道拼接实现特征融合，使网络能够将上下文信息从浅层传递到更髙分辨率层。接着，使用交叉熵作为损失函数，采用反向传播和随机梯度下降算法，以端到端的方式训练模型。最后，用训练好的模型对测试数据集进行预测，实现对超声测试数据缺陷区域的初步分割。
基于自动上下文的缺陷分割模块具体实现步骤如图5所示。
步骤1：数据集输入。
对输入的扩增数据集进行随机打乱，并用多队列（例如10队列）去并行读取，加快数据的读入，完成网络输入功能。
步骤2：自动上下文。
实现基于自动上下文的全卷积网络。将编码过程中的特征图与解码过程中对应层的特征图通过通道拼接实现特征融合，使网络能够将上下文信息从浅层传递到更髙分辨率层。
步骤3：模型训练。
使用交叉熵作为损失函数，采用反向传播和随机梯度下降算法，以端到端的方式训练模型，得到训练好的模型。
步骤4：样本预测。
用训练好的模型对测试数据集进行预测，实现对超声测试数据缺陷区域的初步分割。
上述后处理模块用于对缺陷分割初步结果做精细化处理。首先，去除分割结果中由于高噪声而误判的缺陷区域，提升超声图像分割结果的准确率和可靠性。然后，对分割结果进行形态学闭运算和开运算处理，改善分割结果的边缘平滑性，实现对缺陷分割结果的精细化处理。
后处理模块的具体实现步骤如图6所示。
步骤1：去除误判缺陷区域。
使用opencv计算所有判别为缺陷区域的面积大小，去除上述面积过小（例如小于最大缺陷区域面积的十分之一）的误判缺陷区域，得到去除误判区域的分割结果。
步骤2：形态学闭运算和开运算处理，包括以下步骤：
2.1闭运算。对去除误判区域的分割结果使用闭运算填充缺陷区域的空洞部分，连接狭窄的缺口，得到填充空洞后的精细化分割结果。
2.2开运算。对闭运算处理的分割结果使用开运算断开狭窄的缺口，消除缺陷区域边缘的突出部分，平滑缺陷区域边缘，得到平滑边缘的精细化分割结果。