一种基于SegNet改进的皮革缺陷分割网络算法的制作方法

一种基于segnet改进的皮革缺陷分割网络算法
技术领域
1.本发明涉及图像数据处理技术领域，特别涉及一种基于segnet改进的皮革缺陷分割网络算法。


背景技术：

2.皮革是现如今人们生活中最重要的生活用品原料之一，例如皮衣、皮鞋、汽车里的真皮座椅等。据联合国工业发展组织的数据报告，中国纺织、服装、皮革、基本金属等产业增加值占世界的比重超过30%。截至2018 年我国规模以上制革企业年产量已占世界皮革总产量25%，居世界首位。在制皮过程中，大部分制革企业通过肉眼观察来划分皮革的等级。然而，人工检测会导致缺陷识别误差较大，皮革分级不准确。因此，快速且准确的计算皮革表面伤残率就成为了当前制革行业的主要问题。
3.现阶段的皮革缺陷检测算法研究多基于计算机视觉。基于视觉的皮革缺陷检测算法根据检测效果主要分为分类和分割两种，其中分割算法是将皮革图像中的缺陷部位按照其形状边缘分割出来，而分类算法则是将皮革缺陷部位通过方形线框等形式将缺陷识别出来。现有的皮革缺陷检测研究以分类算法居多，主要有主成分分析（pca）、支持向量机（svm）、聚类、遗传算法、决策树和神经网络等方法。
4.皮革缺陷分割算法主要分为非深度学习方法和深度学习方法。其中，非深度学习方法主要有统计学、频率分析和模型方法等。例如，基于gabor滤波器的缺陷检测算法、基于傅里叶变换的缺陷检测算法。基于gabor滤波器的缺陷检测算法针对具有均匀纹理表面的缺陷进行检测，其核心思路是利用gabor滤波器选取合适的相关参数对图像进行卷积操作，使图像中均匀纹理部分与缺陷部分得到不同的输出，从而重构出更为明显的缺陷区与均匀纹理区，再进行阈值分割以达到找出缺陷的目的，该算法由于需要提前设定gabor滤波器的处理窗口大小，当窗口设定较大时一些尺寸微小的缺陷的检测就会受到影响。基于傅里叶变换的缺陷检测算法利用二维傅里叶变换提取皮革等工业材料表面随机纹理的频率特性，再设定某一范围的频率分量为零，然后通过傅里叶反变换恢复原图像，这样原始图像中的纹理区域将具有近似均匀的灰度，而缺陷区域将被明显保留，经过这样处理后的缺陷图像只需简单的阈值分割就可以分离出部分。
5.基于深度学习的图像分割技术是计算机视觉领域一个极其重要的研究方向。它是对图像中的每个像素进行分类，使图像在像素级别进行划分，如图1所示。由于深度学习较强的泛化能力，越来越多的使用图像进行理解和推理的应用场景已出现并发展，包括自动驾驶、医学成像、虚拟现实和增强现实技术、和其他领域。其中应用于皮革缺陷的分割算法是最近几年才出现的，主要针对黑线和皱纹这两种缺陷提出了分类和分割的检测算法。其中图像分类算法采用alexnet网络，分割算法采用u-net网络，在250个有缺陷样本和125个无缺陷样本的实验下，达到了95%的分类检测性能和99.84%的交集率。但是检测的缺陷类型较为单一，其分割检测速度在实际皮革生产过程中依旧有待提升。2021年一种基于深度卷积生成对抗网络的纹理缺陷检测算法，该算法可以重构输入图像，以此再和原始输入图像
做差来实现初始的缺陷分割，并在整个模型中加入了可以消除误检的lda子模块来消除。但是该算法检测的皮革缺陷种类依旧较少，且对于被检测图像质量要求过高，不利于实际应用。
6.segnet网络结构分为编码器和解码器，其中编码器是在vgg卷积神经网络模型的基础上去掉全连接层而得到的，每一层编码器都对应着一个解码器。编码过程的作用是提取图像的特征图，而解码过程的作用是将特征图恢复到输入图像的尺寸以便进行像素级分类。为了实现这个目的，解码器对特征图不断进行两倍的上采样和反卷积，直到还原到原始图像尺寸。最后segnet网络利用softmax函数对解码器的输出进行像素级分类从而实现图像的分类。segnet网络在车辆道路语义理解上有着优秀的表现，能够识别图像中较为细小的特征，如图2所示。
7.segnet网络的最大创新之处就在于将编码网络中每一次池化层的最大池化位置保留下来，加入到对应的解码网络当中，使得每次上采样操作都减少了编码网络中池化操作带来的信息损失，使得segnet可以识别细小的缺陷。最后，在将特征图上采样到输入图尺寸大小后，再对其展开进行像素级分类。


技术实现要素：

8.因此，针对上述的问题，本发明根据segnet网络进行改进以便适应具有随机纹理和缺陷丰富等特点的原料皮革，基于segnet网络提出一种特征融合多解码皮革缺陷分割网络，通过融合皮革缺陷图像不同尺度的特征，得到缺陷的完整信息，再进行多次解码，最终分割出缺陷部位，并经过大量的训练，得到了效果较为理想的一种基于segnet改进的皮革缺陷分割网络算法。
9.为解决上述技术问题，本发明采取的解决方案为:一种基于segnet改进的皮革缺陷分割网络算法，包括用于处理皮革图像的特征提取融合模块、缺陷复原模块；特征提取融合模块在segnet的编码网络基础上增加了浅层特征与深层特征的融合，保留了皮革图像中更丰富的细节和更为详尽的上下文信息；缺陷复原模块则将segnet解码网络的上采样过程扩大为四条上采样路径，并在最后进行融合且展开进行像素级分类。
10.进一步改进的是：所述特征提取融合模块共有五层结构，即提取了五层特征，其中，第一层结构包含了两次特征提取和一个最大池化层，第二层结构、第三层结构、第四层结构、第五层结构均包含了三次特征提取和一个最大池化层；将第二层结构、第三层结构、第四层结构提取的特征进行16倍最大值池化、8倍最大值池化和4倍最大值池化操作使其尺寸和第五层特征相同，再通过通道方向上的叠加融合形成最终的特征图。
11.进一步改进的是：一次特征提取包含三个过程，分别为卷积层、批归一化层和激活层；特征提取中卷积层均采用3
×
3大小的卷积核在图像上滑动完成特征提取，此时获取的图像信息较大，且计算速度较快。
12.进一步改进的是：所述缺陷复原模块共有六层结构，其中，第一层结构包含一个卷积层，第二层结构、第三层结构、第四层结构、第五层结构均包含了一个上采样层和两个卷积层，第六层结构包含了一个上采样层和一个卷积层，将第三层结构、第四层结构和第五层结构提取的特征图分别进行8倍上采样、4倍上采样和2倍上采样使其尺寸与输入图像相同。
13.进一步改进的是：所述缺陷复原模块通过将提取到的皮革图像特征逐步进行上采样恢复到输入图像大小，再进行像素级分类；所述缺陷复原模块先保留了解码网络，在第三层结构、第四层结构、第五层结构和第六层结构上采样层进行两倍上采样前将特征提取融合模块中对应的特征图在相同的像素位置上进行相加，这样就会在每次的上采样后抵消掉缺陷信息的损失。
14.进一步改进的是：所述缺陷复原模块利用特征提取融合模块各结构中池化层对应的最大池化位置信息进行上采样操作，直到最终恢复到输入图像大小，并生成第一条上采样路径;所述第一条上采样路径中间第三层结构、第四层结构和第五层结构提取的特征图分别进行8倍上采样、4倍上采样和2倍上采样，这样就形成了新的三条上采样路径；将上述四条上采样路径的结果按照通道方向进行叠加，再经过一次1x1的卷积层保留其核心信息，最后使用softmax损失函数输出每个像素的分类概率进行分类。
15.通过采用前述技术方案，本发明的有益效果是：1、本发明中的算法是基于segnet网络进行改进，在保留segnet网络优势的同时对特征提取融合功能进行强化，可以很好的适应皮革的随机纹理和缺陷的多样化，同时克服采集的缺陷图像中同时包含较大尺寸缺陷和较小尺寸缺陷时所带来的缺陷信息损失的问题，在不同层特征图融合后仍然可以保留不同深度特征的大部分信息，在上采样阶段能利用到更丰富的缺陷特征信息，同时计算量并没有提升很多。
16.2、本发明中对采集的皮革图像先进行伽马变换，直方图均衡化两种图像增强预处理操作，通过伽马变换提升皮革纹理和缺陷的细节，在图像经过伽马变换的基础上统计其图像的灰度直方图，再进行均衡化处理从而提升对比度。通过预处理提高图像质量，提高计算结果的准确度。
17.3、实现对皮革缺陷的自动检测、分类和分割，获得不同缺陷的大小、数量、坐标位置及缺陷类型等信息节约企业人工成本的同时，大幅提高缺陷检测的效率。
附图说明
18.图1是本发明的背景技术中图像分割技术示意图，其中，左边原图，右边为图像分割图。
19.图2是本发明的背景技术中segnet网络用于车辆道路的示意图。
20.图3是本发明实施例一种基于segnet改进的皮革缺陷分割网络算法的示意图。
21.图4、图5是本发明实施例一种基于segnet改进的皮革缺陷分割网络算法中特征提取融合模块提取浅层特征信息和深层特征信息效果的对比示意图。
22.图6为采集的皮革图像同时存在较大尺寸缺陷和较小尺寸缺陷的示意图。
23.图7为参与算法开发的10种皮革缺陷特征图。
24.图8为本发明与其他传统皮革缺陷检测算法之间的比较说明图，其中第一列是皮革缺陷原图，第二列是原图对应的标签，第三列是segnet算法的检测结果图，第四列是改进的segnet算法（即ldsn算法）的检测结果。
具体实施方式
25.现结合附图和具体实施例对本发明进一步说明。
26.参考图1至图8，本发明实施例所揭示的是一种基于segnet改进的皮革缺陷分割网络算法，包括用于处理皮革图像的特征提取融合模块、缺陷复原模块，如图3所示；在皮革图像进入特征提取融合模块和缺陷复原模块前进行预处理，通过进行伽马变换和直方图均衡化对皮革图像进行预处理，在进入预处理之前先将采集的皮革图片裁剪成segnet网络可使用大小的图像。
27.在图像经过伽马变换的基础上统计其图像的灰度直方图，再进行均衡化处理从而提升对比度。
28.所述特征提取融合模块在segnet的编码网络基础上增加了浅层特征与深层特征的融合，保留了皮革图像中更丰富的细节和更为详尽的上下文信息；缺陷复原模块则将segnet解码网络的上采样过程扩大为四条上采样路径，并在最后进行融合且展开进行像素级分类。
29.所述特征提取融合模块共有五层结构，即提取了五层特征，其中，第一层结构包含了两次特征提取和一个最大池化层，第二层结构、第三层结构、第四层结构、第五层结构均包含了三次特征提取和一个最大池化层；将第二层结构、第三层结构、第四层结构提取的特征进行16倍最大值池化、8倍最大值池化和4倍最大值池化操作使其尺寸和第五层特征相同，再通过通道方向上的叠加融合形成最终的特征图。
30.一次特征提取包含三个过程，分别为卷积层、批归一化层和激活层；卷积层利用卷积核在图像上的滑动完成特征提取，不同的卷积核大小其对应的感受野的大小也不尽相同，卷积核尺寸越大，感受野就越大，获取的图像信息也就越多，获得的全局特征就越好，但是计算量也会剧增，影响模型深度的增加，于是，在特征提取融合部分所有的卷积核均采用3x3大小。批归一化层加快了训练速度，使得模型在训练时候可快速收敛，这样就可以使用较大的学习率来训练网络。激活层仍然采用常见的激活函数，故不在此进行详细赘述。
31.在特征提取融合模块当中，浅层结构提取学到的是细节信息，而深层结构提取学习到的是宏观信息。每一上层为下一层的浅层，每一下层为上一层的深层。一张皮革缺陷图像经过第一层结构后得到的32层特征图并通过后续拼接而成，其中大部分特征图以像素级的皮革纹理和缺陷的细节为主，如图4所示。该缺陷图像经过第三层结构后得到的32层特征图通过后续拼接而成，其中大部分特征图以皮革纹理和缺陷的宏观信息为主，如图5所示。对图4、图5进行对比可以发现，随着网络结构的不断加深，提取到的信息也越来越粗糙。因而，将该模块当中不同层特征图融合后可以保留不同深度特征的大部分信息，这样在上采样阶段就会利用到更丰富的缺陷特征信息，同时计算量并没有提升很多。
32.所述缺陷复原模块共有六层结构，其中，第一层结构包含一个卷积层，第二层结构、第三层结构、第四层结构、第五层结构均包含了一个上采样层和两个卷积层，第六层结构包含了一个上采样层和一个卷积层；将第三层结构、第四层结构和第五层结构提取的特征图分别进行8倍上采样、4倍上采样和2倍上采样使其尺寸与输入图像相同。所述缺陷复原模块通过将提取到的皮革图像特征逐步进行上采样恢复到输入图像大小，再进行像素级分类。在segnet网络中虽然使用了编码网络中各层特征的最大池化位置信息加入到解码网络中，但是依旧会遗漏一些缺陷信息。本算法中的所述缺陷复原模块先保留了解码网络，在第三层结构、第四层结构、第五层结构和第六层结构上采样层进行两倍上采样前将特征提取融合模块中对应的特征图在相同的像素位置上进行相加，这样就会在每次的上采样后抵消
掉缺陷信息的损失。
33.所述缺陷复原模块利用特征提取融合模块各结构中池化层对应的最大池化位置信息进行上采样操作，直到最终恢复到输入图像大小，并生成第一条上采样路径。由于在采集到的缺陷图像当中既包含尺寸较大的缺陷，也包含尺寸十分小的缺陷，因此在训练模型时会出现两种差异极大的缺陷同时在一张缺陷样本图像中，如图6所示，为了保证在不断的二倍上采样阶段小缺陷不被忽略掉，就需要在网络分类阶段直接综合各层信息，于是，所述第一条上采样路径中间第三层结构、第四层结构和第五层结构提取的特征图分别进行8倍上采样、4倍上采样和2倍上采样，这样就形成了新的三条上采样路径；将上述四条上采样路径的结果按照通道方向进行叠加，再经过一次1x1的卷积层保留其核心信息，最后使用softmax损失函数输出每个像素的分类概率进行分类。本算法可用于经过简单处理的蓝湿革（即半成品皮革）缺陷提取，也可以成品皮革的缺陷提取，一般多用于半成品皮革检测。
34.在皮革生产过程中，一张皮革表面缺陷是影响成品皮革质量的关键因素，皮革缺陷检测是皮革生产过程中很重要的步骤。现阶段基于视觉的检测算法常借助统计学，数学和机器学习等工具，不管在检测效率还是检测精度上二者均存在不足。因此，针对目前基于机器学习的皮革缺陷检测算法的不足，我们提出了一种基于改进的segnet皮革缺陷分割网络，即ldsn（leather detection segmentation network），利用卷积网络提取的特征进行融合，并在上采样阶段融合fcn网络，以达到分离皮革图像中缺陷部分和正常部分的目的。ldsn网络利用和制皮企业合作采集到的皮革缺陷图像进行实验训练、验证和测试，并与传统检测算法以及经典语义分割算法的检测结果进行比较。实验结果表明，ldsn网络相比传统皮革缺陷检测算法在缺陷分割准确性、泛化能力上有着明显的优势，相比于segnet这类经典语义分割算法在iou上有着30%以上的提升，在auc指标上有25%的提升。
35.为了优化出更好的模型效果，缩短优化时间，在模型搭建、模型训练和模型调整阶段进行了一系列的措施。首先，使用keras这一深度学习框架，以及其中的fit-generator方法来训练我们的网络。这种方式可以批量读取数据，节省内存。再使用adam学习器来优化网络，它可以为不同参数设计不同的学习率并加快训练速度。由于数据不平衡，在训练阶段为样本设置了权重，这些权重是根据每个缺陷类别在像素级的数量上设置的。
36.实验过程中采用tensorflow和keras的深度学习框架进行算法开发。开发训练平台配置：cpu采用intel(r) weon(r) w-2102 cpu @2.9ghz(4-core)，gpu采用nvidia rtx titan，显存为24g，并使用cuda加速，软件环境为windows10。测试模型平台配置：cpu采用intel(r) core(tm) i5-9400 cpu@2.90ghz(6-core)，内存为32.0gb (31.9gb可用)，软件环境为windows10。
37.实验数据集是采用海康威视高精度工业相机在晋江市有关制革企业工厂实地进行图像拍照采集的。采集包含刺刮伤、刺猴、缝合伤、开口伤、烙印、溜面、皮肤藓、破洞、愈合伤、烂面和虫眼等10多种缺陷，部分缺陷特征如图7所示，共采集了105张皮革图像，每张图像大小为3072dp*2048dp。为了加快训练速度，也为了实际应用可快速检测，于是，将原尺寸裁切为1024dp*1024dp像素的小图再进行两次2倍的降采样，得到256dp*256dp尺寸的图像，如图7，共得到630张皮革图像。对于标签图像采用labelme程序对缺陷部位进行标记。
38.实验前先将采集到的高精度皮革缺陷原始图像进行切割。由于采集到的原始图像切割后含有缺陷部位的图像与不含缺陷的图像相比较少，需要进行上下和左右镜像。鉴于
皮革纹理不规则这一特点，镜像后的图像与原图差异依旧较大，可以作为新数据使用。在经过图像预处理后共得到1890张缺陷图像，接着剔除打标签时错误标签的图像，共留下1809张皮革缺陷数据集。每张图像大小均为256dp*256dp，并包含一种或多种缺陷。
39.在深度学习当中，针对二分类的机器学习模型的评价标准都要基于混淆矩阵（confusion matrix），也称误差矩阵，是精度评价的一种标准格式，用n行n列的矩阵形式来表示。在人工智能中，混淆矩阵主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。混淆矩阵的每一列代表预测类别，每列的总数表示预测为该类别数据的数目；每一行代表数据的真实归属类别，每行的数据总数表示该类别数据实例的数目。每一列中的数值表示真实数据被预测为该类的数目，如表1所示，其中，tp表示真实类别和模型预测值均为1的个数；tn表示真实类别和模型预测均为0的个数；fp表示真实类别为0，而模型预测为1的个数；fn表示真实类别为1，而模型预测为0的个数，如表1所示。
40.表1 混淆矩阵 预测类别：1预测类别：0真实类别：1tpfn真实类别：0fptn通过混淆矩阵可以得到许多的模型评价指标，例如，衡量图像中对象预测区域和实际区域相似性的指标交并比（intersection over union，iou），分子为预测区域和真实区域的重叠部分面积，分母为预测区域和真实区域并集的面积，区域形状并非均为矩形。在语义分割当中真实区域是被检测对象的边缘形状。再如，衡量模型正确分类比例的指标准确度（accuracy，acc），如公式（1）；衡量模型对于正样本预测准确率的指标精确率(precision)，如式（2）；衡量模型在预测时覆盖正样本的指标召回率（recall），如式（3）；衡量模型误检率的指标假阳性率（false positive rate，fpr），如式（4）。此外，对于基于二分类的深度学习模型，auc（area under curve）也是一个很重要的指标。其被定义为roc曲线下与坐标轴围成的面积，数值不会大于1，取值范围在0.5和1之间。auc越接近1.0，模型的预测真实性越高；等于0.5时，则真实性最低，无应用价值。
41.ꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
ꢀꢀ
（2）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）实验采用多种指标综合检验模型性能，主要采用iou、accuracy、precision、recall和auc五个指标。其中，交并比准确度和auc这三个指标都是数值越大说明模型越好。精准度和召回率则是此消彼长的，很难兼得，在大规模数据集合中相互制约。
42.与segnet网络相比，ldsn模型具有更好的性能，如表2所示。为了在比较时尽可能将模型结构控制为单一变量，我们对待比较的网络进行了相同的图像预处理过程，同时保持训练过程中样本不平衡的权重和epoch数与ldsn模型一致。在iou和精度方面，从表中可
以看出ldsn在iou和精度方面是最高的，分别达46.42%和98.01%。与 segnet 相比，分别提高了 30.71% 和 14.2%。这表明ldsn分割的缺陷部分与真实缺陷部分的重合度最高，识别效果最好。在召回率和准确率方面，ldsn相比segnet分别提高了4%和51.13%，可以看出准确率方面的提升尤为明显。在auc方面，ldsn网络也高于segnet网络。在误检率方面，ldsn的误检率为0.0083，明显低于segnet的0.2296，其具有很强的避免误判缺陷的能力。在检测速度方面，ldsn网络还具有更快的检测速度和更多的优势。基于以上七项指标，ldsn在检测和分割皮革缺陷方面相比segnet具有明显优势。在iou、准确率、精准度和auc等指标上相比经典的segnet网络有着更为明显的优势。对于不同种类的皮革缺陷，ldsn模型均可以有效的识别，具体而言对愈合伤、刺猴、开口伤、烙印、皮肤藓、破洞、溜面和缝合伤这8种缺陷的检测更符合缺陷的真正形状和面积。从算法检测速度上比较，ldsn网络可以达到每张皮革图像0.298s的检测速度。
43.表2 ldsn与经典语义分割网络比较modelnameiouaccprecisionrecallaucfprtimeldsn46.42%98.01%69.70%60.11%98.21%0.83%0.298ssegnet15.71%83.81%18.57%56.11%73.18%22.96%0.739s在不同缺陷种类的检测效果方面，如表3所示，ldsn网络在检测识别愈合伤、破洞、皮肤藓、烙印和刺猴这五个缺陷时其iou平均在76.36%以上，召回率和精准度平均在86%和88%以上，检测效果较好。对于开口伤、缝合伤和溜面这三个缺陷，iou在50%左右，召回率和精准度方面也有61.16%和85.54%的检测效果。从表3中还可以看到刺刮伤的iou最低，只有29%，召回率和精度均处于所有检测缺陷类型中最少的，可能是样本中的刺刮伤长度较短，在图像预处理的降采样处理过后刺刮伤的缺陷特征不充足，特征不明显所导致。烂面在人眼检测过程中较难界定边界的条件下依然可以做到66%的真实检测效果，召回率、精度和准确率也均在80%左右。
44.表3 不同种类缺陷的检测效果比较将改进的segnet算法和segnet算法进行定性比较，如图8。可以得到，由于缺陷图像在纹理处的明暗程度和模糊程度存在差异，导致segnet算法会将部分正常纹理区域误检为缺陷部位或者错检为其他种类缺陷。而ldsn网络则有效的避免了这一不足，正确检测出
缺陷部位。以上显示和描述了本发明的基本原理和主要特征及其优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。