自适应的工业表面缺陷分割网络建立方法及其应用

本发明属于缺陷分割领域，更具体地，涉及自适应的工业表面缺陷分割网络建立方法及其应用。

背景技术：

1、工业缺陷分割，表示对图像中的缺陷区域进行定位并标记，在工业生产的质量控制中起着至关重要的作用。近年来，卷积神经网络(cnn)的快速发展使其在缺陷分割中得到了广泛的应用。然而，工业表面缺陷种类繁多，不同类型缺陷的特征差异较大，没有一种单一的cnn架构能够在不同的检测任务上均取得最好的性能。对于一个特定的检测任务，如何设计一个好的体系结构，目前并没有统一的设计范式，网络的设计依赖于大量缺陷特征的专家知识，并需要研发人员结合实际经验进行多次实验，这消耗了大量的人力、时间和计算成本。因此，如何找到一个可以设计优良架构的方式成为高效解决工业缺陷分割的关键。

2、自然场景下的图像分割，用于从图像中分割出特定的对象。针对自然图像分割，神经架构搜索技术取得了广泛的应用，神经架构搜索试图通过自动搜索来生成自适应的数据驱动网络，以取代手动设计过程，神经架构搜索的原理是使用特定的策略在给定的候选神经架构集合(称为搜索空间)中搜索出最佳架构。

3、搜索空间对于神经架构自动搜索的表现至关重要，针对工业场景的表面缺陷检测问题设计合适的搜索空间是一个挑战性的问题：首先，搜索整个架构的方式虽然可以涵盖更大的搜索空间，但复杂的搜索空间导致的组合爆炸问题极大的增大了搜索难度，在资源有限的工业场景下并不能保证始终能获得最优性能，而且它产生了更多的搜索成本；搜索架构特定构建块的方式虽然简化了搜索空间，但它的表现力不够，具有更好性能表现的架构可能并未被包含在其中。其次，工业产品的表面缺陷的外观、形状、大小可能极其多样，仅使用神经网络的单层级特征可能造成特征信息丢失，加之工业场景的环境背景、复杂噪声的影响，检测网络相较之自然场景的分割网络需要具有更敏感的缺陷感知能力。

4、总的来说，尽管现有的神经架构搜索技术在自然图像分割中能够有效搜索出性能较好的架构，但并不适用于工业场景下，因此，通过探究合适的神经架构搜索方法来自适应生成匹配检测任务的缺陷检测网络，对于工业检测的降本增效、推进自动化检测进程有着至关重要的作用。

技术实现思路

1、针对现有技术的缺陷和改进需求，本发明提供了自适应的工业表面缺陷分割网络建立方法及其应用，其目的在于，针对工业表面缺陷种类繁多的特点，设计单元级搜索空间和网络级搜索空间，有效缩小搜索范围，在时间资源有限的条件下，在更短的时间内完成具有良好性能的体系结构构建。

2、为实现上述目的，按照本发明的一个方面，提供了一种基于神经架构搜索技术的自适应工业表面缺陷分割网络建立方法，包括：

3、(s1)建立初始超级网络；初始超级网络包括依次堆叠的多个基本单元；

4、基本单元为有向无环图，其中节点表示特征图，边表示操作，并且，每一条以中间节点为终点的边为待搜索边，待搜索边由多个候选操作混合组成，待搜索边表示的操作为：对起点对应的特征图分别进行各候选操作后，将操作结果按照候选操作对应的第一权重进行加权求和，作为终点对应的特征图；基本单元的输入作为残差通道与各中间节点的输出连接后作为基本单元的输出；基本单元分为正常单元和降维单元，正常单元的输出相对于输入尺寸不变，降维单元的输出相对于输入尺寸缩小一半，正常单元和降维单元交替堆叠；

5、初始超级网络还包括：设置于多个基本单元之前的初始卷积操作层，用于对待分割图像进行初始化降维操作，获得初始特征图；以及设置于多个基本单元之后的特征融合结构，用于将各正常单元及最后一个降维单元输出的特征图像恢复至与待分割图像尺寸一致后，按照各级特征图像的第二权重进行加权融合，得到缺陷分割结果；

6、(s2)将第一权重作为架构权重，将网络中其余待优化的参数作为网络权重，利用目标工业表面缺陷检测任务的训练数据集对初始超级网络进行训练，以优化架构权重和网络权重，并按照优化后的架构权重调整基本单元的架构，使得各待搜索边仅保留第一权重最高的候选操作，得到目标子网络；

7、(s3)利用训练数据集对目标子网络进行训练，得到用于输出工业表面图像中缺陷分割图的工业表面缺陷分割网络。

8、进一步地，对于基本单元中的任意一个中间节点omi，对应的待搜索边包括：中间节点omi及同一基本单元内中间节点omi的所有前向节点之间的边；

9、并且，当前基本单元之前还包括其他基本单元时，中间节点omi对应的待搜索边还包括：前k个基本单元的输出节点与当前基本单元的中间节点omi之间的边；

10、其中，k的取值为1或2。

11、进一步地，步骤(s2)中，利用目标工业表面缺陷检测任务的训练数据集对初始超级网络进行训练，以优化架构权重和网络权重，通过渐进式搜索策略完成；

12、渐进式搜索策略包括：

13、(s21)将训练数据集划分为网络训练数据集和架构训练数据集；

14、(s22)对当前的初始超级网络进行训练，以对架构权重和网络权重进行嵌套优化，直至达到每阶段中预设的迭代轮数i；优化架构权重时，固定当前的网络权重不变，并利用架构训练数据集进行训练；优化网络权重时，固定当前的架构权重不变，并利用网络训练数据集进行训练；

15、(s23)若各基本单元的各待搜索边中仅存在唯一的候选操作，则直接转入步骤(s24)；否则，根据当前的架构权重，去掉各基本单元的各待搜索边中第一权重最低的部分候选操作后，转入步骤(s24)；

16、(s24)若未达到预设的训练阶段数量k，则转入步骤(s22)，以开始下一阶段的搜索；否则，搜索结束。

17、进一步地，步骤(s22)中，在当前阶段的前i1轮迭代中，仅优化网络权中，而不优化架构权重；在后i2轮迭代中，每一轮迭代对网络权重和架构权重进行交替优化；

18、其中，i1+i2＝i。

19、进一步地，步骤(s2)和步骤(s3)中，训练损失函数为：

20、loss＝loss1+loss2；

21、其中，loss表示总体损失；loss1表示分割损失，用于表示缺陷分割结果与数据标签之间的差异；loss2表示深度监督损失，用于表示各级特征图像与数据标签之间的差异。

22、进一步地，步骤(s2)还包括：在按照优化后的架构权重调整基本单元的架构，使得各基本单元的各条边仅包含架构权重最高的候选操作之后，以各边的候选操作的第一权重作为边的权重，对于每一个中间节点，仅保留该中间节点及其前向节点之间的边中，权重最大的两条边，而对其余边进行掩膜。

23、进一步地，候选操作包括：无操作、跳跃连接、3*3的可分离卷积、5*5的可分离卷积、7*7的可分离卷积、3*3的可分离空洞卷积、5*5的可分离空洞卷积、3*3的最大池化操作、3*3的平均池化操作、通道注意力操作以及空间注意力操作。

24、进一步地，初始超级网络中，依次堆叠的多个基本单元具体为交替堆叠的4个正常单元和4个降维单元。

25、按照本发明的又一个方面，提供了一种工业表面缺陷分割方法，包括：

26、将待分割的工业表面图像输入至工业表面缺陷分割网络；工业表面缺陷分割网络由本发明提供的基于神经架构搜索技术的自适应工业表面缺陷分割网络建立方法建立得到；

27、从工业表面缺陷分割网络的输出中获取缺陷分割结果。

28、按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行本发明提供的基于神经架构搜索技术的自适应工业表面缺陷分割网络建立方法，和/或，本发明提供的工业表面缺陷分割方法。

29、总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

30、(1)本发明基于神经架构搜索技术，结合手工设计缺陷检测架构的先验知识，设计了精简但适用于工业场景的有潜力的分割网络搜索空间，并基于工业场景下神经网络中常用操作作设计了分割网络搜索空间中基本单元的结构，由此设计了单元级搜索空间和网络级搜索空间，在后续的搜索过程中，借助工业表面缺陷检测任务的数据集对网络进行训练，并借助训练结果对基本单元进行调整，最终确定最优结构的基本单元，同时也确定了网络的结构，通过这种搜索方式，搜索范围被简化为架构单元的结构而非整个网络；基于搜索得到的确定网络，进一步利用工业表面缺陷检测任务的数据集对网络进行再训练，使得最终所建立的网络适应具体的工业表面缺陷检测任务，具有良好的分割性能。总的来说，相比于现有的神经架构搜索方法从大量未知的网络架构中搜索最优架构的做法，本发明能够有效缩小搜索范围，并保证网络性能最优，在时间资源有限的条件下，能够在更短的时间内完成具有良好性能的体系结构构建。

31、(2)在本发明优选的方案中，基本单元被设计为包含残差连接、包含多个中间节点的形式，同时基本单元的中间节点除了接收同一单元内的前向节点的特征映射，还会接收其前1～2个基本单元的输出，由此能够在不明显增加网络复杂度的情况下，扩大基本单元感受野，提高网络的性能。

32、(3)在本发明优选的方案中，采用包含深度监督机制的渐进式搜索策略完成最优结构的基本单元的搜索，具体地，将整个过程分为多个阶段的训练，在每个阶段训练结束后，都会基于基本单元中各待搜索边中候选操作的权重对候选操作进行剪枝，仅保留权重较高的候选操作，在整个搜索过程中，各级特征图像与数据标签之间的差异被额外添加到训练过程的约束中，该策略能够促使搜索过程更好更快的收敛，并保证了网络的搜索和评估阶段的相关性，有效提高搜索的效率和准确性。在其进一步优选的方案中，在每个阶段训练的刚开始几轮迭代中，仅对网络权重进行优化，而不对架构权重进行优化，由此能够避免训练初期网络不稳定导致的搜索性能不佳。

33、(4)在本发明优选的方案中，在架构权重和网络权重训练的损失函数中引入了深度监督损失，使得网络输出的各级特征图像与数据标签之间的差异最小化，由此能够加速网络收敛，并提高网络的性能。

34、(5)在本发明优选的方案中，在通过候选操作剪枝的方式确定基本单元结构的情况下，进一步会对每个中间节点所接收的前向信息的数量进行删减，仅保留从所有先前节点收集的来自不同节点的两个最强操作，由此能够在不影响网络性能的情况下进一步简化网络结构。

35、(6)在本发明优选的方案中，所确定的候选操作集合除了包括可分离卷积、可分离空洞卷积、池化操作等常用操作外，还包括通道注意力操作和空间注意力操作，由此能够提高对不规则、多样化缺陷的检测能力，并增强了在复杂环境中自动关注重点缺陷的能力。

36、(7)在本发明优选的方案中，所设计的网络具体包括交替堆叠的4个正常单元和4个降维单元，实践表明，该网络架构在复杂度和性能之间能够取得最好的平衡，本发明在该架构的基础上进行最优基本单元的搜索，能够有效保证网络的性能。