一种带钢表面缺陷检测系统

本发明涉及带钢表面缺陷检测，尤其是指一种带钢表面缺陷检测系统。

背景技术：

1、人工智能作为一门综合性的高科技学科，给当前社会带来了越来越多的影响，当代科学技术的智能化已成为未来发展趋势。如今，在工业生产中实现自动化的机器人，嵌入式智能图像识别与处理等都是现今人工智能发展的重要方向。深度学习属于人工智能领域的一类，深度学习通过多层神经网络提取特征来解决机器学习当中一系列的问题。卷积网络与深度神经网络通过其网络模型以及足够多的训练数据集，可以完成很多传统人工算法无法完成的功能。目前，cnn已经应用于手写数字识别，工业缺陷检测等等实际生活当中。

2、

3、目前，多个研究院和国内外高校都对带钢表面缺陷检测进行了研究，其中用的最多的是基于视觉系统的检测方法，此方法不需要接触带钢表面，在生产机器上安装一个传感器，搭配一个专用的检测系统，就可以实现对于带钢表面的图像采集，处理以及分类等功能。为了实现冷轧带钢表面缺陷的在线检测，北京科技大学钢铁共性技术协同创新中心对缺陷分割、特征提取、缺陷分类等算法进行了研究。基于lbp特征提取算法提出了一种block-lbp算法，缺陷检出率达到90.94％。针对种类繁多的带钢缺陷，重庆交通大学选用svm分类模型，在快速识别缺陷的同时，实现了91.7％的识别精度。大连理工大学利用vs2010集成开发平台，结合opencv设计了一套带钢表面图像采集、识别与分类系统，现场应用运行良好。孙广民和刘鹏对各种带钢表面缺陷的边缘检测和连通域分析步骤进行了优化，提出了一种带钢图像二值化算法。在不影响处理速度的情况下，检测精度可达90％以上。西安工程大学对卷积神经网络在图像处理中的理论进行了深入研究，并采用迁移学习的方法对模型进行训练。在带钢表面缺陷分类试验中，准确率达到92.2％。roman vorobel提出了一种参数化retinex图像预处理方法，用于可靠评估由于光照限制而导致的钢表面腐蚀损伤。在此基础上，对图像进行自适应分割,该方法通过检测图像上的锈斑，提高了腐蚀区域分割的可靠性。anirban提出了基于不同图像的缺陷分类方法的对比研究，将贝叶斯网络、人工神经网络(ann)和基于概率神经网络(pnn)的分类技术应用于机车车轮生产中，对沟槽钢锭前表面缺陷进行分类。

4、但是上述基于cnn带钢表面缺陷检测大多数是在软件平台去实现的，由于神经网络对运算的硬件配置的高要求会非常的高，这极大地限制了这种神经网络算法在一些需要小尺寸和低功耗上的应用，在一般企业真正的使用率并不高。此时，具有相当大计算资源、短时间的开发周期的fpga逐步受到研究学者研发基于卷积网络等应用的青睐。2014年，中国科学院与寒武纪公司联合提出了cnn加速器芯片。通过设计三级流水线结构，分别存储乘数阵列、加法树和sigmoid计算，为加速器增加内部存储，方便不同类型数据的读取，显著加快了卷积神经网络的计算过程。同年，寒武纪公司在电神经的基础上进行了改进，设计了新一代神经网络加速器——大电神经。该加速器配备了64个芯片，包含16个计算阵列，这再次提高了该系列加速器的并行计算速度。一年后的2015年，该系列加速器又推出了shi diannao结构加速器，大幅降低了芯片的整体功耗。2017年，eriko nurvitadhi等人分别讨论了二进制神经网络在cpu、fpga和asic上的软件增强和硬件加速，最终得出结论，使用fpga的硬件加速是一种更好的解决方案。2018年，清华大学的魏少军等人提出了一种通用的神经网络加速器架构，该架构旨在通过提供数据流的多重映射来满足不同的实际需求。该团队很快为thinker、thinker ii和thinker s改进了产品，thinker ii用于低宽度计算，thinker s用于语音识别。

5、综上所述，虽然现有技术中有通过软件平台的方法或硬件平台的方法对带钢表面缺陷进行检测，但是没有通过软件和硬件结合的方式对带钢表面缺陷进行检测的技术，以满足企业对于小尺寸和低功耗应用的需求。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中没有通过软件和硬件结合的方式对带钢表面缺陷进行检测的技术，以满足企业对于小尺寸和低功耗应用的需求的问题。

2、为解决上述技术问题，本发明提供了一种带钢表面缺陷检测系统，包括：

3、可编程逻辑模块pl：用于部署神经网络模型，同时接收带钢表面图像数据，并通过所述神经网络模型对带钢表面图像数据进行加速运算，得到加速运算结果；

4、处理器模块ps：用于控制所述神经网络模型的执行流程，并根据所述可编程逻辑模块pl的加速运算结果输出带钢表面缺陷类型，其中，所述带钢表面缺陷类型包括夹杂、划痕、压入氧化皮、裂纹、麻点和斑块。

5、在本发明的一个实施例中，所述可编程逻辑模块pl设置有：

6、dma单元：用于搬运数据；

7、片上存储单元：在所述处理器模块ps启动可编程逻辑模块pl后，所述dma单元将ddr单元中的带钢表面图像数据搬运到片上存储单元；

8、权重buffer单元：在所述处理器模块ps启动可编程逻辑模块pl后，所述dma单元将ddr单元中的神经网络模型的网络权重搬运到权重buffer单元；

9、指令ram单元：在所述处理器模块ps启动可编程逻辑模块pl后，所述dma单元将ddr单元中的神经网络模型的执行指令搬运到指令ram单元。

10、在本发明的一个实施例中，所述处理器模块ps设置有指令控制单元；

11、所述指令控制单元用于从所述指令ram单元中读取神经网络模型的卷积指令，并将读取的卷积指令分发至卷积运算模块，所述卷积运算模块根据接收到的卷积指令，分别从所述片上存储单元和权重buffer单元中读取带钢表面图像数据和神经网络模型的网络权重，并对读取到的数据执行卷积运算，得到卷积运算数据；

12、卷积运算结束后，所述指令控制单元从所述指令ram单元中读取神经网络模型的relu指令，并将读取的relu指令分发至relu模块；所述relu模块对卷积运算数据执行relu运算，得到relu运算数据，并将所述relu运算数据和卷积运算数据同时存储至片上存储单元；

13、relu运算结束后，所述指令控制单元从所述指令ram单元中读取神经网络模型的池化指令，并将读取的池化指令分发至池化模块；所述池化模块从所述片上存储单元中读取relu运算数据和卷积运算数据，并对读取的数据执行池化运算，得到池化运算数据；

14、所述卷积运算模块、relu模块和池化模块用于实现对所述神经网络模型的加速运算。

15、在本发明的一个实施例中，所述可编程逻辑模块pl设置有可重构运算模块，其中，所述可重构运算模块包括m×n个阵列排列的可重构运算单元pe，相邻的两个可重构运算单元pe进行互连形成网格结构；所述可重构运算模块用于根据神经网络模型不同的运算方式，通过所述可重构运算单元pe重构得到卷积运算模块、relu模块和池化模块。

16、在本发明的一个实施例中，所述卷积运算模块的具体结构为：所述可重构运算模块中第1列至第n-1列可重构运算单元pe配置为乘加运算，并且第1列至第n-1列可重构运算单元pe只横向传输数据；所述可重构运算模块中第n列可重构运算单元pe配置为累加运算，并且第n列可重构运算单元pe只纵向传输数据；所述可重构运算模块中第n列第m行可重构运算单元pe作为输出。

17、在本发明的一个实施例中，所述relu模块的结构为：所述可重构运算模块中的每一个可重构运算单元pe配置为数据传输功能，并且第1列至第n列可重构运算单元pe只横向传输数据；所述可重构运算模块中第n列可重构运算单元pe作为输出。

18、在本发明的一个实施例中，所述池化模块的结构为：所述可重构运算模块中第1列可重构运算单元pe配置为比较取较大值运算，并且第2列至第n列可重构运算单元pe配置为数据传输功能，并且第1列至第n列可重构运算单元pe只横向传输数据；所述可重构运算模块中第n列可重构运算单元pe作为输出。

19、在本发明的一个实施例中，调整所述可编程逻辑模块pl中部署的神经网络模型的网络权重，具体为：将所述神经网络模型的网络权重精度从32位浮点数调整为16位浮点数。

20、在本发明的一个实施例中，所述指令控制单元为arm处理器。

21、在本发明的一个实施例中，所述可编程逻辑模块pl部署的神经网络模型为vgg-19卷积神经网络，所述vgg-19卷积神经网络包括若干卷积层、若干最大池化层、若干全连接层和一个softmax函数层。

22、本发明的上述技术方案相比现有技术具有以下优点：

23、本发明的带钢表面缺陷检测系统通过软件(即可编程逻辑模块pl)和硬件(处理器模块ps)结合的方式对带钢表面缺陷进行检测的技术，以满足企业对于小尺寸和低功耗应用的需求；

24、本发明通过对可编程逻辑模块pl中的可重构运算模块中的可重构运算单元pe进行重构排布，能够满足不同神经网络模型的运算需求，并且通过可重构运算模块能够将原本神经网络串行计算过程(如卷积运算)改变为并行计算过程，大大加快了运算速度，是的本发明的检测系统满足企业对于小尺寸和低功耗应用的需求；

25、实验结果表明，本发明的在大幅降低功耗的同时，识别准确率较高。