一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法
【技术领域】
[0001] 本发明涉及一种基于嵌入式机器视觉的布匹瑕疵实时视觉检测方法，具体涉及一 种基于SoC软硬件协同设计的布匹表面瑕疵检测方法。
【背景技术】
[0002] 随着工业技术和工艺水平的提高，市场对产品质量的要求也日益增大，在纺织印 染产品的生产中，布面瑕疵是影响布匹质量的重要因素之一，因此，布匹的质量检测要求也 更加严格。传统的布匹检测主要是依靠经验丰富的员工，在纺织品产量持续增涨，质量要求 日益苛刻的形势下，人工检测方法存在许多的局限，如检测速度慢、检测率不高、误检率大、 人力资源浪费等，故快速准确地检测布匹瑕疵成为纺织品生产中待解决的重要问题。
[0003] 布匹瑕疵检测主要是利用图像的颜色亮度、灰度值变化、纹理等特征进行瑕疵检 测，主要方法集中于统计法、频域法、模型法等。针对布匹瑕疵检测存在的布匹种类多和瑕 疵类型繁多的难题，目前的算法大都只能检测出某几种类型的瑕疵，且检出率与实时性不 尚。
[0004] 人类在观察事物时能够快速捕获到场景中重要目标或感兴趣区域，这种原理称为 视觉注意机制。对于布匹瑕疵检测，无论是什么样的布匹种类或瑕疵类型，在不同光照、不 同工艺、生产环境的情况下，人类都能快速准确的找到瑕疵，因为瑕疵区域相较于其他背景 部分，易引起视觉注意。故在进行机器视觉检测中引入视觉显著性分析，能够快速定位到瑕 疵显著区域，又布匹图像的纹理信息较为丰富，而椭圆Gabor滤波器在纹理特征提取中表现 最好，因此本发明结合视觉显著性分析和纹理特征提取进行瑕疵检测。目前大部分基于智 能相机的视觉检测系统为串行结构，对于一些检测速度和精度要求较高的应用场合难以满 足。
【发明内容】
[0005] 本发明目的针对传统视觉检测速度较慢和实时性不强等问题提出一种基于SoC软 硬件协同设计的布匹表面瑕疵检测方法，以取代效率低下的人工检测法。一种基于SoC软硬 件协同设计的布匹表面瑕疵检测方法，在Zynq SoC平台上通过并行部分提取图像显著性区 域和纹理特征;通过串行部分进行融合所述纹理特征，确定阈值分割，分离出瑕疵区域；以 串并行方式实现检测算法，包含以下步骤：
[0006] 离线训练：
[0007] A.利用线阵CCD相机获取RGB无瑕疵样本布匹的图像，根据相机捕获所述图像的外 部触发频率调节布匹的传送速度以及相机光圈焦距等参数，并存储所述图像；
[0008] B.对灰度化后的所述图像进行快速中值滤波预处理，以抑制噪声并去除随机干 扰；
[0009] C.构建椭圆Gabor滤波器，选取滤波器参数构成待训练参数集；
[0010] D.利用差分进化算法对所述椭圆Gabor滤波器进行参数寻优，得到最优参数集；
[0011] 在线检测：
[0012] E.基于SoC的并行部分进行RGB图像采集，并通过AXI4_Stream总线输入FPGA缓存 模块BRAM;
[0013] F.对采集到的所述RGB图像进行R、G、B三通道的快速中值滤波预处理，以去除噪 声；
[0014] G.对去噪后的图像进行RGB格式到CIE LAB格式的颜色空间转换，以进行视觉显著 性区域提取；
[0015] Η.对LAB空间的图像进行L、a、b三通道的最优椭圆Gabor滤波，利用纹理特征再次 凸显图像中瑕疵区域；
[0016] I.基于SoC串行部分分别计算滤波前后像素特征向量以进行瑕疵显著性区域提 取，再进行阈值分割，得到分离出瑕疵的二值图像，输出检测结果实时显示。。
[0017] 进一步地，所述步骤C中椭圆Gabor滤波器的构造与参数的选取：
[0018] 构建2D Gabor函数，表达式为：
-- ~ (1)[0020] 其中，（〇x，oy)为高斯尺度参数，（UQ，VQ)为中心空间频率坐标，（X'，y'）为旋转操 作，具体定义为：
[0019]
[0021] (2)
[0022] 其中，Θ为所述Gabor滤波器的旋转角度，则（1)式中所述Gabor滤波器的2D傅里叶 变换为：
[0023] (3)
[0024] "y 〇
[0025] EGF具有类似于RGF的尺度选择的性能，有利于纹理分析，但RGF的频域中心固定在 坐标原点，限制了其在瑕疵检测中的应用，鉴于此，本发明提出了一种中心、频率和方向可 调整的新型EGF，即其频域的中心可以以任意的特定带宽和方向定义在任意位置，有利于提 高其检测性能。EGF具体表达式为：
[0026]
[0027]其中，Fo为滤波器在空间频域的中心频率，# = t为高斯长宽比，式(4)中EGF的2D 傅里叶夺换为：
[0028] (5) , 1
[0029] 其中，1 = ^·?可见EGF性能取决于参数集{Ρο,ι?ο,νο,θ,β,λ}。 X，
[0030] 进一步地，所述步骤D中利用差分进化算法进行EGF参数寻优：
[0031] 对于大小为N X N的输入图像I (X，y)经EGF滤波后其能量函数为：
[0032] f(x,y) = I(x,y)*G(x,y) (6)
[0033] E(x,y)=Sqrt[fRe(x,y)2+fim(x,y)2] (7)
[0034]其中，fRe(X,y)，fim(X,y)分别为经实、虚EGF滤波后图像，则能量函数的均值和标 准差分别为：
[0035] (8)
[0036] (9) -. - - Λ V
[0037]根据给定的两个无瑕疵的训练样本图像Ti(x，y)，T2(x，y)定义Fisher代价评估函 数为：
[0038]
(10)
[0039] 其中，（μι，μ2) ,(0^02)分别为Ti(x，y)，T2(x，y)经滤波后能量函数E(x，y)的均值和 标准差，通过寻求F( t)最大值来确定最优参数集;基于上述论证和实验分析，为提高寻优效 率和效果，对寻优参数集作出下列约束:()< 矸< - 〇<θ<π,
[0040]
[0041] 进一步地，所述步骤F中对LAB空间图像进行EGF滤波处理：
[0042] FPGA实现EGF主要是通过输入图像像素数据与EGF的2D卷积模块进行乘法加法操 作，输出滤波后的图像数据，利用掩模大小为5X5的卷积模块处理图像，得到处理结果W(x， y)为：
[0043] (11)
[0044]其中G(u，v)为坐标(u，v)处的滤波系数，该25个系数为通过离线训练阶段优化EGF 而得到的，且存入ROM，通过对应系数坐标载入卷积单元。
[0045]根据权利要求1所述的一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，其 特征在于，所述步骤I中计算滤波前后特征向量与提取瑕疵显著图，包括以下步骤:第一步： 计算LAB颜色空间中未滤波的图像像素平均特征向量Flab(x，y)，再计算经最优EGF滤波后的 图像特征向量FegKxj)，则瑕疵显著区域D(x，y)为：
[0046] D(x，y)= | |Fegf(x，y)-Fiab(x，y) | | (12)
[0047] 第二步:对滤波后得到的瑕疵区域灰度图像按式（8)(9)求取D(x，y)的均值和方 差，并按式(13)进行阈值分割：
[0048]
(13)
[0049]其中，k为控制常数，根据具体的检测对象和实验确定。
[0050] 本发明的有益效果是:本发明提供了一种基于SoC软硬件协同设计的布匹表面瑕 疵检测方法，对于本色、纯色布匹图像进行显著性区域和纹理特征的提取，利用瑕疵区域相 对于背景部分在纹理和像素值上的突变提取瑕疵区域。在Zynq SoC平台上，利用软硬件协 同设计技术将检测算法进行合理的软硬件划分，充分利用其硬件资源的并行优化和串行部 分的灵活性对检测系统进行较大地提速。在线阵CCD相机实时高速采集连续运动的布匹图 像时，能够快速地进行实时处理，大大提高检测速度和检测效率。
【附图说明】
[0051] 附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实 施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0052]图1本发明的系统硬件框架图；
[0053]图2本发明的算法整体流程图；
[0054]图3本发明检测算法的软硬件协同设计结构图；
[0055]图4最优EGF的5X5 2D卷积模块IP设计结构图。
【具体实施方式】
[0056]为使本发明的目的、技术方案和优点等更加清楚明白，以下结合具体实例，并参照 附图，对本发明进一步详细说明。
[0057]本发明的目的是检验布匹的表面瑕疵，在Zynq SoC平台上实现布匹图像的采集与 处理，并显示检测结果。本发明提出了一种基于SoC软硬件协同设计的布匹表面瑕疵检测方 法，针对布匹表面瑕疵利用显著性区域与纹理特征的提取实现在线视觉检测。
[0058] 检测系统的硬件框图如附图1所示，Zynq SoC通过AXI4总线实现FPGA(PL)与ARM (PS)间的数据交互与通信，其中ARM为核心，控制整个系统的运行，上电第一个启动，进入 FSBL(第一引导阶段），再执行检测算法硬件IP块设计生成的Bit文件，使得PL按照Bit中设 计方式运行，ARM通过AXI4_Lite接口控制图像采集与输入，图像数据经过AXI4_Stream总线 进入PL，进行预处理和瑕疵检测处理，数据传输到DDR3 SDRAM中计算特征向量提取瑕疵区 域，并确定阈值二值化，检测结果经AXI4_Stream总线输出并通过VGA接口显示。
[0059]检测算法整体流程如附图2所示，在离线训练阶段，构建椭圆Gabor滤波器，利用差 分进化算法对训练布匹图像进行参数寻优;在线检测时，基于SoC并行部分(FPGA)采集图像 并进行中值滤波、颜色空间转换、最优EGF滤波;在SoC串行部分(ARM)计算特征向量并提取 瑕疵显著区域，最后确定阈值分割出瑕疵区域;整个检测算法的软硬件协同设计方式如附 图3所示，该设计充分利用FPGA的硬件并行优化加速和ARM的软件灵活性提高算法的实时 性。
[0060] 进一步的，具体实现步骤为：
[0061] 离线训练：
[0062] A.利用线阵CCD相机获取RGB无瑕疵样本布匹图像，根据相机捕获图像的外部触发 频率调节布匹的传送速度以及相机光圈焦距等参数，并存储图像。
[0063] B.将样本图像灰度化处理，再进行中值滤波预处理，以抑制噪声并去除随机干扰。 [0064] C.构造椭圆Gabor滤波器，选取参数集。
[0065] 构建2D Gabor函数，表达式为：
[0066] (1)
[0067]其中，（〇x，oy)为高斯尺度参数，（UQ，VQ)为中心空间频率坐标，（X'，y'）为旋转操 作，具体定义为：
[0068] (2)[0069]其中，Θ为滤波器的旋转角度，则（1)式中Gabor滤波器的2D傅里叶变换为：
[0070] (3)
[0071]
[0072] RGF(Ring Gabor Filter)是传统Gabor滤波器的改进，为2D带通滤波器，其通带形 似一个戒指环，在频域有高斯横截面，具有旋转不变性，不能作为方向检测器，而EGF (Elliptical Gabor Filter)具有类似于RGF的尺度选择的性能，有利于纹理分析。但RGF的 频域中心固定在坐标原点，限制了其在瑕疵检测中的应用，鉴于此，本发明提出了一种中