心、频率和方向可调整的新型EGF，即其频域的中心可以以任意的特定带宽和方向定义在任 意位置，有利于提高其检测性能。EGF具体表达式为：
[00731
(4)
[0074] 其中，F〇为滤波器在空间频域的中心频率，# = 3为高斯长宽比。式⑷中EGF的2D 傅里叶变换为：
[0075]
(5:) 3 1
[0076] 其中，可见EGF性能取决于参数集{Ρο,?ο,νο,θ,β,λ}。 X'，
[0077] D.利用差分进化算法(DE)进行离线寻优
[0078] 对于大小为NXN的输入图像I(x，y)经EGF滤波后其能量函数为：
[0079] f(x,y) = I(x,y)*G(x,y) (6)
[0080] E(x,y)=Sqrt[fRe(x,y)2+fim(x,y)2] (7)
[0081 ]其中，fRe(x,y)，fim(x,y)分别为经实、虚EGF滤波后图像，则能量函数的均值和标 准差分别为：
[0082] m
[0083] (9)
[0084]根据给定的两个无瑕疵的训练样本图像Ti(x，y)，T2(x，y)定义Fisher代价评估函 数为：
[0085] - (10)
[0086] 其中，（μ1，μ2)，（σl，σ2)分别为T 1(X，y)，T2(X，y)经EGF滤波后能量函数E( X，y)的均 值和标准差，通过寻求F (t)最大值来确定最优参数集。基于上述论证和实验分析，为提高寻 Jo 1 优效率和效果，对寻优参数集作出下列约束：OSGst 0<?0,ν;,<- 0<Θ<3Τ,
.4. , .4.， 1234 具体寻优步骤为： 2 步骤1:初始化DE控制参数库:种群数量为D = 6、变异算子为F = 0.5、交叉算子为CR =0.1、最大进化代数为100，即终止条件，随机产生初始种群，进化代数为1; 3 步骤2:对初始种群进行评价，计算初始种群中每个个体的适应度值，通过构建的 EDFs对训练图像进行滤波，进行目标代价函数评估； 4 步骤3 :判断是否达到终止条件，若是，则进化终止，将此时的最佳个体作为解输 出;若否，继续；
[0091 ]步骤4:进行变异和交叉操作，对边界条件进行处理，得到临时种群；
[0092]步骤5:对临时种群进行评价，计算临时种群中每个个体的适应度值，利用EDFs对 训练图像进行滤波，进行目标代价函数评估；
[0093]步骤6:进行选择操作，得到新种群；
[0094]步骤7:下一进化代数，转步骤3。
[0095] 在线检测：
[0096]按照预定的检测速度，调整相机位置、焦距、视场和光源打光方向与亮度，设定布 匹传送速度和相机采样频率，由SoC给出图像采集信号，控制图像的采集与缓存。
[0097] E.利用FPGA部分对RGB图像进行R、G、B三通道3 X 3快速中值滤波 [0098]预处理，以抑制噪声去除干扰；
[0099] 3X3快速中值滤波是将列排序（降序）后的模板分别求取第一行的最小值mini和 第三行的最大值max3,各需比较2次，再求中间行的中值med2需比较3次，最后求取Med {mini，med2，max3}，相较于传统中值滤波，总的比较次数降为19次。
[0100] F.利用FPGA部分对预处理后的图像进行颜色空间转换，由RGB格式转换为CIELAB 格式；
[0101] CIELAB颜色空间更接近于人类视觉，在视觉注意机制中是最常用也是表现最好的 图像特征，在该空间进行特征提取计算显著性区域效果良好。由RGB格式转换为CIELAB格式 需要两步:RGB转化为CIEXYZ格式，再转换为LAB格式，通过优化转换公式在FPGA上利用乘法 器、加法器和查找表可以实现该转换。
[0102] G.利用FPGA在LAB颜色空间进行最优椭圆Gabor滤波器处理，得到处理后凸显瑕疵 区域的图像；
[0103] FPGA实现EGF主要是通过输入图像像素数据与EGF的2D卷积模块进行乘法、加法操 作，输出滤波后的图像数据。利用掩模大小为5X5的卷积模块处理图像，得到处理结果W(x， y)为：
[0104] (11)
[0105] 其中G(u，v)为坐标(u，v)处的滤波系数，该25个系数为通过离线训练阶段优化EGF 而得到的，且存入ROM，通过对应系数坐标载入卷积单元，附图4为5 X 5 2D卷积模块结构设 计图，其中卷积系数G(u，v)从ROM中读取。
[0106] H.ARM部分利用AXIVDMA总线从DDR3存储器读取FPGA上处理后
[0107] 的图像数据，并计算LAB空间中滤波前后的特征向量;利用两特征向量提取测试图 像的瑕疵显著性区域图，最大程度凸显出瑕疵区域；
[0108] 首先计算LAB颜色空间中未滤波的图像像素平均特征向量Flab (X，y )，再计算经最 优EGF滤波后的图像特征向量Fegf(x，y)，则瑕疵显著区域D(x，y)为：
[0109] D(x,y)= | |Fegf(x,y)-Fiab(x,y) | (12)
[0110] I.确定阈值，分割出瑕疵区域并通过VGA接口在显示器上直接显示检测结果高亮 出瑕疵区域的二值图像；
[0111] 对滤波后得到的瑕疵区域灰度图像按式(8)、（9)求取D(x，y)的均值和方差，并按 式(13)进行阈值分割：
(Π)
[0112
[0113] 其中，k为控制常数，根据具体的检测对象和实验确定。
[0114] 判断检测结果，若存在瑕疵，保存该图像序列与检测结果，并作出标记进入下一幅 图像检测;若不存在瑕疵，则不保存图像与结果直接进入下一幅图像。
[0115] 以上所述仅为说明本发明的实施方式，并不用于限制本发明，对于本领域的技术 人员来说，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在 本发明的保护范围之内。
【主权项】
1. 一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，其特征在于，在Zynq SoC平 台上通过并行部分提取图像显著性区域和纹理特征；通过串行部分进行融合所述纹理特 征，确定阈值分割，分离出瑕疵区域;以串并行方式实现检测算法，包含以下步骤： 离线训练： A. 利用线阵CCD相机获取RGB无瑕疵样本布匹的图像，根据相机捕获所述图像的外部触 发频率调节布匹的传送速度以及相机光圈焦距等参数，并存储所述图像； B. 对灰度化后的所述图像进行快速中值滤波预处理，以抑制噪声并去除随机干扰； C. 构建椭圆Gabor滤波器，选取滤波器参数构成待训练参数集； D. 利用差分进化算法对所述椭圆Gabor滤波器进行参数寻优，得到最优参数集;在线检 测： E. 基于SoC的并行部分进行RGB图像采集，并通过AXI4_Stream总线输入FPGA缓存模块 BRAM； F. 对采集到的所述RGB图像进行R、G、B三通道的快速中值滤波预处理，以去除噪声； G. 对去噪后的图像进行RGB格式到CIE LAB格式的颜色空间转换，以进行视觉显著性区 域提取； H. 对LAB空间的图像进行L、a、b三通道的最优椭圆Gabor滤波，利用纹理特征再次凸显 图像中瑕疵区域； I. 基于SoC串行部分分别计算滤波前后像素特征向量以进行瑕疵显著性区域提取，再 进行阈值分割，得到分离出瑕疵的二值图像，输出检测结果实时显示。2.根据权利要求1所述的一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，其特 征在于，所述步骤C中所述椭圆Gabor滤波器的构造与参数的选取： 构建2D Gabor函数，表达式为：其中，（〇x，〇y)为高斯尺度参数，（u〇，VQ)为中心空间频率坐标，（x'，y'）为旋转操作，具体 定义为：其中，Θ为所述Gabor滤波器的旋转角度，则（1)式中所述Gabor滤波器的2D傅里叶变换 为：EGF具有类似于RGF的尺度选择的性能，有利于纹理分析，但RGF的频域中心固定在坐标 原点，限制了其在瑕疵检测中的应用，鉴于此，本发明提出了一种中心、频率和方向可调整 的新型EGF，即其频域的中心可以以任意的特定带宽和方向定义在任意位置，有利于提高其 检测性能。EGF具体表达式为：其中，F〇为滤波器在空间频域的中心频率：'为高斯长宽比，式(4)中EGF的2D傅里 叶变换为：可见EGF性能取决于参数集{F〇，u〇，νο，θ，β，λ}。3. 根据权利要求1所述的一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，其特 征在于，所述步骤D中利用差分进化算法进行EGF参数寻优： 对于大小为NXN的输入图像I(x，y)经EGF滤波后其能量函数为： f(x,y) = I(x,y)*G(x,y) (6) E(x,y) = Sqrt[fRe(x,y)2+fim(x,y)2] (7) 其中，fRe(X，y)，fIm(X，y)分别为经实、虚EGF滤波后图像，则能量函数的均值和标准差分 别为：根据给定的两个无瑕疵的训练样本图像1'1(1，7)，12(1，7)定义？181161'代价评估函数为：其中，（μι，μ2)，（，σ2)分别为Τι(X，y)，T2(X，y)经滤波后能量函数E(X，y)的均值和标准差， 通过寻求F( t)最大值来确定最优参数集;基于上述论证和实验分析，为提高寻优效率和效果，对寻优参数集作出下列约束：4. 根据权利要求1所述的一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，其特 征在于，所述步骤F中对LAB空间图像进行EGF滤波处理： FPGA实现EGF主要是通过输入图像像素数据与EGF的2D卷积模块进行乘法加法操作，输 出滤波后的图像数据，利用掩模大小为5X5的卷积模块处理图像，得到处理结果W(x，y)为：其中G(u，v)为坐标(u，v)处的滤波系数，该25个系数为通过离线训练阶段优化EGF而得 到的，且存入ROM，通过对应系数坐标载入卷积单元。 根据权利要求1所述的一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，其特征 在于，所述步骤I中计算滤波前后特征向量与提取瑕疵显著图，包括以下步骤:第一步:计算 LAB颜色空间中未滤波的图像像素平均特征向量Fi ab(X，y)，再计算经最优EGF滤波后的图像 特征向量Fegf(x，y)，则瑕疵显著区域D(x，y)为： D(x,y)= | |Fegf(x,y)-Fiab(x,y) | (12) 第二步:对滤波后得到的瑕疵区域灰度图像按式(8)(9)求取D(x，y)的均值和方差，并 按式(13)进行阈值分割：其中，k为控制常数，根据具体的检测对象和实验确定。
【专利摘要】本发明提供一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法，利用视觉显著性分析和纹理特征提取的结合，在嵌入式平台Zynq？SoC上实现算法的软硬件协同设计以提高检测系统的有效性和实时性；离线阶段利用差分进化算法对无瑕疵样本图像进行椭圆Gabor滤波器的参数寻优，得到最优EGF，在线阶段基于FPGA进行RGB图像采集、快速中值滤波、RGB到CIE？LAB格式的颜色空间转换、LAB三通道的EGF处理，通过AXI？VDMA总线将数据传输到ARM部分，并计算滤波前后图像特征向量，利用两特征向量提取瑕疵显著区域，确定阈值分割瑕疵，最后得到高亮瑕疵的二值图像；本系统对于本色、纯色布匹瑕疵检测有较高的检测效率和实时性。
【IPC分类】G06T7/00, G06T7/40
【公开号】CN105678767
【申请号】CN201610009929
【发明人】李新, 黄张祥, 吉峰, 白瑞林
【申请人】无锡信捷电气股份有限公司
【公开日】2016年6月15日
【申请日】2016年1月7日