专利名称：：一种基于支持向量数据描述理论的织物瑕疵自动检测方法
技术领域：
：本发明属纺织品质量自动检测与控制领域，特别是涉及一种基于支持向量数据描述理论的织物瑕疵自动检测方法。
背景技术：
：基于计算机视觉的织物瑕疵自动检测是近一、二十年来应用现代智能技术监控产品质量的一个研究热点和难点。织疵自动检测本质上属于模式分类范畴，具体地说就是借助各种现代信息技术实现对织物图像中正常区域和瑕疵区域的鉴别。目前，绝大多数纺织厂仍采用人工验布方式，这种方式存在诸多缺点，如检测速度低、无法实施实时检测，而涉及的劳动力成本、劳动强度、漏检率等也都较高。基于计算机视觉的织疵自动检测系统则能克服上述缺陷，满足社会对高效率生产的需要。织疵自动检测之所以被众多相关领域研究者认为是一项困难的任务，其中一个主要原因就是它是一种典型的单类分类问题。单类分类(One-classClassification)也叫新奇检测(NoveltyDetection)或野点检测(OutlierDetection),其本质上属于无监督学习范畴。考虑到负样本具有分布稀疏、获取成本高或代表性样本难以全面获得，在单类分类问题中，相应的分类器通常全部以正样本作为训练样本而导致对负样本分布一无所知，决策函数依靠单方支持，对训练中的噪声更为敏感，且在训练阶段只能预先获得将正样本误判为负样本的错误率而不能得到将负样本误判为正样本的错误率。织疵样本即是织疵检测问题中的负样本。织疵种类极其繁杂、外观形态变化多样，缺乏统一的分布规律，其代表性样本难以全面收集，只能依靠正常样本对检测模型进行训练。研究者Kumar等人以及Karras都曾尝试使用传统的两类分类支持向量机(SupportVectorMachine,SVM)对少数几种织疵进行检测研究。在这种类型的SVM的训练中，不仅需要大量正常织物图像样本，也需要大量所涉及到的织疵图像样本。将两类分类器用于单类分类问题，显然，这是不合理的不能保证有足够数量的训练用织疵样本；不能确保对未训练种类疵点以及虽经训练但表现为其它形态的同类疵点的有效检测。而近年来在支持向量机原理的启示下，由Tax和Duin提出的支持向量数据描述(SupportVectorDataDescription,SVDD)和由Sch51k叩f等人提出的单类支持向量机(One-ClassSupportVectorMachine,0CSVM)则满足了应用中对单类分类器的需求。
发明内容本发明所要解决的技术问题是将支持向量数据描述(SVDD)这一先进的单类分类方法恰当地应用于织物瑕疵自动检测领域，以适应织物瑕疵检测这一属于单类分类模式范畴任务的需要；并就SVDD模型训练中所涉及到的参数尤其是高斯核函数的尺度参数的优选问题，提供一种新的鲁棒方法；实现较准确控制预期误警率的目标以及疵点的实际误警率和漏检率在实际检测实践中保持同时较低的目标。本发明解决其技术问题所采用的技术方案总体由两大部分组成获得用于SVDD模型训练的数据集，即训练集；对SVDD模型中涉及的参数尤其是高斯核函数的尺度参数进行优选，并在优选的参数基础上完成对SVDD的训练。由此得到的决策函数即可用于对未知样本的检测，判断其是否为瑕疵样本。SVDD模型中涉及的两个参数能有效控制检测错误率尤其是预期误警率和实际误警率。1、训练集的获得采集尽可能多的256灰度级无疵织物图像，将它们都无重叠地分割为32X32像素大小的子图，再对每一子图实施直方图均衡化处理，每一均衡化后的子图看作一个(正常)样本。从每一正常样本中提取若干能够区分正常纹理与瑕疵纹理的特征组成检测用特征向量。本发明依据计盒法提取了如下四个分形特征组成特征向量特征l:图像在盒子尺寸序列为37的情况下的分形维；特征2:图像在盒子尺寸序列为316的情况下的分形维；特征3:图像灰度值沿经、纬两个方向投影序列组合的分形维，所用的方格尺寸序列为316;特征4:经窗口大小为10X10、标准差为0.2的LOG即高斯一拉普拉斯算子滤波后的图像的分形维，观测盒子尺寸序列为37;对从每一正常样本得到的特征向量实施softmax归一化处理，这些经归一化处理后的特征向量的集合即构成SVDD模型的训练样本集。2、SVDD模型中的参数优选和SVDD模型的训练2.1SVDD基本原理和所涉及参数的意义SVDD的基本原理就是首先将训练样本数据从输入空间非线性隐式映射到高维(内积)特征空间，然后在其中搜寻一个包含绝大多数映射数据的最小超球体，若待分析的样本数据经同样映射后位于超球体内，则认为该样本数据正常，否则判断为异常。最优超球体的搜寻涉及到若干重要变量，如球半径和球心，此外还需引入一些松弛变量以允许少部分训练数据位于球体外从而增强判别系统的鲁棒性。SVDD的数学表述如下-考虑训练数据集Z-(x,其中《e口为训练样本总数。特征映射(D:义—F将输入空间数据非线性映射到高维内积空间F，其内的映像数据间的内积可通过某一简单的核函数k计算得到<x，>0=<O(x)ODO)>，例如可使用高斯核函数/r(;c，>0=exp(-H|x-jf)，；k〉0。核函数的使用使得映射(D可以隐式存在而使用者无须知道<formula>formulaseeoriginaldocumentpage7</formula>其对偶问题为<formula>formulaseeoriginaldocumentpage7</formula>(1)其中，a-^,…cU为引入的拉格朗日乘子。对于对偶问题的最优解a，根据KKT(Karush-Kuhn-Tucker)互补条件，有若OO,)位于超球体内，则其对应的",=0;若O(JC,)位于超球体表面，则其对应的《满足0〈",〈丄；若①(x,)位于超球体外，则其对应的",满足《,=1。事实上，在最优解"中，绝大多数a,v《都为O，而所有那些对应于a,.〉0的训练数据x,即被称作支持向量(supportvectors)。记这些支持向量对应的下标集合为Sr，则球心最优解c^Z",(D(x,)，而借助核函数，球半径最优解r可通过计算对应于0〈",〈丄的任一0(jc,)或全部O(x,)的均值到球心c的距离得到。对任一待判别样本数据x，其决策函数为<formula>formulaseeoriginaldocumentpage8</formula>(2)若/(X)-l，则判断X为正常数据；若/("=_1，则判断X为异常数据。观察对偶优化问题不难发现，在求解a^(a,，…aj之前，需要给定参数ve(0,1)的具体值和核函数K的具体类型及其参数值。高斯核函数K(x,力exp(-"lx->f)，y〉0性能优良、通用性强，因而在实践中被广为使用。本发明亦选用高斯核函数进行有关研究，它只涉及唯一的尺度参数y。简单总结一下，那就是对偶问题的求解需要v和y预先给定或优选出来。首先引入两个算法评估指标、口魁奮误将正常判别为瑕疵的样本个数函0/=~"实际的正常样本总数~~漏检率=误将瑕，，广正常的样本个数x画买际的瑕疵样本总数其中误警率包括两种，即训练阶段的预计误警率和测试阶段的实际误警率。下面讨论参数v。v是异常样本即那些位于正常估计区域外的训练样本比率的上界同时也是支持向量比率的下界。也就是说，参数v控制着训练结果中支持向量的比率。而根据有关文献的论证，支持向量比率的期望值是误警率的上界，即其中i^i为误警率，#5^为支持向量的数量，f为样本总数。实际使用中，可直接使用支持向量比率作为误警率的大致估计。这表明，预先设定v值也就大致设定了误警率，反过来，如果预先提出了对误警率的要求，那么相应的v值也即可确定。接下来讨论高斯核函数的尺度参数^。事实上，v对误警率的有效控制在很大程度上依赖于/的具体取值，它并不能独立发挥应有的作用。设计性能优越的检测器，选取恰当的Z值是至关重要的，它决定了高斯核函数的灵活度。如果y取值过小，那么检测器在对训练数据的学习上出现欠学习现象，这将导致决策边界过于宽松和简单，检测器的区分能力很差，实际测试时漏检率会很高；反之，如果^取值过大，则在检测器训练过程中出现过学习现象，这将导致决策边界过于复杂，检测器的泛化能力很差，实际测试时误警率会很高。在^值根据所期望的误警率预先设定的情况下，我们的主要任务就是完成对y的优选。2.2现有的高斯核函数尺度参数y优选方法的不足在利用交叉验证法对SVDD涉及到的高斯核函数尺度参数的优选方面，Banerjee等人依据支持向量比率的期望值是误警率的上界这一推断，并考虑到训练过程中对漏检率一无所知的事实，利用交叉验证法搜寻使得支持向量比率的期望值最小即误警率上界最小的^值，然后以该值作为实际测试模型的参数值。本发明的研究表明，在实际应用中仅仅依靠交叉验证法中的支持向量比率的平均值来优选y并不能保证预计误警率较小以及预计误警率较为接近所设定的v值。对此，我们以一个数据集为例进行实验说明，该数据集由包含4608个正常样本的训练集和分别包含2797个正常样本和275个瑕疵样本的测试集组成。对预先设定的v值，采用8重交叉验证法对一系列7值进行测试。记mrsv为上述验证法体系下训练得到的支持向量比率的平均值，mfar为相应的交叉验证误警率平均值，则以上述数据集在"=0.02、r=1*10(-6)1*1000时的训练情况为例，得到如表l所示的结果。通过表1可以看出最小的支持向量比率均值可能对应着很大的从而偏离v值较远的交叉验证误警率均值，例如编号i4之间的4个y值对应的mrsv最小，但是它们的mfar却非常不理想，因而这样的参数不是用于实际测试模型的最佳或较佳选择，对该数据集在其它v值情况下和对其它数据集在不同v值情况下的分析也有类似结论，这里不再详细列举。这表明，Banerjee等人提出的高斯核函数的尺度参数优选方法并不可靠，即仅仅依靠支持向量比率均值这一指标并不能保证所选y值最优。表1v=0.02情况下的交叉验证结果<table>tableseeoriginaldocumentpage10</column></row><table>2.3本发明提出的稳健的y优选方法从表l，我们还可以看出(1)在y编号515(对应^值1X1(T1X10')的相当大的跨度内，mrsv和mfar非常接近，且较之其它y值对应的区域内的mrsv和mfar,它们与预设的v二O.02更为接近。我们称mrsv和mfar两者这一共同的较长的稳定区域为平稳过渡带。由此我们大胆推测，实际测试时的误警率和漏检率也都将在此平稳过渡带中保持相对稳定。后面的最终测试结果将证实这-推测。(2)鉴于平稳过渡带跨度较大，更细致或者说更稠密的/值划分和交叉验证实验是没有必要的。(3)最小的交叉验证误警率均值不一定对应着最小的支持向量比率均值，如编号10的有关数据所示。理论上，那些所对应的mrsv和mfar都与预设v值较接近的y值是较理想的参数值选择。两个指标在一定程度上等价，但又能各自从不同角度反映实际误警率情况，且两指标可在交叉验证实验中同时得到。记两者的均值为msf，则msf也可用作预计误警率的估计，且选取msf中的最小者所对应的y值更为可靠。这个y—般位于平稳过渡带中，如本例中此7值编号为8号。因此，本发明提出的y稳健优选方法即是采用msf(即mrsv和mfar的均值)指标而不是mrsv来优选7，具体讲就是选取使得rasf最小的/值作为SVDD模型训练时的最优参数。在上述优选方法中，发明者首次发现并提出了平稳过渡带概念；指出在平稳过渡带内，误警率和漏检率波动不大，保持相对稳定；首次提出平稳过渡带尺度跨度较大的概念；首次联合使用交叉验证支持向量比率均值和交叉验证误警率均值两个指标进行高斯核函数尺度参数的优化。2.4SVDD模型的训练和决策函数的获得根据优选出来的v值和y值在(全部由正常样本组成的)整个训练集上求解2.1节中所述的相应的优化问题，从而得到2，l节中所述的决策函数的具体表达式。依据此决策函数即可实现对未知样本归属的判别。替代技术方案SVDD是基于超球体思想，而OCSVM则是基于超平面思想，即通过在高维特征空间寻找一个能将训练数据以最大间隔与原点分开的最优超平面来区分正常与瑕疵。Sch51k叩f等人以及Tsang等人已经证明，对于现实中所用到的大多数核函数，SVDD和0CSVM在本质上是等价的。因此可用0CSVM替代上述技术方案中的SVDD来达到同样的织物瑕疵检测效果。发明优点和有益效果1、本发明首次将先进的单类分类器SVDD应用于织物瑕疵自动检测领域，适应了织物瑕疵检测这一属于单类分类模式范畴任务的需要。将SVDD作为检测器用于织物瑕疵检测，可以避开采用传统的两类分类支持向量机在织物瑕疵检测时所遭遇的难以全面地和较大数量地采集代表性织疵样本进而不能对检测器进行有效训练的困境。2、针对SVDD训练中涉及的有关参数尤其是高斯核函数的尺度参数优选问题，本发明者给出了一种稳健而方便的新方法，在使用这种方法优选出来的参数基础上对SVDD进行训练并将其用于实际检测，能够预期地和方便地控制误警率(误检率)，且可在误警率较低的情况下同时获得较低的漏检率。图1为数据集2的有关训练和测试指标在v=0.02时随Y的变化趋势图。图2为数据集2的有关训练和测试指标在v=0.05时随Y的变化趋势图。图3为数据集5的有关训练和测试指标在v=0.02时随Y的变化趋势图。图4为数据集5的有关训练和测试指标在v二0.05时随Y的变化趋势图。图5为若干例织物瑕疵实际检测效果示意图。具体实施方式一具体实施步骤一种基于支持向量数据描述理论的织物瑕疵自动检测方法，包括以下具体实施步骤1、采集尽可能多的256灰度级的无疵织物图像，并将它们都分割成32X32像素大小的子图，每一子图为一个训练样本。2、对上述每一训练样本进行直方图均衡化处理。3、依据计盒法从各个样本中提取如下四个分形特征组成训练和检测用的特征向量錄^"7:图像在盒子尺寸序列为37的情况下的分形维。錄&么图像在盒子尺寸序列为316的情况下的分形维。獰&A图像灰度值沿经纬向投影序列组合的分形维，所用的方格尺寸序列为316。錄&头辯窗口大小为10X10、标准差为0.2的LOG算子滤波后的图像的分形维，观测盒子尺寸序列为37。4、采用softmax数据归一化方法对各个特征向量进行归一化处理。该方法由两步组成<formula>formulaseeoriginaldocumentpage13</formula>本发明中，；表示正常织物纹理图像的某个特征参数的均值，从大量正常样本中估算出来，C7表示正常织物纹理图像的该特征参数的标准差，Aw表示待测织物纹理图像的该特征参数值，r为可由使用者自行设定的系数，本发明统一取为2，那么义w即为归一化后的特征参数值。5、对SVDD模型进行参数优选和训练。这包括以下几步5.1根据对期望误警率的要求，预设一个相对应的较合理(即一个既非趋向于极端0亦非趋向于极端l)的v值，"(0,1);5.2对较大尺度范围内但分布稀疏的一系列^值实施8重交叉验证法，定位出使得msf最小的y值(msf的具体含义参见技术方案的2.3节中有关介绍)；5.3以预设v值和优选得到的y值对整个训练集进行SVDD模型的训练，即求解相应v值和y值情况下的SVDD对偶优化问题，可参见
背景技术：
中对偶优化问题式(1)的介绍。5.4得到可对未知样本进行判别的决策函数，参见
背景技术：
中的式(2)。6、对每一待测32X32像素的未知样本，对其依次实施直方图均衡化、四个分形特征的提取、特征值softmax归一化处理等处理(可参见第2、3、4步的具体介绍)，然后将归一化特征向量输入决策函数即
背景技术：
中的式(2)来判断该样本是否为瑕疵样本。具体实施例本发明给出五个具体实施例，以进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。表2列出了五个具有不同纹理背景的数据集的有关数据分配情况。2实验样本情况一览<table>tableseeoriginaldocumentpage14</column></row><table>为了更好地验证所提出的y参数优选法并考虑到篇幅问题，我们以图1图4来说明有关问题。这些图示意了在对数据集2和数据集5的未知样本的实际测试中，msf、实际误警率和漏检率等指标分别在v二0.02和0.05时随y的变化趋势。为了简化表达，图中横坐标以y编号而不是实际值来表示，它们的具体值可对照表1。从这四幅图可以看出，一个较长的平稳过渡带的确存在，且在平稳过渡带中，msf与实际误警率吻合程度非常高，两者也都非常接近所预设的v值，而漏检率也如前面所预料的那样在这一区域中趋于稳定。在平稳过渡带之外，msf和实际误警率较所预设的v值偏离较大。根据我们提出的优选原则，四幅图的最优^值编号依次为8#、6#、12#和9#，它们均位于平稳过渡带内。另外值得关注的就是，在较低的误警率下，实测得到漏检率相当低，这同时意味着对疵点的检出率非常高。对其余数据集的有关测试也可得到类似结论，这里不再详细列出。这表明我们所提出的这一高斯核函数尺度参数的优选方法是可靠的，实测结果令人满意。表3为采用本发明所提出的检测方案对这五个数据集在v=0.02、0.04和0.06三种情况下的有关训练和测试结果汇总。结果令人满意，表现为根据我们所提原则优选出来的高斯核函数尺度参数y的值全部位于相应平稳过渡带内；实际误警率与预计误警率基本一致；误警率和漏检率同时保持在较低甚至极低的水平。最后给出若干织物瑕疵实际检测效果示意图，直观地展示检测结果，如图5所示。图中，每一织物图像大小都是256X256像素，均包含64个32X32子样本，均经过了直方图均衡化处理。每一行表示对一个来自某一数据集的256X256像素大小的织物图像的检测过程；第一列各图为相应的正常织物图像，作为对比用；第二列各图为包含织疵的图像；第三列各图为实际检测效果图，其中每一个带叉小方格表示被我们所提算法识别为瑕疵的32X32像素子图像。表3五个数据集的部分检测结果汇总<table>tableseeoriginaldocumentpage16</column></row><table>权利要求1.一种基于支持向量数据描述(简记为SVDD)理论的织物瑕疵自动检测方法，包括下列步骤(1)织物图像的采集和预处理；(2)分形特征的提取和特征向量归一化处理；(3)SVDD模型中折衷参数ν和高斯核函数尺度参数γ的优选；(4)SVDD模型的训练和相应决策函数表达式的获得；(5)对待测样本依据步骤(4)所述决策函数表达式进行测试，判别其是否包含瑕疵。2.根据权利要求1所述的一种基于SVDD的织物瑕疵自动检测方法，其特征在于所述的步骤(1)中图像的采集是指收集较多256灰度级的无疵织物图像，作为训练用；预处理是指将这些图像都分割成一定大小的子图，本发明中子图大小为32X32像素，每一子图代表一个训练样本，并对每一子图实施直方图均衡化处理。3.根据权利要求1所述的一种基于SVDD的织物瑕疵自动检测方法，其特征在于所述的步骤(2)中的分形特征是依据计盒法估算得到以下四个分形维组成特征向量特征l:图像在盒子尺寸序列为37的情况下的分形维；特征2:图像在盒子尺寸序列为316的情况下的分形维；特征3:图像灰度值沿经、纬两个方向投影序列组合的分形维，所用的方格尺寸序列为316;特征4:经窗口大小为10X10、标准差为0.2的LOG即高斯一拉普拉斯算子滤波后的图像的分形维，观测盒子尺寸序列为37;4.根据权利要求1所述的一种基于SVDD的织物瑕疵疵自动检测方法，其特征在于所用特征向量不局限于如权利要求l的步骤(2)和权利要求3所述的若干分形特征组成的向量，其它能够区分正常纹理与瑕疵纹理的特征向量亦可。5.根据权利要求1所述的一种基于SVDD的织物瑕疵自动检测方法，其特征在于所述的步骤(2)中的特征向量归一化采用的是softmax数据归一化方法，由两步组成，具体定义如下<formula>formulaseeoriginaldocumentpage3</formula>(2)其中，S表示正常织物纹理图像的某个特征参数的均值，从大量正常样本中估算出来，c表示正常织物纹理图像的该特征参数的标准差，表示待测织物纹理图像的该特征参数值，r在本发明中统一取为2，那么4,—即为归一化后的特征参数值。6.根据权利要求1所述的一种基于SVDD的织物瑕疵自动检测方法，其特征在于所述的步骤(3).和步骤(4)中的SVDD模型是指下面这一优化问题<formula>formulaseeoriginaldocumentpage3</formula>其中，a={a,…"J为引入的拉格朗日乘子，1={^，^}￡『为训练数据集，为训练样本总数，^为折衷参数，k(x,力为核函数。7.根据权利要求6中所述的核函数/c(u)在本发明中指高斯核函数k(;c，力=exp(-y|x-jf)，其中y〉0为该核函数的尺度参数。8.根据权利要求1所述的一种基于SVDD的织物瑕疵自动检测方法，其特征在于所述的步骤(3)中两个有关参数的优选按如下步骤实现(a)根据对期望误警率的要求，预设v值，ve(O,l)，使其既非趋向于极端0亦非趋向于极端l;(b)对较大尺度范围内但分布稀疏的一系列y值实施8重交叉验证法，定位出使得msf即mrsv和mfar的均值最小的y值。由此完成对这两个参数的优选。这里，mrsv为上述(b)中验证法体系下训练得到的支持向量比率的平均值，mfar为相应的交叉验证误警率平均值。9.根据权利要求1所述的一种基于SVDD的织物瑕疵自动检测方法，其特征在于所述的步骤(4)中SVDD模型的训练是指根据权利要求8优选出来的v值和y值在整个训练集上求解权利要求6中所述的相应的优化问题，从而获得权利要求1中所述的决策函数表达式<formula>formulaseeoriginaldocumentpage4</formula>若/("=1，则判断X为正常样本；否则判断X为瑕疵样本。这里SK是指所有那些对应于a,X)的训练数据x,的下标集合。10.根据权利要求1所述的一种基于SVDD的织物瑕疵自动检测方法，其特征在于所述的步骤(5)中的每一个待测样本在通过权利要求9所述的决策函数测试之前，均需依次经过直方图均衡化、四个分形特征的提取、特征值softmax归一化等处理步骤。全文摘要本发明属纺织品质量自动检测与控制领域，特别涉及一种基于支持向量数据描述理论的织物瑕疵自动检测方法。基于计算机视觉的织物瑕疵自动检测是现实世界中较为困难的单类分类任务。发明者首次将支持向量数据描述(SVDD)这一先进的单类分类方法应用于织物瑕疵检测领域，避开了采用传统的两类分类支持向量机在织物瑕疵检测时所遭遇的难以全面和较大数量地采集代表性疵点样本、进而不能对检测器进行有效训练的问题。此外，针对SVDD训练中涉及的有关参数尤其是高斯核函数的尺度参数优选问题，发明者提出了一种稳健的新方法。本发明所述的基于SVDD的织物瑕疵自动检测系统在检测实践中能够预期地和方便地控制误警率(误检率)，且可在误警率较低的情况下同时获得较低的漏检率。文档编号G01N21/89GK101216436SQ20081003225公开日2008年7月9日申请日期2008年1月3日优先权日2008年1月3日发明者步红刚,军汪,黄秀宝申请人:东华大学