一种基于工业相机特征提取的润后水渍烟叶识别方法
【专利摘要】本发明公开了一种基于工业相机特征提取的润后水渍烟叶识别方法，所述方法包括如下步骤：1）采集在线烟叶样本的所有原始烟叶图像，将烟叶样本人工分类为正常烟叶、水渍烟叶、近正常烟叶和近水渍烟叶，并获取所有原始烟叶图像的信息；2）对所述原始烟叶图像的信息进行处理获得所有原始烟叶图像的特征向量；3）对所述特征向量进行SNV预处理以消除异常数值信息；4）对预处理后的特征采取有监督模式的二维投影处理获得二维投影向量。快速的解决了一润后水渍烟叶的快速识别以及比例的计算，为通过工艺的控制来减少水渍烟叶的比例打下了坚实的基础，积累了原始的水渍烟叶识别数据。
【专利说明】
一种基于工业相机特征提取的润后水渍烟叶识别方法
技术领域
[0001] 本发明涉及一种图像特征信息提取及识别领域，具体涉及一种基于工业相机特征 提取的润后水渍烟叶识别方法。
【背景技术】
[0002] 在润叶工序受高温高湿的影响，烟叶容易产生烟叶的水渍烟及蒸片，在复烤环节 很难把水渍烟及蒸片调控到合适的水分，造成水渍片水分偏大，在片烟装箱过程中，水渍片 温度及水分都较高，造成局部烟叶水分及温度过高，在保管过程中容易产生霉变及碳化，造 成损失。水渍烟叶的识别一般根据烟叶的叶面和叶背是一种颜色基调，对着阳光通透性较 强。但是这种人工的操作一方面不能在生产线上完成对水渍烟叶的事实识别以及比例的测 算，另外一方面，现场没有光源，使得根据烟叶自身的透光性来判别生产线的烟叶是否为水 渍烟叶不具备可行性;随着近年来在烟叶外观分析领域工业相机的逐步应用，颜色特征提 取以及图像处理技术的发展，对水渍烟叶在烟叶的透光性的研究，以及图像的特征抽提上 来完成对水渍烟叶的识别成为可能。
[0003] 图像由像素与颜色空间构成的，一方面在实验室离线分析的状态来识别烟叶是否 透光，可以根据实验室开灯与不开灯的状态下烟叶自身的色彩空间的变化来完成，另一方 面在实际的生产线可以根据烟叶颜色的自身特征来识别烟叶是否为水渍烟，根据所含有的 特征区域占整个区域的比例来完成现场的水渍烟叶的统计监控分析。
[0004] 而对于如何准确并简单的从工业相机中提取的水渍烟叶的特征信息，来对烟叶是 否为水渍烟叶进行识别，结合图像的拼接，并根据该组特征信息的面积占比来对水渍烟叶 一段时间内得实际比例进行测算，现有技术中并没有关于此种的技术方案记载。
【发明内容】
[0005] 鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于工业相机特征提 取的润后水渍烟识别方法，以克服现有技术中的缺陷。
[0006] 为了实现上述目的或者其他目的，本发明是通过以下技术方案实现的。
[0007] -种基于工业相机特征提取的润后水渍烟叶识别方法，其特征在于，所述识别方 法包括如下步骤：
[0008] 采集在线烟叶样本的所有原始烟叶图像，将烟叶样本人工分类为正常烟叶、水渍 烟叶、近正常烟叶和近水渍烟叶，并获取所有原始烟叶图像的信息；
[0009]对所述原始烟叶图像的信息进行处理获得所有原始烟叶图像的特征向量；
[0010] 对所述特征向量进行SNV预处理以消除异常数值信息；
[0011] 对预处理后的特征采取有监督模式的二维投影处理获得二维投影向量；
[0012] 将所述二维投影向量按照同种分类进行同列拼接，不同种分类之间上下拼接的原 则形成新图像信息矩阵；
[0013] 根据新图像信息矩阵和阈值识别新图像信息矩阵中包含水渍烟叶特征的连通区 域面积；
[0014] 计算包含水渍烟叶特征的连通区域面积占新图像信息矩阵的总面积的比例即为 水渍烟的比例。
[0015] 可选地，步骤1)中，采用工业相机采集在线烟叶样本的所有原始图像。
[0016] 可选地，步骤1)中，将烟叶样本人工分类的依据为透光率。
[0017]本发明中通过实验室相机获取开灯和不开灯条件下水渍烟叶和正常烟叶的图像， 并对图像进行信号分析，计算图像的透光率。以此先确认了水渍烟叶和正常烟叶在透光率 上有很大差别，可以通过透光率将水渍烟叶和正常烟叶区分开来。
[0018] 更为优选地，人工分类的标准为:水渍烟叶是指烟叶的叶面和叶背是一种颜色，对 着阳光看通透性较强;近水渍烟叶是指具备水渍烟叶透光性的特征但是局部偏黄且透光不 明显；近正常烟叶是指具备正常烟叶的特征但是透光性略强的；正常烟叶是指正常经过一 润加工后的烟叶。
[0019] 可选地，步骤2)中，获得所有原始烟叶图像的特征的方法包括如下步骤：
[0020] 21)将所有原始烟叶图像的信息进行灰度处理；
[0021] 22)通过PCA分解获得原始烟叶图像的特征向量即为所有原始烟叶图像的特征。 [0022]更为可选地，步骤21)中灰度处理获得的为二维灰度矩阵。
[0023]更为可选地，步骤22)中，PCA分解是指主成分分解，是指将二维灰度矩阵进行分解 形成得分矩阵，选取得分矩阵的第一列作为特征向量，将各特征向量合并形成特征向量矩 阵。
[0024] 更优选地，具体地处理步骤为：
[0025]对每张原始烟叶图像由RGB空间进行灰度处理，得到二维灰度矩阵G;
[0026]对每个分类的每张图像的灰度矩阵61采取如下的方式进行特征抽提：
[0027] 对Gi进行特征矩阵的分解获得:Gi = Pi*Si+Ei;
[0028] 其中Pi为载荷矩阵，&为得分矩阵;￡1是指分解的残差矩阵；
[0029] 取分矩阵第一列形成列向量作为该图像的特征向量，记为S(:，l);
[0030] 分别把各分类中的每个图像的特征向量合并成特征向量矩阵TS=[Si(:，1)]。
[0031] 可选地，步骤3)中，SNV预处理为标准正态变量变换预处理。
[0032]更为优选地，SNV预处理是以特征向量矩阵中的每列数据为单位，将各列中各点值 减去此列的平均值，然后除以此列的标准方差获得。
[0033] 可选地，步骤4)中，有监督模式的二维投影是指线性判别LDA或偏最小二乘的线性 判别。上述所述投影实质上就是从不同的角度去观察数据，寻找最能充分挖掘数据特征的 作为最优投影方向。
[0034] 可选地，步骤6)中，所述阈值为二维投影向量的阈值。
[0035] 更为优选地，步骤6)中，所述阈值为1.14。
[0036] 优选地，通过工业相机获得在生产线上一润工序后的近正常烟叶、近水渍烟叶、正 常烟叶和水渍烟叶的图像;将图像由RGB空间转换成基于颜色模型的一维颜色，并获得颜色 值，通过颜色值确认一维颜色值可以将水渍烟叶与其他烟叶区分开来。进一步地，将图像信 息进行处理以获得近正常烟叶、近水渍烟叶、正常烟叶和水渍烟叶的特征向量;对特征向量 进行预处理消除异常的数值信息。进一步地，对预处理之后的特征向量，采用有监督模式的 二维投影处理获得二维投影向量。进一步地，把二维投影向量从上到下进行拼接，形成新图 像信息;根据新图像信息计算水渍烟叶占样本烟叶中的比例。
[0037]本发明提供一种快速从图像信息中提取有效的水渍烟叶的特征信息，为水渍烟叶 的分类以及识别指导提供依据。
[0038]本发明的积极效果：
[0039] 快速的解决了一润后水渍烟叶的快速识别以及比例的计算，为通过工艺的控制来 减少水渍烟叶的比例打下了坚实的基础，积累了原始的水渍烟叶识别数据；
[0040] 本专利是图像特征抽提的经典范例，首次把化学计量学的方法与图像处理技术融 合在一块，为运用化学计量学技术来推动图像处理技术的发展在图像特征抽提以及图像相 似度的比对方面做了较为新颖的尝试。
【附图说明】
[0041 ] 图1为正常烟叶的透光率，Ti均值为29.34 %，且!^ <40 %。
[0042] 图2为水渍烟叶的透光率T2，T2均值为90%，且T2>85%。
[0043]图3为近正常烟叶的图像及编号。
[0044]图4为近水渍烟叶的图像及编号。
[0045]图5为正常烟叶的图像及编号。
[0046] 图6为水渍烟叶的图像及编号。
[0047] 图7为不同烟叶的类型对应的颜色值。
[0048] 图8为不同种类的烟叶的特征图谱。
[0049] 图9为识别结果。
[0050] 图10为IS图像。
[0051]图11为水渍烟特征面积图。
【具体实施方式】
[0052]以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明 书所揭露的内容轻易地了解本发明的其他优点及功效。
[0053]在进一步描述本发明【具体实施方式】之前，应理解，本发明的保护范围不局限于下 述特定的具体实施方案;还应当理解，本发明实施例中使用的术语是为了描述特定的具体 实施方案，而不是为了限制本发明的保护范围。下列实施例中未注明具体条件的试验方法， 通常按照常规条件，或者按照各制造商所建议的条件。
[0054] 当实施例给出数值范围时，应理解，除非本发明另有说明，每个数值范围的两个端 点以及两个端点之间任何一个数值均可选用。除非另外定义，本发明中使用的所有技术和 科学术语与本技术领域技术人员通常理解的意义相同。除实施例中使用的具体方法、设备、 材料外，根据本技术领域的技术人员对现有技术的掌握及本发明的记载，还可以使用与本 发明实施例中所述的方法、设备、材料相似或等同的现有技术的任何方法、设备和材料来实 现本发明。
[0055] 在烟草行业中打叶复烤工艺流程主要包括以下步骤:真空回潮-一润-电子称- 二润-打叶风分等步骤。本发明实施例中所述的水渍烟叶是指在打叶复烤工艺中一润处取 得的烟叶。
[0056] 在润叶工序受高温高湿的影响，烟叶容易产生水渍烟及蒸片，在复烤环节很难把 水渍烟及蒸片调控到合适的水分，造成水渍片水分偏大，在片烟装箱过程中，水渍片温度及 水分都较高，造成局部烟叶水分及温度过高，在保管过程中容易产生霉变及碳化，造成损 失。
[0057] 本发明实施例中识别方法识别的对象均为一润工序的烟叶。但不排除将此种识别 方法及原理使用在其他工序中产生的水渍烟叶的识别和计算中。
[0058] 实施例1
[0059] 使用A复烤厂一润后烟叶作为样本烟叶，利用实验室相机分别获取开灯或不开灯 条件下的正常烟叶和水渍烟叶的图像;对图像进行信号分析，用矩阵来表示数字图像，根据 矩阵计算透光率。
[0060] 本实施例中实验室相机的像素为2848X4288;但不限于使用此。
[0061] 透光率T的计算公式为：
[0063] T为透光率；
[0064] R1为不开灯条件下图像对应的灰度矩阵；
[0065] R2为开灯条件下图像对应的灰度矩阵。
[0066] average具体指对按照上式计算获得的矩阵求平均值；
[0067]获得T为向量。
[0068]本实施例中，获得的透光率如图1和图2所示。其中图1为正常烟叶的透光率 值为29.34%，且!^<40%。图2为水渍烟叶的透光率T2，T2均值为90%，且T 2>85%。
[0069]由实施例可以看出仅通过透光率就可以将正常烟叶和水渍烟叶区分开来。
[0070] 实施例2
[0071] 本实施例为本申请中基于工业相机特征提取的润后水渍烟叶识别方法。
[0072] (1)在A复烤厂一润工序后用工业相机采集获取所有原始烟叶图像，将烟叶样本人 工分类为正常烟叶、水渍烟叶、近正常烟叶和近水渍烟叶，并获取所有原始烟叶图像的信 息。
[0073] 人工分类的标准为:水渍烟叶是指烟叶的叶面和叶背是一种颜色，对着阳光看通 透性较强；近水渍烟叶是指具备水渍烟叶透光性的特征但是局部偏黄且透光不明显；近正 常烟叶是指具备正常烟叶的特征但是透光性略强的；正常烟叶是指正常经过一润加工后的 烟叶。
[0074] 进一步地，分别对四种分类的烟叶图像进行编号。其中：近正常烟叶的图像及编号 分别为1、2、3、4、5、6、7、8、9、10、11、12、13和14，见图3;近水渍烟叶的图像及编号分别为1、 2、3、4、5、6、7、8、9和10,见图4;正常烟叶的图像及编号为1、2、3、4、5、6、7、8、9、10、11、12、13 和14,见图5;水渍烟叶的图像及编号为1、2、3、4、5、6、7、8、9、10、11、12和13,见图6。
[0075] (2)对所述原始烟叶图像的信息进行处理获得所有原始烟叶图像的特征，具体为：
[0076] 21)将所有原始烟叶图像的信息进行灰度处理;具体地，灰度处理获得的为二维灰 度矩阵；
[0077] 22)通过PCA分解获得原始烟叶图像的特征向量即为所有原始烟叶图像的特征。
[0078] PCA分解是指主成分分解，是指将二维灰度矩阵进行分解形成得分矩阵，选取得分 矩阵的第一列作为特征向量，将各特征向量合并形成特征向量矩阵。
[0079] PCA分解具体地处理步骤为：
[0080]对每张原始烟叶图像由RGB空间进行灰度处理，得到二维灰度矩阵G;
[0081]对每个分类的每张图像的灰度矩阵61采取如下的方式进行特征抽提：
[0082] 对Gi进行特征矩阵的分解获得:Gi = Pi*Si+Ei;
[0083] 其中Pi为载荷矩阵，&为得分矩阵;￡1是指分解的残差矩阵；
[0084] 取分矩阵第一列形成列向量作为该图像的特征向量，记为S(:，l);
[0085] 分别把各分类中的每个图像的特征向量合并成特征向量矩阵TSitSK^l)]。 [0086]根据TS作图如图8所示。因为TS的每一行是根据S(:，l)组成的，每一行的信息代表 着每一幅图像降维后的信息，对矩阵TS的每一行画折线图就可以得到图8。
[0087]另外，将上述获取的原始烟叶图像由RGB空间转换成基于颜色模型的一维颜色，以 进行烟叶颜色的特征抽提，获得颜色值。本发明中将烟叶图像由RGB空间转换成基于颜色模 型的一维颜色的方法参见申请号为2015101338058的专利。
[0088]各样本的具体颜色值结果如下表表1所不：
[0089]表1
[0091 ]从表1中可以看出：水渍烟叶中的颜色值大部分偏小，正常烟叶中的颜色值大部分 偏大，根据一维颜色值就可以对水渍烟叶与其他烟叶区分开来。如图7所示。图7是根据表1 的数据按照近正常烟叶、近水渍烟、正常烟叶和水渍烟叶中各颜色值点依次直接划曲线得 到的。
[0092] (3)对所述特征进行SNV预处理以消除异常数值信息；
[0093]所述SNV为标准正态变量变换，所述SNV预处理为：以特征向量矩阵中的每列数据 单位，将各列中各点值减去此列的平均值，然后除以此列的标准方差。
[0094] SNV预处理是以特征向量矩阵中的每列数据为单位，将各列中各点值减去此列的 平均值，然后除以此列的标准方差获得。
[0095]其具体的计算方式为：
[0097]其中，
[0098] m代表TS的行数，即总烟草样本个数；
[0099] TS1>k是指特征向量矩阵TS的第i行，第k列的元素；
[0100] TSi是TSi,k相应行的均值。
[0101] TS1>snv是预处理之后的特征向量矩阵即为预处理后的特征。
[0102] (4)对预处理后的特征采取有监督模式的二维投影处理获得二维投影向量;具体 为：
[0103] 有监督模式的二维投影是指线性判别LDA或偏最小二乘的线性判别。上述所述投 影实质上就是从不同的角度去观察数据，寻找最能充分挖掘数据特征的作为最优投影方 向。
[0104] 所谓投影实质上就是从不同的角度去观察数据，寻找最能充分挖掘数据特征的作 为最优投影方向。
[0105] 可在单位超球面中随机抽取若干个初始投影方向a(ai，a2,…，an)，b(bi，b2,…， b n)，计算其投影指标的大小，根据指标选大的原则，最后确定最大指标对应的解为最优投 影方向。
[0106]若(ai，a2,…，an)为n维的单位向量，n为TS的列数，贝lj样本i在一维线性空间的投影 特征值21的表达为
[0107] ^ = (￡ afTSsmXU J\ t J)) hi ；
[0108] 其中，^为预处理后的图像的第一维投影向量的第j个值；
[0109] TSsnv(i，j)为通过PCA降维获取的特征矩阵，经过SNV预处理的得到的数值矩阵的 第i行第j列的数值；
[0110] h为预处理后的图像的第二维投影向量的第j个值；
[0111] Zl是一行两列的数据，i = l:m，m是指样本的个数，对每个21画散点图得到图9。 [0112]二维投影向量的获得原则是:在类间的距离与类内的距离的比值最大。
[0113]类间的距离R计算方式为：
[0114] ri，k= | |zi_zk| | (i，k=l，2，"，m) (4)
[0115] R=ZZ (5) i k
[0116] a为二维投影值的第k个样本的投影值，此处的zk
[0117] 为一个二维值；
[0118] r1>k为二维投影值的第k个样本与第i个样本的距离；
[0119] R表示的是所有TSsnv矩阵投影后投影值的距离和；
[0120]类内的距离S的计算方式为：
[0121 ] S(a)代表的是TSsnv矩阵投影后投影值的标准偏差 n _ 2 V .
[0122] s{a) = [V(z. -za) /nY2 i=l /
[0123] 乙是指Zi的均值。
[0124] S = s(a)；
[0125] Q(Zi)=R/S
[0126] Q(Zl)代表的是，类间的距离与类内的距离比值。
[0127] 选择目标函数Q(Zi)取的最大值Max Q(Zj)时对应的投影方向即为最优投影方向。
[0128] 在最优投影方向上对应的二维投影向量即为采取有监督模式的二维投影处理获 得二维投影向量。
[0129] (5)将所述二维投影向量按照同种分类进行同列拼接，不同种分类之间上下拼接 的原则形成新图像信息矩阵。
[0130] 把所有的样本的图像信息矩阵从上到下进行拼接;形成一个新图像矩阵信息，即 为一个新的图像IS，具体结果如图10所示。图10是不同样本矩阵拼接在一块的图像，其目的 在于对每一幅图像的局部能够计算，从图10可以看出，不同烟叶类型的样本，在图像上有明 显的差异，水渍烟叶的颜色偏深。
[0131] (6)根据新图像信息矩阵和阈值识别新图像信息矩阵中包含水渍烟叶特征的连通 区域面积。所述阈值为二维投影向量的阈值。对新图像计算每张图像包含水渍烟叶特征C1 <PC(阈值)区域的面积总和;或者先在新图像上，按照像素点为单元，依据新图像的投影向 量21， 22计算新图像像素点，每块区域的类别属性，计算水渍烟叶类别区域的面积比例。
[0132] (7)计算包含水渍烟叶特征的连通区域面积占新图像信息矩阵的总面积的比例即 为水渍烟的比例
[0133] 具体地，本实施例中，根据新图像矩阵信息及新的图像IS，并基于图像的颜色特 征，计算所有小于阈值1.14的数值信息的个数占整个新图像矩阵信息中数值个数的比值， 即为水渍烟叶占样本烟叶中的比例。本实施例中为:3702495/12533760 = 29.54%。
[0134] 对拼接的图像，整体进行颜色特征与图像特征S(i，，l)的判断，根据经验选取阈值 为P(此处的P=1.14);在整个拼接的图像上寻找颜色值与图像特征值s(i，l)均小于阈值p 的区域，并计算每一区域的面积(此处的面积是指的像素和），画出在颜色值与图像特征值S (i，1)均小于阈值P的区域的面积分布得到图11。
[0135] 进一步地，根据上述技术方案原理及公开实施例，如果所有的烟叶是在不同的时 间取的，那么这段时间内的拼接图像的特征区域面积比即为该段时间内水渍烟叶的比例。
[0136] 上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟 悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因 此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完 成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
【主权项】
1. 一种基于工业相机特征提取的润后水溃烟叶识别方法，其特征在于:所述方法包括 如下步骤： 采集在线烟叶样本的所有原始烟叶图像，将烟叶样本人工分类为正常烟叶、水溃烟叶、 近正常烟叶和近水溃烟叶，并获取所有原始烟叶图像的信息； 对所述原始烟叶图像的信息进行处理获得所有原始烟叶图像的特征向量； 对所述特征向量进行SNV预处理W消除异常数值信息； 对预处理后的特征采取有监督模式的二维投影处理获得二维投影向量； 将所述二维投影向量按照同种分类进行同列拼接，不同种分类之间上下拼接的原则形 成新图像信息矩阵； 根据新图像信息矩阵和阔值识别新图像信息矩阵中包含水溃烟叶特征的连通区域面 积； 计算包含水溃烟叶特征的连通区域面积占新图像信息矩阵的总面积的比例即为水溃 烟的比例。2. 如权利要求1所述方法，其特征在于:采用工业相机采集在线烟叶样本的所有原始图 像。3. 如权利要求1所述方法，其特征在于:获得所有原始烟叶图像的特征的方法包括如下 步骤： 21) 将所有原始烟叶图像的信息进行灰度处理； 22) 通过PCA分解获得原始烟叶图像的特征向量即为所有原始烟叶图像的特征。4. 如权利要求1所述方法，其特征在于:获得所有原始烟叶图像的特征的方法包括如下 步骤： 对每张原始烟叶图像由RGB空间进行灰度处理，得到二维灰度矩阵G; 对每个分类的每张图像的灰度矩阵Gi采取如下的方式进行特征抽提： 对Gi进行特征矩阵的分解获得:Gi = Pi巧i+Ei; 其中Pi为载荷矩阵，Si为得分矩阵;Ei是指分解的残差矩阵； 取分矩阵Si的第一列形成列向量作为该图像的特征向量，记为S(:，1); 分别把各分类中的每个图像的特征向量合并成特征向量矩阵TS= [Si(:，1)]。5. 如权利要求4所述方法，其特征在于:SNV预处理为标准正态变量变换预处理，是W特 征向量矩阵中的每列数据为单位，将各列中各点值减去此列的平均值，然后除W此列的标 准方差获得。6. 如权利要求1所述方法，其特征在于:有监督模式的二维投影是指线性判别LDA或偏 最小二乘的线性判别。7. 如权利要求6所述方法，其特征在于:二维投影的原则是类间的距离与类内的距离的 比值最大。8. 如权利要求7所述方法，其特征在于:类间的距离R的计算方式为： ri,k= I I Zi-Zk I |(i,k=l,2,---,m)Zi为第i个样本在二维投影空间的投影特征值； Zk为第k个样本在二维投影空间的投影特征值； m为所有烟叶样本的数量； Tl,k为在二维投影空间，第i个样本与第k个样本的投影值距离； R表示的是所有TSsnv矩阵投影后投影值的距离和。9. 如权利要求7所述方法，其特征在于:类内的距离S的计算方式为： S(a)代表的是TSsnv矩阵投影后投影值的标准偏差 石是指Zi的均值；n是指在二维投影空间投影样本的数量;此处的n=m; S = s(a)。10. 如权利要求1所述方法，其特征在于:所述阔值为二维投影向量的阔值。
【文档编号】G06K9/62GK105913056SQ201610195473
【公开日】2016年8月31日
【申请日】2016年3月29日
【发明人】徐其敏, 窦家宇, 王际洲, 陈清, 张军
【申请人】华环国际烟草有限公司, 上海创和亿电子科技发展有限公司