一种基于工业相机的铺叶台烟叶摆把监控装置的制造方法
【专利摘要】本实用新型公开了一种基于工业相机的铺叶台烟叶摆把监控装置。所述监控装置包括铺叶台、位于铺叶台上方的工业相机及计算机；所述铺叶台为白色或乳白色的烟叶运输带，把烟叶输送带平均分为若干个格子，在每个格子的其中一个斜上角以及与其对应的斜下角标记小数字、字母或文字，在每个格子的中间区域标记大数字、字母或文字；数字、字母或文字的颜色明显区别于烟叶输送带和烟叶的颜色；铺叶前后，以烟叶输送带的边缘作为基准线，采用工业相机实时获取烟叶输送带每个格子上的图像。本实用新型提供的监控装置将特征提取、图像识别、颜色的提取与统计学结合在一起，解决了对铺叶规整性的实时定量判断，提高了烟叶切把的利用率。
【专利说明】
一种基于工业相机的铺叶台烟叶摆把监控装置
技术领域
[0001]本实用新型属于烟叶铺叶技术领域，尤其涉及一种基于工业相机的铺叶台烟叶摆把监控装置。
【背景技术】
[0002]铺叶是打叶复烤自原烟仓库之后的重要一环，其主要的作用一方面在于配方打叶的物理配比的控制；另一方面在于，铺叶的规整控制利于原烟的切把;在配方打叶领域，往往会遇到较多的原烟等级，加上工业自身的工业分级，使得常规的分选后的烟叶等级可以多达40种之上，在传统的铺叶模式下，由于任务量比较大，原烟在麻包内摆放不是很规整，以及在管理上不能量化要求，使得经常在铺叶环节的摆把上产生如下的现象(I)铺叶时间不均匀；(2)铺叶倾斜；(3)铺叶比较凌乱;造成了部分的把头没有切掉以及部分烟叶混入了把头里面，降低了烟叶的利用率。
[0003]针对现有的铺叶模式，还未有合适的铺叶监控装置实时监控铺叶的摆把状态，测算摆放烟叶的合格率等量化标准。
【实用新型内容】
[0004]针对现有技术的不足，本实用新型提供一种基于工业相机的铺叶台烟叶摆把监控装置。本实用新型从工业相机拍摄的图像中提取烟叶的物理特征信息以及颜色信息，来监控铺叶台上的烟叶摆放是否规整，测算摆放烟叶的合格率。
[0005]本实用新型的技术方案如下:本实用新型还提供一种基于工业相机的铺叶台烟叶摆把监控装置，所述监控装置包括铺叶台，位于铺叶台上方的工业相机以及计算机；
[0006]所述铺叶台为白色或乳白色的烟叶运输带，烟叶运输带上采用数字、字母或文字来标记铺叶区域，把烟叶输送带平均分为若干个格子，在每个格子的其中一个斜上角及其对应的斜下角标记小数字、字母或文字，在每个格子的中间区域标记大数字、字母或文字；数字、字母或文字的颜色明显区别于烟叶输送带和烟叶的颜色;校正好工业相机，铺叶前后，以烟叶输送带的边缘作为基准线，实时获取烟叶输送带每个格子上的图像，工业相机拍摄图像后通过有线或无线的方式发送到计算机中，由计算机处理后评价铺叶的规整性。
[0007]所述铺叶区域上标记的数字、字母或文字是在烟叶输送带制作过程中通过有色橡胶热合在输送带表面。
[0008]所述工业相机位于烟叶输送带上方的支架上，距烟叶输送带的距离为1200?1800mmo
[0009]本实用新型提供的监控装置工作原理如下:利用工业相机采集的图像来解决烟叶摆把不规范的问题，由于输送带的背景是白色或乳白色，与烟叶的橘黄区域有较大的色彩差别，因此烟叶的主体区域的摆放是否规整可以从图像上识别出来。对于烟叶自身而言，由于烟梗颜色较烟叶主体色域颜色偏深，因此可以进一步定位到烟叶的把头的方向；事先在白色输送带上用红色数字(字母、文字均可)标记好区域，把每个区域分配给不同的操作员，因此可以把烟叶摆放的位置与具体的操作员进行关联上，能够评价每个操作员铺叶的规范性，为进一步运用工业图像来监控摆把的规范性提供了必要的应用条件以及理论依据。
[0010]所述基于工业相机的铺叶台烟叶摆把监控方法，包括以下步骤:
[0011 ]步骤(I)在铺叶台上用数字、字母或文字来标记铺叶区域，标记的方法为把烟叶输送带平均分为若干个格子，在每个格子的其中一个斜上角及其对应的斜下角标记小数字、字母或文字，在每个格子的中间区域标记大数字、字母或文字;数字、字母或文字的颜色与输送带、烟叶的颜色有明显区别，铺叶前后，以输送带的边缘作为基准线，分别基于在线工业相机实时获取每个格子的图像；
[0012]—般来说，烟叶输送带有几十米，将输送带平分成若干个格子，每个格子的长度为600?1000mm，可以根据实际情况调整格子的长度。每个格子上可以标记不同的数字、字母或文字，也可以取M个数字、文字或字母，然后在输送带的每个格子上分别依次标记，比如采用5个数字进行标记，在输送带每个格子上依次标记1234512345…，直至输送带上的格子标记完成;标记方式也可根据实际操作方便而设定;然后把不同的标记区域分配给相应的操作员，因此可以把烟叶摆放的位置与具体的操作员进行关联上，进而能够评价每个操作员铺叶的规范性，提高铺叶的规整性。
[0013]步骤(2)计算机对工业相机采集的图像进行图像处理，识别铺叶后烟叶所在的格子区域对应的数字、字母或文字标记，识别烟叶的主体区域以及主体区域中烟叶摆把的倾角，识别烟叶的色差分布，评价该每个格子区域的烟叶摆把规整性，分析铺叶结果，最后保存原始图像以及分析结果，可以按照班次统计铺叶的合格率，也可以按照铺叶类型统计分析每个班次的合格率，也可以按照铺叶区域的标记统计的合格率，最后生成铺叶日志及报表。
[0014]识别铺叶后烟叶所在的格子区域对应的数字、字母或文字标记:
[0015]铺叶前，抓取每个格子的图像，依次采用工业相机把每个格子的图像保存;然后定位到每个格子斜上角或斜下角的标记区域，标记区域所在图像上的像素区域为[al:a2，bl:匕2]，如图1所示，&1，&2沁^2为标记区域的坐标值，将标记区域的图像进行滤波降噪处理，获取图像的RGB空间矩阵，然后进行灰度处理，得到灰度矩阵定义为MI(i)，i = l，2，3，…，n，η为格子总数；
[0016]铺叶后抓取烟叶所在格子的图像，取出对应[al:a2，bl:b2]像素区域的标记区域，将该标记区域的图像进行滤波降噪处理，获取图像的RGB空间矩阵，然后进行灰度处理;得到灰度矩阵记为TI;
[0017]定义σ为图像矩阵的相似度，计算
[0018]σ(?)= I |T1-MI(i) |
[0019]=sqrt(Sum(sum((T1-MI(i)).*(T1-MI(i)))))(l)
[0020]最小σ值所对应的i即为铺叶后抓取图像的格子的序号，即识别出铺叶后烟叶所在的格子区域对应的数字、字母或文字标记。
[0021]烟叶主体区域的识别:通过图像的色彩分割获取烟叶所在的图片区域，对烟叶所在的图片区域进行滤波去除噪声，获取图像的RGB空间矩阵，然后进行灰度处理和二值化处理，得到灰度矩阵G;
[0022]根据灰度矩阵G得到每个格子区域图像的连通关系；并计算每个格子的图像中烟叶连通区域的面积，寻找最大区域面积Al与次大区域面积A2，剔除其它小块的面积；
[0023]如果Al> 70%，则Al为烟叶的主体区域，代表整体烟叶的铺叶方向；
[0024]如果Al>50%，A2 > 30%，则这两个区域为烟叶的主体区域，分别代表着烟叶的铺叶方向；
[0025]如果Al〈50%，则烟叶铺叶的方向十分零散，不规整；
[0026]烟叶摆把倾角的计算:根据灰度矩阵G识别烟叶主体区域后，提取烟叶主体区域的轮廓信息，提取轮廓信息的骨骼中心线，根据提取的骨骼中心线数据，运用MCCV(蒙特卡洛交叉验证)剔除异常点，根据PLS(偏最小二乘)进行线性拟合;根据拟合的数据，计算拟合线与铺叶输送带边缘的夹角，该夹角即为烟叶摆把的倾角。
[0027]识别烟叶的色差分布:将铺叶后的每个格子的图像进行滤波去除噪声，获取图像的RGB空间矩阵，再进行灰度处理，按照灰度等级从小到大进行排序，选取小于？％的灰度数据，P的阈值的根据烟梗所占整个烟叶的比例确定，计算小于P%的灰度数据的空间分布距离;采用去头截尾的办法计算空间分布距离的平均值;从而得到二值图，根据二值图可直接判别出烟梗和烟叶色差分布。
[0028]铺叶的规整性评价:如果铺叶倾角为90±10度，烟叶把头方向颜色下深上浅为铺叶标准且规整;颜色下浅上深为铺叶标准但不规整;如果铺叶倾角不在90± 10度范围内，烟叶把头方向颜色下深上浅为铺叶不标准，但规整，颜色下浅上深为铺叶不标准且不规整;如果深色颜色分布离开输送带摆把侧的垂直距离超过该方向边框长度的10%，则判定铺叶较为凌乱，不合格。
[0029]本实用新型通过工业相机获取铺叶台上方的图像数字等，通过摆把的烟叶图像的色彩空间来判别烟叶主体摆把的倾角以及烟叶色差的分布区域;具体地，在实际的生产线的识别过程中，首先获取现场每个格子所有烟叶的图像，对图像进行预处理，去噪，滤波，提取烟叶图像的颜色信息，对滤波后的图像数据进行物理特征信息的提取，然后运用矩阵的相似性来识别摆放烟叶的位置信息;根据图像中联通区域的识别，来定位到主体的摆放烟叶，以及摆放烟叶的角度;根据原始图像的色彩空间的颜色深浅，来识别深色颜色区域的分布来判别烟叶摆放是否凌乱;并结合管理规范，形成具体工位的铺叶考核系统。
[0030]与现有技术相比，本实用新型具有以下有益效果:本实用新型提供的监控装置将特征提取、图像识别、颜色的提取与统计学结合在一起，快速地解决了对铺叶规整性的实时定量判断，为规范铺叶，提高了烟叶切把的利用率，产生了很大的经济价值。
【附图说明】
[0031 ]图1为标记区域的像素区域坐标图；
[0032]图2为基于工业相机的铺叶台烟叶摆把监控装置的结构图；
[0033]图3为烟叶输送带的铺叶区域图；
[0034]图4为烟叶主体区域中烟叶摆把倾角计算图；
[0035]图5为烟叶主体色差分布图；
[0036]图6为所述基于工业相机的铺叶台监控方法的流程图；
[0037]图中标记:1-烟叶运输带(铺叶台)，2_工业相机，3-支架，4-铺叶区域；
【具体实施方式】
[0038]下面结合附图和具体实施例对本实用新型的技术方案做进一步详细说明。
[0039]实施例1
[0040]所述基于工业相机的铺叶台烟叶摆把监控装置如图2、图3所示，所述监控装置包括铺叶台、工业相机2及计算机；
[0041 ]铺叶台为白色的烟叶运输带I，烟叶运输带I上采用数字(I?8)来标记铺叶区域4，标记方式如图3所示，即把铺叶输送带I平均分为若干个格子，8个格子为一组，在每个格子的其中一个斜上角及其对应的斜下角标记红色小数字，在每个格子的中间区域标记红色大数字;校正好工业相机，铺叶前后，以烟叶输送带的边缘作为基准线，实时获取烟叶输送带每个格子上的图像，工业相机拍摄图像后通过有线或无线的方式发送到计算机中，由计算机处理后评价铺叶的规整性。
[0042]工业相机2位于烟叶运输带I上方的支架3上，工业相机2距烟叶输送带I的距离为1500mmo
[0043]铺叶区域上标记的数字在烟叶输送带I制作过程中通过有色橡胶热合在输送带表面。
[0044]监控装置的监控方法如下，流程图如图6所示；
[0045]步骤(I)铺叶前后，以烟叶输送带的边缘作为基准线，分别基于在线工业相机实时获取每个格子的图像；
[0046]步骤(2)计算机对工业相机采集的图像进行处理，识别铺叶后烟叶所在的格子区域对应的数字标记，识别烟叶主体区域以及主体区域中烟叶摆把的倾角，识别烟叶的色差分布，评价该每个格子区域的烟叶摆把规整性，分析铺叶结果，最后保存原始图像以及分析结果，生成铺叶日志及报表，操作流程图如图6所示。
[0047]识别铺叶后烟叶所在的格子区域对应的数字标记:
[0048]铺叶前，抓取每个格子的图像，依次采用工业相机把每个格子的图像保存;然后定位到每个格子斜上角的标记区域，标记区域所在图像上的像素区域为[al:a2，b1:b2](如图1所示，ai，a2 AA2为标记区域的坐标值)，将标记区域的图像进行滤波降噪处理，获取图像的1?^空间矩阵，然后进行灰度处理，得到灰度矩阵定义为犯(1)，1 = 1，2，3^_，11，11为格子总数；
[0049]注:图1中，横坐标X为输送带垂直方向，纵坐标y为输送带运输方向，aib2_aibi表征的是皮带边缘线(靠近铺叶处)，&?2-&Λ2表征的是皮带上的工位红线；
[0050]铺叶后抓取烟叶所在格子的图像，取出对应[a1:a2，b1:b2]像素区域的标记区域，将该标记区域的图像进行滤波降噪处理，获取图像的RGB空间矩阵，然后进行灰度处理;得到灰度矩阵记为TI;
[0051]定义σ为图像矩阵的相似度，计算
[0052]σ(?)= I |T1-MI(i) |
[0053]=sqrt(Sum(sum((T1-MI(i)).*(T1-MI(i)))))(l)
[0054]最小σ值所对应的i即为铺叶后抓取图像的格子的序号，即识别出铺叶后烟叶所在的格子区域对应的数字标记，求得抓取的图片的数字序号为8。
[0055]烟叶主体区域的识别:通过图像的色彩分割获取烟叶所在的图片区域，对烟叶所在的图片区域进行滤波去除噪声，获取图像的RGB空间矩阵，然后进行灰度处理和二值化处理，得到灰度矩阵G;
[0056]根据灰度矩阵G来判别每个像素坐标点周围是否有相同灰度的数据分布，具体的而言就是遍历标记图像，按标记图像的像素值索引标记集合，找到标记集合中代表当前集合最小的值赋值给原图像当前位置的像素得到烟叶每个格子区域图像的连通关系;并计算每个格子的图像的烟叶连通区域的面积，寻找最大区域面积Al与次大区域面积A2，剔除其它小块的面积；
[0057]在本实施例中，Al〈50%，烟叶铺叶是方向十分零散，不规整；
[0058]烟叶摆把倾角的计算:根据灰度矩阵G识别烟叶主体区域后，提取烟叶主体区域的轮廓信息，提取轮廓信息的骨骼中心线，根据提取的骨骼中心线数据，运用MCCV剔除异常点，根据PLS进行线性拟合;根据拟合的数据，计算拟合线与铺叶输送带边缘的夹角，该夹角即为烟叶摆把的倾角，计算倾角为32度，如图4示，图中从左至有依次为根据灰度矩阵得到的烟叶的主体区域图、为烟叶的连通区域图、拟合曲线图；
[0059]其中计算倾角的方法具体为:
[0060]设y为因变量(输送带运输方向像素点坐标)，x为自变量(输送带垂直方向像素点坐标)，多元线性回归的理论模型为
[0061]γ = βο+βιχ；
[0062I运用PLS来求解系数[βο,βι]
[0063]然后根据如下的公式来计算拟合线与X轴(主体烟叶与输送带垂直方向的夹角)计算公式为:如果βι>0，倾角
[0064]ql=atan((sl))*180/3.145926;，如果βι<0，倾角为
[0065]ql =atan( (βι) )*180/3.145926+180 ；
[0066]识别烟叶的色差分布:将铺叶后的每个格子的图像进行滤波去除噪声，获取图像的RGB空间矩阵，再进行灰度处理，按照灰度等级从小到大进行排序，选取小于？％的灰度数据，P的阈值的根据烟梗所占整个烟叶的比例确定，计算小于P%的灰度数据的空间分布距离;采用去头截尾的办法计算空间分布距离的平均值;从而得到二值图，根据二值图可直接判别出烟梗和烟叶色差分布，并计算深色颜色分布点距离输送带垂直距离占图像长度的百分比；色差分布图如图5所示，图中深色区域为烟梗所在位置，本实施例中？％的取值为10%。
[0067]铺叶的规整性评价:烟叶主体区域的烟叶摆把倾角为32度，深色颜色分布离开输送带摆把侧的垂直距离超过该方向边框长度的10%，判定为铺叶较为凌乱，不合格。
【主权项】
1.一种基于工业相机的铺叶台烟叶摆把监控装置，其特征在于，所述监控装置包括铺叶台，位于铺叶台上方的工业相机以及计算机； 所述铺叶台为白色或乳白色的烟叶运输带，烟叶运输带上采用数字、字母或文字来标记铺叶区域，把烟叶输送带平均分为若干个格子，在每个格子的其中一个斜上角及其对应的斜下角标记小数字、字母或文字，在每个格子的中间区域标记大数字、字母或文字;数字、字母或文字的颜色明显区别于烟叶输送带和烟叶的颜色;校正好工业相机，铺叶前后，以烟叶输送带的边缘作为基准线，实时获取烟叶输送带每个格子上的图像，工业相机拍摄图像后通过有线或无线的方式发送到计算机中，由计算机处理后评价铺叶的规整性。2.如权利要求1所述的基于工业相机的铺叶台烟叶摆把监控装置，其特征在于，所述铺叶区域上标记的数字、字母或文字是在烟叶输送带制作过程中通过有色橡胶热合在输送带表面。3.如权利要求1所述的基于工业相机的铺叶台烟叶摆把监控装置，其特征在于，所述工业相机位于烟叶输送带上方的支架上，距烟叶输送带的距离为1200?1800mm。
【文档编号】G06T7/00GK205427956SQ201620168784
【公开日】2016年8月3日
【申请日】2016年3月4日
【发明人】戴永生, 张军, 周德荣, 薛庆逾, 黄琨, 伍俊文, 吴国敏, 沈荣, 李永坚, 石超
【申请人】红塔烟草（集团）有限责任公司楚雄卷烟厂