一种基于机器视觉的鲜烟部位识别方法与流程

1.本发明涉及图像处理技术领域，尤其涉及鲜烟叶的自动识别及分类，具体为一种基于机器视觉的鲜烟部位识别方法。


背景技术：

2.部位是影响烟叶烘烤工艺参数的重要因素。采收后鲜烟烘烤工艺参数的设置由烘烤技师根据部位、成熟度等特征进行经验判断，主观差异较大，烤后烟叶质量参差不齐，随着物联网智能烘烤技术的发展，基于图像识别的烟叶自动烘烤将逐步替代人工烤烟。
3.近年来，基于图像分析的植物分类研究有较大进展，filipa等采用混合模型设定阈值的方法分割图像背景，并基于特征排序方法实现植株图像精准分割；董本志等基于freeman链码方法对叶片图像中的拐角点进行检测，叶面积和叶周长的计算精确度有显著提高；董红霞等基于狭长度、矩形度等7项相对几何特征和纹理特征，并利用bp神经网络对叶片进行分类，识别准确率达到98.4％；魏蕾等选取多个特征参数，利用svm分类器对4种叶片进行识别，准确率达到95.8％；lukic等人采用hu不变矩和lbp算法提取特征，svm作为分类器进行植物分类识别；李洋等提出一种基于形态特征的植物叶片识别算法，采用knn-svm对叶片进行分类识别；qi zhang等对10种分类器进行评估，发现在不同特征的叶片识别中，随机森林和逻辑回归具有较高的准确性和稳定性。这些研究结果都可以验证不同机器视觉与人工检测、气相光谱和液相光谱等方法相比，具有简便、高效、无损的特点。
4.目前，机器视觉的方法在烟草识别领域的研究也取得了较大进展，但主要针对烤后烟叶的分级以及烟叶成熟度的识别，如公开号cn110415181a的中国专利于2019年11月5日公开的一种开放环境下烤烟rgb图像智能识别及等级判定方法，且现有技术大多采用颜色、纹理等图像特征，而对鲜烟叶部位的识别鲜有报道。在烤烟采收环节中，不同部位烤烟的外观形态特征、干物质积累量均存在一定差异性，导致烟叶烘烤特性差异较大，正确识别烟叶部位、匹配合理工艺参数是提高烟叶烘烤质量的重要一环。


技术实现要素：

5.为克服上述现有技术的不足，本发明提供一种基于机器视觉的鲜烟部位识别方法，该方法利用机器视觉技术，提取烟叶的形态特征参数，采用机器学习方法建立分类识别模型，实现鲜烟叶部位的自动、准确识别。
6.本发明是通过以下技术方案予以实现的：
7.一种基于机器视觉的鲜烟部位识别方法，所述方法包括：
8.建立鲜烟叶不同部位的叶片采收图库，采收拍照时鲜烟叶旁放标准刻度尺；
9.对叶片采收图库中的图片进行预处理，并采用canny算子对预处理后的图片进行烤烟轮廓边缘曲线提取；
10.基于提取的烤烟轮廓边缘曲线构建叶片轮廓的外接矩形；
11.基于叶片轮廓的外接矩形进行叶片特征参数提取，以叶片轮廓上距离最大的两个
点之间连线的像素点数量作为最大叶长，以叶片轮廓上与叶长垂直、且距离最远的两点之间连线的像素点数量作为最大叶宽，根据最大叶长和最大叶宽计算得到叶宽比；
12.根据最大叶长、最大叶宽和长宽比，建立鲜烟叶部位判别模型为：部位＝a+b
×
最大叶长+c
×
最大叶宽+d
×
长宽比。
13.上述技术方案通过烤烟轮廓边缘曲线提取叶片特征参数，并根据提取的叶片特征参数建立鲜烟叶参数与部位判别模型，实现从鲜烟叶参数到部位的直接转换，该技术方案只需要获取鲜烟叶图像、提取出叶片特征参数并输入鲜烟叶部位判别模型，即可直接得到部位判别结果，解决了现有烘烤之前通过人工判别再输入部位信息匹配工艺参数造成的效率低下的问题，有利于烘烤工艺的数字化定制。
14.上述技术方案应用于智能烘烤过程中，由于不再由人工进行干预，而是采用机器视觉准确地判别烤烟部位，进而匹配最佳烘烤工艺参数，使得能够利用机器视觉判别烤烟部位的准确率达到提高烘烤质量的目的。
15.由于叶片拍摄时以标准刻度尺为参考，因此获取的图像中，可根据标准刻度尺的像素占比计算最大叶长、最大叶宽及叶宽比。
16.作为进一步的技术方案，所述方法进一步包括：将鲜烟叶的最大叶长和叶宽比输入鲜烟叶部位判别模型，输出当前叶片的部位，并根据当前部位匹配对应的烘烤工艺。
17.鲜烟叶部位判别模型的输出端可连接至烘烤控制器，由烘烤控制器根据鲜烟叶的部位自动匹配相应的烘烤工艺，实现鲜烟叶部位确定及烘烤工艺判定的智能化操作流程。
18.作为进一步的技术方案，依据逐步回归方程计算得到不同品种鲜烟叶的部位判别模型。通过获取大量的同品种鲜烟叶的最大叶长、最大叶宽及叶宽比数据，利用逐步回归方程计算得到该品种鲜烟叶的部位判别模型。
19.对于不同烟叶品种，可建立不同的鲜烟叶部位判别模型，便于实现不同品种鲜烟叶的快速部位确定及烘烤工艺判定。
20.作为进一步的技术方案，在进行逐步回归方程计算时，统计每个叶片特征参数的方差膨胀系数，将方差膨胀系数大于预设值的叶片特征参数进行剔除。
21.在利用最大叶长、最大叶宽和叶宽比进行逐步回归方程计算时，会出现某些特征参数显著性不高的问题，因此，通过统计每个特征参数的方差膨胀系数，根据方差膨胀系数来进行非显著性特征参数的剔除，在保证鲜烟叶部位判别精度的前提下，降低判别过程的计算量。
22.作为进一步的技术方案，在拍摄鲜烟叶图像时，将采收的鲜烟叶平铺放置在黑色背景布中央，旁边放置标准刻度尺，将相机固定在距地面预设距离处，调节镜头与地面垂直来进行图像采集。
23.在设置好相机、背景布及标准刻度尺后，对于新采收的鲜烟叶，只需要将鲜烟叶放置在拍摄位置即可自动采集其图像，并基于机器视觉识别自动输出当前鲜烟叶的部位，进而根据鲜烟叶部位匹配响应的烘烤工艺，实现鲜烟叶烘烤工艺的快速、准确判定，提升工作效率。
24.作为进一步的技术方案，建立鲜烟叶不同部位的叶片采收图库时，上部叶(16-21叶位)、中部叶(8-15叶位)、下部叶(1-7叶位)的图片数量均不低于100张。这样设置可满足鲜烟叶部位判别模型的训练及测试需求，使得所构建的模型能够满足精度要求。
25.作为进一步的技术方案，对叶片采收图库中的上部叶、中部叶、下部叶分别进行标注，并以预设比例随机选取训练集和测试集，用于对构建的鲜烟叶部位判别模型进行训练和测试。在鲜烟叶部位判别模型构建前，首先获取用于模型构建的叶片样本，然后由长期从事烤烟生产工作的专业人员对叶片样本进行部位判别和标注，以获取经部位标注后的叶片用于模型的训练和测试。
26.作为进一步的技术方案，对采集的图像进行预处理进一步包括：图像灰度化、高斯滤波平滑、灰度图像二值化和形态学处理，以实现叶片与背景的分离。该技术方案通过对原始采集叶片图像的一系列处理达到叶片与背景分离的目的，以便于后续的叶片轮廓曲线的提取。
27.与现有技术相比，本发明的有益效果在于：
28.(1)本发明通过烤烟轮廓边缘曲线提取叶片特征参数，并根据提取的叶片特征参数建立鲜烟叶参数与部位判别模型，实现从鲜烟叶参数到部位的直接转换，该方法只需要获取鲜烟叶图像、提取出叶片特征参数并输入鲜烟叶部位判别模型，即可直接得到部位判别结果，解决了现有烘烤之前通过人工判别部位再输入造成的效率低下的问题，有利于烘烤工艺的数字化定制。
29.(2)本发明对于不同烟叶品种，可建立不同的鲜烟叶部位判别模型，便于实现不同品种鲜烟叶的快速部位确定及烘烤工艺判定。
30.(3)本发明对于新采收的鲜烟叶，只需要将鲜烟叶放置在拍摄位置即可自动采集其图像，并基于机器视觉识别自动输出当前鲜烟叶的部位，进而根据鲜烟叶部位匹配响应的烘烤工艺，实现鲜烟叶烘烤工艺的快速、准确判定，提升工作效率。
附图说明
31.图1为根据本发明实施例的一种基于机器视觉的鲜烟部位识别方法的流程图。
32.图2为根据本发明实施例的鲜烟叶图像处理效果示意图。
33.图3为根据本发明实施例的叶片特征参数提取示意图。
具体实施方式
34.以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述发实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
35.如图1所示，本发明提供一种基于机器视觉的鲜烟部位识别方法，包括鲜烟叶图像采集步骤、鲜烟叶图像处理步骤、鲜烟叶部位判别步骤。其中，鲜烟叶图像采集步骤通过相机实现，拍摄后的图像输入鲜烟叶图像处理步骤进行图像处理，得到鲜烟叶图像的叶片特征参数，叶片特征参数输入鲜烟叶部位判别步骤，输出识别出的鲜烟叶部位，实现了鲜烟叶部位的自动机器识别，解决了人工识别鲜烟叶部位所导致的识别效率低、识别准确度低的问题。
36.在鲜烟叶图像采集步骤中，通过大量鲜烟叶采收建立鲜烟叶不同部位的叶片采收图库，采收拍照时鲜烟叶旁放标准刻度尺，便于在预处理后图像中提取到标准刻度尺的像
素数据。
37.作为一种实施方式，在拍摄鲜烟叶图像时，可将采收的鲜烟叶平铺放置在黑色背景布中央，旁边放置标准刻度尺，将相机固定在距地面预设距离处，调节镜头与地面垂直来进行图像采集。
38.在设置好相机、背景布及标准刻度尺后，对于新采收的鲜烟叶，只需要将鲜烟叶放置在拍摄位置即可自动采集其图像，并基于机器视觉识别自动输出当前鲜烟叶的部位，进而根据鲜烟叶部位匹配响应的烘烤工艺，实现鲜烟叶烘烤工艺的快速、准确判定，提升工作效率。
39.建立鲜烟叶不同部位的叶片采收图库时，上部叶、中部叶、下部叶的图片数量均不低于100张。这样设置可满足鲜烟叶部位判别模型的训练及测试需求，使得所构建的模型能够满足精度要求。
40.在鲜烟叶图像处理步骤中，包括图像预处理、叶片轮廓提取和叶片特征参数提取，该过程可在计算设备内实现，相机拍摄的叶片图像输入计算设备后，依次进行图像预处理、轮廓提取和叶片特征参数提取，输出叶片的最大叶长、最大叶宽及叶宽比。
41.图像预处理通过对原始采集叶片图像的一系列处理达到叶片与背景分离的目的，以便于后续的叶片轮廓曲线的提取。优选地，图像预处理包括：图像灰度化、高斯滤波平滑、灰度图像二值化和形态学处理，以实现叶片与背景的分离。
42.进一步地，对叶片采收图库中的图片进行预处理后，采用canny算子对预处理后的图片进行烤烟轮廓边缘曲线提取。图像预处理及轮廓提取的效果图如图2所示。
43.在叶片特征参数提取步骤中，基于提取的烤烟轮廓边缘曲线构建叶片轮廓的外接矩形；基于叶片轮廓的外接矩形进行叶片特征参数提取。由于叶片拍摄时以标准刻度尺为参考，因此获取的图像中，可根据标准刻度尺的像素占比计算最大叶长、最大叶宽及叶宽比。
44.如图3所示，以叶片轮廓上距离最大的两个点之间连线的像素点数量作为最大叶长(如t和b之间的像素点数量)，以叶片轮廓上与叶长垂直、且距离最远的两点之间连线的像素点数量作为最大叶宽(如l和r之间的像素点数量)，根据最大叶长和最大叶宽计算得到叶宽比。
45.在鲜烟叶部位判别步骤中，根据最大叶长和长宽比，建立鲜烟叶部位判别模型为：部位＝a+b
×
最大叶长+c
×
最大叶宽+d
×
长宽比。
46.在鲜烟叶部位判别模型构建前，首先获取用于模型构建的叶片样本，然后由长期从事烤烟生产工作的专业人员对叶片样本进行部位判别和标注，即对叶片采收图库中的上部叶、中部叶、下部叶分别进行标注，并以预设比例随机选取训练集和测试集，以获取经部位标注后的叶片用于模型的训练和测试。
47.基于训练集，利用逐步回归方程计算得到鲜烟叶部位判别模型的参数a、b、c、d，并利用测试集进行精度测试，最后得到符合精度要求的鲜烟叶部位判别模型。
48.优选地，依据逐步回归方程可以计算得到不同品种鲜烟叶的部位判别模型。通过获取大量的同品种鲜烟叶的最大叶长及叶宽比数据，以及这些鲜烟叶的部位标注信息，利用逐步回归方程计算得到该品种鲜烟叶的部位判别模型。
49.在进行逐步回归方程计算时，统计每个叶片特征参数的方差膨胀系数，将方差膨
胀系数大于预设值的叶片特征参数进行剔除。针对不同品种的鲜烟叶，其在逐步回归方程计算时可能存在不同的、显著性不高的特征参数，剔除该特征参数，则导致不同品种鲜烟叶的部位判别模型可能包含不一样的特征参数。例如，仅包含最大叶长和叶宽比，或者仅包含最大叶宽和叶宽比，或者最大叶长、最大叶宽和叶宽比均包含的情况。
50.在实际应用中，只需将逐步回归计算后所包含的叶片特征参数输入鲜烟叶部位判别模型，即可输出当前叶片的部位，并根据当前部位匹配对应的烘烤工艺。
51.鲜烟叶部位判别模型的输出端可连接至烘烤控制器，由烘烤控制器根据鲜烟叶的部位自动匹配相应的烘烤工艺，实现鲜烟叶部位确定及烘烤工艺判定的智能化操作流程。
52.实施例
53.以云烟87为例，选取管理规范的烟田、具有代表性的烟株并在成熟期采收，上部叶采收位置为15～18叶位，中部叶采收位置为9～12叶位，下部叶采收位置为5～7叶位。
54.邀请三名长期从事烤烟生产工作的专业人员对鲜烟叶部位进行判断，共采集480个鲜烟叶样本，其中，下部叶148个，中部叶168个，上部叶164个。将采收鲜烟叶平铺放置在黑色背景布中央，将奥林巴斯xz-1ccd相机固定在三脚架上，距地面约1.5m，利用水平仪调节镜头与地面垂直，采集图像。
55.鲜烟叶原始图像为24位真彩色图像，分辨率为3648
×
2736像素。并将上部叶、中部叶、下部叶分别以1，2，3进行标注，以4：1的比例随机选取训练集和测试集。
56.将鲜烟叶原始图像转化为灰度图像，通过高斯滤波平滑、灰度图像二值化和形态学处理实现图像中叶片与背景的分离等图像预处理，采用canny算子提取鲜烟叶轮廓边缘曲线，进而提取鲜烟叶的叶片特征参数。
57.以叶片轮廓上距离最大的两个点之间连线的像素点数量作为最大叶长，以叶片轮廓上与叶长垂直、且距离最远的两点之间连线的像素点数量作为最大叶宽，根据最大叶长、最大叶宽和最大叶宽计算得到叶宽比。
58.根据最大叶长、最大叶宽及叶宽比，结合逐步回归方程，计算得到鲜烟叶部位判别模型为部位＝-5.047+0.051
×
最大叶长+1.265
×
长宽比，该最终模型剔除了显著性不高的最大叶宽。
59.上述模型中，规定y＝1为下部叶，y＝2为中部叶，y＝3为上部叶，计算出的部位数值接近哪个部位，就确认其属于该部位，如计算出的部位数值小于1.5，则为下部叶，在1.6到2.5之间，则为中部叶，大于2.5则为上部叶。
60.基于上述模型对云烟87进行鲜烟叶的部位判别，判别结果如表1所示。
[0061][0062]
表1云烟87鲜烟叶部位识别结果
[0063]
在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0064]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案。