基于图像识别的茶鲜叶自动拣选设备及方法与流程

1.本发明涉及茶叶加工领域，具体为基于图像识别的茶鲜叶自动拣选设备及方法。


背景技术：

2.茶鲜叶是制茶的原料，鲜叶质量是茶叶品质的基础，优质的鲜叶才能加工出优良的茶叶，故鲜叶质量标准的研究是一项非常重要的工作。目前茶鲜叶分级主要有三种方法：鲜叶风选、滚筛分选和震动筛分。鲜叶风选出的鲜叶存在重叠遮挡，分选效果、效率有待提高；而滚筛分选茶叶常因振动勾挂在筛眼上，清理十分困难且不易拆卸，导致过滤网容易堵塞对后续筛选产生影响。
3.随着茶叶科学、图像识别、智能控制技术的发展，茶叶加工设备向机械化、自动化、智能化和茶叶产品标准化的升级已成为必然的发展趋势，为此我们提供基于图像识别的茶鲜叶自动拣选设备及方法。
4.对茶叶进行图像识别是较为成熟的技术，例如中国专利cn111414971a就公开一种基于卷积神经网络的成品茶叶种类及品级识别方法，还又如cn115019226a公开了一种基于改进型yolov4模型的茶叶采摘识别方法，cn115338875a公开了一种基于图像识别的茶叶智能采摘系统及方法。这些现有技术都可以实现利用计算机自动识别出茶叶的缺陷，但这些现有技术都是立足于茶叶的自动摘采阶段，就目前的行业现状来说，种植茶叶的地区一般较为偏远，想要大规模实现自动摘采不大现实，因此发明主要是想到在对摘采后的茶叶进行自动拣选，这样就可以将自动拣选设备布置在厂房中，相较于自动摘采更具有可大规模推广的可能。


技术实现要素：

5.针对现有技术将图像识别技术和自动摘采结合难以在种植现场推广的问题，本技术提供了一种将图像识别技术和自动拣选结合的技术，通过自动化的手段实现批量的茶叶拣选。
6.本发明的技术方案：
7.一种基于图像识别的茶鲜叶自动拣选设备，包括进料装置和传送装置4，传送装置4上方设有图像识别装置5、拣选装置6和控制器，图像识别装置5下方是图像识别区，拣选装置6下方是拣选区，图像识别区与拣选区大小形状相同，图像识别区和拣选区均由多个等边长的小区域排列组成。
8.所述传送装置4的进料口通过振动给料器3与进料装置出料口连接，所处传送装置4经过图像识别区和拣选区，出料口与尾料斗8连接，所述图像识别区和拣选区紧挨无间距连接。
9.所述图像识别区位于拣选区上游且两者紧挨无间距连接，图像识别区和拣选区分别均分为24个等边长的小区域，保证两个区域之间坐标一一对应，传送装置4间歇式运动，每次运动的距离等于一个图像识别区的长度。
10.所述图像识别装置包括第一箱体51、支架53、ccd相机52、光源54，第一箱体51位于传送装置4正上方，第一箱体51内部顶端中心位置布置有支架53，支架53上安装工业彩色ccd相机52，第一箱体51内部沿着传送装置4运动方向的两侧各斜向安装有一排led面光源54，第一箱体51内部沿着传送装置4的进出两端设置有防叠加结构55，所述防重叠装置55采用横、纵、竖向三轴机械臂结构的吸盘，通过连接的出料管将重叠鲜叶移至尾料；所述第一箱体51的内壁设为黑色，所述ccd相机52的镜头与传送带相对平行，所述led面光源54斜向传送带上茶鲜叶照射。
11.所述拣选装置6包括第二箱体61，箱体61内侧顶端均匀安装有led面光源63，光源63下方是支架64，支架64上安装有两排吸盘62，两排吸盘62布置于拣选区06顶端中轴线处，每个吸盘对应一个拣选区的小区域，与以中轴线为分界线两排吸盘分别负责各自区域的拣选工作。
12.所述吸盘62采用横、纵两轴机械臂结构，采用液压动力驱动，吸嘴采用“碗形结构”，且与出料管相连，出料管用于输送不符合条件的茶鲜叶至尾料。
13.一种的基于图像识别的茶鲜叶自动拣选方法，包括上述自动拣选设备，包括：
14.步骤a，利用图像识别装置5对传输装置4上位于图像识别区的茶叶进行图像数据采集，识别出不合格茶叶的坐标；
15.步骤b，传输装置4移动一个识别区的长度距离，根据不合格茶叶的坐标启动对应的吸盘62将茶叶吸出；
16.重复步骤a和b。
17.步骤a包括：
18.a1，所述传输装置4将茶鲜叶送至图像识别区后，传送带停止运行；
19.a2，工业ccd线阵相机52获取传送带上茶鲜叶的图像数据，并对数据进行滤波去噪预处理，随后提取茶鲜叶的外形轮廓，最后进行形态学处理，检测到茶鲜叶存在重叠现象时，确定重叠茶鲜叶的坐标并将其坐标上传至控制器，驱动防重叠结构(55)吸走重叠的鲜叶，至检测无重叠鲜叶止；
20.a3，将提取的茶鲜叶外形轮廓与设置的符合条件的标准外形轮廓进行对比，若对比误差小于误差设定值，则判定茶鲜叶符合条件，反之则判定茶鲜叶不符合条件；
21.a4，根据识别结果，锁定不符合条件的茶鲜叶的坐标，并将坐标发送给控制器，然后启动传送装置运动一个识别区的长度距离，将另一批茶鲜叶传送至图像识别区5。
22.在a2中，所述图像识别区(5)检测到茶鲜叶存在重叠现象时，确定重叠茶鲜叶的坐标并将其坐标上传至控制器，驱动防重叠结构(55)吸走重叠的鲜叶，至检测无重叠鲜叶止，所述防重叠装置(55)采用横、纵、竖向三轴机械臂结构的吸盘，通过连接的出料管将重叠鲜叶移至尾料。
23.在a4中：所述不符合条件的茶鲜叶位于两个及以上小区域时，通过算法确定茶鲜叶的重心，并将重心的坐标发送给控制器；当检测到重心位于两个及以上小区域分界处时，计算茶鲜叶位于不同小区域的面积，比较不同小区域面积的大小，以面积最大值的小区域坐标为准，并将其坐标上传至控制器。
24.具体的步骤包括：
25.1人工或通过自动化设备将茶鲜叶放入进料斗1中，启动提升机2和振动给料器3和
传送装置4；
26.2所述传送装置4的传感器检测有茶鲜叶时，传送装置4将茶鲜叶均匀不重叠的输送至图像识别区，然后停止运行；
27.3所述图像识别装置5的工业ccd相机52获取传送带上茶鲜叶的图像数据，识别出茶鲜叶的外形轮廓，将不符合条件的茶鲜叶的坐标发送给控制器，然后再次启动传送装置；
28.4所述传送装置4将已识别的茶鲜叶输送至拣选区后停止运行，控制器根据接收的坐标信息，驱动拣选区对应的吸盘，依次将不符合条件的茶鲜叶输送至尾料斗8；此时图像识别区开始对下一批茶叶执行步骤2；
29.5再次启动传送装置4，将符合条件的全部茶鲜叶输送至茶叶加工的下一道工序进行加工；此时图像识别区和拣选区开始对下一批茶叶执行识别和拣选；
30.6重复步骤2-5，直至完成全部茶鲜叶的分选。
31.本发明的有益效果是：
32.1.本发明的基于图像识别的茶鲜叶自动拣选设备及方法，进料装置中提升机、振动给料器，以及传送装置的传送带三者配合，叠加图像识别区防叠加结构功能，使茶鲜叶均匀、不重叠的摊开在传送带上，便于工业ccd相机清晰、准确、高效的获取图像数据，有助于提高茶鲜叶的识别率。
33.2.控制器设置有一牙、一芽一叶、一芽二叶、一芽三叶等鲜叶的标准轮廓，可根据需求灵活选用茶鲜叶的标准轮廓，将一致性相似的茶鲜叶分选出来，可提高茶鲜叶的质量，有助于提升成品茶叶的品质。
34.3.可实现茶鲜叶自动上料、自动下料、自动分选等功能，自动化程度较高，可降低人工劳动强度和成本，提高分选效率。
35.4.本发明将图像识别区和拣选区划分为多个小区域，两个区域的坐标一一对应，每个区域用一个吸盘负责该区域的茶叶拾取，实现流水化作业。
附图说明
36.图1为本发明的结构示意图。
37.图2为本发明图像识别装置的结构示意图。
38.图3为本发明拣选装置的结构示意图。
39.图中：1-进料斗，2-提升机，3-振动给料器，4-传送带，5-图像识别装置，6-拣选装置，7-支架，8-喂料斗，51-箱体，52-工业ccd相机，53-支架，54-面光源，55-防叠加结构，61-箱体，62-吸盘，63-面光源，64-支架。
具体实施方式
40.实施例1：
41.如图1—图3，基于图像识别的茶鲜叶自动拣选设备：包括进料装置、传送装置4、图像识别区5、拣选区6、控制器，所述传送装置4的进料口通过振动给料器3与进料装置出料口连接，所处传送装置4贯穿图像识别区和拣选区，出料口与尾料斗8连接，所述图像识别区和拣选区紧挨无间距连接。所述进料装置包括进料斗1、提升机2、振动给料器3，提升机2进料口位于进料斗1下方，提升机2出料口位于振动给料器3的上方。所述图像识别区位于拣选区
上游侧，两个区域的边长大小相同，均分为24个等边长的小区域，保证两个区域之间坐标一一对应。所述图像识别装置5包括箱体51、支架53、ccd相机52、光源54，箱体51位于传送装置4正上方，箱体51内部顶端中心位置布置有支架53，支架53上安装工业彩色ccd相机52，箱体51两侧各斜向安装有一排led面光源54，箱体51的另两侧设置有防叠加结构55。所述箱体51的内壁设为黑色，所述ccd相机52的镜头与传送带相对平行，所述led面光源54斜向传送带上茶鲜叶照射。
42.对于茶叶的图像识别方法，包括如下步骤：
43.a1，所述传输装置4将茶鲜叶送至图像识别区5后，传送带停止运行；
44.a2，工业ccd线阵相机52获取传送带上茶鲜叶的图像数据，并对数据进行滤波去噪预处理，随后提取茶鲜叶的外形轮廓，最后进行形态学处理；
45.a3，将提取的茶鲜叶外形轮廓与设置的符合条件的标准外形轮廓进行对比，若对比误差小于误差设定值，则判定茶鲜叶符合条件，反之则判定茶鲜叶不符合条件；
46.a4，根据识别结果，锁定不符合条件的茶鲜叶的坐标，并将坐标发送给控制器，然后启动传送装置，将另一批茶鲜叶传送至图像识别区5；
47.a5，重复a2-a4。
48.在所述a2中，当识别到传送带上的茶鲜叶存在叠加时，所述防叠加结构55先将叠加的茶鲜叶输送至尾料斗8。
49.在所述a4中，所述不符合条件的茶鲜叶位于两个及以上小区域时，通过专业算法确定茶鲜叶的重心，并将重心的坐标发送给控制器；当检测到重心位于两个及以上小区域分界处时，计算茶鲜叶位于不同小区域的面积，比较不同小区域面积的大小，以面积最大值的小区域坐标为准，并将其坐标上传至控制器。
50.所述拣选装置6包括箱体61，箱体61内侧顶端均匀安装有led面光源63，光源63下方是支架64，支架64上安装有两排吸盘62，每排安装12个吸盘62，两排吸盘62布置于拣选区06顶端中轴线处，以中轴线为分界线两排吸盘分别负责各自区域的拣选工作。
51.所述吸盘62采用横、纵两轴机械臂结构，采用液压动力驱动，吸嘴采用“碗形结构”，且与出料管相连，出料管用于输送不符合条件的茶鲜叶至尾料斗。
52.所述拣选区的24个吸盘每个负责一个小区域，根据接收的坐标驱动对应吸盘62先横向移动，再纵向移动，剔除不符合条件的茶鲜叶。
53.基于图像识别的茶鲜叶自动拣选设备的操作方法包括以下步骤：
54.1)人工或通过自动化设备将茶鲜叶放入进料斗1中，启动提升机2和振动给料器3和传送装置4；
55.2)所述传送装置4的传感器检测有茶鲜叶时，传送装置4将茶鲜叶均匀不重叠的输送至图像识别区，然后停止运行；
56.3)在图像识别区上方的工业ccd相机52获取传送带上茶鲜叶的图像数据，识别出茶鲜叶的外形轮廓，将不符合条件的茶鲜叶的坐标发送给控制器，然后再次启动传送装置4；
57.4)所述传送装置4将已识别的茶鲜叶输送至拣选区6后停止运行，控制器根据接收的坐标信息，驱动拣选区6对应的吸盘62，依次将不符合条件的茶鲜叶输送至尾料斗8；
58.5)再次启动传送装置4，将符合条件的全部茶鲜叶输送至茶叶加工的下一道工序
进行加工；
59.6)重复步骤2-5，直至完成全部茶鲜叶的分选。。
60.实施例2：
61.一种基于图像识别的茶鲜叶自动拣选设备，包括进料装置和传送装置4，传送装置4上方设有图像识别装置5、拣选装置6和控制器，图像识别装置5下方是图像识别区，拣选装置6下方是拣选区，图像识别区与拣选区大小形状相同，图像识别区和拣选区均由多个等边长的小区域排列组成。
62.所述传送装置4的进料口通过振动给料器3与进料装置出料口连接，所处传送装置4经过图像识别区和拣选区，出料口与尾料斗8连接，所述图像识别区和拣选区紧挨无间距连接。本实施例的实现原理就是首先把茶叶铺在平面上，经过图像识别区寻找出不合格的茶叶并记录其位置，然后整体移动至拣选区，由于拣选区的和图像识别区的大小和区域划分都相同，在拣选区直接根据刚才记录的位置进行茶叶移除即可将不合格的茶叶去掉，由于拣选区的和图像识别区分离，可以相互独立工作实现流水线生产。
63.所述图像识别装置5包括第一箱体51、支架53、ccd相机52、光源54，第一箱体51位于传送装置4正上方，第一箱体51内部顶端中心位置布置有支架53，支架53上安装工业彩色ccd相机52，第一箱体51内部沿着传送装置4运动方向的两侧各斜向安装有一排led面光源54，第一箱体51内部沿着传送装置4的进出两端设置有防叠加结构55；所述第一箱体51的内壁设为黑色，所述ccd相机52的镜头与传送带相对平行，所述led面光源54斜向传送带上茶鲜叶照射。本实施例中的防叠加结构55较为简单，就是一个限高的杆，将输入的识别区的茶叶尽量铺开。
64.所述拣选装置6包括第二箱体61，箱体61内侧顶端均匀安装有led面光源63，光源63下方是支架64，支架64上安装有两排吸盘62，两排吸盘62布置于拣选区06顶端中轴线处，每个吸盘对应一个拣选区的小区域，与以中轴线为分界线两排吸盘分别负责各自区域的拣选工作。
65.控制器连接图像识别装置5和拣选装置6，在控制器中运行图像识别软件对茶叶进行识别，将提取的茶鲜叶外形轮廓与设置的符合条件的标准外形轮廓进行对比，若对比误差小于误差设定值，则判定茶鲜叶符合条件，反之则判定茶鲜叶不符合条件，据识别结果，锁定不符合条件的茶鲜叶的坐标，并将坐标发送给拣选装置6，拣选装置6根据坐标启动对应小区域的吸盘62，先横向移动，再纵向移动，剔除不符合条件的茶鲜叶。
66.所述图像识别区位于拣选区上游且两者紧挨无间距连接，图像识别区和拣选区分别均分为24个等边长的小区域，保证两个区域之间坐标一一对应，传送装置4间歇式运动，每次运动的距离等于一个图像识别区的长度。
67.所述吸盘62采用横、纵两轴机械臂结构，采用液压动力驱动，吸嘴采用“碗形结构”，且与出料管相连，出料管用于输送不符合条件的茶鲜叶至尾料。
68.一种的基于图像识别的茶鲜叶自动拣选方法，包括上述自动拣选设备，包括：
69.步骤a，利用图像识别装置5对传输装置4上位于图像识别区的茶叶进行图像数据采集，识别出不合格茶叶的坐标；
70.步骤b，传输装置4移动一个识别区的长度距离，根据不合格茶叶的坐标启动对应的吸盘62将茶叶吸出；
71.重复步骤a和b。
72.步骤a包括：
73.a1，所述传输装置4将茶鲜叶送至图像识别区后，传送带停止运行；
74.a2，工业ccd线阵相机52获取传送带上茶鲜叶的图像数据，并对数据进行滤波去噪预处理，随后提取茶鲜叶的外形轮廓，最后进行形态学处理；
75.a3，将提取的茶鲜叶外形轮廓与设置的符合条件的标准外形轮廓进行对比，若对比误差小于误差设定值，则判定茶鲜叶符合条件，反之则判定茶鲜叶不符合条件；
76.a4，根据识别结果，锁定不符合条件的茶鲜叶的坐标，并将坐标发送给控制器，然后启动传送装置运动一个识别区的长度距离，将另一批茶鲜叶传送至图像识别区5。
77.在a2中，所述图像识别区检测到茶鲜叶存在重叠现象时，确定重叠茶鲜叶的坐标并将其坐标上传至控制器，驱动防重叠结构55吸走重叠的鲜叶，至检测无重叠鲜叶止，所述防重叠装置55采用横、纵、竖向三轴机械臂结构的吸盘，通过连接的出料管将重叠鲜叶移至尾料。
78.在a4中：所述不符合条件的茶鲜叶位于两个及以上小区域时，通过算法确定茶鲜叶的重心，并将重心的坐标发送给控制器；当检测到重心位于两个及以上小区域分界处时，计算茶鲜叶位于不同小区域的面积，比较不同小区域面积的大小，以面积最大值的小区域坐标为准，并将其坐标上传至控制器。为简化计算，本实施例中直接以识别到的单个叶片图像的中心作为叶片重心。
79.具体的步骤包括：
80.1人工或通过自动化设备将茶鲜叶放入进料斗1中，启动提升机2和振动给料器3和传送装置4；
81.2所述传送装置4的传感器检测有茶鲜叶时，传送装置4将茶鲜叶均匀不重叠的输送至图像识别区，然后停止运行；
82.3所述图像识别装置5的工业ccd相机52获取传送带上茶鲜叶的图像数据，识别出茶鲜叶的外形轮廓，将不符合条件的茶鲜叶的坐标发送给控制器，然后再次启动传送装置；
83.4所述传送装置4将已识别的茶鲜叶输送至拣选区后停止运行，控制器根据接收的坐标信息，驱动拣选区对应的吸盘，依次将不符合条件的茶鲜叶输送至尾料斗8；此时图像识别区开始对下一批茶叶执行步骤2；
84.5再次启动传送装置4，将符合条件的全部茶鲜叶输送至茶叶加工的下一道工序进行加工；此时图像识别区和拣选区开始对下一批茶叶执行识别和拣选；
85.6重复步骤2-5，直至完成全部茶鲜叶的分选。