基于神经网络和图像识别的茶小绿叶蝉叮咬鲜叶等级分类方法和装置

本发明涉及图像处理，具体涉及一种基于神经网络和图像识别的茶小绿叶蝉叮咬鲜叶等级分类方法和装置。

背景技术：

1、茶叶是一种极具营养价值和经济价值的饮料作物。茶鲜叶原料质量是茶叶品质的基础，鲜叶的准确等级判别是实现茶叶标准化加工的前提。目前茶鲜叶原料的质量评估主要通过人工感官评价，所得结果易受主观因素影响，缺乏量化的评价指标。因此建立一种科学、客观、便捷的茶鲜叶质量等级评价方法对茶叶标准化加工，科学指导生产，具有极其重要的现实意义。

2、现有研究表明，当茶树受到昆虫的侵蚀后会释放出不同的挥发性物质，对茶叶香气的形成和变化影响较大。由于茶树经小绿叶蝉聚集侵害后不仅释放出一些“互利素”，而且在茶树叶片中合成并贮存了更多的挥发物或者挥发物的前体，包括以挥发物为配基的糖苷，这些香气前体物质在加工过程中水解或转化，从而形成茶产品独特的风味品质。但目前田间观察发现，不同茶小绿叶蝉叮咬程度会对茶叶品质及产量有不一样的影响，叮咬轻的茶青制成的成品茶蜜香不明显，叮咬过重则会导致芽梢生长缓慢或停止，严重时会导致嫩叶全部焦枯脱落，影响茶叶产量。

3、在目前的茶园管理中，对茶小绿叶蝉叮咬后的茶鲜叶状况的判别，很大程度上还是依据人工经验进行外观判断，受主观因素的影响较大，从而导致茶鲜叶等级判别不统一，茶青外观与内质的综合检测分级技术缺乏导致茶青质量不齐、成品茶质量参差不齐等问题，极大阻碍了茶产业的标准化和规模化发展。

4、目前，深度学习解决茶青分类的一个有效办法。但是现有的技术在利用图像的处理，对颜色相近的茶鲜叶是无法通过图像进行分类识别出来的，现有技术中在利用光谱领域来解决，但是数据处理存在一定的冗余，利用深度学习进行数据处理会时间过长，效果不佳，同时深度学习需要大量的有效标签化的数据，极大地阻碍了光谱技术的应用，因此茶青分类对茶产业来说是一个亟待解决的技术难题。

技术实现思路

1、针对所述缺陷，本发明实施例公开了一种基于神经网络和图像识别的茶小绿叶蝉叮咬鲜叶等级分类方法和装置，其以自然场景图像中茶小绿叶蝉叮咬后的茶鲜叶为主要对象，结合图像识别及深度学习，可以做到精确检测茶小绿叶蝉叮咬程度的同时对茶鲜叶进行等级分类，为茶鲜叶原料适度的推断、茶鲜叶质量等级评定的定量化、自动化、规模化提供有力支撑。

2、本发明实施例第一方面公开一种基于神经网络和图像识别的茶小绿叶蝉叮咬鲜叶等级分类方法，其包括：

3、利用彩色相机采集不同叮咬程度的茶鲜叶图像，构成基础数据集，所述不同叮咬程度包括正常、轻度、中度和重度；

4、对所述基础数据集中的每个茶鲜叶图像进行数据预处理，所述数据预处理包括归一化处理和使用retinex算法来增强每个茶鲜叶图像并减少光线变化和阴影的影响；

5、人工标注所述基础数据集中的每个茶鲜叶图像；

6、对所述基础数据集进行数据增广，构建增广数据集；

7、构建卷积神经网络初始模型，利用所述增广数据集对所述卷积神经网络模型进行训练，得到卷积神经网络模型；

8、利用所述卷积神经网络模型对目标茶鲜叶图像进行分级。

9、作为较佳的实施例，在本发明实施例的第一方面中，对所述基础数据集中的每个茶鲜叶图像进行数据预处理，包括：

10、将所述茶鲜叶图像的像素值转化为0-1之间，得到茶鲜叶归一化图像；

11、从所述茶鲜叶归一化图像中分离出光照分量，以获取反射图像：

12、log[r(x,y)]＝log[s(x,y)]-log[l(x,y)]

13、其中，s(x,y)为茶鲜叶归一化图像，r(x,y)为反射图像，l(x,y)为光照分量，光照分量l(x,y)通过高斯核g(x,y)与茶鲜叶归一化图像s(x,y)的卷积计算出来：

14、log[r(x,y)]＝log[s(x,y)]-log[(s(x,y)*g(x,y))]

15、再将反射图像r(x,y)的像素值映射到[0，255]内，即可得到去除光照分量后的反射图像r′(x,y)，记为茶鲜叶增强图像。

16、作为较佳的实施例，在本发明实施例的第一方面中，人工标注所述基础数据集中的每个茶鲜叶图像，包括：

17、使用图像标注工具labelme标注每个茶鲜叶图像，并使用python脚本将标注后的数据格式转为coco格式。

18、作为较佳的实施例，在本发明实施例的第一方面中，对所述基础数据集进行数据增广，构建增广数据集，包括：

19、根据所述人工标注结果对所述基础数据集按照不同叮咬程度划分成四个类别的训练样本集；

20、对所述训练样本集使用python库中的数据增强库augmentor或retinex进行随机增广，将每个类别的训练样本集中的训练样本数量扩增至原来的n倍，n为大于1的正整数。

21、作为较佳的实施例，在本发明实施例的第一方面中，构建卷积神经网络初始模型，利用所述增广数据集对所述卷积神经网络模型进行训练，得到卷积神经网络模型，包括：

22、使用yolov7s作为卷积神经网络初始模型的网络结构；

23、在原yolov7s的head部或/和neck部添加cbam注意力机制，形成最终的卷积神经网络初始模型；

24、将所述增广数据集按照预设比例划分成训练集、测试集和验证集；

25、使用所述训练集对所述卷积神经网络初始模型进行训练，并使用测试集和验证集对训练得到的卷积神经网络模型进行测试和验证。

26、作为较佳的实施例，在本发明实施例的第一方面中，在所述yolov7s网络的head部添加cbam注意力机制，包括：

27、对第一数据按照通道进行全局最大池化和均值池化，将按通道进行全局最大池化和均值池化的两个一维向量送入全连接层运算后相加，生成第一一维通道注意力，再将所述第一一维通道注意力与所述第一数据相乘，获得通道注意力调整后的第一特征图f′；将所述第一特征图f′按空间进行全局最大池化和均值池化，将按空间进行全局最大池化和均值池化生成的两个二维向量拼接后进行卷积操作，最终生成第一二维空间注意力，再将所述第一二维空间注意力与所述第一特征图f′按元素相乘，形成所述yolov7s网络的head部的输出信息；

28、在所述yolov7s网络的neck部添加cbam注意力机制，包括：

29、对第二数据按照通道进行全局最大池化和均值池化，将按通道进行全局最大池化和均值池化的两个一维向量送入全连接层运算后相加，生成第二一维通道注意力，再将所述第二一维通道注意力与所述第二数据相乘，获得通道注意力调整后的第二特征图f′；将所述第二特征图f′按空间进行全局最大池化和均值池化，将按空间进行全局最大池化和均值池化生成的两个二维向量拼接后进行卷积操作，最终生成第二二维空间注意力，再将所述第二二维空间注意力与所述第二特征图f′按元素相乘，形成所述yolov7s网络的neck部的输出信息；

30、所述第一数据为输入所述yolov7s网络的head部的数据，所述第二数据为输入所述yolov7s网络的neck部的数据。

31、作为较佳的实施例，在本发明实施例的第一方面中，利用所述卷积神经网络模型对目标茶鲜叶图像进行分级，包括：

32、将所述目标茶鲜叶图像进行归一化处理和使用retinex算法来增强每个茶鲜叶图像并减少光线变化和阴影的影响，得到目标茶鲜叶增强图像；

33、将所述目标茶鲜叶增强图像输入所述卷积神经网络模型，得到所述目标茶鲜叶增强图像的分级结果。

34、本发明实施例的第二方面公开一种基于神经网络和图像识别的茶小绿叶蝉叮咬鲜叶等级分类装置，包括：

35、构建单元，用于利用彩色相机采集不同叮咬程度的茶鲜叶图像，构成基础数据集，所述不同叮咬程度包括正常、轻度、中度和重度；

36、预处理单元，用于对所述基础数据集中的每个茶鲜叶图像进行数据预处理，所述数据预处理包括归一化处理和使用retinex算法来增强每个茶鲜叶图像并减少光线变化和阴影的影响；

37、标注单元，用于人工标注所述基础数据集中的每个茶鲜叶图像；

38、增广单元，用于对所述基础数据集进行数据增广，构建增广数据集；

39、训练单元，用于构建卷积神经网络初始模型，利用所述增广数据集对所述卷积神经网络模型进行训练，得到卷积神经网络模型；

40、分级单元，用于利用所述卷积神经网络模型对目标茶鲜叶图像进行分级。作为较佳的实施例，在本发明实施例的第二方面中，所述预处理单元，包括：

41、归一化子单元，用于将所述茶鲜叶图像的像素值转化为0-1之间，得到茶鲜叶归一化图像；

42、分离子单元，用于从所述茶鲜叶归一化图像中分离出光照分量，以获取反射图像：

43、log[r(x,y)]＝log[s(x,y)]-log[l(x,y)]

44、其中，s(x,y)为茶鲜叶归一化图像，r(x,y)为反射图像，l(x,y)为光照分量，光照分量l(x,y)通过高斯核g(x,y)与茶鲜叶归一化图像s(x,y)的卷积计算出来：

45、log[r(x,y)]＝log[s(x,y)]-log[(s(x,y)*g(x,y))]

46、映射子单元，用于再将反射图像r(x,y)的像素值映射到[0，255]内，即可得到去除光照分量后的反射图像r′(x,y)，记为茶鲜叶增强图像。

47、作为较佳的实施例，在本发明实施例的第二方面中，所述训练单元，包括：

48、选择子单元，用于使用yolov7s作为卷积神经网络初始模型的网络结构；

49、添加子单元，用于在原yolov7s的head部添加cbam注意力机制，形成最终的卷积神经网络初始模型；

50、划分子单元，用于将所述增广数据集按照预设比例划分成训练集、测试集和验证集；

51、训练子单元，用于使用所述训练集对所述卷积神经网络初始模型进行训练，并使用测试集和验证集对训练得到的卷积神经网络模型进行测试和验证。

52、本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的一种基于神经网络和图像识别的茶小绿叶蝉叮咬鲜叶等级分类方法。

53、本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种基于神经网络和图像识别的茶小绿叶蝉叮咬鲜叶等级分类方法。

54、本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种基于神经网络和图像识别的茶小绿叶蝉叮咬鲜叶等级分类方法。

55、本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种基于神经网络和图像识别的茶小绿叶蝉叮咬鲜叶等级分类方法。

56、与现有技术相比，本发明实施例具有以下有益效果：

57、本发明实施例以自然场景图像中茶小绿叶蝉叮咬后的茶鲜叶为主要对象，结合图像识别技术及深度学习，可以做到精确检测茶小绿叶蝉叮咬程度的同时对茶鲜叶进行等级分类，为茶鲜叶原料适度的推断、茶鲜叶质量等级评定的定量化、自动化、规模化提供有力支撑。