本发明涉及烟叶质量监测，尤其涉及一种基于多源数据融合的烟叶质量监测系统及方法。
背景技术：
1、烟叶质量分级是人工智能在烟草行业的重要应用热点之一。烟叶质量分级是依据国标要求按照烟叶的身份、油分、颜色、长度、残伤、结构和成熟度这七项因素对烟叶质量进行分类。当前烟叶质量分级仍多采用人工手动分级的方式，存在着效率低、标准不一致、存在主观性和局限性的问题。而机器视觉技术通过采集目标图像，通过计算机识别技术，结合智能算法，能够对目标进行识别和分类，在烟叶质量监测与分级上大有可为。
2、现有的对烟叶进行图像识别监测分级的方法仍存在一些问题。首先，图像识别的基础是准确采集烟叶图像，而在采集烟叶图像时，由于烟叶制造现场环境复杂，常常出现光照干扰、遮挡等情况，导致图像采集的光环境很差，致使图像识别的准确性低。其次，现有的对烟叶图像识别的技术大多处于科学研究阶段，需要人工将烟叶放置在图像采集装置处，不能做到无人化和智能化的自动传送与识别，效率较低，缺少一种能够批量自动传送与识别烟叶的质量检测系统。此外，图像采集与识别的相机通常需要光源照射，而随着使用时长越来越长，光源难免会产生衰减，会降低图像采集和识别准确性。另外，对于烟叶的图像识别需要对图像进行处理以提取特征，而现有的方法均是通过在烟叶上方设置光源，采集烟叶的反射光来获取图像并提取特征，这不能充分全面地获得烟叶的整体状态。
3、现有技术中发明专利申请cn113469233a提出一种基于深度学习的烟叶自动定级方法及系统，包括以下步骤：获取烟叶图像，对获取的图像进行数据清洗，构建图像数据集；进行图像数据集的预处理，所述预处理包括图像增强、数据去模糊和数据增强；在卷积神经网络的下采样提取特征过程中引入卷积残差块，构建深度学习神经网络模型，训练预处理后的图像数据集，得到不同组的权重；得到测试数据最优时所对应的最优权重；将待分级的烟叶图像输入到所述深度学习神经网络模型中，直接加载所得到的最优权重，得到烟叶的检测定级结果。该发明使用烟叶图像通过神经网络算法进行烟叶质量分级，但是并未解决上述图像采集光环境差、未能实现智能化与自动化、光源衰减、特征提取不够全面的问题。
技术实现思路
1、发明目的：针对以上问题，本发明提出一种基于多源数据融合的烟叶质量监测系统及方法。
2、技术方案：
3、第一方面，本发明提供了一种基于多源数据融合的烟叶质量监测系统，包括烟叶传送系统，烟叶放置板，光电传感器，图像采集箱体，ccd相机，光源，挡板控制器，光源控制器，传送控制器，图像处理主机，监测分级上位机；
4、优选地，ccd相机设置在烟叶放置板上方第一预设距离；
5、第一光源设置在烟叶放置板上方第二预设距离；
6、第二光源设置在烟叶放置板下方第三预设距离；
7、第一挡板设置在图像采集箱体的传送带入口侧；
8、第二挡板设置在图像采集箱体的传送带出口侧；
9、烟叶放置板上设置有多个参考标记；
10、第一光电传感器设置于第一挡板下方，第二光电传感器设置于ccd相机下方，第三光电传感器设置于第二挡板下方；
11、所述挡板控制器用于控制第一挡板和第二挡板开闭；
12、所述光源控制器用于控制第一光源和第二光源交替开闭；
13、所述ccd相机用于在第一光源开启第二光源关闭时采集第一烟叶图像，并在第二光源开启第一光源关闭时采集第二烟叶图像；
14、所述图像处理主机用于对采集的烟叶图像进行图像处理；
15、所述监测分级上位机用于识别处理后的图像，通过神经网络模型输出烟叶质量分级结果。
16、优选地，所述传送控制器用于配置烟叶传送系统的传送速度，并根据第二光电传感器的触发信号控制传送暂停；
17、所述挡板控制器用于根据第一光电传感器产生的触发信号，控制第一挡板开启；
18、还根据第二光电传感器产生的触发信号，控制第一挡板关闭、第二挡板关闭；
19、还根据第三光电传感器产生的触发信号，控制第二挡板开启。
20、优选地，所述图像处理主机包括图像滤波模块、灰度化模块、二值化模块、图像分割模块、颜色还原模块；
21、所述图像滤波模块用于通过图像滤波处理降低图像中的高频噪声分量，减小图像边缘区域的灰度起伏以使图像平滑；
22、所述灰度化模块用于通过加权平均法进行图像灰度化处理；
23、所述二值化模块用于通过最小误差阈值法对图像进行二值化处理；
24、所述图像分割模块用于通过阈值分割法实现图像分割；
25、所述颜色还原模块用于将图像中的烟叶部分的颜色进行还原处理。
26、优选地，所述监测分级上位机包括第一特征提取模块，第二特征提取模块；
27、所述第一特征提取模块用于提取第一烟叶图像中的第一特征；
28、所述第二特征提取模块用于提取第二烟叶图像中的第二特征；
29、所述第一特征包括几何特征、颜色特征、和/或纹理特征；
30、所述几何特征包括长度、宽度、长宽比、面积、和/或矩形度；
31、所述颜色特征包括his颜色空间模型的h分量、i分量、s分量；
32、所述纹理特征为经小波分解后的能量特征；
33、所述第二特征包括光通量特征。
34、优选地，所述图像处理主机还用于根据图像中的多个参考标记的反射值对图像进行分区补偿；包括获取包含多个参考标记的第一烟叶图像；
35、初步识别图像中的烟叶边界，获取去除烟叶图像后的第一背景图像；
36、根据第一背景图像上的参考标记，将第一背景图像划分为若干子区域，每个子区域包含一个参考标记；
37、获取每个子区域中的参考标记的像素反射值，以及理论反射值，并计算第一衰减系数；
38、将每个子区域的每个像素的rgb值转换为his值；获取每个子区域的his值的i分量的标准差；
39、根据第一衰减系数以及每个子区域的his值的i分量计算补偿系数；
40、对去除的烟叶图像中每个像素的i分量进行补偿，获得补偿后的i分量。
41、第二方面，本发明还提供了一种基于多源数据融合的烟叶质量监测方法，该方法包括：
42、s1、布置图像采集箱体内的光源、ccd相机、挡板与参考标记；包括：在烟叶放置板上方第一预设距离设置ccd相机；在烟叶放置板上方第二预设距离设置第一光源；在烟叶放置板下方第三预设距离设置第二光源；在图像采集箱体的传送带入口侧设置第一挡板；在图像采集箱体的传送带出口侧设置第二挡板；在烟叶放置板上设置多个参考标记；
43、s2、启动烟叶传送系统，根据光电传感器产生的触发信号控制图像采集箱体的挡板开闭；
44、s3、在预设图采时间内控制第一光源与第二光源交替开闭，采集烟叶图像；包括：s31、在预设图采时间的第一图采时段内，光源控制器控制第一光源组件开启，控制第二光源组件关闭，启动ccd相机采集第一烟叶图像；s32、在预设图采时间的第二图采时段内，光源控制器控制第一光源组件关闭，控制第二光源组件开启，启动ccd相机采集第二烟叶图像；
45、s4、根据图像中的多个参考标记的反射值对图像进行分区补偿；
46、s5、图像处理主机对补偿后的图像进行图像预处理；
47、s6、提取第一烟叶图像中的第一特征，提取第二烟叶图像中的第二特征；
48、s7、将第一特征与第二特征输入神经网络模型，输出烟叶质量分级结果。
49、优选地，所述s2包括：
50、s21、配置烟叶传送系统的传送速度为v，配置传送系统上烟叶放置板的之间的间距l，令0.5d＜l＜d，其中d为图像采集箱体在传送方向上的长度；
51、s22、传送系统的第一光电传感器产生触发信号，触发挡板控制器控制第一挡板开启；
52、s23、传送系统的第二光电传感器产生触发信号，触发挡板控制器控制第一挡板关闭、第二挡板关闭，且触发传送控制器控制暂停传送；
53、s24、经过预设图采时间后，触发传送控制器控制启动传送；
54、s25、传送系统的第三光电传感器产生触发信号，触发挡板控制器控制第二挡板开启。
55、优选地，所述s4包括：
56、s41、获取包含多个参考标记的第一烟叶图像；
57、s42、初步识别图像中的烟叶边界，获取去除烟叶图像后的第一背景图像；
58、s43、根据第一背景图像上的参考标记，将第一背景图像划分为若干子区域，每个子区域包含一个参考标记；
59、s44、获取每个子区域中的参考标记的像素反射值r，以及理论反射值r，并计算第一衰减系数γ1；
60、s45、将每个子区域的每个像素的rgb值转换为his值；
61、s46、获取每个子区域的his值的i分量的标准差id；
62、s46、根据第一衰减系数以及每个子区域的his值的i分量计算补偿系数β；
63、s47、对s42中去除的烟叶图像中每个像素的i分量进行补偿，获得补偿后的i分量i0。
64、优选地，所述s5包括：
65、s51、通过图像滤波处理降低图像中的高频噪声分量，减小图像边缘区域的灰度起伏以使图像平滑；
66、s52、采用加权平均法进行图像灰度化处理；
67、s53、采用最小误差阈值法对图像进行二值化处理；
68、s54、采用阈值分割法实现图像分割处理；
69、s55、将图像中的烟叶部分的颜色进行还原处理。
70、优选地，所述s6包括：
71、所述第一特征包括几何特征、颜色特征、纹理特征；
72、所述几何特征包括长度、宽度、长宽比、面积、和/或矩形度；
73、所述颜色特征包括his颜色空间模型的h分量、i分量、s分量；
74、所述纹理特征为经小波分解后的能量特征；
75、所述第二特征包括光通量特征q；
76、所述光通量特征q是基于第二烟叶图像中的像素的i分量计算的。
77、第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上的且能够在处理器上运行的计算机程序，优选地，所述处理器执行所述计算机程序时实现所述基于多源数据融合的烟叶质量监测方法中的步骤。
78、第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，优选地，所述计算机程序被处理器执行时实现所述基于多源数据融合的烟叶质量监测方法中的步骤。
79、本发明相对于现有技术具有以下有益效果：
80、1、本发明通过设置图像采集箱体，并在箱体两侧设置第一挡板与第二挡板，通过传送系统中的光电传感器的触发信号，控制第一挡板与第二挡板的开闭，保证了在图像采集时段内箱体内部光环境的质量，避免了漏光、干扰、遮挡等因素的影响，提高了图像质量；
81、2、本发明通过传送控制器、挡板控制器、光源控制器的联动控制，能够实现工业化自动化的烟叶传送与识别，降低了人力成本，提高了监测效率；
82、3、本发明通过在图像采集箱体内设置多个参考标记，分析光照衰减情况并进行补偿，降低了图像识别的误差；
83、4、本发明在对烟叶图像进行特征提取时，考虑了多源数据，不但提取了第一烟叶图像的几何特征、颜色特征、纹理特征，还提取了第二烟叶图像中的光通量特征，更加全面地采集了烟叶信息，提高了烟叶质量分级的准确性。