基于嵌入式深度学习的小麦感染赤霉病病粒率实时在线检测系统及方法与流程

本发明涉及图像识别技术、仪器控制及农产品检测领域，具体而言，涉及一种基于嵌入式深度学习的小麦感染赤霉病病粒率实时在线检测系统。

背景技术：

小麦是世界上种植面积最大，总产量最高，食物加工种类最丰富的粮食作物。小麦是我国主要的粮食作物之一,在我国的种植面积仅次于水稻。小麦作为三大谷物之一，几乎全作食用，仅约有六分之一作为饲料使用，具有极高的营养价值。小麦的高产稳产对于我国粮食生产安全有着重要的意义。在其生长发育过程中，会发生多种病虫危害，影响小麦产量与品质。其中，赤霉病是小麦的最主要病害之一，可引起小麦产量的损失和品质的下降。尤其是在我国长江中下游地区的发生，可造成小麦减产5％以上，程度最重。小麦产量的高低和品质的优劣直接影响人们对食物需求的安全和满意程度，也影响着人类的营养平衡以及面粉和食品加工业的发展。小麦品质的好坏，给人们的身体健康带来很大的潜在危害，确保小麦及其制成品的食品品质和卫生，对于提高人民健康水平具有重要现实意义。有必要针对小麦赤霉病设计一套精确的无损实时在线检测系统。

目前深度学习、机器视觉等技术已经在农业生产领域得到应用，但是小麦产业中的检测赤霉病的自动化设备并不多见。感染赤霉病小麦麦粒外观特点的变化程度(如颜色变化、纹理、褶皱等)，是机器视觉技术检测的基础。但是由于以单个麦粒为对象检测小麦的感染状况处理的数据庞大，使用机器学习处理图片的方法将会带来复杂的处理过程。深度学习中简化了机器学习复杂的流程，由输入数据通过更深的神经网络模型直接得到最后结果，其通过模拟人类的大脑皮层，采用多层非线性方式处理、逐级提取以及逐层建立映射的方式使复杂的工作简单化。此外，在图像检测处理方面，基于嵌入式深度学习的图像检测方法可通过使用大规模深层次卷积神经网络模型从海量数据集中自动学习图像特征，并泛化到实际识别场景中，而且该方法可处理大量的数据集。因此，将卷积神经网络(cnn)识别模型应用在农产品检测上是非常可靠准确的一种方法。

为了满足小麦面粉加工企业实际生产需求，与现有产线的色选机集成自动检测流水线，亟需设计一套基于嵌入式深度学习实时在线检测小麦赤霉病的系统，通过一套机械设备集成了色选机、传送带和深度学习算法检测系统，构成了一个全自动的流水线检测系统，实现了麦粒经过色选机的筛选后能够整齐的摆放好进入下一个环节，方便相机拍照并对图片进行深度学习算法处理，得到赤霉病病粒率。

技术实现要素：

本发明的目的在于提供一种基于嵌入式深度学习的小麦感染赤霉病病粒率实时在线检测系统，该系统解决了传输过程的麦粒摆放以及麦粒堆积粘连等问题，实现了对小麦感染赤霉病病粒率的实时在线检测及病麦粒的识别。

本发明采取的技术方案之一是：

一种基于嵌入式深度学习的小麦感染赤霉病病粒率实时在线检测系统，其包括色选机、集成装置、传送带、采集模块和控制模块，所述集成装置包括振动板、振动电机和软毛刷，所述振动电机位于振动板下方，振动板的进料口与色选机的出料口对接、出料口与传送带的进料端对接，所述振动板呈斜坡状，且在其上方设有用于抚平麦粒的软毛刷，同时振动板出料口为多个出料槽组成的槽状出口结构；所述传送带的表面设有多排凹坑，且每一排凹坑的前端对应一个出料槽，同时在传送带的侧端且靠近振动板出料口处设有光电传感器；所述采集模块包括密闭容器、灯源和相机，所述密闭容器设置在传送带上方，在密闭容器内设有提供光照的灯源以及用于拍照的相机，所述相机和光电传感器均与所述控制模块连接，控制模块接收相机拍摄的照片以及光电传感器检测的信号，进而控制振动板的振动、传送带的启停以及对接收照片的图像处理与分析。

进一步的，所述色选机、集成装置、传送带均安装在支架构成的底座上上，并且高度由高到低依序设置。

进一步的，所述振动板采用小型单层高频低振幅振动板，振动板利用其下侧的振动电机激振作为振动源，使小麦在振动板上平稳向前运动。

进一步的，所述振动板上设置有四个软毛刷，软毛刷与振动板之间的间隙依次减小，用来抚平麦粒，防止麦粒的堆积。

进一步的，所述出料槽的槽深设置为2mm，相邻两个槽之间相隔为1mm；所述传送带设置长度为1.51米，宽度为0.155米，且传送带上的凹坑长为6mm、宽为4mm、深为2mm，每个凹坑之间相隔1mm的间隔。

进一步的，所述相机安装在密闭容器的正上方，并选用1600万像素的工业相机，且设定曝光时间为250000，增益倍数为10；所述灯源对称地安装在相机的两侧，并选用稳定输出功率220v/18w、色温为6500k白光的灯光源。

进一步的，所述控制模块选用raspberrypi开发板作为核心处理单元；所述光电传感器、步进电机和振动电机通过gpio接口连接到raspberrypi开发板，所述相机通过千兆以太网端口和raspberrypi开发板连接，同时raspberrypi开发板还连接有lcd液晶显示屏，所述lcd液晶显示屏通过hdmi端口和raspberrypi开发板进行连接。

本发明采取的技术方案之二是：

一种基于嵌入式深度学习的小麦感染赤霉病病粒率实时在线检测方法，该方法利用工业相机捕获传送带上停落在相机正下方的待检测小麦样品的图像，图像传送至控制模块后进行二值化，灰度化预处理操作，同时进行自动归一化裁剪图片，构建待检测数据集；然后利用训练好的深度学习检测模型进行检测，把检测的麦粒进行二分类，根据模型结果，得到带有检测标签的小麦麦粒结果图片，并在原始图像中分别用两种不同颜色标记未感染麦粒和感染麦粒，模型会自动记录感染麦粒与整个麦粒的个数，计算求出感染麦粒与整个麦粒之比为记为病粒率。

进一步的，所述深度学习检测模型的建立步骤如下：

(1)模型样本准备

模型样本选择：采集不同品种实验小麦，每个品种的小麦来自不同产地，每个产地对应一个编号，分别保存在贴有相应编号的自封袋中，并通过人工把小麦籽粒进行人工分类，分为感染小麦籽粒和未感染小麦籽粒两类；

(2)模型图片采集并制作数据集

打开raspberrypi开发板，控制图像采集装置内部的工业相机捕获小麦图片，采集完成后，制作数据集，对采集到的麦粒图片进行灰度化，二值化、删除面积少于700像素区域的预处理操作，并且分割麦粒图像，得到每一粒麦籽的图像数据，并且保存为64*64像素点大小，在保存图像数据的同时为它们打上相应的标签；其中只需要两种标签，将感染赤霉病的小麦籽粒图像均命名为“0_编号”，将未感染赤霉病的小麦图像命名为“1_编号”，“0”和“1”即为给数据打上的标签，存放在相应文件夹中，制作成用于进行训练卷积神经网络模型的小麦籽粒rgb通道数据集；

(3)cnn模型建立

建立病粒率检测模型，利用实验步骤②中获取的小麦籽粒rgb通道数据集进行模型训练；

利用python语言中的tensorflow框架搭建卷积神经网络模型完成关于小麦籽粒图像的二分类操作；

将已经裁剪好的图片大小均为64*64像素的小麦籽粒图片的数据集读入矩阵结构中，开始训练模型，由输入层接收待识别的麦粒图像，经过卷积池化等，由输出层输出结果。最后，训练结束后将训练好的模型保存到在程序开头设置过的model模型存放路径中。

进一步的，所述模型包括两个卷积层、两个池化层、三个全连接层，其中，第一层卷积层定义20个卷积核，每个卷积核大小为4，并采用relu函数进行激活操作，提取输入层接收待识别的麦粒图像的特征；第二层定义池化层，第二层定义为池化层用于使模型在进行完第一层的卷积操作之后，在尽量不丢失图像特征的前提之下进行下采样操作；第三层卷积层定义40个卷积核，卷积核大小为4，同样采用relu函数激活，第三层卷积层是用于在提取到图像低级特征的基础上在更深一步提取图像更深层次的特征；第四层定义池化层，与第二层作用相同，用于尽量保留图像特征下进行采样；第五六七层定义为全连接部分，用来防止过拟合，最后到达输出层；在卷积神经网络架构搭建完成后利用交叉熵和平均损失熵相结合的方式定义损失，然后对损失值进行平均化处理，使损失值更加合理。

本发明的有益效果如下：

(1)采用色选机对麦粒进行初步筛选，增加了筛选的精度。

(2)利用振动板的微倾斜角度及振动进行麦粒传送，并且在传送过程中，软毛刷逐级抚平麦粒，避免了小麦堆积。在出料口的槽设计，只能允许单个麦粒通过，可以有效快速地使小麦传送到传送带上，解决了麦粒的堆积及堵塞问题，加强了系统的适用性。

(3)该系统的传送带表面采用凹坑设计，凹坑之间保持固定间距，每个凹坑只能存放一个麦粒，确保了图像采集样本中的麦粒不会粘连，满足了深度学习算法对于待处理图片便于裁剪的要求和处理前提。

(4)黑色密闭容器确保了图像采集模块内的工业相机采集时的环境相同，排除了天气状况不好和夜间光线强度不够情况下对采集到图像质量的影响，保证了系统采集图像时的稳定性。

(5)本检测系统采用raspberrypi4代开发板作为软件平台来控制采集环节相机的拍摄，进而实现对采集样本图片的处理和麦粒病粒率的检测，为小麦领域的食品安全问题提供有力保障；实现了整体的自动化，省时省力，大大提高了检测效率。

附图说明

图1是本发明的整体结构示意图。

图2是本发明的俯视结构示意图。

图3是集成装置麦粒出口的局部放大图。

图4是采集模块结构示意图。

图5是本发明的系统运行示意图。

图6是本发明的系统整体框架图。

图7是基于嵌入式深度学习的病粒率检测流程算法图。

图中标记为：1-色选机入料口，2-色选机内部装置，3-色选机废料口，4-色选机控制装置，5-色选机出料口，6-色选机底座，7-振动板，8-软毛刷，9-振动电机，10-振动装置底座，11-振动板出料口，12-传送带，13-传送带底座，14-密闭容器，15-灯源，16-工业相机，17-控制模块，18-传送带出料口，19-光电传感器。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例一。

如图1至6所示，一种基于嵌入式深度学习的小麦感染赤霉病病粒率实时在线检测系统，其包括色选机、集成装置、传送带、采集模块和控制模块。其中：

(1)色选机设备

色选机是根据物料光学特性的差异，利用光电探测技术将颗粒物料中的异色颗粒自动分拣出来的一种分类设备。麦粒通过色选机进行初步分类，色选机根据颜色判断并区分感染赤霉病麦粒及未感染赤霉病麦粒，分辨出的未感染麦粒直接进入集成装置的入口。本实施例中的色选机采用目前现有设备即可。

(2)集成装置设计

集成装置由振动板、四个软毛刷、振动电机及支架组成。使得小麦进入传送带的时候能够整齐有序。设计的振动板为小型单层高频低振幅振动板。振动板利用在振动板下侧的振动电机激振作为振动源，使小麦在振动板上平稳向前运动。振动板上设置有四个软毛刷，与振动板的距离依次减小，用来抚平麦粒，防止麦粒的堆积；振动板的出料口设计了槽状出口，每个槽2mm深，相邻两个槽之间相隔1mm，使麦粒在出料口处能够单个进入传送带。整个振动板由支架支撑起一定高度，使得集成装置入料口与色选机的出口实现无缝连接。集成装置设计的局部放大图如图3所示。

(3)传送带

为满足设计需要，传送带的高度应低于集成装置出料口的高度，为节省空间同时满足传送需求，设置长度为1.51米，宽度为0.155米。麦粒表面圆润，容易滚动，为了避免相机拍摄的图片中麦粒呈现堆积粘连的状况和方便深度学习算法对图片进行处理，传送带表面设计为凹坑状，使得每个凹坑内每个麦粒均匀的分布。每个凹坑长6mm，宽4mm，深2mm，使得整个麦粒的一半平稳的停落在凹坑内部；每个凹坑之间相隔1mm的间隔，防止相邻麦粒之间紧密粘连从而影响图像的处理。麦粒从集成装置的出料口进入到传送带的时间间隔为t＝500ms，为保证麦粒行的前后距离大于s＝0.3cm，则传送带的速度应设置为v＝s/t＝0.3cm/0.5s＝0.6cm/s。由软件控制传送带的运动和停止，使得麦粒平稳停在图像采集装置的正下方方便采集良好的图片进行处理。

(4)采集模块

在传送带中间部位的正上方安装了图像采集装置。图像采集装置由一个密闭容器、灯源、支架、工业相机组成。密闭容器由黑色的亚克力材质制作而成，为了确保采集图像时光源的一致性，减少外部光线因素所带来的误差，并且对内部设备提供了防尘及保护作用。相机设定在容器的正上方，工业相机选用1600万像素的工业相机，根据拍摄调整，最终确定为设定曝光时间250000，增益倍数10。灯管对称地安装在工业相机的两侧，提供光源，光源是能稳定输出功率220v/18w、色温为6500k白光的灯光源，灯管通过1.2m长电源线与装置连接；本模块示意图如图4所示。

(5)控制模块

控制模块以raspberrypi4代b型开发板作为核心，运行树莓派官方操作系统raspbian。将光电传感器、步进电机和振动电机通过gpio接口连接到raspberrypi开发板，光电传感器发射器发出光源，接收器进行接收，若是光线被麦粒给挡住，就返回给raspberrypi一个控制信号。步进电机供电后，电流流过定子绕组，形成一个矢量磁场，当定子的矢量磁场旋转一次，转子也进行一次旋转，所以每输入一个电脉冲，电机就会旋转一个角度，通过raspberrypi控制脉冲数量和频率来控制步进电机的旋转角度和速度。振动电机的转子轴两端安装有可调偏心块，供电后，利用轴和偏心块的高速旋转产生的离心力带来振动源。cmos工业相机通过千兆以太网端口和raspberrypi连接，相机将采集到的光信号转变成有序的电信号，再将该信号模数通过gige接口传输给raspberrypi完成图像的处理。lcd液晶显示屏通过hdmi端口和raspberrypi进行连接，将raspberrypi接收到的高分辨率视频通过hdcp协议在液晶显示屏上进行显示，通电后，通过电场来控制液晶转动，改变光的行进方向，就可展示视频和处理得到的图片。

综上所述，本系统可与现有的生产线集成，在系统设计中与色选机设备自动连接，麦粒从色选机入料口进入色选机内部，色选机内部集成了采集与处理系统，在内部根据光学特性初步区分感染麦粒及未感染麦。经过筛选后，感染麦粒从色选机的废料口出去，未感染麦粒被送到出料口进入集成装置内。

麦粒进入集成装置，利用振动板的振动向前运动，运动过程中依次经过四个高度逐渐降低的软毛刷，通过软毛刷将麦粒抚平，并进入出料口的槽内，方便麦粒单个有序地入传送带；麦粒进入传送带后，会停落在传送带的凹坑内，防止了麦粒滚动，避免了多个麦粒紧密粘连影响图像采集。在距离相机的前方设置有一个光电传感器，用于检测麦粒何时从集成装置输送到传送带环节，光电传感器发射器发出光源，接收器进行接收，当有麦粒输送出来时，光线被麦粒挡住，通过gpio口返回一个电信号，raspberrypi接收信号后给出一个计时信号，控制传送带每传送25秒就停止2秒，使得麦粒平稳地停在容器正下方，raspberrypi控制工业相机进行图像采集，2秒过后，采集完毕，传送带恢复工作，正常运行，将麦粒传送到出料口处。同时，控制模块接收到图像信息后，对图像进行灰度化、二值化、切割、规一化等预处理算法操作，进而通过cnn检测模型实现对小麦感染赤霉病的预测。对采集到的图像进行处理及预测后计算得到此小麦样本中的病粒率及识别结果标注图，以便于工作人员对小麦的挑选工作。

实施例二。

病粒率检测算法的实现：

1.深度学习检测模型的建立

①模型样本准备

模型样本选择：实验中用来采集图像的小麦均来自江苏省农业科学院食品检测研究所，实验小麦是于2018年收获的四种小麦，品种分别为烟农19、济麦22、扬麦23、镇麦168。每个品种的小麦来自不同产地，每个产地对应一个编号，分别保存在贴有相应编号的自封袋中。通过资深小麦专家把小麦籽粒进行人工分类，分为感染小麦籽粒和未感染小麦籽粒两类。

②模型图片采集并制作数据集

打开raspberrypi开发板，控制图像采集装置内部的工业相机捕获小麦图片。采集完成后，制作数据集。对采集到的麦粒图片进行灰度化，二值化、删除面积少于700像素的区域等预处理操作。并且分割麦粒图像，得到每一粒麦籽的图像数据，并且保存为64*64像素点大小，在保存图像数据的同时为它们打上相应的标签。只需要两种标签，将感染赤霉病的小麦籽粒图像均命名为“0_编号”，将未感染赤霉病的小麦图像命名为“1_编号”，“0”和“1”即为给数据打上的标签，存放在相应文件夹中，制作成用于进行训练卷积神经网络模型的小麦籽粒rgb通道数据集。

③cnn模型建立

建立病粒率检测模型，利用实验步骤②中获取的小麦籽粒rgb通道数据集进行模型训练。

利用python语言中的tensorflow框架搭建卷积神经网络(cnn)模型完成关于小麦籽粒图像的二分类操作。模型主要包括两个卷积层、两个池化层、三个全连接层。第一层卷积层定义了20个卷积核，每个卷积核大小为4，并采用relu函数进行激活操作，提取输入层接收待识别的麦粒图像的特征,；第二层定义池化层，第二层定义为池化层的目的在于使模型在进行完第一层的卷积操作之后，在尽量不丢失图像特征的前提之下进行下采样操作；第三层卷积层定义了40个卷积核，卷积核大小为4，同样采用relu函数激活，第三层卷积层的目的不同于第一层卷积，它是为了在提取到图像低级特征的基础上在更深一步提取图像更深层次的特征；第四层定义池化层，与第二层作用相同，还是尽量保留图像特征下进行采样；第五六七层定义为全连接部分，用来防止过拟合，最后到达输出层。在卷积神经网络架构搭建完成后利用交叉熵和平均损失熵相结合的方式定义损失，然后对损失值进行平均化处理，使损失值更加合理。

将已经裁剪好的图片大小均为64*64像素的小麦籽粒图片的数据集读入矩阵结构中，开始训练模型，由输入层接收待识别的麦粒图像，经过卷积池化等，由输出层输出结果。最后，训练结束后将训练好的模型保存到在程序开头设置过的model模型存放路径中。

④数据处理

利用工业相机捕获传送带上停落在相机正下方的待检测小麦样品的图像，进行二值化，灰度化等一系列预处理操作。软件内利用和建立模型时候的相同方法进行自动归一化裁剪图片，构建待检测数据集。利用训练好的cnn模型进行检测，把检测的麦粒进行二分类，根据模型结果，得到带有检测标签的小麦麦粒结果图片，并在原始图像中分别用绿色和红色标记未感染麦粒和感染麦粒，模型会自动记录感染麦粒与整个麦粒的个数。计算求出感染麦粒与整个麦粒之比为记为病粒率。病粒率检测算法流程如图7所示。针对不同品种的小麦选择最优的参数，训练并建立不同的模型，将建成的检测模型导入计算机，供检测时直接调用。

以上显示和描述了本发明的基本原理、主要特征和优点。本领域的普通技术人员应该了解，上述实施例不以任何形式限制本发明的保护范围，凡采用等同替换等方式所获得的技术方案，均落于本发明的保护范围内。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。