一种基于轻量级神经网络的计数杀虫灯及计数方法

文档序号:31480538发布日期:2022-09-10 01:50阅读:152来源:国知局
一种基于轻量级神经网络的计数杀虫灯及计数方法

1.本发明涉及计数杀虫灯设备技术领域,具体涉及一种基于轻量级神经网络的计数杀虫灯及计数方法。


背景技术:

2.现代农业生产中,害虫侵害农作物一直是难以解决的问题,因此杀灭害虫成为农业生产中不可或缺的步骤。目前农业生产主要采用三种方式进行杀虫。一是使用化学药剂(农药)进行杀虫。随着人们对健康意识不断提高以及种植业绿色防控的要求,喷洒农药已逐渐不被市场消费者认可,且该方式不能统计杀虫数量。二是使用粘虫板进行杀虫,粘虫板表面附着有诱虫剂和黏性物质,可将害虫引诱并吸附在板上,缺点是需要频繁更换粘虫板,且由于害虫大小不一,通过人力统计杀虫数量难免漏检,存在效率低下、难以感知虫情信息的缺点。三是使用计数杀虫灯进行杀虫,市面上的计数杀虫灯使用特定频率的光源、诱虫剂和风吸等方式进行吸引害虫,并通过高压电网实现对害虫的击杀。
3.公开号为cn110447612a提出的一种带有杀虫计数功能的计数杀虫灯,其计数模块采集虫体在触碰电网时产生电流脉冲信号,并对脉冲信号产生次数以统计杀虫数量,缺点是无法区分单只害虫因多次电击而产生多次脉冲信号情况从而重复计数的情况,致使准确度较低。公开号为cn108133255a提出的一种计数杀虫灯电网触电害虫计数系统和统计方法,通过声音识别模块对害虫在电网触电时产生的声响进行识别并计数,同样存在因单只害虫多次电击产生多次声响造成重复计数的情况,同时易受到周围环境噪音的影响,无法准确统计杀虫数量。
4.综上,目前农业生产过程中所采用的杀虫技术均无法有效准确地统计杀虫数量,无法感知当前位置被害虫侵害的程度。随着智慧农业的大力发展,杀虫设备智能化、物联化更是未来的趋势,因此需要一款智能的计数杀虫灯,以解决计数不精确的问题。


技术实现要素:

5.针对现有技术的上述不足,本发明提供了一种能够对害虫精准计数的基于轻量级神经网络的计数杀虫灯及计数方法。
6.为达到上述发明目的,本发明所采用的技术方案为:
7.提供一种基于轻量级神经网络的计数杀虫灯,其包括顶盖和检测计数杀虫灯周边环境的传感器组件,顶盖的下方设置有杀虫组件,杀虫组件的下方设置有用于对害虫计数的计数收集箱;计数收集箱内设置有控制器;传感器组件、杀虫组件、计数收集箱均与控制器电连接;计数收集箱内设置有用于给本计数杀虫灯供电的电池。
8.进一步的,杀虫组件包括回形电网,回形电网的中心处设置有诱虫灯;
9.回形电网的外侧设置有电网清洁组件,电网清洁组件包括用于清洁回形电网的环形清洁刷;环形清洁刷上设置有驱动环形清洁刷沿回形电网长度方向移动的移动组件;
10.移动组件包括中心对称设置在环形清洁刷对角上的两个螺杆,环形清洁刷上设置
有与螺杆配合连接的螺孔,两个螺杆的上端均设置有驱动螺杆转动的驱动电机,螺杆的下端与计数收集箱的顶部转动连接;
11.回形电网、诱虫灯和两个驱动电机均与控制器电连接。
12.进一步的,计数收集箱包括箱体,箱体的顶部设置有漏斗,漏斗的上端设置有水平的固定架,杀虫组件与固定架固定连接;漏斗的下端连通有第一下落通道;
13.第一下落通道的底端设置有重量感应台,重量感应台与控制器电连接;重量感应台的两侧分别设置有水平设置的电动推杆和计数组件;电动推杆的活动端连接有推板,推板的底端与重量感应台抵接;推板的上端固定连接有水平设置的挡板;电动推杆与控制器电连接,电动推杆带动推板水平移动;
14.计数组件包括暗箱,电动推杆最大伸长状态下推板与暗箱远离第一下落通道的侧壁抵接;
15.暗箱与第一下落通道连通,暗箱上设置有隔离第一下落通道的暗箱门,暗箱的顶端设置有驱动暗箱门上下移动的直线舵机;暗箱内设置有通过电动转轴与暗箱侧壁转动连接的暗箱台,暗箱台的表面覆有白色反光层;暗箱台的上表面与重量感应台的上表面的留有间隙,暗箱的顶端设置有对准暗箱台拍摄的ccd相机和为暗箱内补光的led补光灯;直线舵机、电动转轴、ccd相机和led补光灯均与控制器电连接;
16.重量感应台远离暗箱的一侧向下倾斜,且重量感应台远离暗箱的一侧设置有供雨水流出的导流道;重量感应台与水平面成5
°
的夹角;推板的下端设置有弹性滤网;
17.箱体外表面上还设置有用于放置诱虫剂的诱虫剂盒;计数收集箱的下端可拆卸连接有集虫箱;暗箱的底端与集虫箱连通;电池位于箱体的内部。
18.进一步的,控制器设置在箱体的内部,控制器连接有物联网通信模块;控制器还连接有lcd屏幕和信号天线;lcd屏幕和信号天线均设置在箱体的侧壁上,箱体上还设置有凹槽,凹槽的顶端设置有按键;按键与控制器电连接。
19.进一步的,传感器组件包括雨量传感器、光量传感器、温湿度传感器以及加速度传感器,光量传感器设置在顶盖上,顶盖上设置有储雨槽,雨量传感器设置在储雨槽中;温湿度传感器和加速度传感器均设置在计数收集箱内。
20.一种采用基于轻量级神经网络的计数杀虫灯的计数方法,包括如下步骤:
21.s1:计数收集箱对杀虫组件杀死的害虫进行拍摄收集得到原始图像;
22.s2:对原始图像进行预处理得到预处理图像;
23.s3:将预处理图像输入优化pestnet模型,得到害虫数量。
24.进一步的,优化pestnet模型包括依次连接的转换层、第一主干特征提取模块、第二主干特征提取模块、第三主干特征提取模块、加强特征提取模块和预测模块;
25.转换层包括resize模块,resize模块连接有3
×
3卷积模块;3
×
3卷积模块与第一主干特征提取模块连接;
26.第一主干特征提取模块包括依次连接的第一bneck 3
×
3卷积模块、第二bneck 3
×
3卷积模块、bneck 5
×
5卷积模块、第一bneck 5
×
5卷积注意力模块和第二bneck 5
×
5卷积注意力模块;第一bneck 3
×
3卷积模块与3
×
3卷积模块连接;第二bneck 5
×
5卷积注意力模块分别与第二主干特征提取模块和加强特征提取模块连接;
27.第二主干特征提取模块包括依次连接的第三bneck 3
×
3卷积模块、第四bneck 3
×
3卷积模块、第三bneck 5
×
5卷积注意力模块和第四bneck 5
×
5卷积注意力模块;第三bneck 3
×
3卷积模块与第二bneck 5
×
5卷积注意力模块连接;第四bneck 5
×
5卷积注意力模块分别与第三主干特征提取模块和加强特征提取模块连接;
28.第三主干特征提取模块包括依次连接的第五bneck 3
×
3卷积模块、bneck 3
×
3卷积注意力模块、第五bneck 5
×
5卷积注意力模块、第六bneck 5
×
5卷积注意力模块、sppf模块和第一1
×
1卷积模块;第五bneck 3
×
3卷积模块与第四bneck 5
×
5卷积注意力模块连接;第一1
×
1卷积模块与加强特征提取模块连接;
29.加强特征提取模块包括与第一1
×
1卷积模块连接的第二1
×
1卷积模块,第一1
×
1卷积模块输出第三有效特征层传递至第二1
×
1卷积模块,第二1
×
1卷积模块产生第一输出和第二输出,第一输出传递至第三上采样模块;第三上采用模块对第一输出进行采样操作后输出第三采样层,第四bneck 5
×
5卷积注意力模块输出第二有效特征层,第二有效特征层与第三采样层进行堆叠操作后输入至第一dwlayer模块,第一dwlayer模块连接有第三1
×
1卷积模块;第三1
×
1卷积模块产生第三输出和第四输出,第四输出传递到第二上采样模块;第二上采样模块对第四输出进行采样操作后输出第二采样层,第二bneck 5
×
5卷积注意力模块输出第一有效特征层,第一有效特征层与第二采样层进行堆叠操作后输入至第二dwlayer模块,第二dwlayer模块产生第五输出和第六输出;第五输出传递到预测模块;第六输出传递至第一下采样模块,第一下采样模块对第六输出进行下采样后得到第一采样层,第一采样层与第三输出进行堆叠操作后产生第七输出和第八输出;第七输出传递至第三dwlayer模块,第三dwlayer模块与预测模块连接;第八输出传递至第二下采样模块进行下采样后与第二输出进行堆叠操作后传递至第四dwlayer模块,第四dwlayer模块与预测模块连接;
30.预测模块包括与第二dwlayer模块连接的第一detect head模块,与第三dwlayer模块连接的第二detect head模块以及与第四dwlayer模块连接的第三detect head模块;预测模块将第一detect head模块、第二detect head模块和第三detect head模块的结果共同输出得到计数结果。
31.进一步的,第一dwlayer模块、第二dwlayer模块、第三dwlayer模块以及第四dwlayer模块结构均相同,任意dwlayer模块包括与dwlayer模块输入端连接的残差分支和主干分支;主干分支包括依次连接的第一卷积归一化silu模块和第一深度可分离卷积归一化silu模块;残差分支包括第二卷积归一化silu模块;第一深度可分离卷积归一化silu模块和第二卷积归一化silu模块堆叠后连接有第三卷积归一化silu模块;第三卷积归一化silu模块与dwlayer模块输出端连接。
32.进一步的,对原始图像的预处理包括如下具体步骤:
33.a1:对原始图像进行高斯滤波处理,得到imagei图像;
34.a2:对imagei图像使用最大类间方差法进行分割,得到imageii图像;
35.a2.1:设imagei图像背景区域为b,害虫区域为p,imagei图像中灰度值为i的像素点共有ni个,阈值t为imagei图像的像素分割界限;
36.a2.2:将imagei图像中属于害虫的像素点数量占整幅imagei图像的比例记为ω
p
,计算得到害虫像素的平均灰度值μ
p

37.a2.3:将imagei图像中属于背景的像素点数量占整幅imagei图像的比例记为ωb,
计算得到背景像素的平均灰度值μb;
38.a2.4:计算imagei图像的平均灰度值μ;
39.a2.5:利用平均灰度值μ
p
和平均灰度值μb计算最大类间方差值σ2=ω
p
ωb(μ
p-μb)2;
40.a2.6:使用最大类间方差值对imagei图像进行分割,得到二值化图像即imageii图像;
41.a3:对imageii图像进行腐蚀处理,得到imageiii图像;
42.a4:对imageiii图像使用中值滤波进行边缘平滑处理,得到imageiv图像即预处理图像。
43.进一步的,步骤s3中对优化pestnet模型进行训练的方法包括如下步骤:
44.c1:通过计数收集箱内ccd摄像机采集x张害虫的原始图像;
45.c2:对所有原始图像进行预处理后得到预处理图像,并使用labelimg工具对预处理图像进行人工标注害虫区域,得到标注图像;
46.c3:将标注图像采用随机旋转和随机缩放的方式进行数据增强,得到3x张增强图像;
47.c4:将标注图像和增强图像混合后按照7∶2∶1的比例随机划分得到训练集、测试集和验证集;
48.c5:采用余弦退火策略和sgd优化器使用训练集对优化pestnet模型进行训练,初始训练参数epoch为300,学习率为0.001,动量为0.9;
49.c6:使用测试集对优化pestnet模型的检测效果进行精度测试;
50.c7:使用验证集对优化pestnet模型进行参数调整;
51.c8:重复进行步骤c6-c7直至损失函数趋于收敛状态,得到训练后的优化pestnet模型。
52.本发明的有益效果为:
53.1、本发明通过对计数杀虫灯的结构设计,将杀虫组件杀死的害虫通过计数收集箱进行计数、收集,在完成对环境中害虫防治的同时,有效统计环境中的害虫数量,从而确定本计数杀虫灯设置位置的害虫侵害程度;能够帮助收集得到害虫数量分别与季节、时间或天气环境等关系,从而能够帮助优化环境的害虫防治手段。
54.2、优化pestnet模型中多个主干特征提取模块中采用bneck(深度可分离)卷积模块对拍摄的害虫图像进行特征提取,并通过加强特征提取模块对多个主干特征提取模块提取的特征进行多层加强融合设计,在保持和普通卷积模型的相同精度下,能够有效缩小模型运算量,从而方便将优化pestnet模型部署在性能受限的控制器的内部,从而实现害虫图像本地化处理与计数,能够及时地对害虫进行计数;解决了现有计数杀虫灯对害虫漏数、多数等问题,实现对害虫的精准计数。
附图说明
55.图1为计数杀虫灯的结构示意图;
56.图2为计数收集箱的结构示意图;
57.图3为优化pestnet模型的结构示意图;
58.图4为bneck 5
×
5卷积注意力模块的结构示意图;
59.图5为detect head模块的结构示意图;
60.图6为dwlayer模块的结构示意图;
61.图7为优化pestnet模型训练步骤示意图;
62.图8为计数杀虫灯工作流程示意图。
63.其中,1、顶盖;2、杀虫组件;201、回型电网;202、诱虫灯;203、电网清洁组件;2031环形清洁刷;2032、螺杆;2033、驱动电机;3、计数收集箱;301、箱体;302、漏斗;303、第一下落通道;304、固定架;305、重量感应台;306、电动推杆;307、推板;308、挡板;309、暗箱;310、暗箱门;311、直线舵机;312、暗箱台;313、ccd相机;314、led补光灯;315、导流道;316、弹性滤网;317、诱虫剂盒;318、集虫箱;319、第二下落通道;4、lcd屏幕;5、信号天线;601、雨量传感器;602、光量传感器;603、储雨槽。
具体实施方式
64.下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
65.如图1所示,一种基于轻量级神经网络的计数杀虫灯,其包括顶盖1和检测计数杀虫灯周边环境的传感器组件,传感器组件包括雨量传感器601、光量传感器602、温湿度传感器以及加速度传感器,光量传感器602设置在顶盖1上,顶盖1上设置有储雨槽603,雨量传感器601设置在储雨槽603中。顶盖1的下方设置有杀虫组件2,杀虫组件2的下方设置有用于对害虫计数的计数收集箱3;计数收集箱3内设置有控制器;传感器组件、杀虫组件2、计数收集箱3均与控制器电连接;计数收集箱3内设置有用于给本计数杀虫灯供电的电池。电池包括对控制器供电的12v电池,杀虫组件采用大容量蓄电池或dc直流供电。
66.杀虫组件2包括回形电网201,回形电网201的中心处设置有诱虫灯202;回形电网201的外侧设置有电网清洁组件203,电网清洁组件203包括用于清洁回形电网201的环形清洁刷2031;环形清洁刷2031上设置有驱动环形清洁刷2031沿回形电网201长度方向移动的移动组件;移动组件包括中心对称设置在环形清洁刷2031对角上的两个螺杆2032,环形清洁刷2031上设置有与螺杆2032配合连接的螺孔,两个螺杆2032的上端均设置有驱动螺杆2032转动的驱动电机2033,螺杆2032的下端与计数收集箱3的顶部转动连接;回形电网201、诱虫灯202和两个驱动电机2033均与控制器电连接。
67.如图2所示,计数收集箱3包括箱体301,箱体301的顶部设置有漏斗302,漏斗302的上端设置有水平的固定架304,杀虫组件2与固定架304固定连接;漏斗302的下端连通有第一下落通道303;
68.第一下落通道303的底端设置有重量感应台305,重量感应台305与控制器电连接;重量感应台305的两侧分别设置有水平设置的电动推杆306和计数组件;电动推杆306的活动端连接有推板307,推板307的底端与重量感应台305抵接;推板307的上端固定连接有水平设置的挡板308;电动推杆306与控制器电连接,电动推杆306带动推板307水平移动;
69.计数组件包括暗箱309,电动推杆306最大伸长状态下推板307与暗箱309远离第一下落通道303的侧壁抵接;
70.暗箱309与第一下落通道303连通,暗箱309上设置有隔离第一下落通道303的暗箱门310,暗箱309的顶端设置有驱动暗箱门310上下移动的直线舵机311;暗箱309内设置有通过电动转轴与暗箱309侧壁转动连接的暗箱台312,暗箱台312的表面覆有白色反光层;暗箱台312的上表面与重量感应台305的上表面的留有间隙,暗箱309的顶端设置有对准暗箱台312拍摄的ccd相机313和为暗箱309内补光的led补光灯314;直线舵机311、电动转轴、ccd相机313和led补光灯314均与控制器电连接;
71.重量感应台305远离暗箱309的一侧向下倾斜,且重量感应台305远离暗箱309的一侧设置有供雨水流出的导流道315;重量感应台305与水平面成5
°
的夹角;推板307的下端设置有弹性滤网316;
72.箱体301外表面上还设置有用于放置诱虫剂的诱虫剂盒317;计数收集箱3的下端通过t型卡扣与集虫箱318可拆卸连接;暗箱309的底端与集虫箱318连通;电池位于箱体301的内部。集虫箱318可选用吸热材料制作成,将未被完全电击死的害虫进一步闷死,提高杀虫的可靠性。
73.控制器设置在箱体301的内部,控制器连接有物联网通信模块;控制器还连接有lcd屏幕4和信号天线5;lcd屏幕4和信号天线5均设置在箱体301的侧壁上,箱体301上还设置有凹槽,凹槽的顶端设置有按键;按键与控制器电连接。
74.控制器包括单片机和具有一定计算能力的嵌入式设备。
75.本实施例中单片机的芯片型号为stm32f407vgt6,但不限制于此型号。单片机中的adc采集器通过线束与传感器组件以及重量感应台305连接,采集传感器的模拟信号,并由程序转换为相应的参数量。单片机通过gpio接口与保险丝、变频驱动电路、驱动电机2033、电动推杆306、诱虫灯202以及电动转轴电连接,单片机控制驱动电机2033、电动推杆306以及电动转轴工作。单片机含有升压电路,将输入电压升高至7kv
±
300v为回型电网201供电。单片机接收按键传输的信号用于控制回型电网201和诱虫灯202的开关。
76.单片机上设置有型号为移远bc95的物联网通信模块,但不限制于此型号,支持b1/b3/b5/b8/b20/b28频段,兼容移动gsm网络,单多频下载速率可达25.2kbps,支持ipv4/ipv6/udp/tcp/mqtt协议。能够稳定高速的传输数据,方便远程收集害虫侵害数据,并通过物联网平台对计数杀虫灯进行远程管理。
77.本实施例中具有一定计算能力的嵌入式设备为树莓派4b,但不限制于此型号。树莓派通过串口与单片机通信连接,且树莓派与ccd相机313、led补光灯314以及lcd屏幕4电连接。
78.计数杀虫灯的杀虫组件2和计数收集箱3的工作原理如下:
79.如图8所示,害虫在诱虫灯202和诱虫剂的作用下与回型电网201发生触碰,回型电网201释放高压电击杀害虫。害虫掉入箱体301的顶部漏斗302,害虫从漏斗302滑向第一下落通道303紧接着掉至重量感应台305。单片机采集重量感应台305产生模拟电压,并转换为压力值,记录模拟电压的持续时长。结合压力值和模拟电压的持续时长,判断当前的压力信息(压力值+模拟电压持续时长)是否有效,若为无效值则继续等待害虫触碰回型电网201,若为有效值,直线舵机311驱动暗箱门310向上运动,电动推杆306驱动推板307向右推出,此时处于重量感应台305上害虫被推板307推至暗箱台312上,推板307的底端与暗箱台312留有间隙,推板307向右移动,在重量感应台305的上的害虫尸体较多时,推板307将害虫尸体
平铺在暗箱台312上;推板307将害虫推到暗箱台312的过程中,挡板308将第一下落通道303挡住,避免在推板307工作的过程中有害虫从第一下落通道303落至推板307的左侧,随后电动推杆306带动推板307复位,同时直线舵机311带动暗箱门310复位。若有害虫尸体落在挡板308上,推板307复位时,第一下落通道303的侧壁将害虫尸体推至重量感应台305上;下雨时,飘飞的雨水从第一下落通道303落至重量感应台305时,雨水从导流道315流出,在弹性滤网316的作用下,害虫尸体不会将导流道315滑落或堵塞导流道315。
80.当害虫处于暗箱台312上时,led灯先持续点亮,将暗箱309内部照亮后,ccd相机313拍摄得到原始图像;原始图像传入树莓派4b,树莓派4b对原始图像先进行步骤a1-a4进行预处理得到预处理图像,预处理图像输入至优化pestnet模型对害虫进行检测。原始图像传入树莓派4b的同时电动转轴工作使暗箱台312逆时针转动,使暗箱台312上的害虫尸体经第二下落通道319落至集虫箱318中。
81.优化pestnet模型返回树莓派4b对应的检测结果(害虫数量),树莓派4b对害虫数量进行分时统计(按年、月、周、日、时统计数量),随后将结果显示于lcd屏幕4并通过物联网通信模块上传至物联网平台。
82.单片机中内置有检测程序,检测程序包括传感器检测、按键检测、物联网指令检测,实现对外界环境的全面监控和设备保护。
83.传感器检测满足以下任意条件时,单片机自动关闭诱虫灯202和回型电网201:
84.1)雨量传感器601:检测到当前的雨水量为15ml时;
85.2)光量传感器602:根据环境光照度单独开启或关闭诱捕灯和回型电网201,当lux值小于100时默认为晚上,大于100时默认为白天。默认处于白天时仅开启回型电网201,处于晚上时开启诱捕灯和回型电网201;
86.3)温湿度传感器:当前的温度大于50℃或小于0℃;当周围或自身发生过热或夏季干燥时回型电网201将害虫尸体点燃时,将关闭诱虫灯202和回型电网201避免引发火灾等危险。
87.4)加速度传感器:检测到计数杀虫灯与水平面的夹角小于75
°
时;计数杀虫灯在摔落或发生倾斜时,将关闭诱虫灯202和回型电网201避免引发火灾等危险。
88.按键检测:检测按键是否被按下,用于开启或关闭诱捕灯和回型电网201。
89.物联网指令检测:通过物联网通信模块接收来自物联网平台的指令,用于开启或关闭诱捕灯和回型电网201。
90.无论使用何种方式改变诱捕灯和回型电网201的状态时,该状态均传回物联网端。
91.一种采用基于轻量级神经网络的计数杀虫灯的计数方法,包括如下步骤:
92.s1:计数收集箱对杀虫组件杀死的害虫进行拍摄收集得到原始图像;
93.s2:对原始图像进行预处理得到预处理图像;
94.s3:将预处理图像输入优化pestnet模型,得到害虫数量。
95.如图3所示,优化pestnet模型包括依次连接的转换层(part 1)、第一主干特征提取模块(part 2)、第二主干特征提取模块(part 3)、第三主干特征提取模块(part 4)、加强特征提取模块(part 5)和预测模块(part 6);
96.转换层包括resize模块,resize模块连接有3
×
3卷积模块(conv2d 3
×
3模块);3
×
3卷积模块与第一主干特征提取模块连接;转换层将预处理后的图像等比例缩放后添加
灰条,后使用卷积进一步将图像道数扩张至16后输入至part2。
97.第一主干特征提取模块包括依次连接的第一bneck 3
×
3卷积模块、第二bneck 3
×
3卷积模块、bneck 5
×
5卷积模块、第一bneck 5
×
5卷积注意力模块和第二bneck 5
×
5卷积注意力模块;第一bneck 3
×
3卷积模块与3
×
3卷积模块连接;第二bneck 5
×
5卷积注意力模块分别与第二主干特征提取模块和加强特征提取模块连接;第一主干特征提取模块中的5个bneck模块对part 1传入的图像进行深度可分离卷积,提取图像中的浅层语义信息并输出第一有效特征层。
98.第二主干特征提取模块包括依次连接的第三bneck 3
×
3卷积模块、第四bneck 3
×
3卷积模块、第三bneck 5
×
5卷积注意力模块和第四bneck 5
×
5卷积注意力模块;第三bneck 3
×
3卷积模块与第二bneck 5
×
5卷积注意力模块连接;第四bneck 5
×
5卷积注意力模块分别与第三主干特征提取模块和加强特征提取模块连接;第二主干特征提取模块将第一主干特征提取模块输出的浅层特征利用4个bneck模块进行深度可分离卷积,输出第二有效特征层;
99.第三主干特征提取模块包括依次连接的第五bneck 3
×
3卷积模块、bneck 3
×
3卷积注意力模块、第五bneck 5
×
5卷积注意力模块、第六bneck 5
×
5卷积注意力模块、sppf模块和第一1
×
1卷积模块;第五bneck 3
×
3卷积模块与第四bneck 5
×
5卷积注意力模块连接;第一1
×
1卷积模块与加强特征提取模块连接;第三主干特征提取模块利用4个bneck模块进行深层特征提取,后串接sppf模块连接不同尺度的深层特征后输出第三有效特征层。
100.加强特征提取模块包括与第一1
×
1卷积模块连接的第二1
×
1卷积模块,第一1
×
1卷积模块输出第三有效特征层传递至第二1
×
1卷积模块,第三有效特征层输出尺寸为(20,20,160)的特征图。第二1
×
1卷积模块产生第一输出和第二输出,第一输出传递至第三上采样模块;第三上采用模块对第一输出进行采样操作后输出第三采样层,第四bneck 5
×
5卷积注意力模块输出第二有效特征层,第二有效特征层与第三采样层进行堆叠操作后输入至第一dwlayer模块,第一dwlayer模块连接有第三1
×
1卷积模块;第三1
×
1卷积模块产生第三输出和第四输出,第四输出传递到第二上采样模块;第二上采样模块对第四输出进行采样操作后输出第二采样层,第二bneck 5
×
5卷积注意力模块输出第一有效特征层,第一有效特征层输出尺寸为(40,40,80)的特征图。第一有效特征层与第二采样层进行堆叠操作后输入至第二dwlayer模块,第二dwlayer模块产生第五输出和第六输出;第五输出传递到预测模块;第六输出传递至第一下采样模块,第一下采样模块对第六输出进行下采样后得到第一采样层,第一采样层与第三输出进行堆叠操作后产生第七输出和第八输出;第七输出传递至第三dwlayer模块,第三dwlayer模块与预测模块连接;第八输出传递至第二下采样模块进行下采样后与第二输出进行堆叠操作后传递至第四dwlayer模块,第四dwlayer模块与预测模块连接。加强特征提取模块对语义信息进行加强特征提取。part2、part3、part4提取的三个有效特征层分别进行上采样、下采样和堆叠操作,对三层特征进行浓缩提取并融合,解析图像中的深层语义信息,提取出更好的特征,获得更为有效的三个特征层。
101.预测模块包括与第二dwlayer模块连接的第一detect head模块,与第三dwlayer模块连接的第二detect head模块以及与第四dwlayer模块连接的第三detect head模块;预测模块将第一detect head模块、第二detect head模块和第三detect head模块的结果共同输出得到计数结果。预测模块利用更为有效的三个特征层,分别对图像的不同尺度特
征进行预测,得到害虫图像的目标预测结果,并根据结果进行计数。
102.如图4所示,bneck 5
×
5卷积注意力模块(bneck 5
×
5,se模块)由主干分支和残差分支组成。主干分支由上至下依次连接的卷积归一化hswish模块(conv2d-bn-hswish模块)、深度可分离卷积归一化模块(dwconv-bn模块)、通道注意力模块(se)和卷积归一化模块(conv2d-bn模块)。残差分支为bneck5
×
5卷积注意力模块的原始输入部分。主干分支和残差分支线性相加构成bneck5
×
5卷积注意力模块的输出部分。“5
×
5”指的是深度可分离卷积归一化模块中的卷积核大小为5
×
5。当模块中没有“se”则不使用通道注意力模块。bneck3
×
3卷积注意力模块与bneck 5
×
5卷积注意力模块的差别在于深度可分离卷积归一化模块中的卷积核大小为3
×
3。卷积归一化hswish模块的hswish激活函数为
103.如图5所示,detect head模块包括依次连接的第四卷积归一化silu模块(conv2d-bn-silu模块)、第二深度可分离卷积归一化silu模块(dwconv-bn-silu模块)和第五卷积归一化silu模块。detect head模块对特征进行回归、分类和预测。
104.第一dwlayer模块、第二dwlayer模块、第三dwlayer模块以及第四dwlayer模块结构均相同,如图6所示,任意dwlayer模块包括与dwlayer模块输入端连接的残差分支和主干分支;主干分支包括依次连接的第一卷积归一化silu模块(conv2d-bn-silu模块)和第一深度可分离卷积归一化silu模块(dwconv-bn-silu模块);残差分支包括第二卷积归一化silu模块;第一深度可分离卷积归一化silu模块和第二卷积归一化silu模块堆叠后连接有第三卷积归一化silu模块;第三卷积归一化silu模块与dwlayer模块输出端连接。卷积归一化silu模块或深度可分离卷积归一化silu模块的silu激活函数为
105.如图7所示,步骤s3中对优化pestnet模型进行训练的方法包括如下步骤:
106.c1:通过ccd相机拍摄采集x=1000张害虫的原始图像;本发明的其他实施例中x还可以为1100、1200、1300、1400或1500等。
107.c2:对所有原始图像进行预处理后得到预处理图像,并使用labelimg工具对预处理图像进行人工标注害虫区域,得到标注图像;
108.原始图像的预处理包括如下具体步骤:
109.a1:对原始图像进行高斯滤波处理,得到imagei图像;
110.a2:对imagei图像使用最大类间方差法进行分割,得到imageii图像;
111.a2.1:设imagei图像背景区域为b,害虫区域为p,imagei图像中灰度值为i的像素点共有ni个,阈值t为imagei图像的像素分割界限;
112.a2.2:将imagei图像中属于害虫的像素点数量占整幅imagei图像的比例记为ω
p
,计算得到害虫像素的平均灰度值μ
p
(将害虫区域中每个像素点的灰度值叠加后取平均值);
113.a2.3:将imagei图像中属于背景的像素点数量占整幅imagei图像的比例记为ωb,计算得到背景像素的平均灰度值μb(将背景区域中每个像素点的灰度值叠加后取平均值);
114.a2.4:计算imagei图像的平均灰度值μ(图像所有像素点的灰度值加起来取平均值);
115.a2.5:利用平均灰度值μ
p
和平均灰度值μb计算最大类间方差值σ2=ω
p
ωb(μ
p-μb)2;
116.a2.6:使用最大类间方差值对imagei图像进行分割,得到二值化图像即imageii图像;
117.a3:对imageii图像进行腐蚀处理,得到imageiii图像;
118.使用为3
×
3的卷积核对imageiii(二值化图像)每个像素点进行遍历,像素点以卷积核为单位的周围像素点都是白色(值为1),则该像素点设为白色(值为1);像素点以卷积核为单位的周围像素点存在黑色(值为0),则该像素点设为黑色(值为0)。
119.a4:对imageiii图像使用中值滤波进行边缘平滑处理,得到imageiv图像即预处理图像。
120.c3:将标注图像采用随机旋转和随机缩放的方式进行数据增强,得到3x=3000张增强图像;
121.c4:将标注图像和增强图像混合后按照7∶2∶1的比例随机划分得到训练集、测试集和验证集;
122.c5:采用余弦退火策略和sgd优化器使用训练集对优化pestnet模型进行训练,初始训练参数epoch为300,学习率为0.001,动量为0.9;
123.c6:使用测试集对优化pestnet模型的检测效果进行精度测试;
124.c7:使用验证集对优化pestnet模型进行参数调整;
125.c8:重复进行步骤c6-c7直至损失函数趋于收敛状态,得到训练后的优化pestnet模型。训练后的优化pestnet模型装载至树莓派中。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1