专利名称：基于可见光—近红外双目机器视觉的粮虫检测装置和方法
技术领域：
本发明涉及一种针对仓储害虫的检测装置和方法，特指基于可见光-近红外双目
计算机视觉的仓储害虫自动检测方法及其装置。
背景技术：
我国是世界上最大的粮食生产、储藏及消费大国，搞好粮食储藏无疑具有更为重 要的意义。全世界收获后的粮食重量损失约为10_15%，每年储藏期间的粮食至少有5%为 害虫所糟蹋。我国的国库储粮损失率为0.2%左右，这是一项了不起的成就。但是，为此付 出的代价也是巨大的，特别是杀虫剂的大量使用。为了确保粮食的安全储藏，储粮每年至少 要使用杀虫剂进行一次熏蒸杀虫，许多地方要熏蒸两次，甚至更多，这不仅增加了开支，对 粮食和环境的污染也日趋严重，而且害虫的抗药性水平快速提高。造成这种状况的一个主 要原因是害虫防治决策缺乏科学性，而害虫防治决策重要的科学依据之一就是储粮害虫的 准确检测。我国《粮油储藏技术规范》明确规定，虫粮等级标准中的害虫密度统计的是活虫 的数量，因此需要对活虫进行准确检测。 仓储害虫的检测方法可分粮虫分离和粮虫识别两个环节。 粮虫分离环节主要有扦样过筛法和诱捕法。其中，扦样过筛法是目前我国粮库应 用最广、最为传统的方法，它是按区分层定点人工/电动扦取粮食样品，每个检测点抽取至 少lkg粮食进行人工过筛，过筛后人工识别。该法劳动强度比较大、效率比较低，但该法属 于被动取虫，只要存在的粮虫均可被取出，且成本低廉。诱捕法是利用陷阱或粮虫生物学习 性，如趋化性、趋光性、趋高性等进行诱捕，应用比较多的是带诱虫孔的探管诱捕器。该法受 温度等环境因素影响较大、诱捕的虫种比较单一、测出的结果不稳定并与筛检害虫密度缺 乏准确的对应关系，另外需要放置大量的诱捕器，成本比较高，从而限制了它的应用。但该 法的劳动强度比较低、工作量相对比较小。
在粮虫的识别环节，有人工识别法和机器视觉法。 人工识别法即传统的人工鉴别法，该法是粮虫鉴别专家借助显微镜或直接通过感 觉器官利用虫子的结构特征和颜色特征，如有无翅膀、头部大小、鞘翅形状、斑纹形状和颜 色等进行鉴别。姚渭等利用储粮害虫都喜欢选择适宜环境的特点研发了粮食害虫检测装 置(实用新型专利号90209011. 9和发明专利号92102125. 9)，当粮虫进入带有诱虫孔的 诱虫管后，利用虫子经过特定通道时产生的光电脉冲信号或虫子下落敲击所产生的脉冲信 号，并通过数据采集系统对虫子进行计数。由于该法没有摄像装置，因此必须把装置取出 才能人工识别，故其人工识别比较困难。沈冬等研发了储粮害虫监测器(实用新型专利 号96232419. 1)，当粮虫由诱虫孔进入粮虫监测器后，通过透镜组合的光学系统将粮虫放 大成像，使工作人员可从粮堆外层人工目测到粮堆内部粮虫发生情况。段景智等研发了粮 仓害虫取样器(实用新型专利号02269339. 4)和粮仓害虫检测装置(实用新型专利号 200420075415. 7)，该装置通过与负压源相连的管道将粮虫抽吸到害虫存储器内，通过光耦 元件进行害虫计数，由摄像装置对进入其内的粮虫进行摄像，并把图像数据传送给数据处2/5页
理单元，便于工作人员对粮虫进行识别归类。 上述所有公开文件大部分都采用探管诱捕器诱集粮虫，有些还实现了粮虫自动计 数功能，但必须由专家对粮虫进行人工目视分类。实际上，人工识别粮虫需要检测人员具有 很专业的分类学知识，另外，粮虫本身体型非常小，种类非常多，有些粮虫之间相似度非常 高，因此不可避免地会出现分类误差。另外，人工识别的效率比较低，不利于粮虫检测的自 动化。 机器视觉法是采用自动/人工抽取粮食样本，并自动获取粮虫图像，然后运用计 算机视觉、图像处理、模式识别等技术自动识别粮虫。该法具有准确度高、劳动量小、效率 高、粮虫图像可视化、便于和粮库现有的计算机管理系统相连接等优点。近10多年来一直 是粮虫领域的研究热点，研究人员在这方面进行了大量的研究，取得了很大的进展。贺贵明 等利用内部装有摄像头的探测杆摄取粮食及粮虫影像开发了粮库粮虫智能监测系统及方 法(发明专利号01125651. 6)，该装置通过求取差分图像(背景图像和目标图像)的阈值 来判断图像中是否有粮虫出现，可对粮虫计数和统计。甄彤、张红梅、周龙等用数码相机或 CCD研究了 1种或3种粮虫的自动分类，但都没有涉及到粮虫识别系统的前端——粮虫的自 动分离。邱道尹、张红涛等针对9类粮虫研制了粮虫在线智能检测系统，目前系统能对粮虫 实时计数并自动分类，但活虫会出现重复计数的现象，另外粮食样本没有筛分直接进行图 像采样而影响了系统的效率。 机器视觉检测方法可以实现粮虫的自动分类，是粮虫检测发展的方向，但目前的 机器视觉系统最多能对9类粮虫进行分类识别，还不能辨别出粮虫的"死""活"，无法克服 "假死"问题，另外识别的种类有待于进一步增加。因此，有必要研究仓储害虫自动检测方法 及其装置，以自动确定出活虫的种类和数量，实现常见仓储害虫的实时准确的自动检测。
发明内容
本发明的目的是要提供一种基于可见光-近红外双目计算机视觉的仓储害虫自
动检测方法及其装置，可快速从粮食样本中有效分离出粮虫，并自动传输给双目视觉系统 进行图像采集，在可见光图像和近红外图像信息融合的基础上，自动确定出活虫的种类和 数量，实现常见仓储害虫的实时、准确、自动检测。 本发明的技术方案如下 本发明所述的检测装置由粮虫分离部分、粮虫传输部分和机器视觉部分组成。粮 虫分离部分和机器视觉部分都安装在粮虫传输部分的上面。 所述的粮虫分离部分实现的功能是使粮虫从粮食样本中快速、有效地分离出来， 并自动去除粮食筛下物中的粉尘，主要包括进料器、筛分电机、曲柄连杆、筛子和除尘机构。 现有的粮虫机器视觉系统都不具备电动筛分除尘功能，本发明的粮虫分离部分是针对粮虫
机器视觉自动检测而设计的。筛分电机通过单根v带传动驱动主传动轴，传动轴另一端联
接曲柄盘。连杆一端铰接在曲柄盘上，另一端铰接在筛架上。筛子固定在筛架上，筛架采用 下吊式铰接在机架上，从而形成直线往复振动筛分机构。进料器安装在筛子的正上方，除尘 机构安装在筛子的正下方，包含除尘箱及位于其两侧的除尘风机和粉尘收集袋。因此，当粮 食样本倒入进料器后，通过上述的筛分电机驱动的曲柄连杆机构进行筛分，并利用除尘机 构清理筛下物中的粉尘。
所述的粮虫传输部分实现的功能是准确接收筛下物、输送采集盒到机器视觉部分 的正下方以供图像采集，并清理采集盒中的筛下物，主要包括控制模块、采集盒、传送带、光 电传感器、收集盒和传输电机。控制模块通过数据线与光电传感器、筛分电机、除尘电机、传 输电机以及计算机相连，计算机通过它接收来自光电传感器的触发信号，并通过它对筛分 电机、除尘电机和传输电机发出控制指令。传送带采用双链条链传动传输机构，通过传输电 机带动运转。采集盒前端铰接在双链条上，后端为自由端，可绕铰接端灵活转动。3个光电 传感器分别安装在除尘机构、近红外相机和可见光CCD的下方，传送带的里侧，并稍低于采 集盒高度的位置。当它们检测到采集盒运动到除尘机构、近红外相机和可见光CCD的正下 方时，给控制模块提供粮虫筛分和图像拍摄的触发信号。当采集盒运行到极限位置时，采集 盒执行扣翻动作，倾倒采集盒中的筛下物，并由安装在其正下方的收集盒进行收集。
所述的机器视觉部分，主要功能是采集和分析筛下物的近红外图像和可见光图 像，由计算机、光照箱、近红外相机、可见光CCD、光源和相应软件组成。光照箱安装在传送 带的正上方，里面有均匀光照的可见光_近红外波段的光源，为采集盒中的筛下物提供均 匀的漫反射光。近红外相机和可见光CCD安装在光照箱内，垂直安装在传送带的正上方，都 与采集盒运动方向在同一平面内，能分别清晰拍摄采集盒中筛下物的近红外图和可见光图 像。两个相机经数据线和计算机相连，并将拍摄的图像传输给计算机。
本发明所述的自动检测方法，其特征在于 (1)粮虫分离部分自动筛分粮食样本，清理去除粮食筛下物中的粉尘，并使筛下物 自动落入采集盒中。 (2)粮虫传输部分把采集盒分别传送到近红外相机和可见光CCD的正下方，机器 视觉部分对采集盒中的筛下物分别采集近红外图像和可见光图像，并传输至计算机。
(3)对所采集的近红外图像进行图像处理，得到含有粮虫活虫的二值化图像，提取 其面积、复杂度、不变矩等特征参数，通过粮虫活虫识别软件判别出粮虫活虫，并确定出每 个活虫在图像中的坐标信息。同时，统计图像中所有粮虫活虫的头数。 (4)对采集的可见光图像进行图像处理，匹配并融合筛下物的近红外图像，定位出 运动的活虫。结合上述所有活虫的坐标信息，确定"假死"活虫在可见光图像中的坐标信息， 并分割出可见光图像中所有粮虫活虫的子区域。 (5)提取粮虫面积、周长等整体特征参数及鞘翅长宽比、鞘翅长与粮虫体长之比等 局部特征参数，形成并优化粮虫的原始特征空间，运用粮虫种类识别软件确定出粮虫活虫 的种类信息。 (6)粮虫传输部分在筛下物图像采集完毕之后，自动清理去除采集盒中的筛下物， 并进入下一个循环。 所述的图像处理包括图像获取、去背景、滤波增强图像、分割图像。 所述的粮虫活虫识别软件和粮虫种类识别软件内均包含有高精度的识别模型，可
通过神经网络分类器、支持向量机分类器或模糊分类器等技术，建立所提取的近红外粮虫
图像特征参数与粮虫活虫的关系模型，以及粮虫近红外光谱特征参数与粮虫类别的关系模
型，并保证模型识别精度在95%以上。 光照箱中的光源强度和位置可以调整，选取合适频谱的光源和空间位置，并使摄 像头的视场内形成均匀的光照，使相机可以获取清晰的筛下物图像。
本发明的效果是(l)本发明同时采用可见光、近红外机器视觉系统对粮虫进行 分析，融合粮虫的近红外图像和可见光图像信息，能自动确定出活虫在可见光图像中的具 体位置信息，并利用高分辨率可见光图像可靠识别出活虫，这在以往文件中都没有涉及。 (2)本发明利用可见光图像实现了活虫的自动、准确计数，计数准确率为100%，解决了粮 虫"假死"现象给机器视觉法自动检测粮虫所带来的粮虫活虫计数不准确的难题。(3)本发 明通过提取高分辨率下粮虫可见光图像的整体特征和局部特征，使活虫的实时分类正确率 达到95%以上。(4)本发明将粮虫快速自动筛分装置和内含高速处理软件的机器视觉系统 有机结合起来，提高了粮虫检测的效率，降低了劳动强度。
图1为本发明的结构示意图；
图2为除尘机构结构示意图； 图中，1-曲柄连杆，2-筛分电机，3-控制模块，4-进料器，5-筛子，6_光源，7_除尘 风机，8-除尘箱，9-光照箱，10-滤光片，11-近红外相机，12-可见光CCD， 13-计算机，14-传 输电机，15-收集盒，16-光电开关1， 17-光电开关2， 18-传送带，19-光电开关3， 20-采集 盒，21-粉尘收集袋。
具体实施例方式
下面结合图1对本发明的具体实施进行说明。本发明所述的检测装置由粮虫分离 部分、粮虫传输部分和机器视觉部分组成。粮虫分离部分和机器视觉部分都安装在粮虫传 输部分的上面。其特征在于 所述的粮虫分离部分实现的功能是使粮虫从粮食样本中快速、有效地分离出来， 并自动去除粮食筛下物中的粉尘，主要包括进料器4、筛分电机2、曲柄连杆1、筛子5和除尘 机构。筛分电机2通过单根V带传动驱动主传动轴。主传动轴另一端联接曲柄盘。连杆一 端铰接在曲柄盘上，另一端铰接在筛架上。筛子5固定在筛架上，筛架采用下吊式铰接在机 架上，从而形成直线往复振动筛分机构。进料器4安装在筛子5的正上方，除尘机构安装在 筛子5的正下方，包含除尘箱8、除尘风机7和粉尘收集袋21，其中，除尘风机7和粉尘收集 袋21安装在除尘箱8的两侧。因此，当粮食样本倒入进料器4后，通过上述的筛分电机驱 动的曲柄连杆机构进行筛分，并利用除尘机构清理筛下物中的粉尘。 所述的粮虫传输部分实现的功能是准确接收筛下物、输送采集盒20到机器视觉 部分的正下方以供图像采集，并清理采集盒20中的筛下物，主要包括控制模块3、采集盒 20、传送带18、光电传感器1、光电传感器2、光电传感器3、收集盒15和传输电机14。控制 模块3通过数据线与光电传感器1、光电传感器2、光电传感器3、筛分电机2、除尘电机7、传 输电机14以及计算机13相连，计算机13通过它接收来自光电传感器1、光电传感器2、光 电传感器3的触发信号，并通过它对筛分电机2、除尘电机7和传输电机14发出控制指令。 传送带18采用双链条链传动传输机构，通过传输电机14带动运转。采集盒20前端铰接在 双链条上，后端为自由端，可灵活转动。3个光电传感器分别安装在除尘机构、近红外相机 11和可见光CCD12的下方，传送带18的里侧，并稍低于采集盒20高度的位置。当它们检测 到采集盒20运动到除尘机构、近红外相机11和可见光CCD12的正下方时，给控制模块3提供粮虫筛分和图像拍摄的触发信号。当采集盒20运行到极限位置时，采集盒20执行扣翻 动作，倾倒采集盒20中的筛下物，并由安装在其正下方的收集盒15进行收集。
所述的机器视觉部分，主要功能是采集和分析筛下物的近红外图像和可见光图 像，由计算机13、光照箱9、近红外相机11、可见光CCD12、光源6和相应软件组成。光照箱 9安装在传送带18的正上方，里面有均匀光照的可见光-近红外波段的光源，为采集盒20 中的筛下物提供均匀的漫反射光。近红外相机11和可见光CCD12安装在光照箱9内，垂直 安装在传送带18的正上方，都与采集盒20运动方向在同一平面内，能分别清晰拍摄采集盒 20中筛下物的近红外图和可见光图像。近红外相机11的光谱范围为900-1700nm，其前端 带有近红外滤光片10 (半带宽小于10nm)。两个相机经数据线和计算机13相连，并将拍摄 的图像传输给计算机13。 工作时，粮食样本送入进料器4后，计算机13给控制模块3发出控制指令并启动 筛分电机2，通过曲柄连杆1带动筛子5的振动。当筛下物落下时经过除尘机构，除尘风机 7将筛下物中的粉尘吹到粉尘收集袋21中，除尘后的筛下物落入除尘机构下方的采集盒20 中。传输电机14驱动传送带18转动，当光电传感器17检测到采集盒20到位后，计算机13 控制近红外相机11进行图像采集，采集完毕后，传送带18继续前进。当光电传感器16检 测到采集盒20到位后，计算机13控制可见光CCD12进行图像采集，采集完毕后，传送带18 继续前进。对所采集的近红外图像进行图像处理，得到含有粮虫活虫的二值化图像，提取其 面积、复杂度、不变矩等形态学特征参数，通过识别软件判别出粮虫活虫，并确定出每个活 虫在图像中的坐标信息。同时，统计图像中所有粮虫活虫的头数。对采集的可见光图像进 行图像处理，匹配并融合筛下物的近红外图像，定位出运动的活虫。结合上述所有活虫的坐 标信息，确定"假死"活虫在可见光图像中的坐标信息，并分割出所有粮虫活虫所在的可见 光图像中的子区域。提取粮虫面积、周长等整体特征及鞘翅长宽比、鞘翅长与粮虫体长之比 等局部形态学特征参数，形成并优化粮虫的原始特征空间，运用识别软件确定出粮虫活虫 的种类信息。当传送带18运动到最右边时上下翻转，筛下物自动落入收集盒15中。当光 电传感器19检测到采集盒到位后，传输电机14停转以等待下一次检测。
权利要求
基于可见光-近红外双目机器视觉的粮虫检测装置，其特征在于，本发明所述的检测装置由粮虫分离部分、粮虫传输部分、机器视觉部分和计算机(13)组成。粮虫分离部分和机器视觉部分都安装在粮虫传输部分的上面；所述的粮虫分离部分包括进料器(4)、筛分电机(2)、曲柄连杆(1)、筛子(5)、除尘风机(7)、除尘箱(8)和粉尘收集袋(21)；所述筛分电机(2)通过主传动轴驱动曲柄连杆(1)，曲柄连杆(1)与筛架铰接，筛子(5)固定在筛架上，筛架采用下吊式铰接在机架上；所述进料器(4)安装在筛子(5)的正上方，所述除尘箱(8)安装在筛子(5)的正下方，除尘箱(8)的两侧设有除尘风机(7)和粉尘收集袋(21)；所述的粮虫传输部分包括控制模块()3、采集盒(20)、传送带(18)、光电传感器(1)、光电传感器(2)、光电传感器(3)、收集盒(15)和传输电机(14)；所述传输电机(14)带动传送带(18)，传送带(18)采用双链条链传动传输机构；所述采集盒(20)前端铰接在双链条上，后端为自由端；3个光电传感器分别安装在除尘机构、近红外相机(11)和可见光CCD(12)的下方，传送带(18)的内侧，低于采集盒(20)高度的位置；收集盒(15)位于传送带(18)末端的正下方；所述光电传感器(1)、光电传感器(2)、光电传感器(3)、筛分电机(2)、除尘电机(7)、传输电机(14)通过数据线与所述控制模块(3)相连，控制模块(3)与所述计算机(13)相连，计算机(13)通过控制模块(3)接收来自光电传感器(1)、光电传感器(2)、光电传感器(3)的触发信号，计算机(13)通过控制模块(3)对筛分电机(2)、除尘电机(7)和传输电机(14)发出控制指令。所述的机器视觉部分由光照箱(9)、近红外相机(11)、可见光CCD(12)、光源(6)和相应软件组成；所述光照箱(9)安装在传送带(18)的正上方，所述光源(6)、近红外相机(11)和可见光CCD(12)位于光照箱(9)内；近红外相机(11)和可见光CCD(12)垂直安装在传送带(18)的正上方，与采集盒(20)运动方向在同一平面内，经数据线和所述计算机(13)相连；近红外相机(11)的光谱范围为900-1700nm，其前端带有近红外滤光片(10)，红外滤光片(10)半带宽小于10nm。
2. 实施权利要求l所述的基于可见光-近红外双目机器视觉的粮虫检测装置方法，其 特征在于，包括的步骤为(1) 粮虫分离部分自动筛分粮食样本，清理去除粮食筛下物中的粉尘，并使筛下物自动 落入采集盒中。(2) 粮虫传输部分把采集盒分别传送到近红外相机和可见光CCD的正下方，机器视觉 部分对采集盒中的筛下物分别采集近红外图像和可见光图像，并传输至计算机；(3) 对所采集的近红外图像进行图像处理，得到含有粮虫活虫的二值化图像，提取其面 积、复杂度、不变矩等特征参数，通过粮虫活虫识别软件判别出粮虫活虫，并确定出每个活 虫在图像中的坐标信息；同时，统计图像中所有粮虫活虫的头数；(4) 对采集的可见光图像进行图像处理，匹配并融合筛下物的近红外图像，定位出运动 的活虫；结合上述所有活虫的坐标信息，确定"假死"活虫在可见光图像中的坐标信息，并分 割出可见光图像中所有粮虫活虫的子区域；(5) 提取粮虫面积、周长等整体特征参数及鞘翅长宽比、鞘翅长与粮虫体长之比等局部 特征参数，形成并优化粮虫的原始特征空间，运用粮虫种类识别软件确定出粮虫活虫的种 类信息；(6)粮虫传输部分在筛下物图像采集完毕之后，自动清理去除采集盒中的筛下物，并进 入下一个循环。
3. 根据权利要求2所述的基于可见光_近红外双目机器视觉的粮虫检测装置方法，其 特征在于，步骤(3)所述的图像处理包括图像获取、去背景、滤波增强图像、分割图像。
4. 根据权利要求2所述的基于可见光_近红外双目机器视觉的粮虫检测装置方法， 其特征在于，所述的粮虫活虫识别软件和粮虫种类识别软件内均包含有高精度的识别模型 通过神经网络分类器、支持向量机分类器或模糊分类器等技术，建立所提取的近红外粮虫 图像特征参数与粮虫活虫的关系模型，以及粮虫近红外光谱特征参数与粮虫类别的关系模 型。
全文摘要
本发明涉及一种针对仓储害虫的检测装置和方法，其由粮虫分离部分、粮虫传输部分和机器视觉部分组成；所述的粮虫分离部分利用筛分电机驱动振动筛从粮食样本中有效分离出粮虫；粮虫传输部分可输送采集盒到指定位置，并能自动清理采集盒中的筛下物；机器视觉部分由控制模块、计算机、光照箱、近红外相机、可见光CCD、光源和相应软件组成，依次采集筛下物的近红外图像和可见光图像后进行信息融合，提取粮虫整体形态学特征及局部形态学特征，利用优化后的粮虫特征空间并由识别软件可自动确定出仓储活虫的种类和数量，实现了常见仓储害虫的实时、准确、自动检测。
文档编号G01N21/84GK101701915SQ20091023507
公开日2010年5月5日 申请日期2009年11月13日 优先权日2009年11月13日
发明者乌慧玲, 张红涛, 毛罕平, 韩绿化 申请人:江苏大学