专利名称：基于视频分析的储粮害虫检测识别方法及其系统的制作方法
技术领域：
本发明涉及检测技术领域，尤其涉及一种基于视频分析的储粮害虫检测与识别方 法及其系统。
背景技术：
我国是世界上最大的粮食储藏国家，每年由于粮虫危害造成的国库储粮损失高达 10多亿元人民币。当前的储粮害虫(粮虫)检测方法主要有近红外光谱法、X射线法、图像 处理和机器视觉法等。其中，近红外光谱法和X射线法通过对粮食逐粒扫描识别粮虫的种 类，虽然识别效果较好，但是效率太低且设备的成本较高。基于图像处理和机器视觉的储粮害虫检测和识别技术因其识别效率高且成本低 等优势已成为近年来的研究热点。然而，现有的基于图像处理和机器视觉的检测识别方法 普遍存在两个问题首先，由于需要针对一幅静态图像进行处理，图像噪声将导致粮虫的误 检和漏检；其次，现有方法无法判断粮虫存活与否。
发明内容
(一 )要解决的技术问题本发明要解决的技术问题是如何克服现有的基于图像处理和机器视觉的储粮害 虫检测识别方法中普遍存在的误检、漏检缺陷，以及如何实现粮虫的存活和类型判定。( 二 )技术方案为解决上述技术问题，本发明的技术方案提供了一种基于视频分析的储粮害虫检 测识别方法，包括以下步骤Sl 获取处于运动状态的待测储粮样品的多帧连续图像；S2 将每一帧图像分割为粮虫区域和背景区域；S3 在每一帧分割后的图像内以所述粮虫区域为中心限定大小为MXM个所述粮 虫区域的粮虫搜索区域；S4:基于预置的匹配标准，在第N+1帧图像的粮虫搜索区域内搜索与第N帧图像的 粮虫区域相匹配的区域块，并分别记录两者之间的匹配度值；S5 将累计匹配度值超过预定阈值的粮虫区域识别为存在粮虫的区域。进一步地，所述方法在步骤S5之后还包括检测所述存在粮虫的区域在所述多帧 连续图像中相对于其背景区域的分别的运动矢量值，并计算其平均运动矢量值，通过所述 平均运动矢量值判断所述存在粮虫的区域内的粮虫是否为存活粮虫。进一步地，所述方法在步骤S5之后还包括提取所述存在粮虫的区域的图像特 征，并通过SVM分类器获得分类结果和类型概率值；根据所述概率值的统计结果判断所述 存在粮虫的区域内的粮虫的类型。进一步地，所述存在粮虫的区域相对于其背景区域的运动矢量值通过以下步骤获 得
S401 根据待测储粮的运动状态构建六参数仿射模型，获得背景储粮的运动矢量 值；S402:获取所述存在粮虫的区域与与其相匹配的区域块之间的位移值，作为所述 存在粮虫的区域的绝对运动矢量值；S403:根据所述背景储粮的运动矢量值和所述存在粮虫的区域的绝对运动矢量值 获得所述存在粮虫的区域相对于其背景区域的运动矢量值。优选地，所述步骤S2通过自定义阈值法实现。优选地，所述步骤S4通过三步搜索法实现。优选地，所述步骤S4中，所述预置的匹配标准为将第N+1帧图像的粮虫搜索区域 中与第N帧图像的粮虫区域之间的灰度值差平方和最小的区域块识别为所述相匹配的区 域块。相应地，本发明的技术方案还提供了一种基于视频分析的储粮害虫检测识别系 统，包括储粮视频采集装置和储粮害虫检测识别装置，其中，储粮视频采集装置，获取处于运动状态的储量样品的视频，并将所述视频传送给 储粮害虫检测识别装置；储粮害虫检测识别装置，包括视频解析模块，将储粮视频采集装置传送的视频解析为多帧连续图像；粮虫检测模块，对每一图像分别进行粮虫区域的分割和提取，并基于所述粮虫区 域限定搜索区域；对于每一粮虫区域，在所述多帧图像的搜索区域内进行搜索匹配；根据 搜索匹配结果识别和定位其中存在粮虫的区域。进一步地，所述储粮害虫检测识别装置还包括活虫识别统计模块，检测所述存在粮虫的区域在所述多帧连续图像中相对于其背 景区域的分别的运动矢量值，并计算其平均运动矢量值，通过所述平均运动矢量值判断所 述存在粮虫的区域内的粮虫是否为存活粮虫。进一步地，所述储粮害虫检测识别装置还包括粮虫类型识别模块，提取所述存在粮虫的区域的图像特征，并通过SVM支持向量 机分类器获得分类结果和类型概率值；根据所述概率值的统计结果判断其内粮虫的类型。(三)有益效果与现有技术相比，根据本发明的基于视频分析的储粮害虫检测识别方法及其系统 具有以下优势基于多帧图像验证进行储粮害虫检测，通过连续多帧的搜索和比较来提高粮虫检 测的准确率，避免了粮虫的漏检和误检；基于视频运动分析进行储粮活虫检测，通过粮虫的运动特征判断粮虫的存活状 态，实现对储粮活虫的检测和实时统计；基于统计进行粮虫类型识别，针对活虫的形态不固定性，通过统计多帧的粮虫识 别结果，选取概率均值最大的类型作为粮虫的类型，提高了粮虫识别的准确率。
图1是根据本发明一种实施方式的基于视频分析的储粮害虫检测识别方法的流
5程图；图2是根据本发明一种实施方式的基于视频分析的储粮害虫检测识别方法中搜 索匹配过程示意图；图3是根据本发明一种实施方式的基于视频分析的储粮害虫检测识别系统的结 构框图。
具体实施例方式本发明提出的基于视频分析的储粮害虫检测识别方法及其系统，结合附图和实施 例说明如下。图1所示为依照本发明一种实施方式的基于视频分析的储粮害虫检测识别方法 的流程图。由图1中可以看出，该方法包括以下步骤Sl 获取处于运动状态的待测储粮样品的多帧连续图像实施过程中，可以摄取放置于传送带上的储粮样品的视频，并对视频进行解析，以 获得多帧连续图像。具体地，可以根据需要通过粮食取样装置定时从粮库中扦取各类粮食样本；将粮 食样本撒落在传送装置上，由此在传送装置的传送带上形成单层粮食样本；使用摄像装置 拍摄该单层粮食样本随着传送带移动的过程并形成视频；将视频解析为多帧连续的储粮图 像。优选地，可以对上述粮食传送装置进行额外照明，以保持视频的图像亮度稳定。视频解 析为本领域现有技术，在此不作赘述。S2 将每一帧图像分割为粮虫区域和背景区域具体来说，粮虫区域是指包含害虫的一个小图像块，如图2中左侧部分的小方框 所示；而每一帧图像中除去粮虫区域之外的区域即为背景区域。在对每一帧储粮图像进行 分割之前，可以先采用平滑和锐化技术对其进行处理以增强图像中粮虫与背景的反差和整 幅图像的清晰度，例如，采用robert算子或者sobel算子对储粮图像进行边缘提取，得到粮 虫灰度图象；然后，针对灰度图象的像素值，通过K-均值聚类自适应阈值法确定一个将储 粮图像分割为粮虫区域和背景区域的最佳阈值；通过获得的最佳阈值将储粮图像二值化； 最后通过数学形态学的蚀膨胀操作获得完整的粮虫区域。当然，也可以使用其他任何能够 获得相同处理效果的图像处理方法。S3 在每一帧分割后的图像内以所述粮虫区域为中心限定粮虫搜索区域；具体来说，对于每一帧分割后的储粮图像，以粮虫区域为中心，扩张其周围MXM 个单元块大小的区域，由此在其周围划分出一个粮虫搜索区域，如图2中右侧部分的大方 框所示(即搜索窗口)；其中，该单元块(图2中右侧部分的小窗口)的大小应该与粮虫区 域大小相同或近似相同；图2中所示M为3。优选地，M取8。S4:基于预置的匹配标准，在第N+1帧图像的粮虫搜索区域内搜索与第N帧图像的 粮虫区域相匹配的区域，并记录两者之间的匹配度值；具体实施过程中，对于第N帧图像中的粮虫区域，可在第N+1帧图像中的粮虫搜索 区域内，基于预置的匹配标准，搜索与第N帧图像中的粮虫区相匹配的区域块，并记录两者 的匹配度值。这里的匹配度值是指第N帧图像的粮虫区域与第N+1帧图像的粮虫搜索区域 中待匹配区域块之间灰度值差的平方和；这里的预置匹配标准为取第N+1帧图像的粮虫
6搜索区域中差值平方和最小的区域块作为与第N帧图像的粮虫区域相匹配的区域。优选地，如图2所示，上述匹配过程可以通过三步搜索法实现S401，从图2右侧部 分中搜索窗口的中心点开始，选取最大搜索长度的一半为步长，对与该中心点距离为步长 的八个单元块进行块匹配，匹配对象为图2左侧部分中小方框所示的粮虫区域，并分别计 算匹配度值，比较后确定匹配度值最高的区域块；S402，将步长减半，以S401中获得的匹配 度值最高的区域块为中心，对与该中心点距离为步长的八个单元块进行块匹配，并分别计 算匹配度值，比较后确定匹配度值最高的区域块；S403，重复步骤S402，直至步长为1，则当 前获得的匹配度值最高的区域块即为相匹配的区域块，搜索结束。此时，记录步骤S403中 的匹配度值。S5 将累计匹配度值超过预定阈值的粮虫区域识别为粮虫。具体实施过程中，对所述多帧连续图像依次执行步骤S4，对每一帧图像的所有粮 虫区域均进行搜索匹配及匹配度值计算；如果某一粮虫区域的累计匹配度值超过给定的阈 值，则认为检测到粮虫。优选地，预定阈值为0. 6。通过上述步骤S1-S5，本实施例提供了一种基于多帧图像验证的储粮害虫检测方 法，通过连续多帧的搜索和比较来提高粮虫检测的准确率，避免了粮虫的漏检和误检。优选地，本发明的基于视频分析的储粮害虫检测识别方法在检测到粮虫后，还可 以进一步地识别该粮虫是否处于存活状态。具体来说，根据检测到的粮虫区域，进一步判断粮虫是否存活，并对存活的粮虫数 量进行统计。识别过程包括以下步骤Sll 在储粮样品传送装置上标记若干个特征点，通过特征点匹配得到六参数的仿 射模型，以描述摄像装置的全局运动规律；六参数仿射模型的构建属于现有技术，在此不做 赘述。S12 获得每一存在粮虫的区域相对于其背景储粮的运动矢量值；具体来说，通过步骤Sll中构建的仿射模型可以得到背景储粮的运动矢量值；在 步骤S4中会得到一个与该存在粮虫的区域相匹配的区域块，两者之间的位移值即为该存 在粮虫的区域的绝对运动矢量；将该存在粮虫的区域的绝对运动矢量值减去该背景储粮的 运动矢量值即为该存在粮虫的区域内的粮虫相对于其背景储粮的运动矢量值；该相对运动 矢量为粮虫存活与否的判断标准。S13:计算每一粮虫在多帧连续图像中的平均运动矢量值，并将平均运动矢量值大 于零的粮虫识别为活虫。通过上述步骤S11-S13，本实施例的基于视频分析的储粮害虫检测识别方法还提 供了一种基于视频运动分析的储粮活虫检测方法，通过粮虫的运动特征判断粮虫的存活状 态，实现对储粮活虫的检测和实时统计。优选地，本发明的基于视频分析的储粮害虫检测识别方法在检测到粮虫后，还可 以进一步地判断其所属的害虫类型。识别过程包括以下步骤S21 将检测到的所有粮虫的粮虫区域作为待识别区域。对于每一粮虫的待识别区 域，提取其灰度、周长、面积、傅立叶算子等图像特征；S22 将所述灰度、周长、面积、傅立叶算子等图像特征输入支持向量机(supportvector machine, SVM)分类器，对粮虫类型进行识别，得到粮虫的分类结果和所属类别的概
率值；S23 统计步骤S22的识别结果中各类型概率值的平均值，选取平均值最大的类型 作为该粮虫的类型，以此避免单帧图像识别准确率不高。通过上述步骤S21-S23，本实施例的基于视频分析的储粮害虫检测识别方法还提 供了一种基于统计的粮虫类型识别方法，针对活虫的形态不固定性，通过统计多帧的粮虫 识别结果，选取概率均值最大的类型作为粮虫的类型，提高了粮虫识别的准确率。根据上述实施例所描述的基于视频分析的储粮害虫检测识别方法，本发明还提供 了一种基于视频分析的储粮害虫检测识别系统。如图3所示，本实施例的系统包括储粮视频采集装置和储粮害虫检测识别装置两 个部分。具体来说，储粮视频采集装置用于实现步骤Sl中的连续图像的获取。相应地，其 包括储粮取样单元，用于从粮仓中扦取各类粮食样本；储粮传送单元，用于单层传送粮食样本，便于摄像单元进行拍摄；优选地，所述储 粮传送单元为传送带；摄像单元，用于拍摄储粮随传送装置运动过程的运动视频，并将其传送给储粮害 虫检测识别装置。优选地，本实施例的储粮视频采集装置还可以包括照明单元，用于对储粮传送单 元进行照明，以确保储粮视频的图像亮度稳定。具体来说，储粮害虫检测识别装置用于实现步骤S2-S5所述的视频分析处理过 程。相应地，其包括视频解析模块，将储粮视频采集装置传送的视频解析为多帧连续图像；例如， Directshow等软件可将视频流解析为多帧连续的图像以供进一步处理；粮虫检测模块，对每一图像分别进行粮虫区域的分割和提取，并基于所述粮虫区 域限定搜索区域；对于每一粮虫区域，在所述多帧图像的搜索区域内进行搜索匹配；根据 搜索匹配结果识别和定位其中存在粮虫的区域。优选地，本实施例的储粮害虫检测识别装置还可以包括活虫识别统计模块，检测所述存在粮虫的区域在所述多帧连续图像中分别的运动 矢量值，通过其平均运动矢量值识别其内的粮虫是否为存活粮虫；以及粮虫类型识别模块，提取所述存在粮虫的区域的图像特征，并通过SVM分类器获 得分类结果和类型概率值；根据所述概率值的统计结果判断其内粮虫的类型。需要说明的是，关于本实施例中基于视频分析的储粮害虫检测识别系统的各个部 分的工作原理，可以参见前述基于视频分析的储粮害虫检测识别方法的相应描述，在此不 做赘述。以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通 技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有 等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
权利要求
一种基于视频分析的储粮害虫检测识别方法，其特征在于，包括以下步骤S1获取处于运动状态的待测储粮样品的多帧连续图像；S2将每一帧图像分割为粮虫区域和背景区域；S3在每一帧分割后的图像内以所述粮虫区域为中心限定粮虫搜索区域，所述粮虫搜索区域由M×M个所述粮虫区域构成；S4基于预置的匹配标准，在第N+1帧图像的粮虫搜索区域内搜索与第N帧图像的粮虫区域相匹配的区域块，并分别记录两者之间的匹配度值；S5将累计匹配度值超过预定阈值的粮虫区域识别为存在粮虫的区域。
2.如权利要求1所述的基于视频分析的储粮害虫检测识别方法，其特征在于，所述方 法在步骤S5之后还包括检测所述存在粮虫的区域在所述多帧连续图像中相对于其背景 区域的分别的运动矢量值，并计算其平均运动矢量值，通过所述平均运动矢量值判断所述 存在粮虫的区域内的粮虫是否为存活粮虫。
3.如权利要求1所述的基于视频分析的储粮害虫检测识别方法，其特征在于，所述方 法在步骤S5之后还包括提取所述存在粮虫的区域的图像特征，并通过SVM支持向量机分 类器获得分类结果和类型概率值；根据所述概率值的统计结果判断所述存在粮虫的区域内 的粮虫的类型。
4.如权利要求2所述的基于视频分析的储粮害虫检测识别方法，其特征在于，所述存 在粮虫的区域相对于其背景区域的运动矢量值通过以下步骤获得S401根据待测储粮的运动状态构建六参数仿射模型，获得背景储粮的运动矢量值；S402获取所述存在粮虫的区域与与其相匹配的区域块之间的位移值，作为所述存在 粮虫的区域的绝对运动矢量值；S403:根据所述背景储粮的运动矢量值和所述存在粮虫的区域的绝对运动矢量值获得 所述存在粮虫的区域相对于其背景区域的运动矢量值。
5.如权利要求1-4中任意一项所述的基于视频分析的储粮害虫检测识别方法，其特征 在于，所述步骤S2通过自定义阈值法实现。
6.如权利要求1-4中任意一项所述的基于视频分析的储粮害虫检测识别方法，其特征 在于，所述步骤S4通过三步搜索法实现。
7.如权利要求1-4中任意一项所述的基于视频分析的储粮害虫检测识别方法，其特征 在于，所述步骤S4中，所述预置的匹配标准为将第N+1帧图像的粮虫搜索区域中与第N帧 图像的粮虫区域之间的灰度值差平方和最小的区域块识别为所述相匹配的区域块。
8.一种基于视频分析的储粮害虫检测识别系统，其特征在于，包括储粮视频采集装置 和储粮害虫检测识别装置，其中，储粮视频采集装置，获取处于运动状态的储量样品的视频，并将所述视频传送给储粮 害虫检测识别装置；储粮害虫检测识别装置，包括视频解析模块，将储粮视频采集装置传送的视频解析为多帧连续图像；粮虫检测模块，对每一图像分别进行粮虫区域的分割和提取，并基于所述粮虫区域限 定搜索区域；对于每一粮虫区域，在所述多帧图像的搜索区域内进行搜索匹配；根据搜索 匹配结果识别和定位其中存在粮虫的区域。
9.如权利要求8所述的基于视频分析的储粮害虫检测识别系统，其特征在于，所述储 粮害虫检测识别装置还包括活虫识别统计模块，检测所述存在粮虫的区域在所述多帧连续图像中相对于其背景区 域的分别的运动矢量值，并计算其平均运动矢量值，通过所述平均运动矢量值判断所述存 在粮虫的区域内的粮虫是否为存活粮虫。
10.如权利要求8所述的基于视频分析的储粮害虫检测识别系统，其特征在于，所述储 粮害虫检测识别装置还包括粮虫类型识别模块，提取所述存在粮虫的区域的图像特征，并通过SVM支持向量机分 类器获得分类结果和类型概率值；根据所述概率值的统计结果判断其内粮虫的类型。
全文摘要
本发明提供了一种基于视频分析的储粮害虫检测识别方法以及相应的检测识识别装置。本发明的方法包括以下步骤S1获取处于运动状态的待测储粮样品的多帧连续图像；S2将每一帧图像分割为粮虫区域和背景区域；S3在每一帧分割后的图像内以所述粮虫区域为中心限定粮虫搜索区域，该粮虫搜索区域由M×M个该粮虫区域构成；S4基于预置的匹配标准，在第N+1帧图像的粮虫搜索区域内搜索与第N帧图像的粮虫区域相匹配的区域，并分别记录两者之间的匹配度值；S5将累计匹配度值超过预定阈值的粮虫区域识别为存在粮虫的区域。该方法可以克服现有检测识别方法中普遍存在的误检、漏检缺陷，并能实现粮虫的存活和类型判定。
文档编号G06K9/62GK101976350SQ20101052002
公开日2011年2月16日 申请日期2010年10月20日 优先权日2010年10月20日
发明者杨颖 , 高万林 申请人:中国农业大学