专利名称：基于电子视觉和嗅觉融合技术的农畜产品无损检测方法及其装置的制作方法
技术领域：
本发明涉及一种针对农畜产品的检测方法，特指基于电子视觉和嗅觉融合技术的农畜产品无损检测方法及其装置。
背景技术：
由于缺乏高质量和高水平的检测手段，我国出口农畜产品混等混级现象严重，在国际市场竞争中处于极为不利的地位，市场占有率不断受到挑战。我国是农业大国，加入WTO后，农畜产品面临的形势愈来愈严峻。目前绝大多数农畜产品的质量检测仍然沿用人工感官评定方法和常规化学分析方法。常规化学分析具有较高的准确度和可靠性，但是，其试样的前处理、实验本身的耗时性以及对物料的破坏性又是许多场合所不允许的。而感官评定通常需要训练有素、经验丰富的专家来完成，判断结果随着年龄、性别、识别能力及语言文字表达能力的不同存在相当大的个体差异，即使同一人员也随其身体状态和情绪的变化产生不同的结果，难以坚持统一、客观的标准，而且劳动强度大。尤其对于保存期短、易变质的农畜产品而言，人工检测远远不能满足全部检测的要求。
20世纪80年代起国外有人开始研究基于电子视觉的农畜产品质量检测技术，主要围绕农畜产品的大小、形状、纹理、颜色和表面缺陷等外观质量特征进行。对苹果、梨、辣椒、黄瓜等多种水果、蔬菜进行了品质检测与分选，经检索，有相关美国专利，专利号为5,732,147，专利名称为“Defective object inspection and separation system using imageanalysis and curvature transformation(用图像分析和曲率变换来检测物体(苹果)缺陷并加以区分的系统)”。该发明用图像处理方法和曲率变换来检测苹果等物体表面的缺陷，而对那些表面无异常而内部已变质的苹果就无能为力了。
计算机嗅觉技术是九十年代发展起来的新颖的分析、识别和检测复杂嗅味和挥发性成分的技术。国外研究者们分别用不同的气敏传感器阵列、不同的分析方法，对气味进行鉴别和判断。区别很明显的物质如胡萝卜，洋葱，香水，鱼片等散发出的气味。经检索，有相关中国专利，申请号03131660.3，基于气体传感器阵列技术的食品气味快速无损检测方法及装置；另有相关美国专利，专利号为6,450,008，专利名称为“Food applications of artificialolfactometry(用于食品的人工嗅味检测方法)”，以上发明只对食品气味进行检测的装置，所测得的信息也只是食品散发气味方面的信息，应用范围很有限。
到目前为止，国内外对绝大多数农畜产品质量的检测采用的是人工感官评定方法，而基于单一的电子视觉或嗅觉的农畜产品检测技术也只是停留在研究实验阶段。单凭视觉信息或者嗅觉信息对某些农畜产品质量进行的检测也较有效，但它检测到的质量信息特征毕竟是有局限性的，不全面的。例如电子视觉能检测出果品颜色、形状、尺寸等外观特征，但无法检出其中外观无显著异常却已变质且有明显异味的个体。
发明内容
鉴于上述现有技术发展情况，本发明的目的就是要提供一种针对农畜产品基于电子视觉和嗅觉融合技术的无损检测方法及其装置。通过电子视觉和嗅觉实现对人眼和鼻的扩展，将果蔬、肉类、谷物、饮料等农畜产品的颜色、形状、纹理、尺寸等外观特性与其在各种时期散发的气味等嗅觉信息融合起来，然后再与知识库中专家知识与经验融合起来，进行综合判别。
本发明的目的是通过以下方法实现的首先建立知识库，对所需测定的农畜产品，根据其检测标准(如国家检测标准、通用行业标准等)，先请专业人员对其中一部分样品进行感官评定，或对其做常规的理化分析，建立与该农畜产品质量相关的数据库。然后用CCD摄像头拍摄该农畜产品的图像，经图像采集卡传入计算机，而该农畜产品散发的气味与气体传感器阵列产生信号经调理电路、数模电路传入计算机，计算机模拟人的大脑对视觉数据和嗅觉数据进行处理、融合并与前面建立的数据库联系起来进行模式识别处理，从而在计算机中形成能够决定被测样品的真伪、优劣、等级、合格与否等不同规格质量的知识库。
然后进行样本测试①测定样品时，将样本置入一密闭采光室中，通过摄像头将样品的图片传到计算机中；②对图像进行处理，提取特征值，同时让样品在密闭的采光室中散发气味；③在上述处理的同时被测样品的气味经电磁阀、真空泵、流量计，以一定的温度、湿度、压力、流量输送至反应室，与气体传感器阵列传感器反应；产生嗅味信号，并送至计算机，提取相应特征；④计算机对所提取的特征信号进行融合和模式处理，给出被测样品的真伪、优劣、等级、合格与否等识别结果。识别结果通过计算机显示出来，本轮测试结束；⑤前一次测试结束后，取出样本，在采光室和反应室内通入洁净空气，把前一次测试遗留下来的气味吹走，并使气体传感器复原。
所述的计算机对所提取的特征信号进行融合和模式处理，其中数据融合采用贝叶司技术、回归分析、分形、主成分分析法、傅立叶变换、独立分量法、模糊理论等常规统计数据分析方法以及神经网络和遗传算法等构建高精度实时模式分类系统来处理视觉和嗅觉数据并与数据库联系起来进行学习、训练，得到一个知识库。使得所研制的系统能够决定被测样品的真伪、优劣、等级、合格与否等。
所述的融合分为原始数据融合、特征数据融合、决策数据融合等多个层次的融合。原始数据融合和特征数据融合主要包括对视觉数据和嗅觉数据本身的处理及融合，在视觉数据处理中包括背景分割、滤波去噪、边缘检测、纹理检测等一般的图像处理方法以及图像特征提取等，而嗅觉数据处理包括传感器数据平滑去噪、特征提取、归一化处理等；在视觉数据的原始数据融合中用到独立分量分析、主成分分析、傅立叶变换、域值分割等方法，嗅觉原始数据融合主要是卷积分析、正交分析、独立分量法分析等；特征数据融合是指先从每个传感器中提取特征值，然后在所提取的特征值的基础上采用判别式分析，神经网络，回归分析，贝叶司技术，遗传算法，K最近相邻法等方法进行融合；数据决策级的融合是根据电子视觉和嗅觉所提供的判断结果应用贝叶司方法、模糊理论等来进行判断的，从所测农畜产品的外形、颜色、尺寸大小、纹理、气味等多个方面给一个综合的评价。
所述的基于电子视觉和嗅觉融合技术的农畜产品无损检测装置由三部分组成电子视觉系统、电子嗅觉系统、模式识别和融合数据处理系统。电子视觉系统由CCD摄像头、图像采集卡、采光室、光源、调光电路等组成，其中CCD摄像头、光源、调光电路被固定在采光室内部，图像采集卡固定在计算机内部。电子嗅觉设备包括通过信号线顺序连接的气体传感器阵列、气体传感器调理电路、装在计算机内部的A/D采集卡，以及反应室、电源供给模块、控制测试环境和气体流向装置，布置在旁边的电源供给模块分别给气体传感器阵列、气体传感器调理电路等提供高精度直流稳压电源。气体传感器阵列、反应室布置在恒温装置里。其中控制测试环境和气体流向装置包括恒温装置、过滤器、流量计、气体管路、阀、无油微型真空泵等。气体管路上顺序布置着过滤器、无油微型真空泵、流量计、电磁阀。所述的恒温装置为一恒温水浴装置，用来控制环境的温度。
所述的气体传感器阵列由8到16个不同类型的气体传感器组成，均匀交错布置在条形的反应室里，该条形反应室布置在一恒温箱体中，内表面光滑没有气体死角，两端分别设有进气口和出气口，该进气口和出气口上分别设有进气管道和出气管道；进气管道上顺序连接有流量计、无油微量真空泵、二位三通电磁阀，电磁阀的进气端连接有两路管道，其中一条管道连接到采光室，吸取其中的待测样本散发的气味，使得在进行图像处理同时，进行嗅味检测，另一条管道连接到洁净空气对传感器复原用。
所述的气路中装有压力、温度、湿度传感器，这样可以使所测样本在同一压力、温度、湿度下产生顶空气体，使测试的精度和重复性提高；所述的调理电路板与条形气体传感器阵列反应室内各气体传感器和气体样本产生室内的压力、温度、湿度传感器输出相连接的，以及提供电源和对电磁阀进行控制。
工作时，CCD摄像头拍摄农畜产品的图像，经图像采集卡传入计算机，而农畜产品在一定条件下(温度、湿度、流速)散发的气味经无油微型真空泵吸入反应室与气体传感器阵列产生信号，经调理电路、A/D采集卡传入计算机。计算机模拟人的大脑对视觉数据和嗅觉数据进行融合和模式识别处理，最后由计算机决定被测样品的真伪、优劣、等级、合格与否等不同规格的质量。
本发明的有益效果是基于电子视觉和嗅觉融合技术的农畜产品无损检测模拟人和动物的视觉和嗅觉系统，得到的不是被测样品中视觉信息和嗅觉信号的简单叠加，而是模仿人的信息融合能力，将视觉和嗅觉信息融合起来，用高精度实时模式分类系统来处理视觉和嗅觉数据，并与经学习建立的数据库中的信息加以比较、判别，对样品质量进行综合检测，因而具有人工智能。可用于鉴别产品真伪，控制从原料到工艺的整个生产过程，从而使产品质量得到保证。基于电子视觉和嗅觉信息融合技术可为农畜产品、食品行业提供新的产品无损检测方法与装置，以其辅助或代替专业评判人员。还可广泛应用于环境的监测，烟草行业对烟草的全面质量检测，医疗部门通过综合病人的气色信息、呼出气味及散发的体味信息，对病情作出诊断等等。
用高精度实时模式分类系统来处理视觉和嗅觉数据，提高了测试的灵敏度、选择性和重复性，扩大其识别范围。本发明的农畜产品无损检测装置不仅能快速测量出所测对象颜色、形状、纹理、尺寸以及气味中所含的微量、痕量乃至超痕量化学成分，尤其能快速准确地将测量数据转换成与专家感官评定相一致的结果。它不仅可以根据各种不同的气味测到不同的信号，而且可以将这些信号与经学习建立的知识库中的信号加以比较，进行识别判断。
本发明与单一的视觉或嗅觉检测技术相比，得到的信息更全面，其可靠性、重复性和适应性得到提高。与常规化学分析方法相比，此方法技术操作快速简便，样品不需前处理，也不需任何有机溶剂进行萃取，测定一个样品小于5分钟，而且对未知样品具有人工智能的识别作用。与人的感观相比，测定结果更客观、可靠。
本发明引入信息科学领域中的高技术—融合技术，将电子视觉和嗅觉信息融合起来对农畜产品质量进行较为全面的无损检测，将基于计算机技术的高新检测技术用于农畜产品品质检测与自动分级过程中，既可以解放劳动力，排除人的主观因素干扰，又能快速而准确地进行农畜产品品质的综合评价。能够对农畜产品的加工、贮藏和运输过程进行快速、简便、客观的检测，准确、实时、有效地对农畜产品生产过程进行监测从而使农畜产品质量得到保证。
图1本发明的技术方案示意图。
图2电子视觉和嗅觉数据融合框3本发明应用实例(针对苹果)技术路线示意4本发明应用实例实现硬件示意5本发明应用实例中控制测试环境和气体流向装置结构简6本发明实施例的数据处理软件界面。
图7本发明实施例对红富士苹果检测的结果。
图中1.CCD摄像头、2.调光电路、3.图像采集卡、4.显示器、5.计算机、6.A/D采集卡、7.气体传感器调理电路、8.电源供给模块、9.气体传感器阵列、10.反应室、11.控制测试环境和气体流向装置、12.所测农畜产品、13.采光室、14.光源、15.过滤器、16.恒温装置、17.电磁阀、18.真空泵、19.流量计、20.温湿度传感器、21.压力传感器具体实施方式
本发明对农畜产品的无损检测具有通用性，但由于农畜产品种类很多，因此本发明只举一个用于红富士苹果的实施例，其他农畜产品的检测可参照该实施例的方法，具体针对所测的样本的评价标准，建立一个新的知识库，就可以对该类农畜产品进行测试了。
本实施例参阅图3，本发明对苹果进行检测的系统方案示意图。依照国家标准先挑选各种质量等级的苹果，先按常规检测手段进行质量评定和分级，然后将这些苹果作为标准样本，用基于电子视觉和嗅觉融合技术的无损检测装置对其进行无损检测，建立知识库。
图中的常规检测手段完全按我国1993年GB10651-89鲜苹果分级标准。
图中的电子视觉包括图像采集、图像预处理、图像分析与特征提取、分析(如图中的果形分析、果面颜色与缺陷分析、果体尺寸分析等)，其中图像采集是通过CCD摄像头对采光室中的苹果样本进行拍摄，经图像采集卡传入计算机，其中采光室内部布置有光源、调光电路及旋转测试台等，图像采集电路卡固定在计算机内部。通过计算机对步进电机的控制，使步进电机带动旋转测试台转动，进而带动苹果转动，使摄像头能拍摄到苹果整个表面的图像。
图像预处理包括滤波去噪、苹果图像与背景分割等软件。果形分析通过图像处理方法提取苹果的边缘信息并进行傅立叶展开，用傅立叶展开式的前几项系数对苹果的形状进行判断，得出其圆形度、细长度、对称性等形状特征。果体尺寸分析，用计算机软件提取苹果的最大横径，然后通过回归方法得出苹果的实际最大横径。
图中的电子嗅觉包括气体传感器阵列与苹果气味反应装置及气体传感器阵列数据采集、数据预处理、特征提取、分析，放在采光室内的苹果散发气味由无油真空泵吸取，经过管道和电磁阀，以一定的流量通过传感器阵列反应室与气体传感器阵列反应产生信号。该信号经传感器调理电路和A/D采集卡传入计算机。
气体传感器阵列数据预处理包括平滑滤波、基准标准化、归一化等处理，特征提取是从所得到的数据中提取一些能代表该反应过程信息的数据，如时域特征(反应最大值、稳定值、平均值积分值、微分值等)、频域特征(傅立叶系数等)，该特征作为神经网络的输入元，用神经网络判断该苹果的嗅觉特征。
图中的信息融合，首先是在电子嗅觉或电子视觉中的原始数据融合，传感器阵列数据采集后的基准标准化、归一化处理以及电子视觉得到苹果不同侧面的图像的原始数据融合，如用域值分割法综合三副苹果不同侧面的图像信息去除背景，用独立分量分析法把图像和气体传感器的噪声去除，并对视觉信号和嗅觉信号进行傅立叶变换，用主成分分析得到特征。然后在图像特征提取及气体传感器阵列特征提取基础上进行特征数据融合，用回归分析得到苹果果径大小，对苹果的颜色的分形特征进行判别式分析、神经网络得到苹果颜色等级，用贝叶司技术和神经网络分析得到苹果的形状等级；用主成分分析法、遗传算法对气体传感器特征数据进行融合得到苹果的嗅觉特征。最后在得到苹果视觉特征和嗅觉特征的基础上用贝叶司方法、模糊理论进行决策级融合，得到苹果的最终质量等级。
本发明实施例的硬件装置示意图如图4所示，电子视觉由CCD摄像头(1)、图像采集卡(3)、采光室(13)、光源(14)、调光电路(2)等组成，其中CCD摄像头(1)、光源(14)、调光电路(2)被固定在采光室(13)内部，图像采集卡(3)固定在计算机内部(5)。电子嗅觉设备包括气体传感器阵列(9)、气体传感器调理电路(7)、装在计算机内部的A/D采集卡(6)、反应室(10)、电源供给模块(8)、控制测试环境和气体流向装置(11)等。其中控制测试环境和气体流向装置(11)的结构如图5所示，采光室(13)放置在恒温装置(16)中，其为一恒温水浴装置，用来控制环境的温度。在恒温装置(16)中布置有温湿度传感器(20)、压力传感器(21)，这样可以使所测样本在同一压力、温度、湿度下产生顶空气体，使测试的精度和重复性提高。气体管路上顺序布置着过滤器(15)、电磁阀(17)、无油微型真空泵(18)、流量计(19)。
所述的气体传感器阵列(9)由12个不同类型的气体传感器组成，均匀交错布置在条形的反应室里，该条形反应室布置在一恒温箱体中，内表面光滑没有气体死角，两端分别设有进气口和出气口，该进气口和出气口上分别设有进气管道和出气管道；进气管道上顺序连接有流量计(10)、无油微量真空泵(18)、二位三通电磁阀(17)，电磁阀的进气端连接有两路管道，其中一条管道连接到采光室(13)，吸取其中的待测样本散发的气味，使得在进行图像处理同时，进行嗅味检测，另一条管道连接到洁净空气对传感器复原用。
所述的调理电路板(7)与条形气体传感器阵列反应室(10)内各气体传感器(9)和采光室(13)室内的压力传感器(21)、温湿度传感器(20)输出相连接的，以及提供电源和对电磁阀(17)进行控制。
工作时，CCD摄像头(1)拍摄苹果的图像(12)，经图像采集卡(3)传入计算机(5)，而苹果在一定条件下(温度、湿度、流速)散发的气味经无油微型真空泵(18)吸入反应室(10)与气体传感器阵列(9)产生信号，经调理电路(7)、A/D采集卡(6)传入计算机。计算机模拟人的大脑对视觉数据和嗅觉数据进行融合和模式识别处理，最后由计算机决定被测样品的真伪、优劣、等级、合格与否等不同规格的质量。
以上的电子嗅觉和电子视觉是同时进行的，其软件界面如图6所示。最终得到苹果的质量等级，如图7所示，包括苹果的气味、外观、尺寸、颜色等的一个综合评价。
权利要求
1.基于电子视觉和嗅觉融合技术的农畜产品无损检测方法，其特征是首先建立知识库，对所需测定的农畜产品，根据其检测标准(如国家检测标准、通用行业标准等)，先请专业人员对其中一部分样品进行感官评定，或对其做常规的理化分析，建立与该农畜产品质量相关的数据库。然后用CCD摄像头拍摄该农畜产品的图像，经图像采集卡传入计算机，而该农畜产品散发的气味与气体传感器阵列产生信号经调理电路、数模电路传入计算机，计算机模拟人的大脑对视觉数据和嗅觉数据进行处理、融合并与前面建立的数据库联系起来进行模式识别处理，从而在计算机中形成能够决定被测样品的真伪、优劣、等级、合格与否等不同规格质量的知识库；然后进行以下步骤的样本测试①测定样品时，将样本置入一密闭采光室中，通过摄像头将样品的图片传到计算机中；②对图像进行处理，提取特征值，同时让样品在密闭的采光室中散发气味；③在上述处理的同时被测样品的气味经电磁阀、真空泵、流量计，以一定的温度、湿度、压力、流量输送至反应室，与气体传感器阵列传感器反应；产生嗅味信号，并送至计算机，提取相应特征；④计算机对所提取的特征信号进行融合和模式处理，给出被测样品的真伪、优劣、等级、合格与否等识别结果，识别结果通过计算机显示出来，本轮测试结束；⑤前一次测试结束后，取出样本，在采光室和反应室内通入洁净空气，把前一次测试遗留下来的气味吹走，并使气体传感器复原。
2.根据权利要求1所述的基于电子视觉和嗅觉融合技术的农畜产品无损检测方法，其特征在于所述的计算机对所提取的特征信号进行融合和模式处理，其中数据融合采用贝叶司技术、回归分析、分形、主成分分析法、傅立叶变换、独立分量法、模糊理论常规统计数据分析方法以及神经网络和遗传算法构建高精度实时模式分类系统来处理视觉和嗅觉数据并与数据库联系起来进行学习、训练，得到一个知识库，使得所研制的系统能够决定被测样品的真伪、优劣、等级、合格与否等。
3.根据权利要求1所述的基于电子视觉和嗅觉融合技术的农畜产品无损检测方法，其特征在于所述的融合分为原始数据融合、特征数据融合、决策数据融合多个层次的融合；原始数据融合和特征数据融合主要包括对视觉数据和嗅觉数据本身的处理及融合，在视觉数据处理中包括背景分割、滤波去噪、边缘检测、纹理检测等一般的图像处理方法以及图像特征提取等，而嗅觉数据处理包括传感器数据平滑去噪、特征提取、归一化处理等；在视觉数据的原始数据融合中用到独立分量分析、主成分分析、傅立叶变换、域值分割等方法，嗅觉原始数据融合主要是卷积分析、正交分析、独立分量法分析等；特征数据融合是指先从每个传感器中提取特征值，然后在所提取的特征值的基础上采用判别式分析，神经网络，回归分析，贝叶司技术，遗传算法，K最近相邻法等方法进行融合；数据决策级的融合是根据电子视觉和嗅觉所提供的判断结果应用贝叶司方法、模糊理论等来进行判断的，从所测农畜产品的外形、颜色、尺寸大小、纹理、气味等多个方面给一个综合的评价。
4.实现权利要求1所述的基于电子视觉和嗅觉融合技术的农畜产品无损检测方法的装置，其特征在于由三部分组成电子视觉系统、电子嗅觉系统、模式识别和融合数据处理系统，电子视觉系统由CCD摄像头(1)、图像采集卡(3)、采光室(13)、光源(14)、调光电路(2)组成，其中CCD摄像头(1)、光源(14)、调光电路(2)被固定在采光室(13)内部，图像采集卡(3)固定在计算机内部；电子嗅觉设备包括通过信号线顺序连接的气体传感器阵列(9)、气体传感器调理电路(7)、装在计算机内部的A/D采集卡(6)，以及反应室(10)、电源供给模块(8)、控制测试环境和气体流向装置(11)，布置在旁边的电源供给模块(8)分别给气体传感器阵列(9)、气体传感器调理电路(7)等提供高精度直流稳压电源，气体传感器阵列(9)、反应室(10)布置在恒温装置(16)里；其中控制测试环境和气体流向装置包括恒温装置(16)、过滤器(15)、流量计(19)、气体管路、电磁阀(17)、无油微型真空泵(18)等，气体管路上顺序布置着过滤器(15)、无油微型真空泵(17)、流量计(10)、电磁阀(17)；电子视觉系统、电子嗅觉系统采集到的数据经导线传输到模式识别和融合数据处理系统。
5.根据权利要求4所述的基于电子视觉和嗅觉融合技术的农畜产品无损检测装置，其特征在于恒温装置(16)为一恒温水浴装置，用来控制环境的温度。
6.根据权利要求4所述的基于电子视觉和嗅觉融合技术的农畜产品无损检测装置，其特征在于所述的气体传感器阵列(9)由8到16个不同类型的气体传感器组成，均匀交错布置在条形的反应室(10)里，该条形反应室(10)布置在一恒温箱体中，内表面光滑没有气体死角，两端分别设有进气口和出气口，该进气口和出气口上分别设有进气管道和出气管道；进气管道上顺序连接有流量计(19)、无油微量真空泵(18)、电磁阀(17)，电磁阀(17)的进气端连接有两路管道，其中一条管道连接到采光室(13)，吸取其中的待测样本散发的气味，使得在进行图像处理同时，进行嗅味检测，另一条管道连接到洁净空气对传感器复原用。
7.根据权利要求4所述的基于电子视觉和嗅觉融合技术的农畜产品无损检测装置，其特征在于所述的气路中装有压力传感器(21)、温湿度传感器(20)。
8.根据权利要求4所述的基于电子视觉和嗅觉融合技术的农畜产品无损检测装置，其特征在于所述的调理电路(7)与条形气体传感器阵列反应室(10)内各气体传感器和气体样本产生室内的压力、温度、湿度传感器输出相连接的，以及提供电源和对电磁阀进行控制。
全文摘要
本发明涉及一种针对农畜产品的检测方法，其采用将CCD摄像头拍摄农畜产品的图像，经图像采集卡传入计算机，而农畜产品在一定条件下(温度、湿度、流速)散发的气味经无油微型真空泵吸入反应室与气体传感器阵列产生信号，经调理电路、A/D采集卡传入计算机。计算机模拟人的大脑对视觉数据和嗅觉数据进行融合和模式识别处理，最后由计算机决定被测样品的真伪、优劣、等级、合格与否等不同规格的质量。其可通过电子视觉和嗅觉实现对人眼和鼻的扩展，将果蔬、肉类、谷物、饮料等农畜产品的颜色、形状、纹理、尺寸等外观特性与其在各种时期散发的气味等嗅觉信息融合起来，然后再与知识库中专家知识与经验融合起来，进行综合判别。
文档编号G01N35/00GK1556412SQ20041001383
公开日2004年12月22日 申请日期2004年1月8日 优先权日2004年1月8日
发明者赵杰文, 邹小波, 黄星奕, 刘木华, 蔡建荣 申请人:江苏大学