大豆外观品质检测装置以及检测方法与流程
本发明涉及一种大豆外观品质检测装置以及检测方法，属于农业技术领域。
背景技术：
大豆在国际农品贸易中占有重要地位，中国目前是世界上大豆的主要生产和消费大国。大部分的大豆收获后被干燥处理，之后被用于储存或加工的工业生产。干燥后的大豆种皮和果肉颜色变黄，因此又被称为黄豆。大豆营养丰富，种子中含有高质量的蛋白质、无胆固醇油，其中豆油中对人体有益的不饱和脂肪酸高达88.6％，另外还富含氨基酸、维生素、矿物质和脂肪。大豆食品作为一种健康食品愈来愈受到人们的青睐。研究大豆以及其制品质量标准和开发精确的品质检测技术，对于指导大豆生产及加工利用，提高大豆产品市场竞争力具有重要意义。
现有大豆外观品质图像多采用工业相机获取，不同大豆颗粒在照片的不同位置的几何度保持发生一定的变形，并且成像受到相机拍摄高度和视角等参数的影响。基于机器视觉和机器学习技术的人工智能系统被用于检测和区分大豆种子质量，ahmad等人使用颜色信息对无症状和有症状的大豆种子进行分类；shatadal等人使用rgb颜色空间特征训练了一个前馈神经网络，将大豆种子分类为完整的、损伤的和虫蛀的类别。刘等人提取黄豆l*a*b颜色特征、能量、熵、周长、面积、圆度、伸长率、紧凑度、偏心率、椭圆轴比和等效直径的特征作为bp人工神经的输入网络和建立一个三层分类器，用于分类破碎和正常大豆种子。这些先前的方法基本上使用颜色、形态和纹理的全局视觉特征来描述大豆种子。全局特征通常包含大量无效的背景信息，并且使用他们很容易掩盖局部详细信息，无效特征的引入和有效的细节识别信息的丢失将不可能避免的影响分类模型的性能，从而影响最终的识别准确性。近年来，基于词典特征模型的局部视觉特征表示的技术在农业对象识别方面显示出巨大的应用潜力。词典特征模型是模仿文档分析方法，将局部图像特征视为视觉单词并提取视觉词典特征以表示图像的属性。murat等人使用密集尺度不变特征的词典特征模型来分类小麦种子品种。肖等人提出利用基于尺度不变特征变换的视觉词典模型特征对南方四种重要的蔬菜害虫进行分类。上述相关的研究仅使用了一种类型的视觉词典，很难充分表达复杂的农业对象，并且没有相关方法正对大豆种子检测质量的研究。
技术实现要素：
本发明的目的在于提供一种大豆外观品质检测装置以及检测方法，解决获取大豆种子在影像上的任何位置几何度均匀度不足，多模态异特质的有效提取和耦合影像大豆种子外观品质判断精度低的技术缺陷。
一种大豆外观品质检测装置，包括金属黑盒、处理器；所述金属黑盒内包括：透明树脂平板、存储器以及第一变速移动成像组件；所述透明树脂平板水平设置于所述金属黑盒中部，将所述金属黑盒分成上部、下部两个空间；所述存储器固定于所述金属黑盒内，与所述处理器电路连接；所述第一变速移动成像组件与所述处理器电路连接，所述第一变速移动成像组件基于所述处理器的控制信号以不同移动速度在所述金属黑盒的上部或下部内移动，对设置于所述透明树脂平板上的数个大豆样本的一面进行图像采集。
进一步地，所述第一变速移动成像组件包括：第一变速水平线性电机、第一轨道、第一移动平台、第一全光谱发射光源、第一全光谱反射移动镜、第一全光谱反射固定镜、第一电荷耦合成像器、第一黑色吸光盖；所述第一轨道水平设置于所述透明树脂平板下方；所述第一移动平台设置在所述第一轨道上，所述第一全光谱发射光源与所述处理器连接，所述第一全光谱发射光源设置在所述第一轨道上，所述第一变速水平线性电机设置于所述金属黑盒的下部，所述第一变速水平线性电机与所述处理器电路连接，所述第一变速水平线性电机基于所述处理器的控制信号驱动所述第一移动平台以及第一全光谱发射光源在所述第一轨道上同步地移动；所述第一黑色吸光盖设置于所述金属黑盒的上部，所述第一黑色吸光盖通过支撑杆竖直固定在所述第一移动平台上，所述第一黑色吸光盖随所述第一移动平台移动而移动；所述第一全光谱反射移动镜设置于所述第一移动平台上；所述第一全光谱反射固定镜、所述第一电荷耦合成像器固定设置于所述金属黑盒的下部，所述第一电荷耦合成像器与所述存储器电路连接；所述第一全光谱发射光源产生的光源照射大豆样本，光源经大豆样本、所述第一全光谱反射移动镜、所述第一全光谱反射固定镜依次折射后射入所述第一电荷耦合成像器。
进一步地，所述金属黑盒内还包括：第二变速移动成像组件；所述第二变速移动成像组件与所述处理器电路连接，所述第二变速移动成像组件基于所述处理器的控制信号以不同移动速度在所述金属黑盒的下部或上部内移动，对设置于所述透明树脂平板上的数个大豆样本的另一面进行图像采集。
进一步地，所述第二变速移动成像组件包括：第二变速水平线性电机、第二轨道、第二移动平台、第二全光谱发射光源、第二全光谱反射移动镜、第二全光谱反射固定镜、第二电荷耦合成像器、第二黑色吸光盖；所述第二轨道水平设置于所述透明树脂平板下方；所述第二移动平台设置在所述第二轨道上，所述第二全光谱发射光源与所述处理器连接，所述第二全光谱发射光源设置在所述第二轨道上，所述第二变速水平线性电机设置于所述金属黑盒的下部，所述第二变速水平线性电机与所述处理器电路连接，所述第二变速水平线性电机基于所述处理器的控制信号驱动所述第二移动平台以及第二全光谱发射光源在所述第二轨道上同步地移动；所述第二黑色吸光盖设置于所述金属黑盒的上部，所述第二黑色吸光盖通过支撑杆竖直固定在所述第二移动平台上，所述第二黑色吸光盖随所述第二移动平台移动而移动；所述第二全光谱反射移动镜设置于所述第二移动平台上；所述第二全光谱反射固定镜、所述第二电荷耦合成像器固定设置于所述金属黑盒的下部，所述第二电荷耦合成像器与所述存储器电路连接；所述第二全光谱发射光源产生的光源照射大豆样本，光源经大豆样本、所述第二全光谱反射移动镜、所述第二全光谱反射固定镜依次折射后射入所述第二电荷耦合成像器。
进一步地，所述第一全光谱发射光源、第二全光谱发射光源为线程阵列全光谱发射光源；所述第一全光谱反射移动镜、第二全光谱反射移动镜、第一全光谱放射固定镜、第二全光谱反射固定镜为线程阵列全光谱反射镜；所述第一电耦合成像器、第二电荷耦合成像器为线程阵列电荷耦合成像器。
一种大豆外观品质检测方法，具体包括如下步骤：
步骤1：获取大豆种子外观的样本影像；
步骤2：通过加速鲁棒梯度算法提取样本影像的梯度空间特征；通过l*a*b颜色特征算法提取样品影像的颜色空间特征；
步骤3：将所述梯度空间特征看作梯度词汇，通过聚类算法获取梯度词汇的核空间局部分布聚类中心，形成梯度词典特征；将所述颜色空间特征看作颜色词汇，通过聚类算法获取颜色词汇的核空间局部分布聚类中心，形成颜色词典特征；
步骤4：采用低秩稀疏表示法将梯度词典特征与颜色词典特征进行耦合，形成词典特征耦合编码特征；
步骤5：通过多分类支持向量机算法对所述词典特征耦合编码特征进行分类。
进一步地，步骤2中所述通过加速鲁棒梯度算法提取样本影像的梯度空间特征的具体步骤如下：
步骤s1：计算样本影像积分；
步骤s2：通过盒式滤波建立尺度空间，通过变换盒滤波尺寸参数获得多分辨率多层次的尺度空间图像；
步骤s3：计算尺度空间图像上hessain矩阵的极值点；
步骤s4：以极值点为中心，构建半径为6δ的圆形区域，其中，δ为极值特征点所在的图像尺度，即在60度扇形内，每次将60度扇形区域旋转0.2弧度进行统计梯度值，将具有最大梯度值的扇形方向作为该极值点的主方向；
步骤s5：在极值点附件通过haar小波响应在12×12个规则平方间隔采样点处计算图像梯度值，然后沿着极值点的主方向周围的邻域内计算4×4个子域描述符，在水平方向和垂直方向上的haar小波响应的3×3平方区域中计算矢量和，并与相应兴趣点的主导方向构建4×4子区域梯度强度特征，最后将4×4子区域特征级联成64维梯度的梯度空间特征；
步骤2中所述颜色空间特征为l*a*b颜色特征分量值与对应l*a*b颜色特征所在的空间位置耦合后形成的空间向量值。
进一步地，所述步骤3中，通过聚类算法获取梯度词汇的核空间局部分布聚类中心，形成梯度词典特征，以及通过聚类算法获取颜色词汇的核空间局部分布聚类中心，形成颜色词典特征，具体方法为：先通过gaussian核函数分别将底层的梯度词典特征以及底层的颜色词典特征映射到高维hilbert空间，再通过kernelk-means聚类算法构造梯度词汇的高维线性同构语义的梯度词典特征以及颜色词汇的高维线性同构语义的颜色词典特征。
进一步地，所述步骤4中，采用低秩稀疏表示法将梯度词典特征与颜色词典特征进行耦合，形成词典特征耦合编码特征，具体步骤为：
步骤a1：将梯度词典特征与颜色词典特征进行特征向量组合，组合结果作为输入矩阵；
步骤a2：将输入矩阵投影到低秩矩阵，并与低秩矩阵产生残差；
步骤a3：将低秩矩阵与残差进行最小化处理；
步骤a4：判断步骤3的最小化处理结果是否达到收敛；
当未达到收敛时，将最小化处理结果作为输入矩阵，执行步骤a2至步骤a4；
当达到收敛时，输出词典特征耦合编码特征。
进一步地，所述步骤5中，通过多分类支持向量机算法对所述词典特征耦合编码特征进行分类的具体方法为，多分类支持向量机通过gussian核函数将所述词典特征耦合编码特征投影到高维核空间进行线性分类。
与现有技术相比，本发明的有益效果是：
本发明装置利用移动速度可变的变速移动成像组件代替传统的相机拍摄技术，可以确保每张大豆样品在照片的任何位置几何度保持基本均匀。本发明装置在检测到反光率较低时，会加速变速移动成像组件移动速度，提高检测速度。本发明装置运用在透明树脂平板上下两侧都设置变速移动成像组件，对大豆样品的上下两面的图像都进行采集，提高了检测准确性。
本发明使用多模态特征来联合表达大豆种子的外观品质，运用低秩稀疏表示法，通过在低秩子稀疏子空间中生成新的低维稀疏描述符来有机地耦合不同类别的词典特征，消除不相关的冗余信息在稀疏空间中的影响，同时采用多分类支持向量机算法对低秩稀疏表示词典特征耦合编码在gaussian空间中进行线性分类，提升了大豆种子外观品质分类精度。
附图说明
图1是本发明的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明的大豆外观品质检测装置，包括金属黑盒1、处理器2；金属黑盒1内包括：透明树脂平板11、存储器12、第一变速移动成像组件以及第二变速移动成像组件；透明树脂平板11水平设置于金属黑盒1中部，将金属黑盒1分成上部、下部两个空间；存储器12固定于金属黑盒1内，与处理器2电路连接；第一变速移动成像组件与处理器2电路连接，第一变速移动成像组件基于处理器2的控制信号以不同移动速度在金属黑盒1的上部或下部内移动，对设置于透明树脂平板11上的数个大豆样本的一面进行图像采集；第二变速移动成像组件与处理器2电路连接，第二变速移动成像组件基于处理器2的控制信号以不同移动速度在金属黑盒1的下部或上部内移动，对设置于透明树脂平板11上的数个大豆样本的另一面进行图像采集。
如图1所示，第一变速移动成像组件包括：第一变速水平线性电机131、第一轨道132、第一移动平台133、第一全光谱发射光源134、第一全光谱反射移动镜135、第一全光谱反射固定镜136、第一电荷耦合成像器137、第一黑色吸光盖138；第一轨道132水平设置于透明树脂平板11下方；第一移动平台133设置在第一轨道132上，第一全光谱发射光源134与处理器2连接，第一全光谱发射光源134设置在第一轨道132上，第一变速水平线性电机131设置于金属黑盒1的下部，第一变速水平线性电机131与处理器2电路连接，第一变速水平线性电机131基于处理器2的控制信号驱动第一移动平台133以及第一全光谱发射光源134在第一轨道132上同步地移动；第一黑色吸光盖138设置于金属黑盒1的上部，第一黑色吸光盖138通过支撑杆竖直固定在第一移动平台133上，第一黑色吸光盖138随第一移动平台133移动而移动；第一全光谱反射移动镜135设置于第一移动平台133上；第一全光谱反射固定镜136、第一电荷耦合成像器137固定设置于金属黑盒1的下部，第一电荷耦合成像器137与存储器12电路连接；第一全光谱发射光源134产生的光源照射大豆样本，光源经大豆样本、第一全光谱反射移动镜135、第一全光谱反射固定镜136依次折射后射入第一电荷耦合成像器137；
第二变速移动成像组件包括：第二变速水平线性电机231、第二轨道232、第二移动平台233、第二全光谱发射光源234、第二全光谱反射移动镜235、第二全光谱反射固定镜236、第二电荷耦合成像器237、第二黑色吸光盖238；第二轨道232水平设置于透明树脂平板11下方；第二移动平台233设置在第二轨道232上，第二全光谱发射光源234与处理器2连接，第二全光谱发射光源234设置在第二轨道232上，第二变速水平线性电机231设置于金属黑盒1的下部，第二变速水平线性电机231与处理器2电路连接，第二变速水平线性电机231基于处理器2的控制信号驱动第二移动平台233以及第二全光谱发射光源234在第二轨道232上同步地移动；第二黑色吸光盖238设置于金属黑盒1的上部，第二黑色吸光盖238通过支撑杆竖直固定在第二移动平台233上，第二黑色吸光盖238随第二移动平台233移动而移动；第二全光谱反射移动镜235设置于第二移动平台233上；第二全光谱反射固定镜236、第二电荷耦合成像器237固定设置于金属黑盒1的下部，第二电荷耦合成像器237与存储器12电路连接；第二全光谱发射光源234产生的光源照射大豆样本，光源经大豆样本、第二全光谱反射移动镜235、第二全光谱反射固定镜236依次折射后射入第二电荷耦合成像器237。
其中，第一黑色吸光盖138、第二黑色吸光盖238作为大豆样本图像采集时的背景；第一全光谱发射光源134、第二全光谱发射光源234优选线程阵列全光谱发射光源；第一全光谱反射移动镜135、第二全光谱反射移动镜235、第一全光谱放射固定镜、第二全光谱反射固定镜236优选线程阵列全光谱反射镜；第一电耦合成像器、第二电荷耦合成像器237优选线程阵列电荷耦合成像器。
使用说明，先在透明树脂平板11上均匀铺设数个待采样的大豆样品，开始检测时，变速水平线性电机驱动移动平台以及全光谱发射光源同步地匀速地在轨道上移动，对每个大豆样品进行图像采集。全光谱发射光源产生的光源照射在一个待检测的大豆样品的一面上，光源经过大豆样品、全光谱反射移动镜以及全光谱反射固定镜依次折射后射入电荷耦合成像器，电荷耦合成像器将图像信息存储到存储器12中，处理器2从存储器12中获取图像信息并通过本发明方法进行图像处理。在检测到反射率较低时，说明光源照射在作为背景的黑色吸光盖上，此时处理器2控制变速水平线性电机驱动移动平台以及全光谱发射光源加速移动直至反射率恢复正常。
本发明大豆外观品质检测方法，包括如下步骤：
步骤1：获取大豆种子外观的样本影像；
步骤2：通过加速鲁棒梯度算法提取样本影像的梯度空间特征；通过l*a*b颜色特征算法提取样品影像的颜色空间特征；
步骤3：将所述梯度空间特征看作梯度词汇，通过聚类算法获取梯度词汇的核空间局部分布聚类中心，形成梯度词典特征；将所述颜色空间特征看作颜色词汇，通过聚类算法获取颜色词汇的核空间局部分布聚类中心，形成颜色词典特征；
步骤4：采用低秩稀疏表示法将梯度词典特征与颜色词典特征进行耦合，形成词典特征耦合编码特征；
步骤5：通过多分类支持向量机算法对所述词典特征耦合编码特征进行分类。
步骤1中，通过图1所示的本发明大豆外观品质检测装置获取大豆外观样本影像，建立大豆样品影像数据库。
步骤2中，加速鲁棒梯度空间特征算法具有对图像旋转、图像尺度伸缩、图像亮度变化、图像观测视角变换、图像仿射变化、图像内掺杂的噪声保持一定程度的稳定性，加速鲁棒梯度空间特征算法的具体步骤如下：
步骤s1：计算样本影像积分，具体公式如下：
其中，“i(x,y)”为大豆样品影像，“(x,y)”为大豆影像上像素点的坐标值；
步骤s2：通过盒式滤波法代替gaussian核与图像卷积法建立尺度空间，通过变换盒滤波尺寸参数获得多分辨率多层次的尺度空间图像；
步骤s3：计算尺度空间图像上hessain矩阵的极值点，具体公式如下：
det(h)＝gxxgyy-(0.9gxy)2，
其中，“h”代表hessian矩阵，“gxx”，“gyy”和“gxy”表示图像沿着“x”、“y”和“xy”方向上gaussian滤波后的二阶近似数；
把指定像素的hessian矩阵与同一尺度空间图像上的8个像素和邻近尺度空间图像上的9个像素点，共26个像素点的行列式值进行比较，选取最大极值点或最小极值点；
步骤s4：以极值点为中心，构建半径为6δ的圆形区域，其中，δ为极值特征点所在的图像尺度，即在60度扇形内，每次将60度扇形区域旋转0.2弧度进行统计梯度值，将具有最大梯度值的扇形方向作为该极值点的主方向；
步骤s5：在极值点附件通过haar小波响应在12×12个规则平方间隔采样点处计算图像梯度值，然后沿着极值点的主方向周围的邻域内计算4×4个子域描述符，在水平方向和垂直方向上的haar小波响应的3×3平方区域中计算矢量和，并与相应兴趣点的主导方向构建4×4子区域梯度强度特征，最后将4×4子区域特征级联成64维梯度的梯度空间特征。
步骤2中，通过l*a*b颜色特征算法提取样品影像的颜色空间特征，颜色空间特征为l*a*b颜色特征分量值与对应l*a*b颜色特征所在的空间位置耦合后形成的空间向量值。大豆的分类在一定程度上也是基于人类对大豆颜色的感觉进行区分，为了在后续数字图形处理中保留大豆样品影像中较宽的色域和丰富的色彩，把用rgb来表述影像的方法转变成使用cielab来表述影像，需要借助xyz颜色空间将rgb颜色空间转换成cielab颜色空间，具体转换公式如下：
其中，
步骤3中，先通过gaussian核函数分别将底层的梯度词典特征以及底层的颜色词典特征映射到高维hilbert空间，再通过kernelk-means聚类算法构造梯度词汇的高维线性同构语义的梯度词典特征以及颜色词汇的高维线性同构语义的颜色词典特征。经过gaussian核函数将底层的梯度词典特征以及底层的颜色词典特征映射到高维hilbert空间，是的样本具有较高维数，避免了kernelk-means聚类算法对低维线性数据处理不便的问题。采用学习了kernelk-means聚类算法的距离度量法代替传统的马氏距离度量法和欧式距离度量法，由于kernelk-means聚类算法将梯度词典特征以及颜色词典特征分别构造成了高维线性同构语义词典特征，在一定程度上消除了异质视觉纲量的影响。
步骤4中，采用低秩稀疏表示法将梯度词典特征与颜色词典特征进行耦合，形成词典特征耦合编码特征，耦合过程主要通过迭代的方式，具体步骤为：
步骤a1：将梯度词典特征与颜色词典特征进行特征向量组合，组合结果作为输入矩阵；
步骤a2：将输入矩阵投影到低秩矩阵，并与低秩矩阵产生残差；
步骤a3：将低秩矩阵与残差进行最小化处理；
步骤a4：判断步骤3的最小化处理结果是否达到收敛；
当未达到收敛时，将最小化处理结果作为输入矩阵，执行步骤a2至步骤a4；
当达到收敛时，输出词典特征耦合编码特征。
其中，残差是指输入矩阵和低秩矩阵的差值的稀疏投影，即为稀疏矩阵的残差，耦合过程可以通过如下公式反应：
其中，“x”表示低秩矩阵，“e”表示残差，“||·||*”表示核范数，“||·||1”表示l1范数，“λ”是正则化参数。
加速鲁棒梯度算法以及l*a*b*颜色特征算法会叠加词典特征的维数，维数叠加会增加词典特征的冗余信息，同时词典的大小影响视觉词构成的关于图像内容可解释性的特征，词典尺寸小无法完全描述图像特征，词典尺寸太大产生较多的冗余信息，使用低秩稀疏表示法可以消除高维异质模态字典描述符中的冗余信息带来的影响。
步骤5中，通过多分类支持向量机算法对所述词典特征耦合编码特征进行分类，具体为多分类支持向量机通过gussian核函数将所述词典特征耦合编码特征投影到高维核空间进行线性分类。利用多分类支持向量机算法通过gussian核函数的非线性变换将输入的词典特征耦合编码特征映射到高维hibert空间，然后在该空间中实现线性分类。假设多分类支持向量机给定点集n的一组训练数据λ：
其中，“yi”为大豆样品影响种类，“xi”为对应的低秩稀疏变量。多分类支持向量机使用gussain核函数kx将自变量x投影到高维hibert空间中建立线性拟合函数：
可以通过求解以下优化问题来获得：
其中，“ω”是与模型复杂性相关的超平面的法向量，“λ”是可调参数，
以下为使用本发明方法进行的实验例。
本实验例中将标准分为良好等级、中等等级以及劣质等级三类，良好等级指：种皮完整、有光泽、子叶饱满；中等等级指：种皮破损、子叶开裂、子叶轻度萎缩；劣质等级指：种皮严重萎缩、虫蚀、发霉。一共选取843个种子，每种等级的种子的个数为281个，选取70％用于建模，剩余30％用于测试。整个实验过程分为建模和预测两个阶段，对选取的70％的大豆样品运用本发明方法进行处理，获取建模集，其中建模集的模型预测精度使用k-fold验证法来估计，建模集混淆矩阵计算结果如表1所示，总的识别精度达95.6％，对选取的30％的大豆样品运用本发明方法处理，获取预测集，预测集混淆矩阵计算结果如表2所示，总的识别精度达82.1％。
表1建模集混淆矩阵建模精度(％)
表2预测集混淆矩阵建模精度(％)
除上述实施例外，本发明还可以有其他实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！