基于多尺度图像的生菜重金属含量检测方法与流程

1.本发明面向食品检测应用领域，特别地，涉及一种基于多尺度视觉学习的食用生菜重金属含量检测装置及方法。


背景技术：

2.重金属污染问题是我国农业发展所面临的严峻挑战之一。目前，三废的大量排放、矿产开发以及农药的不科学使用导致重金属污染物正逐渐破坏自然环境，尤其是对大气、水源和土壤造成不可逆转的危害。由于重金属污染物具有转移性、隐匿性和累积性，因此防治相当困难。如果重金属通过食物链进入人体，将对人体造成难以挽回的损伤。开展食用蔬菜的重金属的快速无损检测迫在眉睫。
3.生菜是广大人民群众广泛食用的一种蔬菜品种，种植面积广，食用消费量大。它富含人体所需的营养元素，而且热量极低，深受广大群众的喜爱。国人对于生菜的巨大需求量使得其内部重金属含量的微上升都会造成巨大富集效应。为了监控蔬菜的生长环境、降低重金属中毒风险，保障食品安全，探索并建立快速有效检测生菜重金属含量的方法具有重要的研究意义。
4.目前蔬菜重金属的检测方法主要有火焰原子吸收光谱法、石墨炉火焰原子吸收光谱法、石墨炉原子荧光谱法等。这些化学检测方法虽然具有精确度高、灵敏度强等优点，但是操作繁琐、污染环境、耗时长，无法实现实时检测，不利于推广。目前也有使用图像进行玉米叶等植物叶片重金属含量检测的方法，但其受环境光影响较大，且其检测依赖单一图像，因此对于图像采集装置要求较高。图像采集装置固有缺陷将会对检测结果影响较大。且算法模型复杂，检测精度低，耗时长。
5.为此急需一种能够快速、准确、全自动检测生菜重金属超标的方法。


技术实现要素：

6.本发明的目的是提供一种能够快速、准确、全自动检测生菜重金属超标的方法。
7.一种基于多尺度图像的生菜重金属含量检测方法，其特征在于：
8.步骤1：利用三个摄像机对生菜进行图像采集，包括：关闭外置光源s，使其不发光。控制三台摄像机同时各自拍摄一张图像，分别记为开启外置光源s，使其发光，控制三台摄像机同时各自拍摄一张图像，分别记为对六幅图像进行归一化，获得归一化的六幅图像
9.步骤2：以步骤1获得的归一化生菜图像为输入，建立神经网络学习模型，包括：
10.11.式子(3)中，c
0n
表示关闭外置光源后，获得的归一化图像数据x
c
，具体的，c
01
、c
02
、c
03
分别对应表示矩阵c
0n
中对应坐标(i,j)的值。p、q是以(i,j)为中心的二维卷积窗口的控制参数，二维卷积在窗口内(p,q)处的权值由定义；
[0012][0013]
式子(4)中，s
0n
表示开启外置光源后，获得的归一化图像数据x
s
，具体的，s
01
、s
02
、s
02
分别对应表示矩阵s
0n
中对应坐标(i,j)的值。p、q是以(i,j)为中心的二维卷积窗口的控制参数，二维卷积在窗口内(p,q)处的权值由定义。特别的，在本步骤中，p、q所组成的窗口大小为21
×
21；
[0014]
式子(3)、(4)共同构成神经网络的输入层到第一个隐藏层h1的映射；
[0015]
模型共有4个隐藏层h1、h2、h3、h4，和一个输出层；
[0016][0017]
式子(10)构成神经网络h4层到输出层y的映射，其中，w
ij
表示相互独立的w
×
h个权值参数(与输入图像的尺寸相当)，b4是线性偏置参数；
[0018]
该模型所使用的激励函数定义如下：
[0019][0020]
上式中参数α和β用于在0值两边分别调整函数的收敛速度；
[0021]
将采集到的样本数据输入神经网络中进行学习，最终得到多尺度分层神经网络学习模型；
[0022]
利用学习得到的多尺度分层神经网络学习模型对输入的生菜图像进行检测识别，判断其重金属含量是否超标。
[0023]
光源开启后稳定10秒再进行拍摄。
[0024]
α＝2.3，β＝0.0428；
[0025]
三台摄像机与被检测物的距离分别是l、2l、3l。
[0026]
光源波长为700nm。
[0027]
本发明发明点及技术效果
[0028]
1、利用多相机进行多尺度图像采集，可以克服单一相机、单一尺度带来的固有缺陷和误差，能够更准确的判断重金属含量。
[0029]
2、通过优选独立光源，以及光源开关控制，采集更丰富的图像，避免单一特性图像带来的缺陷和误差，检测更准确。
[0030]
3、通过优选的神经网络构建，兼顾了模型构建速度、检测速度和检测准确度，使得现场快速检测成为可能。
[0031]
本发明提出的基于多尺度视觉学习的食用生菜重金属含量检测方法，通过光学相机采集数据，通过对相机成像数据的分析建模，实现对食用生菜重金属含量的无损、无接触检测，速度快、操作方便、环保安全，可以满足现代食品安全工业需求，实现对传统检测方法的有效替代。
附图说明
[0032]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。
[0033]
图1是本发明检测系统示意图。
具体实施方式
[0034]
步骤1所述的一种光学成像数据的采集和预处理方法，利用独立于被检测生菜的三台光学摄像装置，拍摄生菜的图像，并将图像传输到预处理模块，通过预处理模块对原始图像进行预处理，获得用于后续模块检测的数据。
[0035]
用于拍摄的三台光学摄像机，其安装方式如图1所示。三台摄像机与被检测物g(生菜)保持适当距离，假设距离最近的摄像机cam1与被检测物的距离是l，作为一种优选配置，第二台摄像机cam2与被检测物距离近似设置为2l，第三台摄像机cam3与被检测物距离近似设置为3l。作为一种优选配置，l的距离以被检测物在对应摄像机视场中占据居中1/8面积左右。三台摄像机的焦距、视场角、成像尺寸和帧率相同，作为一种优化配置，视场角不超过30度，不低于20度。摄像机能够捕获波长340nm
‑
960nm范围内的光信号。
[0036]
独立于摄像机的外置光源s，发射固定波长的光线，并使被检测物能够完整被光源照射到，作为一种优选配置，设置光源波长为700nm。优选，光源可以发射不同波长的光。
[0037]
关闭外置光源s，使其不发光。控制三台摄像机cam1、cam2、cam3同时各自拍摄一张图像，分别记为
[0038]
开启外置光源s，使其发光，稳定10秒。控制三台摄像机cam1、cam2、cam3同时各自拍摄一张图像，分别记为拍摄一张图像，分别记为
[0039]
对三幅图像按照下式(1)进行归一化：
[0040][0041]
其中，0<ρ1<1为控制变量。作为本发明的优选值，设置ρ1＝0.75。i
c
(i,j)表示图像矩阵i
c
中第(i,j)坐标的值。w和h分别表示图像的宽度和高度(以像素数计)。所有拍摄的图像尺寸相同。μ1表示图像矩阵i
c
的算术均值，σ1表示图像矩阵i
c
的标准差。x
c
定义了外置光源关闭时采集的图像i
c
的归一化图像。
[0042]
对三幅图像按照下式(2)进行归一化：
[0043][0044]
其中，0<ρ2<1为控制变量。作为本发明的优选值，设置ρ2＝0.25。i
s
(i,j)表示图像矩阵i
s
中第(i,j)坐标的值。w和h分别表示图像的宽度和高度(以像素数计)。所有拍摄的图像尺寸相同。μ2表示图像矩阵i
s
的算术均值，σ2表示图像矩阵i
s
的标准差。x
s
定义了外置光源开启时采集的图像i
s
的归一化图像。
[0045]
根据式子(1)、式子(2)，获得归一化的六幅图像根据式子(1)、式子(2)，获得归一化的六幅图像
[0046]
在开关外置光源的两个状态下分别拍摄图像，可以减少背景光对图像的干扰，提高检测的准确性，使得该方法适用性更加普遍。设置不同位置的三台相机，其目的是为了拍摄远近不同尺度的图像，以便更好反映被检测物(生菜)的观测特征。对图像进行归一化，其目的是将所有输入变换到集中的值域，从而作为同一个神经网络模型的输入，优化整个算法，降低算法复杂程度，提高运算效率。
[0047]
在另一种实施例中，光源可以发射不同波长的光，当光源发光波长为λ1时，开启cam1；当光源发光波长为λ2时，开启cam2；光源发光波长为λ3时，开启cam3。即不同相机采集不同波长光谱图像，再进行上述算法处理。如此，可以进一步提高算法适用性，提高准确度。优选λ1＝370nm，λ2＝540nm，λ3＝880nm。
[0048]
步骤2所述的一种多尺度视觉归一化生菜图像的分层学习方法，以步骤1获得的归一化生菜图像为输入，建立神经网络学习模型。
[0049]
s2.1定义：
[0050][0051]
式子(3)中，c
0n
表示关闭外置光源后，获得的归一化图像数据x
c
，n表示与三台相机对应的下标，具体的，c
01
、c
02
、c
03
分别对应表示矩阵c
0n
中对应坐标(i,j)的值。p、q是以(i,j)为中心的二维卷积窗口的控制参数，二维卷积在窗口内(p,q)处的权值由定义。
[0052]
定义：
[0053][0054]
式子(4)中，s
0n
表示开启外置光源后，获得的归一化图像数据x
s
，具体的，s
01
、s
02
、s
02
分别对应表示矩阵s
0n
中对应坐标(i,j)的值。p、q是以(i,j)为中心的二维卷积窗口的控制参数，二维卷积在窗口内(p,q)处的权值由定义。特别的，在本步骤中，p、q所组成的窗口大小为21
×
21。
[0055]
式子(3)、(4)共同构成神经网络的输入层到第一个隐藏层h1的映射，两式的左边c
1n
、s
1n
表示h1的节点。网络模型参数w和b由后续步骤中的训练过程确定。在本层中，关闭和开启外置光源后的图像所对应的网络参数和不同，其目的是分别采集在关闭和开启光源时，两种情形下的图像特征。
[0056]
s2.2定义：
[0057][0058][0059]
式子(5)、(6)中，c
1n
、s
1n
分别表示前一个步骤s2.1的输出，i、j、p、q与前一步的含义相同。w与b表示神经网络参数。式子(5)、(6)共同构成神经网络的隐藏层h1到下一个隐藏层h2的映射。c
1n
、s
1n
表示h1的节点，c
2n
、s
2n
表示h2的节点。与第一层h1相比，h2对应p、q所组成的窗口大小为13
×
13，约为第一层的一半，其目的是提取不同尺度(即目标在图像中的相对大小)情形下的图像特征。
[0060]
s2.3定义：
[0061][0062][0063]
式子(7)、(8)中，c
2n
、s
2n
分别表示前一个步骤s2.2的输出，i、j、p、q与前处的含义相同。w与b表示神经网络参数。式子(7)、(8)共同构成神经网络的隐藏层h2到下一个隐藏层h3的映射。c
2n
、s
2n
表示h2的节点，c
3n
、s
3n
表示h3的节点。与h1和h2相比，h3对应p、q所组成的卷积窗口大小为7
×
7，约为h2的一半，h1的四分之一，其目的是提取不同尺度情形下的图像特征。h3与h1、h2一起负责提取不同尺度和不同光照情形下的图像特征。
[0064]
s2.4定义：
[0065][0066]
其中，
[0067][0068]
式中，v
3n
表示h3层输出s
3n
与c
3n
的差值，且该差值不为负。i、j、p、q与前处的含义相同。w与b表示神经网络参数。式子(9)构成神经网络h3层到下一层h4的映射。与h1
‑
h3层不同的是，所有节点的权重参数是共享的，其目的是提取出不同尺度下重金属污染对光照变化的反映特征。作为一种优选配置，h4对应p、q所组成的卷积窗口大小为5
×
5。
[0069]
s2.5定义：
[0070][0071]
式子(10)构成神经网络h4层到输出层y的映射。其中，w
ij
表示相互独立的w
×
h个权值参数(与输入图像的尺寸相当)，b4是线性偏置参数。表示步骤s2.4的输出，分别表示与cam1、cam2、cam3对应的神经网络第h4层的节点，输出y为一个二值变量，当y＝0时，表示重金属含量正常，当y＝1时，表示重金属含量超标。
[0072]
式子(3)
‑
(10)中所定义的函数σ(x)，称为激励函数，用于使网络具有对非线性数
据集分类的能力。该函数定义如下：
[0073][0074]
上式中参数α和β的作用是在0值两边分别调整函数的收敛速度，有助于改善学习效果，优化模型。作为一组优选值，取α＝2.3，β＝0.0428.
[0075]
神经网络训练判别的损失函数定义如下：
[0076][0077]
其中x是神经网络的输入，y是神经网络的输出值，表示训练样本的真实输出，n是样本数量。θ1、θ2为独立的控制变量。作为一组优选值，取θ1＝0.1，θ2＝0.01。实验表明，该定义方法有助于提升神经网络判别的正确率。
[0078]
可以理解，上述网络构成分为五层，输入层、h1
‑
h4隐藏层、输出层；同时网络包括
[0079]
当样本数据准备完毕后，采用步骤s2.1
‑
s2.5的模型，以及式子(11)、(12)所定义的激励函数和损失函数，参照现有方法对神经网络模型进行学习。
[0080]
通过建立多尺度分层神经网络学习模型，对生菜重金属含量的图像特征进行建模，可以有效实现通过非接触图像采集装置对生菜重金属含量的检测识别，检测精确度高。其特点体现在：
[0081]
1)通过s2.1
‑
s2.3设计了有粗到细的卷积尺度提取不同尺度下图像特征，提升了模型对不同尺度目标的适应性，从而提升了检测精度。
[0082]
2)通过s2.4在模型中引入空间一致的差分图像数据，降低环境噪声干扰，提升检测的鲁棒性。
[0083]
3)通过在式子(11)设计了α和β两组控制参数，加快函数收敛速度，改善模型学习效果。
[0084]
4)通过在判别函数(12)中引入独立控制变量，对神经网络进行微调，提升神经网络对局外样本判别的正确率。
[0085]
步骤3所述的一种生菜重金属含量超标的检测识别方法，指根据步骤2对神经网络完成学习后，使用习得的模型对输入的生菜图像进行检测识别，判断其重金属含量是否超标。
[0086]
s3.1根据步骤1所述方法，采集原始图像并分别根据式子(1)和式子(2)归一化为
[0087]
s3.2将步骤s3.1获得的数据输入步骤2获得的模型，并计算模型的输出值y。
[0088]
s3.3根据步骤2中所学习的神经网络模型输出的定义，优选阈值t＝0.64，如果神
经网络输出值y<t，表示生菜重金属含量没有超标；否则，表示生菜重金属含量超标。经过大量实验，该阈值的优选值能够准确进行识别，识别率参见下述表格。因此也是发明点之一。
[0089]
本文描述了一种基于多尺度视觉学习的食用生菜重金属含量检测装置及方法，其特点在于：
[0090]
1、通过光学相机采集数据，通过对相机成像数据的分析建模，实现对食用生菜重金属含量的无损、无接触检测，速度快、操作方便、环保安全，可以满足现代食品安全工业需求，实现对传统检测方法的有效替代。
[0091]
2、通过设置不同位置的摄像机装置拍摄不同尺度下的被检测品图像，可以捕捉不同尺度下目标的图像特征，实现对图像目标更加准确的建模，提高检测的精确度。(具体参见下表单相机与三相机对比)
[0092]
3、通过设置背景光源照射被检测目标，并拍摄图像，有助于去除自然环境下的光照干扰，提升检测的精确度(表1：设置背景光与不设置背景光的方法对比)。
[0093]
4、通过建立多尺度分层神经网络学习模型，对生菜重金属含量的图像特征进行建模，可以有效实现通过非接触图像采集装置对生菜重金属含量的检测识别，检测精确度高。下表为与经典基于cnn的检测方法对比
[0094][0095]
可以理解，本发明中所述的重金属可以为铅、铜等，也可以为其它重金属。只要该重金属含量变化导致生菜叶图像有细微变化即可。
[0096]
可以理解，除了上述内容，还包括一些常规结构和常规方法，由于这些内容都是公知的，不再赘述。但这并不意味着本发明不存在这些结构和方法。
[0097]
本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。