花卉识别方法及其设备与流程

文档序号:16088752发布日期:2018-11-27 22:45阅读:528来源:国知局

本申请涉及图像处理领域,并且更具体地,涉及一种花卉识别的方法及其设备。



背景技术:

目前在城市绿化中,主要通过为植物设置铭牌或者二维码提供植物的相关信息。但是通过铭牌介绍植物的相关信息存在很多不足,例如植物数量较多,分布范围广,铭牌制作和维护成本较高,覆盖面不广。除此之外,公园、植物园等场所选择利用二维码提供植物名字信息,二维码相当于电子铭牌,人们通过对扫描二维码,获取植物的具体信息。但是,虽然二维码的制作成本有所降低,但是也存在普通铭牌的不足。而且,二维码容易受到自然环境的影响而被磨损、侵蚀,导致无法扫描。

国内外主要的植物识别研究工作都是限定在特定的一些植物种类中,并且主要是应用在个人电脑PC和ARM板上,针对在移动手持终端设备上的花卉分类识别的研究非常少,目前为止,仅仅在苹果的IOS平台上有了一款软件成品,而在Android平台上的花卉识别系统暂时还尚未有人发布,进行花卉的识别研究十分匮乏。现在大部分的研究都是在PC上进行的,实用性较低。

因此,亟需一种基于Android平台的花卉识别方法。



技术实现要素:

本申请提供一种基于Android平台的花卉识别方法,能够快捷准确的进行花卉种类的识别。

第一方面,提供一种android系统下花卉识别的方法,包括:采集N种花卉的图像,构建花卉数据库,其中,每种花卉包括多张图像;对所述花卉数据库中的每一张图像进行图像预处理,其中,所述图像预处理包括下列中的至少一项:归一化、图像增强、高斯滤波和形态学滤波;将所述花卉数据库中的每一张图像输入深度卷积神经网络中,对所述深度卷积网络进行特征提取,得到每一张图像的特征向量,其中,所述深度卷积神经网络由多次训练迭代后得到;采集目标花卉的图像,计算所述目标花卉的图像的特征向量与所述花卉数据库中的每一张图像的特征向量的欧式距离,确定欧式距离满足阈值条件的图像所属的花卉为目标花卉。

结合第一方面,在第一方面的第一种可能的实现方式中,所述采集N种花卉的图像,包括:采集同一种花卉不同角度和/或不同状态的多张图像,拍摄所述多张图像时保持相机高度相同、焦距相同和图像尺寸相同。

结合第一方面及其上述实现方式,在第一方面的第二种可能的实现方式中,所述对所述花卉数据库种的每一张图像进行图像预处理,包括:对每一张图像进行归一化处理;采集所述归一化处理后的图像的增强亮度和对比度;对采集图像增强亮度和对比度后的图像进行开运算,删除不能包含结构元素的对象区域,平滑对象的轮廓,断开狭窄的连接,去掉细小的突出部分;对进行开运算后的灰度图像进行高斯滤波,使用3×3模板进行降噪,消除孤立点。

结合第一方面及其上述实现方式,在第一方面的第三种可能的实现方式中,所述方法还包括:构建所述深度卷积神经网络;将所述花卉数据库中的每一张图像输入深度卷积神经网络中,对所述深度卷积网络进行特征提取,得到每一张图像的特征向量,包括:将所述花卉数据库中每一幅花卉图像输入至构建的深度卷积神经网络中,对深度卷积神经网络进行训练提取特征,对输出的特征分别进行归一化和仿射变换,得到投影矩阵,通过最小化三元损失函数训练投影矩阵,得到每一幅花卉图像的特征向量;在训练过程中使用卷积、池化和误差反向传播更新卷积神经网络的各个权值,多次迭代后,得到最佳权值的深度卷积神经网络并用于花卉数据库中,其中,损失函数为:

其中,第n层为输出层,为第i个神经元的输出值,hj为输出层第j个神经元的期望输出,j表示第n层输出层的第j个神经元,i表示第n层输出层的第i个神经元,对损失函数求一阶偏导,则权值为其中为学习率;

假设是第n层的第i个神经元的输入值,和分别是该神经元输出值和偏置值,为该神经元与第n-1层的第i个神经元的连接权值,则有:

其中f()为激励函数。

结合第一方面及其上述实现方式,在第一方面的第四种可能的实现方式中,所述计算所述目标花卉的图像的特征向量与所述花卉数据库中的每一张图像的特征向量的欧式距离,确定欧式距离满足阈值条件的图像所属的花卉为目标花卉,包括:目标花卉图像为Fm,经过卷积神经网络后提取所述目标图像的特征向量φ(Fn),将所述目标图像的特征向量φ(Fn)与数据库中第m幅图像Fm的特征向量进行欧式距离的计算||φ(Fn)-φ(Fm)||;

判断欧式距离是否小于阈值τ,如果小于阈值τ,则判定所述目标图像与所述第m幅图像所属的花卉为同一种花卉。

第二方面,提供一种应用于android系统中的花卉识别装置,包括:获取单元,所述获取单元用于采集N种花卉的图像,构建花卉数据库,其中,每种花卉包括多张图像;处理单元,所述处理单元用于对所述花卉数据库中的每一张图像进行图像预处理,其中,所述图像预处理包括下列中的至少一项:归一化、图像增强、高斯滤波和形态学滤波;所述处理单元还用于将所述花卉数据库中的每一张图像输入深度卷积神经网络中,对所述深度卷积网络进行特征提取,得到每一张图像的特征向量,其中,所述深度卷积神经网络由多次训练迭代后得到;所述获取单元还用于采集目标花卉的图像,计算所述目标花卉的图像的特征向量与所述花卉数据库中的每一张图像的特征向量的欧式距离,确定欧式距离满足阈值条件的图像所属的花卉为目标花卉。

结合第二方面,在第二方面的第一种可能的实现方式中,所述获取单元用于:采集同一种花卉不同角度和/或不同状态的多张图像,拍摄所述多张图像时保持相机高度相同、焦距相同和图像尺寸相同。

结合第二方面及其上述实现方式,在第二方面的第二种可能的实现方式中,所述处理单元用于:对每一张图像进行归一化处理;采集所述归一化处理后的图像的增强亮度和对比度;对采集图像增强亮度和对比度后的图像进行开运算,删除不能包含结构元素的对象区域,平滑对象的轮廓,断开狭窄的连接,去掉细小的突出部分;对进行开运算后的灰度图像进行高斯滤波,使用3×3模板进行降噪,消除孤立点。

结合第二方面及其上述实现方式,在第二方面的第三种可能的实现方式中,所述方法处理单元还用于:构建所述深度卷积神经网络;将所述花卉数据库中的每一张图像输入深度卷积神经网络中,对所述深度卷积网络进行特征提取,得到每一张图像的特征向量,包括:将所述花卉数据库中每一幅花卉图像输入至构建的深度卷积神经网络中,对深度卷积神经网络进行训练提取特征,对输出的特征分别进行归一化和仿射变换,得到投影矩阵,通过最小化三元损失函数训练投影矩阵,得到每一幅花卉图像的特征向量;在训练过程中使用卷积、池化和误差反向传播更新卷积神经网络的各个权值,多次迭代后,得到最佳权值的深度卷积神经网络并用于花卉数据库中,其中,损失函数为:

其中,第n层为输出层,为第i个神经元的输出值,hj为输出层第j个神经元的期望输出,j表示第n层输出层的第j个神经元,i表示第n层输出层的第i个神经元,对损失函数求一阶偏导,则权值为其中为学习率;假设是第n层的第i个神经元的输入值,和分别是该神经元输出值和偏置值,为该神经元与第n-1层的第i个神经元的连接权值,则有:

其中f()为激励函数。

结合第二方面及其上述实现方式,在第二方面的第四种可能的实现方式中,所述处理单元用于:经过卷积神经网络后提取所述目标图像的特征向量φ(Fn),其中,所述目标花卉图像为Fm,将所述目标图像的特征向量φ(Fn)与数据库中第m幅图像Fm的特征向量进行欧式距离的计算||φ(Fn)-φ(Fm)||;判断欧式距离是否小于阈值τ,如果小于阈值τ,则判定所述目标图像与所述第m幅图像所属的花卉为同一种花卉。

本申请能够通过构建卷积神经网络和花卉数据库,提供一种在Android系统上进行花卉识别的方法,快捷、准确的识别花卉种类。

附图说明

图1是本申请实施例的方法的示意性流程图。

图2是本申请另一实施例的装置的示意性框图。

具体实施方式

下面将结合附图,对本申请中的技术方案进行描述。

本文提出从面向Android系统的手持移动终端的角度出发,增加花卉识别研究的实用性,而且可充分利用移动手持终端设备的优势,从实用性的角度来提高识别的准确率。因此,Android平台下的基于深度卷积神经网络的花卉识别系统有实用价值,即降低了成本又提高了效率。

图1示出了本申请以实施例的方法的示意性流程图,如图1所述,该一种android系统下花卉识别的方法,包括:

步骤110,采集N种花卉的图像,构建花卉数据库,其中,每种花卉包括多张图像。

步骤120,对所述花卉数据库中的每一张图像进行图像预处理,其中,所述图像预处理包括下列中的至少一项:归一化、图像增强、高斯滤波和形态学滤波。

步骤130,将所述花卉数据库中的每一张图像输入深度卷积神经网络中,对所述深度卷积网络进行特征提取,得到每一张图像的特征向量,其中,所述深度卷积神经网络由多次训练迭代后得到。

步骤140,采集目标花卉的图像,计算所述目标花卉的图像的特征向量与所述花卉数据库中的每一张图像的特征向量的欧式距离,确定欧式距离满足阈值条件的图像所属的花卉为目标花卉。

可选地,作为本申请一个实施例,在步骤110中,所述采集N种花卉的图像,包括:采集同一种花卉不同角度和/或不同状态的多张图像,拍摄所述多张图像时保持相机高度相同、焦距相同和图像尺寸相同。

也就是说,采集过程中保持相机固定高度、焦距和图像尺寸一致,拍摄同一种花卉不同状态不同角度多张图像,对图像进行分类和标记,得到花卉数据库。

可选地,作为本申请一个实施例,所述对所述花卉数据库种的每一张图像进行图像预处理,包括:对每一张图像进行归一化处理;采集所述归一化处理后的图像的增强亮度和对比度;对采集图像增强亮度和对比度后的图像进行开运算,删除不能包含结构元素的对象区域,平滑对象的轮廓,断开狭窄的连接,去掉细小的突出部分;对进行开运算后的灰度图像进行高斯滤波,使用3×3模板进行降噪,消除孤立点。

对花卉数据库的每一幅图片进行预处理,包括归一化,图像增强,高斯滤波,形态学滤波。图像预处理,首先对图像进行归一化,再对采集图像增强亮度和对比度。再对图像进行开运算,删除不能包含结构元素的对象区域,平滑对象的轮廓,断开狭窄的连接,去掉细小的突出部分。再对灰度图像进行高斯滤波,使用3×3模板进行降噪,消除孤立点。

可选地,作为本申请一个实施例,所述方法还包括:构建所述深度卷积神经网络;将所述花卉数据库中的每一张图像输入深度卷积神经网络中,对所述深度卷积网络进行特征提取,得到每一张图像的特征向量,包括:将所述花卉数据库中每一幅花卉图像输入至构建的深度卷积神经网络中,对深度卷积神经网络进行训练提取特征,对输出的特征分别进行归一化和仿射变换,得到投影矩阵,通过最小化三元损失函数训练投影矩阵,得到每一幅花卉图像的特征向量;在训练过程中使用卷积、池化和误差反向传播更新卷积神经网络的各个权值,多次迭代后,得到最佳权值的深度卷积神经网络并用于花卉数据库中,其中,损失函数为:

其中,第n层为输出层,为第i个神经元的输出值,hj为输出层第j个神经元的期望输出,j表示第n层输出层的第j个神经元,i表示第n层输出层的第i个神经元,对损失函数求一阶偏导,则权值为其中为学习率;

假设是第n层的第i个神经元的输入值,和分别是该神经元输出值和偏置值,为该神经元与第n-1层的第i个神经元的连接权值,则有:

其中f()为激励函数。

具体地,将花卉数据库中每一幅花卉图像输入至构建的CNN深度卷积神经网络中,对CNN深度卷积神经网络进行训练提取特征矩阵。

1.首先提取特征矩阵中的特征值,在花卉识别中主要包括RGB值、灰度值、亮度值、边缘值、轮廓值等等。定义特征矩阵为ρ(ai),其中ai为第i张训练的图片。

2.对输出的特征进行二范数归一化,然后将二范数归一化后的特征仿射投影到L=1024维,得到投影矩阵θ。通过最小化三元损失函数训练投影矩阵。其中E(θ)为三元损失函数。从而得到每一幅图像的特征矩阵。

3.在训练过程中花卉图像特征提取的网络结构包括输入层、多个卷积层、ReLU层、池化层、全连接层,每个卷积层有2个3*3的卷积核,增加了深度并且没有增加计算量。

4.输入层神经元接收输入信号,隐含层和输出层的每一个神经元与之相邻层的所有神经元连接,同一层的神经元不连接。假设是第n层的第i个神经元的输入值,和分别是该神经元输出值和偏置值,为该神经元与第n-1层的第i个神经元的连接权值,则有:

其中f()为激励函数。

5.训练初,各滤波器的权重值被随机初始化,无法提取准确特征图像,此时可以利用反向传播来帮助网络不断地更新权重值并找到想要的特征图像,到最佳权值的深度卷积神经网络并用于花卉数据库中。

可选地,作为本申请一个实施例,所述计算所述目标花卉的图像的特征向量与所述花卉数据库中的每一张图像的特征向量的欧式距离,确定欧式距离满足阈值条件的图像所属的花卉为目标花卉,包括:目标花卉图像为Fm,经过卷积神经网络后提取所述目标图像的特征向量φ(Fn),将所述目标图像的特征向量φ(Fn)与数据库中第m幅图像Fm的特征向量进行欧式距离的计算||φ(Fn)-φ(Fm)||;判断欧式距离是否小于阈值τ,如果小于阈值τ,则判定所述目标图像与所述第m幅图像所属的花卉为同一种花卉。

具体地,使用安卓移动终端拍摄获取待识别花卉的图像。将待检测花卉图像的特征向量与花卉数据库中每一幅图像的特征向量进行欧氏距离计算,找出最相近的花卉种类。

对于待测试的花卉图像Fm,经过卷积神经网络后提取待测试图像的特征向量φ(Fn),将待测试图像的特征向量φ(Fn)与数据库中每一幅图像Fm的特征向量进行欧式距离的计算|φ(Fn)-φ(Fm)||。判断欧式距离是否小于阈值τ,如果小于阈值τ,则判定为进行比较的两张图片是同一种花卉,反之则不是同一种花卉。

最后,将花卉识别后的信息输出到安卓手机软件,并显示该种花卉的具体信息。

也就是说,本申请实施例提供的方法,能够通过构建卷积神经网络和花卉数据库,提供一种在Android系统上进行花卉识别的方法,方便、准确的识别花卉种类。

图2示出了本申请一个实施例的装置的示意性框图。

如图2所示,该一种应用于android系统中的花卉识别装置,包括:

获取单元210,所述获取单元210用于采集N种花卉的图像,构建花卉数据库,其中,每种花卉包括多张图像;

处理单元220,所述处理单元220用于对所述花卉数据库中的每一张图像进行图像预处理,其中,所述图像预处理包括下列中的至少一项:归一化、图像增强、高斯滤波和形态学滤波;

所述处理单元220还用于将所述花卉数据库中的每一张图像输入深度卷积神经网络中,对所述深度卷积网络进行特征提取,得到每一张图像的特征向量,其中,所述深度卷积神经网络由多次训练迭代后得到;

所述获取单元210还用于采集目标花卉的图像,计算所述目标花卉的图像的特征向量与所述花卉数据库中的每一张图像的特征向量的欧式距离,确定欧式距离满足阈值条件的图像所属的花卉为目标花卉。

可选地,作为本申请一个实施例,所述获取单元210用于:采集同一种花卉不同角度和/或不同状态的多张图像,拍摄所述多张图像时保持相机高度相同、焦距相同和图像尺寸相同。

可选地,作为本申请一个实施例,所述处理单元220用于:对每一张图像进行归一化处理;采集所述归一化处理后的图像的增强亮度和对比度;对采集图像增强亮度和对比度后的图像进行开运算,删除不能包含结构元素的对象区域,平滑对象的轮廓,断开狭窄的连接,去掉细小的突出部分;对进行开运算后的灰度图像进行高斯滤波,使用3×3模板进行降噪,消除孤立点。

可选地,作为本申请一个实施例,所述处理单元220用于:构建所述深度卷积神经网络;将所述花卉数据库中的每一张图像输入深度卷积神经网络中,对所述深度卷积网络进行特征提取,得到每一张图像的特征向量,包括:将所述花卉数据库中每一幅花卉图像输入至构建的深度卷积神经网络中,对深度卷积神经网络进行训练提取特征,对输出的特征分别进行归一化和仿射变换,得到投影矩阵,通过最小化三元损失函数训练投影矩阵,得到每一幅花卉图像的特征向量;在训练过程中使用卷积、池化和误差反向传播更新卷积神经网络的各个权值,多次迭代后,得到最佳权值的深度卷积神经网络并用于花卉数据库中,其中,损失函数为:

其中,第n层为输出层,为第i个神经元的输出值,hj为输出层第j个神经元的期望输出,j表示第n层输出层的第j个神经元,i表示第n层输出层的第i个神经元,对损失函数求一阶偏导,则权值为其中为学习率;假设是第n层的第i个神经元的输入值,和分别是该神经元输出值和偏置值,为该神经元与第n-1层的第i个神经元的连接权值,则有:

其中f()为激励函数。

可选地,作为本申请一个实施例,所述处理单元220用于:经过卷积神经网络后提取所述目标图像的特征向量φ(Fn),其中,所述目标花卉图像为Fm,将所述目标图像的特征向量φ(Fn)与数据库中第m幅图像Fm的特征向量进行欧式距离的计算|φ(Fn)-φ(Fm)||;

判断欧式距离是否小于阈值τ,如果小于阈值τ,则判定所述目标图像与所述第m幅图像所属的花卉为同一种花卉。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者第二设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1