融合多尺度方向纹理特征的植物标本分类方法及系统与流程

本发明属于计算机模式识别技术领域，具体涉及一种融合多尺度方向纹理特征的植物标本分类方法及系统。

背景技术：

植物是世界上种类最为繁多，分布范围最广泛的一种生命形式，与人类生活和环境具有非常密切的关系。同时，植物是地球生物圈的十分重要的组成部分，在人类生产、生活的众多领域中都发挥着不可替代的作用。随着现代文明的发展，生态环境的破坏，植物种类不断减少。因此植物分类及识别对于保护植物的多样性，维护生态平衡至关重要。

相比于植物的根，茎，枝条等器官来说，植物的叶片能够更加容易提取特征，并且存活时间较长。同时植物叶片是研究不同植物物种形态差异的一个非常有效的指标，因此植物叶片的分类识别是对于植物分类来说最为直接和有效的方式。然而，由于植物叶片标本在采集、保存等过程中，出现叶片残缺、破损以及标本中大量文字和图例注释等状况，这些因素成为对植物叶片的分类的一个技术难题。

植物叶片的分类及识别在现有条件和技术背景下，一般采用离线人工肉眼进行主观上的观察和分类。由具有专业背景知识的人来观察并确定不同类别的植物，虽然在一定程度上满足了分类的需求，但人工检测存在几个问题：一是人在长时间对于植物叶片的分类过程中易于出现错误；二是对于相似的植物叶片，需要人花大量时间进行观察和识别，效率低下；三是植物种类繁多，需要消耗大量的人力和物力，在一定程度上浪费了对专业性人才使用。

可见，单纯的人工检测分类费时费力且效率低。公开号为cn103617417b的中国发明专利“植物自动识别方法和系统”公开了一种通过点云数据构建、特征提取、类别判别计算，最终判定植物属于哪个种类，该方法及系统能够实现植物的分类，但仅仅使用了形状几何特征，未考虑方向、尺度、纹理等因素，无法适用于叶片标本识别环境。

针对植物叶片标本分类目前的局限性，本发明充分考虑植物种类多样、同一植物叶片存在差异性(如大小、尺度)等实际因素，实现了叶片标本的分类。

技术实现要素：

针对现有技术所存在的上述技术缺陷及不足，本发明提供了一种融合多尺度方向纹理与几何特征的植物标本分类方法及系统，检测效率和分类精度高，同时大大降低了检测人员的劳动强度和成本。

一种融合多尺度方向纹理与几何特征的植物标本分类方法，包括：

(1)预先收集植物叶片标本，并对不同植物叶片标本进行区分，将植物叶片标本归为几种典型类别，对各类别标本采集设定数量的单个叶片的图像，建立样本库；

(2)采集待检测的植物标本的植物标本图像；

(3)对采集到的植物标本图像进行图像预处理；

(4)对预处理之后的植物标本图像提取感兴趣区域(roi，regionofinteresting)；

(5)针对感兴趣区域进行图像分割，得到包含多个单片叶片图像的图像集合；

(6)计算图像集合中一个叶片图像的几何特征矩阵；

(7)计算当前叶片图像的纹理特征矩阵；

(8)利用得到的几何特征矩阵和纹理特征矩阵计算当前叶片图像的特征矩阵；

(9)将当前叶片图像的特征矩阵与样本库的图像的特征矩阵利用支持向量机分类算法(svm，supportvectormachine)分类，得到当前叶片图像的识别分类结果；

(10)重复步骤(6)-(9)，对图像集合中所有的叶片图像进行识别分类，得到当前植物标本的分类结果集合，选择分类结果集合中出现次数最多的结果作为最终植物叶片标本的分类结果。

作为优选，步骤(4)中，提取感兴趣区域的步骤包括：

(4-1)根据八方向链码提取预处理之后的植物标本图像中的连通域；

(4-2)根据连通域的最小外接矩形的长、宽、面积进行筛选，剔除植物标本图像中除枝叶以外的无用信息(如可能存在的文字描述、编号、图例等)；

(4-3)对提取出的连通域进行形态学操作：开运算，消除植物标本中的树枝部分，得到感兴趣区域。

作为优选，步骤(5)中，利用连通域的最小外接矩形对感兴趣区域进行叶片图像分割。

作为优选，步骤(6)中，所述几何特征矩阵由下述方法得到：计算当前叶片图像的矩形度、圆度、凸性三个旋转不变的几何特征，进而得到几何特征矩阵。

作为优选，步骤(7)中，计算当前叶片图像的纹理特征矩阵的方法如下：

(7-1)对当前叶片图像进行高斯滤波；

(7-2)针对高斯滤波后的叶片图像中每个像素点，计算每个像素点的梯度信息；

(7-3)确定bins条数，将像素点的梯度幅值作为权重，计算出高斯滤波后的叶片图像的幅值-梯度方向直方图；

(7-4)将幅值-梯度方向直方图中峰值最高的bins作为植物叶片的主体方向，记做φ；

(7-5)分别计算不同尺度下，主体方向φ的局部二值模式的纹理特征，最终得到当前叶片图像的纹理特征矩阵。

作为优选，步骤(7-1)中，选取(2k+1)×(2k+1)模板，其中k＝1,2,3，利用采用二维空间高斯离散函数计算滤波模板，然后利用得到的滤波模板对当前叶片图像进行滤波。

作为优选，步骤(7-5)中，其中：

主体方向φ的圆形算子为：

叶片图像中每个像素点的局部二值模式的纹理特征值由下式计算得到：

其中：xc、yc是中心像素点的横纵坐标，xp、yp是采样点的横纵坐标；p为采样点个数，p＝0，...,p-1，r为采样半径，gc为中心像素点的灰度值，gp为采样点的灰度值，可采用双线性插值计算得到。

本发明还提供了一种融合多尺度方向纹理特征的植物标本分类系统，其特征在于，包括：

图像采集单元，用于采集待测植物标本的植物标本图像；

图像处理单元，用于对所述的植物标本图像进行预处理、感兴趣区域提取、图像分割、特征提取，并计算出分类结果；具体方法为：

(i)将图像采集单元采集的图像进行图像灰度化、二值化；

(ii)利用形态学操作对二值化后的植物标本图像进行roi提取；

(iii)对roi区域进行图像分割，得到植物叶片的集合；

(iv)针对每一个叶片提取它的纹理与几何特征，最终得到特征矩阵；

(v)用分类算法计算出所有叶片分类结果，并将出现次数最多的作为最终识别结果；

检测结果显示单元，用于显示分类结果。

作为优选，所述图像采集单元包括工业摄像机、镜头和照明光源；所述的图像处理单元为工业控制计算机，通过分类算法和软件编程实现植物标本的分类。所述图像处理单元内还可以包括人机界面软件，用于实时显示所述的待分类的植物标本图像以及分类结果，记录分类历史数据，并接收用户的操作指令对软件进行参数设定。

本发明通过高速工业摄像机，利用融合多尺度方向的纹理与几何特征方法，实现植物叶片标本快速分类，具有多尺度方向性、实时、精度高的优点；在保证测量精度的前提下大大缩减了相应的检测成本。

附图说明

图1为本发明的植物标本分类方法的步骤流程示意图。

图2为一幅图像的3×3区域(z是灰度值)。

图3为双线性插值计算示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，一种融合多尺度方向纹理与几何特征的植物标本分类方法，包括如下步骤：

(1)预先收集植物叶片，并对不同植物叶片标本进行人工区分，将植物叶片标本归为几种典型类别，对各类别植物叶片采集一定数量图像作为样本库；本步骤中，一个图像上只包含一个植物叶片，每种类别植物采集若干图像；

(2)实时采集待检测的植物标本图像；植物标本图像一般包括若干叶片、一个或多个枝干以及有时还包括一些文字标注信息等；

(3)对采集到的植物标本图像进行图像预处理：灰度化、二值化：

图像灰度化：

f(i,j)＝0.3r(i,j)+0.59g(i,j)+0.11b(i,j)(1)

图像二值化：

其中f(i,j)和g(i,j)分别表示植物标本图像对应的灰度图像和二值图像，r(i,j),g(i,j),b(i,j)表示植物标本图像rgb通道分离后的三种图像，t1表示设定的二值化阈值，i,j分别是植物标本图像上某一像素点的坐标；

(4)针对图像预处理好之后的图像进行感兴趣区域的提取：

i.根据八方向链码提取出连通域轮廓，根据连通域的最小外接矩形的长、宽、面积进行筛选，利用式(6)和式(7)剔除植物标本图像中无用信息(如可能存在的文字描述、编号、图例等)：

dmax＝max[dis(cm,cn)](3)

dmin＝max[dis(cm,cn)](4)

ad＝dmax×dmin(5)

{dmaxordminorad}＜{t2minort3minort4min}(6)

{dmaxordminorad}＞{t2maxort3maxort4max}(7)

其中cm和cn是在连通域轮廓上的列或行任意的两个像素点，dmax为连通域的高度值(或长度值)，dmin为连通域的宽度值，ad为连通域外接矩形的面积值；t2min、t3min、t4min、t2max、t3max、t4max分别为筛选无用信息连通域的阈值，可根据实际需要筛选的树叶结构特征进行确定，判断时：连通域的长(dmax)或宽(dmin)或面积(ad)任一一个数值小于设定阈值(比如dmax小于t2min，或者dmin小于t3min)、或者大于设定阈值(比如dmax大于t2max，或者dmin大于t3max)的，均判断为无用信息；max[]为取最大值函数；dis(cm,cn)表示求解像素点cm和cn之间横坐标(针对dmin)或纵坐标(针对dmax)的距离的函数；

ii.对提取出的连通域进行形态学操作：开运算，消除植物标本中的树枝部分，得到感兴趣区域：

(5)利用连通域的最小外接矩形对感兴趣区域进行叶片图像分割，从原图中分离，得到植物叶片图像组的集合s＝{s1,s2,s3…sz…sn}，其中n为叶片图像的数量，sz为第z个植物叶片的叶片图像；

(6)计算单片植物叶片图像sz(z＝1,2,3...n)的矩形度(rectangularity)、圆度(circularity)、凸性(convexity)三个旋转不变的几何特征：

rectangulatity＝a/ad(8)

convexity＝a/ac(10)

其中rmax是连通域的重心到所有轮廓的最大距离，a是指连通域面积；ac是指连通域的凸包面积；

由矩形度(rectangularity)、圆度(circularity)、凸性(convexity)得到几何特征矩阵n。

(7)计算单片植物叶片图像sz(z＝1,2,3...n)的多尺度方向纹理特征矩阵：

i.选取(2k+1)×(2k+1)模板，其中k＝1,2,3，分别利用式(11)计算出k＝1,2,3的滤波模板，然后利用得到的滤波模板对植物叶片图像进行滤波：

高斯滤波模板计算公式如下：

一般地，

σ＝0.3((k-1)×0.5-1)+0.8(12)

其中σ是指高斯滤波的高斯核，k为滤波模板半径大小，(i，j)为模板内坐标标号；

ii.针对高斯滤波(k＝1)后的植物叶片图像中的每个像素点，计算每个像素点的梯度信息。

对于函数f(x,y)，f在坐标(x,y)处梯度的定义为二维列向量：

向量的幅度值(长度)表示为m(x,y)，梯度方向为θ(x,y)，即：

gx＝(z7+2z8+z9)-(z1+2z2+z3)(16)

gy＝(z3+2z6+z9)-(z1+2z4+z7)(17)

其中z1～z9标注见图2，其中gx是x方向的梯度，gy是y方向的梯度，z1～z9是指所属标号对应像素的像素值；

iii.确定bins条数b，将植物叶片图像中的像素点的梯度幅值作为权重w，计算出高斯滤波(k＝1)后植物叶片图像的幅值-梯度方向直方图；

iv.将幅值-梯度方向直方图中峰值最高的bins作为植物叶片的主体方向φ：

其中：i＝0,1,2...b；

v.分别计算不同尺度下(即k＝1,2,3时)植物叶片主体方向φ的局部二值模式(lbp，localbinarypatterns)的纹理特征矩阵m1,m2,m3：

主体方向φ的圆形算子：

xc、yc是中心像素点的横纵坐标，xp、yp是采样点的横纵坐标；

植物叶片图像中任一像素点的lbp纹理特征可以表达为：

其中p为采样点个数，p＝0，...,p-1，r为采样半径，gc为中心像素点的灰度值，gp为采样点的灰度值；

通过遍历整张植物叶片图像，得到所有像素点的纹理特征数据，分别得到k＝1,2,3对应的特征矩阵m1,m2,m3；

其中gp采用如下方法求得：

x方向线性插值计算：

y方向线性插值计算：

即双线性插值公式，如图3所示：

(8)计算单片植物叶片图像的特征矩阵，包括多尺度方向纹理特征和几何特征：

c＝[ε1×m1ε2×m2ε3×m3ε4×n](27)

其中m1,m2,m3为单片植物叶片图像的多尺度方向纹理特征矩阵，n为单片植物叶片图像的几何特征矩阵，ε1,ε2,ε3,ε4为特征矩阵系数；

(9)利用svm分类算法确定单片植物叶片的分类结果，重复步骤(6)～(9)，得到待检测的植物叶片标本所有分割后单个叶片的结果集合e；

(10)统计集合e内出现最多的结果，并作为最终的待检测的植物叶片标本的分类结果，若集合e内出现多个结果，则将待检测的植物叶片标本进行人工辨别处理；

重复步骤(2)～(10)实现对多个植物叶片标本的分类。

本实施方式的检测方法得出的植物标本分类结果融合多尺度方向纹理与几何特征，具有较高的可靠性，值得信赖。

本植物标本分类系统包括图像采集单元、图像处理单元和分类结果显示单元。

图像采集单元，用于实时采集待测植物标本图像；可采用工业摄像机、镜头和照明光源实现。工业摄像机使用大恒mer-125-30uc彩色1/3sonyicx445ccd摄像机，全帧曝光扫描方式，分辨率为1292(h)×964(v)，帧率可达30帧/秒，输出接口为miniusb2.0接口，镜头卡口为c口，体积小巧，易于安装，能满足实时检测要求；镜头选用日本computar的8mm无畸变镜头。光源选用92×20×20mm的ldl2-80x16sw条形光源，光源控制器选用大恒cc-st-1024型号cc系列led光源控制器。

图像处理单元，用于对所述的植物叶片标本图像进行预处理、roi提取、分割、特征提取，并计算出分类结果；图像处理单元硬件可采用工业控制计算机，核心部分为编写的计算机软件。具体工作方式为：

(i)将图像采集单元采集的图像进行图像灰度化、二值化；

(ii)利用形态学操作对二值化后的植物标本图像进行roi提取；

(iii)对roi区域进行图像分割，得到植物叶片的集合；

(iv)针对每一个叶片提取它的纹理与几何特征；

(v)用分类算法计算出所有叶片分类结果，并将出现次数最多的作为最终识别结果；

所述的图像处理单元通过软件编程以及上述分类算法实现植物叶片标本的分类。所述图像处理单元内还可以包括人机界面软件，用于实时显示所述的待分类植物叶片标本图像以及分类结果，记录分类历史数据，并接收用户的操作指令对软件进行参数设定。实际过程中通过显示屏显示。工业控制计算机通过usb数据线连接工业摄像机和光源控制器。工业控制计算机采用研华工业控制计算机，该机采用intel双核处理器，主频3.0ghz，内存2g，硬盘160g，19寸液晶显示器，满足工业现场恶劣环境的要求。

检测结果显示单元，实际上可选择与工业控制计算机相连的显示器，配合编写的植物叶片标本分类系统软件，可直观地显示图像处理单元分类结果。