专利名称：基于计算机视觉技术的温室作物水肥胁迫状态识别方法
技术领域：
本发明属于温室植物监测领域，具体涉及一种基于计算机视觉的温室作物水肥胁迫状态识别方法。
背景技术：
设施农业作为新型的农业生产方式，已经成为解决人口、粮食、土地矛盾的重要途径。当前，我国设施农业生产中普遍存在科技含量低、劳动强度大、生产水平和效益低下，迫切需要技术改进，特别是利用现代信息技术，实现对设施温室环境进行自动控制和智能化管理，以提高我国设施农业生产技术水平，进一步提高经济效益和资源利用率。要实现温室环境的精准控制，获取作物生理状态包括水分、营养等信息是至关重要的。传统的温室环境水分、营养液控制是根据人工观测或预设参数进行，而不是针对植物特定时刻的特定需·要。接触性测量常用于确定植物的生理特征，但存在操作不方便、费时费力、具有破坏性、易受主观因素影响、不适合实时监控等特点。当作物出现水分不足、营养缺乏等胁迫特征时，会严重影响其生长。为此，必须尽早辨识甄别，以便进一步采取措施进行控制，避免遭受损失。植物胁迫状态通过叶面反映出来，如缩卷、枯萎、下垂、发黄。叶片这种结构变化会改变光的反射，引起的颜色或纹理方面的细微变化可用于监测植物的生理变化[I]。利用计算机视觉系统对植物生长进行非接触测量具有快速无损、及时准确、全天候等特点[2]，并且可获取作物的生长参数、整体状态信息并辨识其特殊需求，为合理灌溉和环境控制提供可靠依据，有效提高资源利用，节约能源消耗，提升产品品质，降低作业成本，达到提高产量、节约成本、保护环境的目的。(I)水分状态监测方面。植物利用水分维持叶片健康，当水分供给不足而无法满足蒸腾作用时，叶片气孔关闭，蒸腾减少，光合作用减弱，叶片枯萎[3]。不管生理因素或非生理因素导致的作物缺水都会影响作物生长和新陈代谢，严重的会影响作物产量。作物缺水的早期诊断对于增加产量、减少损失尤为重要。叶片含水率、茎流法等由于提供了植物水分状态的直接信息而被广泛用于植物水分状态分析[4]，但存在直接接触、破坏性采样、采集样本有限的缺点，难以获得大规模的商业推广应用。人眼对光的感知个体差异较大，而且不同人对缺水症状的颜色和样式估计就有差异，计算机视觉可以弥补这一缺陷。Seginer I等(1992)[5]通过对完全成熟的番茄叶片的观察实验表明，叶尖的垂直运动与缺水、二氧化碳吸收率高度相关。Kurata K等(1996) [6]利用图像分析获取了番茄叶轴的倾角，并将其与植株水分进行关联。Revollon P等(1998) [7]利用观赏植物的叶尖轴线与水平线之间夹角的变化对植物缺水展开研究。Kacira M等(2002) [8]则利用叶冠顶部投影面积(TopProjected Canopy Area, TPCA)作为识别特征并建立植物缺水的检测指标。Foucher P等(2004) [9]利用神经网络分割作物图像，对TPCA计算一阶不变矩、分形维数、平均茎杆骨架长度等三个形状特征，通过对缺水和正常灌溉的两组盆栽植物的对比实验表明，通过选取合适的阈值，三个特征都可以诊断出作物的缺水症状。Ondimu S N等(2008) [I]从苔藓图像的灰度和彩色协方差矩阵中抽取了 6个纹理特征，并利用多层感知器神经网络对缺水状态进行识别。中国专利“基于计算机视觉的作物需水信息检测新方法”(申请号200510041045)，利用参考物来测量作物茎杆尺寸和果实大小的新方法，用于检测作物需水信息，检测系统由大小适当的参考物、图像采集设备、图像采集卡和计算机组成；利用计算机视觉非接触测量作物茎杆和果实，通过把参照物放置在待测的作物茎杆和果实附近，通过相应的图像处理算法得到作物茎杆尺寸和果实大小，从而得到作物需水信息。“基于计算机视觉的灌溉水车系统”(申请号2006100287346)，包括一合包含数据库中心以及用以监控及实时显示信息的远程监控机；一个嵌入式单板机、可编程序控制器以及数显设备构成的灌溉控制箱；一个进行实时图像采集的CCD摄像机；一个控制水车行走速度和启停的变频调速器以及与变频调速器连接的继电器、电磁阀和执行机构；以及用于获取当前水车行走速度和行走距离的光电脉冲编码器和获取当前灌溉量的脉冲式流量计；进行实时无线通信的无线以太网装置；用于控制微喷喷头开关的电磁阀以及灌溉水车的行走轨道等组成。根据获取的植物大小与数据库中存储的历史信息比较，确定灌溉量。
·
(2)缺素监测方面。氮、钙等元素对植物的生长非常重要，但对土壤缺乏有效信息导致的过度施肥经常出现，给环境造成很大威胁。另外，在温室栽培中，植物通常会有营养缺乏症状，特别是在开花和结果时期，严重影响作物的产量和质量[10]。对作物缺素的早期诊断并及时处理潜在问题如叶尖枯萎，可以提升资源使用效率，提高农产品的质量和产量。缺素的早期症状并不明显，即便是经验丰富的专家也难以确切诊断出来。鉴定植物是否缺氮要通常依赖于叶片颜色变化的识别，作物营养不良主要通过叶片反映出来，而且主要通过颜色和纹理体现出来[11]。Ahmad I S等(1996) [12]利用颜色特征来表示植物缺水或缺素水平，利用R (红色)、G (绿色)、H (色调)分量的平均值区分作物的低、中氮水平。Borhan M S等(2004) [13]基于彩色图像的R、G分量和多光谱像的灰度直方图，提取了均值、偏差、能量、熵等四个特征，利用多元线性回归进行分析，对植物叶绿素和氮水平进行预测，识别结果优于人工观察。Xu G L等(2011)[11]利用CIE颜色空间中b*分量的直方图特征，结合傅立叶变换和小波分析对植物叶片缺素进行识别，为了避光线及其它环境因素的影响，图像获取是在一个封闭的采样箱中进行。David Story等(2010) [14]在LED为照射光源的可控环境中，利用植物叶片的I个形态特征、2个颜色及4个纹理特征对莴苣缺钙进行识别，结果显示计算机视觉可比人工视觉早1-2天发现缺素状态。国内，李长缨等(2003) [15]利用叶冠投影面积的变化来反映植物的缺肥情况，由于叶冠投影面积的计算易受外界条件干扰(如风速)，限制了该方法的应用。毛罕平等(2003) [16]提取叶片颜色和纹理的12个特征对番茄缺素进行了识别。计算机视觉技术在作物胁迫特征监测方面取得了很大进展，但是，还存在一些问题，(I)由于农业作物环境光照不均、自然光照变化大、成像条件不理想、背景复杂、分割困难，大部分研究在光照可控的实验室条件下进行，以使目标作物和背景的灰度差异较大，适应自然光照变化、复杂背景图像的目标分割问题未能得到有效解决；(2)视觉系统中的图像处理算法是为特定对象定制，条件变化时缺乏鲁棒性，面对不同问题时难以进行扩展和重用；(3)以往的研究是针对植物的单一胁迫特征(如缺水或缺氮)进行监测，而一套成功的视觉监控系统要求能对多个胁迫特征能同时进行识别；(4)图像分割后提取一个或多个特征进行识别，不同作物不同状态的胁迫特征是不一样的，如何针对不同作物、从形态、颜色、纹理等方面构造识别胁迫特征所需的、数量足够大的特征集合，并自适应进行优化选择缺乏有效性方法；(5)图像处理算法耗时，如何选择经济、合理、高效的硬件平台上实现快速运算以满足实时监控的要求也是一个问题。本发明针对以上问题，通过构建计算机视觉监测平台，以温室环境中的作物为研究对象，开发适应自然光照变化、复杂场景下植物图像分割方法，以及构造数量足够大的特征集合、并自适应选择最优特征子集进行作物水肥胁迫特征的计算机视觉识别方法.与前两种技术通过植物不同生长阶段的大小确定需水量不同的是，本发明从作物叶片的纹理、颜色、形态等多种特征中选择最优特征集合来判断水、肥信息，实现水、肥两种状态的识别，满足温室作物水分、肥料胁迫状态的实时、非破坏性监测要求，为环境控制提供依据。参考文献
[I]Ondimu S N， Murase H. Comparison of plant water stress detectionability of color and gray level texture in sunagoke moss. Transactions of the·ASABE, 2008, Vol. 51(3) : 1111 11120。[2]林开颜，徐立鸿，吴军辉.计算机视觉技术在作物生长监测中的研究进展.《农业工程学报》，2004，20 (2) :279 283。[3]Nilsson H. Remote sensing and image analysis in plant pathology.Annual Review of Phytopathology, 15 (1995):489 527。[4]Wang D， Gartung J. Infrared canopy temperature of early-ripeningpeach trees under postharvest deficit irrigation. Agricultural WaterManagement, 97(2010):1787 1794。[5] Seginer I，Elster R T，Goodrum, J W, Rieger M W. Plant wiltdetection bycomputer-vision tracking of leaf tips. Transactions of the ASABE,35 (1992):1563 1567。[6]Kurata K， Yan J. Water stress estimation of tomato canopy based onmachine vision. Acta Horticulturae，440(1996):389 394。[7]Revollon P，Chasseriaux G，Riviere L M et al. The use of imageprocessing for tracking the morphological modification of Forsythia followingan interruption of watering. In Proc. International Conference on AgriculturalEngineering, 872 - 873. AgEng 0SL098. 1998，August 24 27. Oslo, Norway。[8]Kacira M，Ling P P，Short T H. Machine vision extracted plantmovement for early detection of plant water stress. Transactions of the ASAB ，2002，45 (4):1147 1153。[9]Foucher P，Revollonl P，Vigouroux B, Chasseriaux G. MorphologicalImage Analysis for the Detection of Water Stress in Potted Forsythia.Biosystems Engineering (2004)，89 (2):131 138。[10] Mercure， S A， Daoust B， Samson G. Causal relationship betweengrowth inhibition, accumulation of phenolic metabolites, and changes ofUV-induced fluorescences in nitrogen-deficient barley plants. Can. J. Bot.82(2004) : 815 821。
[11] Xu G L, Zhang F L, Shah S G et al. Use of leaf color images toidentify nitrogen and potassium deficient tomatoes. Pattern Recognition Letters,32 (2011) :1584 1590。[12] Ahmad I S, Reid J F. Evaluation of colour representationsfor maize images. Journal of Agricultural and Engineering Research,63(1996):185 196。[13] Borhan M S, Panigrahi S, Lorenzen J H, Gu H. Multispectral andcolor imaging techniques for nitrate and chlorophyll determination of potatoleaves in a controlled environment. Transactions of the American Society ofAgricultural Engineers, 2004, Vol. 47(2): 599 608。[14] David Story, Murat Kacira, Chieri Kubota et al. Lettuce calcium·deficiency detection with machine vision computed plant features in controlledenvironments. Computers and Electronics in Agriculture, 74 (2010): 238 243。[15] 李长缨，滕光辉，赵春江等.利用计算机视觉技术实现对温室植物生长的无损监测 农业工程学报，2003, 19 (3) : 14(Tl43。[16] 毛罕平，徐贵力，李萍萍.基于计算机视觉的番茄营养元素亏缺的识别 农业机械学报，2003，34(2) : 73 75。
发明内容
本发明的目的在于提供一种基于计算机视觉的温室作物胁迫状态识别方法，本发明构建温室作物计算机视觉监测技术平台，对温室内作物进行连续、非破坏性监测，实现作物水肥胁迫特征的早期诊断。本发明提出的基于计算机视觉的温室作物胁迫状态识别方法，具体步骤如下
(I)构建计算机视觉监测平台，所述监测平台由C⑶相机I、支架9、计算机3、步进电机
控制器4、X方向电机5、Y方向电机6、X方向导轨7和Y方向导轨8组成,其中导轨8位于温室顶部前后两侧，导轨7两端位于导轨8上；Y方向电机6控制X方向导轨7在导轨8上沿Y方向运动；C⑶相机I通过支架9安装于X方向导轨7上，X方向电机5控制支架9在导轨7上沿X方向来回移动，CXD相机I位于温室作物上方；(XD相机I通过图像采集卡2连计算机3的输入端,计算机3的输出端连接步进电机控制器4的输入端,步进电机控制器4的输出端分别连接X方向电机5和Y方向电机6。计算机通过向步进电机控制器4发出指令，实现CCD相机在温室上方的水平定位，依次采集作物图像；计算机具有CUDA硬件平台，用于实现复杂图像处理运算。电机5、电机6均为步进电机。(2)对获取的图像，选择归一化颜色空间用于聚类分割，以消除自然光照变化对分割结果的影响；在颜色量化的基础上，利用模糊C均值聚类算法(FCM)进行图像分割，将植物叶片图像和土壤等背景分离；对分割后图像，利用数学形态学运算进行处理，去除噪声；对去噪后图像，运用像素标记算法标记图像并进行BLOB分析，根据BLOB分析结果去除杂草，填充叶片孔洞，抽取场景中的所有叶片图像用于后续处理。(3)对植物叶片图像，从形态、颜色和纹理等方面构造数量足够大的胁迫特征集合；对获取的每个植物叶片，抽取叶片的周长、形心、面积、高度、宽度、内切椭圆长轴、内切椭圆短轴、面积周长比、紧致度、伸长率、长宽比对数、周长宽度比、周长长度比等13个形态特征。颜色对目标的识别提供了丰富信息，颜色通常描述为三维空间的一个向量，即每个颜色为颜色空间中的一个坐标。获取图像数据是RGB格式，HSI符合人眼感知心理，IE(L*a*b*)是均勻颜色空间可以用欧式距离测量小的色差。获取R、G、B、H、S、L、a*、b*每个颜色分量的均值及灰度均值作为颜色特征。纹理是反映目标表面亮度特征变化的测度，如光滑度、粗糙度、规则度等。二维灰度共生矩阵常用于纹理分析，因为它能统计图像中灰度值的空间分布关系。比如说，熵用来描述灰度分布的随机性，当作物营养不足，表面复杂度降低，熵也会降低；能量是反映灰度亮度一个指标，当缺水时，叶片发黄，亮度增加，能量也增加，对比度提高。与灰度图像相比，彩色图像在可见光谱中提供了更多的颜色特征，据此，本项目拟利用彩色共生矩阵进行彩色纹理分析。对于R、G、B、H、S、I、L*、a*、b*的每个分量，根据距离为I角度为O的空间关系计算共生矩阵，在此基础上，计算能量(Energy)、熵(Entropy)、对比度(Contrast)、均勻性(Homogeneity)、倒数差分矩(Inverse DifferenceMoment, I DM)、互相关(Correlation)、均值和(Sum Mean),方差(Variance)、类趋势(Cluster Tendency)、最大概率(Maximum Probability),每个分量计算 10 个 Haralick 纹理特征，共90个特征。·(4)对构造的特征集合，利用启发式搜索算法结合神经网络选择水、肥状态最优特征子集。(5)根据选出的水、肥状态最优特征子集，利用BP神经网络对作物胁迫特征进行识别。本发明中，步骤(I)所述的图像获取具体为，计算机发出信号给步进电机控制器4，控制X方向步进电机5和Y方向步进电机6的运动，进而移动CCD相机到指定位置，从作物上方采集图像。本发明结构上的一个优点是通过水平定位系统移动相机到指定位置，可全方位获取作物图像，减少摄像机的安装数量。硬件上另一个创新点是针对图像处理算法耗时问题，利用CUDA (Compute Unified Device Architecture,统一计算设备架构)进行图像处理运算，以提高运算速度。CUDA是由NVIDIA (英伟达)推出的旨在提高显卡图像处理能力且适合于并行计算的软硬件解决方案，通过利用GPU (图像处理单元)的处理能力，可大幅提升计算性能。基于英伟达CUDA的GPU(显卡)销量已达数以百万计，软件开发商、科学家以及研究人员正在各个领域中运用英伟达CUDA，包括图像与视频处理、计算生物学和化学、流体力学模拟等。因此利用CUDA来提高FCM算法的运算速度，成本低廉容易推广。本发明中，步骤(2)所述归一化颜色空间采用基于最小色彩方差的分割法将像素点数量为n的图像在RGB空间中分成
(I个子颜色空间，每个子空间的像素点数为::(〗)，满足如下关系，
(I \
￡.1=1~~ --V丄乂
q取下式作为量化数值。G = floor{' 3；；(2)FCM算法将图像数据集X =+( ,IPh分为e类，x中任意样本对,类的隶
属度为分类结果可以用一个模糊隶属度矩阵II 二 e Rm表示。标准FCM算法中，每
个像素点X:都要参与FCM算法的迭代运算，运算量大，而进行颜色量化后，每个子空间的代表颜色和颜色数量已知，因此只需用代表颜色进行运算，不需要重复运算，可大幅提高运算速度。量化后的图像表示为他《)，颜色子空间(3 = { :1;^.,^,)€1^-，每个子空间代表颜色
对应的数量为!! = ^〕^〗^^〕。基于颜色量化的FCM算法分类结果的隶属度矩阵表示
为r = {_R”，模糊c一均值聚类是通过最小化关于隶属度矩阵u和聚类中心V的目标
函数W(u.v:;实现的，
A (n,￥)=2E (如)* 4.( , I)(3)·
A-I Ul
颜色量化后，相同的颜色不需要重复计算，目标函数按下式计算
(4)
柳,￥)^全_(%)*^(1^)式中，隶属度矩阵1 = _的计算公式采用(5)
,Ul Ui
式，量化后的维数为cXn变为cXq，计算量大为减少，
Uik= y(5)
其中 i = I.,.C k = l..,q
I
ZWX
v, =jH--为c个聚类中心点集，定义为
S(%r細
(6)
颜色量化后，中心计算采用下式，
零之 SX..............................................................................
! i 職Vw
Jl-I
(7)
由于q远小于n故，中心点的计算量也大幅减少。m e [1,00]为加权指数，当W = I,模糊聚类就退化为硬C —均值聚类；通常《 = 2为比较理想的取值。第；个样本到第※类中心的距离Cifk(XkTi)采用欧式距离进行运算。FCM
kI
是通过反复迭代优化目标函数式(4)，直到算法收敛。本发明FCM算法中，由于图像数据经过了预处理，在RGB空间的分布比较均匀，不再沿对角线附近聚集，故可直接利用图像像素点的RGB数值进行聚类，不需要变换到CIE均匀颜色空间，可减少计算量，而且不影响聚类效果，颜色量化后，在不影响分割质量的前提下显著提高运算速度。本发明中，步骤(3) Haralick纹理特征定义为，
能量，Enery= ZfEfP2M(8)· 熵，
E ntropy = — If Ef P [l jl iog P(9)
对比度，(10)
均匀性，(11)
倒数差分矩，(12)
互相关，
Core^stior. = S';Zx(13)
* j-cr-
均值和，
Siun Mean =+ /PDjI)(14)
方差，Ysrkr.ce =— n}2 PU. jl + (j -p U-A j(15)
类趋势，Clyster Tendeiic/ = If IJ(i + ; - lu;kP\i.iT；(16)
最大概率，
MaxiKmin ProbabJiity = [:,/](17)
P[i, j]为共生矩阵的第(i，j)个元素士 o分别为共生矩阵的均值和标准偏差。本发明中，步骤(4)从特征集合中选取最优特征子集的方法为，采用遗传算法、模拟退火算法、蚁群算法或粒子群算法等启发式搜索算法寻找最优特征组合，算法的目标函数为神经网络的最小识别误差，算法收敛后，统计每个特征的使用频率，选择最常用的特征作为识别能力最强的特征，并构造特征子集，子集的特征数量控制在20-30个。算法选择特征时，对于未使用的特征，神经网络的输入设为O。通过优化后，特征集合的数量下降，如此，可降低神经网络计算复杂度、提高泛化能力。本发明中，步骤(5)采用BP神经网络利用优化的特征集合对作物的水肥状态进行识别。神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，因此选择神经网络用于植物胁迫特征特征识别是一种自然选择。用于特征选择的神经网络和最后上线用于特征识别的神经网络均采用三层BP(误差反向传播)神经网络，两者的差别在于网络输入层和隐层神经元数量不一致。后者的输入特征向量为优化后的特征子集，神经网络规模较前者小的多。输入层为用于识别的特征量，输出层为缺水、缺素、正常等特征量，中间层的神经元数量根据经验值确定。本发明的有益效果在于本发明以温室环境中的作物为研究对象，构造计算机视觉监测平台，研究适应自然光照变化、复杂场景下植物图像分割方法，对获得的植物叶片图像，从形态、颜色、纹理等方面提取并构造数量足够的特征集合，采用遗传算法、模拟退火算法、蚁群算法、粒子群算法等启发式搜索算法结合神经网络技术寻找最优特征子集，最后利·用BP神经网络对作物胁迫特征进行识别。采用水平定位系统移动相机，可以全方位获取植物图像。对于运算耗时的算法，采用CUDA(Compute Unified Device Architecture)硬件平台实现，以满足监测的实时性要求。本发明为温室植物的水肥胁迫状态费破坏性测量提供了一种技术手段，具有广阔的应用前景。
图I为本发明监测平台结构图示。图2为本发明计算机结构。 图3为本发明方法流程图。图4为图像处理过程。其中(a)原图，(b)图像分割，(C)数学形态学运算，⑷Blob过滤，(e)孔洞填充，(f)抽取图像。图中标号1为CXD相机，2为图像采集卡，3为具有CUDA平台的计算机，4为步进机控制器，5为X方向步进电机，6为Y方向步进电机，7为X方向导轨，8为Y方向导轨，9为支架，10为温室作物。
具体实施例方式为了更好理解本发明，下面结合附图对本发明进行详细说明。实施例I :
如图I所示，计算机根据设定的图像采用间隔，发出指令，通过步进电机控制器控制X、Y两个方向的电机，将摄像机(CCD相机)移动到指定位置，然后采集图像，存储于计算机中用于图像分析。图I中相机安装在作物上方，有利于获取植物叶片图像。图2为计算机结构图，电脑具有CUDA硬件平台，以提高图像处理运算速度。图3为图像分析算法流程流程图，图4为图像分割过程，算法处理各步骤如下
(I)如图3，获取图像后，先进行预处理，即进行对比度调整和去相关拉伸变换
(Decorrelation Stretch Transformation, DST),以使得图像数据在RGB空间中的分布更均匀，进而提高图像的动态范围，处理后FCM聚类可以直接在RGB空间中进行。
(2)图像预处理后，进行颜色量化，然后利用模糊C均值聚类算法(FCM)进行图像分割，将土壤和植物分离。基于颜色量化的FCM算法，如前所述。图4 (a)是植物图像，图4 (b)为基于颜色量化的FCM分割后的结果。(3)对分割后图像，利用数学形态学运算进行处理，去除噪声，对图4 (b)进行形态学去噪后结果如图4 (C)所示。(4)对去噪后图像，运用像素标记算法标记图像并进行BLOB分析，根据BLOB分析结果去除杂草、大的区块(如图4 (d))，填充叶片孔洞(如图4 (e))，抽取场景中的所有叶片图像(如图4 (f)所示)用于后续处理。(5)对获取的每个植物叶片，获取R、G、B、H、S、L、a*、b*每个颜色分量的均值及灰
度均值作为颜色特征。 (6)抽取叶片的周长、形心、面积、高度、宽度、内切椭圆长轴、内切椭圆短轴、面积·周长比、紧致度、伸长率、长宽比对数、周长宽度比、周长长度比等13个形态特征。(7)确定合适的空间关系(角度为0，距离为1)，对于R、G、B、H、S、I、L*、a*、b*的每个分量，计算共生矩阵，在此基础上提取前述10个Haralick纹理特征,共计90个特征。(8)构造神经网络进行胁迫特征识别，利用采用遗传算法、模拟退火算法、蚁群算法、粒子群算法等启发式搜索算法寻找最优特征子集。(9)利用最优特征子集，构造BP神经网络，利用典型特征图片进行训练，实现复杂场景作下物胁迫特征状态的在线识别。(10)对于运算耗时的算法，研究和设计CUDA硬件平算法构架(结构如图2所示)，提高运算速度，满足实时性要求。基于英伟达CUDA的GPU(显卡)销量已达数以百万计，软件开发商、科学家以及研究人员正在各个领域中运用英伟达CUDA，包括图像与视频处理、计算生物学和化学、流体力学模拟等。因此利用CUDA来提高算法的运算速度，不仅方法可行且成本低廉。
权利要求
1.一种基于计算机视觉的温室作物胁迫状态识别方法，其特征在于具体步骤如下 (1)构建计算机视觉监测平台，所述监测平台由CCD相机(I)、支架(9)、计算机(3)、步进电机控制器⑷、X方向电机(5)、Y方向电机(6)、X方向导轨(7)和Y方向导轨⑶组成相机水平定位系统，其中导轨(8)位于温室顶部前后两侧，导轨(7)两端位于导轨(8)上；Y方向电机(6)控制X方向导轨(7)在导轨⑶上沿Y方向运动；C⑶相机⑴通过支架(9)安装于X方向导轨(7)上，X方向电机(5)控制支架(9)在导轨(7)上沿X方向来回移动，CCD相机⑴位于温室作物上方；CCD相机⑴通过图像采集卡⑵连计算机(3)的输入端，计算机⑶的输出端连接步进电机控制器⑷的输入端，步进电机控制器⑷的输出端分别连接X方向电机(5)和Y方向电机(6);计算机通过向步进电机控制器⑷发出指令，实现CCD相机在温室上方的水平定位，依次采集作物图像；计算机具有CUDA硬件平台，用于实现复杂图像处理运算；电机(5)、电机(6)均为步进电机； (2)对获取的图像，选择归一化颜色空间用于聚类分割，以消除自然光照变化对分割结果的影响；在颜色量化的基础上，利用模糊C均值聚类算法进行图像分割，将植物叶片图像和土壤等背景分离；对分割后图像，利用数学形态学运算进行处理，去除噪声；对去噪后图像，运用像素标记算法标记图像并进行BLOB分析，根据BLOB分析结果去除杂草，填充叶片孔洞，抽取场景中的所有叶片图像用于后续处理； (3)对植物叶片图像，从形态、颜色和纹理等方面构造数量足够大的胁迫特征集合；对获取的每个植物叶片，抽取叶片的周长、形心、面积、高度、宽度、内切椭圆长轴、内切椭圆短轴、面积周长比、紧致度、伸长率、长宽比对数、周长宽度比、周长长度比13个形态特征，颜色通常描述为三维空间的一个向量，即每个颜色为颜色空间中的一个坐标；获取图像数据是RGB格式，HSI符合人眼感知心理，CIE(L*a*b*)是均匀颜色空间可以用欧式距离测量小的色差；获取R、G、B、H、S、L、a*、b*每个颜色分量的均值及灰度均值作为颜色特征；纹理是反映目标表面亮度特征变化的测度；二维灰度共生矩阵用于纹理分析，熵用来描述灰度分布的随机性，当作物营养不足，表面复杂度降低，熵也会降低；能量是反映灰度亮度一个指标，当缺水时，叶片发黄，亮度增加，能量也增加，对比度提高；与灰度图像相比，彩色图像在可见光谱中提供了更多的颜色特征，据此，本项目拟利用彩色共生矩阵进行彩色纹理分析；对于R、G、B、H、S、I、L*、a*、b*的每个分量，根据距离为I角度为0的空间关系计算共生矩阵，计算能量、熵、对比度、均勻性、倒数差分矩、互相关、均值和、方差、类趋势、最大概率和每个分量计算10个Haralick纹理特征,共90个特征； (4)对构造的特征集合，利用启发式搜索算法结合神经网络选择水、肥状态最优特征子集; (5)根据选出的水、肥状态最优特征子集，利用BP神经网络对作物胁迫特征进行识别。
2.根据权利要求I所述的基于计算机视觉的温室作物胁迫状态识别方法，其特征在于其特征在于步骤(2)所述归一化颜色空间采用基于最小色彩方差的分割法将像素点数量为n的图像在RGB空间中分成q个子颜色空间，每个子空间的像素点数为Mij,满足如下关系，IL {]j = Ji(I) q取下式作为量化数值，c = floor (% I;(2)FCM算法将图像数据集1 = ( , ,分为e类，X中任意样本X对I类的隶属度为~，分类结果用一个模糊隶属度矩阵n= WijJeRm表示；标准FCM算法中，每个像素点X:都要参与FCM算法的迭代运算，运算量大，而进行颜色量化后，每个子空间的代表颜色和颜色数量已知，只需用代表颜色进行运算，大幅提高运算速度；量化后的图像表示为(Q， ，颜色子空间Q = (S1X2, ,xq}，每个子空间代表颜色对应的数量为H =;基于颜色量化的FCM算法分类结果的隶属度矩阵表示为U = MeRc^，模糊C一均值聚类是通过最小化关于隶属度矩阵U和聚类中心V的目标函数k{U.V〕实现的， Jw(UfV)(3)i-1 颜色量化后，相同的颜色不需要重复计算，目标函数按下式计算 4(u,v)=SZ 卿■’5)⑷M i-1 式中，隶属度矩阵U = {'k〕.的计算公式釆用(5)式，量化后的维数为cXn变为cXq，计算量大为减少, = Z(5)其中I' = I.,.C k = l...q V = h"vj € RF为c个聚类中心点集，定义为 ' =- (6)JUl 颜色量化后，中心计算釆用下式，
3.根据权利要求I所述的基于计算机视觉的温室作物胁迫状态识别方法，其特征在于其特征在于步骤(3) Haralick纹理特征定义为， 能量，
4.根据权利要求I所述的基于计算机视觉的温室作物水肥胁迫状态识别方法，其特征在于其特征在于步骤(4)从特征集合中选取最优特征子集的方法为采用遗传算法、模拟退火算法、蚁群算法或粒子群算法等启发式搜索算法寻找最优特征组合，算法的目标函数为神经网络的最小识别误差，算法收敛后，统计每个特征的使用频率，选择最常用的特征作为识别能力最强的特征，并构造特征子集，子集的特征数量控制在20-30个；算法选择特征时，对于未使用的特征，神经网络的输入设为O。
5.根据权利要求I所述的基于计算机视觉的温室作物胁迫状态识别方法，其特征在于其特征在于步骤(5)采用BP神经网络利用优化的特征集合对作物的水肥状态进行识别；神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，因此选择神经网络用于植物胁迫特征特征识别是一种自然选择；用于特征选择的神经网络和最后上线用于特征识别的神经网络均采用三层BP神经网络，两者的差别在于网络输入层和隐层神经元数量不一致；后者的输入特征向量为优化后的特征子集，神经网络规模较前者小的多；输入层为用于识别的特征量，输出层为缺水、缺素或正常特征量，中间层的神经元数量根据经验值确定。
全文摘要
本发明涉及一种基于计算机视觉技术的温室作物水肥胁迫状态识别方法，本发明以温室环境中的作物为研究对象，构造计算机视觉监测平台，研究适应自然光照变化、复杂场景下植物图像分割方法，对获得的植物叶片图像，从形态、颜色、纹理等方面提取并构造数量足够的特征集合，采用遗传算法、模拟退火算法、蚁群算法或粒子群算法等启发式搜索算法结合神经网络技术寻找最优特征子集，利用BP神经网络对作物胁迫特征进行识别。采用水平定位系统移动相机，可全方位获取植物图像。采用CUDA硬件平台实现算法运算，以满足监测的实时性要求。本发明为温室植物的水肥胁迫状态费破坏性测量提供了一种技术手段，具有广阔的应用前景。
文档编号G06K9/62GK102789579SQ201210260259
公开日2012年11月21日 申请日期2012年7月26日 优先权日2012年7月26日
发明者司慧萍, 吴军辉, 林开颜, 林振坤, 陈杰 申请人:同济大学