一种作物冠层半球图像处理方法及装置与流程

文档序号:14686163发布日期:2018-06-14 23:36阅读:218来源:国知局

本发明涉及农业信息技术领域,具体涉及一种作物冠层半球图像处理方法及装置。



背景技术:

作物冠层结构参数对于研究作物生长情况具有重要的作用,半球图像(HemisphericalPhotography)法是主要的冠层结构参数获取的间接方法,半球图像的植株和天空背景二值化是影响冠层结构参数计算的最主要因素。

对于图像的二值化分割,现有技术采用优化的颜色空间来分割植物图像,但不同植物颜色空间的分割阈值需要人工调整。或者利用植物叶片中含有叶绿素这一特性,提出绿色分量强化法,该方法假定植物像素和背景像素线性变换后可投影到不同的空间平面上,根据事先计算的阈值对平面进行划分,但是该方法中阈值的选取受光照强度的影响。为了解决变化光照的影响,现有方法以多重颜色特征作为分类向量,采用机器学习分类方法区分植株像素和背景像素,试验表明该方法自动化程度较高,但图像中的高光和阴影部分仍有较高错分率。为了避免变化光照对图像二值化的影响,作物冠层半球图像在日出后1h或者日落前1h内(直射光少、散射光多)获取,但这种方式限制了半球图像法的适用范围。当处于其他时间点时,上述二值化方法结果精度误差较大。

现有技术中一方面由于成像设备在不同光照条件下采取的曝光时间不同,致使不同时段获取的图像颜色亮度差异较大,在图像分割时阈值很难统一;另一方面由于作物叶片对阳光有一定透射作用,在直射光较强的条件下,顶部叶片在图像上常显示为过度曝光,底部叶片受上方叶片投射阴影的影响,曝光不足,冠层复杂的亮度分布影响了二值化结果精度。因此,如何克服不同光照条件和不同曝光时间对植物图像的影响,以得到相同的二值化图像结果,是当前作物冠层结构参数研究的一大问题。



技术实现要素:

由于当前作物冠层结构参数研究中存在不同光照条件和不同曝光时间对植物图像的影响,因此无法获取可使用同一阈值进行二值化操作的原始图像,本发明提出一种作物冠层半球图像处理方法及装置。

第一方面,本发明提出一种作物冠层半球图像处理方法,包括:

获取若干个光照相同、曝光时间不同的作物冠层半球图像;

根据像素点的亮度范围和每个图像的曝光时间,确定每个图像中每个像素点对应的光照强度;

根据每个图像中每个像素点的光照强度,计算所有图像每个像素点的平均光照强度;

将每个像素点的平均光照强度的取值区间分为256个子区间,并将每个子区间内的平均光照强度映射至256色的RGB值,得到处理后的图像。

优选地,所述根据像素点的亮度范围和每个图像的曝光时间,确定每个图像中每个像素点对应的光照强度,包括:

根据亮度值的取值范围以及像素点的亮度值、光照强度和曝光时间的关系,得到最小二乘函数D:

D = Σ i = 1 n Σ j = 1 m ( F ( I i j ) - ln E i - lnΔt j ) - - - ( 1 ) ]]>

根据所述最小二乘函数D的极小值,计算得到每个图像中每个像素点对应的光照强度;

其中,i和j表示正整数,Iij表示第j个图像中第i个像素点,Ei表示第i个像素点的光照强度,Δtj表示第j个图像的曝光时间,F(Iij)表示第j个图像中第i个像素点的亮度值,F(Iij)的取值范围为[0,255]的整数,m表示所有图像的数量,n表示一个图像中的像素点总数;所述像素点的亮度值、光照强度和曝光时间的关系为F(Iij)=lnEi+lnΔtj。

优选地,所述将每个像素点的平均光照强度的取值区间分为256个子区间,包括:

根据公式(2),计算得到Vk,所述Vk将平均光照强度的取值区间分为2个子区间;

G ( V k ) min = ( V k - 0.5 ( L m a x + L m i n ) ) 2 L 2 + α ( Σ x = 0 V k h ( x ) - 0.5 N ) 2 N 2 - - - ( 2 ) ]]>

其中,Lmax为当前区间内光照强度的最大值,Lmin为当前区间内光照强度的最小值,L和Vk为当前区间内的值,k为正整数,Vk为使得G(Vk)值最小时的光照强度,h(x)为当前区间的像素点数的直方图函数,N为当前区间内的像素点数量,α为能影响映射变换效果的条件参数,取值为[0,∞];

根据公式(2),将每个子区间进一步划分,直到分为256个子区间。

优选地,所述将每个像素点的平均光照强度的取值区间分为256个子区间,并将每个子区间内的平均光照强度映射至256色的RGB值,得到处理后的图像之后包括:

根据预设阈值,将所述处理后的图像转换为二值图。

优选地,所述获取若干个光照相同、曝光时间不同的图像包括:

获取6个光照相同、曝光时间分别为1/800、1/400、1/200、1/125、1/30和1秒的图像。

第二方面,本发明还提出一种作物冠层半球图像处理装置,包括:

图像获取模块,用于获取若干个光照相同、曝光时间不同的作物冠层半球图像;

光照强度确定模块,用于根据像素点的亮度范围和每个图像的曝光时间,确定每个图像中每个像素点对应的光照强度;

平均光照强度计算模块,用于根据每个图像中每个像素点的光照强度,计算所有图像每个像素点的平均光照强度;

区间划分和映射模块,用于将每个像素点的平均光照强度的取值区间分为256个子区间,并将每个子区间内的平均光照强度映射至256色的RGB值,得到处理后的图像。

优选地,所述光照强度确定模块包括:

最小二乘计算单元,用于根据亮度值的取值范围以及像素点的亮度值、光照强度和曝光时间的关系,得到最小二乘函数D:

D = Σ i = 1 n Σ j = 1 m ( F ( I i j ) - ln E i - lnΔt j ) - - - ( 1 ) ]]>

光照强度计算单元,用于根据所述最小二乘函数D的极小值,计算得到每个图像中每个像素点对应的光照强度;

其中,i和j表示正整数,Iij表示第j个图像中第i个像素点,Ei表示第i个像素点的光照强度,Δtj表示第j个图像的曝光时间,F(Iij)表示第j个图像中第i个像素点的亮度值,F(Iij)的取值范围为[0,255]的整数,m表示所有图像的数量,n表示一个图像中的像素点总数;所述像素点的亮度值、光照强度和曝光时间的关系为F(Iij)=lnEi+lnΔtj。

优选地,所述区间划分和映射模块包括:

第一区间划分单元,用于根据公式(2),计算得到Vk,所述Vk将平均光照强度的取值区间分为2个子区间;

G ( V k ) min = ( V k - 0.5 ( L m a x + L m i n ) ) 2 L 2 + α ( Σ x = 0 V k h ( x ) - 0.5 N ) 2 N 2 - - - ( 2 ) ]]>

其中,Lmax为当前区间内光照强度的最大值,Lmin为当前区间内光照强度的最小值,L和Vk为当前区间内的值,k为正整数,Vk为使得G(Vk)值最小时的光照强度,h(x)为当前区间的像素点数的直方图函数,N为当前区间内的像素点数量,α为能影响映射变换效果的条件参数,取值为[0,∞];

第二区间划分单元,用于根据公式(2),将每个子区间进一步划分,直到分为256个子区间。

优选地,还包括:

二值转换模块,用于根据预设阈值,将所述处理后的图像转换为二值图。

优选地,所述图像获取模块用于获取6个光照相同、曝光时间分别为1/800、1/400、1/200、1/125、1/30和1秒的图像。

由上述技术方案可知,通过将光照相同、曝光时间不同的图像用光照强度来表示,并将光照强度映射至256色的RBG值,使得映射后的图像不受具体的光照强度影响,而与光照强度的分布有关,对于同一个场景的光照强度分布是一样的,因此本发明处理后的图像消除了光照的影响,同时通过控制曝光时间,能够克服不同光照条件和不同曝光时间对植物图像的影响,使用相同阈值得到的二值化图像结果相差较小,有利于当前作物冠层结构参数的进一步研究。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种作物冠层半球图像处理方法的流程示意图;

图2为本发明一实施例提供的相机拍摄的6张光照相同、曝光时间不同的图像;

图3为本发明一实施例提供的使用光照强度表示的伪色彩图;

图4为本发明一实施例提供的光照强度的区间划分示意图;

图5为本发明一实施例提供的采用作物冠层半球图像处理方法处理后的图像;

图6为本发明一实施例提供的相机拍摄的两张光照不同、曝光时间相同的图像;

图7为本发明一实施例提供的采用作物冠层半球图像处理方法处理后的图像;

图8为本发明一实施例提供的图6对应的二值图;

图9为本发明一实施例提供的图7对应的二值图;

图10为本发明一实施例提供的一种作物冠层半球图像处理装置的结构示意图。

具体实施方式

下面结合附图,对发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。

图1示出了本实施例提供的一种作物冠层半球图像处理方法的流程示意图,包括:

S1、获取若干个光照相同、曝光时间不同的作物冠层半球图像;

S2、根据像素点的亮度范围和每个图像的曝光时间,确定每个图像中每个像素点对应的光照强度;

S3、根据每个图像中每个像素点的光照强度,计算所有图像每个像素点的平均光照强度;

S4、将每个像素点的平均光照强度的取值区间分为256个子区间,并将每个子区间内的平均光照强度映射至256色的RGB值,得到处理后的图像。

通过将光照相同、曝光时间不同的图像用光照强度来表示,并将光照强度映射至256色的RBG值,使得映射后的图像不受具体的光照强度影响,而与光照强度的分布有关,对于同一个场景的光照强度分布是一样的,因此本发明处理后的图像消除了光照的影响,同时通过控制曝光时间,能够克服不同光照条件和不同曝光时间对植物图像的影响,使用相同阈值得到的二值化图像结果相差较小,有利于当前作物冠层结构参数的进一步研究。

作为本实施例的优选方案,S2包括:

S11、根据亮度值的取值范围以及像素点的亮度值、光照强度和曝光时间的关系,得到最小二乘函数D:

D = Σ i = 1 n Σ j = 1 m ( F ( I i j ) - ln E i - lnΔt j ) - - - ( 1 ) ]]>

S12、根据所述最小二乘函数D的极小值,计算得到每个图像中每个像素点对应的光照强度;

其中,i和j表示正整数,Iij表示第j个图像中第i个像素点,Ei表示第i个像素点的光照强度,Δtj表示第j个图像的曝光时间,F(Iij)表示第j个图像中第i个像素点的亮度值,F(Iij)的取值范围为[0,255]的整数,m表示所有图像的数量,n表示一个图像中的像素点总数;所述像素点的亮度值、光照强度和曝光时间的关系为F(Iij)=lnEi+lnΔtj。

利用像素点亮度的离散特性,即像素点的亮度值为0-255的整数,将问题的求解转换为最小二乘问题,并通过计算机计算,便于得到一组最优的光照强度解。

进一步地,根据公式(3)计算每个像素点的平均光照强度:

ln E i = { Σ j = 1 m F ( I i j ) - lnΔt j } / m - - - ( 3 ) ]]>

采用平均光照强度,能够更加准确地表示某个时刻的光照强度情况,避免由于一两次的误操作或其它原因造成光照强度值的偏差过大。

具体地,S4包括:

S41、根据公式(2),计算得到Vk,所述Vk将平均光照强度的取值区间分为2个子区间;

G ( V k ) min = ( V k - 0.5 ( L m a x + L m i n ) ) 2 L 2 + α ( Σ x = 0 V k h ( x ) - 0.5 N ) 2 N 2 - - - ( 2 ) ]]>

其中,Lmax为当前区间内光照强度的最大值,Lmin为当前区间内光照强度的最小值,L和Vk为当前区间内的值,k为正整数,Vk为使得G(Vk)值最小时的光照强度,h(x)为当前区间的像素点数的直方图函数,N为当前区间内的像素点数量,α为能影响映射变换效果的条件参数,取值为[0,∞];

S42、根据公式(2),将每个子区间进一步划分,直到分为256个子区间。

将光照强度映射至256色的RBG值,使得映射后的图像不受具体的光照强度影响,而与光照强度的分布有关,对于同一个场景的光照强度分布是一样的,因此本发明处理后的图像消除了光照的影响。

进一步地,S4之后包括:

S5、根据预设阈值,将所述处理后的图像转换为二值图。

本实施例通过对图像序列中不同亮度图像的光照强度计算和映射,使冠层半球图像的亮度和颜色分布均一,采用固定的分割阈值即可获得理想的二值化结果,增加半球图像二值化的精度和自动化程度,极大程度拓展了半球图像法计算作物冠层结构参数的适用范围。

更进一步地,S1包括:

获取6个光照相同、曝光时间分别为1/800、1/400、1/200、1/125、1/30和1秒的图像。

采用6个图像,且其曝光时间设定为1/800、1/400、1/200、1/125、1/30和1秒,使得即可获取效果好的二值化图像,又不会造成因处理过多图像而需耗费大量时间和资源。

本实施例中,图像的获取采用适马(SIGMA)8mmF3.5EXDGFISHEYE定焦鱼眼镜头,该镜头能够提供水平360°垂直180°视野范围图像,相机采用佳能(Canon)EOS5DMarkIII全幅相机,相机放置于冠层底部,垂直地面朝向天空。固定光圈数值,切换曝光时间,获取一组不同亮度的冠层半球图像序列,图像如图2所示,其中(A)-(F)的曝光时间分别为:1/800、1/400、1/200、1/125、1/30和1秒。

图像处理程序由VisualStudio2010开发,使用了图像处理开源库OpenCV2.3,程序运行在PC机上,CPU核心频率3.4GHZ,内存4GB。

具体来说,序列图像中图像亮度与场景光照强度的数学关系为F(Iij)=lnEi+lnΔtj。其中Ei是场景中某点的光照强度值(无量纲);Δtj是图像的曝光时间(单位为s);i表示图像上某个采样点,取值范围[1,n];j表示不同亮度的图像序列中某个图像,取值范围[1,m];F(Iij)是相机对于场景中光照强度的响应函数。该数学关系的含义为:场景中某点的光照强度为Ei时,当相机的曝光时间为Δtj,图像上该点的亮度值为F(Iij)。在数字图像中像素亮度取值范围0~255,因此该数学关系可被离散化,变为最小二乘问题,如公式(1)所示。

当D取极小值时计算得到相机的响应函数,再由式(3)中像素亮度值和图像曝光时间计算场景中的光照强度值。

举例来说,图2为获取的6个光照相同、曝光时间不同的图像,从图2可以看出,受到像素取值范围的影响,图像中阴影暗处和高光亮处的层次细节欠缺,阳光直射时冠层顶部叶片亮度高而底部叶片亮度低,通过计算场景中某点的光照强度值,增加了图像数值表示范围。图3为公式(3)处理得到的光照强度伪色彩图,从图3可知,P1与P2在相较于原始图像,光照强度图像有更宽的取值范围,原始图像中高亮和阴暗区域在光照强度图像中呈现更多的细节。

光照强度图3扩展了原始的RGB图像的值域范围,包含了不同亮度图像序列中高光反射和阴影区域的信息。为了使不同时刻的光照强度图的数值分布趋于均一一致,对光照强度图进行压缩映射。压缩映射后的冠层半球图像矫正了图像亮度的差异。具体方法如下:在光照强度图的数值区间上找到一个值V0,使得式(2)取值最小,此时k=0。

由式(2)计算出V0值,将L分为2个区间,在这2个区间上再使用式(2)计算获得V10、V11,整个区间划分为4份,重复上述操作直到将整个区间划分为256份,建立光照强度图与256色图像的映射关系。划分方法示意图如图4所示。

对图3中的图像序列进行光照强度计算和映射,结果如图5所示,阴影与高亮区域(高光反射和透射)同时存在于原始图像序列中,经过所述图像融合映射算法处理后,图像亮度分布更为均一合理。

为进一步验证本方法对不同时刻变化光照条件下图像亮度的校正效果,获取同一冠层14:00时和17:00时半球冠层图像序列各6张,取其平均后,如图6A、6B所示,对应计算处理结果如图7A、7B。图6A、6B对应二值化图像如图8A、8B,图7A、7B对应二值化图像如图9A、9B。其中,图像分割阈值为180。图8A、8B、9A和9B中代表植株的黑色像素占整个半球图像像素数的48.1%,63.5%,56.8%和59.6%。由于一天之内冠层半球图像的像素比率应该呈现较小的差异,从结果看,14:00时与17:00时曝光1/100s的未经本方法处理的图像采用180灰度阈值二值化分割后,植株像素比率差异达到15.4%(48.1%,63.5%),经所述方法处理后图像采用同样分割阈值,植株像素比率差异为2.8%(56.8%,59.6%)。所述方法极大程度降低了变化光照对图像二值化分割的影响。

一天内不同时刻获取的作物半球图像由于光照条件不同,植株像素和背景像素的二值化分割存在一定误差,本实施例通过对图像序列中不同亮度图像的光照强度计算和映射,使冠层半球图像的亮度和颜色分布均一,采用固定的分割阈值即可获得理想的二值化结果,增加半球图像二值化的精度和自动化程度,极大程度拓展了半球图像法计算作物冠层结构参数的适用范围。

图10示出了本实施例提供的一种作物冠层半球图像处理装置的结构示意图,包括:

图像获取模块101,用于获取若干个光照相同、曝光时间不同的作物冠层半球图像;

光照强度确定模块102,用于根据像素点的亮度范围和每个图像的曝光时间,确定每个图像中每个像素点对应的光照强度;

平均光照强度计算模块103,用于根据每个图像中每个像素点的光照强度,计算所有图像每个像素点的平均光照强度;

区间划分和映射模块104,用于将每个像素点的平均光照强度的取值区间分为256个子区间,并将每个子区间内的平均光照强度映射至256色的RGB值,得到处理后的图像。

通过将光照相同、曝光时间不同的图像用光照强度来表示,并将光照强度映射至256色的RBG值,使得映射后的图像不受具体的光照强度影响,而与光照强度的分布有关,对于同一个场景的光照强度分布是一样的,因此本发明处理后的图像消除了光照的影响,同时通过控制曝光时间,能够克服不同光照条件和不同曝光时间对植物图像的影响,使用相同阈值得到的二值化图像结果相差较小,有利于当前作物冠层结构参数的进一步研究。

作为本实施例的优选方案,所述光照强度确定模块102包括:

最小二乘计算单元1021,用于根据亮度值的取值范围以及像素点的亮度值、光照强度和曝光时间的关系,得到最小二乘函数D:

D = Σ i = 1 n Σ j = 1 m ( F ( I i j ) - ln E i - lnΔt j ) - - - ( 1 ) ]]>

光照强度计算单元1022,用于根据所述最小二乘函数D的极小值,计算得到每个图像中每个像素点对应的光照强度;

其中,i和j表示正整数,Iij表示第j个图像中第i个像素点,Ei表示第i个像素点的光照强度,Δtj表示第j个图像的曝光时间,F(Iij)表示第j个图像中第i个像素点的亮度值,F(Iij)的取值范围为[0,255]的整数,m表示所有图像的数量,n表示一个图像中的像素点总数;所述像素点的亮度值、光照强度和曝光时间的关系为F(Iij)=lnEi+lnΔtj。

利用亮度的离散特性,将问题的求解转换为最小二乘问题,并通过计算机计算,便于得到一组最优的光照强度解。

具体地,所述区间划分和映射模块104包括:

第一区间划分单元1041,用于根据公式(2),计算得到Vk,所述Vk将平均光照强度的取值区间分为2个子区间;

G ( V k ) min = ( V k - 0.5 ( L m a x + L m i n ) ) 2 L 2 + α ( Σ x = 0 V k h ( x ) - 0.5 N ) 2 N 2 - - - ( 2 ) ]]>

其中,Lmax为当前区间内光照强度的最大值,Lmin为当前区间内光照强度的最小值,L和Vk为当前区间内的值,k为正整数,Vk为使得G(Vk)值最小时的光照强度,h(x)为当前区间的像素点数的直方图函数,N为当前区间内的像素点数量,α为能影响映射变换效果的条件参数,取值为[0,∞];

第二区间划分单元1042,用于根据公式(2),将每个子区间进一步划分,直到分为256个子区间。

将光照强度映射至256色的RBG值,使得映射后的图像不受具体的光照强度影响,而与光照强度的分布有关,对于同一个场景的光照强度分布是一样的,因此本发明处理后的图像消除了光照的影响。

进一步地,还包括:

二值转换模块105,用于根据预设阈值,将所述处理后的图像转换为二值图。

本实施例通过对图像序列中不同亮度图像的光照强度计算和映射,使冠层半球图像的亮度和颜色分布均一,采用固定的分割阈值即可获得理想的二值化结果,增加半球图像二值化的精度和自动化程度,极大程度拓展了半球图像法计算作物冠层结构参数的适用范围。

更进一步地,所述图像获取模块用于获取6个光照相同、曝光时间分别为1/800、1/400、1/200、1/125、1/30和1秒的图像。

采用6个图像,且其曝光时间设定为1/800、1/400、1/200、1/125、1/30和1秒,使得即可获取效果好的二值化图像,又不会造成因处理过多图像而需耗费大量时间和资源。

本发明的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1