自动化植物多视角成像系统和植物生物量提取方法

本发明涉及植物地上生物量无损估测，更具体地说，涉及一种自动化植物多视角成像系统，以及融合多特征表型数据的植物生物量无损提取方法。

背景技术：

1、生物量是植物在生长发育过程中光合作用的产物，与植物产量密切关联，基于该表型特征能够有效反映植物长势、水肥营养情况以及生态系统结构与生态功能的优劣，也是表征植物生态系统碳储量的重要指标。生物量实际是指在一定时间内单位空间中植物所产有机质的累积量(干重)，常被视为产量测定和水肥利用效率的主要因素，包括地上部分和地下部分，目前，生物量研究主要集中在地上生物量。地上生物量指植物组织地面以上部分的质量，由植物进行光合作用的干物质积累形成，是表型特征中非常重要的产量功能性状之一，也是反映植物长势、计算净初级生产量和生长速率的基础，并以此来量化植物对环境条件及水肥管理措施的反应，评价农作区生态状况。植物生物量获取的传统方法多以人工干燥法实测植物地上部分的干重为主，即将植物采摘剪割取样完成后，不经任何处理直接把各器官(如叶片、茎、花和果实等)分开测定鲜重，放置于烘箱中干燥至恒重，再称取干重。这种传统方法不仅破坏性强，而且工作周期长、人力物力耗费大、测量效率低。在面对大规模片区的植物生物量获取时，难以克服由于工作周期长导致实测数据时效性差的难题，影响最终测定与评估植物长势信息模型的精度，无法为植物培育提供高效的决策支持。

2、随着机器学习、成像传感器的不断发展，基于图像信息提取植物表型正逐渐成为农林资源信息调查的主要手段，如利用光谱相机、激光雷达获取植物多波段光谱信息、三维点云数据，可用作建立植物表型估测的模型变量。然而，在面对植物本身具有的多样性和复杂性时，植物在不同地区、不同气候、不同环境下表现出不同的表型特征，光谱相机在针对不同植物提取反射率时，常出现同物异谱和异物同谱的现象。同样，激光雷达设备的成像质量容易受到光照环境和自然风的影响，导致最终生成的点云质量较低。因此，光谱相机和激光雷达设备在面对大范围的植物表型获取时受到了限制，不具有较好的推广性。

3、可见光相机是一种成本低、普适性强、操作简单的成像传感器，在多种场景和多种尺度下的表型信息获取中都得到了广泛的应用。该成像传感器在实际应用中的问题为，在长时间自然环境采集条件下，随时间推移导致的光照环境差异会使得植物表面的光线入射角度和光的强度发生变化，传感器记录的植物颜色信息会因此发生改变，从而导致利用植物图像信息评估生物量信息时，模型精度受到一定程度影响。

4、利用暗箱提供稳定可靠的光源，可以很大程度上避免这个问题。在暗箱中采集图像时，成像的空间位置固定，光照强度、植物所处温度及光线投射到植物叶片的入射、反射角度皆能因为稳定的控制而保持统一，最大程度确保植物本身的信息的真实性和完整性来提升图像采集的质量。

5、另外，植物的生长是一个复杂冗余的动态变化过程，仅从单一角度对植物进行拍摄会存在枝叶遮挡、交叉褶皱及重叠的问题，不能全面、完整地获得处于复杂冠层结构中的植物外观形态信息，导致植物形态学表型参数(如投影面积、叶片数量)估算精度低、误差大等问题。以多个视角对植物采集二维图像，并计算其颜色和形态结构信息的平均值，降低植物由于枝条叶片相互重叠遮挡而给图像参数测量带来的误差。同时，结合优化算法对回归模型中的参数进行寻优，以确定模型的最佳核心参数，缩小训练集与测试集之间的精度差距，有助于提升植物生物量估算精度和模型的泛化能力。

6、综上所述，为了改变传统生物量测定方法(采摘-干燥-天平称重)的破坏性方式，克服现有植物表型采集技术因成像光照差异、流体空间异质性而不能提供稳定成像环境，导致无法满足处于不同生长时空下植物表型采集需求，需要提供一种新的图像采集结构和无损式的生物量提取方法。

技术实现思路

1、本发明所要解决的技术问题是针对上述现有技术的不足提供一种自动化植物多视角成像系统和植物生物量提取方法，本自动化植物多视角成像系统和植物生物量提取方法可以实现暗箱自动开闭，从而形成封闭、光照稳定统一的成像环境，实现低成本、高通量的植物图像采集，提高数据获取效率与精度；同时，利用图像处理得到的形态、颜色、纹理信息，结合机器学习方法反演地上生物量，实现单株植物生物量的无损分析。

2、为实现上述技术目的，本发明采取的技术方案为：

3、一种自动化植物多视角成像系统，包括：传送带系统、自动化暗箱封闭模块、暗箱和多视角成像机构；

4、所述暗箱设置在传送带系统的框架上；

5、所述暗箱的前侧面开设有入口，暗箱的后侧面开设有出口；

6、所述自动化暗箱封闭模块包括前封闭门、后封闭门、入口处l型载门架和出口处u型载门架；所述前封闭门的底部与入口处l型载门架的一边连接，后封闭门的底部与出口处u型载门架的一边连接，所述入口处l型载门架和出口处u型载门架传动连接；

7、所述入口处l型载门架和出口处u型载门架分别转动设置在传送带系统的框架上，所述前封闭门位于暗箱的入口位置且前封闭门用于打开和闭合暗箱的入口，所述后封闭门位于暗箱的出口位置且后封闭门用于打开和闭合暗箱的出口；

8、所述暗箱内侧顶部连接有用于多视角采集植物图像的多视角成像机构。

9、作为本发明进一步改进的技术方案，还包括承重架，所述传送带系统设置在承重架上。

10、作为本发明进一步改进的技术方案，所述暗箱包括暗箱框架和包裹在暗箱框架外的黑色遮光幕布；所述前封闭门和后封闭门均采用遮光门板。

11、作为本发明进一步改进的技术方案，所述入口处l型载门架和出口处u型载门架通过皮带齿轮结构传动连接；

12、所述皮带齿轮结构包括传动支架、皮带、带轮一、带轮二、带轮轴一、带轮轴二、齿轮一、齿轮二和齿轮轴，传动支架固定连接在传送带系统的框架上，传动支架上转动连接有带轮轴一、带轮轴二和齿轮轴，带轮轴一连接有带轮一，带轮轴一与入口处l型载门架的拐角位置连接，带轮轴二连接有带轮二和齿轮一，带轮一与带轮二通过皮带连接，齿轮一与齿轮二啮合，齿轮轴与齿轮二连接，齿轮轴与出口处u型载门架的拐角位置连接。

13、作为本发明进一步改进的技术方案，所述多视角成像机构包括中心轴、外轴套、伺服电机、主动锥齿轮、从动锥齿轮、电动推杆、伸缩杆、成像传感器一和成像传感器二；所述中心轴顶部与暗箱顶部连接，所述中心轴底部通过快拆板与成像传感器一连接，所述中心轴的外部套有外轴套且外轴套能相对于中心轴转动，外轴套顶部与暗箱顶部转动连接，外轴套与从动锥齿轮连接，伺服电机通过电机安装板与暗箱连接，伺服电机的输出端与主动锥齿轮连接，主动锥齿轮与从动锥齿轮啮合，从动锥齿轮与横杆连接，横杆上连接有电动推杆，电动推杆的输出端垂直连接有伸缩杆，伸缩杆的另一端连接有成像传感器二。

14、作为本发明进一步改进的技术方案，所述暗箱的内部连接有多个光源，所述成像传感器一和成像传感器二均采用可见光相机。

15、作为本发明进一步改进的技术方案，所述传送带系统内的驱动电机、多视角成像机构中的电动推杆、伺服电机、成像传感器一和成像传感器二以及光源分别连接有电源。

16、为实现上述技术目的，本发明采取的另一个技术方案为：

17、一种自动化植物多视角成像系统的植物生物量提取方法，包括：

18、步骤1、将装载被测植物的托盘放置在传送带系统上，此时自动化暗箱封闭模块的前封闭门和后封闭门处于打开状态；

19、步骤2、根据被测植物的冠幅和株高，分别调节成像传感器一的安装高度，通过电动推杆调节成像传感器二的横向安装距离，通过伸缩杆调节成像传感器二的安装高度；

20、步骤3、打开传送带系统、光源、成像传感器一和成像传感器二的启动开关，被测植物通过传送带系统被匀速输送至暗箱的入口处；

21、步骤4、托盘碰到入口处l型载门架的一端，入口处l型载门架转动，带动前封闭门关闭暗箱入口，前封闭门通过皮带带动后封闭门关闭暗箱出口；

22、步骤5、被测植物被输送至暗箱内侧中部时，传送带系统停止输送，伺服电机转动，通过主动锥齿轮带动从动锥齿轮转动，从动锥齿轮依次通过外轴套、横杆带动成像传感器二转动，成像传感器二围绕被测植物旋转并在旋转时多角度采集被测植物侧视图像；同时，成像传感器一采集被测植物俯视图像；

23、步骤6、成像传感器一和成像传感器二采集结束后，传送带系统继续输送，将被测植物输送到暗箱出口处，被测植物的托盘碰到出口处u型载门架，出口处u型载门架转动，带动后封闭门打开暗箱出口，后封闭门通过皮带带动前封闭门打开暗箱入口，被测植物被输送到暗箱外侧，图像采集完毕；

24、步骤7、成像传感器一和成像传感器二分别将所采集的所有图像发送至图像处理模块，图像处理模块进行图像处理，获取植物的生物量。

25、作为本发明进一步改进的技术方案，所述的步骤7中，图像处理模块进行图像处理，获取植物的生物量的具体步骤包括：

26、步骤7.1、统一图像窗口大小，利用自定义函数从每一幅可见光图像中框选出植物的所在部分；

27、步骤7.2、对步骤7.1处理后的图像进行通道拆分、灰度化、阈值分割、开运算进而实现植物所有图像的背景分割与二值化；

28、步骤7.3、利用步骤7.2中得到的二值化图像同步骤7.1中框选出的图像进行掩膜处理，获取仅包含植物区域的图像，并计算该植物区域内像素点的总个数；

29、步骤7.4、对步骤7.3中掩膜后的图像再一次通道拆分，获取植物图像在rgb单波段的平均像素值，其中rgb单波段的平均像素值为各通道下rgb单波段像素总值除以步骤7.3中获取的像素点的总个数，rgb单波段的平均像素值记为r′、g′、b′；

30、步骤7.5、对植物的多张图像进行逐一求取投影面积参照值以及rgb单波段的平均像素值r′、g′、b′，并求取单株植物多张不同角度的侧视图像的投影面积参照值的平均值sv-average-project以及单株植物多张不同角度的侧视图像的r′的平均值r-average、g′的平均值g-average、b′的平均值b-average，最终得到单株植物俯视图像的投影面积参照值tv-project、单株植物多张不同角度的侧视图像的投影面积平均参照值sv-average-project以及单株植物多张不同角度的侧视图像的r-average、g-average、b-average；

31、步骤7.6、将步骤7.5获取的r-average、g-average、b-average进行不同函数变量的组合，构建多种颜色植被指数；

32、步骤7.7、利用灰度共生矩阵计算俯视掩膜图像的多个纹理特征；利用灰度共生矩阵计算每张侧视掩膜图像的多个纹理特征并计算每个纹理特征的平均值；

33、步骤7.8、对上述获取的单株植物俯视图像的投影面积参照值tv-project、单株植物多张不同角度的侧视图像的投影面积平均参照值sv-average-project、多种颜色植被指数、俯视掩膜图像的多个纹理特征、侧视掩膜图像的每个纹理特征平均值进行归一化并将归一化后的数据作为自变量，对应植物的生物量实测值作为因变量，将多株植物对应的自变量和因变量输入至随机森林(random forest，简称rf)回归模型中进行训练；

34、步骤7.9、对步骤7.8中的rf回归模型进行参数优化，得到优化后的优化模型；采用决定系数r2、均方根误差rmse和平均绝对误差mae评估优化模型的性能。

35、本发明的目的在于改变传统生物量测定方法(采摘-干燥-天平称重)的破坏性方式，克服现有植物表型采集技术因成像光照差异、流体空间异质性而不能提供稳定成像环境，导致无法满足处于不同生长时空下植物表型采集需求，提供了一种光源可控、自动作业的图像采集结构和无损式的生物量提取方法。另外，常规表型测定模型的建立往往仅使用单一尺度的自变量信息，如利用图像颜色感知植物像素波谱建立理化参数估测模型，或通过图像形态解释植物生长规律。虽可快速完成大尺度的植物表型分析，但往往精度、通量等受到较大限制。针对于此，本文利用自动化植物多视角图像采集系统采集植物多视角可见光图像，基于机器学习算法提出了一种融合多特征图像数据的植物地上生物量测定优化模型建立方法。其中，图像采集暗箱机构装配传送带系统运送植物至暗箱内，暗箱口处设有自动化暗箱封闭模块，在植物进入暗箱时实现成像环境封闭，减少搬运植物进出暗箱与控制光照环境的人力成本投入。可见光信息采集装置的调节机构可实现多个视角的植物原位成像，能够适用于不同生长时期的植物表型信息采集以及单株植物的全方位形态结构信息获取，实现无损高效、快捷简单、精确全面的植物地上生物量测定。

36、采用本发明提供的自动化植物多视角成像系统进行植物多视图采集，结合后续图像处理技术与机器学习建模方法的技术方案测定单株植物地上生物量，与现有植物生物量表型获取技术相比，具有如下有益效果：

37、(1)本发明针对植物生物量传统测量方法耗时长、效率低、破坏性强的缺陷，提出了一种无损式测定植物生物量的方法，在不破坏植物本身结构的前提下，利用自动化暗箱获取植物的多视角图像形态、颜色、纹理信息，结合机器学习算法与模型优化实现植物生物量的高精度测定，可为植物工厂、温室育苗等大规模农林资源管理带来积极影响。

38、(2)本发明在植物随传送带运送进出暗箱时，可以实现进口处和出口处门的同时打开和闭合，实现了全自动化的光照环境封闭，以较低的成本投入有效避免了外界光照不均的影响。较于常规暗箱成像机构需要手动进行光照封锁的缺陷，本发明在整个成像过程中无需繁琐的控制程序或人力投入，即可完成植物的全自动化多视角成像。

39、本发明的多视角成像调节机构，包括了用于侧视成像和俯视成像的两部可见光相机和用于调整相机位置的调节机构。由样本植物初步估计成像高度和距离，以及侧视可见光相机的成像间隔角度，能够适应不同生长时期植物的表型信息采集，较于单一视角采集植物的表型信息，多视角图像更能够详细准确表征植物不同角度的结构信息和颜色信息，减弱植物由于叶片重叠遮挡、枝条团簇交叉造成的表型信息测量误差。