使用图像处理的存量、生长和风险预测的制作方法

本申请的各实施例涉及使用图像处理的存量、生长和风险预测。

背景技术：

可以包括无人航空飞行器(UAV)、无人机、无人陆地交通工具、甚至协同机器人等的无人交通工具(UV)通常在无人乘坐的情况下被操作。载人交通工具(比如飞行器、直升机、载人陆地交通工具等)通常在有人乘坐的情况下被操作。具有成像系统(比如视频相机、红外线(IR)传感器等)的包括无人或者载人交通工具的交通工具可以用来捕获兴趣区域的图像。可以关于在兴趣区域中布置的对象分析图像。

附图说明

通过在以下图中示出的示例举例说明本公开内容的特征。在以下图中，相似标号指示相似单元，其中：

图1图示了根据本公开内容的示例的使用图像处理的存量、生长和风险预测系统的详细架构；

图2A图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测系统的模型生成的详细流程图；

图2B图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测系统的模型部署的详细流程图；

图3图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测系统的直方图略图；

图4图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测系统的中间输出；

图5图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测系统的树木计数和密度输出；

图6图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测系统的一个分区的计算机视觉处理；

图7图示了根据本公开内容的示例的对用于图1的使用图像处理的存量、生长和风险预测系统的可动作提醒的分区处理；

图8图示了根据本公开内容的示例的用于图1的使用图像处理的存量、生长和风险预测系统的风险预测仿真；

图9图示了根据本公开内容的示例的用于使用图像处理的存量、生长和风险预测的方法；

图10图示了根据本公开内容的示例的用于使用图像处理的存量、生长和风险预测的方法；以及

图11图示了根据本公开内容的示例的计算机系统。

具体实施方式

为了简化和例示目的，本公开内容主要通过参照它的示例而被描述。在以下描述中，阐述了许多具体细节以便提供对本公开内容的透彻理解。然而，将容易地清楚，可以实现本公开内容而不限于这些具体细节。在其它实例中，尚未具体描述一些方法和结构以免不必要地模糊本公开内容。

贯穿本公开内容，术语“一个”旨在于表示特定要素的至少一个。如这里所用，术语“包括”意味着包括但不限于。术语“基于”意味着至少部分基于。

一般地关于交通工具(例如，UAV、无人机、无人陆地交通工具、有人飞行器、有人直升机、有人陆地交通工具、卫星等)，这样的交通工具可以用来执行如这里描述的使用图像处理的存量、生长和风险预测。随着传感器、数据分析能力和编程机械化部件的改进，交通工具可以在各种模糊环境中被使用和用于各种模糊任务的执行。例如，交通工具可以用于包装递送、农业、应急服务、流水线检查等。关于区域(比如种植园、不动产、农业、农场、耕作如农业地质学和农业耕作、旷野、托儿所和可以与木材、纸浆和/或石油生产、农业耕作、农场生产等有关的其它这样的区域)，比如UVA之类的交通工具可以用来飞行任务以捕获覆盖大面积的图像。然而，使用计算机视觉和预测分析就用于这样的区域的存量、生长和风险预测而言对交通工具的集成受限制。

为了解决关于比如种植园、不动产、农业、农场、耕作如农业地质学和农业耕作、旷野、托儿所和可以与木材、纸浆和/或石油生产、农业耕作、农场生产等有的关其它这样的区域的区域的存量、生长和风险预测的前述技术挑战，这里公开了一种使用图像处理的存量、生长和风险预测系统以及用于使用图像处理的存量、生长和风险预测的方法。对于这里公开的系统和方法，技术，比如交通工具、信号处理、计算机视觉、机器学习、保险精算损失模型和高级分析可以用来在图像例如由UAV捕获时摄取它们并且进一步分析图像以一般地标识前述区域的关键特性和用于例如与树木、农作物、灌木、植物、耕作农产品和其它这样的对象的生长和损坏的空间时间趋势。就这一点而言，虽然可以在树木、森林、种植园等中描述这里公开的示例，但是这里公开的系统和方法可以一般地适用于前述区域和对象类型中的任何区域和对象类型。空间时间趋势可以与仿真技术组合以预测可能影响产量的损失风险。这里公开的系统和方法可以提供对树木存量(例如，树木数目)、它们的生长的更快估计、标识具有低生长的区域、发送用于无树木或者低树木密度的区域的提醒并且标识潜在害虫问题以用于更快干预。

假定树木的形态随着不同年龄而改变，这里公开的系统和方法可以学习和构建用于不同年龄组的模型(例如，用于恰在种植园之后的幼树、正在生长而未成熟的树木以及不再生长而接近收获的树木的模型)。

根据示例，这里公开的系统和方法可以使用包括信号处理(例如，傅里叶和小波变换)、计算机视觉建模(例如，边缘检测、模版匹配、纹理分析和颜色分割)和机器学习(例如，随机森林、神经网络等)的技术组合以提供高度地准确的用于森林地和种植园的存量、生长和风险预测。对于这里公开的系统和方法，生成的和用于图像分析的模型可以是树木的每个树木物种和年龄特有的。这些模型然后可以应用于跨其它相似种植园的相同树木物种。这里公开的系统和方法可以标识给定的分区(例如，包括相同树木物种和年龄组的种植园的更小区域)中的给定物种的树木数目、每个树木的树冠大小和树木的空间密度。树冠大小可以通过标识每个树木的边缘并且应用技术(比如凸壳(convex hull)以捕获最代表树冠大小的闭合多边形)而被确定。凸壳的面积可以确定树冠大小。颜色分割、纹理分析、基于饱和度的模型等可以提供对于区分树木与边界(例如，杂草、地面、道路等)而言相关的不同特征集合。然后可以在机器学习模型中组合这些特征以标识树木的位置。颜色分割和机器学习也可以用来标识叶绿素水平改变，这些叶绿素水平改变指示对于害虫问题的可能树木损伤。及早标识这些问题可能导致更快干预和更低损失。

根据示例，这里公开的系统和方法可以集成可以由现场检查者人工地执行的小样本详细检查(例如，分区的1％)，这包括用使用交通工具(比如UAV)对区域的100％普查的对树木的更详细的分析。这可以基于利用贝叶斯方式和采样理论以保证100％样本UAV图像数据与小样本检查数据适当地组合以提高估计的准确性而又提供及时认识。

根据示例，这里公开的系统和方法可以处理图像以标识特征比如每个树木的位置和每个树木的生长之类的特征，并且然后组合特征与有限基础采样以增加存量预计的预测概率。

根据示例，这里公开的系统和方法可以通过组合信号处理、图像处理和机器学习来使用通过交通工具(比如UAV)采集的图像流以标识图像中的各个树木、树木的树冠大小和树木的空间密度。

根据示例，这里公开的系统和方法可以通过学习树木林冠的颜色和树木的形状(即，形态)跨不同物种和对于相同物种在树木生长时随时间的改变来确定用于每个树木物种和年龄组的定制的模型。

根据示例，这里公开的系统和方法可以利用半监督和学习方式(比如贝叶斯学习方式)以组合从交通工具数据(例如，在不同时间段内拍摄的多个图像)的推断与相对小的样本、但是详细的基础检查数据作为标示的样本以增加存量的准确性和生长预报的准确性二者。

根据示例，这里公开的系统和方法可以随着树木成熟而预测长期(例如，6年)预计将来产量和由于各种因素(比如风力损坏、害虫、疾病等)的损失风险。

根据示例，这里公开的系统和方法可以生成产量和生长预报模型，这些模型利用来自UAV图像数据的树冠测量以预测分区中的树木的生长。就此而言，贝叶斯预报技术可以用来并入通过在树木的生命期内通过连续UAV飞行对于相同分区和/或位置而获得的增量信息。

根据示例，这里公开的系统和方法可以通过使用仿真函数来生成损失模型，这些仿真函数并入关于树木生长、由于不同因素(比如风力(例如，图像中的倒下的树木)、害虫和疾病)所致的树木损失的最新信息以提供随时间(例如，3年、4年等)对预计产量和损失的准确估计。

根据示例，这里公开的系统和方法可以包括优化能力，这些优化能力利用用于整个分区的仿真产量以基于由于生长所致的预计产量增量、损失以及对于木材和/或纸浆的需求的组合来标识最优收获时间表。这里公开的系统和方法也可以利用外部数据(比如天气历史)以仿真对损失(比如倒下的树木等)的影响。

基于使用交通工具(比如UAV)，可以按照时间和成本高效方式以及在人可能不容易访问的区域中执行由这里公开的系统和方法提供的用于森林地和种植园的存量、生长和风险预测。

根据示例，这里公开的系统和方法可以利用任务控制器以在接收工作命令时指派和管理任务。任务控制器可以维护一队交通工具、传感器和工作队的知识以及关于工作命令状态和任务状态的信息。任务控制器可以通过向任务请求指派交通工具、传感器和工作队、标识交通工具的移动计划以及用于任务的目标来将工作命令翻译成任务请求。一旦任务被起动，这里公开的系统和方法就可以分析在任务期间接收的通信数据(例如，遥测数据)，并且可以基于检测到风险来生成警报和/或其它信息。任务控制器也可以用来例如如果UAV任务图像指示潜在害虫问题和/或空白部位则基于从先前任务标识的提醒来计划任务。可以自动地(例如，无人为干预)计划附加任务以随时间拜访相同地区以确认问题是否正在发展或者基于采取的纠正动作(例如，杀虫剂喷洒等)正在稳定。

关于任务控制器，该任务控制器跟踪关于交通工具、传感器和交通工具操作工作队的信息，可以例如按类型、可用性和用于装配特定传感器的能力来跟踪交通工具。任务控制器也可以按类型、可用性和用于装配在特定交通工具上的能力来跟踪传感器。也可以按可用性和用于操作特定交通工具的能力来跟踪交通工具操作工作队。

任务控制器可以接收与交通工具任务有关的工作命令。根据示例，工作命令可以从各种企业被接收并且覆盖各种交通工具应用。任务控制器可以将工作命令翻译成任务请求。任务请求可以例如标识用于交通工具的操作、用于完成操作的交通工具的类型、用于在交通工具上装配的至少一个传感器类型、交通工具操作工作队、移动计划和/或用于任务的目标。例如，任务请求可以指示固定翼交通工具或者四翼直升机(即，交通工具的类型)可以配备有用于拍摄种植园的图像的相片相机。在起动任务之后，交通工具可以自治地(例如，对于无人交通工具)或者哭提拔个来自任务控制器的可变程度的远程操作者指导来遵从移动计划。装配到交通工具上的传感器可以向任务控制器实时传输数据，该任务控制器可以向这里公开的系统传输相关数据以用于进一步分析。对相关数据的传输可以基于带宽可用性在交通工具着陆之后(例如，对于航空交通工具)、在任务完成之后或者实时出现。

可以在广泛应用中设想这里公开的系统和方法，其中基于自动或者自动化资产的数据分析可以用来减少成本、增加可靠性和增加生产率。

这里公开的系统和方法可以考虑与交通工具技术的状态、规章和遵循、就绪以及安全和私密有关的方面。关于交通工具技术，这里公开的系统和方法可以提供用于使用图像处理的存量、生长和风险预测的硬件和软件平台和设立。

使用这里公开的用于使用图像处理的库存、增长和风险预测的系统和方法的使用图像处理的库存、增长和风险预测提供一种对例如与用于森林地和种植园的使用图像处理的库存、增长和风险预测有关的技术问题的技术解决方案。这里公开的系统和方法提供图像预处理器的技术解决方案，该技术解决方案由至少一个硬件处理器执行以在交通工具(例如，UAV)沿着交通工具路径移动期间接收由交通工具捕获的多个图像，其中多个图像包括多个对象(例如，树木、农作物等)，并且对多个图像进行预处理以用于从多个图像的特征提取。由至少一个硬件处理器执行的特征提取器可以通过使用计算机视觉技术的组合来从预处理的多个图像提取多个对象的多个特征(例如，树木中心、树木边缘、树冠等)。由至少一个硬件处理器执行的对象级参数生成器可以从提取的多个特征确定与多个对象有关的至少一个参数(例如，树冠大小、树木位置等)。由至少一个硬件处理器执行的分区级输出生成器可以基于确定的至少一个参数和提取的多个特征生成空间密度模型以提供与多个图像中的至少一个图像的一部分(例如，特定区域)有关的多个对象的分布密度的可视指示，和/或和与多个图像中的该至少一个图像的该一部分有关的多个对象对应的提醒。根据示例，与多个对象有关的至少一个参数可以包括与多个对象有关的至少一个位置，并且由至少一个硬件处理器执行的模型校正器可以用来利用与先前图像有关的信息以增加与多个对象有关的至少一个位置的准确性。

使用图像处理的存量、生长和风险预测系统100

图1图示了根据本公开内容的示例的使用图像处理的库存、增长和风险预测系统100的详细架构。系统100可以包括图像加载器102，该图像加载器102由至少一个硬件处理器(例如，图10的至少一个硬件处理器1102)执行以接收在交通工具106沿着交通工具路径移动期间捕获的图像104和待监视的与交通工具106沿着交通工具路径的移动有关的遥测数据。可以从交通工具106直接地和/或从包括先前接收的图像104的图像贮存库108接收图像。遥测数据可以例如包括与交通工具106沿着交通工具路径的移动有关的移动日志信息(例如，用于航空交通工具的飞行日志信息和一般地用于基于地面或者其它类型的交通工具的移动日志信息)和与交通工具路径有关的地理参考数据。可以从任务控制器110和/或在地理参考数据的情况下从设立用户接口(未示出)接收遥测数据。任务控制器110可以是系统100的部件或者如图1中所示被分离地布置和/或操作。

交通工具106可以包括一般地被标示为控制器112的各种控制，比如自动领航控制(例如，如果领航106是航空天线)、远程接收器控制等，以及一般地被标示为交通工具传感器114的各种传感器，比如飞行传感器、温度传感器等和各种成像系统，比如相片或者视频相机、IR传感器等。

由至少一个硬件处理器执行的图像预处理器116可以分析图像104以执行各种操作，比如色空间变换、本地自适应直方图均衡、图像去噪(即，平滑和滤波)、阈值化和形态变换。

由至少一个硬件处理器执行的特征提取器118可以利用计算机视觉技术和机器学习以从图像104中的对象(例如，树木)提取相关特征(例如，树木中心、树木边缘、树冠等)以用于生成树木的每个树木物种和年龄特有的模型120(即每树木年龄每树木物种一个模型)。可以使用的计算机视觉技术的示例包括Canny边缘检测、基于信号处理的特征提取、模版匹配和颜色分割、直方图反向投射、分水岭、纹理分析等。提取的特征可以被存储在SQL数据库中。

由至少一个硬件处理器执行的对象级参数生成器122可以通过标识每个树木的林冠边缘并且使用凸壳以捕获最代表树冠大小的闭合多边形来标识对象(例如，树木)的各种方面，比如树冠大小。对象级参数生成器122可以进一步标识所标识的树木中的每个树木的GPS位置。

由至少一个硬件处理器执行的模型相关器124可以利用以往图像信息(例如，来自存量跟踪系统126)以提高树木位置的准确性。模型校正器124可以例如在不良图像质量、变化地形和难以分离成熟树木的情况下提高图像分析的准确性。

由至少一个硬件处理器执行的分区级输出生成器128可以生成在模型120中包括的空间密度模型，其中这样的空间密度模型可以是树木的每个树木物种和年龄特有的。空间密度模型可以标识具有低树木密度和低树木生长的区域(例如，基于树冠大小)。空间密度模型可以被存储在SQL数据库中。另外，来自空间密度的树木生长(例如，在不同年龄的历史数据140)可以与用于生成风险预测模型的外部数据138(例如，降雨、风力、地下水位、害虫和疾病)组合。风险预测模型可以目标在于对外部数据138和历史数据140对产量和树木体积的影响进行仿真。

由至少一个硬件处理器执行的模型验证器130可以基于真实(on-ground)存量样本(例如，持久采样点)数据来对模型120进行验证，该真实存量样本数据可以在森林地中用来估计存量和木材体积。

由至少一个硬件处理器执行的分析输出生成器132可以生成与图像104有关的各种可视显示134和/或提醒和关键性能指示符(KPI)136。可视显示器134可以包括与树木计数、密度、树冠有关的各种显示、与特定分区有关的地图等。提醒和KPI 136可以包括与在各种显示中呈现的信息有关的参数。例如，提醒和KPI 136可以包括与树木的高度分布、低密度区域、高密度区域、区域中的空白部位等的有关的参数。可以造成提醒的附加过程例如包括低密度提醒、与基于仿真模型142的倒下树木风险对应的提醒(该仿真模型取得从图像估计的当前进货以及土壤类型、地下水位传感器、天气数据等以预测哪些区域处于高的倒下树木风险)、害虫问题等。

这里描述的系统100的单元可以是在非瞬态计算机可读介质上存储的机器可读指令。附加地或者备选地，系统100的单元可以是硬件或者机器可读指令和硬件的组合。

图2A图示了根据本公开内容的示例的用于系统100的模型生成的详细流程图。

训练数据集合

参照图2A的块200，系统100可以使用图像贮存库108以生成训练数据集合，该训练数据集合代表用于树木的每个物种和年龄组的代表样本。对于UAV，图像贮存库108可以被标示为UAV图像贮存库。图像贮存库108可以包括多个图像104，这些图像对于UAV可以被标示为UAV图像。可以从真实红-绿-蓝(RGB)彩色图像、NIR(近红外线)图像从图像贮存库108或者从具有更多通道和层的多谱相机生成训练数据集合。就这一点而言，图像贮存器108可以用来生成训练数据集合，该训练数据集合包括跨种植园(例如，用于每个树木物种和年龄组)的多个兴趣区域(例如，代表种植园的更小区域的分区，这些分区包括相同树木物种和年龄组)，这些兴趣区域包括不同程度的图像非自然成分(例如，噪声)。图像非自然成分的示例可以包括杂草、大型灌木丛、道路、保护区域、边界、图像拼接问题、阴影、云、照明条件、海拔分布图、建筑物等。训练数据集可以例如由如这里公开的特征提取器118用来从具有不同噪声程度的复杂种植园图像学习和划定树冠。

图像预处理(信号处理)

参照图2A的块202，关于色空间变换，图像预处理器116可以分析图像104以去除阴影和醒目显示细节以及色饱和度，并且确定将折衷多少阴影和醒目显示细节以及色饱和度。根据示例，关于色空间变换，图像预处理器116可以利用色调、饱和度和值(HSV)以及灰度以标识在色调、饱和度和强度通道之间的差值以用于划定兴趣对象(例如，树冠)。图像预处理器116可以将每个RGB像素转换成它的对应HSV值以用于醒目显示图像细节。

参照图2A的块202，关于局部自适应直方图均衡，图像预处理器116可以应用本地自适应直方图均衡以提高图像104的局部对比度。图像像素值(例如，用于UAV图像的UAV图像像素值)可以被局限于如在图3中的300处所示的具体值范围，并且因此可能需要将如在图3中的302处所示的直方图伸展至任一端以覆盖来自图像的所有区域的像素值。图像预处理器116可以将每个图像划分成瓦片(例如，8x8个瓦片)，并且应用对比度限制。

参照图2A的块204，关于用于图像104的图像去噪(即，平滑和滤波)，图像预处理器116可以利用各种低通和高通信号滤波器对图像104进行滤波。低通滤波器可以提供噪声的去除或者图像的模糊。高通滤波器可以有助于图像中的边缘的标识。例如，为了去除形式为白和黑斑的噪声，可以在每个像素上对中值内核窗口(例如，5x5)进行卷积，并且可以用窗口的中值替换中央像素。相似地，图像预处理器116可以应用高斯滤波内核以用于去除大量噪声和对图像进行平滑。

参照图2A的块206，关于用于图像104的阈值化和形态变换，图像预处理器116可以对每个图像进行阈值化以隔开相似像素值。阈值化可以通过将在预定阈值以下的所有像素转变成零并且将在另一预定阈值以上的所有像素转变成一来从灰度图像创建二进制图像，这可以主要地用于图像分割。对于具有两个直方图峰的双模图像，图像预处理器116可以从峰的中间取得值作为阈值的值(例如，通过应用Otsu二值化)。

图像预处理器116可以对二进制图像应用形态变换以精化前景对象的边界。例如，形态变换可以被视为可以侵蚀掉前景对象的边界的侵蚀操作。形态变换可以例如用来去除相对小的白噪声、分开两个连接的对象等。

特征提取和机器学习模型

参照图2A的块208，特征提取器118可以生成用于树木的具体树木物种和年龄的定制的模型120(即，每树木物种和数目年龄一个模型)。模型可以用来标识给定的分区中的给定的物种的树木数目、每个树木的树冠大小和树木的空间密度。特征提取器118可以利用计算机视觉技术以从与对给定的分区中的给定的物种的树木数目、每个树木的树冠大小和树木的空间密度的标识有关的数据提取相关特征。可以使用的计算机视觉技术的示例包括Canny边缘检测、基于信号处理的特征提取、模版匹配和颜色分割、直方图反向投射、分水岭、纹理分析等。这些计算机视觉技术中的每个计算机视觉技术可以包括具体优点并且标识图像的不同特征。提取的特征的示例包括树木中心、树木边缘、树冠等。例如，Canny边缘检测技术可以提供对在不同照明条件之下的边缘的标识，并且因此更耐受由更高树木引起的阴影化对更矮数目的影响。基于纹理分析的方式可以提供对跨年轻和更老树叶的纹理改变的检测，并且检测树木的中心(例如，具有更年轻树叶和在包括更老树叶的树木之间的边界)。就这一点而言，特征提取器118可以使用机器学习技术，该机器学习技术将所有这些计算机视觉技术组合在一起，并且从训练数据集合学习以标识最好地分离个别树木并且标识每个树木的树冠的函数。就这一点而言，机器学习技术可以将这些计算机视觉技术中的一些或者所有计算机视觉技术组合在一起以确定最好地分离个别树木并且标识每个树木的树冠的组合。

特征提取器118可以使用半监督方式以减少被分析的数据量。例如，关于林业和种植园，每个图像可以覆盖数百英亩，并且大于100,000个树木。因此，对每个树木的位置的标注可能不必要地增加被分析的数据量。通过半监督学习，可以利用其它结构化的信息，比如在种植开始时提供每个树木的可能位置的建议的种植方案。

对于每个树木物种和年龄(例如，3个月、5个月、10个月、15个月等)，特征提取器118可以使用包括相同物种和相似年龄组的区域的训练数据集，并且应用前述计算机视觉技术中的每个计算机视觉技术以从图像104得到特征。

关于Canny边缘检测，特征提取器118可以确定每个像素的边缘梯度和方向以去除可能不构成边缘的任何不想要的像素。就这一点而言，特征提取器118也可以在边缘是长线的假设下去除小像素噪声。特征提取器118可以使用傅里叶变换以确定图像的频率表示，并且标识在边缘点或者噪声处的信号放大。基于以颜色为基础的分割，特征提取器118可以执行颜色量化以减少图像中的颜色数目，并且标识用于树冠的对应的色空间范围。特征提取器118可以使用基于纹理的特征以标识具有不同纹理并且可以用来执行纹理分割的区域。

关于模版匹配，特征提取器118可以使用模版匹配以在输入图像之上滑动模版图像(例如，树冠)，并且比较模版和在模版图像之下的输入图像小块(patch)。可以返回灰度图像，其中每个像素可以表示该像素的邻域与模版的匹配程度。

关于直方图反向投射，特征提取器118可以使用模版图像(例如，树冠)的直方图以确定每个输入图像像素属于模版的概率。基于模版的方式可以特别地适用于如下物种，这些物种包括树冠的良好定义并且不同的形状(棕榈树、成熟桉树等)。

关于分水岭，任何灰度图像可以被视为地形表面，其中高密度可以表示峰(例如，树冠的中心)和丘，而低密度可以表示谷(例如，图像背景)。特征提取器118可以创建屏障以有助于分开重叠树冠和分割结果。

关于机器学习，对于训练数据集合，相对小的子集可以用来人工地标识树木的位置。特征提取器118可以使用半监督学习方式，这些方式可以使用部分地标注的数据以学习哪些特征及其组合在标识树木的位置时最有效。未标注的树木位置可以被视为遗漏数据，该遗漏数据可以被视为生成性模型的应用，这些生成性模型利用半监督学习作为遗漏数据归因任务。

机器学习技术可以利用种植信息以标识树木间距信息，该信息可以用来标识树木可以潜在地存在于的每个点X。监督学习的目的是然后确认树木是否存在于该位置。这是因为树木可以一般地存在于其中已经执行了种植的区域中，并且随着年龄进展，种植园数目死亡但是未被重新种植。机器学习模型的目的是标识p(y|x)，其中给定的点x包括标签y(0：无树木，1：树木存在)。使用贝叶斯规则，可以确定p(y|x)与p(x|y)p(y)成比例。可以推导概率函数p(x|y，θ)，其中θ是在计算机视觉部件中从特征推导的参数向量。生成性模型要求未标注的数据遵循可以基于为每个图像而提供的种植信息获得的个别类分布的混合。种植信息可以提供用于每个树木位置的二维高斯分布(例如，跨纬度和经度)，其中理论种植位置是该分布的中心。

半监督学习方式可以用来组合从计算机视觉技术提取的特征以标识最好地预测树木位置的函数(即，基于计算机视觉技术的组合)。树木位置信息可以与边缘检测结合用来标识每个树木的位置。

树木级参数

参照图2A的块210，对于检测到的每个树木，对象级参数生成器122可以对每个树木进行地理标注并且将像素标识到世界坐标GPS定位。对象级参数生成器122可以通过标识每个树木的林冠边缘并且使用凸壳以捕获最代表树冠大小的闭合多边形来标识树冠大小。凸壳的面积可以确定以像素为单位的树冠大小，这可以通过像素到世界映射来被转换成物理比例。

贝叶斯相关性

参照图2A的块212，模型校正器124可以利用以往图像信息(例如，来自存量跟踪系统126)以提高树木位置的准确性。关于交通工具(比如UAV)，由于可以在不同年龄内在相同区域之上飞过UAV任务，所以可以推导在给定的年龄(例如，36个月)的在图像中的树木数目作为在先信息(即，树木的数目及其在先前图像中标识的位置以及在新图像中提供的更新的信息)的函数。

模型相关器124可以例如在不良图像质量、变化的地形和难以分离成熟树木的情况下提高图像分析的准确性。成熟(即，更老的)树木可以包括重叠林冠，但是在更年轻年龄，这样的树木可以是可分离的。就这一点而言，模型校正器124可以在种植园的更年轻年龄利用先前图像(例如，先前UAV图像)作为在先信息以提高树木位置和计数的准确性。同时，当前图像可以包括附加信息，比如由于疾病、洪水等而损失的树木。因此，用于组合作为在先信息的更旧图像信息与新图像信息的能力可以提供每个树木位置的后验概率。

分区级输出

参照图2A的块214，分区级输出生成器128可以生成在模型120中包括的空间密度模型作为输出，其中这样的空间密度模型可以是树木的每个树木物种和年龄特有的。空间密度模型可以应用于跨其它相似种植园的相同树木物种。模型120可以用来基于每个树木物种的UAV正交图像来检测每个树木物种。

分区级输出生成器128可以使用颜色分割和机器学习以标识叶绿素水平的改变，这些改变指示对于害虫问题的可能树木损伤。就这一点而言，及早标识这样的问题可以造成更快干预和更低损失。

分区级输出生成器128可以生成空间密度地图以用于跨种植园对低密度区域进行可视化。就这一点而言，分区级输出生成器128可以生成用于空白部位标识的可动作提醒，以及基于在树冠直径与树木高度之间的相关性的进货和高度分布警报。

分区级输出生成器128可以利用模型输出以使用与树木的数目、基于树冠大小的估计的树木直径、包括地下水位水平、历史和预报的天气数据(例如，风速、降雨量等)的其它传感器数据有关的数据来估计来自分区的产量(例如，用于成熟树木的存量)以及存量、生长和风险预测(例如，对于更年轻树木为由于风力、害虫风险等而倒下的风险)。风险预测模型可以学习在多个变量与倒下的每个树木的风险之间的关系(例如，增加的树木密度(更高进货)可以造成在某些风力条件之下对倒下更敏感的更稀疏树木)。就这一点而言，仿真模型142可以取得在收获时的以往产量、来自在不同年龄/生长的多个树木的估计的木材体积和作为f(x1,x2,x3..)的函数的倒下树木数目，其中‘x’变量可以代表风力、地下水位、降雨量、害虫和疾病、密度等)。

模型验证和准确性

参照图2A的块216，模型验证器130可以基于真实存量样本(例如持久采样点)数据来验证模型120，该样本存量数据可以在森林地中用来估计存量和木材体积。真实采样可以涉及对树木的密集评估(例如，关于相对小的树木样本(例如，1-3％)位置、高度和树木直径(DBH))。关于UAV，基于UAV的分析可以用对于树木位置和树冠大小的估计来覆盖所有树木。就这一点而言，以机器学习方式(例如，半监督)组合这两种技术(即，真实采样和基于UAV的分析)可以有助于组合来自这两个来源的信息以提高存量预测(例如，在给定的分区中的树木的可商品体积)。

图2B图示了根据本公开内容的示例的用于针对系统100的模型部署的详细流程图。

参照图2B，可以部署如这里参照图1和图2A公开的那样生成的模型120以用于对于新数据流220来分析图像104。对于UAV的示例，新数据流220可以被指明作为UAV新数据流。

在块222处，可以如这里分别参照图像预处理器116和特征提取器118公开的那样执行图像预处理和特征提取。就这一点而言，基于如这里参照图2A的块208公开的在训练阶段期间由特征提取器118利用的机器学习技术，特征提取器118可以利用计算机视觉技术的最优组合以分离个别树木并且标识每个树木的树冠。

在块224处，可以确定树木级参数并且可以如这里分别参照对象级参数生成器122和模型校正器124公开的那样执行模型校正。

在块226处，可以如这里参照分区级输出生成器128公开的那样确定分区级参数和空间密度模型。

在块228处，可以如这里参照分析输出生成器132公开的那样确定模型打分和输出以生成与图像104有关的各种可视显示134和/或提醒以及KPI 136。

图4图示了根据本公开内容的示例的用于系统100的中间输出。

如这里参照图像预处理器116公开的那样，图像预处理器116可以将HSV、局部自适应直方图均衡和去噪(即，平滑和滤波)用于图像104。就这一点而言，对于如图4中所示的UAV图像104，在400处图示了在图像预处理之后的中间输出显示的示例。另外，关于阈值化，在402处图示了在图像预处理之后的中间输出显示的示例。

如这里参照特征提取器118公开的那样，特征提取器118可以生成用于树木的具体树木物种和年龄的定制的模型120(即，每树木物种和树木年龄一个模型)。模型可以用来标识在给定的分区中的给定的物种的树木数目、每个树木的树冠大小和树木的空间密度。特征提取器118可以利用计算机视觉技术以从与对给定的分区中的给定的物种的树木数目、每个树木的树冠大小和树木的空间密度的标识有关的数据提取相关特征。可以使用的计算机视觉技术的示例包括Canny边缘检测、基于信号处理的特征提取、模版匹配和颜色分割、直方图反向投射、分水岭、纹理分析等。例如，对于如图4中所示的UAV图像104，在404处图示了基于对Canny边缘检测的应用的中间输出显示的示例。

另外，如这里参照特征提取器118公开的那样，特征提取器118可以创建屏障以有助于分开重叠树冠和分割结果。就这一点而言，对于如图4中所示的UAV图像104，在406处图示了关于重叠对象(例如，树冠)、在树木之间的距离和分离的对象的中间输出显示的示例。

图5图示了根据本公开内容的示例的用于系统100的树木计数和密度输出。

如这里参照分区级输出生成器128公开的那样，分区级输出生成器128可以生成在模型120中包括的空间密度模型作为输出，其中这样的空间密度模型可以是树木的每个树木物种和年龄特有的。例如，对于如图5中所示UAV图像104，在500和502处图示了关于这样的空间密度模型的中间输出显示的示例。在500和502处图示的中间输出显示以及在504和506处显示的对应的统计可以反映基于由特征提取器118使用的计算机视觉技术的第一和第二组合而生成的空间密度模型。就这一点而言，可见由特征提取器118使用的计算机视觉技术的不同组合可以造成对不同树木数目的指示(例如，对于与在500处的中间输出显示一起被使用的组合为135个树木，并且对于与在502的中间输出显示一起被使用的组合为142个树木)。

图6图示了根据本公开内容的示例的用于系统100的一个分区的计算机视觉处理。

如这里参照对象级参数生成器122公开的那样，对象级参数生成器122可以地理标注每个树木并且标识像素到世界坐标GPS定位。对象级参数生成器122可以通过标识每个树木的林冠边缘并且使用凸壳以捕获最代表树冠大小的闭合多边形来标识树冠大小。例如，如图6中所示，可以在600处显示用于每个树木的纬度/经度定位和树冠面积。

图7图示了根据本公开内容的示例的用于系统100的对可作用提醒的分区处理。

如这里参照分区级输出生成器128公开的那样，分区级输出生成器128可以生成在模型120中包括的空间密度模型作为输出，其中这样的空间密度模型可以是树木的每个树木物种和年龄特有的。例如，对于如图7中所示的UAV图像104，在700和702处分别图示了关于用于树冠大小分析和树木密度分析的空间密度的输出的示例。空间密度模型可以用来基于对以往和当前空间密度模型的比较来提供对树木存量、树木的当前生长和树木的将来生长的预测的指示。例如，树木的存量可以基于每给定面积的树木数目。树木的当前生长可以基于对每给定的面积的树木数目和树木的树冠大小的分析。另外，对树木的将来生长的预测可以基于比较用于以往空间密度模型的树木的数目和树冠大小(和其它因素)与当前空间密度模型。

关于树冠大小分析，空间密度模型可以例如分别在704和706处标识和/或醒目显示高密度和低密度的区域。就这一点而言，分析输出生成器132可以生成与图像104有关的各种可视显示134和/或提醒以及KPI 136。可视显示134可以包括与树木计数、密度、树冠、与特定分区有关的地图等有关的各种显示。提醒和KPI 136可以包括与在各种显示中呈现的信息有关的参数。例如，提醒和KPI 136可以包括与树木的高度分布、低密度区域、高密度区域、区域中的空白部位等有关的参数。

例如，在708处，分析输出生成器132可以生成从树冠大小推断的高度分布警报(例如，KPI 136)(例如，树冠大小X可以对应于树木高度AX，其中A代表常数)。例如，对于超过预定树冠大小阈值的树冠大小，分析输出生成器132可以生成高度分布警报，该高度分布警报指示对应的树木是否包括大于预定高度阈值的高度。

根据另一示例，在710处，分析输出生成器132可以基于分析来生成其它KPI 136，比如空白部位提醒和/或进货警报。例如，对于大于预定空白部位面积阈值(例如，300m²)的任何空白部位，分析输出生成器132可以生成空白部位提醒并且提供如图7中所示的对应的可视指示符和/或与空白部位提醒有关的报告。空白部位提醒可以与用于这样的空白部位的时间段阈值(例如，1个月，其中为存在大于时间段阈值的空白部位生成空白部位提醒)有关。另外，对于包括小于预定树木数目阈值(例如，每100m² 10个树木)的树木数目的任何区域，分析输出生成器132可以生成进货警报。附加警报可以例如包括在712处示出的警报，这些警报包括每面积的树木(例如，如果每公顷的树木数目小于或者大于可以用于树木收获目的的预定阈值)、木材体积(例如，如果用于面积的木材体积小于或者大于可以用于树木收获目的的预定阈值)、在收获之前的产量和在不同年龄水平投射(例如，六个月和十八个月)的年度生长。

风险预测仿真

图8图示了根据本公开内容的示例的使用系统100的风险预测仿真。

参照图8，分区级输出生成器128可以基于来自对象级参数生成器122的确定的参数、来自特征提取器118的多个提取的特征、与在多个树木的不同年龄对多个树木的消耗有关的历史数据140和与对多个树木的外部影响有关的外部数据138(即，外部影响数据)来生成仿真模型142(即，风险预测模型)以如在800处所示对历史数据140和外部影响数据138对多个树木的消耗的影响进行仿真。

图9和图10图示了根据示例的用于使用图像处理的存量、生长和风险预测的方法900和方法1000的流程图。可以在以上通过示例而非限制参照图1至图8描述的使用图像处理的存量、增长和风险预测系统100上实施方法900和方法1000。可以在其它系统中实践方法900和方法1000。

参照图1和图9，在块902处，方法900可以包括在交通工具106沿着交通工具路径移动期间接收由交通工具106捕获的多个图像104，其中多个图像104可以包括多个对象。

在块904处，方法900可以包括对多个图像104进行预处理以用于从多个图像104的特征提取。

在块906处，方法900可以包括通过使用计算机视觉技术的组合来从预处理的多个图像提取多个对象的多个特征。

在块908处，方法900可以包括从提取的多个特征确定与多个对象有关的至少一个参数。

在块910处，方法900可以包括基于确定的至少一个参数和提取的多个特征来生成空间密度模型以提供与多个图像104中的至少一个图像的一部分有关的多个对象的分布密度的可视指示和/或和与多个图像104中的该至少一个图像的该一部分有关的多个对象对应的提醒。

根据示例，与多个对象有关的至少一个参数可以包括与多个对象有关的至少一个位置，并且该方法900可以包括利用与先前图像有关的信息以增加与多个对象有关的至少一个位置的准确性。

根据示例，对于方法900，多个对象可以包括树木和/或农作物。

根据示例，对于方法900，交通工具106可以包括UAV。

根据示例，方法900可以包括从多个图像104去除阴影和醒目显示细节和/或应用局部自适应直方图均衡以修改多个图像104的局部对比度。

根据示例，方法900可以包括应用低通滤波以用于从多个图像104去除噪声，并且应用高通滤波以用于标识多个对象的边缘。

根据示例，方法900可以包括利用阈值化以通过将在预定阈值以下的像素转变成第一个值和将在另一预定阈值以上的像素转变成第二个值来创建多个图像104的二进制图像104，并且对二进制图像104应用形态变换以精化前景对象的边界。

根据示例，方法900可以包括通过使用包括Canny边缘检测、基于信号处理的特征提取、模版匹配和颜色分割、直方图反向投射、分水岭和纹理分析中的至少两种计算机视觉技术的组合来从预处理的多个图像提取多个对象的多个特征。

根据示例，多个对象包括树木，并且方法900可以包括通过使用计算机视觉技术的组合来从多个预处理的图像提取多个树木的多个特征，其中通过使用机器学习技术以确定计算机视觉技术的组合以标识分离个别树木并且标识每个树木的树冠的函数。

根据示例，方法900可以包括使用机器学习技术以确定计算机视觉技术的组合以标识基于与每个树木的可能位置有关的以往种植信息、通过使用半监督机器学习技术来分离个别树木并且标识每个树木的树冠的函数。

根据示例，多个对象包括树木，并且方法900可以包括确定至少一个参数，该至少一个参数包括基于凸壳分析的多个树木中的每个树木的树冠大小和多个树木中的每个树木的位置。

根据示例，对于方法900，与多个图像104中的该至少一个图像的该一部分有关的多个对象的密度分布的可视指示可以包括与多个图像104中的该至少一个图像的该一部分有关的低密度区域和高密度区域的显示。

根据示例，多个对象可以包括树木，并且与多个图像104中的该至少一个图像的该一部分有关的多个树木的密度分布的可视指示可以包括与多个树木的高度有关的显示，其中可以基于多个树木中的每个树木的树冠大小确定多个树木的高度。

根据示例，和与多个图像104中的该至少一个图像的该一部分有关的多个对象对应的提醒可以包括基于该一部分中的低密度区域存在大于预定时间段的对低密度区域的指示。

根据示例，多个对象包括树木，并且方法900可以包括使用颜色分割以标识多个树木的叶绿素水平的改变，其中和与多个图像中的该至少一个图像的该一部分有关的多个树木对应的提醒包括基于多个树木的叶绿素水平的改变的可能害虫的指示。

参照图1和图10，在块1002处，方法1000可以包括接收在交通工具106沿着交通工具路径移动期间从交通工具106捕获的多个图像104，其中多个图像104可以包括多个对象。

在块1004处，方法1000可以包括由硬件处理器对多个图像104进行预处理以用于从多个图像104提取特征。

在块1006处，方法1000可以包括通过使用计算机视觉技术的组合从预处理的多个图像提取多个对象的多个特征。

在块1008处，方法1000可以包括从提取的多个特征确定与多个对象有关的至少一个参数。

在块1010处，方法1000可以包括基于确定的至少一个参数、提取的多个特征、与在多个对象的不同年龄对多个对象的消耗有关的历史数据140和与对多个对象的外部影响有关的外部影响数据生成仿真模型142(风险预测模型)以对历史数据140和外部影响数据对多个对象的消耗的影响进行仿真。

根据示例，多个对象可以包括树木，历史数据140可以包括在不同年龄的树木密度和在收获时的产量，并且外部影响数据可以包括对多个树木的与天气和/或害虫有关的影响，并且基于确定的至少一个参数、提取的多个特征、历史数据140和外部影响数据以生成仿真模型142(风险预测模型)以对历史数据140和外部影响数据对多个树木的消耗的影响进行仿真还可以包括基于确定的至少一个参数、提取的多个特征、历史数据140和外部影响数据生成仿真模型142(风险预测模型)以对与多个树木有关的产量和损失进行仿真。

根据示例，一种用于使用图像处理的存量、增长和风险预测的方法可以包括接收在交通工具106沿着交通工具路径移动期间接收由交通工具106捕获的多个图像104，其中多个图像104可以包括多个对象，并且对多个图像104进行预处理以用于从多个图像104提取特征。用于使用图像处理的存量、增长和风险预测的方法可以包括通过使用计算机视觉技术的组合来从预处理的多个图像提取多个对象的多个特征，并且从提取的多个特征确定与多个对象有关的至少一个参数。用于使用图像处理的存量、增长和风险预测的方法可以包括基于确定的至少一个参数和提取的多个特征生成空间密度模型以提供与多个图像104中的至少一个图像的一部分有关的多个对象的密度分布的可视指示和/或和与多个图像104中的该至少一个图像的该一部分有关的多个对象对应的提醒。用于使用图像处理的存量、增长和风险预测的方法可以包括基于确定的至少一个参数、提取的多个特征、与在多个对象的不同年龄对多个对象的消耗有关的历史数据140和与对多个对象的外部影响有关的外部影响数据生成仿真模型142(风险预测模型)以对历史数据140和外部影响数据对多个对象的消耗的影响进行仿真。用于使用图像处理的存量、增长和风险预测的方法可以包括通过使用计算机视觉技术的组合来从预处理的多个图像提取多个对象的多个特征，其中通过使用机器学习技术以确定计算机视觉技术组合以标识分离个别对象的函数。

图11示出了可以与这里描述的示例一起被使用的计算机系统1100。计算机系统可以代表通用平台，该通用平台包括可以在服务器或者另一计算机系统中的部件。计算机系统1100可以用作用于系统100的平台。计算系统1100可以由处理器(例如，单个或者多个处理器)或者其它硬件处理电路执行这里描述的方法、功能和其它过程。这些方法、功能和其它过程可以被体现为在计算机可读介质上存储的机器可读指令，该计算机可读介质可以是非瞬态的，比如硬件存储设备(例如，RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、硬驱动和闪存)。

计算机系统1100可以包括可以实施或者执行机器可读指令的处理器1102，这些机器可读指令执行这里描述的方法、功能和其它过程中的一些或者所有方法、功能和其它过程。可以通过通信总线1104传达来自处理器1102的命令和数据。计算机系统也可以包括主存储器1106(比如随机存取存储器(RAM)，其中用于处理器1102的机器可读指令和数据可以在运行时间期间驻留)，以及次数据存储装置1108(该次数据存储装置1108可以是非易失性的并且存储机器可读指令和数据)。存储器和数据存储装置是计算机可读介质的示例。存储器1106可以包括使用图像的存量、生长和风险预测处理器1120，该处理器1120包括在运行时期间在存储器1106中驻留并且由处理器1102执行的机器可读指令。使用图像的存量、生长和风险预测处理器1120可以包括图1中所示的系统100的单元。

计算机系统1100可以包括I/O设备1110，比如键盘、鼠标、显示器等。计算机系统可以包括用于连接到网络的网络接口1112。可以在计算机系统中添加或者替换其它已知电子部件。

这里已经描述和图示的是示例及其变化中的一些变化。这里使用的术语、描述和图通过示例而被阐述而不是作为限制。许多变化在主题内容的精神实质和范围内是可能的，该精神实质和范围旨在于由所附权利要求(及其等效含义)限定，其中所有术语除非另有指示则在它们的最广义合理意义上被解读。