无人机的制作方法

文档序号:20954436发布日期:2020-06-02 20:19阅读:223来源:国知局
无人机的制作方法

本发明涉及一种用于农田评估的无人机(unmannedaerialvehicle)、一种用于农田评估的方法以及一种计算机程序单元。



背景技术:

本发明的总体背景是关于杂草、疾病和害虫评估田地状况,以及通过例如确定叶面积指数(lai)来评估生态生理(ecophysiology)。目前,遥感和无人机(诸如无人驾驶飞机(drone))无法以所需的分辨率和质量获取图像以便执行所需的图像诊断。另外,对于农场主来说,进入田地并获取必要的图像数据非常耗时。



技术实现要素:

具有改进的用于农田评估的手段将是有利的。

本发明的目的通过独立权利要求的主题解决,其中,在从属权利要求中并入了进一步的实施例。应当注意,本发明的以下描述的方面和示例也适用于用于农田评估的无人机、用于农田评估的方法以及计算机程序单元。

根据第一方面,提供了一种用于农田评估的无人机,包括:

-控制单元;以及

-照相机。

照相机安装在无人机上与无人机的主体垂直分离的位置上。照相机与主体之间的垂直间隔大于将要由无人机检查的田地中作物的平均植物垂直高度。控制单元被配置为将无人机飞行到田地中包含作物的位置。控制单元还被配置为将无人机的主体在该位置处以基本静止的姿态定位在作物上方,使得照相机位于作物上方的第一位置。控制单元被配置为控制无人机在该位置处垂直飞行,使得照相机处于第一位置下方的第二位置。控制单元还被配置为当照相机在第一位置和第二位置之间时,控制照相机以获取与作物有关的至少一个图像。

换句话说,无人机(uav)(例如无人驾驶飞机)会飞到田地的一个部分中,并在该位置垂直飞行,以使固定在uav主体下方的照相机朝向作物移动,并可以通过uav的下降降低到作物中,并且由于照相机位于uav的主体下方足够远的地方,因此uav的主体可以始终保持在作物上方。在被降低和/或升高的同时,包括当照相机不因uav的移动而移动时,照相机可以拍摄与作物有关的图片。然后可以对这些图片进行适当的分析,以确定在该田地的该部分是否存在杂草、疾病、害虫。同样,这些图片可以提供有关叶冠层面积和高度的信息,这样就可以确定该位置作物的叶面积指数(lai)。可以以可再现的方式自动获取然后可以分析的图像数据,从而可以在该位置准确确定例如lai的结果,并将其与作物中其他部分(或位置)处计算出的值进行比较。此外,通过以这种方式将照相机降低到作物中,可以获取各种高度(包括处于地面水平和冠层上方)的图像,以及再次相对于lai,因为可以在各种高度上获取数据,所以可以缓解导致确定的lai的降低的冠层中的非随机性(例如,叶子位于其他的顶部)。同样,可以从植物的顶部一直到在地面水平处的植物对植物的所有部分进行检查,以确保不会遗漏影响植物任何部分的疾病或害虫。另外,可以以更高的精度确定杂草,因为可以在与杂草的不同部分相关联的不同高度获取图像,从而确保图像识别分析可以最佳地运行,因为更有可能获得所获取数据和与该杂草相关联的参考图像之间的拟合(fit)。

uav可以以像20mx20m图案的正方形获取围绕田地的数据,或者根据图像处理确定何处定位自身以获取数据,或者可以由用户将其定向到一个位置。

因此,除了获取可用于确定lai的图像外,还可将这些图像用于确定杂草和昆虫损害,使得能够采取补救措施。与要求人类操作员进入田地并手动获取所需的相关数据的当前技术相比,以这种方式,可以更快、更准确地并且以更高的精度来获取该数据。

在一个示例中,与作物有关的至少一个图像包括当照相机在作物的冠层内时获取的至少一个图像。

以这种方式,可以基于所获取图像的图像处理来更有效地检测疾病和/或昆虫损害,并且更准确地确定和识别杂草。而且,通过获取冠层内的图像,可以从根据获取的图像确定叶面积指数(lai)。

在一个示例中,至少一个图像包括多个图像,并且其中,控制单元被配置为控制照相机以在第一位置和第二位置之间的多个不同位置处获取对应的多个图像。

因此,通过获取不同高度的图像,可以从这样的图像中检测例如在作物的特定植物内的局部疾病和/或昆虫损害。同样,可以更准确地确定叶面积指数,因为它可以基于来自不同高度的作物中的一个以上的图像,并且可以缓解诸如叶重叠的影响,否则会导致低估lai值。

在一个示例中,控制单元被配置为当照相机处于第二位置时控制照相机获取与作物有关的所述至少一个图像中的一个或多个图像。

换句话说,当uav尽可能下降到可以使照相机尽可能接近地面时,可以获取图像。在一个示例中,第二位置包括地面。

换句话说,由于uav垂直向下飞行,因此附接到uav上的照相机会接触地面。换句话说,照相机被固定在uav的最低点或最低点之一中,而uav实际上降落在地面上,并因此使照相机与地面接触。这样,可以在与作物有关的所有位置处(包括在作物上方、在作物内)获取图像,并且还可以从地面位置获取图像。以这种方式,不仅可以从作物上方一直到地面在作物内的所有点处获取图像,而且通过从地面获取图像,还可以参考地面确定用于该图像以及所有其他图像的参考高度。换句话说,可以确定地面上方所有图像的高度。因此,可以确定作物的高度并且可以确定疾病和/或昆虫损害的高度。同样,可以确定所获取的用于lai测量的图像的高度,以提供更准确的lai值确定。另外,可以获取作物所有高度处的图像,从而提供获取更准确的lai值并确保对植物的所有区域都进行成像的能力,这意味着不太可能会遗漏疾病、昆虫损害等。

在一个示例中,控制单元被配置为当照相机处于第一位置时,控制照相机以获取与作物有关的至少一个图像的一个或多个图像。

以这种方式,可以获取来自作物上方的图像以提供用于确定lai值的参考值。当无人机下降将照相机从第一位置移开时,也可以获取lai测量的参考值。来自作物上方的图像还可用于确定是否存在杂草、疾病、害虫和昆虫/或对植被的昆虫损害。

在一个示例中,处理单元被配置为分析至少一个图像以确定作物的叶面积指数。

在一个示例中,处理单元被配置为分析至少一个图像以确定至少一种杂草、和/或确定至少一种疾病、和/或确定至少一种害虫和/或确定至少一种昆虫、和/或确定至少一种营养不足。

在一个示例中,无人机包括处理单元和/或处理单元。

在一个示例中,无人机包括附接到无人机的主体的至少一条腿,并且其中照相机被安装在所述至少一条腿中的腿上。

在一个示例中,将照相机定位在第二位置的垂直飞行包括控制单元使无人机在该位置处着陆在至少一条腿上。

以这种方式,当uav停止或顺桨(feathering)或以其他方式减少了向下气流(downdraught)时,就可以获取作物的图像,并且因此不会发生叶片的气流吹动,而且图像可用于更准确地确定疾病、杂草、昆虫损害和lai值等

在一个示例中,照相机被配置为获取与田地有关的至少一个图像,并且其中,处理单元被配置为分析所述与田地有关的至少一个图像以确定在田地中的位置。

以这种方式,uav可以获取该田地的图像并确定其应该飞行、下降和获取图像的(多个)位置。这样,uav可以以完全自主的方式运行。

在一个示例中,无人机包括位置确定装置。

根据第二方面,提供了一种用于农田评估的方法,包括:

a)将无人机飞行到包含作物的田地中的位置,其中,将照相机安装在无人机上与无人机的主体垂直分离的位置处,并且其中,照相机与主体之间的垂直间隔大于将由无人机检查的田地中作物的平均植物垂直高度;

b)在该位置处将无人机的主体以基本静止的姿态定位在作物上方,使得照相机位于作物上方的第一位置;

c)控制无人机在该位置处垂直飞行,使得照相机处于第一位置下方的第二位置;

d)当照相机在第一位置和第二位置之间时,由照相机获取与作物有关的至少一个图像。

根据另一方面,提供了一种用于控制第一方面的uav的计算机程序单元,其在由处理器执行时被配置为执行第二方面的方法。

有利地,由以上任何方面提供的益处同样适用于所有其他方面,反之亦然。

参考下文描述的实施例,上述方面和示例将变得明显,并且将被阐明。

附图说明

下面将参考以下附图描述示例性实施例:

图1示出了用于农田评估的无人机的示例的示意组成;

图2示出了用于农田评估的方法;

图3示出了田地中位置的示意表示;

图4示出图1的无人机的详细示例的示意表示;

图5示出图1的无人机的详细示例的示意表示;

图6示出了图1的无人机的详细示例的示意表示。

具体实施方式

图1示出了用于农田评估的无人机10的示例,其中虚线框表示可选特征。无人机10包括控制单元20和照相机30。照相机30安装在无人机上与无人机的主体40垂直分离的位置处。照相机与主体之间的垂直间隔大于待由无人机检查的田地中作物的平均植物垂直高度。因此,照相机30被安装在uav的主体40的底部下方,其距离大于作物的植物的平均高度。控制单元20被配置为将无人机飞行到田地中包含作物的位置处。控制单元20还被配置为在该位置处将无人机10的主体40在基本静止的姿态下定位在作物上方,使得照相机30位于作物上方的第一位置。控制单元20还被配置为控制无人机10在该位置垂直飞行,使得照相机30处于第一位置下方的第二位置处。控制单元20被配置为当照相机在第一位置和第二位置之间时,控制照相机30以获取与作物有关的至少一个图像。

在一个示例中,照相机是360度环绕照相机。

在一个示例中,照相机包括鱼眼光学传感器,该鱼眼光学传感器可用于使得能够从图像中计算出叶面积指数。在一个示例中,照相机以多个不同角度获取图像数据,从而使得能够在那些多个不同角度处确定冠层光截获(canopylightinterception),由此可以计算出lai。

在一个示例中,照相机包括普通成像传感器,该普通成像传感器可用于以使得能够进行图像处理以确定疾病、杂草、昆虫损害或昆虫本身的分辨率对枝叶进行成像。普通成像传感器也可用于确定lai。

在一个示例中,照相机包括鱼眼光学传感器和普通成像传感器两者,并且以此方式,照相机被优化同时用于确定lai以及用于确定杂草、疾病、昆虫损害等。

在一个示例中,照相机被配置为获取低于500nm的数据,并且以此方式可以从图像中更准确地确定lai。

在一个示例中,照相机被配置为在可见波长范围内操作。在一个示例中,照相机被配置为在近红外范围内操作。在一个示例中,照相机是单色的。在一个示例中,照相机被配置为获取诸如rgb的颜色信息。在一个示例中,照相机被配置为获取高光谱(hyperspectral)信息。这样,可以改善用于自动检测疾病、害虫、土壤养分、产量因子(籽粒大小、穗数、玉米穗数)、杂草、昆虫损害和昆虫的图像的分析。

在一个示例中,控制单元被配置为确定照相机已经远离第一位置移动的距离,例如,控制单元可以确定uav在移动中已经飞行了多远,使得照相机从第一位置向第二位置移动。这可以通过检测移动的惯性传感系统或者通过使用例如检测地面以上高度的雷达或超声系统来实现。

根据一个示例,与作物有关的至少一个图像包括当照相机在作物的冠层内时获取的至少一个图像。

根据一个示例,至少一个图像包括多个图像。控制单元被配置为控制照相机以在第一位置和第二位置之间的对应的多个不同位置处获取多个图像。

根据一个示例,控制单元被配置为当照相机处于第二位置时,控制照相机以获取与作物有关的至少一个图像中的一个或多个图像。

根据一个示例,第二位置包括地面。

根据一个示例,控制单元被配置为当照相机处于第一位置时控制照相机以获取与作物有关的至少一个图像中的一个或多个图像。

根据一个示例,处理单元50被配置为分析至少一个图像以确定作物的叶面积指数。

关于叶面积指数的确定的信息可以在例如n.jj.breda的“叶面积指数的基于地面的测量:方法、仪器和当前争议的综述”(《实验植物学杂志》,第54卷第392期第2403-2417页(2003年))(“ground-basedmeasurementsoftheleafareaindex:areviewofmethods,instrumentsandcurrentcontroversies,journalofexperimentalbotany,vol.54,no.392,pages2403-2417(2003))及以下网站www.licor.com/env/products/leaf_area中找到。

根据一个示例,处理单元60被配置为分析至少一个图像以确定至少一种杂草、和/或确定至少一种疾病、和/或确定至少一种害虫、和/或确定至少一种昆虫和/或确定至少一种营养不足。

在一个示例中,处理单元50是处理单元60。

在一个示例中,处理单元被配置为分析至少一个图像以确定至少一种类型的杂草、和/或确定至少一种类型的疾病、和/或确定至少一种类型的害虫、和/或确定至少一种类型的昆虫、和/或确定至少一种类型的营养不足。

因此,诸如无人驾驶飞机的无人机可以在田地周围飞行并在一个位置下降,照相机获取作物的植物的图像,并且基于这些图像的图像处理,可以确定是否存在杂草、以及什么类型的杂草。对于确定是否存在病虫、疾病、昆虫、营养不足等也同样适用。

在一个示例中,对至少一个图像的分析包括利用机器学习算法。

在一个示例中,机器学习算法包括决策树算法。

在一个示例中,机器学习算法包括人工神经网络。

在一个示例中,机器学习算法包括人工神经网络。在一个示例中,已经基于多个图像来教导机器学习算法。在一个示例中,已经基于包含至少一种类型的杂草,和/或至少一种类型的患有一种或多种疾病的植物,和/或至少一种类型的遭受来自一种或多种类型的昆虫的昆虫侵染的植物,和/或至少一种类型的昆虫(当图像具有足够的分辨率时),和/或至少一种类型的遭受一种或多种害虫的植物,和/或至少一种类型的患有一种或多种营养不足的植物的图像的多个图像来教导机器学习算法。在一个示例中,已经基于包含此类图像的多个图像来教导机器学习算法。

照相机40获取的图像具有使得能够将一种类型的杂草与另一种类型的杂草区别开的分辨率。图像可以具有使得能够从作物本身的图像或从例如昆虫本身的获取的图像来确定害虫或昆虫侵染的作物的分辨率。无人驾驶飞机可以具有全球定位系统(gps),这使得能够确定获取的图像的位置。无人驾驶飞机还可以具有例如基于激光陀螺仪的惯性导航系统。惯性导航系统可以单独运行,而无需gps,以通过确定远离一个或多个已知位置(如充电站)的移动来确定获取图像的无人驾驶飞机的位置。照相机将获取的图像传递到处理单元。图像分析软件在处理单元上运行。图像分析软件可以使用特征提取(例如边缘检测)和对象检测分析,其例如可以识别诸如田地之内和周围的结构,诸如建筑物、道路、围墙、树篱等。因此,基于这些对象的已知位置,处理单元可以修补所获取的图像,以有效地创建环境的合成表示,该合成表示可以有效地覆盖在环境的地理地图上。因此,可以确定每个图像的地理位置,并且不需要与所获取的图像相关联的基于相关联的gps和/或惯性导航的信息。换句话说,可以使用基于图像的定位系统来定位无人驾驶飞机10。但是,如果有gps和/或惯性导航信息可用,则不要求可以仅基于图像将特定图像放置在特定地理位置上的这种图像分析。尽管如此,如果基于gps和/或惯性导航的信息可用,则可以使用此类图像分析来增强与图像相关联的地理位置。

因此,处理单元运行图像处理软件,该图像处理软件可以是基于特征提取(如果使用的话)确定植被位置的图像处理的一部分。该软件包括机器学习分析器。获取特定杂草的图像,并获得所用的与杂草大小有关的信息。可以在图像上标记与要在其中发现这种杂草的世界中的地理位置有关的信息以及与要在其中发现该杂草的一年中的时间有关的信息,包括开花的时间等。杂草的名称也可以标记于杂草的图像。然后因此可以基于真实获取的图像训练可以基于人工神经网络或决策树分析器的机器学习分析器。这样,当将新的植被图像提供给该分析器时,其中该图像可以具有标记在其上的相关联的时间戳(例如一年中的时间)和地理位置(例如德国或南非),分析器通过将新图像中发现的杂草的图像与经过训练的不同杂草的图像进行比较来确定图像中的杂草的特定类型,其中还可以考虑杂草的大小以及生长的地点和时间。因此,可以确定该杂草类型在环境内的地面上的具体位置及其大小。

处理单元可以访问包含不同杂草类型的数据库。该数据库是根据实验确定的数据编译而成的。使用机器学习算法的图像处理软件还被教导识别昆虫、被昆虫侵染的植物、患有害虫的植物以及营养不足的植物。通过基于先前获取的图像进行训练,以与上述相同的方式完成此操作。

根据一个示例,无人机包括处理单元50和/或处理单元60。

在一个示例中,控制单元与处理单元50和/或处理单元60是相同的单元。

根据一个示例,无人机包括附接到该无人机的主体的至少一条腿70,并且其中照相机被安装在该至少一条腿中的腿上。

在一个示例中,该腿的一端被安装到无人机的主体,照相机被安装在该腿上相对于该端的该腿的远端处。

根据一个示例,用于将照相机定位在第二位置的垂直飞行包括控制单元使无人机在该位置着陆在该至少一条腿上。

在一个示例中,该至少一条腿包括三条腿。

在一个示例中,腿可由轻质碳棒制成。

在一个示例中,腿可以是1m长,也可以是其他长度,以便当uav着陆时uav的主体可以位于作物的冠层上方。可以使用不同长度的腿,并且它们可以相对于被检查的不同作物具有不同的长度。

根据一个示例,照相机被配置为获取与田地有关的至少一个图像。处理单元被配置为分析与田地有关的至少一个图像以确定田地中的位置。

在一个示例中,uav可以获取图像并分析该图像以确定规则网格或例如20m乘20m,并在与这样的网格相关联的位置处获取图像。

在一个示例中,uav可以获取图像,并分析图像以确定例如可能遭受疾病或昆虫损害的区域或者在该位置是否存在杂草。然后,uav可以飞到该位置,并获取图像,该图像可以被分析以提供有关是否存在疾病、昆虫损害或杂草的准确确定。

根据一个示例,无人机包括位置确定装置90。

在一个示例中,位置确定装置被配置为在获取与作物有关的至少一个图像时向控制单元提供与照相机相关联的至少一个位置。

该位置可以是相对于地面上的精确位置的地理位置,或者可以是参考地面上另一个或多个位置(例如田地的边界或无人机对接站或充电站的位置)的地面上的位置。换句话说,可以利用绝对地理位置,或者可以使用不需要已知绝对关系而是参考已知位置的地面上的位置。

在一个示例中,该位置是绝对地理位置。

在一个示例中,该位置是参考一个或多个已知位置确定的位置。

换句话说,可以在不知道图像的确切地理位置而是通过知道相对于地面上的已知位置的获取图像的位置的情况下,确定图像与地面上的特定位置相关联,其中可以记录获取图像的位置。换句话说,可以提供uav已经获取了作物的图像的绝对gps导出位置,和/或可以提供相对于已知位置(例如田地边界或uav的充电站的位置)的获取了图像的位置,这又使农场主能够确定获取图像的确切位置,因为他们会知道田地界或充电站的绝对位置。

在一个示例中,gps单元(92)用于确定位置和/或用于在确定位置中使用,该位置是诸如当获取特定图像时的照相机的位置。

在一个示例中,惯性导航单元(94)被单独使用或与gps单元结合使用以确定位置,诸如当获取特定图像时照相机的位置。因此,例如,包括例如一个或多个激光陀螺仪的惯性导航单元在已知位置(例如无人驾驶飞机对接站或充电站)被校准或归零,并且当随着至少一个照相机移动时,可以在x、y和z坐标中确定其远离已知位置的移动,从中可以确定获取图像时该至少一个照相机的位置。

图2以其基本步骤示出了用于农田评估的方法200,其中,虚线框表示可选步骤。方法200包括:

在飞行步骤210(也称为步骤c))中,将无人机飞行到包含作物的田地中的一个位置,其中,照相机安装在无人机上与无人机的主体垂直分离的位置处,并且其中,照相机和主体之间的垂直间隔大于要被无人机检查的田地中作物的平均植物垂直高度;

在定位步骤220(也称为步骤d))中,将无人机的主体在该位置处以基本静止的姿态定位在作物上方,使得照相机位于作物上方的第一位置;

在控制步骤230(也称为步骤e))中,控制无人机在该位置处垂直飞行,以使照相机处于第一位置下方的第二位置;

在获取步骤240(也称为步骤f))中,当照相机在第一位置和第二位置之间时,照相机获取与作物有关的至少一个图像。

在一个示例中,无人机的控制单元被配置为控制无人机执行步骤c)。

在一个示例中,无人机的控制单元被配置为控制无人机执行步骤d)。

在一个示例中,无人机的控制单元被配置为控制无人机执行步骤e)。

在一个示例中,无人机的控制单元被配置为控制无人机执行步骤f)。

在示例性步骤f)中包括:当照相机在作物的冠层内时,获取242至少一个图像中的一个或多个图像。

在一个示例中,在步骤f)中,至少一个图像包括多个图像,并且其中,步骤f)包括:在第一位置和第二位置之间的对应的多个不同位置处获取244多个图像。

在一个示例中,步骤f)包括:当照相机处于第二位置时,获取246与作物有关的至少一个图像中的一个或多个图像。

在一个示例中,第二位置包括地面。

在一个示例中,步骤f)包括:当照相机处于第一位置时,获取248与作物有关的至少一个图像中的一个或多个图像。

在一个示例中,该方法包括步骤a):利用照相机获取250与田地有关的至少一个图像。

在一个示例中,无人机的控制单元被配置为控制无人机执行步骤a)。

在一个示例中,在步骤a)之后,该方法包括步骤b):由处理单元分析260与田地有关的至少一个图像,以确定田地中的一个位置。

在一个示例中,uav包括处理单元。在一个示例中,处理单元是uav的控制单元。

在一个示例中,处理单元在uav外部,并且步骤b)包括由uav的发射机向处理单元发送262至少一个图像,以及通过与处理单元相关联的发射机从处理单元向uav发送264确定的位置,以由uav用在执行步骤c)中。

在一个示例中,该方法包括步骤g):由处理单元分析270至少一个图像以确定作物的叶面积指数。

在一个示例中,uav包括处理单元。在一个示例中,处理单元是uav的控制单元。

在一个示例中,处理单元在uav的外部,并且步骤g)包括:通过uav的发射机向处理单元发送272至少一个图像。

在一个示例中,该方法包括步骤h):由处理单元分析280至少一个图像以确定至少一种杂草、和/或确定至少一种疾病、和/或确定至少一种害虫、和/或确定至少一种昆虫、和/或确定至少一种营养不足。

在一个示例中,uav包括处理单元。在一个示例中,处理单元是uav的控制单元。

在一个示例中,处理单元在uav的外部,并且步骤h)包括:通过uav的发射机向处理单元发送282至少一个图像。

在一个示例中,步骤e)包括:在该位置处将无人机着陆232在无人机的至少一条腿上。

在一个示例中,照相机被安装在该至少一条腿中的腿的端部上。

在该方法的示例中,无人机包括位置确定装置。

现在参考图3-6描述用于农田评估的无人机和用于农田评估的方法,图3-6涉及具有全面的功能的uav的实施例,但并非所有功能都是必不可少的。

图3示出了具有作物(未示出)的矩形田地的示意表示,其中图4示出了uav飞越作物并获取图像。所示出的是由实心点组成的网格,实心点指示uav将飞行到的位置,在该位置之上将其自身以基本静止的姿态定位,垂直飞行以降低其照相机并获取图像。图3所示的示意“地图”是由uav本身通过对获取的图像进行处理而生成的,其中该图像是在图4中正在获取的。该处理使用了边缘检测来确定田地的边界,如果与田地边界的位置有关的信息已例如作为一系列gps坐标上载到uav,则这是不必要的。该特定的uav着陆以便获取图像(如图6所示),但也在着陆过程中获取图像(如图5所示)。但是,uav不必着陆,而是可以飞到一个位置并垂直向下飞行以获取图像而无需着陆(如图5所示),然后垂直向上飞行然后前进到另一个位置以获取图像,这可能涉及着陆(如有必要),但不必非这样做。

uav的控制(处理)单元控制着它的飞行和照相机,还处理图像。处理单元基于所获取的图像来确定着陆的网格。在此示例中,网格已被确定为20mx20m。处理单元对获取的图像进行图像处理,并确定田地的一部分的作物不正常。作物的颜色与其余作物的颜色不同,并且田地这一部分的植物略有发育不良。因此,处理单元确定uav应该以更高的保真度水平着陆,以在田地的这一部分上以5mx5m的网格间距获取图像。uav可以首先飞越田地并确定着陆位置,或者可以从田地的一个部分开始,然后基于图像处理以适当的保真度逐渐飞越并着陆。但是,可以通过遥感方法例如从卫星图像或从另一uav或无人驾驶飞机获取的图像来确定着陆的网格,或者农场主可以向uav输入应在其中获取图像数据的网格的保真度(20mx20m或15mx15m或20mx15m等)。如图4-6所示,uav实际上有两个照相机,一个照相机附接到腿的底部,另一个照相机附接到腿的底部上方一定距离处。然而,两个照相机都在远离uav的主体的底部的那条腿下方的距离处,使得在获取图像时,总是希望uav的底部位于作物的植物的顶部的上方,以便uav即使着陆也不会被作物缠住。uav不必具有两个照相机,并且可以使用一个可以位于腿的底部的照相机,但是也例如可以是所示的不在腿的底部的另一照相机。

图5和图6示出了uav已经飞到了其中一个位置,并且垂直向下飞行来将其照相机定位在作物的冠层内并获取图像。实际上,图像也在作物上方获取的,并且uav继续下降并获取图像,直到它着陆在该位置为止,并且当照相机在地面上时,它继续获取图像。uav着陆在三个碳纤维腿上,图中仅示出了两个。腿长为1m,这使得uav的主体能够坐在作物的冠层上方。照相机的外壳具有被设计为是“无钩(snag)”的结构,使得它可被降低到作物中,而不会钩住作物的植物。因此,它具有最小的拐角(corner),并且顶部具有轻微的类似屋顶的结构,顶部的中心有一个顶点,使得当在作物中升高时,照相机不会钩住。通信和控制电缆附接到照相机上。每个照相机都有惯性传感器来检测移动。因此,当uav下降时,它们获取图像时可以确定照相机的移动,并且当uav着陆时,处理单元可以确定当获取图像时照相机在地面上方的距离。另外,超声波传感器被附接到安装在腿的底部的照相机的底部,并且这用于确定地面以上的高度。激光传感器或雷达传感器也可以用于此目的。但是,这种超声波、激光或雷达传感器不是必不可少的,并且可以在作物冠层上方和内部获取图像而无需知道获取图像的高度,但这可以帮助确保覆盖所有作物并可以帮助识别杂草,因为在确定杂草的识别时可以考虑杂草的高度,例如,可以确定比特定类型杂草高的杂草不是该特定杂草。

uav具有gps,使得能够与在一个位置获取的图像相关联地记录uav的位置。如上所述,uav在其中一个照相机中还具有基于激光陀螺仪的惯性导航传感器,这些惯性导航传感器用于增强gps导出位置的准确性。当uav位于其对接/充电站时,惯性导航传感器将归零,并且可以确定从该位置的相对移动。惯性导航传感器不必在照相机中。然而,uav可以仅具有gps或惯性导航系统,并且实际上可以处理图像以表现合成地形,从中可以在没有gps或惯性导航系统的资源的情况下确定其位置。

照相机具有数个图像传感器。

照相机具有可以聚焦在3-50m处的图像传感器,并且这用于获取以上关于图3-4所讨论的田地的图像,以确定着陆位置。

照相机还具有向上看的“鱼眼”传感器。该传感器位于照相机的顶部,并获取可用于确定lai的图像。传感器不是必须装在照相机的顶部,而可以在照相机的侧面。实际上,可能有不止一个成像传感器正在采集图像。传感器获取的图像基本上超过360度(以垂直方向为中心),并获取多个角度,用于确定lai。当传感器位于照相机侧面时,可以使用多个不同的传感器来获取此图像。角度的数量可以是3、4、5、6、7等。为了简单起见,在图5-6中,示出了照相机在3组角度上获取图像。但是,如上所述,照相机实际上是在5组角度和大致360度以上获取图像,并且因此,图5-6中所示的这些角度组实际上使围绕垂直线旋转以提供与垂直线不同角度的一系列立体角(solidangle),在这些立体角上获取图像。通过拥有不止一个照相机,可以优化一个照相机以获取用于确定lai的图像,并优化一个照相机以获取用于检测杂草、昆虫、害虫和疾病等的图像。用于获取“lai”图像的传感器获取小于500nm波长的图像,因为植被在这些波长上的透射率最小,并且该图像最适合用于确定lai。但是,传感器可以在不同的波长下工作。照相机在进入作物冠层之前先获取图像,并获取不同高度的图像(包括在地面上的图像),然后可以从该图像中确定在该位置的作物的lai。并非所有此类图像都需要获取。上面已经参考了关于lai的计算的文档和网站,并且技术人员可以参考与lai确定有关的这种或其他现有技术材料,以便处理所获取的图像。

该照相机还具有4个侧视的“普通”成像传感器,其中,在图5-6中,仅示出了一个照相机对照相机左侧的植被成像,而另一照相机对照相机右侧的植被成像。传感器在该照相机周围以90度间隔成角度地间隔开,并使照相机周围的所有作物都能够被成像。但是,仅需要一个、两个或三个传感器。传感器可以聚焦在相对较短的距离5cm–100cm内。传感器获取植被的高分辨率图像,这也使得昆虫能够被成像然后被识别。传感器在可见光波长范围上操作并进入近红外区域,并提供高光谱图像,其中可以区分不同波长范围内的数据,并且以此方式在可见光范围内,传感器实际上提供rgb数据。然后,在该(定义的)波长范围上且处于该分辨率的该图像数据适合通过图像处理算法进行处理,以确定植物是否为杂草、和/或作物是否患有疾病、害虫、昆虫损害和/或存在什么昆虫。

在图5-6中所示的uav中,图像处理由同样控制其飞行和照相机的uav的处理器执行。以这种方式,提供了完全自主的系统。当uav飞回对接站进行充电时,与田地有关的数据将被下载并提供给农场主。

但是,uav可以将分析后的数据实时发送给农场主,以便在无人驾驶飞机刚刚着陆的位置上立即针对该位置向农场主提供诸如lai,以及是否有杂草、昆虫损害、疾病、害虫的信息。uav还可以向远程处理器发送获取的图像,该处理器执行图像分析以确定lai以及是否存在杂草、昆虫损害、疾病、害虫,这样,uav不必那么复杂并且不那么昂贵并且功耗少,并且减少了机载处理和功耗,尽管通过数据发送会使用功率。

在上面的详细示例中,描述了照相机的三组成像传感器:i)用于对田地进行成像;ii)用于获取可用于确定lai的图像数据,以及iii)用于获取可用于确定是否存在杂草、疾病、害虫、昆虫、昆虫损害的图像数据。但是,相同的传感器可用于ii)和iii),并且实际上,如果需要,例如在使用可变聚焦功能时,相同的传感器可用于i)、ii)和iii)。

进行图像处理以使得能够进行分析以确定杂草类型

现在描述如何处理图像并确定适合图像处理以便可以确定杂草类型的特定示例:

1.捕获杂草的数字图像,特别是彩色图像。

2.在数字图像内在边界轮廓内绘制具有预定义颜色和纹理的区域的轮廓。通常,人们可能会从一个杂草植物中获得一个轮廓区域。但是,也可能有不止一个轮廓区域,这些轮廓区域来自不同的可能未连接的叶子,来自两个杂草植物,或者其它。这种检测或确定过程检测数字图像的绿色区域的边界。在这一过程中,可以建立至少一个轮廓区域,例如一个或多个叶子,以及一或多个杂草植物,该轮廓区域包括与边界轮廓内的杂草有关的像素。但是,也可能数字图像捕获了不止一个叶子和/或茎。因此,可以确定不止一个轮廓区域。

3.确定边界轮廓是否覆盖足够大的区域,并确定边界轮廓内的图像数据的清晰度(例如聚焦度)。这首先确保将存在足够的图像数据,可以在这些图像数据上确定杂草的类型,其次确定为了做出杂草的类型,将满足数字图像的最低质量。

4.如果满足3)中的两个标准,则数字图像,特别是边界轮廓内的数字图像被发送到处理单元,以通过人工神经网络进行图像分析,以确定如上所述的杂草类型。

在另一个示例性实施例中,提供了一种计算机程序或计算机程序单元,其特征在于被配置为在适当的系统上执行根据前述实施例之一的方法的方法步骤。

因此,计算机程序单元可以存储在计算机单元上,该计算机单元也可以是实施例的一部分。该计算单元可以被配置为执行或促使执行上述方法的步骤。而且,它可以被配置为操作上述装置和/或系统的组件。计算单元可以被配置为自动操作和/或执行用户的命令。可以将计算机程序加载到数据处理器的工作存储器中。数据处理器因此可以被装备为执行根据前述实施例之一的方法。

本发明的该示例性实施例既涵盖从一开始就使用本发明的计算机程序,又涵盖通过更新将现有程序转变为使用本发明的程序的计算机程序。

此外,计算机程序单元可能能够提供所有必要的步骤,以实现如上所述的方法的示例性实施例的过程。

根据本发明的另一示例性实施例,提出了一种计算机可读介质,例如cd-rom、usb棒等,其中,该计算机可读介质具有存储在其上的计算机程序单元,该计算机程序单元通过之前的部分描述。

计算机程序可以被存储和/或分布在合适的介质上,例如与其他硬件一起提供或作为其一部分提供的光学存储介质或固态介质,但是也可以以其他形式分布,例如通过互联网或其他有线或无线电信系统。

但是,计算机程序也可以通过类似万维网的网络来呈现,并且可以从这样的网络下载到数据处理器的工作存储器中。根据本发明的另一示例性实施例,提供了一种用于使计算机程序单元可供下载的介质,该计算机程序单元被布置为执行根据本发明的前述实施例之一的方法。

必须注意,参考不同的主题描述了本发明的实施例。特别地,参考方法类型权利要求描述了一些实施例,而参考设备类型权利要求描述了其他实施例。然而,本领域技术人员将从以上和以下描述中得出,除非另行通知,否则除了属于一种类型的主题的特征的任何组合之外,与不同主题有关的特征之间的任何组合也被认为是在本申请中公开的。但是,可以组合所有特征以提供多于这些特征的简单叠加的协同效果。

尽管已经在附图和前面的描述中详细地图示和描述了本发明,但是这样的图示和描述应被认为是说明性或示例性的而不是限制性的。本发明不限于所公开的实施例。通过研究附图、公开内容和从属权利要求,本领域技术人员在实践要求保护的发明时可以理解和实现所公开的实施例的其他变型。

在权利要求中,词语“包括”不排除其他元件或步骤,并且“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中列举的若干项的功能。在相互不同的从属权利要求中引用某些措施的这一事实,并不表示不能利用这些措施的组合来获得好处。权利要求中的任何附图标记都不应被解释为限制范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1