用于基于传感器数据和图像分割来定位农用机械的设备的制作方法

本发明涉及一种根据权利要求1所述的用于定位农用机械的设备。本发明还涉及根据权利要求9所述的此类设备在农用机械中的用途。另外本发明涉及一种根据权利要求10所述的用于定位农用机械的方法。最后，本发明涉及一种根据权利要求11所述的计算机程序产品。

在农业领域中，对农业用地的操作处于核心地位。例如，在收割谷物时，但是还有收割田间水果时，收割物必须以特定形式(如成行地)存放或刈割(geschwadet)。为了此类目的使用沿着特定行驶路线在农业用地上行驶且同时对后者进行农业操作的农用机械。

为了可靠地执行农业操作过程，有意义的是可以连续地确定农用机械的位置。例如可以根据全球定位系统(gps)来以非常高的准确度获知农用机械的位置。

从现有技术已知在农业操作过程中确定农用机械位置的解决方案。从wo2018/087546已知一种基于机器人的水果收割系统，该系统包括自主式机器人。

通过主要基于gps的已知系统，此类解决方案在用于获取卫星数据的许可证费用方面是昂贵的。此外，在此类解决方案中，通常需要在较远的数据传输路程上处理大量数据。这在数据安全性以及数据处理效率方面是不利的。

因此本发明的目的是改进已知的用于操作农业用地的系统，以便在至少保持不变的准确性下成本低廉地定位农用机械。

这个目的通过一种具有权利要求1特征的用于定位农用机械的设备来实现。这个目的还通过具有权利要求9特征的此类设备在农用机械中的用途来实现。这个目的另外通过一种具有权利要求10特征的用于定位农用机械的方法来实现。最后该目的通过一种具有权利要求11特征的计算机程序产品来实现。

该设备用于在农业用地上定位农用机械。农用机械例如可以为拖拉机、脱粒机、刈割机(schwadenmaschine)、料仓分配机(siloverteiler)或其他类型的农用机械。

该设备包括用于输入在农业用地上预定义的行驶路线的输入接口。输入接口可以是任何类型的数据接口。预定义的行驶路线被预定义在农业用地上。行驶路线例如可以在包括农业用地区域的地图上标出。地图例如可以包括具有多个格栅单元的格栅地图。优选可以给该多个格栅单元的至少一部分指定至少一个属性。该至少一个属性可以如关于地理事实的信息，该地理事实包括与相关联的格栅单元相对应的用地单位面积的农业操作过程。例如该信息可以为涉及已经完成的和/或尚待进行的农业操作过程或其步骤的信息。

输入接口此外用于输入图像数据，该图像数据涉及由传感器检测的、位于农用机械附近区域中的用地的监测区域。传感器可以为摄像机(例如立体摄像机)、雷达传感器、激光雷达传感器和/或超声波传感器。包括在传感器的图像数据中的监测区域例如可以为具有从传感器出发的确定半径的圆或部分圆，或者替代地可以具有其他形状。监测区域尤其包括传感器的视场角度(英文：fieldofview，fov)的区域。

该定位设备还包括分析单元，该分析单元用于探测该监测区域相对于该预定义的行驶路线的位置。具体地，分析单元探测在给定的时间点由传感器检测的监测区域在哪个区段中处于预定义的行驶路线之内。为此，分析单元将整个预定义的行驶路线分成多个区段，其中区段的长度可以是相等或不等的。另外长度可以是可变的。分析单元然后可以在监测区域与该多个区段中的每一个区段之间进行比较。基于比较，分析单元可以找出监测区域最可能对应的那个区段并将监测区域指配给那个区段。以此方式，探测监测区域在预定义的行驶路线上的位置并且由此定位农用机械。

该定位设备还包括用于输出所探测的位置的输出接口。输出接口可以是任意的通信接口。在此输出接口尤其可以为用于无线通信的通信接口，如蓝牙、红外、wlan。

相对于现有技术中已知的设备，本发明的设备能够纯粹基于由传感器产生的数据、尤其摄像机图像来定位农用机械。由此可以有利地减少或甚至避免基于gps的定位在成本和数据传输效率以及数据处理效率方面的缺点。对用地的农业操作因此可以以提高的成本效率和时间效率来进行。

在从属权利要求中给出了有利的设计方案和改进方案。

根据一个优选的设计方案，所述分析单元被形成为用于获得在所述预定义的行驶路线的所述多个区段中的对应区段与所述监测区域之间的相关性值。

相关性值是对两个不同物体彼此处于某种相关性的程度的度量。相关性值尤其给出监测区域与预定义的行驶路线的相应区段对应的程度。这提高了定位的准确性和可靠性。

根据另一个优选的设计方案，所述分析单元被形成为用于确定所述多个区段中的具有最大相关性值的区段。

以此方式识别了预定义的行驶路线的最大程度对应于传感器的监测区域的那个区段。因此可以基于由此找到的、关于预定义的行驶路线的位置来定位农用机械。

根据另一个优选的设计方案，所述分析单元被形成为用于借助于在所述图像数据中分割来识别所述监测区域。

分割优选是语义分割。由此可以以提高的准确性和可靠性分析图像数据，以便将图像数据中出现的物体分类。这改进了农用机械的定位。

根据另一个优选的设计方案，所述定位设备还包括校准单元，所述校准单元用于基于所探测的农用机械的位置来校准所述传感器。

在由传感器产生的图像数据中出现的物体被显示在基于图像坐标系的传感器图像中。为了确定图像坐标系与世界坐标系之间的对应关系，使用由传感器检测的物体的世界坐标。在此，图像坐标系与世界坐标系之间的对应关系取决于传感器的位置并且当传感器被安置在农用机械处时取决于农用机械的位置。因此，通过使用所探测的农用机械的位置可以简化地确定对应关系。

根据另一个优选的设计方案，所述定位设备还包括任务指定单元，所述任务指定单元用于基于所探测的农用机械的位置来给所述监测区域指定农业任务。

被指配给地图的格栅单元之一的该至少一个属性例如包含一个或多个任务，这些任务在对应于这个格栅单元的单位面积上已经执行和/或待执行。由此可以以提高的效率和准确性进行任务规划。任务可以包括“割草”、“刈草”、“收集谷物”和/或“捡拾水果”。

根据另一个优选的设计方案，所述定位设备还包括优化单元，所述优化单元用于基于所探测的农用机械的位置来优化所述农用机械的横向定位。

所探测的农用机械的位置是农用机械的纵向定位/位置。然而可能发生的是，农用机械在其在用地上向前移动期间沿着预定义的行驶路线经历横向偏移。为了抵消这种横向偏移，有用的是，基于所探测的农用机械的纵向位置来确定在横向方向上的额定定位。可以对于沿行驶路线的每个点并相对于农用机械上的点(如其重心或几何中心点)来预定义额定定位。这使得能够以改进的方式实施行驶路线，使得农业操作过程可以更好地得以执行。

根据本发明的计算机程序产品被实施为，可被加载到计算机的存储器中并且包括软件代码段，当该计算机程序产品在计算机上运行时，利用这些软件代码段实施根据本发明的用于为农用机械进行路线规划的方法的方法步骤。

程序属于处理数据的系统(例如分析装置或计算机)的软件。软件是程序和所属的数据的总合概念。硬件是对软件的补充。硬件表示处理数据的系统的机械和电子取向。计算机是一种分析装置。

计算机程序产品通常包括命令序列，在程序被加载的情况下，通过该命令序列来促使硬件执行特定方法，该特定方法导致特定结果。当所涉及的程序用在计算机上时，计算机程序产品引起如下技术效果，即改进已知的用于操作农业用地的系统，以便在至少保持不变的准确度下成本更低廉地定位农用机械。

根据本发明的计算机程序产品与平台无关。也就是说，可以在每个任意的计算平台上实施该计算机程序产品。该计算机程序产品优选在根据本发明的用于为农用机械规划路线的设备上实施。

软件代码段可以以任意的编程语言书写，例如以python。

在附图中示例性阐释本发明。在附图中：

图1示出根据一个实施例的用于定位农用机械的本发明设备的示意图；

图2示出根据一个实施例的用于定位农用机械的本发明方法的示意图；以及

图3示出行驶路线和待在行驶路线上定位的农用机械的示意图。

图1示出根据一个实施例的用于定位农用机械50的本发明设备10的示意图。

设备10包括用于输入图像数据11a的输入接口12a，这些图像数据已由传感器22产生。图像数据11a涉及在待操作的农业用地60(在图1中未示出)上农用机械50的附近区域(在图1中未示出)。传感器22检测附近区域作为监测区域。另一个输入接口12b用于输入农业用地60的预定义的行驶路线11b。优选在地图上定义预定义的行驶路线11b，该地图进一步优选包括具有多个格栅单元的格栅地图。进一步优选给格栅单元中的每一个指配至少一个属性。这些属性可以涉及信息，如在地理学条件、使用状况(尤其植物名称、所使用的化学/生物物质的名称和/或量、农业用地的相应格栅单元的土壤的组成)方面用地的与相关联的格栅单元相对应的部分的事实。这些属性可以替代地或附加地涉及一个或多个农业操作步骤。

设备10还包括用于分析图像数据11a和预定义的行驶路线11b的分析单元14，以便探测农用机械50相对于行驶路线11b的位置。分析单元14优选被形成为用于从图像数据11a中获得监测区域并且将监测区域与预定义的行驶路线11b的多个区段进行对比。分析单元14在此尤其可以确定在传感器的监测区域与预定义的行驶路线11b的相应区段之间的相关性值。基于由此获得的相关性值，分析单元14可以识别预定义的行驶路线11b的具有最大相关性值的那个区段。以此方式确定了农用机械50相对于预定义的行驶路线11b的位置。设备10还包括输出接口16，该输出接口用于将如上所述地确定的农用机械50的位置输出到任务指定单元、优化单元和/或其他单元。

图2示出根据一个实施例的用于定位农用机械50的本发明方法的示意图。

该方法包括第一步骤，在该第一步骤中检测在用地60上预定义的行驶路线11a并且检测关于用地60的监测区域的图像数据11b，该监测区域由传感器22检测并且位于农用机械50的附近区域中。该方法还包括第二步骤，在该第二步骤中探测所述监测区域相对于所述预定义的行驶路线11a的位置。该方法还包括第三步骤，在该第三步骤中输出所探测的位置。

图3示出行驶路线52和待在行驶路线52上定位的农用机械50的示意图。

待定位的农用机械50在此例中作为刈割机示出。预定义的行驶路线52在农业用地60的多个种植区域60a、60b、60c上延伸，在这些种植区域之间布置有未种植的分隔区域。本发明设备10的优化单元或替代性地外部的优化单元可以探测农用机械50的中心点与预定义的行驶路线10之间的偏移。在图3中，沿预定义的行驶路线52展示了农用机械50的中心点的额定定位。借助于调节循环可以使得农用机械50的中心点始终与相应的额定定位重合。以此方式可以提高农用机械50的横向定位准确度。

附图标记清单

10定位设备

12a，12b输入接口

14分析单元

16输出接口

18外部单元

22传感器

50农用机械

11b，52行驶路线

60用地

60a，60b，60c用地的种植区域

s1至s3方法步骤