系统,机械,控制方法和程序与流程

文档序号:11934995阅读:346来源:国知局
系统,机械,控制方法和程序与流程

本发明涉及系统,机械,控制方法和程序。



背景技术:

已知存在一种用于通过使用一机械自动地运动并执行任务的技术。例如,在专利文献1中,包括光源和检测器的反射基部/传感器的农作物传感头被耦连到车辆,该车辆用来通过使农作物传感头靠近农作物经过来收集农作物的农作物数据。基于该农作物数据,农作物所需要的材料量(例如,肥料,种子,营养物,水,化学药品等)被获得,要从连接到车辆的分配器喷洒的材料量被调节。材料喷洒量通过改变车辆的速度被调节。当喷洒量要增加时,车辆速度减小,以及当喷洒量要减小时,车辆速度增加。该速度被自动调节。

然而,该技术需要首先通过其上耦连农作物传感头的车辆扫描田野中的所有标图然后在当自动地控制其上耦连分配器的车辆的运动时喷洒所述材料到农作物的任务。因此,为了喷洒所述材料的任务,车辆需要在农场土地中行进(travel)两次。此外,材料的喷洒量通过改变车辆是速度被调节,因此难以根据单个农作物的状态精确地喷洒材料。如上所述的,考虑到,尚有余地进一步增加效率,例如减少总任务时间,以及基于用于每个单独目标的准确信息来精确地供给所述材料。此外,甚至更多的原创性和创造性需要通过增加如上所述的运动和任务的效率来进一步增加整个系统的效率。

[现有技术]

[专利文献1]

PCT国际申请公布号JP-T-2010-517567的日文译文。



技术实现要素:

[本发明要解决的问题]

鉴于以上所述的,本发明的目的是要提供一种能够增加整个系统的效率的装置。

[解决该问题采用的技术手段]

根据本发明的系统包括第一操作装置,该第一操作装置被构造为执行与第一目标有关的操作;至少一个传感器,该至少一个传感器被构造为从第一目标获取模拟信息;以及控制装置,该控制装置被构造为基于从由至少一个传感器获取的模拟信息获取的与第一目标有关的多个类型的数字信息之中的至少一个类型的第一数字信息来识别第一目标,以及基于多个类型的数字信息之中的不同于第一数字信息的至少一个类型的第二数字信息来控制与识别的第一目标有关的通过第一操作装置的操作。

[本发明的效果]

根据本发明,整个系统的效率可增加。

附图说明

图1是示意性地示出根据本发明的实施例的在农场土地(农业土地)中的系统的构造的示意图;

图2是示意性地示出根据本发明的实施例的包括实施整个控制的服务器装置的信息通信系统构造的示意图;

图3是示出根据本发明的实施例的为机械的示例的农业机械的示意图;

图4是示出根据本发明的实施例的为机械的示例的农业机械的另一个示例的示意图;

图5是示出根据本发明的实施例的用于使所述机械运动的传动装置的示例的示意图;

图6是示出根据本发明的实施例的用于使所述机械运动的传动装置的另一个示例的示意图;

图7是示出根据本发明的实施例的为一个类型的传感器装置的立体照相机装置的外部视图的示意图;

图8是示出根据本发明的实施例的立体照相机的的构造的示意图;

图9示出根据本发明的实施例的安装在立体照相机装置中的FPGA的功能的功能方框图;

图10是根据本发明的实施例的作为用于描述用于通过所述立体照相机装置执行测距的原理的示意图;

图11A示出根据本发明的实施例的参考图像;

图11B示出根据本发明的实施例的与作为比较目标的图11A的参考图像有关的通过边缘检测方法获得的视差图像;

图11C是示出根据本发明的实施例的与图11A的参考图像有关的通过SGM方法获得的视差图像的概念图;

图12A是示出根据本发明的实施例的由立体照相机装置捕捉的参考图像中的参考像素的概念图;

图12B是根据本发明的实施例的用于描述通过立体照相机装置检测与包括在参考图像中的区域(预定的参考像素)有关的比较图像中的指定范围中的成本(一致度或不相似度,相似度)的过程的示意图;

图13是示出根据本发明的实施例的由立体照相机装置获取到的成本值和偏移量之间的关系的示意图;

图14是示意性地表示根据本发明的实施例的通过立体照相机装置组合成本的过程的示意图;

图15是示出根据本发明的实施例的由立体照相机装置获取的组合成本值和偏移量之间的关系的示意图;

图16是示出根据本发明的实施例的激光雷达装置的构造的示意图;

图17是示出根据本发明的实施例的多光谱照相机装置(比色照相机装置)的外部视图的示意图;

图18是示出根据本发明的实施例的多光谱照相机装置(比色照相机装置)的构造的示意图;

图19是示出根据本发明的实施例的可安装在多光谱照相机装置中的光圈和过滤器的示意图;

图20是示出根据本发明的实施例的由多光谱照相机装置捕捉的捕捉图像的示意图;

图21是根据本发明的实施例的由多光谱照相机装置捕捉的捕捉图像中的宏像素的放大视图;

图22是示出根据本发明的实施例的可由多光谱照相机装置测量的光谱反射率和波长之间的关系的示意图;

图23A示出根据本发明的实施例的可安装在多光谱照相机装置中的光圈和过滤器的另一个示例;

图23B示出根据本发明的实施例的可安装在多光谱照相机装置中的光圈和过滤器的另一个示例;

图24是示出与植物的叶子有关的典型光谱反射光谱的示意图;

图25是示出根据本发明的实施例的使用多光谱照相机装置的监视装置的示例的示意图;

图26是示出根据本发明的实施例的使用天球照相机装置的监视装置的示意图;

图27是示出根据本发明的实施例的天球照相机装置的外部视图的示意图;

图28是示出根据本发明的实施例的天球照相机装置的光学系统的示意图;

图29是示出根据本发明的实施例的天球照相机装置的构造的示意图;

图30A是用于描述根据本发明的实施例的由天球照相机装置捕捉的半球图像(后侧)的示意图;

图30B是用于描述根据本发明的实施例的由天球照相机装置捕捉的半球图像(后侧)的示意图;

图30C是用于描述根据本发明的实施例的其中由天球照相机装置捕捉的图像由等距的柱面投影表示的等距柱面图像的示意图;

图31是示出根据本发明的实施例的使用天球照相机装置的监视装置的另一个示例的示意图;

图32是用于描述在根据本发明的实施例的系统中的执行自动控制的初始设定形式的处理的流程图;

图33是用于描述在根据本发明的实施例的系统中的用于执行自动控制的初始设定的随后处理的流程图;

图34是用于描述在根据本发明的实施例的系统中的通过自动控制的农业机械的运动和任务的整个处理的流程图;

图35A是用于描述在根据本发明的实施例的系统中的在图34中示出的流程图中的步骤S162,S170和S180的过程的细节的流程图;

图35B示出在图35A中的步骤S202的过程中由立体照相机装置捕捉的图像之中的参考图像;

图36是用于描述在图35中示出的流程图的随后处理的流程图;

图37A是根据本发明的实施例的用于描述在其中图35中示出的流程图的步骤S224的过程仅是在所述系统中的运动的情况下的处理的细节的流程图;

图37B是根据本发明的实施例的用于描述在其中图35中示出的流程图的步骤S224的过程包括在所述系统中的连续任务的情况下的处理的细节的流程图;

图38示出根据本发明的实施例的作为用于执行连续任务的机械的示例的为平整农场土地提供的农业机械;

图39是示出根据本发明的实施例的通过农业机械的平整任务的示意图;

图40是根据本发明的实施例的用于描述由执行平整任务的农业机械执行的图37B中示出的流程图中的步骤S262的过程的细节的流程图;

图41A是根据本发明的实施例的与执行平整任务的农业机械有关的用于发射激光的激光雷达装置的旋转和激光接收装置的位置之间的关系的鸟瞰视图的示意图;

图41B是根据本发明的实施例的与执行平整任务的农业机械有关的用于发射激光的激光雷达装置的旋转和激光接收装置的位置之间的关系的鸟瞰视图的示意图;

图41C是根据本发明的实施例的与执行平整任务的农业机械有关的用于发射激光的激光雷达装置的旋转和激光接收装置的位置之间的关系的鸟瞰视图的示意图;

图42是示出根据本发明的实施例的由农业机械执行平整任务的另一个示例的示意图;

图43是示出根据本发明的实施例的用于识别其中需要任务的位置并使用农业机械执行在该位置的任务的系统构造的一部分的示意图;

图44是示出根据本发明的实施例的如何使用农业机械执行所述任务(施肥)的示意图;

图45A是示出根据本发明的实施例的作为由农业机械使用的任务装置的施肥装置的示意图;

图45B是根据本发明的实施例的施肥装置的截面视图;

图46是根据本发明的实施例的通过用于识别所述位置的服务装置以基于来自于监视装置的信息执行任务的处理的流程图;

图47是一示意图,其示出根据本发明的实施例的用于描述当在确定是否每个目标需要任务时通过农业机械执行任务时的图35的流程图中的步骤S224的过程的细节的流程图;

图48是示出根据本发明的实施例的当电驱动的农业机械中断任务并给电池充电时的操作的示意图;

图49是示出根据本发明的实施例的与当农业机械因为燃料的剩余量或任务源变为低的而不能执行最初已经被安排的操作时执行的操作有关的流程图的示意图;

图50A是示意性地示出根据本发明的实施例的用于匹配位置的到目标的距离的测量以便精确地定位在任务中断位置处的农业机械的示意图;

图50B是示意性地示出根据本发明的实施例的用于匹配位置的到目标的距离的测量以便精确地定位在任务中断位置处的农业机械的示意图;

图51是示出根据本发明的实施例的通过电驱动农业机械的紧接着在使用非接触充电装置给电池充电之后的状态的示意图;

图52是示出根据本发明的实施例的检测在所述系统中的异常例如害兽并且将害兽追出来的示意图;

图53是示意性地示出根据本发明的实施例的在所述系统中的图52中示出的状态的鸟瞰视图的示意图;

图54是示出根据本发明的实施例的当在所述系统中发生异常时执行的处理的流程图;

图55是示出根据本发明的实施例的在图54中示出的流程图的随后的处理的流程图;

图56是示出根据本发明的实施例的由农业机械检测的异常(害兽)的图像和由叠加在所述图像上显示的距离和尺寸的信息的示意图;

图57是示出根据本发明的实施例的作为农业机械的另一个示例的运动并执行任务(喷洒水)的可动喷洒器的示意图;

图58是示出根据本发明的实施例的作为农业机械的另一个示例的运动(飞行)并执行任务(散播)的四轴飞行器的示意图;

图59是示出根据本发明的实施例的信息通信系统的另一个示例的示意图;

图60是示出根据本发明的另一个实施例的作为可动机械(任务机械)而不是农业机械的另一个示例的建筑任务机械的示例可动示意图。

附图标记列表

100 农业机械

100A,100C 拖拉机

110 立体照相机装置

112 112-2激光雷达装置

113 多光谱照相机装置

310 成本计算单元

320 成本组合单元

330 视差值导出单元

350,360 农作物

500,555 农场土地监视装置

501 天球照相机装置

550 状态监视装置

704 服务器

705 视频服务器

706,708 数据库

707 操作管理服务器

710,712 用户终端

850 喷洒器

1100 直升飞机

1500 整个系统

1501 系统

1502 信息通信系统

具体实施方式

在下文中,通过使用图1到60给出了本发明的实施例的描述。本实施例示出了可动主体它自己的示例,包括行进机械例如农业机械和建筑机械,飞行机械,船,水下机械以及机器人等,其在运动时执行任务以及在运动之后执行任务,以及用于直接地或间接地控制这些可动主体以执行希望的任务的系统。在本实施例中,各种可动主体可被如上所述地应用;然而,在此,给出了与农业机械有关的基本构造和操作的描述,通过该农业机械,所述运动和任务的内容直观上是可容易理解的。

[整个系统的概述]

<农场土地中的系统构造>

在农场土地中的农业工作中要考虑的问题是要增加农业机械例如拖拉机的运动效率和使用农业机械的任务。这些运动和任务优选地被自动地控制,而尽可能多得不使用人力。图1示出本实施例要应用到的农场土地中的系统1501的构造。根据本实施例的整个系统1500包括图1的整个系统1501以及图2的信息通信系统1502。在下文中,与整个系统1500有关的描述可以是与系统1501或信息通信系统1502有关的描述,以及与系统1501或信息通信系统1502有关的描述可以是与整个系统1500有关的描述。

图1的农场土地包括作为农业机械100的拖拉机,农作物350,使用天球照相机的农场土地监视装置500,使用多光谱照相机(或比色照相机)的状态监视装置550,以及用于在农场土地中执行整地(平整土地)任务的激光接收位置反馈装置(激光接收装置)610。相应机械和装置的构造和操作在下面被详细地描述。

该图中的虚线表示通过无线通信的信息的传送和接收,以及农业机械100,农场土地监视装置500和状态监视装置550等构成无线通信网络。该无线通信被连接到图2中示出的信息通信系统1502的无线访问点700。如上所述的,信息通信系统1502与农业机械100,农场土地监视装置500和状态监视装置550等协作操作,因此手动操作被最小化到初始设定等,随后,通过农业机械100的运动和任务可根据自动控制执行。因此,任务的效率可增加。使用这些无线通讯的信息通信系统1502的操作在下面被详细地描述。

注意到,图1的农场土地是户外的农场土地;然而,农场土地不如此限制。使用聚乙烯温室的温室耕作或者其中农作物是在户内生产的其他情况也包括在本实施例中。

根据本实施例的整个系统1500是通过农场土地中的系统1501和接下来描述的信息通信系统1502构成的。整个系统1500通过在尽可能多得省去手动操作时使用这些机械和装置来执行有效率的农业工作。

注意到,字母例如A,B和C被附在这些图中的附图标记(这些图中的数字)之后,为了区分与由所述附图标记表示的装置、机械或元件等有关的基本相同但部分不同的功能的目的。在实施例的描述中,当不需要区分这些功能时字母被省略。在该情况下,由所述字母表示的所有的机械和装置是描述的目标。

此外,具有示出在附图标记之后的连字符和数字的元件具有与仅由附图标记表示的元件不同的构造,虽然所述功能是相同的或相似的。在下面的描述中,当所述元件不是用来区分时,在附图标记之后的连字符和数字被省略。在该情况下,仅由附图标记表示和由附图标记、连字符和数字表示的所有机械和装置是描述的目标。

此外,在下面的描述中,当附图标记通过这些附图标记之间的逗号被连续地表示时,如在“用户终端710,712”中,这基本上意味着“某一附图标记和/或另一个附图标记”或者“所有附图标记中的至少一个”。以上示例意味着“用户终端710和/或712”或“用户终端710和712中的至少一个”。

<信息通信系统构造>

图2示出本实施例应用到的信息通信系统的构造。本信息通信系统1502包括无线访问点700,因特网702,服务器704,数据库706,数据库708,用户终端710以及用户终端712。

所述无线访问点700,服务器704和数据库706,708以有线方式被连接到因特网702;然而,连接不受此限制,可以无线方式进行连接。此外,用户终端710,712可以有线或无线方式直接地连接到因特网702,或者可经由无线访问点700或其它中继装置连接到因特网702。

无线访问点700是与农场土地中的机械和装置执行信息通信的户外的长距离的无线局域网访问点,并且包括定向天线701。当信息没有从特定方向上传送时,非定向天线可用作定向天线701。此外,无线访问点700是路由器类别的,并包括路由选择功能和网络地址转换(NAT)功能。通过路由选择功能,无线访问点700能够选择最佳路径并发送包(packet),当发送包到TCP/IP网络中的目的主机时。此外,通过NAT功能,路由器和在两个TCP/IP网络之间的边界处的网关可自动地变换两个IP地址并传送数据。通过这些功能,信息可与服务器704等有效地通信。

作为无线标准,使用符合作为参考标准的IEEE 802.11系列的标准;然而,标准不限于此。例如,可以使用在移动通信系统中使用的W-CDMA(UMTS)方法,CDMA2000 1X方法和长期演进(LTE)方法等。

服务器704包括CPU 7041,ROM 7042,RAM 7043,固态驱动器(SSD)7044和接口(I/F)7045。注意到,除了SSD 7044之外或替代SSD 7044,可以提供硬盘。CPU 7041是执行服务器704中的程序的主体。在ROM 7042中,记录要在电源接通之后立即由CPU 7041处理的内容和作为最低要求的一组指令。RAM 7043是用于临时存储要由CPU 7041处理的数据的存储器。服务器704起到用于控制农业机械100和包括农场土地监视装置500,555和状态监视装置550的各种装置的控制装置的作用。

服务器704经由无线访问点700与图1所示的农业机械100、农场土地监视装置500和状态监视装置550进行信息通信。此外,服务器704还执行与数据库706,708和用户终端710,712的信息通信。下面描述由服务器704执行的操作。当CPU 7041将存储在SSD 7044中的程序加载到RAM中时,执行由服务器704执行的操作,并且CPU 7041基于加载在RAM中的数据来执行程序。注意到,可以更新存储在SSD 7044中的程序。此外,程序可以存储在诸如CD-ROM,DVD-ROM,SD卡和USB存储器的便携式记录介质中;在这种情况下,服务器704从这些介质读取程序,并且执行程序。此外,服务器704经由接口连接到因特网702。

在此,整个系统1500通过无线通信交换信息,因此要解决的问题是准确地发送和接收信息,并确保关于发送和接收的信息的安全性。因此,服务器704基于从农业机械100和用户终端710,712等获取的位置信息,确定农业机械100和用户终端710,712等是否位于诸如农场土地的特定区域或信息通信相关设施中。当这些装置位于特定区域中时,服务器704执行与农业机械100和用户终端710,712等的验证处理,并且仅当验证成功时,服务器704应用根据本实施例的整体系统1500。也就是说,在整个系统1500中传送的信息被加密,并且仅当验证成功时,给出用于解密的密钥,并且有意义的信息通信成为可能。另一方面,当验证不成功时,信息不能被解密,因此不能进行有意义的信息通信,并且不能使用整个系统1500。如上所述的,增加了整个系统1500的安全性。此外,假设农业机械100被盗,如果当验证不成功时农业机械100不能被使用,则可以有效地防止盗窃。注意到,可以执行验证处理,而不管用于使用信息通信系统1502的装置是否位于特定区域内。也可以像本实施例中输入用户ID和用户的密码那样来进行验证,或者在农业机械100、农场土地监视装置500和状态监视装置500的情况下使用机械或装置的唯一的ID。此外,当不考虑安全性时,不需要验证、加密或解密的处理。

此外,当整个系统1500或部分的整个系统1500被提供给用户时,优选地精确地和容易地感知到整个系统1500的使用以及向用户收取整个系统1500的使用费等。为此,服务器704还执行下面描述的收费处理(开出开帐单)。如上所述的,服务器704执行许多处理,因此高性能的、耐用的计算机被使用。然而,如上所述或如下所述的由服务器704执行的处理可在多个服务器(计算机)之间分配。例如,这些可在整个系统1500的用于管理的服务器、用于验证/分析的服务器和用于管理所述收费的服务器之间分配。

此外,所述系统如在整个系统1500的情况下那样被建立为彼此协作地操作的多个元件,因此要解决的问题是要快速地注意到所述系统中的元件的故障。为了解决该问题,服务器704监视是否诸如损坏的故障例如发生在农业机械100、农场土地监视装置500,555和状态监视装置550中。当检测到故障时,服务器704自动地报告所述故障给包括信息通信系统1502的整个系统1500的提供者或给根据整个系统1500和用户终端710,712的服务提供者。注意到,当农业机械100等检测到诸如损坏的故障时,农业机械100会将该故障报告给服务器704,不用等待来自于服务器704的查询。如上所述的,整个系统1500能够注意到故障,因此当缺陷发生在所述系统中时,服务提供者等能够快速地感知到所述情况,并且这处理该缺陷。

在整个系统1500中要解决的一个问题是要准确地辨认行进方向上的障碍物和为该任务的目标的农作物,用于自动行进。由此,为了准确地且快速地执行该辨认处理,数据库706存储各种数据。服务器704使用存储在数据库706中的数据以执行在下面描述的所述辨认处理。存储在数据库706中的数据主要是图像数据(用于辨认处理的标准图案等)以及指示图像数据的属性和类型的信息以及对应于该类型的农业机械100的动作。所述图像数据和指示所述属性和类型等的数据以彼此有关的状态被存储。注意到,数据库706可存储内容数据,用于经由因特网702提供信息。还在该情况下,图像数据和指示图像数据的类型和属性的数据等彼此相关。随着这种存储数据增加时,辨认处理的精度将增加。

除了上述辨认处理之外,重要的是存储任务信息和在农场土地中的作为任务目标的农作物的状态,并且有效地执行上述收费任务和未来任务。因此,数据库708是用于存储从农场土地、主要从农业机械100、农场土地监视装置500和状态监视装置550等发送的信息的存储位置。例如,信息包括任务的开始时间、中断时间和结束时间、其中需要任务的位置的信息,诸如其中已经施加肥料的位置的任务位置和任务的年/月/日/时间,在下面描述的正常化差异植被指数NDVI以及害虫信息。通过将这些类型的信息存储为数据库,分析存储的数据并利用该数据,可以提高未来农业管理的效率。也就是说,可以分析由服务器704等存储的信息,得出农作物的生长状态和装运中的特定趋势,并且基于所述趋势例如识别要施加多少肥料以便获得目标质量的农作物并在期望的时间段内获得该农作物。特别地,通过正常化差异植被指数NDVI的值,可以预期收获期,因此优选地基于在农场土地中生长的农作物存储许多信息项。

此外,农作物的销售价格由需求与供给之间的关系决定,因此农作物优选地在当需求高峰时的时间装运。由此,数据库708还存储装运信息和来自于市场的库存信息。例如,可识别的信息例如无线标签和条型码被施加到要被装运的农作物(的包裹)。在从当农作物被装运时到当农作物上市时的被运输和存储的时间,农作物的类型从所述识别信息获取,以及包括被识别的该信息的信息、识别位置以及识别时间,被顺序地存储在数据库708中。注意到,所述被识别的信息是通过包括无线标签读取装置或条型码读取器的系统获取的,所述信息经由因特网702,与用于追踪所述农作物所需要的信息例如识别的时间信息和识别的位置信息等一起,被存储在数据库708中。因此,根据本实施例用户(使用用户终端710,712)和服务器704能够追踪农作物的运动并且确定农作物需要的状态。也就是说,消费者喜欢的农作物具有低的库存或脱售快,因此,服务器704(或用户经由用户终端710,712)能够分析存储在数据库708中的信息并识别这样的农作物。然后,为了快速地装运消费者喜欢的农作物,服务器704控制农业机械100等以给农作物施加肥料,给水,以及供给二氧化碳等,以使得植物的生长被促进并且农作物能够提早收货。

此外,如果为任务目标的农作物的收获期和收获量能够被预测,更高的值可由系统用户提供。为了实现该值,服务器704能够通过利用农作物实际上在其之下已经生长的条件(生长条件)根据来自于用户终端710,712的指令执行多变量分析和分析,所述条件为例如正常化差异植被指数NDVI,水分亏缺度,喷洒水和施肥的量,日照持续时间,温度和湿度等,植物在这样的条件之下的生长程度,收获期以及收获量。随着这种存储数据增加,输出(收获期和收获量)预测的精度将增加。注意到,以上的生长条件可由服务器704从农场土地中的农业机械100、农场土地监视装置500,555和状态监视装置550的组合或其之一获取,与环境有关的内容信息(气象信息等)经由因特网提供,以及从用户输入。注意到,预测的输出结果被发送到并显示在用户终端710,712。此外,该输出量的预测信息还可以被用作财富数据,其能够通过电信线路诸如因特网或通过提供在记录所述预测信息的记录介质中而独立地卖给另一个用户或顾客。

注意到,数据库706,708被描述为与服务器704分开的构造;然而,至少一个数据库706,708可提供在服务器704中。在该情况下,SSD的区域可分开以构成相应的数据库。替代地,数据库706和数据库708中的至少一个可以有线或无线方式被连接到服务器704而不涉及因特网702。通过该连接,不需要经由因特网通信,因此可以增加需要访问该数据库的处理的速度。

用户终端710是平板类型的计算机。此外,用户终端712是不受使用位置限制的移动类型计算机,像智能手机等。这些终端具有从四个卫星接收全球定位系统(GPS)信号并识别当前位置的功能。注意到,当已知农场土地监视装置500,555和状态监视装置550等的绝对位置时,这些终端可从这些装置中的三个或更多个接收信号并根据这些信号的衰减和接收中的延迟识别当前位置。

注意到,用户终端710和712不限于平板类型计算机或移动类型计算机;用户终端710和712可以是台式计算机或内装某物的内装式计算机等,或者可佩戴类别的计算机例如手表或眼镜等。这些用户终端710,712能够经由服务器704发送指令到农场土地中的农业机械100,农场土地监视装置500,555和状态监视装置550。例如,开始任务的指令可发送到农业机械100。此外,用户终端710和712能够经由服务器704从农场土地中的农业机械100、农场土地监视装置500和状态监视装置550获取报告和信息。例如,用户终端710,712能够显示由农业机械100、农场土地监视装置500和状态监视装置550获取的图像。服务器704监视在这些用户终端710,712和农业机械100、农场土地监视装置500和状态监视装置550之间的信息的交换,并且将信息的交换记录在数据库706和数据库708中。注意到,当服务器704没有执行监视时,用户终端710,712能够直接地执行与农业机械100、农场土地监视装置500,555和状态监视装置550的信息通信,而没有涉及服务器704。

注意到,根据本实施例的信息通信系统1502是所谓的经由因特网702交换信息的云类型的系统;然而,信息通信系统1502不限于此。例如,专用的通信网络可构造在用户的设施中,信息可仅通过专用通信网络或通过专用通信网络和因特网的组合被交换。因此,高速的信息传输是可能的。此外,服务器704的功能和由服务器704执行的处理可包括在农业机械100中。因此,通过农业机械100的任务的处理速度等可进一步增加。

注意到,根据本实施例的整个系统1500包括在图1中示出的农场土地中的系统1501和在图2中示出的信息通信系统1502;然而,如上所述的信息通信系统1502的服务器704和数据库706,708可结合到所述系统1501中的农业机械100和农场土地监视装置500中。

[农业机械、装置的描述]

接下来,通过利用图3到31,给出了根据本实施例的农业机械、设置在农业机械中的各种传感器装置等以及安装在农场土地中的装置的描述。

<农业机械>

农业机械,其是整个系统1500的构成元件之一,基于来自于服务器704的指令自动地行进,并且自动地执行与为任务目标的农作物(第一目标的示例)和土地(第二目标的示例)有关的任务,以便实现有效的任务。图3是示出农业机械100A的外部视图的示意图。注意到,在这些附图中,元件,其由相同的附图标记表示,具有相同的功能,因此这样的元件的描述可被省略。

农业机械100A示出一拖拉机;然而,根据本实施例的农业机械可以是其它的农业机械,例如在运动时执行任务的机械,包括插秧机械,联合机械,装订机(binder),饲料作物机械,机器人农药散播机械,可动喷洒器产物收获机器人以及农业工作飞行物体等。

农业机械100A设置有马达102A,传动装置104,任务装置106A,支撑装置108,立体照相机装置110,激光雷达装置112,多光谱照相机装置113,无线通信天线114,手动操作单元116,控制装置118A,GPS天线120,操控装置122,一对灯124,一组超声波声纳装置126,一组前轮和一组后轮130。

马达102A在农业机械100A内,并表示一马达,例如发动机(内燃机)或接收能量的部件。在本实施例中,内燃机是将柴油作为燃料的柴油机;然而发动机不限于此。发动机可以是将汽油作为燃料的汽油发动机或将原油用作燃料的柴油机。根据在手动操作单元116中的风门踏板的操作和来自于控制装置118A的控制信号,在气缸中的活塞的往复运动的速度改变。还提供了用于给以下描述的电池224充电的发电机。注意到,在仅通过电运动的农业机械的情况下,马达102A被用作电机。农业机械的行进速度是通过改变所述马达的旋转速度变化。此外,马达102A可以是混合型马达,其中电机和内燃机被结合。此外,马达102A可以是通过将氢用作燃料的发动机或燃料电池生成动能的发动机。

传动装置104是传递和变换接收能量的部件,例如带,链和齿轮等(传动装置104是操作装置的示例)。也就是说,传动装置104是用于传递动能到农业机械100的相应单元的装置,该能量由马达102A的动能生成源(内燃机和马达等)生成的。传动装置104的细节被描述如下。

任务装置106是为了执行希望的任务或工作操作的部件(例如,动作装置),例如,犁,播种机械,种植装置,施肥装置以及二氧化碳生成装置。任务装置106A表示设置有多个耕种爪的耕种装置。任务装置106A,其被农业机械100A拉动,对于每种类型的任务是不同的。任务装置106A是操作装置的示例。

支撑装置108是用于保持马达102A、传动装置104和任务装置106A分别地在适当位置的部件。

立体照相机装置110是用于获取主要用于测距的立体图像的成像传感器装置,并包括两个光学系统和成像元件。该立体照相机装置110是一种装置,其用于检测在农业机械100的行进方向上的障碍物和任务目标,以及检测到测量目标到距离和目标的尺寸,以及实现在农业机械100A(距离(包括视差)和尺寸是第二数字信息或第四数字信息的示例)的自动行进中的大的角色。立体照相机装置110被设定为靠近农业机械100A的前端部关于竖直轴是可旋转的。立体照相机装置110被手动地旋转或可根据通过控制装置118A的控制而旋转。通过设定立体照相机装置110靠近农业机械100A的前端部,在农业机械100A的图像可被容易地获取,测距精度增加。注意到,设定位置不限于靠近前端部d位置;例如,立体照相机装置110可被设定在其中农业机械100A的周围区域可容易看到的位置处,例如在其中设定无线通信天线114和GPS天线120的顶壁上。此外,为了准确地感知到农业机械100A周围的状态,多个立体照相机装置110可设定在例如农业机械100A的前面和后面和/或侧表面处。此外,旋转不限于如在本实施例中的仅一个轴;立体照相机装置110可关于多个轴是可旋转的以使得希望的位置和角度的图像可被获得。还在该情况下,立体照相机装置110可手动地旋转或可根据通过控制装置118A的控制旋转。该立体照相机装置110的构造等在下面被详细描述。注意到,为了获得具有比通常捕捉的图像更高的对比度的捕捉图像,偏振滤光器可设置在立体照相机装置的成像元件(图像传感器13a,13b)的光接收侧上,以获取S偏振和P偏振的偏振图像。通过将这样的偏振立体照相机装置用作立体照相机装置110,可以容易地区分物体例如田垄和农场土地中的霜,其难以通过正常照相机区分,因为这些物体可通过偏振立体照相机装置以高对比度检测。注意到,当不需要测量距离时,具有单个成像元件的偏振照相机装置可设定在农业机械100中,而不是立体照相机装置110。

根据本实施例的激光雷达装置112是输出预定波长的激光同时在二维上扫描所述激光并基于从物体反射的光辨认到物体的距离的传感器装置。激光雷达装置112还称为LIDAR(光检测和测距装置和激光测距仪装置。注意到,可在一维上扫描激光。该激光雷达装置112设定为以便在多光谱照相机装置113上方的位置处关于竖直轴是可旋转的。设定位置不限于多光谱照相机装置113的上方。例如,在如下所述的农业机械100C中,激光雷达装置112被可旋转地设定在顶壁上。此外,旋转不限于如在本实施例中的仅一个轴;激光雷达装置112可关于多个轴为可旋转的以使得激光可以以希望的位置和角度发射和进入。这些旋转运动被手动地控制或由控制装置118A控制。激光雷达装置112的构造和操作在下面被详细地描述。多光谱照相机装置113是用于从物体获取光谱信息的成像传感器装置,并且可获取农作物生长状态等。该多光谱照相机装置113被设定为以便关于竖直轴是可旋转的,并且在附近设置有激光雷达装置112。附近的激光雷达装置112发射预定波长的激光束,该激光束的反射率可由是捕捉的图像的表面感知到,因此,农作物的精确的生长状态可被观察到。此外,旋转不限于如在本实施例中的仅一个轴;多光谱照相机装置113可关于多个轴是可旋转的以使得希望的位置和角度的图像可被获得。这些旋转运动被手动地控制或由控制装置118A控制。注意到,当多光谱照相机装置113没有通过使用激光雷达装置112的激光束的反射获得光谱信息时,多光谱照相机装置113不必设置成靠近激光雷达装置112。

无线通信天线114是用于通过与另一个农业机械100、农场土地监视装置500、状态监视装置550和无线访问点700等无线通信发送和接收信息的天线。无线通信天线114被附连到农业机械100A的顶壁,以使得可容易接收到无线信号。该无线通信天线114还能够执行无线中继。

手动操作单元116是用于手动地操作农业机械100A的部件。手动操作单元116包括操控轮,风门踏板,制动踏板和驾驶者的座位等,其是如下所述的部分的操控装置122。

控制装置118A与马达102A、传动装置104、任务装置106A、立体照相机装置110、激光雷达装置112、无线通信天线114、手动操作单元116和操控装置122等交换信息,并且控制所述农业机械100A。控制装置118A能够通过与任务装置106交换信息来识别任务装置106A。该控制装置118A被设定在农业机械100A内。控制装置118A也电连接到灯124,可检测农业机械100的行进方向的取向的地磁传感器,以及用于通过声音等吓唬目标的喇叭等,以及控制装置118A还控制这些元件。此外,控制装置118A还能够经由无线通信天线114与服务器704和用户终端710,712通信。注意到,控制装置118A包括CPU,RAM,ROM和存储器等,以及CPU基于存储在存储器中的程序执行控制处理。

GPS天线120是用于从四个卫星接收GPS信号用来辨认农业机械100的绝对位置的天线。GPS天线120被设定在农业机械100A的顶壁上以使得可容易接收GPS信号。如上所述的,农业机械100A能够通过利用GPS卫星识别位置,因此,例如即使当农业机械100A被偷窃时,如果网络环境建立,那么农业机械100A的位置可被识别并且农业机械100A可被容易地找到。注意到,该GPS天线120可从已知绝对位置的三个或更多个装置例如农场土地监视装置500和状态监视装置550等接收无线信号,而不是GPS信号或以及GPS信号。在该情况下,目前的绝对位置可根据接收信号的衰减,或从当信号被发送时到当信号被接收时花费的时间,或延迟时间,被识别。当难以在其中农场土地在室内的情况下获取GPS信号时这是特别有效的。

操控装置122包括操控手柄,操控齿轮箱,连接前轮的拉紧杆,以及臂,并且是用于转动农业机械的装置。前轮的取向是通过操作操控手柄或根据来自于控制装置118的控制信号变化的。

灯124是用于照亮农业机械100A前面的区域的用于在夜晚时间期间照明并用光吓唬目标的灯。

超声波声纳装置126是用于施加弹性波(声波)到物体并测量直到反射波被检测到的时间以辨认到物体的距离的传感器装置。超声波声纳装置126主要用于测量在不能够由立体照相机装置110捕捉的盲拐角处与障碍物等的距离。由超声波声纳装置126测量的超声波信息是第二数字信息和第四数字信息的示例。

前轮128是用于通过使农业机械100A运动并操作所述操控装置122来转动农业机械100A的。

后轮130是其中在马达102A的动能生成源处生成在传动装置104中的动能被最后传递到的轮,以及随着后轮130旋转,农业机械100A来回运动。

注意到,根据本实施例的农业机械(拖拉机)100A包括立体照相机装置110,激光雷达装置112,多光谱照相机装置113,以及作为用于从农业机械100A外部获取信息的传感器装置的超声波声纳装置126;然而,农业机械100A不必包括所有的这些装置,并且仅根据要被执行的任务使用的传感器装置可被设定。此外,不同于这些传感器装置的传感器,例如,可包括红外光传感器,温度传感器以及湿度传感器。由这些传感器获取到的信息被发送到服务器704。服务器704将该信息存储在数据库708中,并使用该信息用于预测收获期等。

图4示出另一个农业机械100B。农业机械100B也是拖拉机。不同于农业机械100A之处是农业机械100B并不包括手动操作单元116。也就是说,农业机械100B是通过远距离操作或自动控制执行任务的农业机械。此外,在农业机械100B中,立体照相机装置110被设定在前、后、左和右,并且农业机械100B可基于由这些立体照相机装置110捕捉的图像行进并执行任务。因此,与农业机械100A相比,自动操作和远距离操作在农业机械100B变得更为方便。注意到,遮篷被提供在设定于农业机械100B的前部和后部处的立体照相机装置110上方,以及遮篷减轻了由雨和雪引起的立体照相机装置110的污染。

内装在农业机械100B中的控制装置118B不需被连接到农业机械100A中的手动操作单元116。另一方面,多个立体图像必需被处理,因此大量的信息必需由控制装置118B处理,因此安装了具有比控制装置118A更高的性能的CPU或多个CPU。

此外,在农业机械100B中,手动操作例如操控手柄和操控齿轮箱所需要的元件在农业机械100A的操控装置122中的元件之中被省略。

图4中的任务装置106是播种机械;然而,任务装置106不限于此。类似于农业机械100A,农业机械100B能够连接到大范围的任务装置并执行任务。

注意到,在图4中,由附图标记表示的另一些元件具有与农业机械100A的元件相同的作用,因此描述被省略。

注意到,无线通信天线114(和控制装置118B)起到无线访问点的作用。因此,农业机械100可用作无线通信的中继点,以及其中无线通信是可能的区域能够被放大。

此外,如在图3和4中示出的,主体部件和任务装置106被描述为是农业机械100中的单独的主体;然而,这些元件可被集成。此外,农业机械100可连接到多个任务装置106以执行多个类型的任务。

<传动装置>

图5是用于详细描述图3或4中的传动装置104的示意图。该传动装置104变为用于使农业机械100和任务装置106运动的设备。该图中的实线示出动能的传递,虚线示出电子信号的传送,以及点划线示出供电线路。图5示出其中马达102的动能生成源是内燃机(发动机)的示例,以及驱动方法是后轮两轮驱动。其中马达102的动能生成源是电机的示例被示出在图6中。注意到,所述驱动方法不限于两轮驱动,而是所述驱动方法可以是四轮驱动的。

传动装置104包括后轮130,主离合器202,变速齿轮204,差动齿轮206,制动装置208,214,末级减速齿轮210,216,PTO(Power Take Off(动力输出))变速齿轮220,PTO轴222以及电池224。

主离合器202是用于中断在发动机处生成的动能的传递的装置。主离合器202被操作以当起动发动机时或在其中发动机开着的状态下停止行进或改变速度。主离合器202能够同时地中断行进装置和PTO的动能;然而,行程离合器和PTO离合器可通过单独的踏板和杆中断。

变速齿轮204是用于根据行进状态和任务状态将发动机的动能变换为旋转速度和扭矩的装置。变速齿轮204是用于拖拉机倒进或用于当发动机在旋转状态时停止农业机械100的必需装置。

差动齿轮206是用于以不同速度旋转左右轮以促进农业机械100的转弯以及消除轮的打滑的装置。

制动装置208,214被用在当制动踏板被按下时,以及当动能根据来自于控制装置118的控制信号被吸收以及行进速度减小或行进停止时。

末级减速齿轮210,216是用于进一步减小已经通过变速齿轮204和差动齿轮206的伞形齿轮减小的旋转速度以及进一步增加轴的驱动力的装置。

PTO变速齿轮220是用于改变提取发动机的部分的动能的动能提取装置的齿轮。

PTO轴222是提取发动机的部分的动能的驱动轴,并且被用作任务装置106的动能源。

电池224将电存储为化学能。通过将所述能量再次提取为电能,电池224充当用于点燃发动机和启动发动机以及用于灯124和控制装置118的电源。

对于由控制装置118控制的装置,从电池224供给电。然后,电能转换为动能等以控制所述装置。马达102基于来自于控制装置的控制信号来控制供给燃料的量和时间,以及活塞的往复运动变化以调节行进速度。在变速齿轮204和220中,电能驱动致动器以改变所述齿轮,以及农业机械100被控制以基于控制信号改变速度或倒进。在制动装置208,214中,致动器基于控制信号被驱动以制动并减小速度或停止行进。

接下来,通过利用图6,给出了用于通过电驱动所述农业机械100的传动装置104(104-2)的描述。图6示出了用于将马达102-2用作动力使农业机械100运动的传动装置104-2的细节。类似于图5,在该图中的实线示出了动能的传递,虚线示出了电子信号的传送,以及点划线示出了供给电的线路。该示例也是后轮两轮驱动的示例;然而,四轮驱动可被采用。在电驱动的情况下,如下所述的,通过使用非接触充电方法,自动充电是可能的,而没有使用人力,因此非接触充电方法是促进整个系统1500的自动化的有效方法。

图6基本上与图5是相同的;不同点主要被描述。马达102-2是包括电机控制器和电机的电力单元。传动装置104-2通过电机控制旋转频率和旋转方向,因此参照图5描述的变速齿轮204基本上是不必要;然而,变速齿轮204可被包括以更平滑地行进。

电池224-2包括变频器和电池。变频器将交流电压变换成直流电压。电池224-2具有比图5中的电池224的容量更大的容量。该电池224可通过结合多个紧凑电池被构造。该电池224-2从外部电源226充电。注意到,外部电源226没有被明确地包括在传动装置104的构造中;然而,外部电源226是用于由电机驱动的农业机械100的基本元件。该外部电源226使用非接触电力传输技术,因此电池224-2可被充电而没有使电线接触的任务。注意到,电池224-2可通过使用插头插座等的接触方法进行充电。

图6的任务装置106通过电能从电源228供给到任务装置等,而不是通过如图5中的PTO轴222,操作。然而,类似于图5,可通过使用PTO变速齿轮220和PTO轴222操作任务装置106。在该情况下,用于图5的传动装置104中的传统的任务装置106可被直接使用。

在由电机驱动的情况下,根据电机的特征,即使当电机的旋转频率是低的时候(也就是说,当在低速下运动时)也能够增加扭矩,因此与车辆等相比,电机适合于以低速执行任务的农业机械。此外,如下所述的,电池224-2可自动地充电,因此一系列的农业工作可有效地进行而没有占用多的人力。注意到,传动装置104-2可通过轮内电机方法执行驱动,通过此,电机被放置在轮内。

<立体照相机装置>

A.立体照相机装置的构造

图7示出立体照相机装置110的外部视图。立体照相机装置110捕捉某一区域的图像并生成可传送到农业机械100的控制装置118、服务器704和用户终端710,712的图像数据,并且另外在捕捉的图像中的每个点处获取距离立体照相机装置110的距离信息(或视差值信息)。当然,距离信息(或视差值信息)还可以传送到控制装置118等。该立体照相机装置110能够通过应用半全球匹配方法执行测距。

立体照相机装置110包括主体部件2和设置在主体部件2中的一对柱面成像装置10a和柱面成像装置10b。注意到,该立体照相机装置110通过包括旋转轴的柱被可旋转地附连到农业机械100。旋转运动被手动地或通过控制装置118控制。

图8示出立体照相机装置110的总硬件构造。如在图8中示出的,立体照相机装置110包括成像装置10a,成像装置10b,信号转换装置20a,信号转换装置20b以及图像处理装置30。

在这些装置中,成像装置10a用于捕捉在农业机械100前面的图景的图像,并且生成表示所述图像的模拟信号(模拟信息的示例)。成像装置10a包括成像透镜11a,光圈12a和图像传感器13a。成像透镜11a是用于通过折射光穿过成像透镜11a而形成物体的图像的光学元件。光圈12a通过阻挡已经穿过成像透镜11a的光的一部分来调节要输入到如下所述的图像传感器13a的光的量。图像传感器13a是将来自于成像透镜11a和光圈12a的光输入转换成电模拟图像信号的半导体的元件,并且通过电荷耦合装置(CCD)和互补金属氧化物半导体(CMOS)实现。注意到,成像装置10b具有与成像装置10a相同的构造,因此成像装置10b的描述被省略。此外,成像透镜11a和成像透镜11b被设定为以使得透镜的光轴彼此平行。

此外,信号转换装置20a用于将捕捉的图像的模拟信号转换成数字格式的图像数据(第一数字信息和第三数字信息的数字成像示例)。信号转换装置20a包括相关双采样(CDS)21a,自动增益控制(AGC)22a,模拟-数字转换器(ADC)23a,和帧存储器24a。CDS 21a通过相关双采样从由图像传感器13a转换的模拟图像信号移除噪声。AGC 22a执行增益控制用于控制噪声已经通过CDS 21a从其被移除的模拟图像信号的强度。ADC 23a将已经由AGC 22a增益控制的模拟图像信号转换为数字格式的图像数据。帧存储器24a存储由ADC 23a转换的图像数据(参考图像)

相似地,信号转换装置20b用于从已经由包括成像透镜11b、光圈12b和图像传感器13b的成像装置10b转换的模拟图像信号获取图像数据。信号转换装置20b包括CDS 21b,AGC 22b,ADC 23b和帧存储器24b。注意到,CDS 21b,AGC 22b,ADC 23b和帧存储器24b分别具有与CDS 21a,AGC 22a,ADC 23a和帧存储器24a相同的构造,因此其描述被省略。然而,帧存储器24b存储比较图像。

此外,图像处理装置30是用于处理已经由信号转换装置20a和信号转换装置20b转换的图像数据的装置。图像处理装置30包括FPGA(现场可编程门阵列)31,CPU(中央处理单元)32,ROM(只读存储器)33,RAM(随机存取存储器)34,I/F(接口)35,和总线39例如地址总线和和数据总线等,用于电连接由如图8中示出的附图标记31到35表示的构成元件。

在以上的构成元件中,FPGA 31是在制造之后可由购买者或设计者为其设定构造的集成电路;在此,FPGA 31执行计算由图像数据表示的图像中的视差d的处理。CPU 32控制立体照相机装置110的功能。ROM 33存储用于由CPU 32执行的图像处理的程序,用于控制视差值导出装置的功能。RAM 34被用作CPU 32的工作区域。I/F 35是用于与农业机械100的控制装置118连接的接口。注意到,以上用于图像处理的程序可通过记录在计算机可读的记录介质中以具有可安装格式或可执行格式的文件分销(distributed)。记录介质是CD-ROM和SD卡等。

接下来,图9示出立体照相机装置110的主要部分的硬件构造。如在图9中示出的,FPGA 31包括成本(一致度或不相似度,相似度)计算单元310,成本组合单元320以及视差值导出单元330。这些单元是FPGA的电路的一部分;然而,通过执行存储在ROM 33中的用于图像处理的程序,相同的处理可被执行。

在这些单元之中,成本计算单元310基于参考图像Ia中的参考像素的亮度值以及在与该参考像素有关的比较图像Ib中的沿着表极线的多个候选对应像素的亮度值,来计算对应于参考像素的候选对应像素的成本值C。

成本组合单元320将由成本计算单元310获得的与一个参考像素有关的候选对应像素的成本值与由成本计算单元310获得的与另一个参考像素有关的候选对应像素的成本值组合,并且输出该合成成本值Ls。注意到,组合处理是基于如下所述的(公式3)从成本值C计算路线成本值Lr以及随后基于如下所述的(公式4)增加相应径向射线的路线成本值Lr,来计算最后的合成成本值Ls。

视差值导出单元330基于一个参考像素在参考图像中的位置和在通过成本组合单元320组合之后的合成成本值Ls对其是最小的对应像素在比较图像中的位置,导出视差值Δ 320,并且输出指示在每个像素中的视差值的视差图像Ic。可以通过下面描述的(公式2),通过使用以上获得的视差值Δ,成像透镜11a和成像透镜11b的焦距f以及为成像透镜11a和成像透镜11b之间的长度的基部长度B,计算距离Z。获得距离Z的处理可以在视差值导出单元330处或在CPU 32或服务器704处执行。如上所述的,立体照相机装置110能够通过使用与捕获的图像有关的视差来获得到捕捉的图像中的相应点的距离信息(或视差值信息)。注意到,在为不是获得视差值的操作的图像处理或图像辨认中,参考图像或比较图像中的任一个可被使用(也就是说,从图像传感器13a或图像传感器13b获得的图像,类似于由通常的单眼照相机捕捉的图像。那是两个图像之间的一个类型的图像)。

此外,不仅对于通过使用图像信息测距的情况,而且在获得具有更高对比度的图像的方法中,成像装置10可包括设定在图像传感器13a和13b的接受表面上的偏振滤光器40。偏振滤光器40是亚波长结构(SWS)偏振滤光器。偏振滤光器40具有其中仅透射S个偏振分量的光的偏振器区域和仅透射P个偏振分量的光的偏振器区域被交替布置的结构。一个偏振器区域的尺寸与图像传感器13a和13b的光接收元件的一个像素的尺寸相同,以及偏振滤光器40被设定成以使得相应的偏振器区域位于所述像素上方。通过构造如上所述的立体照相机装置110,并生成用于已经透射过相应偏振器区域的光的光接收信号中的每个的分离图像,S个偏振分量和P个偏振分量分离,以及仅S个偏振分量的图像和仅P个偏振分量的图像得以获得。相应的图像是第二数字信息和第四数字信息的示例。在立体照相机中,两个成像元件被使用,因此仅S个偏振分量的图像和仅P个偏振分量的图像中的每个中的两个被获得,以及通过比较相同的偏振分量的图像,可以获得相应的视差值(距离)。

通过获得偏振图像,例如,变得容易检测在黑色对象的平面方面上的差异。这是因为来自于所述对象的光的偏振状态根据对象的平面方向不同。此外,根据偏振图像,变得容易检测是否存在透明对象。这是因为当光穿过透明对象时,透射率根据光的偏振状态改变。也就是说,通过使用偏振照相机,高对比度图像可获得,并且可以获得不能够从亮度图像获得的信息。如上所述的,通过偏振照相机,可以检测地上的霜,具有叶子相同的颜色(保护色)的附着到植物叶子的害虫,以及植物的结构主体(分枝之间的长度等),其难以通过通常的照相机捕捉。此外,通过将偏振立体照相机用作立体照相机装置110,除了诸如霜和害虫的信息之外,可以检测和测距冻结的道路,以及精确地检测农场土地的田垄并执行进一步的测距。此外,通过获得具有偏振滤光器的偏振图像,可以容易地检测植物的结构主体。此外,关于偏振图像的图像辨认率增加,以及例如,关于植物的外形的特征,例如分枝之间的茎的长度和厚度以及叶子的尺寸,可被更精确捕捉。因此,通过利用以上信息,整个系统1500能够感知到植物的生长状态并区分植物的类型(例如,是否植物是农作物或野草)。注意到,当距离信息是不必要的时候,类似于单目照相机的情况,仅从图像传感器13a和13b的任一个获得的偏振图像信息要被利用。当然,当距离信息还用来检查准确尺寸等,从两个成像元件获得的信息项要被利用。

B.使用SGM方法的测距方法的描述

接下来,给出了通过立体照相机装置110的测距方法的描述,特别通过使用SGM方法获得视差值的方法。首先,通过利用图10至图15,给出了利用SGM方法的测距方法的概要的描述。

通过利用图10,给出了从立体相机导出关于对象的视差并通过立体成像方法通过指示视差的视差值测量从立体相机到对象的距离的原理的描述。此外,在下文中,为了简化该描述,以一个像素为单位而不是预定区域(匹配块)给出描述。

此外,由图1中所示的成像装置10a和成像装置10b捕捉的图像10分别称为参考图像Ia和比较图像Ib。注意到,在图10中,假设成像装置10a和成像装置10b水平地平行布置并且处于相同的高度。在图10中,三维空间中的物体E上的点S被映射到沿着成像装置10a和成像装置10b的相同水平线的位置。也就是说,在参考图像Ia中的点Sa(x,y)和比较图像Ib中的点Sb(x',y')处捕捉每个图像中的点S。此时,使用成像装置10a的坐标中的点Sa(x,y)和成像装置10b的坐标中的点Sb(x',y'),通过(公式1)表示视差值Δ。

Δ=x’-x (公式1)

在此,在图10的情况下,基于参考图像Ia中的点Sa(x,y)和从成像透镜11a下降的垂直线到图像表面的交叉点之间的距离Δa以及在比较图像Ib中的点Sb(x’,y’)和从成像透镜11b下降的垂直线到图像表面的交叉点之间的距离Δb,获得视差值Δ=Δa+Δb。

此外,通过使用视差值Δ,可以导出成像装置10a,10b与物体E之间的距离Z。具体地,距离Z是从包括成像透镜11a的焦点位置和成像透镜11b的焦点位置的平面到物体E上的特定点S的距离。如图10所示的,通过使用成像透镜11a和成像透镜11b的焦距f,作为成像透镜11a和成像透镜11b之间的长度的基部(base)长度B以及视差值Δ,可以通过(公式2)计算距离Z。

Z=(B×f)/Δ (公式2)

通过该(公式2),随着视差值Δ增加,距离Z减小,以及随着视差值Δ减小,距离Z增加。

接下来,通过利用图11到15,给出了使用SGM方法的测距方法的描述。注意到,图11A示出参考图像,图11B示出通过关于图11A的边缘检测方法获得的视差图像作为比较目标,以及图11C是示出通过关于图11A的SGM方法获得的视差图像的概念图;在此,参考图像是其中物体由亮度示出的图像。根据边缘检测方法的视差图像是通过边缘检测方法导出的图像并且是示出参考图像的边缘部分的视差值的图像。根据SGM方法的应用的视差图像是通过SGM方法的应用技术从参考图像导出的图像,并且是示出在参考图像中的相应坐标的视差值的图像。在图11C中,视差值的差由颜色的阴影示出。本实施例示出了随着颜色变得越暗,视差值减小。也就是说,随着颜色变得越暗,距离变得越长。

SGM方法是一种即使对于具有较弱纹理的物体也适当地导出上述视差值的方法。图11C中示出的视差图像是根据SGM方法基于图11A中示出的参考图像导出的。注意到,当使用边缘检测方法时,基于图11A中示出的参考图像导出图11B中示出的边缘视差图像。如通过比较由图1B和图11B中的虚线围绕的圆圈801的内部可以看出的,与根据边缘检测方法的视差图像相比,根据SGM方法的视差图像可以表达诸如具有较弱纹理的区域的详细信息,因此可以执行更详细的测距。

在该SGM方法中,在计算为非相似性的成本值之后不立即导出视差值;替代地,在计算成本值之后,还计算为合成不相似性的合成成本值以导出视差值,最后,指示所有像素中的视差值的视差图像(在此,根据SGM方法的视差图像)被导出。注意到,在边缘检测方法的情况下,计算所述成本值的处理与SGM方法相同;然而,不像在SGM方法中那样计算合成成本值,并且仅计算边缘部分的视差值。

接下来,通过利用图12和图13,给出了计算成本值C(p,d)的方法的描述。图12A是示出参考图像中的参考像素的概念图,以及图12B是示出当候选对应像素相对于图12A的参考像素顺序偏移时的偏移量的计算的概念图像。图13是示出各偏移量的成本值的曲线图。

如在图12A中示出的,基于在参考图像中的预定参考像素p(x,y)的亮度值和沿着关于该参考像素p(x,y)的比较图像中的表极线的多个候选对应像素q(x+d,y)的亮度值,计算相对于参考像素p(x,y)的每个候选对应像素q(x+d,y)的成本值C(p,d)。d是参考像素p和候选相应像素q的偏移量,以及在本实施例中,以像素为单元的偏移量被表示。也就是说,在图12中,当以预先指定的范围(例如,0<d<25)一次一个像素地顺序地偏移所述候选对应像素q(x+d,y)时,计算为候选对应像素q(x+d,y)和参考像素p(x,y)的亮度值的相似度的成本值C(p,d)。如上计算的成本值C(p,d)可由为每个偏移量d示出的曲线图表示,如图13中示出的。在图13中,当偏移量d=5,12,19时所述成本值C为零,因此不能够获得最小值。如上所述的,在物体具有较弱纹理的情况下,难以获得所述最小值。也就是说,在边缘检测方法中,当纹理弱时,存在测距不能被精确地执行的情况。

接下来,通过利用图14和15,给出了合成成本值Ls(p,d)的计算方法的描述。图14是导出合成成本值的处理的概念图。图15是示出每个视差值的合成成本值的曲线图。根据本实施例的合成成本值的计算是只有SGM方法才有的方法;不仅是计算的成本值C(p,d),而且所述成本值,其对应于其中预定参考像素p(x,y)周围的像素是参考像素的情况,与参考像素p(x,y)处的成本值C(p,d)积分,以计算合成成本值Ls(p,d)。

在此,给出了合成成本值的计算方法的更详细的描述。为了计算所述合成成本值Ls(p,d),首先,路线成本值Lr(p,d)需要被计算。(公式3)是用于计算路线成本值Lr(p,d)的公式,以及(公式4)是用于计算合成成本值Ls(p,d)的公式。

Lr(p,d)=C(p,d)+min{(Lr(p-r,d),Lr(p-r,d-1)+P1,Lr(p-r,d+1)+P1,Lrmin(p-r)+p2}

(公式3)

在此,r示出积分方法。min{}是用于获得所述最小值的函数。Lr被递归地应用,如在公式3中示出的。此外,P1和P2是通过实验预先限定的固定参数,以及这些参数被设定成以使得像素距离参考像素p(x,y)越远,对路线成本值Lr的影响就越小。例如,P1=48,P2=96。

此外,如在(公式3)中示出的,通过将在图14中示出的r方向上的相应像素中的相应像素的路线成本值Lr的最小值增加到参考像素p(x,y)处的成本值C,获得Lr(p,d)。如上所述的,为了获得在r方向上在每个像素处的Lr,首先,Lr是从相对于参考像素p(x,y)在r方向上的远端处的像素获得的,然后获得用于沿着r方向的像素的Lr。然后,如在图14中示出的,八个方向的Lr0,Lr45,Lr90,Lr135,Lr180,Lr225,Lr270,Lr315被获得,以及最后,基于(公式4),获得合成成本值Ls。

Ls(p,d)=ΣLr (公式4)

如上所述计算的合成成本值Ls(p,d)可以由为每个偏移量d示出的曲线图表示,如图15中示出的。在图15中,当偏移量d=3时的合成成本值Ls最小,因此视差值Δ=3被计算。

注意到,SGM方法比边缘检测方法占用更多的时间进行处理,因此当该处理需要快速进行地超过获得测距精度时,测距可通过边缘检测方法执行。在该情况下,通过图9中示出的成本组合单元320的处理没有被执行,并且视差值导出单元330从最小成本值仅导出边缘部分的视差值。

注意到,根据本实施例的可由立体照相机装置110测量的距离是105米,误差时几厘米。

注意到,当要由立体照相机装置110捕捉的物体被辨认时,距离是已知的,物体的尺寸和长度可以是已知的。也就是说,立体照相机装置110的ROM 33存储示出所述距离和尺寸和每个像素的长度之间的关系的表,因此CPU 32能够识别所述物体的尺寸和长度。注意到,ROM 33不会存储所述表,但是可存储所述距离和尺寸与每个像素的长度之间的关系表达式。此外,所述处理不会在立体照相机装置110中执行,而是计算物体的尺寸和长度的处理可通过农业机械100的服务器704或控制装置118执行,其包括用于计算所述尺寸和长度所需要的数据,例如如上所述的表。

<激光雷达装置>

图16示出激光雷达装置112的构造。根据激光雷达装置112的形状信息是第一数字信息和第三数字信息的示例。此外,根据激光雷达装置112的距离信息是第二数字信息和第四数字信息的示例。激光雷达装置112用脉冲激光束照射目标,测量反射的脉冲激光束的回程时间t,并由(公式5)计算到所述照射点的距离L。

L=c×t/2 (公式5)在此,c是光速。

此外,激光雷达装置112能够在二维方向上扫描激光束,由此能够获得到目标的这些点的取向并测量该目标的形状。

激光雷达装置112包括,在主体部件50中的,激光二极管驱动电路51,激光二极管52,光投影透镜53,两个反光镜68,70,摆动电机54,多角镜55,光接收透镜56,光敏二极管58,放大电路60,时间间隔计数器61,电机控制电路62,控制器64和激光束发射进入窗口66。

激光二极管驱动电路51生成要输入到激光二极管52的脉冲信号。激光二极管52发射脉冲激光束。光投影透镜53使从激光二极管52发射的脉冲激光束变为平行光。在脉冲激光束的行进方向被反光镜68,70改变之后,由控制器64控制的电机控制电路62使得该平行光入射在以固定速度在θ轴55a上旋转的多角镜55上。通过使用根据由控制器64控制的电机控制电路62以预定速度摆动的摆动电机54,多角镜55在θ轴54a上摆动。因此,入射在多角镜55上的激光束在二维方向上扫描以通过激光束发射进入窗口66照射到目标。此外,控制器64能够从未示出的水平(level)获取信号,输出指令到电机控制电路62以使得激光束在水平方向上恒定地发射,以及操作所述摆动电机54以控制θ轴的旋转。从目标反射的脉冲激光束经由多角镜55在光接收透镜56处聚光,在光敏二极管58处接收以及转换为电子信号。由转换获得的电子信号在放大电路60处被放大,然后时间间隔计数器61测量与激光二极管52的脉冲振荡时间同步的起动脉冲和从放大电路60输出的停止脉冲之间的时间间隔。控制器64设定测量的回程时间t、以及多角镜55的旋转角θ和摆动角作为极坐标系数据(t,θ,),此外,控制器64将极坐标数据转换为三维空间数据(X,Y,Z),其将激光雷达装置112的设定位置用作原点,以获得目标的形状。

在控制器64处获得的信息可被传送到农业机械100的控制装置118,服务器704和用户终端710,712。

当该激光雷达装置112被设定在水平平面上时,可以进行测量大约60度作为水平视角,大约30度作为竖直视角,以及沿着水平平面在大约60米的测量范围内。注意到,测量范围根据激光二极管52的类型和激光二极管驱动电路51等的输出电压变化。

此外,当仅到目标的距离要被获得时,或者当在二维方向上扫描的激光束是不必要的时候,多角镜55没有被摆动电机54摆动。在该情况下,激光束根据多角镜55在θ轴上的旋转在一维方向上扫描。

此外,要被使用的激光二极管52根据任务的目的进行选择。例如,当植物的活性度是要通过与多光谱照相机装置113结合的主动方法从植物的叶子的状态测量时,激光二极管52,其能够发射具有接近660纳米的波长的可见红色区域的激光束被使用(通过使用多光谱照相机装置113检查植物的活性度的方法被描述如下)。在其中激光雷达装置112和多光谱照相机装置113如上所述的被结合使用的情况下,从激光雷达装置112发射的激光要被使用,因此,激光雷达装置112和多光谱照相机装置113是要布置成彼此靠近。另一方面,当激光雷达装置112独立地执行任务时,不需要将激光雷达装置112和多光谱照相机装置113布置成彼此靠近。注意到,替代使用摆动电机54和多角镜55,激光束可通过使用可执行二维扫描的微机电系统(MEMS)镜装置被扫描。

此外,激光雷达装置112可由用固定光学元件例如格栅使激光束偏斜的非扫描类型的激光雷达装置形成,而没有使镜运动来扫描所述激光。通过使用这样的非扫描类型的激光雷达装置,驱动位置可减少,因此故障可减少,即使当运动时存在快速的竖直运动。

注意到,在根据本实施例的农业机械100中,激光雷达装置112可旋转地设定在靠近多光谱照相机装置113的位置处。旋转运动被手动地控制或者由控制装置118控制。

<多光谱照相机装置>

图17示出多光谱照相机装置113的外部视图。根据多光谱照相机装置113的光谱信息是第二数字信息和第四数字信息的示例。多光谱照相机装置113是可捕捉图像并获得在捕捉的图像中的光谱反射率的照相机装置。多光谱照相机装置113适于以非接触/非破坏方式立刻地检测在某一范围(区域,平面)中而不是在一个点处的植物的状态。多光谱照相机装置113包括主体部分400和透镜筒部分402。多光谱照相机装置113被可旋转地设定在农业机械100中。旋转运动被手动地控制或由控制装置118控制。因此,多光谱照相机装置113能够捕捉从围绕农业机械100的各个方向上的目标反射的光的图像,并且感知生长状态例如植物活性度,分枝之间的长度以及叶子的尺寸。

图18示出多光谱照相机装置113的构造。左侧是前视图,右侧是从侧表面看到的截面视图。主体部分400包括微透镜阵列414,光接收元件阵列416,FPGA 418和光谱反射率计算单元420。透镜筒部分402包括发光二极管(LED)404,主透镜408,光圈409,滤光器410,和聚光透镜412。

微透镜阵列414是其中多个小透镜被布置在二维方向上的光学元件。光接收元件阵列416包括多个光接收元件,光接收元件阵列416是单色传感器,其中用于每个光接收元件(在下文中,还称为"像素")的滤色器没有被安装。光接收元件阵列416是用于将光学信息转换为电子信息的传感器。

FPGA 418是光谱图像生成单元,其基于从光接收元件阵列416输出的光谱信息的电子信息生成多个类型的光谱图像。

光谱反射率计算单元420由诸如CPU,ROM和RAM的半导体元件形成,并且从生成在FPGA 418处的光谱图像计算对于每个像素的光谱反射率。

从多光谱照相机装置113的输出是在FPGA 418处生成的多个类型的光谱图像以及该光谱图像的每个像素的光谱反射率。这些信息项被传送到农业机械100的控制装置118,服务器704,用户终端710,712和状态监视装置550的控制单元等。

LED 404包括多个光源,其在嵌入状态下以等距的间隔布置在透镜筒部分402的前端前端部部分。通过将LED用作光源,多光谱照相机装置113受到成像环境的影响较小,以及可获得稳定的光谱信息。主透镜408是引导从物体406反射的光穿过光圈409到滤光器410的透镜。光圈409是用于调节穿过的光的量的掩模。滤光器410的光谱透射率在空间上连续地变化。也就是说,滤光器410具有多个光谱特性。注意到,滤光器410的光谱透射率的连续性的方向性不受限制,如果该连续性在一个平面上。例如,在正交于主透镜408的光轴的平面上,连续性可在图18右侧的竖直方向上,或在相对于该竖直方向的正交方向上,或在与该方向倾斜地相交的方向上。聚光透镜412是用于导引已经穿过滤光器410到微透镜阵列414的光的透镜。

来自于物体406的反射光进入到主透镜408中,所述物体已经从LED 404等接收光。已经进入到主透镜408的光通量变为光谱反射率测量的目标。已经进入主透镜408的光通量是许多光束的组合,每个光束穿过光圈409的不同位置。反射光被在主透镜408处被聚光,要穿过的聚光的光量在光圈409处被调节,调节的光进入滤光器410。注意到,在本实施例中,光圈409位于滤光器410上;然而,光圈409的位置不限于此。已经进入滤光器410的光束穿过具有不同光谱反射率的滤光器。光束,其已经穿过滤光器410,在聚光透镜412处被聚光,并且暂时地形成靠近微透镜阵列414附近的图像。注意到,微透镜阵列414被设定成以使得多个微透镜(小型的透镜)被布置在正交于主透镜408的光轴的方向上。光束,其已经暂时地形成一图像,通过微透镜阵列414被分别引起抵达光接收单元阵列416中的不同位置。也就是说,光接收元件阵列的光接收表面的位置对应于光束已经穿过的滤光器410的位置,因此可以同时地测量物体406的某一点的光谱反射率。

图19是用于本实施例中的滤光器410和光圈409的前视图。滤光器410的底部部分具有短的波长的光谱透射率峰值以及滤光器410的顶部部分具有长的波长的光谱透射率峰值。在该情况下,捕捉的图像将具有布置成如在图20中示出的小圆圈。这些形状是圆圈,因为主透镜408的光圈409的形状具有圆形的形状。小圆圈中的每个在此被称为“宏像素”。通过收集所有的宏像素,形成一个图像。每个宏像素紧挨着形成在形成微透镜阵列414的每个小透镜(微透镜)之下。宏像素的直径和微透镜的直径基本上是相同的。

如在图18中示出的,光束,其已经穿过滤光器410的底部部分,抵达宏像素的顶部部分,以及光束,其已经穿过滤光器410的顶部部分,抵达宏像素的底部部分。假定滤光器410被布置成以使得所述底部部分具有短的波长的光谱透射率峰值以及顶部部分具有长的波长的光谱透射率峰值,具有短的波长的光束抵达宏像素的顶部部分以及具有长的波长的光束抵达宏像素的底部部分,以便对应于以上的布置。FPGA 418从由相应波长的光束抵达的像素获得的光谱信息生成光谱图像。因此,对应于希望的波长的多个光谱图像可被获得。光谱反射率计算单元420计算每排宏像素的平均值,并可通过考虑照明例如LED 404的光谱强度、主透镜408和聚光透镜412的光谱透射率、滤光器410的光谱透射率以及光接收元件阵列416的光谱灵敏度执行计算来获得光谱反射率。

宏像素的放大视图示出在图21中。在此,考虑其中一个宏像素具有19×19像素的情况。从该一个宏像素,物体406的某一点的光谱反射率被获得。首先,用于获得最短波长(λs)侧上的反射系数的处理被描述。可从多光谱照相机装置113获得的数据是从光接收元件的输出值,以及该输出值对应于进入所述光接收元件的光束的量。光束的量是在照明例如LED 404的光谱强度、物体406的光谱反射率、光学系统(主透镜408,聚光透镜412等)的光谱透射率、滤光器410的光谱透射率和光接收元件阵列416的光谱灵敏度的这五个特性的波长λs处的值的乘积。由此,为了获得在物体406的λs处的反射率,输出值要除以不同于光谱反射率的四个值。

在此,用作输出值的值是通过图21中的最下段一排中的19个像素的输出值的总和除以其中形成宏像素的面积而获得的值。其中形成宏像素的面积是光束抵达的面积,不同于图21中填充黑色的区域。这是要标准化每排的输出值。通过以上处理,可以获得在λs处的反射率的相对值。所述绝对值要求附加的校准。照明例如LED 404的光谱强度,主透镜408和聚光透镜412的光谱透射率,滤光器410的光谱透射率,光接收元件阵列416的光谱灵敏度以及每排宏像素的面积早已在设计时就知道了。通过施加以上的处理到每排宏像素,可以获得在19个波长处的反射率。

测量结果的示例示出在图22中。水平轴示出波长,竖直轴示出光谱透射率的相对值。以上是关于一个宏像素的处理,以及通过施加相同的处理到所有的宏像素,滤光器410可测量二维的光谱反射率。可通过将薄膜蒸汽沉积在由光学玻璃等制成的透明基板上以使得该薄膜厚度以楔子的形式变化来制作该滤光器410。根据本实施例的薄膜的材料是五氧化二铌,并且在短的波长侧上的材料是五氧化二钽。所述薄膜的膜厚度是几十到几百纳米。具有较薄的膜厚度的部分对应于短的波长,以及具有较厚的膜厚度的部分对应于长的波长。薄膜的厚度以楔子的形式变化(没有台阶),因此,光谱透射率也连续地变化。

光谱透射率由光的干涉控制,因此透射光束彼此增强的条件对应于光谱透射率的峰值波长。透明基板的厚度要设定为以使得能够保持滤光器。存在被设计为靠近光圈位置附近的部分的透镜,并且在这些透镜的情况下,基板优选为薄的。例如,基板为约0.5mm。如上所述的,通过使用具有连续光谱透射特性的滤光器410,可以在捕捉图像的同时直接获得连续光谱反射率。因此,不需要估计处理,并且可以测量具有关于噪声的高鲁棒性的二维光谱反射率。

接下来,通过利用图23,给出了根据本实施例的能够用于多光谱照相机装置113中的滤光器的另一示例的描述。图23A中示出的滤光器430具有针对每个传输频带分割的构造。也就是说,滤光器430由对应于400nm至500nm的波长区域的滤光器430a、对应于500nm至600nm的波长区域的滤光器430b和对应于600nm至700nm的波长区域的滤光器430c形成。因此,滤光器430是其中光谱透射率在紫外区域和红外区域中连续改变的滤光器。滤光器430a,430b和430c中的每个是其中光谱透射率在空间上连续变化的滤光器。在此,如该图中看到的,相应波长从顶部朝向底部增加。在滤波器430a,430b和430c中的每个的纵向方向上的方向不必一致。实质上,只要存在其中光谱透射率连续变化的区域,则方向性无关紧要。此外,滤光器430a,430b和430c不限于上述构造,只要滤光器具有至少部分不同的波长区域即可。上述传输频带是示例;但是传输频带不限于上述值。通过分割如上所述的滤光器,可以减小对应于一个像素的波长宽度。也就是说,可以相对于波长以高分辨率测量光谱反射率。此外,通过分割和布置滤光器,与长且薄的滤光器相比,可以在窄光圈直径内确保光谱透射率的连续性。

注意到,为了有效地使用光,光圈409的形状可以是正方形,多边形或另一希望的形状。

图24示出了关于植物的叶子的典型光谱反射光谱。实线2401示出正常叶子的光谱(高植物活性度),虚线2402示出枯萎叶子的光谱(低植物活性度)。如该图中的实线2401示出的,具有高植物活性度的正常叶子通过吸收为一个类型的叶绿体的叶绿素在其中波长是大约660nm的可见红色区域(或较短波长区域)2404中具有低的反射率。另一方面,具有高植物活性度的正常叶子在其中波长为700nm至1100nm的近红外区域2405中具有高的反射率。另一方面,在具有低的植物活性度的枯萎叶子中,叶绿素分解,因此叶绿素在可见红色区域2404中没有被吸收太多,并且该反射率高于正常叶子的反射率。注意到,这种趋势在植物中是相似的,不管植物的类型如何。因此,可以基于可见红色区域2404中的光谱反射率R和近红外区域IR中的光谱反射率通过使用(公式6)来获得正常化差异植被指数(NDVI)。

NDVI=(IR-R)/(IR+R) (公式6)

典型地,正常化差异植被指数(NDVI)是从-1到+1的值,NDVI的值越高,植物活性度越高。通过使用多光谱照相机装置113,在逻辑上,可以在所有成像区域中获得该正常化差异植被指数NDVI。也就是说,如在图23B的滤光器440中的,对应于是可见红色区域2404的660纳米的波长范围的滤光器440a,以及对应于是近红外区域2405的770纳米的波长范围的滤光器440b,被用作根据本实施例的多光谱照相机装置113的滤光器。注意到,对应于作为近红外区域2405的785纳米或900纳米的波长范围的滤光器可被用作滤光器440b。在该情况下,785纳米是可容易由激光二极管(LD)获得的波长。设定的LED 404具有这样的特征:LED 404的一半在当波长接近660纳米时发射具有高强度的光,以及当波长接近770纳米时另一半发射具有高强度的光。通过以上构造,多光谱照相机装置113发射LED光到目标植物并捕捉反射光的图像。然后,FPGA 418获得660纳米的波长的光谱图像和770纳米的波长的光谱图像。光谱反射率计算单元420获得在这些光谱图像中的希望的位置或区域处的光谱反射率。此外,在光谱反射率计算单元420中的CPU通过应用(公式6)获得正常化差异植被指数NDVI。注意到,替代多光谱照相机装置113中的CPU,已经获取所述光谱图像和光谱反射率信息的农业机械100的控制装置118或服务器704可应用(公式6)并获得正常化差异植被指数NDVI。注意到,对于每个农作物的正常化差异植被指数NDVI被发送到并存储在数据库708中。注意到,替代使用正常化差异植被指数NDVI,仅可见红色区域(例如,660纳米)2404的波长的光谱反射率可用来感知植物的生长状态。这是因为在该可见红色区域2404中,光谱反射率的变化根据植物活性度的差异是大的。因此,可以感知生长状态并省略在近红外区域2405中的光谱反射率的测量和正常化差异植被指数NDVI的计算,以及该处理和确定可快速地进行。另一方面,通过获得正常化差异植被指数NDVI,可以获得生长状态(植物活性度)的正常化和更精确的信息。

此外,通过每天观察正常化差异植被指数NDVI,可以精确地预料收获期。例如,叶子蔬菜优选地在当正常化差异植被指数NDVI最大(当植物活性度最大时)时收获。正常化差异植被指数NDVI的最大值和当抵达正常化差异植被指数NDVI的最大值时的日子对不同农作物是不同的,因此其中希望收获的正常化差异植被指数NDVI的范围被确定用于每个植物。这可通过使用存储在数据库708中的正常化差异植被指数NDVI的数据由服务器704或用户终端710,712进行。例如,作为实验,观察结果由正常化差异植被指数NDVI对其超过局部最大值的相同种类的多个农作物组成,以及根据变化程度等,其中要收获的农作物的正常化差异植被指数NDVI的范围被确定(例如,关于莴苣,在正常化差异植被指数NDVI的范围中的是0.5到0.55)。那么,当由多光谱照相机装置113等获得的农作物的正常化差异植被指数NDVI在确定的范围内时,相应农作物要被收获。此外,收获期可通过从存储的数据中获得对于每种农作物的正常化差异植被指数NDVI的每日变化的统计趋势被预测。

此外,根据多光谱照相机装置113,可以基于颜色确定产物(果实)的质量(糖含量)。在该情况下,使用滤光器430,其被分割用于图23A的每个传输频带(400纳米到500纳米(430a),500纳米到600纳米(430b),600纳米到700纳米(430c)),此外,使用彩色传感器,其中RGB的滤色器对于光接收元件阵列416的每个光接收元件(像素)以拜耳(Bayer)布置进行布置。该RGB滤色器包括在B(蓝色)中接近470纳米、在G(绿色)中接近540纳米以及在R(红色)中接近620纳米的光谱峰值(最大值)。形成滤光器430的滤光器(430a和430b和430c),以及彩色传感器中形成滤光器440的RGB的滤光器具有不同的光谱特性。当光束穿过形成滤光器430的滤光器和形成彩色传感器中的滤光器440的滤光器时,可以同时地获取光谱信息,类似于其中光束已经穿过3×3=9类型的带通路滤光器的情况。然而,从狭义来说,光仅可穿过每个滤光器中的部分的光谱透射区域透射,因此在本实施例中,基本上六个类型的光谱信息被获取。如果六个类型的光谱信息可被如上所述地获取,在自然界中的光谱可以高精度测量,以及捕捉的颜色可被准确地辨认。该多光谱照相机装置形成可精确地测量可见光的比色照相机装置。例如,在果实的情况下,例如一种草莓,其中糖含量随着草莓变熟和变红增加,多光谱照相机装置(比色照相机装置)113可获得在整个果实的光谱图像中的可见红色区域中的光谱反射率,因此糖含量可被估计。

此外,关于具有薄果皮的果实例如桃,多光谱照相机装置113可测量近红外区域的光谱反射率以及糖含量可基于光谱分布进行估计。

此外,多光谱照相机装置113可以以非接触/非破坏方式测量包括在植物的绿叶中的水分含量。当植物中存在水分不足时,水分亏缺施加在植物上,在绿叶的表面上的光谱特性变化,因此通过捕捉该变化,含水量被测量。如在图24中示出的,存在其中反射率从可见红色区域到近红外区域快速地增加的区域(红色边缘)。已知的是,当水分亏缺被施加到植物,其中反射率增加的区域朝向其中波长是短的蓝色侧(左侧)偏移(蓝色偏移)。图24的虚线2403示出在其中水分亏缺被施加的情况下的蓝色偏移。如果该偏移量可被检测,纳米可以识别植物的叶子中的含水量(水分亏缺的施加度)。由此,为了检测该水分亏缺度的目的,为了测量在其中反射率从可见红色区域到近红外区域快速地增加的区域中的多个波长的反射率,多光谱照相机装置113设置有光谱过滤器,用于处理多个波长区域。例如,光谱过滤器像滤光器410可从可见红色区域到近红外区域连续地变化,或者光谱过滤器可以是用于选择性地透射希望的波长(例如,715纳米,740纳米)的滤光器。

通过测量关于在其中反射率从可见红色区域到近红外区域快速地增加的区域中的希望的波长的反射率,以及比较测量的反射率与作为参考的反射率(例如,关于在其中水分亏缺没有被施加的状态下每个波长的光谱反射率),可以检测所述偏移量。在该情况下,LED,其可输出在其中反射率从可见红色区域到近红外区域快速地增加的区域中的希望的波长的光,可被设定为LED 404,以及这些LED可被使用,或者日光可用来测量所述反射率而没有从LED 404发射光。当使用日光时,从由植物反射的日光获取的多个波长的光谱反射率除以从由设定在农场土地或农业机械100中的标准白板反射的日光获得的反射率,以及正常化的水平彼此比较,以减少由日光的光量的变化引起的测量值的误差的影响。注意到,测量的光谱反射率不限于关于两个波长的光谱反射率;为了增加精度,关于三个或更多个波长的光谱反射率可被测量。如上所述的,通过用多光谱照相机装置113测量包括在植物中的含水量,为测量目标的植物的含水量可以以非破坏性的、非接触方式被快速地测量。

注意到,替代LED 404,或与LED 404一起,预定波长的激光束可从激光雷达装置112发射到植物,以及多光谱照相机装置113可捕捉反射光的图像。激光雷达装置112可测量到测量位置的距离。因此,从由多光谱照相机装置113捕捉的光谱图像和由激光雷达装置112检测的距离信息,例如,分枝之间的茎的长度和叶子的尺寸可被识别或估计。在本实施例中,该识别(估计)处理由服务器704执行。服务器704执行如下所述的在光谱图像中的辨认处理,以及辨认叶子、分枝和茎。那么,当分枝之间的长度是,例如,当到分枝到距离是50厘米且该长度对应于1000个像素时,服务器704识别(估计)该长度是大约5.3厘米。替代地,当叶子相隔50厘米且占据230,000个像素时,服务器704识别(估计)叶子的面积是100平方厘米。这些值与相应农作物的茎之间的参考长度和叶子的参考尺寸进行比较,以感知生长状态。注意到,以上识别处理(或估计处理)可通过农业机械100的控制装置118执行。

此外,两个多光谱照相机装置(比色照相机装置)113可结合以通过与以上所述的立体照相机装置110相同的原理测量距离。因此,目标的图像,光谱信息以及距离信息(视差值信息)可通过一个成像操作获取.

此外,多光谱照相机装置113可测量来自于土壤的近红外光的光谱反射率,并使用作物生长所需要的吸收营养物(氮气,磷酸,钾)的光谱中的差异,感知土壤的状态。根据感知的土壤状态,整个系统1500调节肥料等的平衡,并且可以以详细的方式有效地管理土壤。

<状态监视装置>

当管理粗放农场土地时,优选的是快速地辨认所述状态例如横穿大范围的农场土地的农作物的生长状态。图25示出使用多光谱照相机装置113的状态监视装置550。状态监视装置550是用于快速地测量在横穿大范围的农场土地中的农作物和土壤等的活性度的装置。状态监视装置550包括多光谱照相机装置113,用于关于水平轴可旋转地保持多光谱照相机装置113的保持单元450,用于关于竖直轴可旋转地保持保持单元450的旋转平台452,其中用于将太阳能转换为电能的多个太阳电池被布置和连接到彼此的太阳能电池板456,存储控制单元的存储单元454A,所述控制单元用于执行发送指令到存储在太阳电池板456处生成的电能的蓄电池和多光谱照相机装置113并从多光谱照相机装置113接收信息的输入输出控制和通信控制以及用于执行保持单元450和旋转平台452的旋转控制,连接到存储单元454A中的控制单元并用于执行与农业机械100、服务器704和用户终端710,712的无线通信的无线天线458,由透明玻璃制成的用于保护多光谱照相机装置113等防止其受到周围环境影响的盖462,以及用于在高位置处支撑状态监视装置550的柱460。通过状态监视装置550的通信、各种控制和成像是通过使用存储在蓄电池中的电能执行的。注意到,当蓄电池中的电能不足时或者当没有使用蓄电池时,外部电源可被使用。此外,盖462可不由玻璃制成,只要材料是透明的即可;例如,盖462可由树脂例如丙烯酸树脂制成。在盖462上方,设置了太阳电池板456,以及在盖462下方,设置了存储单元454A。此外,多光谱照相机装置113,保持单元450和保持单元450被设置在盖462内。基于从用户终端710,712、服务器704和农业机械100发送的信息,该状态监视装置550捕捉在周围区域中的农作物的图像并检查农作物的植物活性度。注意到,这些图像可通过使用反射的阳光被捕捉而没有使用LED 404。此外,控制单元和无线天线458还起到无线访问点的作用,并且可以无线方式中继信息。因此,其中可执行无线通信的区域可扩大。此外,控制单元发送信号,用于经由无线天线458根据来自于农业机械100、服务器704和用户终端710,712中的任一个的指令来识别农业机械100的位置。农业机械100能够基于从总共三个或更多个状态监视装置550或农场土地监视装置500发送的接收信号的强度(或衰减)或者基于这些信号的接收时间差来识别当前位置。

注意到,为了使从其中设置状态监视装置550的位置周围的地面反射的光进入到多光谱照相机装置113的主透镜408,反光镜可以一定角度设置在状态监视装置550的上部部分处的盖462的内部或外部。因此,可以监视由于旋转平台452和存储单元454A变得处于盲拐角处的底部处的位置。

此外,状态监视装置550还可被使用用于不同于监视农场土地中的农作物的状态的目的;状态监视装置550可用作一监视装置,用于根据波长监视光谱反射率对其具有不同的特性的目标(例如,土壤)。此外,存在其中叶子它自己和叶子的表面等由于害虫、霜或其他种类的影响而颜色变化的情况,以及状态监视装置550能够检测其中颜色正在变化的植物和面积。

<农场土地监视装置>

一般的照相机装置仅能够一次捕捉一个方向上的图像。因此,当整个周围区域要通过使用这样的照相机装置监视时,诸如旋转照相机装置的操作必需被执行,对于增加监视装置的尺寸和对于提供旋转机构需要成本。此外,起动单元被包括,因此通常可能发生故障。为此,当监视巨大的农场土地时,优选的是,通过单个图像操作来捕捉尽可能宽的范围。图26示出使用天球照相机装置501的农场土地监视装置500。天球照相机装置501是传感器的示例。天球照相机装置501能够通过单个成像操作捕捉照相机周围360度的区域,以及通过设置天球照相机装置501在农场土地中,农场土地可想当然被监视,例如,天气可从天空的图像被监视。此外,根据状态监视装置550,横穿宽的区域的日照量可被估计。在图26中,由与图25的那些相同的附图标记表示的元件具有通过利用图25描述的那些相同的功能,因此描述被省略。附图标记454B表示用于存储蓄电池和像状态监视装置550的控制单元的存储单元;然而,该控制单元不同于状态监视装置550的控制单元之处在于指令给予天球照相机装置501而不是多光谱照相机装置113,对来自于天球照相机装置501的信息执行输入输出控制,以及旋转控制没有被执行。

注意到,为了使从农场土地监视装置500的设定位置周围的区域中的地面反射的光进入天球照相机装置501的光学系统A,B,反光镜可以一定角度设定在农场土地监视装置500上方的部分处的盖462的内部或外部。因此,可以监视在由于存储单元454B等变得处于盲拐角处的底部处的位置。

注意到,使用该天球照相机装置501的农场土地监视装置500还可被用作,例如,监视照相机装置,用于不是监视农场土地的目的。

<天球照相机>

通过利用图27到30,给出了根据本实施例的天球照相机装置501的描述。图27是天球照相机装置501的前外部视图。该照相机包括两个光学系统A,B,包括鱼眼(宽角)透镜和主体部分502。

A.天球照相机的光学系统

图28是示出天球照相机装置501的光学系统的示意图。在图28中,由附图标记A,B表示的部分示出成像光学系统。该两个成像光学系统A,B分别由具有比180度宽的视角的宽角透镜以及用于通过宽角透镜捕捉图像的成像元件IA,IB形成。也就是说,成像光学系统A由包括透镜LA1到LA3的前组、形成反射表面的垂直棱镜PA和包括透镜LA4到LA7的后组形成。此外,光圈挡SA被布置在透镜LA4的物体侧上。成像光学系统B由包括透镜LB1到LB3的前组、形成反射表面的垂直棱镜PB和包括透镜LB4到LB7的后组形成。此外,光圈挡SB被布置在透镜LB4的物体侧上。

形成成像光学系统A的前组的透镜LA1到LA3包括从物体侧的顺序陈述的由玻璃材料制成的负弯月透镜(LA1),由塑料材料制成的负透镜(LA2)以及由玻璃材料制成的负弯月透镜(LA3)。形成成像光学系统A的后组的透镜LA4到LA7包括从物体侧顺序陈述的由玻璃材料制成的双凸透镜(LA4),由玻璃材料制成的双凸透镜(LA5)和双凹透镜(LA6)形成的粘合透镜,以及由塑料材料制成的双凸透镜(LA7)。形成成像光学系统B的前组的透镜LB1到LB3包括从物体侧顺序陈述的由玻璃材料制成的负弯月透镜(LB1),由塑料材料制成的负透镜(LB2),以及由玻璃材料制成的负弯月透镜(LB3)。形成成像光学系统B的后组的透镜LB4到LB7包括从物体侧顺序陈述的由玻璃材料制成的双凸透镜(LB4),由玻璃材料制成的双凸透镜(LB5)和双凹透镜(LB6)形成的粘合透镜,以及由塑料材料制成的双凸透镜(LB7)。

在这些成像光学系统A,B中,关于在前组中由塑料材料制成的负透镜LA2,LB2和后组中由塑料材料制成的双凸透镜LA7,LB7,这些透镜的两侧是非球表面;而由玻璃材料制成的其他透镜是球表面透镜。宽角透镜的前侧主点的位置被设定在第二透镜LA2,LB2和第三透镜LA3,LB3之间。在成像光学系统A中的宽角透镜中,光轴和前组的反射表面的交点与前侧主点之间的长度在图28中是d1。在成像光学系统B中的宽角透镜中,光轴和前组的反射表面的交点与前侧主点之间的长度是d2。假定这些长度d1,d2是宽角透镜中的长度d,以下被满足。

条件(1) 7.0<d/f<9.0

条件(1)的意思被描述如下。条件(1)的参数d/f的减小意味着整个系统的焦距:f的增加,或者光轴和前组的反射表面的交点与前侧主点之间的长度:d减小。随着焦距:f增加,沿着宽角透镜的光轴的透镜的整个长度变长,因此如果从使尺寸紧凑的视角设定适当值,这意味着长度:d在此条件下减小。当d增加时,透镜LA3(LB3)和棱镜PA(PB)之间的间隔变窄,并且限制用于确保透镜LA3(LB3)所需的折射力的透镜厚度的限制变得严格。当该值变得低于条件(1)的下限时,变得不可能处理或难以处理透镜LA3(LB3)的希望的厚度和形状。在图28中,成像光学系统A,B要布置为尽可能在如在该图中看到的水平方向上彼此靠近,用于实现减小天球照相机装置501的尺寸的目的。所述反射表面是垂直棱镜PA,PB的倾斜表面,因此将这些倾斜表面布置为尽可能地彼此靠近就减小天球照相机装置501的尺寸而言是有效的。在条件(1)中,参数:d/f的增加意味着光轴和前组的反射表面的交点与前侧主点之间的长度:d的增加,以及这意味着前组的尺寸的增加。如上所述的前组的增加使得难以减小天球照相机装置501的尺寸。在该情况下,作为通过使前组的尺寸增加来补偿天球照相机装置501的尺寸的增加的方法,可以考虑将成像光学系统A,B布置成在图1中的竖直方向上彼此偏移,在其中棱镜PA,PB的倾斜表面彼此靠近的状态下。然而,通过这样的布置,成像光学系统的前组的宽角透镜的轴在图28中的竖直方向上彼此偏移,因此如果该偏移量变得过大,视差的影响增加。前组的尺寸的增加可被允许,当有效地抑制视差的影响时,在其中参数:d/f低于条件(1)的上限的情况下。关于以上长度:d和焦距:f的比值:d/f的条件就天球照相机装置501而言由以下条件(4)限制。

条件(4) 16≤(d1+d2)/f<21

如果该比值在当抑制视差的影响时降低到低于条件(4)的下限,那么棱镜PA和PB的反射表面将彼此干涉,以及如果该比值超过条件(4)的上限,那么视差的影响不能忽略。

条件(3) nd≥1.8

条件(3)限定了以一种材料,其具有比关于d线的1.8高的折射系数:nd,要被用作棱镜PA,PB的材料。棱镜PA,PB使得来自于前组的光从内部朝向后组反射,因此成像光通量的光程在棱镜内部穿过。当棱镜的材料具有满足条件(3)的高折射系数时,棱镜内的光学光程长变得长于实际的光程长,以及弯曲所述光束的长度可增加。在前组/棱镜/后组的结构中,在前组和后组之间的光程长被弄成长于机械光程长,因此宽角透镜的构造被弄成具有紧凑的尺寸。此外,通过布置棱镜PA,PB靠近光圈挡SA,SB,可以使用小棱镜,并且宽角透镜之间的间隔可减小。棱镜PA,PB被布置在前组和后组之间。前组的宽角透镜具有吸收高于或等于180度的宽视角的光束的功能,后组具有有效地修正成像中的像差的功能。通过布置如上所述的棱镜,可以减小棱镜的布置偏移和制造公差的影响。

B.不同于光学系统的天球照相机的构造

下来,通过利用图29,根据本实施例的天球照相机装置501的构造被示出。如在图29中示出的,天球照相机装置501包括成像光学系统A,B,成像元件IA,IB,图像处理单元504,成像控制单元506,CPU 510,ROM 512,静态随机存取存储器(SRAM)514,动态随机存取存储器(DRAM)516,操作单元518,网络I/F 520和通信单元522。成像元件IA,IB包括图像传感器例如COMS传感器和将根据宽角透镜的光学图像转换为电子信号的图像数据并输出该电子信号的CCD传感器,生成图像传感器的水平或竖直同步信号和像素时钟等的定时生成电路,以及一组寄存器,其中设定成像元件的操作所需要的各种指令和参数等。成像元件IA,IB分别通过并行I/F总线被连接到图像处理单元504。此外,成像元件IA,IB通过串行I/F总线(I2C总线等)被连接到成像控制单元506。图像处理单元504和成像控制单元506经由总线508被连接到CPU 510。ROM 512,SRAM 514,DRAM 516,操作单元518,网络I/F 520和通信单元522也被连接到总线508。图像处理单元504通过并行I/F总线接收从成像元件IA,IB输出的图像数据项,对相应图像数据项执行预定处理,执行结合这些图像数据项的处理,以及创建如在图30C中示出的等距柱面图像的数据。成像控制单元506通常地通过将成像控制单元506设定为主装置及设定成像元件IA,IB为从属装置以及通过使用串行I/F总线例如I2C总线等来设定指令等在所述成像元件IA,IB的一组寄存器中。需要的指令等从CPU 510接收。此外,成像控制单元506使用相同的串行I/F总线以接收成像元件IA,IB中的该组寄存器的状态数据等,并且发送数据到CPU 510。此外,成像控制单元506指令成像元件IA,IB在当操作单元518的快门按钮被按下时的时刻输出图像数据。注意到,在农场土地监视装置500中,该操作单元518被省略,并且图像基于来自于存储在存储单元454的控制单元的指令被捕捉,所述存储单元454被连接到网络I/F 520。

此外,成像控制单元506与如下所述的CPU 510协作以起到使来自于成像元件IA,IB的图像数据的输出时间同步的同步控制单元的作用。CPU 510控制天球照相机装置501的整个操作并且执行必需的处理。ROM 512存储用于CPU 510的各种程序。SRAM 514和DRAM 516是工作存储器,并且存储由CPU 510执行的程序和目前正在被处理的数据等。特别地,DRAM 516通过图像处理单元504存储目前正在被处理的图像数据以及已经被处理的等距柱面图像的数据。操作单元115是各种操作按钮、电力开关、快门按钮及具有显示功能和操作功能二者的触板的一般名称。用户能够通过操作所述任务按钮输入各种拍照模式和拍照条件。网络I/F 520是关于外部媒体例如SD卡和USB存储器等以及个人计算机等的接口电路(USB I/F等)的通用术语。此外,网络I/F 520可以是无线或有线网络接口。存储在DRAM 516中的等距柱面图像的数据经由网络I/F 520与存储单元454的控制单元通信。此外,数据经由无线天线458被发送到农业机械100、服务器704和用户终端710,712。通信单元522使用短距离无线技术。在存储单元454中的控制单元可提供有与通信单元522通信的通信功能;然而,当天球照相机装置501被用于农场土地监视装置500中时可省略所述通信单元522。

接下来,通过利用图30,给出了由天球照相机装置501捕捉的图像和结合图像的描述。注意到,图30A是由天球照相机装置501捕捉的半球图像(前侧),图30B是由天球照相机装置501捕捉的半球图像(后侧),以及图30C是通过等距柱面投影表示的图像(称为“等距柱面图像”)。注意到,为了容易理解,图30示出由捕捉建筑物获得的图像的示例。如在图30A中示出的,由成像元件IA获得的图像变为由成像光学系统A弯曲的半球图像(前侧)。此外,如在图30B中示出的,由成像元件IB获得的图像变为通过成像光学系统B弯曲的半球图像(后侧)。此外,半球图像(前侧)和半球图像(后侧),其颠倒180度,通过天球照相机装置501的图像处理单元504结合,以及等距柱面图像被创建,如图30C中示出的。首先,图像处理单元504检测连接位置。也就是说,通过图案匹配处理,图像处理单元504计算对于每个区域的参考图像和比较图像之间的偏移量。接下来,图像处理单元504通过几何变换执行失真修正。也就是说,透镜特性是相对于连接位置检测结果进行考虑的,以及图像被转换为天球图像格式。最后,两个图像混合,生成单个天球图像。

注意到,设置在农场土地中的农场土地监视装置500,555的天球照相机装置501的一部分可以是用于在夜间监视的夜视照相机。在这种情况下,高灵敏度的光接收元件被用作成像元件1A,1B,发射近红外光以照亮农场土地,并且反射光被捕捉以在单色模式下获取图像。

此外,在天球照相机装置501中,偏振滤光器(SWS偏振滤光器等)可布置在类似于立体照相机装置110的成像元件IA,IB的光接收侧上,以通过S偏振和P偏振的图像。在该情况下,天球照相机装置501还能够获取高对比度图像。为此,可以增加在检测其中光的偏振状态根据平面方向不同的对象(黑色对象等)或其中透射率根据光的偏振状态变化难以由不是偏振照相机装置的照相机装置检测的对象(透明对象等)时的精度。

<农场土地监视装置的另一示例>

图31示出农场土地监视装置的另一个示例。该农场土地监视装置555不同于如上所述的农场土地监视装置500之处在于太阳电池板456和无线天线458没有接触透明盖462,而是经由柱470设定在上部位置处。另一些构造与农场土地监视装置500的构造相同。通过以上构造,当要获取稍微在上部位置处时的图像时,太阳电池板没有变为障碍。此外,替代天球照相机装置501,在图31的农场土地监视装置555中,图25中示出的多光谱照相机装置113、保持单元450及旋转平台452可被设置,包括用于控制这些元件的控制器的状态监视装置550可被构造。

注意到,为了使从其中设定农场土地监视装置555的位置周围的地面反射的光进入所述天球照相机装置501的光学系统A,B,反光镜可以一定角度设定在盖462的上部部分处的盖的内侧或外侧上。因此,可以监视由于存储单元454B等变为盲拐的底部处的位置。

多个农场土地监视装置500,550和状态监视装置555被设定在农场土地中;然而,当农场土地的尺寸是小的且农场土地可由单个装置监视时,可仅设定单个装置。农场土地监视装置500,555和状态监视装置550是传感器的示例。

[系统的操作]

通过利用图32到56,给出了根据本实施例的整个系统1500的操作的描述。注意到,随着农业机械100,服务器704,用户终端710,712,和包括农场土地监视装置500,555、状态监视装置550的其他装置以及数据库706,708等彼此操作才执行整个系统1500的操作,以及农业机械100没有根据手动控制行进或执行。也就是说,这些操作用于使农业机械100自动地行进并执行任务。由这些附图和流程图示出的操作是整个系统1500的代表操作。其他操作和详细的操作已经通过书写在上面被描述或将在下面被描述。此外,在农业机械100、服务器704、用户终端710,712以及其他装置(由附图标记110,112,113,500,550,555等表示的装置)之间的信息的交换通过早已在如上所述的有线或无线通信以直接方式或者通过中继经由无线访问点等被执行。当通过无线电波的无线通信不是有效的时候,无线信息通信可通过利用可见光或不可见光执行。

注意到,由是如上面和下面描述的对象的服务器704执行的操作具体地是根据存储在SSD中的程序由服务器中的CPU执行的操作;然而,为了简化描述,这些操作被描述为由服务器704执行。此外,由是如在上面和下面描述的对象的农业机械100执行的操作具体地是根据存储在农业机械100中的程序由内装在农业机械100中的控制装置118执行的操作;然而,为了简化描述,这些操作被描述为由农业机械100执行。此外,由是如在上面和下面描述的对象的用户终端710,712执行的操作具体地是根据存储在记录介质中的程序和/或根据用户终端的用户的指令由内装在用户终端710和/或用户终端712中的CPU执行的操作;然而,为了简化描述,这些操作被描述为由用户终端710,712共同地执行。此外,在上面和下面描述的由其它装置(由附图标记110,112,113,500,550,555等表示的装置)和数据库706,708执行的操作具体地是根据存储在相应装置和数据库中的程序由内装在相应装置中的控制处理器和CPU执行的操作;然而,为了简化描述,这些操作被描述为由其他装置(由附图标记110,112,113,500,550,555等表示的装置)和数据库706,708等执行。

<初始设定>

为了使农业机械100在没有手动控制的情况下运动和执行任务,任务地点和任务内容等要在执行这些操作之前被设定。图32和33是用于描述在服务器704、用户终端710,712和农业机械100中进行的用于使农业机械100在农场土地中运动并执行任务的初始设定的流程图。该描述是根据这些附图给出的。注意到,基本上,由农业机械100执行的操作示出在左侧,由服务器704执行的操作示出在中间,以及由用户终端710,712执行的操作示出在右侧;然而,在一些附图中,这些操作被描述为由这些元件中的一个或两个执行。

在根据本实施例的整个系统1500中,当初始设定操作开始(步骤S100)时,服务器704发送查询到用户终端以发送用于识别农场土地的数据,也就是说,农场土地的拐角部分和边缘部分的位置信息(经度和纬度,以及高度,如果可能的话)和/或农场土地的形状的数据等(步骤S102)。注意到,通过步骤S100的处理的初始设定操作的开始是通过来自于用户终端的指令执行的。

用户终端710或712给服务器704发送用于识别农场土地所需要的数据(农场土地的拐角部分和边缘部分的位置信息(经度和纬度,以及高度,如果可能的话)和/或农场土地的形状等),其是为符合所述查询的形式的输入量(步骤S104)。当输入该数据时,包括在服务器704、数据库706等或另一外部系统例如因特网的地图信息可被获取,以及获取的地图信息可用来输入该数据。例如,其中位置信息例如维度/经度(和高度)与地图中的每个点有关的该地图被显示在用户终端710或712的屏幕上,用户通过圈起或描记(tracing)该地图上的区域来指定该农场土地。从指定的区域等获得的位置信息可被发送到服务器704。注意到,用于识别农场土地的数据可由整个系统1500的提供者预先设定。服务器704接收用于识别农场土地的从用户终端710或712发送的信息,识别其中可执行任务的农场土地,附上识别信息例如名字到所述信息,以及将该信息存储在服务器704中的SSD中(步骤S106)。此外,识别农场土地的信息也存储在数据库708中,附上识别信息。如果该信息被存储,可以在未来执行在相同的农场土地中的任务,而不用该信息从用户输入。

随后,服务器704发送查询到用户终端710,712以发送用于识别执行在农场土地中的任务的地点的信息(步骤S108)。

用户终端710或712给服务器704发送用于识别任务地点(农场土地的拐角部分和边缘部分的位置信息(经度和纬度,以及高度,如果可能的话)和/或任务区域的形状信息,任务开始位置,任务结束位置,以及畦头的未耕地)的为符合查询的形式的数据(步骤S110)。当输入该数据时,类似于识别农场土地的情况,包括在服务器704、数据库706等或另一外部系统例如因特网中的地图信息可被获取,以及获取的地图信息可用来输入所述数据。例如,至少示出农场土地的其中位置信息例如维度/经度(和高度)与地图中的每个点有关的该地图被显示在用户终端710或712的屏幕上,以及用户通过从任务开始位置到任务结束位置描记该地图或通过圈起识别该任务开始/结束位置的任务地点来指定该任务地点。从如以上指定的区域获得的位置信息等可被发送到服务器704。

服务器704接收从用户终端710或712发送的用于识别任务地点的信息,识别用于执行该任务的地点,附上识别信息例如名字到该信息并存储该信息在服务器704中的SSD中(步骤S112)。此外,用于识别该任务地点的信息也存储在数据库708中,识别信息被附上。如果用于识别任务地点的该信息被存储,可以在未来在相同的任务地点执行相同或不同的任务,而不用使该信息从用户再次输入。注意到,服务器704可基于来自于农场土地监视装置500,555和状态监视装置550的信息识别任务地点。

随后,服务器704给用户终端710或712发送有关以下内容的查询:任务类型(耕地,碎土,整地,插秧,施肥,播种,移栽,收获,除草,农药播散/雾化,喷洒水和收割等),执行任务的农业机械,以及行进方法(内翻犁地,外翻犁地,外旋转(外绕)犁地,内旋转(内绕)犁地,单向犁地,顺序犁地,竖直和水平行进以及对角线行进等)或行进路线(步骤S114)。

用户终端710或712给服务器704发送由用户输入的任务类型、执行该任务的农业机械以及所述行进方法或行进路线(步骤S116)。此时,可进行指定以改变针对行进路线的每个部分的任务类型,或者在行进路线的特定部分处不执行任务。此外,当输入行进路线的数据时,可获取包括在服务器704、数据库706等或另一外部系统例如因特网中的地图信息,以及获取的地图信息可用来输入所述数据。例如,至少示出任务地点的、其中位置信息例如维度/经度(和高度)与地图中的每个点有关的地图被显示在用户终端710或712的屏幕上,以及用户通过沿着从任务开始位置到任务结束位置的路径描记所述地图以及顺序地设定该路径来指定所述行进路线。此外,可进行指定以改变针对所述路径的一部分的任务类型,或者在所述路径的特定部分处不执行任务。

服务器704接收从用户终端710或712发送的、用于识别任务类型、执行任务的农业机械和行进方法或行进路线的信息,识别这些项,附上识别信息例如名字到所述信息,以及存储该信息在服务器704中的SSD(步骤S118)。此外,识别这些项的信息也存储在数据库708中,附上识别信息。

服务器704将在步骤S106,S112和S118中识别的信息项集成为任务数据,并将该任务数据发送到用户终端710,712以确定是否该数据是正确的(步骤S120)。此时,当识别的数据已经从过去的数据进行了改变,存储在SSD和数据库708中的数据被覆盖。

用户终端710或712向服务器704发送关于接收的任务数据是否要被改变或不被改变的确认(步骤S122)。

服务器704基于从用户终端710或712发送的确认信息来确定任务数据是否要被改变(步骤S124)。

在此,当服务器704确定要进行改变时,服务器704提示用户终端710或712输入要改变的数据(步骤S126)。

用户终端710或712从用于识别农场土地的数据、用于识别任务地点的数据和用于识别任务类型的数据、农业机械和行进方法或行进路线选择至少一个要改变的项,并将改变发送到服务器704(步骤S128)。因此,服务器704返回到步骤S120的处理,并且继续后续处理。

另一方面,当服务器704在步骤S124的处理中确定任务数据不要被改变时,服务器704将任务数据发送到农业机械100(步骤S130)。

农业机械100确定所辨认的任务装置106是否能够执行从服务器704发送的任务类型(步骤S132)。

例如,当连接到农业机械100的任务装置106是施肥装置,但是从服务器发送的任务类型是播种,以及任务装置106不能执行该任务类型或没有任何装置被连接到农业机械100时,在步骤S132中作出否定判断,并且向服务器704发送错误信息,用于提示改变任务类型和要连接的任务装置中的至少一个,或者用于提示连接任务装置(步骤S134)。

当从农业机械100接收到错误信息时,服务器704向用户终端710,712发送报告用于提示改变任务类型和要连接的任务装置中的至少一个,或者用于提示连接任务装置(步骤S136)。

用户终端710,712接收该报告,并改变任务类型或改变要连接的任务装置或连接任务装置(步骤S138)。

当用户通过用户终端710或712给出改变任务类型的指令时,被改变的任务类型被发送到服务器704,流程返回到步骤S130的处理,改变的任务类型的信息被包括在任务数据中,并且任务数据被再次发送到农业机械100。

另一方面,在步骤S138的处理中,当用户经由用户终端710或712选择改变或连接任务装置时,农业机械100确定是否已经进行改变或连接(步骤S140)。

在此,当没有进行连接或改变时,流程在步骤S140的处理处停止。在此,当经过预定时间时,农业机械100可以经由服务器704发送要求注意用户装置的报告。

另一方面,在步骤S140的处理中,当农业机械100确定任务装置已经改变或连接时,流程返回到步骤S132的处理。通过上述的处理,农业机械100可以执行更适当的任务,并且可以防止执行错误的任务类型的问题,例如在应该执行喷水任务时执行播种任务,这会根据任务的自动化而出现。

在步骤S132的处理中,当农业机械100确定连接的任务装置可以执行接收到的任务类型时,农业机械100向服务器704发送初始设定完成的报告(步骤S142)。

当服务器704接收到初始设定完成报告时,服务器704将初始设定的内容(已经最终设定的任务数据)和初始设定完成年/月/日和时间寄存在SSD或数据库708中。此外,服务器704向用户终端710,712发送初始设定完成报告(步骤S144)。

用户终端710,712接收初始设定完成报告(步骤S146),并且结束初始设定任务(步骤S148)。

注意到,当用户使用包括设置有向服务器704输入信息的功能的手动操作单元116的农业机械100时,步骤S102,S110,S116,S122,S128和S130的处理可以从农业机械100的手动操作单元116执行。在这种情况下,服务器704还向农业机械100发送查询。

注意到,服务器704可以改变在步骤S104,S110和S116中发送查询的顺序,或者可以结合这些步骤中的任何步骤或者对所有这些步骤进行集体查询。

此外,在步骤S122的处理中,当要进行改变时,可以将如在步骤S128中描述的要改变的项和相应项的改变的数据发送到服务器704。

此外,在步骤S142的处理中,农业机械100可以向服务器704和用户终端710,712发送初始设定完成报告。

<基本任务>

接下来,通过利用图34至图56,给出了从任务开始到任务结束的典型动作的描述。不仅在农业中,而且在自动控制机械用于运动和执行任务的任何情况下,需要将机器运动到任务开始位置,使机器执行该任务,并且将机器运动到其中机械在完成任务之后被存储的位置。图34示出从任务开始到任务完成(运动到存储位置)的操作的概要。在该图中,步骤S162,S170和S180的处理是通过使用图35A的描述分别限定的处理等。

任务开始(步骤S150)得以开始,随着任务开始指令被用户终端710,712发送到服务器704(步骤S152)。注意到,如在下面所述的,会存在这样的情况,其中当指令从农场土地中的农场土地监视装置500,555和状态监视装置550被接收时,农业机械100开始任务。

当服务器704接收到任务开始指令时,服务器704将信息和接收时间(年/月/日/时间)存储在数据库708中,并且指令其中已经进行了初始设定的农业机械100开始所述任务(步骤S154)。

已经接收所述任务开始指令的农业机械100首先确认当前位置(纬度,经度)步骤S156)。可通过获取记录在数据库708中的存储位置信息,示出当农业机械100已经执行整个系统1500中的过去的任务但是从那以后还没有运动时的存储位置,来进行所述确认。当数据库708中不存在与过去的存储位置有关的数据时,该位置通过为相对定位方法的差分GPS(DGPS)定位被确认。该方法使用由其位置是已知的参考站传送的调频广播的无线电波,以通过GPS修正测量结果的误差并增加精度。参考站通过GPS执行测量,并且在实际位置和由GPS计算的位置之间的偏移通过地面电波被发送,以修正通过来自于卫星的信号测量的结果。通过从四个卫星接收GPS信号、通过无线电波传播时间测量距离这些卫星的距离(假定卫星位置早已是已知的)以及获得在距离这些卫星的相等距离处的弧的交点的经度和纬度,来执行典型的GPS测量。也就是说,从卫星发送的编码被分析,以及卫星和农业机械100之间的距离是从当无线电波被传送时到当GPS天线120接收无线电波的时间获得的,以及农业机械100的位置从与卫星的位置关系被识别。通过以上方法,精度低且包括大约20米的误差,因此以上的FM地面电波用来修正所述测量结果以使得该误差减小到大约5米。注意到,使用GPS的定位不限于DGPS方法;利用因特网用于分配修正信息的实时动态GPS(RTKGPS)方法或因特网GPS方法可被采用,其中从参考站到卫星的距离是通过利用载波的数目和相位进行测量的,并且该误差减小为几厘米的量级。此外,位置可通过使用其位置在农场土地中早已是已知的多个农场土地监视装置500,555和状态监视装置550被识别的。该方法包括从农场土地监视装置500,555和状态监视装置550中的任一个传送特定位置识别信号,以及通过农业机械100的无线通信天线114接收该信号。相应的监视装置和农业机械100之间的距离是从所述接收信号的强度(振幅)或衰减比获得的。替代地,该距离可通过测量该信号的到达时间得以获得。通过测量距离农场土地监视装置500,555和状态监视装置550中的三个或更多个的距离,装置的弧的交点被获得,所述位置被识别。

此外,农业机械100的位置可从农业机械100和多个标记等之间的位置关系被识别,该多个标记在由农场土地监视装置500,555和状态监视装置550捕捉的图像中的位置是早已已知的。此外,到其位置是早已已知的三个或更多个目标的距离可通过立体照相机装置110被测量,以及目标的相应弧的交点可被获得,以及所述位置可被识别。该方法限于其中三个或更多个目标的位置在单个捕捉的图像中是已知的情况。

此外,当前位置可通过结合由如上所述的以上GPS技术测量的距离、通过使用在农场土地中的农场土地监视装置500,555和状态监视装置550等获得的距离以及由立体照相机装置110测量的距离,被识别。也就是说,如果距离其位置是已知的三个点的距离可被获得,那么农业机械100或服务器704可计算该当前位置。注意到,当不能够获取GPS信号时,例如在使用聚乙烯温室的温室耕作的情况下,当前位置是通过不同于使用GPS信号的方法被识别的。

注意到,要被确认的当前位置可通过不同于使用经度和纬度的方法示出;当前位置可由在某一坐标系中的位置(X,Y)或由距离某一已知点的取向和距离被示出。此外,通过使用GPS信号或高度指示器测量的高度的信息还可被用作示出当前位置的信息。

接下来,农业机械100确认前进或倒进的方向(步骤S158)。该取向通过设定在农业机械100中的地磁传感器被确认。当地磁传感器没有被使用时,农业机械100稍微前进或倒进以通过与步骤S156的处理相同的方法获取农业机械100的位置信息,以及前进或倒进的取向可从与通过步骤S156的处理识别的位置的关系被识别。然而,在通过GPS等的测量中存在误差,因此需要前进或倒进以使得所述误差可被忽略。因此,当前进时,农业机械100使用立体照相机装置110确认在直到农业机械100要前进到的位置的行进路径上不存在障碍物,然后农业机械100前进。当执行前进和倒进的该运动任务时,当农业机械100包括内燃机时,控制装置118点燃马达102中的发动机,使活塞运动,使变速齿轮204换到第一档,连接主离合器202,传递在发动机处生成的动能到后轮130,以及使农业机械100前进。当活塞动作加速时,行进速度增加,以及发动机的旋转频率超过预定值,控制装置118转动主离合器202并且将变速齿轮204增加到第二档和第三档。当农业机械100被电驱动时,控制装置118在前进方向上旋转在电机102-2内的电机,以将动能传递到后轮130并使农业机械100前进。注意到,当农业机械100倒进时,当农业机械100具有内燃机时,在其中主离合器202断开的状态下,控制装置118将变速齿轮204换到后面然后连接主离合器202。另一方面,在农业机械100由电驱动的情况下,电机的旋转方向被反转,以使农业机械100倒进。如上所述的,整个系统1500在运动之前测量所述取向并感知行进方向,因此农业机械100被防止在错误的方向上运动。

当行进方向(取向)被确认时,农业机械100计算从当前位置到开始所述任务的位置的路线(步骤S160)。此时,农业机械100根据任务的类型计算所述路线。例如,当任务类型是收获时,农业机械100识别没有进入任务地点的最短路线。当在当前位置和任务开始位置之间存在任务地点时,农业机械100计算并识别围绕任务地点走的路线。这是因为如果农业机械100在收获之前进入任务区域并且向前行进,那么要收获的农作物会被损坏。特别地,这是有效的处理,当耕作的农作物是小的且不能从由立体照相机装置110捕捉的图像被辨认为农作物时。另一方面,当任务类型是整地例如平整时,在计算与任务区域交叉的路线时没有问题。这是因为所述任务区域将在稍后经历整地。如上所述的,根据任务类型的路线被计算,因此农业机械100可有效地运动到任务开始位置。注意到,该最短路线的计算可通过服务器704而不是通过农业机械100执行。在该情况下,服务器704核查存储在数据库708中的农场土地的其它任务数据,确认其它区域的状态,并计算所述路线。例如,当农作物正在另一区域中被耕作时,服务器704导出并识别农业机械100通过其没有进入该区域的最短路线,或者农业机械100通过其进入该区域一最小量的最短路线。通过这样做,可以防止正在另一区域中被耕作的农作物受到影响,或者该影响可最小化。随后,服务器704将导出的该路线传送到农业机械100。

当所述路线被计算时,农业机械100沿着识别的路线运动到任务开始位置(步骤S162)。该运动处理通过利用图35A到37的描述被详细地限定。

当农业机械100抵达所述任务开始位置时,农业机械100发送抵达任务开始位置的报告到服务器704(步骤S164)。

当服务器704接收到该信号时,服务器704记录任务开始年/月/日/时间在数据库708中(步骤S166)。因此,服务器704能够自动地记录任务日志,并且该任务日志能够被用于收费处理。此外,服务器704报告任务开始给用户终端710,712。

注意到,农业机械100不仅可发送抵达任务开始位置的报告到服务器704,而且到用户终端710,712。

当用户终端710,712接收到任务开始和开始时间的报告,用户能够辨认何时所述任务已经开始(步骤S168)。

然后,农业机械100在发送该信号之后紧接着开始所述任务(步骤S170)。任务的操作通过利用图35A,36等被详细地限定。

当任务结束时,农业机械100发送指示任务已经结束的报告到服务器704(步骤S172)。

当服务器704接收到该信号时,服务器704记录任务结束的年/月/日/时间在数据库708中(步骤S174)。因此,任务日志可被自动地存储,该日志能够被用于收费处理。此外,服务器704发送任务结束的报告到用户终端710,712。

注意到,农业机械100可不仅发送任务结束的报告到服务器704,而且到用户终端710,712。

当用户终端710,712接收到任务结束和结束时间的报告时,用户能够辨认何时任务已经结束(步骤S176)。

当任务结束时,农业机械100计算到农业机械100它自己的存储位置的路线(步骤S178)。农业机械100导出一路线,该路线没有横穿其中任务已经被尽可能多得执行的区域并且对存储位置是最短的。该路线计算可在服务器704中进行。该路线计算的细节基本上与为步骤S160的处理所描述的路线计算相同;然而,在该情况下,计算被执行以获得一路线,该路线没有进入其中任务例如整地已经完成的区域。

当路线计算结束时,农业机械100沿着到存储位置的该路线运动(步骤S180)。该运动处理通过利用图35A到37的描述被详细地限定。

当到存储位置的运动结束时,任务完成(步骤S182)。注意到,结束到所述存储位置的时间和该存储位置通过下面描述的步骤S228,229的处理被存储在数据库708中。因此,当任务是在未来通过使用该农业机械100执行时,在任务开始时间的位置可被快速地辨认。

当在没有手动操作的情况下通过自动控制使农业机械100运动时,农业机械100可容易地运动,如果运动路线不是在妨碍运动的状态下;然而,在实际的农场土地中,存在妨碍运动的各种因素。因此,要考虑的问题是要提供当通过自动控制运动时对这样的妨碍因素做出反应的功能。通过利用图35和36,给出了步骤S162,S170和S180的运动处理的详细操作和处理的描述。

当步骤S162,S170和S180的运动处理开始时(步骤S200),首先,立体照相机装置110用来捕捉在行进方向上的区域的图像,并且确认该行进方向(步骤S202)。在本实施例中,该确认是在农业机械100中执行的。该处理是通过利用图35B被描述的。图35B示出在步骤S202的处理中由立体照相机装置110捕捉的图像之中的参考图像。测距是在由立体照相机装置110捕捉的范围内被执行的。然后,确定是否农业机械100的路线(由该图中的灰色示出的部分)至少一直到其中农业机械100要转弯的点或可测量的点(这些由该图中的J示出),包括以下部分。也就是说,通过扫描(确认)像素的视差值信息或从底部到顶部的距离信息,确定是否存在其中所述距离(或视差值;同样的应用在下文中)并没有连续地变化超过一定范围的部分(其中所述距离没有变化超过相邻像素之间的一定距离的部分,该部分示出在地面和物体之间的边界,例如,在该图中的h1),和/或通过随后朝向所述顶部扫描这些像素,确定是否存在其中所述距离在路线内侧和外侧突然大大地变化和所述距离随后连续地在一定范围内变化的部分(其中所述距离变化超过相邻像素之间的一定距离的部分,该部分示出物体和背景之间的边界,例如在该图中的h2)。在此,确定是否所述距离连续在一定范围内变化,例如,以防止农场土地中的不规则部例如田垄被感知为障碍物。因此,该一定范围被设定为高于或等于与典型的田垄的高度对应的值。注意到,还确定当不可能感知其中所述距离突然大大地变化且所述距离随后在一定测距内连续地变化的部分(h2)时存在一障碍物(例如,其中障碍物的高度是高的且障碍物没有位于捕捉在图像中的情况下,其中障碍物的顶端超过可由立体照相机装置110测距的区域的情况,或者其中示出物体的顶端的在像素h2上方的像素不是示出在地面上的位置的像素的情况等)。考虑到其中在农场土地中在农业机械100的路线上什么都不存在的土地,在该土地中由立体照相机装置110测量的距离连续地变为长的,随着所述位置变得进一步远离农业机械100(更靠近如在该图中看到的顶部位置)(即使该土地稍微倾斜,该距离也连续地增加)。另一方面,当存在一物体(在该图中的O)大于或等于可由该土地上的立体照相机装置110测量的尺寸时,即使当测距位置变化到其中物体被捕捉在所捕捉的图像中的区域中的上侧(例如,从该图中的h1的位置到h2的位置)时,与连续变化直到所述物体相比,该距离的变化可变得较小或可不会变化很多,或者该距离可变得较短(第一物体是包括当至少在农业机械100的行进方向上倾斜时变为高的区域的物体,第二物体是包括基本上垂直于农业机械100的行进方向的区域的物体,以及最后的物体是包括朝向农业机械100倾斜的区域的物体)。这些变化连续到其中所述距离突然变化并且随后所述距离连续变化的点(h2)。此外,例如,还在水平方向上,相邻像素之间的测量距离在左侧的边界位置w1和在右侧的边界位置w2处变化很大。注意到,当物体O太大无法位于捕捉的图像中时,存在其中h2,w1和w2不会被获得的情况,还在这些情况下,确定存在一障碍物。如上所述的,在农业机械100的路线上直到该路线中的转弯位置或直到可被测量的距离,当至少测量的距离不连续地变化超过一定范围(当存在h1时),确定存在障碍物,以及当所述距离仅在一定范围内连续地变化,确定没有障碍物。注意到,在此,障碍物被当作妨碍所述运动的因素的示例;然而,该因素不限于此,以及其中在行进方向上的倾斜太陡的情况或者其中所述路线凹进去和在所述路线中存在孔的情况也是妨碍因素。这些情况也根据测量的距离的变化率进行确定,类似于障碍物的情况。

注意到,参考图像和视差值信息或距离信息可发送给服务器704,服务器704会确认该行进方向。此外,服务器704或农业机械100可通过执行下面的辨认处理确定是否存在障碍物(步骤S208);然而,将要求用于辨认任务的处理时间。此外,对于不能由立体照相机装置110捕捉的盲拐角,超声波声纳装置126可用来确认是否存在障碍物。当超声波声纳装置126确认存在障碍物时,农业机械100暂时地倒进并且转弯到其中没有检测到障碍物的方向,操作继续。

作为步骤S202的确认处理的结果,确定在路线中是否存在大到足以被感知的障碍物(步骤S204)。在此,感知意味着可以在后续阶段的处理(步骤S208)中执行辨认处理。将参照图35B描述该处理。如上所述的,在捕捉图像中的垂直方向上,高度方向在障碍物O处的h1和h2之间最大。此外,宽度方向在物体O处的w1和w2之间最大。获得上述点,获得在这些像素之间存在的像素数量(在h1和h2之间以及在w1和w2之间),并且当该像素数量高于或等于预定值或超过预定值时,确定障碍物足够大以执行辨认处理,并且流程进行到步骤S206的处理。此时,可以仅通过高度方向或水平方向进行确定。也就是说,当在h1和h2(或w1和w2)之间存在高于或等于预定数量或超过预定数量的像素数量时,确定障碍物足够大以执行图像辨认处理,并且流程进行到步骤S206的处理。此外,当还不能获得h2,w1和w2中的至少一个时(也就是说,当估计障碍物O对于测量h2,w1和w2而言太大时),确定图像辨认处理是可能的,并且流程进行到步骤S206的处理。另一方面,当h1和h2之间以及w1和w2之间的至少一个的像素数量高于或等于预定值或者超过预定值时,确定障碍物没有大到足以执行辨识处理,并且流程进行到步骤S224的处理。还在不是障碍物的运动妨碍因素的情况下,例如陡峭的倾斜或在路线中部分地凹陷,以与障碍物的情况相同的方式确定尺寸。随后,使农业机械100前进,在经过预定时间之后,也就是说农业机械100接近障碍物的情况下(S224,S226,S228,S230,S232,S202的处理之后)再次进行确定。此外,在步骤S202的处理中,还当确定在行进方向上没有障碍物时,步骤S204的确定为否,并且流程进行到步骤S224的处理。注意到,参考图像和视差值信息或距离信息可以被发送到服务器704,并且服务器704可以进行步骤S204的确定。在这种情况下,省略步骤S206,并且要执行步骤S208的处理。此外,农业机械100可以执行下述的辨认处理(步骤S208)来辨认障碍物。

当在步骤S202的处理中确定存在大到足以要辨认的障碍物时,当农业机械100前进时,控制装置118操作制动装置208,214以暂时停止农业机械。然后,农机100将由立体照相机装置110捕捉的图像(参考图像)发送到服务器704(步骤S206)。注意到,当农业机械100处于停止状态时,控制装置118不执行制动操作。

当服务器704接收到图像时,服务器704执行图像识别处理(步骤S208)。服务器704通过以下过程执行辨认处理。首先,服务器704对接收到的图像执行修正处理,接下来,服务器704执行特征量提取处理,然后,服务器704通过将图像与标准图案进行比较来执行识别处理,以执行图像辨认。修正处理是减少包括在接收到的图像中的失真和噪声的处理。修正包括去除噪声,平滑,锐化,二维滤波处理,用于促进特征量提取的二值化,此外,用于提取要作为辨识目标的图的轮廓线的稀疏处理。此外,服务器704执行用于在随后的处理中精确地执行图案匹配的正常化处理(放大,缩小,旋转和移动图像,以及转换图像的密度)。特征量提取处理是获得为真实指示图像的特征的参数的特征参数并获得为形状的特征图案的处理。服务器704执行提取图像的不连续部分作为边缘的边缘提取。也就是说,服务器704提取密度的改变点,并将图像划分为几个连续区域。该边缘提取通过连接由提取跟踪方法断开的点序列并执行二次差分处理来完成。注意到,服务器704可以通过区域划分和纹理提取来执行区域提取,而不是边缘提取或者与边缘提取一起。接下来,服务器704通过将标准图案与特征图案进行比较来执行识别处理,并且当特征图案与某一标准图案类似时,将相应的图像确定为与标准图案的类别相同的类别。在本实施例中,服务器704通过使用存储在数据库706中的标准图案来执行图案匹配,并且检测是否存在相同或相似的图案。注意到,当通过使用特征参数而不是特征图案来执行识别处理时,可以通过使用统计识别方法来执行识别。此外,当通过提取边缘和特征点对图像进行结构分析时,可以使用结构识别方法来执行识别。当可以如上所述地执行识别时,确定辨认的图像,并且当不能执行识别时,确定图像不能被辨认(步骤S210)。

当图像不能被辨认时,图像被发送到用户终端710,712,并且用户终端710,712提示用户(系统用户)输入障碍物的类型和动作(步骤S212)。

用户使用用户终端710,712向服务器704发送障碍物的类型(例如,自然物体(岩石,树木,动物如袋鼠或牛),人造物体(栅栏,门))和动作(避免,忽略)(步骤S214)。

服务器704将这些信息项与图像和特征图案相关联,并将这些信息项作为新的标准图案寄存在数据库706中(步骤S216)。因此,将来,当辨认与当前障碍物类似的图像时,可以执行辨认。此外,服务器704将从用户获取的信息记录在数据库708中。因此,费用可以在计费时自动折扣。

注意到,当在一定时间内不能从用户终端710,712获得步骤S214的信息时,服务器704向用户终端710,712发送提醒,并提示用户输入信息。此外,当经过在一定时间没有接收到响应时,服务器704将障碍物的类型设定为“未知障碍物”,并且在考虑安全性时将“避免”寄存为动作,并将该信息寄存在数据库706中。当稍后从用户终端710,712发送障碍物和动作的类型时,服务器704用来自用户终端的信息覆盖数据库706中的寄存信息。

当在步骤S210中辨认出图像时,农业机械100能够执行与辨认结果一致的动作。此外,农业机械100还能够基于来自用户的信息执行动作。然后,服务器704确定动作是否被避免(步骤S218),并且当确定动作要被避免时,服务器704识别转弯的位置,方向和转弯角度(取向)(步骤S220)。第一转弯位置在障碍物之前,但是能够转弯的距离根据连接到农业机械100的操作装置106的类型是不同的。当难以以小半径转弯的操作装置106被连接时,则转弯要在障碍物之前相当大的位置处开始。另一方面,当能够容易地以小半径转弯或能够以小半径转弯的操作装置106被连接时,农业机械100可前进到靠近障碍物的位置。此外,转弯方向基本上是农业机械100可以通过最短路线抵达目标位置的方向;然而,当在步骤S206的处理中发送的图像中通过辨认处理可以感知到障碍物的边缘时,农业机械100在到障碍物的边缘的距离较短的方向上转弯,以使得迂回路径可以是短的。当不能从在步骤S206的处理中发送的图像中确定障碍物的边缘时,农业机械100的立体照相机装置110在行进方向上以预定角度左右旋转以捕捉图像,并且捕获的图像可以被发送到服务器704以辨认到边缘部分的距离。转弯角度或转弯后的取向被设定为以使得路线的距离最小。根据障碍物(会移动的动物等)的类型,转弯位置、方向和角度被设定为以大半径转弯。

此外,对于第二转弯时间和之后,通过估计(能够识别尺寸的障碍物的)类型或辨认的障碍物的尺寸来识别转弯位置,方向和角度。

将所有临时识别的转弯位置,到目的地的方向和角度从服务器704发送到农业机械100,并且已经接收到该信息的农业机械100使用该信息将路线信息更新为新的路线信息(步骤S222)。

另一方面,当服务器704确定农业机械100的动作为不是“避免”的动作即忽略障碍物的动作时,流程转到步骤S223的处理。例如,当障碍物是不妨碍农业机械100的行进的野草并且在障碍物上行驶没有问题时,障碍物被忽略,农业机械100向前行驶。

注意到,上面示出由服务器704执行步骤S208至S220的处理的示例;然而,这些处理可以由农业机械100执行。在这种情况下,被描述为由服务器704执行的部分要被读取为由农业机械100执行。

在步骤S223中,农业机械100确认剩余燃料。当农业机械100由电动机驱动时,确认剩余的电池电量。在此,下面通过使用图49来描述当燃料或电池剩余电量低时由整个系统1500的处理。此外,在该处理中,计时通过控制装置118内的计时钟开始。

在该确认结束之后,农业机械100沿着所述路线行进(步骤S162,S180的情况)或行进并执行任务(步骤S170的情况)(步骤S224)。注意到,该行进包括前进和倒进。此外,利用图37,40,47和49描述步骤S224的处理。

当步骤S224的处理结束时,农业机械100确定从步骤S223的处理起是否已经经过了预定期间(例如3秒)(步骤S226)。这通过使用控制装置118内的计时钟来完成。

然后,当还没有经过预定时间时,流程返回到步骤S223。另一方面,当经过预定时间时,确认当前位置,并且将当前位置信息发送到服务器704(步骤S228)。当前位置的确认如关于步骤S156的处理所描述的。注意到,在步骤S226中,确定是否经过了预定时间;然而,代替地,可以确定农业机械100是否已经运动了预定距离。

服务器704将当前位置信息与当前年/月/日/时间一起存储在数据库708中(步骤S229)。因此,可以以预定的时间间隔以基本上实时的方式感知农业机械100的位置。

接下来,农业机械100确定是否农业机械100已经到达目标位置(步骤S162:任务开始位置,步骤S170:任务结束位置,步骤S180:存储位置)(步骤S230)。根据在步骤S228中获得的当前位置是否与目标位置匹配来进行该确定。关于这些位置是否匹配的确定,可以根据识别所述位置的精度来提供范围。也就是说,只要当前位置的经度和纬度在一定范围内,农业机械100就可以确定这些位置匹配。

在此,当目标位置和当前位置匹配时,农业机械100结束该运动处理(步骤S236)。

另一方面,当这些位置不匹配时,农业机械100确定当前位置是否是转弯位置(步骤S232)。还在该步骤中,这些位置可以不必精确匹配,但是在确定中可以提供一定量的范围。当农业机械100确定为当前位置不是转弯位置时,流程返回到步骤S202的处理。另一方面,当农业机械100确定当前位置是转弯位置时,农业机械100基于路线信息而转弯(步骤S234)。当农业机械100的控制装置118操作主离合器202和变速齿轮204以使齿轮换到一档时,以及当控制装置118操作制动装置208,214施加制动以使农业机械100暂时停止和减速时,执行转弯运动。随后,控制装置118操作操控装置122,以使农业机械100在操控该农业机械100的同时通过前进或倒进转弯。注意到,当农业机械100正以低速行进或农业机械100可以以当前速度转弯时,则农业机械100可以在不减速或停止的情况下执行转弯运动。随后,流程返回到步骤S202的处理。

图37A示出步骤S162和S180的情况,也就是说,在农业机械100到达预定位置而不执行任务的情况下的步骤S224的操作。当农业机械100移动到任务开始位置或存储位置时,也就是说,在不执行任务而仅进行简单的移动的情况下,农业机械100行进(步骤S252)。在这种情况下,当在前一阶段的处理中识别的农业机械100的位置从路线偏移时,农业机械100在操作操控装置122以返回到原始路线的同时行进。此外,农业机械100能够沿着准确的路线行进,同时调节不能由诸如GPS或位置确认系统的位置感知系统能确认的微小误差,例如通过使用由立体照相机装置110捕捉的图像来修正当农业机械100正沿着从田垄偏移的路线行进时的轨迹。此外,还在已经在上面描述的或者要在下面描述的“行进”操作中,类似地,要使农业机械100的轨迹返回到所述路线或者调节微小位置偏移的处理被执行。注意到,行进不仅可以是前进,而且可以是倒进。此外,农业机械100可以在接近任务开始位置、存储位置或转弯位置时减速。在这种情况下,控制装置118操作主离合器202,变速齿轮204和制动装置208,214,并且农业机械100执行减速操作。

图37B是示出在农业机械100在步骤S170中行进而不是执行用于单独的农作物的任务时连续地(或间歇地)执行任务的情况下的通过农业机械100的步骤S224的处理操作的流程图。这些任务包括播种,整地,耕种,通常的水喷洒和施肥。在这种情况下,当任务流程开始时(步骤S260),农业机械100在行进中执行预定任务(步骤S262)。该任务是图32或图33中设定的任务。该任务是在设定的任务地点(区域)中连续或均匀地执行的任务,而不管农作物的个体的状态,土壤,任务位置等。任务可间歇地执行。任务通常由农业机械100的任务装置106执行。接下来,农业机械100确认任务源(步骤S264)。任务源例如是当任务的类型是施肥时的剩余肥料量,在喷洒水的情况下的水的剩余量,以及在播种的情况下的种子的剩余量。当该资源的量变得小于或等于预定量或小于预定量时,操作转到下面所述的图49中示出的操作。然后,行进和任务的第一循环结束(步骤S266),并且流程进行到下一时间和之后的行进和任务的处理。

<平整任务>

作为图37中示出的处理的示例。通过利用图38到42,给出了使用激光雷达装置112的农场土地中的平整任务的描述(注意到,在该示例中,确认步骤S264的任务源的处理是不必要的因此被省略)。除了以上所述的包括参照图1描述的农场土地中的系统1501和参照图2所述的信息通信系统1502的整个系统1500之外,平整任务还需要农场土地中的诸如激光接收装置(在图39的示例中为610)或激光发射装置(在图42的示例中为618)的特定装置;然而,自动驱动和自动任务的基本操作与上述操作相同。该激光雷达装置112能够在水平视角60°的范围内发射激光束,因此与通过使用常规激光器(使用激光水平仪(leveler)的情况)执行整地的情况相比,平整任务可以有效地执行而不需要耗费时间努力。此外,通过旋转激光雷达装置112,可以进一步减少改变激光接收装置的设定位置的次数。

图38示出设置有用于执行整地(平整)的任务装置106C的农业机械100C。农业机械100C的构造基本上与农业机械100A相同,然而,与农业机械100A的不同点在于,激光雷达装置112(和多光谱照相机装置113)设置在农业机械100C的顶壁部分上。在平整任务中,激光雷达装置112的摆动电机54控制轴的旋转,使得基于来自控制器64的基于水平信号的指令水平地发射激光束。

任务装置106C包括用于执行装载和放置土壤的任务的平整板600,用于防止放置在平整板600顶部的土壤向侧面溢出的侧板602,用于在表面层上执行土壤压碎和土壤松动并防止土壤变得过硬的弹簧齿604,用于执行土壤破碎和土壤压实的螺旋辊606,以及根据来自于农业机械100C的控制装置118的指令使平整板600等上下运动的电动缸。注意到,任务装置106C也可以包括控制处理器,该控制处理器与农机100的控制装置118交换信号并通过操作电动缸来控制平整板600等的上下运动。此外,用于使平整板600等上下运动的气缸可以是水压缸,气压缸和压油缸中的任一个。

图39示出如何通过使用农业机械100C执行平整任务的示例。除了农业机械100C之外,通过使用包括激光接收器612、无线通信天线614和控制处理器的激光接收装置610来执行平整。该激光接收装置610被设定在田垄中。此时,激光接收装置610被设定为以使得激光接收器612的光接收表面平行于竖直方向。在该状态下,激光接收器612具有其中多个光接收元件被设定在竖直方向和水平方向上的构造,以及包括接收所述激光束的高度的位置可根据哪个光接收元件已经接收所述激光束进行确定。在该图中,附图标记620表示已经平整的区域,以及附图标记630表示在平整之前的区域。此外,附图标记640示出由激光雷达装置112发射的激光束。该激光束进入激光接收器612的光接收元件之一中。此外,该图中的虚线示出无线通信如何通过激光接收装置610的无线通信天线614与农业机械100C的无线通信天线114正在被执行。农业机械100C通过接收到的光的高度的信息确定是否农业机械100C处于高于参考位置的位置或者低于参考位置的位置或者处于该参考位置处。

如上所述的系统1501的操作的概述被给出如下。也就是说,农业机械100C使用激光雷达装置112朝向激光接收装置610发射激光束同时一维地扫描所述激光束。在激光接收装置610处接收到的光的位置(高度)的信息是通过激光接收装置610的控制处理器获取的,以及所述位置信息通过使用无线通信天线614以无线方式被发给农业机械100C。基于接收到的信息,农业机械100C在当使任务装置106C的平整板600等上下地运动的同时行进并平整所述农场土地。

注意到,在本实施例中,激光雷达装置112被设定在农业机械100C的顶壁上;然而,激光雷达装置112可设定在任务装置106C上。通过将激光雷达装置112设定在任务装置106C上,使平整板600等上下地运动的用于执行平整任务的操作通过使用在激光接收器612处接收激光束的位置的信息可被弄成具有较小的时滞,因此可更精确地进行平整。在该情况下,激光雷达装置112需要被设定在高位置以使得来自于激光雷达装置112没有被农业机械100C的柱或顶壁阻挡,激光束被控制以在任务期间保持水平。

图40示出当执行平整任务时步骤S262的处理的细节。在该任务之前,作为初始设定,激光接收装置610被设定在田垄中以使得激光接收器612的标准水平的高度在平整板600的参考位置的高度处(在平整之后农场土地的平均高度)。

当所述任务开始时(步骤S300),农业机械100C设定平整板600等在参考位置的高度处,并且从平整板600发射激光束(步骤S302)。该激光束进入激光接收装置610的激光接收器612的光接收元件的任一个中。光接收信号被输入到激光接收装置610的控制处理器,并且控制处理器确认其中已经接收激光束的光接收元件所设定在的位置,并且使用无线通信天线614发送光接收位置信息到农业机械100C。

农业机械100C从接收到的信息确定是否在比激光接收器612的标准位置高的位置处接收(步骤S304)激光束。在比标准位置高的位置处接收激光束意味着土地在其中出现农业机械100C的地点处被升高。在该情况下,任务装置106C的平整板600等必需降低以平整所述升高的土地。因此当农业机械100C在步骤S304的处理中确定在比标准位置高的位置处接收所述激光束时,在平整板600等来到其中已经发射激光束的位置之前,农业机械100C根据接收到的信息发送指令到任务装置106C,并且降低平整板600等(步骤S308)。注意到,根据要求的平整精度,步骤S304的前进可被省略。当激光接收器612的光接收位置显著高于所述标准位置时,农业机械100C显著地降低平整板600等,并且当激光接收器612的光接收位置稍微高于所述标准位置时,农业机械100C稍微地降低所述平整板600等。这些操作基于由农业机械100C从激光接收装置610接收到的信息。也就是说,农业机械100C能够根据激光束的光接收位置调节升高的量或降低平整板600等。随后,通过使农业机械100C前进(步骤S316),任务区域被平整。

另一方面,当农业机械100C在步骤S304的处理中确定没有在比激光接收器612的标准位置高的位置处接收激光束时,此时,农业机械100C基于接收到的信息(步骤S310)确定是否在比激光接收器612的标准位置低的位置处接收激光束。在比所述标准位置低的位置处接收激光束意味着农业机械100C在发射激光时处于比要平整的土地所在的位置低的位置处。在该情况下,农业机械100C使得任务装置106C执行升高平整板600等的操作以调节要由平整板600等平整的量。因此,当农业机械100C在步骤S310的处理中确定在比标准位置低的位置处接收所述激光束时,农业机械100C稍微前进(步骤S312),并且在平整板600等来到其中已经发射激光束的位置之前,农业机械100C根据接收到的信息发送指令到任务装置106C,并且升高平整板600等(步骤S314)。注意到,取决于要求的平整精度,步骤S312的前进可被省略。当激光接收器612的光接收位置显著显著低于标准位置时,农业机械100C显著地升高平整板600等,并且当激光接收器612的光接收位置稍微高于标准位置时,农业机械100C稍微升高所述平整板600等。这些操作基于由农业机械100C从激光接收装置610接收到的信息。也就是说,农业机械100C能够根据激光束的光接收位置来调节升高的量或降低所述平整板600等。随后,通过使农业机械100C前进(步骤S316),任务区域被平整。

另一方面,当农业机械100C在步骤S310的确定中没有确定在比标准位置低的位置处接收所述激光束时,农业机械100C在发射激光束的时间点处于标准位置的高度,因此农业机械100C行进而没有变化平整板600等的高度(步骤S316)。

接下来,农业机械100C确定是否激光雷达装置112需要旋转(步骤S318)。该过程被描述在图41中。

图41是农业机械100C和激光接收装置610的鸟瞰视图的示意图。在该图中的箭头示出了农业机械100C的行进方向。注意到,为了简化描述,连接到农业机械100C的任务装置106C被省略。图41A示出其中激光接收装置610沿着农业机械100C的行进方向定位的情况。在该情况下,激光束在行进方向上要由激光雷达装置112发射,因此,激光接收器612接收在其中所述任务正在被执行的农场土地中的激光束。另一方面,如在图41B中示出的,当从农业机械100C的行进方向沿着行进方向发射激光束时,但是激光接收装置610处于激光束不能被接收的偏移位置,农业机械100C旋转激光雷达装置112以使得在激光接收器612处可接收激光束。此外,如在图41C中示出的,当农业机械100C的行进方向变为与激光接收装置610相反的方向时,农业机械100C进一步旋转激光雷达装置112(例如,相对于图41A中的位置旋转180度),并发射激光束。农业机械100C确定是否激光雷达装置112需要根据激光接收器612的激光束接收位置旋转。例如,当该光束不能在面向其中任务正在执行的农场土地的表面上被接收时,但是该光束仅能够在侧表面上被接收时,激光接收器612旋转等。替代地,当该光束在特定位置被接收时,该信息可被获得并且激光雷达装置112可旋转。注意到,激光雷达装置112的水平位置或激光束相对于水平平面的发射角没有通过旋转激光雷达装置112改变。

然后,在步骤S318的处理中,当农业机械100C确定激光雷达装置112需要旋转时,农业机械100C旋转所述激光雷达装置112(步骤S320)。激光雷达装置112此时旋转预先设定的旋转角;然而,该旋转角不限于此,并且旋转角可根据光接收位置改变。注意到,甚至当农业机械100C转弯时,激光束被恒定地或周期性地发射到激光接收器612,农业机械100C接收光接收位置的反馈,并且旋转所述激光雷达装置112以使得所述激光束抵达激光接收器612。

在步骤S318的处理中,当农业机械100C确定激光雷达装置112不需要旋转时,或者当激光雷达装置112在步骤S318的处理中旋转时,(第一循环的)任务结束(步骤S322)。注意到,如在图34,35A,36和37B中示出的,图40的任务在当农业机械100C从任务开始位置运动到任务结束位置时重复若干次。因此,整个的任务地点可被有效地平整。注意到,步骤S318和S320的处理可在步骤S316之前执行,以及在步骤S308和S314之后的处理和在步骤S310中进行否定的确定之后执行的处理可在步骤S318处执行。

图42示出通过使用农业机械100执行平整任务的另一示例。用于平整任务的激光束是从包括激光雷达装置112-2的激光发射装置618发射的。激光发射装置618包括用于通过电力使激光雷达装置112-2沿着水平方向旋转的平台622,用于支撑该平台622的其长度和角度是可调的三脚架,执行与农业机械100的无线通信的天线624,控制处理器。激光发射装置618的激光雷达装置112不需要围绕轴旋转,因此用于该目的的机构(摆动电机54)可被省略。替代地,激光雷达装置112可被固定以便不围绕轴旋转。激光发射装置618由三脚架设定以使得激光束被水平地发射到田垄。包括激光接收仪器616的任务装置106C-2被连接到农业机械100,并且执行平整任务。在激光接收仪器616上,激光接收器612-2被设定在在竖直方向上延伸的柱的顶部部分处。激光接收器612-2包括在竖直方向上和在水平方向上的多个光接收元件。在水平方向上的多个光接收元件沿着激光接收器612-2的圆周布置。由激光接收仪器616检测的激光束的高度的信息被输入到农业机械100的控制装置118中。任务装置106C-2包括电动缸,其根据由激光接收器612-2接收到的激光束的位置基于来自于农业机械100的控制装置118的指令使平整板等上下地运动。注意到,激光接收仪器616可包括控制处理器,该控制处理器根据检测所述激光束的光接收元件的位置操作所述电动缸,以使平整板等上下地运动。注意到,在该图中的虚线示出了激光发射装置618和农业机械100之间的无线通信。

在如上所述的系统1501中,平整任务被如下地执行。首先,作为初始设定,要设定在田垄中的激光发射装置618的三脚架被调节以使得激光束在其中从激光雷达装置112-2发射的激光束变为水平的且任务装置106C-2的平整板被设定在要作为参考高度的土地的高度处的状态下被发射到激光接收器612-2的标准位置。接下来,激光束朝向激光接收器612-2发射。农业机械100基于已经接收所述光束的光接收元件的位置确定是否在相对于所述标准位置的更高位置处或在更低位置处接收所述光束,以及当农业机械100确定在相对于所述标准位置的更高位置处接收所述光束时,这意味着土地被升高,因此农业机械100降低所述平整板并行进,以及平整所述土地。另一方面,当农业机械100确定在相对于标准位置的更低位置处接收所述光束时,这意味着所述土地低于所述参考,因此农业机械100升高平整板并行进,以及平整所述土地。注意到,根据光接收位置距离所述标准位置的近似距离升高和降低所述平整板。也就是说,随着所述光接收位置距离所述标准位置的距离变得越长,平整板升高或降低更大的量。此外,当在标准位置处接收所述光束时,平整板在参考高度处,因此农业机械100行进而没有改变平整板的高度。接下来,农业机械100感知哪个光接收元件已经接收到在激光接收器612-2中的水平方向上的光束。根据所述光接收位置,农业机械100确定是否激光雷达装置112-2的激光发射角度需要改变。当不需要改变激光发射角度时,农业机械100没有执行任何通信。另一方面,当农业机械100确定所述需要改变用于在下次任务和之后接收激光束,农业机械100给激光发射装置618发送用于根据光接收位置使激光发射装置618的平台622旋转的信息。激光发射装置618的控制处理器基于接收到的信息使平台622旋转预定角度。因此,不管其中农业机械100正在执行任务的任务区域的位置,农业机械100能够全天候地接收激光束。

通过重复如上所述的任务,系统1501能够有效地平整所述任务区域。为了描述图40的该示例的操作,步骤S302是由激光发射装置618而不是由农业机械100执行的操作。此外,步骤S320的激光雷达装置的旋转是由激光发射装置618而不是由农业机械100执行的操作。

注意到,当整地要被执行以在农场土地中建立预定倾斜时,激光雷达装置112或112-2中的轴要从水平地发射激光束的角度旋转预定角度。

<单独的任务>

通过确定对用于诸如农作物的每个任务目标的任务的需要并且仅当需要时执行关于所述任务目标的任务,可以增加整个任务的效率。通过利用图43到47,这时,给出了根据农作物等的状态单独执行的任务的操作的描述,所述任务可根据自动控制由包括在农场土地中的系统1501和由图2描述的信息通信系统1502的整个系统1500执行。注意到,单独地执行的任务包括施肥,播种,移栽,收获,除草,农药播散/雾化,喷洒水和收割等;然而,施肥主要作为示例给出以描述如何执行任务。注意到,系统1501的操作还可被应用到针对每种农作物等单独执行的任务,而不是施肥。

图43示出施肥任务如何正通过使用根据本实施例的整个系统1500被执行的示意图。农业机械100自动地行进同时自动地执行仅针对农场土地中的具有生长不足(低活性度)的农作物360的任务(施肥),在所述农场土地中,正常生长的由实线示出的农作物350(高活性度)以及生长不足(低活性度)的由虚线示出的农作物360被耕作。此外,在所述农场土地中,用于从高的位置监视植物的生长状态的设置有多光谱照相机(或比色照相机)的状态监视装置550被设定,以及所述状态监视装置550正在执行与农业机械100的无线通信。此外,在整个系统1500中,多个标记370被提供用于识别在由农场土地监视装置500,555和状态监视装置550等捕捉的图像中的预定位置。这些标记370具有施加的不同的数字,特征,颜色,图案,图和形状(或这些项的不同的组合),以及其中提供这些标记370的位置早已通过系统1501是已知的。在图32的描述中,其中要执行的任务的任务地点是基于来自于用户终端710,712的数据进行识别的;然而,服务器704还能够基于来自于状态监视装置550的信息识别所述任务地点。该操作是通过利用图46在下面被描述的。注意到,图43示出具有生长不足的农作物360被集中在由圆圈圈住的地点中。

图44是示出在系统1501中的农业机械100的任务状态的示意图。该农业机械100具有用于施肥的、附连到农业机械100的主体的任务装置(施肥机械)106D。农业机械100用多光谱照相机装置113确认农作物350,360的生长状态,并且根据所述确认结果将肥料802散播在确定为具有生长不足的农作物360附近。农业机械100使用无线通信天线114发送施肥的信息或植物状态的信息,以及该信息通过农场土地监视装置555中继被发给服务器704(在该图中由虚线示出)。注意到,当在其中无线通信可抵达的范围内存在无线访问点700时,农业机械100可在没有通过农场土地监视装置555等中继的情况下发送所述信息到服务器704。此外,该信息可通过另一无线访问点等通过中继被传送。

图45示出用于供给肥料到植物的任务装置(施肥机械)106D的主要部分的部分。图45A示出施肥机械的外部视图,农业机械100的主体和连接部件等被省略。图45B是沿着由图45A中的虚线4501示出的平面截得的截面视图。该施肥机械106D包括由金属制成的壳体罩800,肥料发送装置810,松动主体812,散播单元804,红外线传感器806,肥料输入开口808以及在主体中的肥料802。肥料802从肥料输入开口被输入到壳体罩800内。农业机械100通过由来自于农业机械100的控制装置118的指令或由来自于电源228的电流控制的PTO轴222的驱动力来驱动所述肥料发送装置810和松开主体,以将肥料802发送到散播单元804同时松动所述肥料802,并从散播开口散播所述肥料802。此外,红外线传感器806检测肥料的剩余量。检测到的肥料的剩余量的信息被传送到控制装置118。注意到,散播单元804可灵活地弯曲,并且散播开口可设置在关于农业机械100的行进方向的右侧,左侧或后侧上。

图46是示出基于来自于状态监视装置550等的信息由服务器704执行的用于识别任务地点的操作的流程图。基于该示意图,给出了基于来自于状态监视装置550等的信息由服务器704执行的用于识别任务地点的操作的描述。通过执行该处理,可以在广阔区域预先识别所述任务地点,因此,可增加任务的效率和速度。

当该处理开始时(步骤S330),首先,服务器704获取通过捕捉包括具有状态监视装置550的农场土地的区域的图像获得的图像信息以及不同于该图像信息的附加信息(示出植物(NDVI等)的生长状态的信息,疾病和害虫的信息,霜冻的信息,由害虫等引起的变色信息,土壤信息以及糖含量信息等)(步骤S332)。注意到,服务器704例如可在信息处理之前从状态监视装置550获取光谱反射率的信息,并且处理该获取的信息以获得指示植物的生长状态的信息(NDVI等)。

服务器704从所述图像和附加信息检测其中存在需要诸如喷洒水、肥料散播和除草的植物的地点(步骤S334)。例如,这可通过识别光谱图像中其中NDVI小于或等于预定值或低于预定值的地点得以执行。不同于NDVI,服务器704可关于可见红色区域的波长(例如,660纳米)识别光谱图像中其中光谱反射率小于或等于预定值或低于预定值的地点。注意到,服务器704可通过获取由农场土地监视装置500,555等而不是状态监视装置550或与该状态监视装置550一起检测到的信息来检测其中需要任务的地点。

接下来,服务器704识别检测到的地点的位置(步骤S336)。为了该识别,首先,服务器704执行类似于步骤S208的处理的图像辨认处理,并辨认出现于捕捉的图像中的多个标记370。服务器704获得已经被辨认的多个标记370的位置。然后,服务器704从已经被辨认的多个标记标记370和需要任务的地点之间的位置关系识别需要任务的地点的位置。

然后,服务器704将识别的位置作为任务地点发送到农业机械100和用户终端710,712(步骤S338),并结束该处理(S340)。因此,农业机械100不必测量横穿其中任务是可能的整个区域的每个农作物350,360的生长状态及其他状态,因此可有效地执行所述任务。因此,可减少任务时间。用户还能够感知其中需要任务的地点。

接下来,通过使用图47,给出了其中当确认为如上所述的任务目标的每个农作物的状态时任务被单独地执行的情况的操作的描述。图47用于详细地描述当针对每个目标单独地执行时的图35A中的步骤S224的处理。

当所述处理开始时(步骤S350),农业机械100获取所述图像信息和附加信息,并发送该获取的信息到服务器704(步骤S352)。此时,农业机械100的行进可被暂时地停止。该处理可用于获取捕捉到的由立体照相机装置110和/或为包括在农业机械100中的图像传感装置的多光谱照相机装置113获得的图像信息以及不同于从这些装置获得的图像信息的附加信息(在立体照相机装置110的情况下的视差值或距离信息,以及在多光谱照相机装置113的情况下通过利用光谱反射率计算的信息或每个波长的光谱反射率信息),或者用于获取不同于图像信息的附加信息,例如除了如上所述的捕捉到的图像信息和不同于该图像信息的附加信息之外的由激光雷达装置112获得的距离信息和形状信息。此外,农业机械100可获取响应于农业机械100、服务器704和用户终端710,712中的任一个的请求由状态监视装置550或农场土地监视装置500,555捕捉的图像,或者由状态监视装置550或农场土地监视装置500,555自动捕捉到的图像以及每个波长的光谱反射率信息,或通过利用光谱反射率(状态监视装置550)计算的信息或例如偏振信息的信息以及(农场土地监视装置500,555)日照区域的信息,并发送获取到的信息到服务器704。此外,不同于从不同于图像传感装置(立体照相机装置110,多光谱照相机装置113和天球照相机装置501)的装置获取的图像信息的信息(例如,从环境监视装置获取的温度和湿度,以及经由因特网702获取的天气预测和日照时间)可被发送到服务器704。在该情况下,步骤S352的处理可通过农场土地监视装置500,555、状态监视装置550和/或服务器704而不是农业机械100,被执行。在该处理中获取和发送的信息根据农业机械100将执行的任务而不同。例如,在散播肥料的任务的情况下,为了检查要为目标的植物的生长状态和/或土壤状态,由多光谱照相机装置113捕捉到的光谱图像和光谱反射率信息(由农业机械100的多光谱照相机装置113获取的信息或由状态监视装置550的多光谱照相机装置113获取的信息)是适当的。在除草的任务的情况下,为了精确地区分植物的类型,由偏振立体照相机装置捕捉的偏振图像以及到物体的距离的距离信息是适当的。此外,在收获果实的任务的情况下,为了感知果实的尺寸、颜色和糖含量,除了由多光谱照相机装置113捕捉的光谱图像和光谱反射率信息之外,作为用于使为任务装置106的收获机器人的果实切割保持臂运动以便可靠地运动到果实周围的预定位置的信息,由立体照相机装置110捕捉的图像信息以及到果实的距离信息是需要的(替代地,由激光雷达装置112而不是由立体照相机装置110测量的距离信息可被利用。激光雷达装置112靠近多光谱照相机装置113,因此相对于目标果实的位置可被精确地检测)。此外,在浇水任务的情况下,例如,为了检查植物活性度,除了诸如由多光谱照相机装置113获取的图像的信息以及光谱反射率信息之外,为了确定喷洒水的必要性,天气预测(降水预测)也是经由因特网702获取的。注意到,所述任务不限于以上所述的,施肥,播种,移栽,收获,除草,农药播散/雾化,喷洒水,和收割等,其是在某些单元中执行的例如农作物的任务,都是可应用的。在该情况下,图像信息和不同于该图像信息的附加信息要被获取。

已经接收所述信息的服务器704分析所述信息,生成所述任务所需要的信息,以及发送该生成的信息到农业机械100(步骤S353)。该分析分析也根据要执行的任务不同。例如,在肥料散播的任务的情况下,服务器704执行类似于图35A的步骤S208的处理所描述的情况的图像辨认,并且检查针对每个辨认的叶子的NDVI(植物活性度)以及检查所述土壤的光谱分布。结果,服务器704确定是否肥料需要被播散。在除草的任务的情况下,服务器执行图像辨认(与步骤S208的处理一样),确定是否所述目标是野草,以及当服务器704确定目标是野草时,服务器704获得到该野草的距离以便将用于散播除草剂或拾取野草的臂带到野草的位置。在收获果实的任务的情况下,服务器704分析所述果实的尺寸、颜色和糖含量,并且确定是否收获所述果实。当服务器704确定收获所述果实,以便能使果实切割保持机器人臂抵达果实周围的预定位置,服务器704计算到所述预定位置的距离。此外,服务器704可从植物活性度和降水预测确定是否喷洒水任务是需要的。注意到,步骤S353的处理可通过农业机械100执行。

基于所述信息,通过该信息,所述确定结果通过服务器704获得,农业机械100确定是否执行所述任务(步骤S354)。

在步骤S354的处理中,当农业机械100确定要执行所述任务时,农业机械100行进直到所述任务目标在所述任务装置106的任务区域内(步骤S356)。

农业机械100确定是否任务装置106的任务可能区域已经抵达靠近诸如为确定需要任务的农作物的任务目标的区域(步骤S358)。在此,该确定是这样进行的:通过确定是否农业机械100从其中已经执行成像等的点已经运动了一已知的距离到任务区域和已经执行所述成像的装置。农业机械100在当立体照相机装置110正在测量所述距离时前进,或者所述距离是从轮的旋转频率精确测量的。进行这些测量是因为存在其中由于甚至微小的位置偏移引起任务被妨碍或者任务是不成功的情况,取决于任务的内容。此外,当步骤S352的信息获取是通过状态监视装置550进行的时候,服务器704从多个标记370识别农业机械100的位置并计算要行进的距离。该距离信息被发送到农业机械100,农业机械100运动相应的距离。

注意到,当在步骤S156中描述的位置的识别可被精确地执行以使得任务没有被妨碍时,通过比较在行进前后识别的位置来进行所述确定。

注意到,当存在图像传感装置(立体照相机装置110,多光谱照相机装置113和天球照相机装置501)和靠近任务装置106的激光雷达装置112时,以及可在其中获取图像信息等的点处执行所述任务。

步骤S358的确定和步骤S356的行进被重复直到任务目标在任务装置106的任务可能区域中。当农业机械100行进穿过任务目标太多时,农业机械100可在步骤S356的处理中倒进。

当农业机械100确定任务装置106的任务可能区域已经抵达靠近诸如为确定需要任务的农作物的任务目标的区域时,农业机械100执行所述任务(步骤S359)。

当任务结束时,农业机械100给服务器704发送包括任务位置(任务目标)、任务内容、是否任务是成功的/不成功的以及任务时间的任务信息(步骤S360)。要发送的任务信息根据任务类型不同。例如,当任务是收获时,任务位置、任务内容、是否任务是成功的/不成功的以及任务时间被发送。当任务是喷洒水时,任务位置、任务内容、喷洒水量和任务时间被发送。当服务器704接收这些信息项时,服务器704存储这些信息项在数据库708中(步骤S361)。如上所述的,整个系统1500存储针对每个任务位置和任务目标的任务信息,因此整个系统1500能够将该信息用于收费处理,比较任务条件与生长条件并且识别适合于该任务目标的任务条件,并存储用于预测未来收获的数据。服务器704可在一定周期内(例如,月,年,或从耕作开始经过的日子)编译针对每个任务目标的任务信息,并且可以将编译的任务信息(任务内容)以一定格式提供给用户终端710,712以使得该信息可显示在这些终端处。此外,任务信息能够被用作财富数据,因此任务信息可独立地用作商业交易的目标,例如,任务信息可卖给系统用户。

另一方面,当农业机械100确定所述任务在步骤S354的处理中是不需要的时候,流程前进到步骤S362。

在步骤S362中,农业机械100确定是否在该区域中的任务,其通过用户终端710,712(图32的示例)或状态监视装置550(图46的示例)被指定为任务地点,已经完成。该确定是通过比较任务地点的最终位置与当前位置进行的。识别所述位置的方法与在图34的步骤S156的处理中描述的方法相同以及所述比较与在图36的步骤S230的处理中描述的比较相同。

当农业机械100确定当前位置处于任务完成位置处时,农业机械100确定是否存在下一个任务地点(步骤S364)。该确定是由从服务器704(图33的步骤S130和图46的步骤S338)发送的信息进行的。

结果,当农业机械100确定存在下一个任务地点时,农业机械100计算到该任务地点的路线(步骤S366)。最短路线是通过图34中的步骤S160和S178的处理的相同方法计算的。

接下来,农业机械100确认所述任务源(步骤S368)。该任务源是执行所述任务所需要的源;例如,当任务是施肥和浇水时的肥料和水,当任务是收获时的用于储存所述收获的空间,以及当任务是播种时的种子。步骤S370还被作为随后的处理执行,当在步骤S362和S364进行了否定的确定时。在其中农业机械100确定任务源不够的情况下的系统1501的操作通过利用图49被详细地描述。

在确认任务源之后,农业机械100朝向相同任务区域中的下一个任务位置行进或行进到该下一个任务区域(任务地点)(步骤S370),并且结束该任务的第一循环(步骤S372)。注意到,步骤S370中的行进可不仅是前进,而且可以是倒进。在在步骤S370中,农业机械100行进直到其中农业机械100可获取单独的确定的下一个目标的图像等的位置。该位置可通过农业机械100和服务器704预先感知,或可基于由农业机械100的立体照相机装置110或多光谱照相机装置113获取的图像被识别。

此外,执行步骤S368和S370的处理的顺序可互换。在该情况下,在步骤S362和S364的处理中进行否定的确定之后,随后的处理是步骤S370。

通过执行以上操作,所述运动、基于目标的状态的单独任务以及在路线中的运动需要仅执行一次,因此任务可有效地完成。

注意到,在该示例中,给出了其中诸如施肥的任务在当测量单独任务目标的状态(植物活性度)时被单独地执行的示例的描述;然而,所述任务不限于此,并且可以在可以为诸如农作物350和360等的任务目标的所有任务地点中的区域中单独地执行诸如施肥的任务,而没有测量单独的状态。此外,可以根据诸如测量的生长状态的单独任务目标的状态执行控制所述任务源(例如,肥料)的量的详细的任务。

<任务中断处理>

当通过自动控制运动和执行任务时,优选的是,自动地响应当运动和任务中断时的情况。特别地,优选的是,通过在中断的因素例如由于燃料不足而不能够运动的因素发生之前预测中断,在农业机械100陷于其中农业机械100仅能够手动地恢复的状态之前采取措施。通过利用图48到51,给出了中断任务的处理的描述,当农业机械100的燃料(电池)剩余量变得较低时或者当任务源例如肥料的量变得较少时。注意到,通过利用图52到56,给出了特殊情况的详细描述,在该特殊情况中,任务中断是由于不是燃料、电池或任务源的理由,例如通过农场土地监视装置500,555检测到某种异常。

图48是示出当电驱动的农业机械100B中断任务时以及当电池电源的剩余量较低时给电池充电的程序的示意图。农业机械100B是电驱动类型的农业机械,并且包括在图6中示出的传动装置104-2。农业机械100B设置有作为任务装置106B的播种装置,以及农业机械100B沿着任务地点和植物种子的预定路线行进。该图中的虚线示出农业机械100B沿着其已经执行任务的路径,以及农业机械100B已经种植种子在由虚线示出的区域中。在该农场土地周围,存在多个标记370。目前,农业机械100B的电池电源的剩余量在该图中的该位置处是较低的,以及农业机械100B确定不可能完成所述任务。在该情况下,中断位置被存储,此外,立体照相机装置110测量并存储立体照相机装置110和最靠近的标记370之间的距离D。该距离D是要用于精确地识别其中所述任务要在给电池充电之后继续的位置。随后,农业机械100B沿着由实线示出的路线行进并且送到外部电源226(非接触电力传输装置)以给电池充电。然后,在充电完成之后,农业机械100B运动到任务中断位置,并且从准确的中断位置继续所述任务。如上所述的,根据整个系统1500,燃料、电池和任务源可尽可能多得通过自动控制补充,以及任务的效率可增加。

以上操作的详细描述示出在图49中。图49是当中断任务(或运动)时操作的操作流程图。图49还被描述为是图35A中的步骤S224的处理的任务(当中断任务时的另一任务)。

假定该操作流程是当农业机械100辨认到燃料(内燃机类型的农业机械)的剩余量或电池电力(电驱动类型的农业机械)已经变得小于预定量或小于或等于图35A中的步骤S223的处理中的预定量时或者农业机械100辨认到诸如肥料和种子的任务源的量已经变得小于预定量或小于或等于图47中的步骤S368的处理中的预定量时才开始的(步骤S400)。

首先,农业机械100确定是否目标操作(充电或填充和固定任务源)已经完成(步骤S402)。紧接着在该处理开始之后,进行所述目标操作没有完成的确定,因此随后,农业机械100确定是否任务中断信息(步骤S416的信息)例如任务中断年/月/日/时间、中断位置和到识别目标等的距离或步骤S418的行进中断信息早已经被发送到服务器704(步骤S405)。紧接着在该处理开始之后,还在该步骤中,进行所述信息还没有被发送的确定,因此随后,农业机械100确定是否农业机械100正在执行某种任务(例如,施肥,整地和收获等)(步骤S408)。在此,当农业机械100确定农业机械100正在执行某种任务时,农业机械100中断所述任务(步骤S410)。也就是说,根据控制装置118,农业机械100停止行进并且还停止由任务装置106执行的任务。随后,农业机械100通过采用与在图34的步骤S156的处理中描述的方法相同的方法来确认当前位置,并将当前位置存储在控制装置118中(步骤S412)。

然后,立体照相机装置110用来测量距离特定目标例如标记370等的距离,并存储该距离在所述控制装置中(步骤S414)。为了执行该处理,首先,目标需要被辨认。作为该辨认,存在通过与识别如在图35A的步骤S202和S204的处理中描述的障碍物相同的方法来识别位于前方的某种物体的方法,或者通过执行在图35A的步骤S208的处理中描述的图像辨认处理来检测特定目标的方法。前者的方法可比后者的方法更快地被执行;然而,前者的方法的精度低于后者的方法的精度。接下来,农业机械100测量到识别的目标的位置的距离。该位置被假定位于目标的中心;然而,该位置不限于此,例如,该位置可以是边缘的地点。

图50示出包括目标和测量的距离的被捕捉的图像的示例。所述目标可以是如在图50A中示出的人造物体例如标记370(该标记示出数字“12”),或者在图50B中的自然物体例如树372。图50A示出从农业机械100(立体照相机装置110)到标记370(由黑色圆圈示出的中心部分)的距离是17.2米。图50B示出从农业机械100(立体照相机装置110)到树372(的分枝的末端)的距离是19.0米。注意到,到包括在捕捉的图像中的多个点的距离可被测量。此外,当农业机械100包括多个立体照相机装置110时,到一个或更多个点的距离可在由两个或更多个立体照相机装置110捕捉的图像中被测量。因此,农业机械100可在当继续所述任务时被更精确地定位在开始位置处。随后,农业机械100给服务器704发送包括任务中断年/月/日/时间、中断位置和到识别目标的距离的任务中断信息(步骤S416)。

当服务器704接收该信息时,服务器704发送所述任务中断信息到用户终端710,712。因此,用户能够感知到任务已经被中断。此外,服务器704存储该任务中断信息在数据库708中。该存储被进行以记录任务日志并精确地执行如下所述的收费处理。

接下来,农业机械100计算到其中要执行所述目标操作(充电或填充和确保任务源)的位置的路线(步骤S419)。该路线计算可通过服务器704进行。注意到,用于执行所述目标操作的位置是由其中预先存储所述位置的服务器704给出的;然而,该位置不限于此,并且农业机械100可存储该位置。此外,该位置可经由用户终端710,712由用户指定。在该计算中,最短路线基本上被计算,类似于在图34的步骤S160和S178的处理中描述的计算。此外,当农业机械100确定农业机械100没有正在执行步骤S408中的任务(例如,当农业机械100正在朝向任务位置行进时)时,农业机械100通过与在步骤S412的处理中的方法相同的方法来确认当前位置,发送该当前位置信息和行进中断信息到服务器(步骤S418),并计算从当前位置到其中所述目标操作要由与以上相同的方法执行的位置的路线(步骤S419)。注意到,还在该情况下,服务器704可计算该路线。

然后,农业机械100沿着所述路线行进(步骤S420)。注意到,该行进包括前进和倒进二者。注意到,当农业机械100确定农业机械100早已经在步骤S405的处理中发送任务中断信息时,流程前进到步骤S420的处理,以及农业机械100行进。

接下来,在经过预定时间之后(例如,一秒),农业机械100确定是否农业机械100已经到达用于执行所述目标操作的位置(步骤S422)。该确定是通过如在图36的步骤S230和S232的处理中描述的方法进行的。注意到,步骤S422的确定可在每当农业机械100已经行进预定距离(例如,50厘米)时而不是当经过预定时间时进行的。当农业机械100确定农业机械100还没有达到所述位置时,农业机械100暂时地结束所述任务中断处理,执行图35A和图36的一系列操作,并再次继续步骤S400的处理。另一方面,当农业机械100确定农业机械100在步骤S422的处理中已经到达用于执行目标操作的位置时,农业机械100执行目标操作(步骤S424)。该操作可以无人方式自动地执行,如在图48中示出的系统1501中,或可手动地操作。例如,柴油或汽油可手动地供给在农业机械100的燃料箱中或肥料可手动地补充在任务装置中。该操作是在在步骤S426中被监视的,并且被执行直到所述目标操作完成。例如,当农业机械100的传感器检测到已经充了预定量的电池电力、大于或等于预定量的肥料已经被供给或者或收获物已经从收获存储空间移除时,农业机械100检测到目标操作已经完成,以及确定为操作完成。图51示出紧接着在农业机械100B的电池224-2已经通过外部电源(非接触电力传输装置)226被充电之后的状态。

随后,农业机械100给服务器704发送包括目标操作结束年/月/日/时间和目标操作内容(已经供给多少电池电力、燃料、肥料等)的操作结束信息等,此外,农业机械100计算到任务中断位置的路线或到任务开始位置或存储位置的路线(步骤S427)。服务器704发送操作结束信息到用户终端710,712,并存储该信息在数据库708中。计算所述路线的方法与如上所述的方法(步骤S419等)相同,并且该计算可由服务器704执行。

然后,农业机械100行进(前进或倒进)(步骤S430)。例如,如在图52中示出的,当电力被充分地充入到电池224-2中时,为了继续所述任务,农业机械100开始行进到所述任务中断位置。注意到,在完成目标操作之后,在图49中在第二操作循环中的步骤S402的处理中及之后,当农业机械100确定目标操作已经完成时,接着是步骤S430的处理。

然后,在经过预定周期之后,农业机械100确定是否是否任务已经中断(步骤S431)。当农业机械100没有确定任务已经中断时,流程前进到步骤S444,并且该处理被暂时地结束。

另一方面,当农业机械100确定任务已经中断时,农业机械100确定是否农业机械100已经到达靠近任务中断位置(步骤S432)。该确定基本上是通过与步骤S422的方法相同的方法进行的;然而,可通过在确定是否这些位置匹配时增加范围来确定是否农业机械100靠近任务中断位置。

接下来,农业机械100使用立体照相机装置110,通过与步骤S414的方法相同的方法,识别与在步骤S414中已经为其测量了距离的目标对应的目标,并且测量到该识别的目标的距离(步骤S434)。

农业机械100确定在步骤S434中测量的到目标的距离与在步骤S414中测量并存储的距离是否是相等的(步骤S436)。注意到,在步骤S414中,当单个立体照相机装置110已经测量到多个点的距离或多个立体照相机装置110已经测量到多个点的距离时,到所有相应位置的距离也在步骤S434中被测量,以及农业机械100确定所有的距离是否匹配。注意到,匹配的精度可以根据通过立体照相机装置110的测距的精度进行确定。

然后,当农业机械100确定所述距离在步骤S436中不匹配时,农业机械100的控制装置118操作所述操控装置122和传动装置104以使农业机械100来回地和左右地运动,以使得所述距离匹配(步骤S438)。当这些距离在再次测量所述距离一次或更多次之后仍匹配时,农业机械100确定所述任务中断位置和所述任务继续位置匹配,并发送所述任务继续信息与任务继续年/月/日/时间到服务器704(步骤S440),并且开始所述行进任务(步骤S442)。服务器704发送所述任务继续信息和开始时间到用户终端710,712,以及此外,存储该信息在数据库708中。另一方面,当农业机械100确定所述距离在步骤S436的处理中匹配时,流程前进到步骤S440。如上所述的,通过使所述距离与目标匹配,甚至当在位置信息中存在微小的偏差时,可以精确地匹配所述任务中断位置和所述继续位置。因此,例如,可以执行所述任务,而没有重复或没有任务不被执行的空隙。

当所述任务继续时,如上所述的,在图49中示出的操作流程结束,并且在图40和图47的任务的循环中执行这些处理。

<当检测到异常时的操作>

随着农场土地变得日益大面积的,解决已经发生的异常变得更麻烦,例如,所述异常例如为人工地驱赶已经进入该农场土地中的害兽。因此,优选的是,自动地响应在这样的情况下的异常。通过利用图52到56,给出了在其中农场土地中检测到异常发生的情况下的操作的描述。图52示出了如何自动地控制的农业机械100用来观察异常源1000以及根据异常源1000采取行动,当异常事件通过农场土地监视装置500被检测到时(在该示例中,当检测到会损害农作物的异常源1000(主要为所谓的害兽)时)。该图中的虚线示出了通过无线通信的信息的传送和接收。在该示例中,信息在农场土地监视装置500和农业机械100之间交换;然而,信息的交换不限于此,以及该信息可经由服务器704交换。此外,异常的内容不限于害兽进入中农场土地中,而是异常可包括可由人或自热力引起的所有异常问题。例如,火或未知人的非法进入可以是一异常。

图53是用于更详细地描述通过图52的农业机械100的操作的示意图,以及图53是从上方看到的图52的农场土地的视图。如在该图中示出的,农业机械100通过最短路线执行接近所述异常源1000的操作,同时避开其中耕作农作物910的区域。

图54和55示出当该异常事件已经发生时根据本实施例的整个系统1500的操作,以及主要地描述了服务器704和农业机械100的操作。图54用于描述从异常事件发生时到响应该异常的行动完成时的操作。另一方面,图55用于描述在图54的步骤S502的处理中步骤S422的操作的细节(与图49中的步骤S400到S444的操作相同)。

当发生异常事件时的流程开始于当在由农场土地监视装置500捕捉的图像中检测到异常时(步骤S450,S452)。这是当农场土地监视装置500发送捕捉的图像到服务器704并且服务器704分析该图像时执行的操作。服务器704通过与图35A的步骤S208的处理的方法相同的方法执行图像辨认,以及例如,服务器704检测:当不同于农业机械100、农作物910和系统用户的某物被包括在由农场土地监视装置500捕捉的图像中时已经发生异常。注意到,可从另一装置例如状态监视装置550和农场土地监视装置555捕捉的图像检测所述异常。

当服务器704检测到该异常时,服务器704发送指示已经检测到异常的报告、捕捉该异常状态的图像和年/月/日/时间等到用户终端710,712(步骤S454)。然后,服务器704将与发送给用户终端710,712的信息相同的信息存储在数据库708中。

接下来,服务器704确定用于响应已经发生的异常的处理是否完成(步骤S456)。紧接着在异常事件发生之后,通常,该处理还没有完成,因此流程前进到下一步骤S458的辨认处理。在该辨认处理中,通过类似于图35A的步骤S208的处理的方法,执行关于其中检测到异常的地点的图像辨认(步骤S458)。该辨认处理是通过获得异常的地点的特征量以及比较该特征量与存储在数据库706等中的标准图案,得以执行的。该处理是包括其中服务器704它自己完成所述处理的情况和其中农业机械100完成所述处理的情况二者(在步骤S502的处理中执行的步骤S428的操作结束报告)的操作以及服务器704接收该信息并且服务器704确定该处理已经完成。

作为步骤S458的辨认处理的结果,服务器704确定异常内容是否已经被辨认(步骤S460)。然后,当异常内容已经被辨认时,服务器704根据异常内容执行操作(步骤S462)。该操作针对每个异常内容进行限定;例如,该操作被忽略,使得最接近该异常的农业机械100靠近该异常并通过利用警笛和在异常处喷水等恐吓该异常。那么,随后,流程回到步骤S456的处理,以及当服务器704确定响应所述异常的处理已经完成时,当异常事件发生时的处理结束(步骤S474)。

另一方面,在步骤S460的处理中,当服务器704不能确认异常的内容时,服务器704从多个标记370等识别异常区域的位置,所述多个标记的位置是已知的且其被包括在由农场土地监视装置500等捕捉确认图像中(步骤S464)。

然后,服务器704确定确认异常内容的指令是否早已经给出到农业机械100(步骤S468)。当服务器704确定指令还没有给出时,服务器704通过利用存储在数据库708中的信息识别最靠近异常地点(异常区域)的农业机械100,并且给出确认异常内容的指令(步骤S470)。注意到,农业机械100可能不是直线距离最靠近异常地点的农业机械;通过一路线最靠近异常地点的农业机械100可被识别。

服务器704发送异常地点的位置信息到确认异常内容的指令已经给予其的识别的农业机械100(步骤S472)。

另一方面,在步骤S468的处理中,当服务器704确定确认异常内容的指令早已给予农业机械100时,服务器704前进到步骤S472的处理,并发送在步骤S464中识别的异常地点的位置信息。然后,服务器704回到步骤S456的处理。

另一方面,农业机械100操作如下。在此描述的步骤S500,S501和S502示出当发生异常事件时图35A中的步骤S224的处理。当流程从步骤S204或步骤S223的处理前进到步骤S224的处理时,农业机械100接收步骤S470的处理的指令(用于仅在开始时中断所述任务以及确认异常内容)以及步骤S472的异常地点的位置信息(步骤S500)。然后,农业机械100根据异常地点的位置信息重新计算行进路线(步骤S501)。异常地点不会总是被固定在预定地点,例如当害兽进入时,因此农业机械100每当在步骤S500的处理处时接收异常地点的位置信息。然后,当位置变化时,在步骤S501的处理中,农业机械100更新所述行进路线。农业机械100中断主任务,并执行该处理,其是在当任务中断时执行的,限定在步骤S400到S444中(步骤S502)。然后,当步骤S502的处理结束时,流程前进到步骤S226的处理。

注意到,以上的操作被描述为基于由农场土地监视装置500等捕捉的图像通过服务器704执行的处理;然而,关于步骤S450到S472描述的处理可在农场土地监视装置500,555和状态监视装置550处执行。

此外,当发生异常时执行的处理是基于由农场土地监视装置500捕捉的图像开始的;然而,当发生异常时执行的处理可以开始在设定于农业机械100中的立体照相机装置110和多光谱照相机装置113等检测到异常时。在该情况下,已经捕捉异常内容的图像的农业机械100执行所述处理。

图55用于描述当在步骤S502的处理中发生异常事件时步骤S422的处理的操作的细节(确定农业机械100是否已经到达目标位置)。该处理通过农业机械100和服务器704之间的协作被执行。

当步骤S402的处理结束时,安装在农业机械100中的立体照相机装置110(或多光谱照相机装置113)确定异常内容是否被检测到(步骤S550)。具体地,农业机械100确定某种物体是否被检测到靠近从服务器704等发送的异常地点的位置。作为该确定方法,关于图35A的步骤S202和S203描述的方法被采用。

然后,当异常内容没有被检测到时,流程前进到步骤S444的处理。另一方面,当异常内容被检测到时,农业机械100停止行进(步骤S552)。然后,农业机械100给服务器704发送包括由立体照相机装置110等捕捉的异常内容的图像、距离信息和当前位置(步骤S554)。

服务器704执行关于异常内容的图像辨认处理(步骤S558)。作为图像辨认处理,采用了与用于图35A的步骤S208的处理中的方法相同的方法。然后,服务器704确定该图像是否被辨认(步骤S560)。

当服务器704确定图像不能被辨认时,基于从农业机械100发送的距离信息,服务器704确定农业机械100是否在预定距离内(例如,3.5米)或在比到异常内容的预定距离短的距离处(步骤S562)。也就是说,服务器704确定农业机械100是否充分地靠近所述异常内容以使得农业机械100能够辨认该异常内容。注意到,该操作可通过确定由图像辨认处理识别的边缘之间的长度(也就是说,物体的尺寸)是否大于或等于预定长度或比预定距离长。

然后,当服务器704在步骤S562的处理中确定农业机械100在预定距离内(在比预定距离短的距离处),服务器704给用户终端710,712发送示出已经发生不能辨认的异常的报告以及示出异常内容的图像(步骤S566)。在用户终端710,712处显示的图像的示例此时被示出在图56中。

图56示出从图53的底部右侧位置通过使用立体照相机装置110由农业机械100捕捉到的图像。如在图56中示出的,在用户终端710,712处,显示了由立体照相机装置110捕捉的图像中的异常内容(异常源)1000,以及显示了诸如到异常源1000的距离1103和异常内容的尺寸1101的附加信息。用户从用户终端710,712检查所述图像和显示的附加信息并且辨认异常内容,确认异常内容并选择响应方法(目标操作)。然后,当用户通过使用用户终端710或712发送该信息到服务器704时,服务器704确定农业机械100已经到达目标操作位置,并指定所述目标操作(步骤S568)。此外,服务器704寄存所述异常内容、相关图像、特征图案以及响应方法在数据库706中。因此,当在未来发生相同的或类似的异常内容时,农业机械100能够响应该异常内容。注意到,还当服务器704确定所述图像在步骤S560的处理中被辨认时,服务器704确定农业机械100已经到达目标操作的位置,并根据辨认的异常内容指定目标操作(进一步接近异常内容并通过警笛或通过点着灯124恐吓该异常内容,忽略该异常内容,行进到该异常内容,以及在异常内容处排水等)(步骤S568)。服务器704发送示出到达和目标操作的确定的报告到农业机械100。

在步骤S562的处理中,当服务器704没有确定农业机械100在预定距离内(或在比预定距离短的距离处)时,服务器704没有确定农业机械100已经到达(步骤S564)。服务器704发送没有到达的该确定的报告到农业机械100。因此,农业机械100进一步接近异常内容。

然后,农业机械100,其已经在步骤S568或S564的处理中通过服务器704接收所述确定结果,确定服务器704是否已经确定农业机械100已经到达用于执行目标操作的位置(步骤S570)。然后,当农业机械100确定服务器704已经确定农业机械100已经到达所述位置时,流程前进到步骤S424的处理,以及当农业机械100确定服务器704还没有确定农业机械100已经到达所述位置时,流程前进到步骤S444的处理。

注意到,由服务器704执行的操作(步骤S556到S568)可由农业机械100执行。

如上所述的,当检测到发生异常时,整个系统1500能够有效地执行适当的处理,用于响应该异常。

注意到,在本实施例中,给出了一示例的描述,在该示例中,服务器704对由设定在农业机械100、农场土地监视装置500,555和状态监视装置550等中的立体照相机装置110和多光谱照相机装置113获取的图像主要执行辨认处理及其他图像处理;然而,所述处理不限于此,农业机械100、照相机装置和农场土地监视装置500等可执行所述图像处理。因此,可以减少由无线通信传送的数据量,抑制整个系统的通信数据量,以及增加整个系统1500的特性(促进所述处理时间)。另一方面,如在以上示例中描述的,通过在服务器704处执行图像处理,在农业机械100等处使用的电量可通常被抑制,特别地在使用电驱动的农业机械的情况下,花费长时间的任务可通过给电池充电一次得以执行。

以上的描述是关于通过使用农业机械100执行的任务;然而,多个农业机械100可通过无线通信或有线通信彼此协作以及相应的农业机械可执行所述任务。例如,在前的农业机械可耕作农场土地,下一个农业机械可执行施肥和播种。还在该情况下,基本上,在前的农业机械执行如上所述的操作,以及后面的农业机械根据来自于在前的农业机械执行任务。

此外,如上所述的操作可通过多个农业机械分开执行以使得相应的农业机械执行彼此协作的操作。

[农业机械的另一示例]

如上所述的农业机械100主要是拖拉机的示例;然而,图57和58示出根据本实施例的农业机械100的其它示例。图57示出执行喷洒水任务的可动喷洒器,以及图58示出执行肥料散播任务的直升飞机(四轴飞行器)。

<喷洒器>

图57中示出的技术是将喷洒器850用作农业机械100的中心枢轴灌溉。喷洒器850包括由互连的铝制成的多个喷水杆856,该喷水杆856被安装在具有三角形结构(桁架结构)的塔架854上,水在当使这些塔架854与轮852运动时被喷洒。在每个喷水杆856处,提供了用于控制到每个开口858的水的供给的喷水开口858和电子阀860。给农作物350和360附近的农作物供水更有效同时防止了由于蒸发引起的漏水。由此,使用了滴灌类型的喷水开口858,其从喷水杆856向下分支;然而,喷水开口858不限于此。该喷洒器850运动以便绘出中心围绕一端的圆圈。此外,喷洒器850供应从中心一侧的地下抽取的地下水。

该喷洒器850还包括GPS接收器,无线通信天线以及控制装置,类似于农业机械100。该控制装置还控制每个电子阀860的打开和关闭。此外,喷洒器850被连接到图2中示出的信息通信系统1502,并形成整个系统1500。喷洒器850基于来自于设定在农场土地中的农场土地监视装置555的图像信息和附加信息从服务器704接收指令,并且仅从靠近农作物360上方的区域穿过的喷水开口858喷水,该区域的植物活性度较低。注意到,多光谱照相机装置113等可设定在喷洒器850自己上,服务器或喷洒器850可基于从多光谱照相机装置113获得的光谱图像和光谱信息确定植物活性度,以及喷洒水可基于该确定进行控制。因此,与喷水到整个农场土地的情况相比,水可被有效地利用。注意到,液体肥料可被添加到要被喷洒的地下水中。此外,不是喷洒地下水,喷洒器850可执行散播液体农药的任务。在该情况下,例如,喷洒器850可从设置有偏振滤光器的农场土地监视装置555获取害虫的信息,并且可将农药仅散播在其中存在害虫的农作物。注意到,偏振照相机装置可设定在喷洒器850上,并且基于从偏振照相机装置获得的偏振图像,服务器704或喷洒器850可检测害虫。

该喷洒器850根据通过利用图32,33,34,35A,36,37,46和47描述的操作执行任务。然而,喷洒器850的运动路线被确定,因此不需要用于确定所述路线的复杂计算。此外,不需要确认图35A中的行进方向(步骤S202),或根据该确定改变所述路线(步骤S208到S222)等,或执行转弯操作(步骤S232,S234),因此这些处理可被省略。此外,当任务中断时,不需要从准确的任务中断位置继续所述任务,因此用于匹配农业机械的位置的操作,例如图49的步骤S414,S434和S438可被省略。

注意到,农业机械不限于中心枢轴方法;例如,灌溉可通过平行运动方法执行。

如上所述的,整个系统1500可仅针对需要所述任务的目标执行诸如喷洒水的任务,因此资源可被有效利用。

<直升飞机>

图58示出通过将直升飞机(四轴飞行器)1100用作农业机械100来散播液体肥料802B的任务。直升飞机1100包括设置在从直升飞机1100的主体延伸的臂的前端附近的四个转子头1102,以及可旋转地连接到转子头1102的四个转子1104,直升飞机1100通过旋转转子1104飞行。该直升飞机1100还至少包括GPS天线120,无线通信天线114,用于控制直升飞机1100的包括转子1104的旋转的控制装置118C,立体照相机装置110,多光谱照相机装置113,根据控制装置118C的控制散播农药的任务装置106E,以及当着陆时接触诸如为着陆点的表面的地面的着陆装置1106。立体照相机装置110被设定在直升飞机1100上以便当直升飞机1100在一水平飞行模式时通过控制装置118C在正交于竖直方向的方向上旋转。此外,直升飞机1100能够确认农作物等的状态并通过将立体照相机装置110朝向地面定向来测量地面和立体照相机装置110之间的距离以识别所述高度。该高度是第二数字信息或第四数字信息的示例。

此外,直升飞机1100能够通过将立体照相机装置110定向在行进方向上来确认在行进方向上是否存在障碍物(例如,人造物体,诸如农场土地监视装置500,555和状态监视装置550,或自然物体例如不同于农作物的高树木)。注意到,可通过基于压力改变识别直升飞机1100正在飞行的高度的高度计来测量所述高度。该直升飞机1100通过如上所述的方法通过GPS信号检测当前位置,并执行与图2的信息通信系统1502的无线通信。

直升飞机1100或服务器704基于由多光谱照相机装置113获得的光谱图像和光谱反射率来感知种植的状态例如植物活性度,以及仅当植物的状态小于或等于预定值时,直升飞机1100使任务装置106E操作并散播肥料802B到农作物360。当然,直升飞机1100可基于以上的信息或不同于以上信息的信息,通过使用相同的或不同的任务装置106,执行不同的任务(例如,喷洒水任务和农药散播任务)。此外,通过使用偏振照相机,其可观察物体的表面而基本上不受颜色或阴影的影响,直升飞机1100能够发现具有保护色的附着到植物的表面例如叶子的害虫等,并且以极精确的方式将农药仅散播到其中存在害虫(或该害虫)的植物。

该直升飞机1100基本上根据与通过利用图32,33,34,35A,36,37,46,47,54和55描述的操作的流程相同的流程来执行任务。然而,在图32等的步骤S114到S116中,直升飞机1100飞行的高度也被设定。此外,直升飞机1100能够在农作物等上方飞行,因此行进路线可更容易地计算,与计算农业机械100的行进路线相比。

此外,在这些操作中的行进通过飞行进行。

注意到,要使用的农业机械不限于直升飞机(四轴飞行器)。其它类型的飞机可被使用,例如多旋翼飞行器,例如,具有八个转子等的八旋翼飞行器,气球类型的,飞机类型的和滑翔机类型的等。

如上所述的,根据整个系统1500,任务可被有效地执行。

[远程操作]

在以上的示例中,通过农业机械100、喷洒器850和直升飞机1100等的行进和任务根据本实施例由整个系统1500自动地控制,而没有手动操作。另一方面,存在系统用户想要使农业机械100运动并通过用他自己的眼睛观察操作来通过农业机械100执行任务的需求。特别地,存在其中系统用户想要控制难以自动控制的精细任务和详细运动的情况。通过应用所述整个系统1500,系统用户可通过远程操作来操作农业机械100等。图59示出用于执行该远程操作的信息通信系统1502的示例。远程操作意味着用户通过使用用户终端710,712操作农业机械100。其中用户在乘坐农业机械100时操作用户终端710,712的情况或其中用户操作靠近农业机械100的农业机械100的情况也被包括在远程操作中。

当执行远程操作时,由农业机械100等捕捉的图像,以及附加信息要经由服务器704发送以显示在用户终端710,712的屏幕上。在该情况下,附加信息(距离信息等)通过叠加在所述图像上被显示。然而,在整个系统1500中,该图像被作为视频(电影)信息被发送。因此,服务器704上的任务负载变高,实际上,在图2中示出的信息通信系统1502中,视频服务器705,其专门用于处理视频信息,通过被连接到因特网702被分开提供(参见图59)。该视频被作为符合H.264SVC的视频数据,其可调节根据通信线路的状态等传送的视频信息的压缩比。因此,视频很少暂停。注意到,农业机械100等可发送为不同于H.264SVC的格式的例如为符合H.265的格式的数据。此外,农业机械100等可不发送视频信息,而是可连续地或间歇地发送为JPEG格式和PING格式的静止图像信息。

显示在用户终端710,712上的屏幕图像的示例是由立体照相机装置110捕捉的图像,如在图50和56中示出的。此外,由多光谱照相机装置113捕捉的光谱图像(例如,通过亮度和颜色的黑暗表示光谱反射率的图像)可被显示。此外,用户在当观察屏幕图像时指示行进方向,转弯操作以及操作农业机械100的速度,并且还可以通过任务装置106E执行任务。当然,操作所述农业机械100等和通过任务装置106E执行所述任务之一可自动地进行,以及用户仅可操作另一个。此外,由农场土地监视装置500,555和状态监视装置550捕捉的图像也可被显示,例如可以显示被远程操作的农业机械100等位于农场土地中的位置。此外,农场土地的地图和其中农业机械100位于该地图中的位置可被显示。在该远程操作中,来自于用户的指令需要被快速地施加到农业机械100等,因此,实际上,用于操作管理的操作管理服务器707被设置在图2中示出的信息通信系统1502中(参见图59)。

操作管理服务器707基于输入到用户终端710,712的信息给出操作指令到农业机械100等,并远程控制农业机械100等。输入到用户终端710,712的信息可通过操作触板、键盘和鼠标被手动地输入,或者可通过语音和手势输入。操作管理服务器707通过使用用于辨认该信息的程序来辨认该信息,并根据辨认结果发送操作指令到农业机械100等。

此外,在整个系统1500中,从多个农业机械100等发送的图像以及由多个成像元件捕捉的图像可立刻显示或可通过切换被显示在用户终端710,712的屏幕上。

如上所述的,系统用户能够使农业机械100运动并执行任务同时显示不同于由农业机械100捕捉的图像的信息在用户终端710,712上,因此甚至通过远程操作,用户能够使农业机械100执行精细任务并进行详细的运动。

远程操作被作为与图32到56描述的自动控制模式不同的模式执行;然而,远程操作还可在自动控制期间执行。为了这样做,在由图32到56描述的操作中,由农业机械100捕捉的图像经由视频服务器705被恒定地发送到用户终端710,712。此外,来自于用户终端710或712的远程操作被实现为来自于用户的插入到图32到56描述的操作中的指令以通过远程控制执行这些操作。在该情况下,当不存在来自于用户的指令时,整个系统1500可回到如由图32到56描述的自动控制并执行处理操作。

注意到,在其中远程操作被执行或农业机械100被直接手动操作的情况下,任务开始/结束/中断/继续的信息和农业机械100的位置和任务位置的信息被从农业机械100发送到服务器704,服务器704存储接收到的信息在数据库708中。因此,如下所述的未来任务和收费处理可被顺利地执行。

[收费处理]

如上所述的,服务器704(或收费管理服务器;同样应用在下文中)还执行收费处理(开帐单处理)。通过适当地收取适当的系统使用费,系统提供者能够继续该生意,发展新业务,并改进现有服务,因此要解决的问题是要通过技术自动地、精确地和有效地执行收费处理。收费方法具有各种模式,根据本实施例的整个系统1500的用户能够挑选该模式。固定收费的收费模式的示例如下。

I.图2或图59中示出的信息通信系统1502的使用费。

II.在图1中示出的农场土地中的系统(农场土地监视装置500,555,状态监视装置550,和农业机械100等)1501的租金(每个装置100美元/月,每个农业机械等200美元/月)。

III.土地(农场土地)的租金(每平方米15美元等)。

收费的模式,由系统提供者和用户在开始使用该系统的时候为其已经订立的协议,被寄存在数据库708中。服务器704周期性地(例如每月)给用户终端710,712发送对应于寄存在数据库708中的多个收费模式I到III中的每个或其组合的费用的账单。

按量计费的收费模式包括以下多个中的每个或其组合:i.任务类型,ii.任务时间,iii.任务地点的尺寸,iv.执行任务的农业机械,v.由服务器704实施的分析,vi.收获日期预测实施方式,vii.获取市场需求,以及viii.在系统中的信息通信量。以上i.到viii.的信息(或用于生成i.到viii.的信息)被记录在如上所述的服务器704中的数据库708中。例如,服务器704生成针对关于i.和ii.的组合的任务类型(收获:5美元/小时)和任务时间(20小时)的总共100美元的费用,或生成针对关于i.和iii.的组合的任务类型(整地:0.2美元/平方米)和任务地点的尺寸(1000平方米)的总共200美元的费用。如上所述的,根据整个系统1500,可以容易地识别在预定周期(例如,一个月)的任务内容(任务类型,任务时间,任务地点的尺寸和用于执行所述任务等的农业机械),以及可根据所述任务内容收费。此外,除了i.和ii.等的组合之外,服务器704能够生成例如针对实施vi.收获日期预测(每次预测10美元)的次数(5次)的总共50美元的费用。关于i.到viii.的这些模式,服务器704基于寄存在数据库708中的针对每次任务的信息计算费用,并在每个固定周期(例如,6个月)发送账单到用户终端710,712。注意到,当任务时间被使用时,任务在其期间被中断的时间被扣除,并且费用基于实际的任务时间计算。

此外,整个系统1500还提供或有费用类型的收费模式。示例是:i.关于通过使用整个系统1500收获的农作物的销售额的一定比例(例如,20%)收费,ii.关于与当整个系统1500已经被用来耕作所述农作物时已经增加的收获量对应的销售额的一定比例(例如,50%)收费,以及iii.通过增加收获的农作物的市场价格与收费的比例来设定费用(例如,当市场价格相对于参考价格突然上升高于或等于一定价格,i.和ii.的比值增加;而当市场价格急剧减少时i.和ii.的比值减小)。用于计算i.到iii.的信息被记录在数据库708中。服务器704基于存储在数据库708中的数据计算这些费用,并在每个固定周期(例如,6个月)发送账单到用户终端710,712。

另一方面,费用可在当用户满足一定条件时打折扣。例如,当用户给出有益的信息到整个系统1500(例如,在图35A的步骤S214的处理中描述的信息),每次可折扣三美元,同时设定预定次数(10次/月)作为上限。预定量可以是上限。还在该情况下,信息被记录在数据库708中,因此服务器704参照存储的信息并进行打折扣。因此,整个系统1500的提供者可获取未来有效地操作整个系统1500所需要的数据,以及用户可接收系统使用费的折扣,因此对双方都具有好处。

此外,当用户在农业机械处手动地操作农业机械100或远程地操作农业机械100以执行任务时,系统使用费可减少,与自动控制(自动操作)的情况相比。在该情况下,作为费用设定,所述费用被设定为更高,随着由整个系统1500提供的质量增加(自动控制,远程操作和手工操作成下降的质量顺序)。此外,通过使用手工操作单元116的农业机械100的手工操作可不收费。服务器704从存储在数据库706,708和服务器704的SSD中的数据获取用于打折扣的信息,计算折扣费用,扣除计算的费用,并发送帐单到用户终端710,712。服务器704能够独立地或组合地收取固定收费的费用,按量计费的费用以及或有费用。此时,也适用以上的折扣。如上所述的,整个系统1500能够自动地获取和自动地编译从任务开始时到任务完成时的信息,此外,为了在收获之后零售,因此整个系统1500能够执行精确和有效的收费处理。

注意到,整个系统1500的用户能够使用用户终端710,712等,以使用信用卡,借记卡以及其他类型的电子货币并通过电子支付来支付所述费用。替代地,用户可通过银行转账支付所述费用。当服务器704不能在从账单发送到用户终端710,712时起的预定周期内确认所述费用的支付,服务器704可发送提示给用户终端710,712或通过其他方式例如通过邮寄。当服务器704不能在从提示发送起的预定周期内确认所述费用的支付,服务器704可防止用户使用部分的整个整个系统1500。因此,可以限制其不支付费用的用户使用整个系统1500。

[整个系统的应用示例]

图60示出作为根据本实施例的实施例的应用的可动主体(任务主体)的示例的建筑任务机械(压路机)1200。建筑任务机械1200具有重的重量,并包括具有大的地面接触面积的轮(辊)2000,建筑任务机械1200行进同时通过轮的重量执行施加压力在路上的任务,以固化软的地面。建筑任务机械1200进一步包括为内燃机的马达102D,传动装置104D,支撑装置108D,立体照相机装置110,无线通信天线114,手动操作单元116,控制装置118D,GPS天线120,操控装置116,成对的灯124D,成组的超声波声纳装置126D和成组的后轮130B。该建筑任务机械1200通过无线通信被连接到如图2或图59中示出的相同的信息通信系统1502。

建筑任务机械1200基于由农业机械100获取的信息通过检测前方的障碍物并通过测距来检测地面上的不规则部,以及建筑任务机械1200可仅在作为还没有固化的区域的具有超过或等于一定量的不规则部的区域中执行所述任务。

虽然任务类型和任务装置不同于通过农业机械100等的农场土地中的任务的那些,但是建筑任务机械1200基本上执行与以上实施例中描述的操作相同的操作。

注意到,其中建筑任务机械执行任务的区域通常不是农场土地,而是建筑工地,因此这些操作在不是农场土地的建筑工地上执行。

注意到,自动地控制在本实施例中描述的可动主体的整个系统1500的应用不限于建筑任务机械;该应用可关于运动和执行任务的装置和机械进行。也就是说,根据本实施例的整个系统1500适合于可基于多个种类的信息运动且可基于多个种类的信息(例如,已经不同频率的电磁波)执行任务的系统。该运动基本上被控制成以使得机械沿着预先设定的路线或在正确的路线上前进,同时观察位置信息。当运动时路线的确定和轨迹的修正是通过使用为无线电信号的GPS信号和来自于已知点的无线电信号被执行,另外,位置偏移的修正等被执行并且通过使用由立体照相机装置110获取的图像信息和距离信息(或视差值)进行运动。此外,当机械运动时,激光雷达装置112可被使用而不是立体照相机装置110或者与立体照相机装置110一起来确认在行进方向上的路线的形状和距离。所述任务是基于由主要包括透镜和成像元件的照相机装置获取的表面的信息以及与该表面的信息有关的信息得以执行的。例如,在立体照相机装置的情况下,获取的信息是捕捉的图像(表面的信息)和在该捕捉的图像中的距离信息(有关信息)。在多光谱照相机装置的情况下,获取的信息是捕捉的图像(表面的信息)和在该捕捉的图像中的光谱反射率信息(有关信息)。在多光谱照相机装置和激光雷达装置的组合的情况下,获取的信息是捕捉的光谱图像(表面的信息)和在该捕捉的图像中的光谱反射率信息和该图像中的距离(有关信息)。在偏振照相机和激光雷达装置的组合的情况下,或在偏振立体照相机装置的情况下,获取的信息是捕捉的高对比度偏振图像(表面的信息)和在该捕捉的图像中的距离(有关信息)。在可二维地发射激光束的激光雷达装置的情况下,获取的信息是目标的形状信息(表面的信息)和在该形状中的距离信息(有关信息)。此外,通过组合这些照相机装置,例如,所述运动和任务可根据捕捉的图像、距离信息和光谱反射率信息(立体照相机装置和多光谱照相机装置的组合)被控制,以及所述运动和任务可根据捕捉的图像、距离信息和偏振图像信息(偏振立体照相机)被控制。此外,整个系统1500可通过使用这些图像的合成执行任务。

注意到,在本实施例中,通过所述机械的运动和任务是通过使用电磁波的无线电波、光(图像)以及与这些图像有关的信息被控制的;然而,信息不限于此,所述系统可接收其它电磁波(兆兆赫波),弹性波(声波),叠加在这些波上的信息,及其他环境信息,并且使用接收到的信息来控制所述运动和任务。

此外,在将照相机装置设置在可动主体例如农业机械和建筑任务机械上并且用照相机装置捕捉图像的情况下,特别地当图像在运动时被捕捉的时候,该捕捉的图像非常可能模糊。模糊图像可通过在捕捉图像时减小运动速度(行进速度,飞行速度和潜航速度等)、增加快门速度以及在透镜和成像传感器中设定模糊修正机构,得以防止。此外,多个捕捉的图像可用来修正所述图像。

此外,在本实施例中,给出了使可动主体和任务主体基本上沿着一路线运动的方法的描述;然而,所述方法不限于此。也就是说,当用户通过用户终端710,712识别一定任务区域或任务地点时,可动主体或任务主体在该区域或地点自主地运动并且在运动时执行任务,同时通过各种图像传感器(照相机装置)、激光装置(激光雷达装置)、超声波声纳装置和无线通信来感知可动主体或任务主体周围的环境。在该情况下,可动主体和任务主体包括用于自主控制的复杂算法,该控制装置基于所述算法控制诸如可动主体和任务主体的机械。在该情况下,控制装置可设置在机械内部,或可设置在该机械外部并且通过无线通信控制所述机械。该算法用于当机械运动时执行关于所述运动的自主控制,以及该算法用于当执行所述任务时执行关于对象的操作的自主控制。

此外,在整个系统1500中传送的信息还可以被用作单独具有质量的财富数据,因此信息基本上被可靠管理,如上所述的。

[基于本实施例的发明]

如上所述的本实施例和应用示例至少包括以下发明。

(1)一种机械,其在没有手动操作的情况下运动并执行与目标有关的任务。该机械基于多种信息运动并且基于多种信息执行所述任务。该机械包括各种机械,包括农业机械,建筑机械和飞机(同样应用在下文中)。用于在没有手动操作的情况下(基于自动控制)控制所述运动的多种信息是用于通过无线通信识别位置的信息,由立体照相机装置及其他测距装置获取的图像信息和距离信息,或由诸如设定在某一位置的监视照相机的照相机装置获取的图像信息以及基于该图像信息的距离信息。用于在没有手动操作的情况下(基于自动控制)控制所述任务的多种信息是由成像元件获取的图像信息和光谱图像信息,距离信息,反射率信息(光谱反射率信息),偏振图像信息以及由激光装置获取的形状信息和距离信息。如上所述的,用于在没有手动操作的情况下控制所述运动的多种信息和用于在没有手动操作的情况下控制所述任务的多种信息二者都至少包括二维地表示的(表面的)信息。在(1)的机械中,用于运动的信息项之一可以是图像信息,或与形状有关的信息。此外,在(1)的机械中,用于执行所述任务的信息项之一可以是图像信息,或与所述形状有关的信息。注意到,当这些机械具有立体照相机装置时,运动和任务二者都可以通过利用由立体照相机装置获取的距离信息被控制。在没有手动操作的情况下通过该机械的与目标有关的运动和任务通常被交替地执行或同时执行(同样应用在下文中)。

(2)一种在没有手动操作的情况下运动的机械。该机械根据由多种信息识别的路线控制所述运动。用于在没有手动操作的情况下控制所述运动的路线是,通过用于用无线通信识别位置的信息、由立体照相机装置及其他测距装置获取的距离信息、或者基于由诸如可设定在某一位置处的监视照相机的照相机装置获取的图像信息的距离信息,被识别的。在(2)中描述的该机械可基于多种信息执行所述任务。在(2)的机械中,用于运动的信息项之一可以是图像信息。

(3)一种在没有手动操作的情况下执行关于多个目标的任务的机械。该机械确定是否根据由所述机械获取的每个目标的状态执行针对每个目标的任务。在此,执行任务不仅意味着执行所述任务与否,而且包括任务的程度(喷洒水量和肥料量)。例如,基于包括植物活性度、关于特定波长的光谱反射率以及是否包括害虫的每个农作物的信息,所述机械通过自动控制对每个农作物执行任务(喷洒水,施肥和农药散播等)。此外,根据在每个区域中的道路的状态,所述机械通过自动控制执行使地面固化的任务。

(4)一种用于在没有手动操作的情况下控制机械的运动和由该机械执行的任务的控制装置。该控制装置基于由所述机械获取的图像信息和与该图像信息有关的信息来控制所述机械的运动和所述任务。在该情况下,控制装置可以是所述机械的一部分或者可以与所述机械(例如,服务器)分开提供。

(5)一种用于在没有手动操作的情况下控制机械的运动的控制装置。该控制装置基于由不同于所述机械的装置获取的图像信息和与该图像信息有关的信息来控制所述机械的运动。在该情况下,控制装置可以是所述机械的一部分或者可以与所述机械(例如,服务器)分开提供。

(6)一种用于在没有手动操作的情况下控制由所述机械执行的任务的控制装置。该控制装置确定是否根据由所述机械获取的每个目标的状态执行所述任务。在此,执行任务不仅意味着执行所述任务与否,而且包括任务的程度(喷洒水量和肥料量)。

(7)一种机械,包括用于执行平整所述表面的任务的装置和用于发射以与宽度成预定角度发射的光的装置。所述机械根据其中光由与所述机械分开提供的另一光接收器接收的位置来控制用于平整所述表面的装置。

(8)一种包括任务机械的系统,所述任务机械包括用于执行平整所述表面的任务的装置,用于接收光的光接收装置以及用于发射以与宽度成预定角度发射的光的光发射装置。所述任务机械根据接收由所述光发射装置发射的光的位置来控制用于平整所述表面的装置。

(9)一种在没有手动操作的情况下运动并执行与目标有关的任务的机械。当该机械中断所述任务时,该机械运动到另一位置,并且当继续该中断的任务时,该机械回到其中任务已经中断的位置,并继续所述任务。所述机械通过利用多种信息确定所述机械是否已经回到其中任务已经中断的位置。

(10)一种在没有手动操作的情况下运动并执行与目标有关的任务的机械。当任务由于需要运动到另一位置的任务中断原因而中断时,以及当任务中断原因被解决时,所述机械回到任务已经中断所在的位置,并且继续所述任务。

(11)一种系统,包括执行运动并执行与目标有关的任务中的至少一个的机械,以及通过无线通信从该机械获取信息并在没有手动操作的情况下控制所述机械的控制装置。从所述机械获得的信息经由多个无线中继装置被输入到控制装置,从控制装置输出的信息经由多个无线中继装置被输入到所述机械。

(12)一种在没有手动操作的情况下运动并执行与目标有关的任务的机械。当该机械检测到异常时,该机械中断任务并根据异常内容执行关于异常的操作。

(13)一种系统,包括能够运动的机械和可显示由所述机械捕捉的图像并使用户操作所述机械的终端。该系统还使所述终端显示与图像有关的信息。

(14)一种系统,包括执行任务的机械和通过利用由所述机械获取的信息来指示该机械执行所述任务的控制装置。所述系统存在已经对其执行任务的目标和该任务的内容。控制装置能够将所存储的信息设定为用于确定未来任务的内容的信息。

(15)一种在没有手动操作的情况下执行与目标有关的任务的机械。该机械根据任务类型获取每个目标的信息,并且基于获取的信息确定是否执行该任务。例如,当任务类型是喷洒水时,所述机械通过使用多光谱照相机获取为所述目标的农作物的状态(植物活性度等),以及基于该获取的状态确定是否喷洒水到为所述目标的农作物,以及当任务类型是要移除害虫时,所述机械基于由偏振照相机捕捉的图像确定是否害虫正附着到为所述目标的农作物的表面,以及只有当害虫正附着到农作物时才散播农药。

(16)一种用于指示机械执行任务的控制装置,所述机械在没有手动操作的情况下执行与目标有关的任务。当任务已经执行时,控制装置根据该任务计算使用费。

(17)一种在没有手动操作的情况下能够运动的机械。当在机械的行进方向上存在不能由机械辨认的障碍物时,该机械进一步接近障碍物并执行辨认处理。

(18)一种控制装置,其控制在没有手动操作的情况下能够运动的机械的运动。当在机械的行进方向上存在不能被辨认的障碍物时,控制装置使该机械进一步接近所述障碍物,并执行辨认处理。

(19)一种机械,其获取可见和不可见的电磁波,辨认包括在电磁波中的信息,以及基于该辨认的信息在没有手动操作的情况下重复地运动并执行任务。作为可见的电磁波,存在可见光,所述机械从可见光获取图像。不可见的电磁波是无线电波或不可见光。

(20)一种在没有手动操作的情况下执行运动和执行任务中的至少一个的方法。该方法包括获取具有不同频率的多个电磁波,辨认包括在获取的多个电磁波的信息以及基于该辨认的信息执行运动和执行任务中的至少一个。所述电磁波包括光(可见光和不可见光)和无线电波。

(21)一种机械,其包括成像装置,并且基于不同于包括在捕捉的图像中的每个小区域中的图像的信息在没有手动操作的情况下执行运动和执行任务中的至少一个。

(22)一种根据接收到的信号识别位置并且在没有手动操作的情况下运动的机械。该机械包括获取与到某一点的距离有关的信息的距离信息获取单元,以及该机械基于由所述距离信息获取单元获取的距离有关的信息修正所述运动。

(23)一种沿着预先确定的路线运动的机械。当用于改变所述路线的原因在所述路线中被检测到时,所述机械改变所述路线,并且沿着改变的路线运动。

(24)一种机械,包括用于检测在行进方向上的障碍物的障碍物检测设备,用于当障碍物检测设备检测到障碍物时辨认所述障碍物的辨认设备,以及用于当所述辨认设备辨认所述障碍物时根据辨认的结果采取行动的控制设备。所述控制设备控制所述机械以当所述辨认设备不能辨认障碍物时通过避开所述障碍物运动。

(25)一种系统,包括用于识别其中要执行任务的区域的装置,以及在没有手动操作的情况下执行所述任务的机械。该机械运动到由所述装置识别的区域,确定所述任务对在该区域中的每个目标是否是所需要的,以及仅对根据需要确定所述任务所针对的目标才执行所述任务。

(26)一种包括用于获取图像的多个传感器装置的机械。第一传感器装置获取一图像和在该获取的图像中的距离信息。第二传感器装置获取一图像和在该获取的图像中的颜色信息。机械的运动可基于所述距离信息被控制。与目标有关的任务是基于所述颜色信息由所述机械执行的。替代地,所述机械可基于所述距离和所述颜色信息来执行与目标有关的任务。

(27)一种在没有手动操作的情况下执行与目标有关的任务的机械。该机械基于从该目标获得的信息和从英特网的内容信息获得的信息执行与目标有关的任务。

(28)一种包括机械和控制装置的系统,所述机械包括用于对目标执行任务的任务装置以及用于将目标的现象计算机化的计算机化装置,所述控制装置包括用于辨认由计算机化装置计算机化的现象的辨认设备以及用于根据由所述辨认设备辨认的现象进行确定的确定设备。所述机械的任务装置根据通过控制装置的确定结果在没有手动操作的情况下执行与目标有关的任务。在此,计算机化装置的示例是传感器装置例如在本实施例中描述的各种照相机装置和雷达激光装置等。特别地,通过使用可获取二维或更多维的信息的传感器装置,可以增加可感知的现象的范围。

(29)一种系统,包括在没有手动操作的情况下执行与目标有关的任务的机械以及控制所述机械的任务的控制装置。所述机械可包括获取至少部分的目标的获取装置,以及所述控制装置获得由获取装置获取的目标的跟踪信息,并基于该跟踪信息通过所述机械控制与目标有关的任务。在此,获取装置的示例是在本实施例中描述的任务装置106的收获装置。在该情况下,为农作物的一部分和农作物自己的某一果实被收获。甚至在该果实和农作物被装运之后,可以通过使用条型码信息等跟踪该果实和农作物,以及分析该装运状态和需求和供给的状态。因此,可以为耕作相同的农作物的任务提供反馈。

(30)一种基于非接触传感器装置获取的信息运动在没有手动操作的情况下运动和执行任务的机械。该非接触传感器装置是可获取图像信息和与该图像信息有关的信息的照相机装置。

(31)一种机械,包括在运动时执行任务或重复所述运动和任务的运动任务装置,生成与所述任务有关的信息的任务信息生成装置,以及传送装置,该传送装置将在任务信息生成装置处生成的信息发送到控制装置,该控制装置存储接收到的信息并且基于该存储的信息在预定周期内识别所述任务内容。在该情况下,与任务有关的信息可包括与任务的开始和结束有关的信息。此外,与所述任务有关的信息可包括与任务的中断和继续有关的信息。

(32)(31)的机械进一步包括识别任务目标的状态的状态识别单元,以及根据由状态识别单元识别的状态确定是否执行与任务目标有关的任务的确定单元。与该任务有关的信息包括通过所述确定单元的确定结果。

(33)在(31)或(32)的机械中,通过所述运动任务装置的任务是在没有手动操作的情况下执行的。

(34)一种系统,包括在没有手动操作的情况下执行与任务目标有关的任务的机械以及基于从该机械获取的信息识别所述任务内容的控制装置。所述机械运动并执行所述任务,并发送与该任务有关的信息到所述控制装置。所述控制装置存储接收到的与该任务有关的信息,并基于存储的信息在预定周期内识别和提供该任务内容。

在该情况下,与该任务有关的信息可包括与任务的开始和结束有关的信息。此外,与该任务有关的信息可包括与任务的中断和继续有关的信息。

此外,控制装置可在任务中断时而没有识别所述任务内容的情况下提供该任务内容。

在这些情况下,任务目标是农作物,以及在该系统中,所述控制装置基于存储的信息进行与农作物的收获有关的分析,并提供分析结果。此外,通过控制装置的分析还可通过使用从所述系统外部获取的环境信息得以执行,除了与任务有关的信息之外。

(35)一种执行与任务目标有关的任务并产生用于识别任务内容的任务信息的方法。产生任务信息的方法包括在运动时执行所述任务或重复该运动和该任务的执行的过程,生成与所述任务有关的信息的过程,存储在所述生成过程中生成的信息的过程,基于存储的信息在预定周期内识别所述任务内容的过程,以及输出识别的任务内容的过程。

(36)一种用于使计算机执行一些过程的程序,或记录该程序的计算机可读的记录介质,所述过程包括当运动时执行所述任务或重复所述运动和该任务的执行的过程,生成与所述任务有关的信息的过程,存储在所述生成过程中生成的信息的过程,以及基于存储的信息在预定周期内识别所述任务内容的过程。

(37)一种系统,包括可检测用于识别农作物的状态的信息的检测装置,以及用于获取由所述检测装置检测到的信息的管理装置。所述检测装置包括用于以非接触方式检测用于识别农作物的状态的信息的传感器以及用于发送由传感器检测到的信息到所述管理装置的发送设备。所述管理装置包括用于从发自状态检测装置的信息识别农作物的状态的识别设备以及基于通过识别设备的识别结果进行与农作物的收获有关的预测的预测设备。

在该情况下,检测装置包括用于运动的运动设备,并且可在其中耕作农作物的区域中运动时检测用于确定农作物的状态的信息。此外,检测装置包括用于在没有手动操作的情况下操作所述运动设备的控制设备。

在以上的系统中,所述识别设备包括用于记录识别的结果的记录装置,以及所述预测设备可基于要记录在记录装置中的识别结果和在过去记录在记录装置中的识别结果来预测农作物的收获。替代地,在检测装置中的发送设备还可给所述管理装置发送与关于识别其状态的农作物执行的任务有关的信息,以及所述预测设备可也通过使用与所述任务有关的信息来预测农作物的收获。

(38)一种产生预测数据方法,包括通过传感器以非接触方式检测用于识别农作物的状态的信息的检测过程,从在检测过程中检测到的信息识别农作物的状态的识别过程,用于基于在所述识别过程中识别的农作物的状态进行与农作物的收获有关的预测的预测过程,以及输出在所述预测过程中的预测结果的过程。在该情况下,所述方法包括记录在所述识别过程中识别的农作物的状态的记录过程,以及所述预测过程可包括基于在识别过程中识别的农作物的状态和过去记录的农作物的状态来预测农作物的收获。

(39)一种用于使计算机执行一些过程的程序,或者记录该程序的计算机可读的记录介质,该过程包括通过使用与农作物有关的传感器从以非接触方式检测的信息识别农作物的状态的识别过程,用于基于在所述识别过程中识别的农作物的状态进行与收获农作物有关的预测的预测过程,以及显示在预测过程中的预测结果的过程。

(40)一种在没有手动操作的情况下运动并执行与目标有关的任务的机械。该机械包括用于沿着预定路径运动的运动设备,用于通过运动设备通过运动辨认任务目标的辨认设备,用于检测由辨认设备辨认的任务目标的状态的检测设备,以及用于基于通过所述检测设备的检测结果来确定是否执行与任务目标有关的任务的确定设备。当所述确定设备确定要执行所述任务时,与任务目标有关的任务被执行,以及当确定设备确定不执行所述任务时,所述机械通过运动设备运动并且通过辨认设备辨认下一个任务目标,而没有通过任务设备执行所述任务。

在该情况下,当所述确定设备确定执行所述任务时,所述机械可通过运动设备运动到靠近任务目标的位置并且执行与任务目标有关的任务。

此外,所述机械可进一步包括用于测量用来运动的燃料或电力的剩余量的测量设备。当剩余量变得小于预定值或变得小于或等于预定值时,所述机械可中断所述任务,运动到用于供给燃料或电力的位置,并在供给完成之后回到任务已经中断的位置,并继续所述任务。此外,所述机械可进一步包括用于确认用来执行任务的任务源的剩余量的确认设备。当该剩余量变得小于预定值或变得小于或等于预定值时,所述机械可中断任务,运动到用于供给任务源的位置,并且在供给完成之后回到任务已经中断的位置,并继续所述任务。

(41)一种系统,包括上述(40)的机械和用于识别存在需要任务的任务目标的区域的识别装置。该识别装置包括用于辨认在比可由所述机械辨认的区域宽的区域中的多个任务目标的宽区域辨认设备,以及用于确定需要任务的任务目标是否包括在由所述宽区域辨认设备辨认的多个任务目标之中的宽区域确定设备。当宽区域确定设备确定存在需要任务的任务目标时,所述机械通过运动设备运动到需要任务的任务目标所在区域,以及所述辨认设备开始所述辨认。

(42)一种系统,包括在没有手动操作的情况下运动并执行任务的机械以及用于控制所述任务的控制装置。所述机械包括用于沿着预定路径运动的运动设备,用于通过运动设备通过运动检测任务目标的检测设备,用于将与由所述检测设备检测到的任务目标有关的信息发送到控制装置的发送设备,以及用于根据来自于控制装置的指令执行与任务目标有关的任务的任务设备。控制装置包括用于接收从所述机械发送的信息的接收设备,用于通过利用与任务目标有关的由接收设备接收到的信息来辨认所述任务目标的辨认设备,用于检测由所述辨认设备辨认的任务目标的状态的检测设备,用于基于通过所述检测设备的检测结果确定是否执行与所述任务目标有关的任务的确定设备,以及控制设备,该控制设备用于当所述确定设备确定执行任务时指示所述机械执行与任务目标有关的任务以及用于当所述确定设备确定不执行所述任务时指示所述机械通过所述运动设备运动并且在没有通过所述任务设备执行所述任务的情况下通过所述检测设备检测下一个任务目标。

在该情况下,所述系统进一步包括识别装置,用于识别其中存在需要任务的任务目标的区域。所述识别装置包括用于检测在比可由所述机械检测的区域宽的区域中的多个任务目标的宽区域检测设备,以及用于将检测到的多个任务目标的信息发送到所述控制装置的发送设备。控制装置包括用于接收从所述识别装置发送的信息的接收设备,以及用于基于由所述接收设备接收到的多个任务目标的信息确定需要任务的任务目标是否包括在多个任务目标之中。当所述宽区域确定设备确定包括需要任务的任务目标时,所述机械通过所述运动设备运动到其中需要任务的任务目标所在的区域,以及所述检测设备开始所述检测。

(43)一种任务方法,包括使任务装置沿着预定路线运动的运动过程,通过所述运动过程通过运动通过所述任务装置辨认任务目标的辨认过程,检测被辨认的任务目标的状态的检测过程,以及基于检测结果确定是否执行与任务目标有关的任务的确定过程。当在所述确定过程中确定要执行任务时,通过所述任务装置执行与所述任务目标有关的任务的任务过程被执行,以及当在所述确定过程中确定不执行所述任务时,在通过所述运动过程在运动时辨认下一个任务目标的过程被执行,而没有通过所述任务过程执行所述任务。

(44)一种用于使计算机执行这些过程的程序,或记录该程序的计算机可读的记录介质,所述过程包括使任务装置沿着预定路线运动的运动过程,通过所述运动过程通过运动通过所述任务装置辨认任务目标的辨认过程,检测被辨认的任务目标的状态的检测过程,以及基于检测结果确定是否执行与任务目标有关的任务的确定过程。当在所述确定过程中确定要执行所述任务时,通过所述任务装置执行与任务目标有关的任务的任务过程被执行,以及当在所述确定过程中确定不执行所述任务时,通过所述运动过程在运动时辨认下一个任务目标的过程被执行,而没有通过所述任务过程执行所述任务。

(45)一种机械,包括用于获取当前位置的当前位置获取装置,用于获取图像信息的传感器装置,用于传递由动能源生成的动能并运动的传动装置,以及用于通过所述传动装置控制所述运动的控制装置。所述控制装置基于由当前位置获取设备获取的当前位置通过所述传动装置来控制所述运动,并且基于由传感器装置获取的图像信息修正所述运动。在该情况下,运动的修正可基于与从图像信息获得的距离有关的信息进行。此外,与所述距离有关的信息可以是与到地表面的距离有关的信息。此外,所述控制装置可基于图像信息辨认出现在机械的行进方向上的物体并根据辨认的结果修正该运动。此外,当物体不能被辨认时,所述控制装置可提示用户识别物体的类型,或修正所述运动以便避开该物体。

(46)一种包括机械和用于通过该机械控制运动的控制装置的系统,所述机械包括用于获取当前位置的当前位置获取装置,用于获取图像信息的传感器装置,以及传递由动能源生成的动能并运动的传动装置。所述机械将由当前位置获取装置获取的当前位置和由传感器装置获取的图像信息发送到所述控制装置。所述控制装置基于获取的当前位置通过所述机械控制所述运动,并基于获取的图像信息修正所述机械的运动。

(47)一种用于在没有手动操作的情况下使机械运动的方法,包括获取当前位置的当前位置获取过程,获取图像信息的图像信息获取过程,传递由动能源生成的动能并且运动的运动过程,基于在当前位置获取过程中获取的当前位置运动的过程,以及基于在图像信息获取过程中获取的图像信息修正所述运动的过程。

(48)一种用于使计算机执行一些过程的程序,或记录该程序的计算机可读的记录介质,该过程包括获取当前位置的当前位置获取过程,获取图像信息的图像信息获取过程,传递由动能源生成的动能并运动的运动过程,基于在当前位置获取过程中获取的当前位置而运动的过程,以及基于在图像信息获取过程中获取的图像信息修正所述运动的过程。

注意到,本申请要求2014年7月16日提交的日本专利申请号2014-146163的优先权的权益,其内容整个被并入于此。

农业机械和农场土地中的系统被描述在以上实施例中;然而,本发明不限于如上所述的具体实施例,在没有背离本发明的范围的情况下可进行变型和修改。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1