自动行驶系统、农业机械、程序、记录有程序的记录介质以及方法与流程

1.本发明涉及自动行驶系统、农业机械、程序、记录有程序的记录介质以及方法。


背景技术：

2.收获时期的直立谷秆不仅是正常的直立状态，有时还会成为倒伏状态、杂草混合状态等异常的状态。在专利文献1所记载的收割机中，进行与直立谷秆的状态相应的装置的控制。详细而言，在该收割机具备对收割部的前方的谷秆进行拍摄的电视照相机和图像处理装置。图像处理装置将来自电视照相机的图像与预先存储的表示各种谷秆的直立设置状态的图像进行比较，检测谷秆的直立设置状态。若检测到收割部前方的谷秆的一部分倒伏，则为了提高针对倒伏谷秆的收割性能，使行驶速度减速，并且扒拢拨禾轮向下方移动。
3.在专利文献2的收割机中，通过使用采用了深度学习的神经网络技术构建的图像识别模块来推定倒伏谷秆的存在。进而，基于通过卫星定位而算出的机体位置，也求出倒伏谷秆在地图上的位置。其结果是，通过将地图上的倒伏谷秆区域的分布与地图上的农作物的作物评价值的分布进行对比，在下次的农业作业中，也能够减少针对倒伏谷秆区域的施肥量，或者调整种植量。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开平11-155340号公报
7.专利文献2：日本特开2019-008536号公报


技术实现要素：

8.发明要解决的课题
9.在直立谷秆处于异常状态的情况下，通过对农业机械的行驶路径进行研究，有可能产生优点。例如，在直立谷秆处于倒伏状态的情况下，通过使谷秆的倒伏方向与农业机械(收割机)的行进方向的关系适当，有可能能够提高作业效率。例如，在直立谷秆处于杂草混合状态的情况下，通过避开杂草所处的区域，有可能抑制杂草向收获物的混入(收割机的情况)、向杂草的施肥(管理机的情况)。
10.在专利文献1的倒伏谷秆检测技术中，通过对预先存储的表示各种谷秆的直立设置状态的图像与来自照相机的拍摄图像进行比较，来判定拍摄图像中是否包含倒伏谷秆。在该技术中，仅推定直立谷秆是否倒伏，不能推定倒伏方向。另外，在专利文献1中，没有公开或暗示与谷秆的直立设置状态相应的农业机械的行驶路径的设定、变更。
11.在专利文献2的倒伏谷秆检测技术中，近年来，由于使用采用了在图像识别中取得重大成果的深度学习的神经网络技术，因此，能够进行各种谷秆的直立设置状态的检测。但是，在专利文献2中，也没有公开或暗示与谷秆的直立设置状态相应的农业机械的行驶路径的设定、变更。
12.鉴于上述实际情形，本发明的课题在于提供一种能够根据直立作物的异常状态设定行驶路径，使农业机械进行自动作业行驶的系统。
13.用于解决课题的方案
14.本发明的自动行驶系统具备：农业机械，所述农业机械具备对田地的直立作物进行作业的作业部，在田地进行作业行驶；机体位置计算部，所述机体位置计算部基于来自卫星定位模块的定位数据计算所述农业机械的机体位置；自动行驶控制部，所述自动行驶控制部使用所述机体位置使所述农业机械自动行驶；信息输出部，所述信息输出部输出表示所述直立作物的异常状态的直立作物状态信息；以及行驶路径设定部，所述行驶路径设定部基于所述直立作物状态信息，设定用于所述农业机械进行的自动作业行驶的行驶路径。
15.根据该结构，基于从信息输出部输出的直立作物状态信息，设定用于自动作业行驶的行驶路径，因此，农业机械能够以适合于直立作物的异常状态的行驶路径进行作业行驶。可以预先确定直立作物的异常状态的类别和适合于该类别的行驶路径(或者，行驶路径的决定方法)，并登记到行驶路径设定部。需要说明的是，关于在此的行驶路径，将一个方向的行驶路径和另一个方向的行驶路径作为不同的路径来处理。
16.在本发明的一个优选实施方式中，所述信息输出部基于拍摄所述直立作物而得到的拍摄图像来检测所述直立作物的异常状态和该异常状态产生的位置，并基于检测结果输出所述直立作物状态信息。
17.根据该结构，由于基于拍摄图像来检测异常状态产生的位置，因此，能够适当地设定农业机械的行驶路径，对于成为异常状态的直立作物而言能够以适当的行驶路径进行作业行驶。
18.在本发明的一个优选实施方式中，自动行驶系统具备对所述直立作物进行拍摄的拍摄部，所述信息输出部基于所述拍摄部的拍摄图像、所述拍摄部的位置、以及所述拍摄部的视角，检测所述直立作物的异常状态和该异常状态产生的位置，并基于检测结果输出所述直立作物状态信息。
19.根据该结构，能够根据拍摄部的位置(拍摄中心位置)和拍摄视角，计算拍摄图像中包含的田地区域，因此，在信息输出部根据该拍摄图像检测到直立作物的异常状态和拍摄图像中的异常状态产生的位置的情况下，还能够计算异常状态产生的位置与农业机械之间的位置关系。通过基于该推定结果来设定行驶路径，对于成为异常状态的直立作物而言能够以适当的行驶路径进行作业行驶。
20.在本发明的一个优选实施方式中，所述拍摄部设置于所述农业机械。
21.根据该结构，由于拍摄部设置于农业机械，因此，能够一边使农业机械行驶一边取得田地的拍摄图像。由此，能够适当地检测异常状态，对于成为异常状态的直立作物而言能够以适当的行驶路径进行作业行驶。
22.使针对直立作物的作业(例如，收获作业)变得困难的直立作物的异常状态之一是直立作物倒伏的状态。例如，关于倒伏的直立作物(倒伏作物)的收获，有适当地选择收获行驶的方向的方法、在收获行驶的最后进行的方法、放弃机械收割而使用手动收割的方法等，因此，重要的是适当地获知倒伏作物的位置。根据上述情况，在本发明的一个优选实施方式中，所述信息输出部构成为，检测所述直立作物是倒伏状态的倒伏作物作为所述异常状态。
23.在直立作物的异常状态为倒伏作物且该倒伏作物的倒伏方向在一定程度上一致
的情况下，针对倒伏作物的适当的收获方向(追逐收割(日文：追
い
刈
り
，是指沿着作物倒伏的方向进行收割)是适当)是已知的。根据上述情况，在本发明的一个优选实施方式中，所述信息输出部构成为检测所述倒伏作物的倒伏方向。
24.由于基于直立作物状态信息来设定用于自动作业行驶的行驶路径，因此，即便直立作物处于异常状态，也能够根据该异常状态进行适当的作业行驶。详细而言，优选以下两种方法。
25.(1)在针对田地的作业行驶中，始终检查基于信息输出部的直立作物的异常状态。当检测到异常状态时，为了在该异常状态产生的区域以适当的方向进行行驶，变更预先设定的行驶路径。为了实现上述(1)的方法，在本发明的一个优选实施方式中，所述信息输出部使用在所述作业行驶中由所述拍摄部取得的所述拍摄图像，输出所述直立作物状态信息，所述行驶路径设定部基于所述直立作物状态信息来决定成为下一个目标的行驶路径(目标行驶路径)。
26.(2)田地的收获作业通过最初进行的周围收割和之后进行的中央收割来进行。在周围收割中，在田地的外周区域通过手动(也可以是自动)进行作业行驶。在中央收割中，针对位于外周区域的内侧的内侧区域计算用于自动行驶的行驶路径，农业机械沿着该行驶路径自动进行作业行驶。在最初进行的周围收割时，能够通过信息输出部生成内侧区域的直立作物状态信息。因此，若周围收割结束，则能够考虑直立作物状态来设定用于内侧区域的行驶路径。为了实现上述(2)的方法，在本发明的一个优选实施方式中，所述信息输出部使用在收割所述田地的外周区域的直立作物的周围收割作业行驶中由所述拍摄部取得的所述拍摄图像，输出所述直立作物状态信息，所述行驶路径设定部将所述直立作物状态信息作为行驶路径制作条件，对位于所述外周区域的内侧的内侧区域的用于所述自动作业行驶的行驶路径进行计算。
27.在本发明的一个优选实施方式中，自动行驶系统具备能够独立于所述农业机械而移动的移动体，所述拍摄部设置于所述移动体。
28.根据该结构，能够不受农业机械的位置制约而由拍摄部进行拍摄。由此，能够适当地检测异常状态，对于成为异常状态的直立作物而言能够以适当的行驶路径进行作业行驶。
29.在本发明的一个优选实施方式中，所述拍摄部以独立于所述农业机械的状态配置于田地周边。
30.根据该结构，能够不受农业机械的位置制约而由拍摄部进行拍摄。由此，能够适当地检测异常状态，对于成为异常状态的直立作物而言能够以适当的行驶路径进行作业行驶。
31.在本发明的一个优选实施方式中，所述信息输出部包括将所述拍摄图像作为输入图像而输出直立作物的所述异常状态的、进行了机器学习的神经网络。
32.根据该结构，能够更适当地检测异常状态，对于成为异常状态的直立作物而言能够以适当的行驶路径进行作业行驶。
33.在本发明的一个优选实施方式中，自动行驶系统具备接受人为操作的操作部，所述信息输出部基于所述操作部接受的人为操作，确定所述直立作物的异常状态和该异常状态产生的位置，并基于确定结果输出所述直立作物状态信息。
34.根据该结构，能够基于人为操作可靠地确定直立作物的异常状态以及位置，对于成为异常状态的直立作物而言能够以适当的行驶路径进行作业行驶。
35.另外，本发明的农业机械具备：作业部，所述作业部对田地的直立作物进行作业；机体位置计算部，所述机体位置计算部基于来自卫星定位模块的定位数据计算机体位置；自动行驶控制部，所述自动行驶控制部使用所述机体位置使机体自动行驶；信息输出部，所述信息输出部输出表示所述直立作物的异常状态的直立作物状态信息；以及行驶路径设定部，所述行驶路径设定部基于所述直立作物状态信息，设定用于自动作业行驶的行驶路径。
36.另外，本发明的程序是用于自动行驶系统的程序，所述自动行驶系统使农业机械进行自动作业行驶，所述农业机械具备对田地的直立作物进行作业的作业部和卫星定位模块，其中，所述程序使计算机实现如下功能：基于来自所述卫星定位模块的定位数据计算所述农业机械的机体位置的机体位置计算功能；使用所述机体位置使所述农业机械自动行驶的自动行驶控制功能；输出表示所述直立作物的异常状态的直立作物状态信息的信息输出功能；以及基于所述直立作物状态信息，设定用于所述农业机械进行的自动作业行驶的行驶路径的行驶路径设定功能。
37.另外，本发明的记录有程序的记录介质是记录有用于自动行驶系统的程序的记录介质，所述自动行驶系统使农业机械进行自动作业行驶，所述农业机械具备对田地的直立作物进行作业的作业部和卫星定位模块，其中，所述程序使计算机实现如下功能：基于来自所述卫星定位模块的定位数据计算所述农业机械的机体位置的机体位置计算功能；使用所述机体位置使所述农业机械自动行驶的自动行驶控制功能；输出表示所述直立作物的异常状态的直立作物状态信息的信息输出功能；以及基于所述直立作物状态信息，设定用于所述农业机械进行的自动作业行驶的行驶路径的行驶路径设定功能。
38.另外，本发明的方法是使农业机械进行自动作业行驶的方法，所述农业机械具备对田地的直立作物进行作业的作业部和卫星定位模块，其中，所述方法包括：基于来自所述卫星定位模块的定位数据计算所述农业机械的机体位置的机体位置计算步骤；使用所述机体位置使所述农业机械自动行驶的自动行驶控制步骤；输出表示所述直立作物的异常状态的直立作物状态信息的信息输出步骤；以及基于所述直立作物状态信息，设定用于所述农业机械进行的自动作业行驶的行驶路径的行驶路径设定步骤。
附图说明
39.图1是全喂入联合收割机的整体侧视图。
40.图2是全喂入联合收割机的整体俯视图。
41.图3是例示田地整体的行驶路径的说明图。
42.图4是例示内侧区域中的行驶路径的说明图。
43.图5是表示自动行驶系统的控制系统的功能框图。
44.图6是以图像说明机器学习部的输出结果的说明图。
45.图7是表示伴随着倒伏作物区域的检测而设定的行驶路径的说明图。
46.图8是表示伴随着倒伏作物区域的检测的行驶路径的变更的说明图。
47.图9是表示伴随着倒伏作物区域的检测而设定的行驶路径的说明图。
48.图10是表示作物的倒伏的方向与行驶路径之间的关系的说明图。
49.图11是玉米收割机的整体俯视图。
50.图12是玉米收割机的整体俯视图。
51.图13是甘蔗收割机的整体俯视图。
52.图14是乘坐式管理机的整体俯视图。
53.图15是全喂入联合收割机的整体俯视图。
54.图16是表示自动行驶系统的控制系统的功能框图。
55.图17是表示自动行驶系统的控制系统的功能框图。
具体实施方式
56.〔第一实施方式〕
57.以下，基于附图本发明的自动行驶系统的实施方式进行说明。自动行驶系统具备：具备对田地的直立作物进行作业的收获部15(作业部的一例)并在田地进行作业行驶的农业机械1；基于来自卫星定位模块80的定位数据，对农业机械1的机体位置进行计算的机体位置计算部66(图5)；使用机体位置使农业机械1自动行驶的行驶控制部61(自动行驶控制部的一例)；输出表示直立作物的异常状态的直立作物状态信息的直立作物状态检测单元50(信息输出部的一例)；以及基于直立作物状态信息，设定用于农业机械1进行的自动作业行驶的行驶路径的行驶路径设定部64。在本实施方式中，自动行驶系统的构成要素全部搭载于农业机械1。农业机械1是作为收割机的全喂入联合收割机。需要说明的是，只要没有特别说明，则将图1以及图2所示的箭头f的方向设为“前”，将箭头b的方向设为“后”。另外，将图2所示的箭头l的方向设为“左”，将箭头r的方向设为“右”。另外，将图1所示的箭头u的方向设为“上”，将箭头d的方向设为“下”。
58.如图1以及图2所示，农业机械1具备履带式的行驶装置11、驾驶部12、脱粒装置13、谷粒箱14、收获部15、输送装置16、谷粒排出装置18、卫星定位模块80。农业机械1的机体10是指农业机械1的主要的构成要素、例如驾驶部12、脱粒装置13、谷粒箱14等的集合体。
59.行驶装置11可以由来自发动机(未图示)的动力驱动，也可以由电动马达驱动。
60.在驾驶部12能够搭乘对农业机械1的作业进行监视的操作者。需要说明的是，操作者也可以从农业机械1的机外监视农业机械1的作业。
61.收获部15支承于机体10的前部。输送装置16相邻地设置在比收获部15靠后侧的位置。收获部15收获田地的直立作物。直立作物例如是水稻等直立谷秆，但也可以是大豆、玉米等。根据该结构，农业机械1一边行驶一边收获田地的作物。而且，农业机械1能够进行一边通过收获部15收获田地的作物一边通过行驶装置11行驶的作业行驶。
62.由收获部15收割的直立作物作为收割作物被输送装置16向脱粒装置13输送。利用脱粒装置13对收割作物进行脱粒处理。通过脱粒处理而得到的作为收获物的谷粒储存于谷粒箱14。储存于谷粒箱14的谷粒根据需要通过谷粒排出装置18向机外排出。谷粒排出装置18构成为能够绕机体后部的纵轴芯摆动。即，谷粒排出装置18以能够切换为谷粒排出装置18的排出部比机体10向机体横向外侧伸出而能够排出作物的排出状态和谷粒排出装置18的排出部位于机体10的机体横向宽度的范围内的收纳状态的方式构成。在谷粒排出装置18处于收纳状态的情况下，谷粒排出装置18的排出口部位于比驾驶部12靠前侧的位置，并且位于收获部15的上方。
63.卫星定位模块80安装在驾驶部12的车顶部前部的机体左右中央侧端部。卫星定位模块80接收来自人造卫星gs的gnss(global navigation satellite system：全球导航卫星系统)的信号(包括gps信号)，取得机体位置。需要说明的是，为了补充由卫星定位模块80进行的卫星导航，装配有陀螺仪加速度传感器、磁方位传感器的惯性导航单元装配于卫星定位模块80。当然，惯性导航单元也可以在农业机械1中配置在与卫星定位模块80不同的部位。
64.在谷粒排出装置18的排出部的前壁面设置有拍摄部21。拍摄部21是安装有广角镜头的彩色照相机，例如是ccd照相机或cmos照相机。在谷粒排出装置18为收纳状态的情况下，拍摄部21构成为能够从该谷粒排出口的部位向前下方拍摄农业机械1的前进方向的前方。此时，拍摄部21位于比驾驶部12靠前侧的位置，以拍摄部21的前后方向向下前方倾斜的状态支承于谷粒排出装置18的排出部。由此，拍摄部21能够近距离地拍摄收获部15的前端区域中的直立作物的状态。另外，该拍摄部21不仅能够拍摄存在于田地的直立作物以及直立作物的收割痕迹，还能够拍摄存在于田地的其他物体、例如杂草、人物等。在图1以及图2中，示意性地示出用符号z0表示的正常的直立作物组、用符号z1表示的杂草组、用符号z2表示的倒伏作物组、用符号z3表示的人物。
65.本实施方式的农业机械1能够在自动行驶和手动行驶双方行驶。在自动行驶中，农业机械1沿着设定于田地的行驶路径自动进行作业行驶。在图3中示出田地中的标准的收获作业的一例。在此，当农业机械1进入田地时(#a)，进行周围收割作业行驶(以下简称为周围收割)(#b)。若手动或自动进行几周的周围收割，则在该田地的外周形成作为已作业区域(已收割区域)的外周区域sa，并且在外周区域sa的内侧形成作为未作业区域(未收割区域)的内侧区域ca(#c)。接着，为了自动对作为内侧区域ca的未作业区域(未收割区域)进行中央收割作业行驶(以下简称为中央收割)，在内侧区域ca设定行驶路径。在该中央收割中使用组合了直线行驶和u形转弯行驶的往复行驶的情况下，采用用于直线行驶的行驶路径在附图横向上延伸的横向行驶路径模式(#d)、或在附图纵向上延伸的纵向行驶路径模式(#e)的任一方。需要说明的是，在该直线行驶中，不仅包括纯直线行驶，还包括直线状的行驶、例如大的弯曲线行驶、蜿蜒行驶等。用于直线行驶的行驶路径在用于选择横向行驶路径模式或纵向行驶路径模式的任一方的判定条件(行驶路径制作条件)中包含内侧区域ca的倒伏作物的倒伏状态、特别是倒伏方向。因此，以使农业机械1朝向倒伏作物的倒伏方向行驶的方式、即以成为追逐收割的方式设定行驶路径。
66.也可以在中央收割的中途，变更为使用了其他的行驶路径模式的行驶路径。在图4中，示出从使用纵向行驶路径模式设定的行驶路径在中途变更为使用横向行驶路径模式设定的行驶路径的例子。
67.在图5中示出农业机械1的控制系统的功能框图。本实施方式的控制系统由多个被称为ecu的电子控制单元、各种动作设备、传感器组、开关组、进行它们之间的数据传送的车载lan等配线网构成。告知设备84是用于向驾驶员等告知障碍物的检测结果、作业行驶的状态等警告的设备，是蜂鸣器、灯、扬声器、显示器等。
68.控制单元6是该控制系统的核心要素，表示为多个ecu的集合体。来自卫星定位模块80的定位数据、来自拍摄部21的拍摄图像通过配线网输入到控制单元6。
69.控制单元6具备输出处理部6b和输入处理部6a作为输入输出接口。输出处理部6b
与车辆行驶设备组7a以及作业装置设备组7b连接。车辆行驶设备组7a包括与车辆行驶相关的控制设备、例如发动机控制设备、变速控制设备、制动控制设备、操纵控制设备等。作业装置设备组7b包括收获部15、输送装置16、脱粒装置13、谷粒排出装置18中的动力控制设备等。在输入处理部6a连接有行驶系统检测传感器组8a、作业系统检测传感器组8b等。行驶系统检测传感器组8a包括检测发动机转速调整件、加速踏板、制动踏板、变速操作件等的状态的传感器。作业系统检测传感器组8b包括检测收获部15、输送装置16、脱粒装置13、谷粒排出装置18中的装置状态以及作物、谷粒的状态的传感器。
70.在控制单元6具备行驶控制模块60、行驶路径设定部64、障碍物避开指令生成部65、机体位置计算部66、告知部67、行驶轨迹管理部68以及直立作物状态检测单元50。具体而言，控制单元6由具备cpu、通信功能和存储功能(针对内部记录介质及外部记录介质的驱动单元以及/或者输入输出接口)的计算机装置、以及规定的计算机程序构成。该计算机程序使计算机装置作为行驶控制模块60、行驶路径设定部64、障碍物避开指令生成部65、机体位置计算部66、告知部67、行驶轨迹管理部68以及直立作物状态检测单元50发挥功能。该计算机程序记录在计算机能够读取的上述记录介质中。通过执行该计算机程序，在自动行驶系统中，执行包括与上述各功能部对应的步骤在内的方法。
71.机体位置计算部66基于从卫星定位模块80依次发送来的定位数据，计算机体10的至少一个特定部位的地图坐标(或田地坐标)即机体位置。
72.在行驶控制模块60中具备行驶控制部61、作业控制部62以及行驶指令部63。在驾驶部12内设置有选择以自动操纵方式行驶的自动行驶模式和以手动操纵方式行驶的手动操纵模式中的任一个的行驶模式开关(非图示)。通过对该行驶模式开关进行操作，能够从手动操纵行驶向自动操纵行驶转移、或从自动操纵行驶向手动操纵行驶转移。
73.行驶控制部61具有发动机控制功能、操纵控制功能、车速控制功能等，向车辆行驶设备组7a提供行驶控制信号。作业控制部62为了控制收获部15、脱粒装置13、谷粒排出装置18等的动作，经由输出处理部6b向作业装置设备组7b提供作业控制信号。行驶控制部61作为自动行驶控制部和手动行驶控制部发挥功能。
74.行驶指令部63生成操纵指令以及车速指令作为自动行驶指令，并提供给行驶控制部61。自动行驶时的操纵指令以消除由行驶路径设定部64设定的行驶路径与由机体位置计算部66算出的本机位置之间的方位偏差以及位置偏差的方式生成。自动行驶时的车速指令基于预先设定的车速值而生成。手动行驶时的操纵指令、车速指令基于手动操作而生成。
75.告知部67基于来自控制单元6的各功能部的请求生成告知数据，并提供给告知设备84。
76.行驶轨迹管理部68基于来自机体位置计算部66的机体位置以及来自行驶控制模块60的作业行驶信息，对田地中的未作业区域和已作业区域进行管理，对剩余的未作业区域的形状进行计算。
77.直立作物状态检测单元50输出表示直立作物的异常状态的直立作物状态信息。需要说明的是，在本实施方式中，基于拍摄部21的拍摄图像、根据机体位置算出的拍摄部21的位置、以及拍摄部21的拍摄视角，输出包含直立作物的异常状态和异常状态产生的位置在内的直立作物状态信息。需要说明的是，在本实施方式中，在直立作物的异常状态中包括：在直立作物中混入杂草的状态、直立作物倒伏的状态、直立作物向特定方向倒伏的状态、在
直立作物中混入障碍物的状态、在直立作物的收割痕迹中混入障碍物的状态等。这样的各种直立作物的异常状态及该异常状态产生的位置包含在直立作物状态信息中。
78.因此，在本实施方式的直立作物状态检测单元50中包括图像取得部51、机器学习单元52、倒伏作物检测部53、障碍物检测部54。图像取得部51将从拍摄部21以规定周期发送来的拍摄图像与由机体位置计算部66算出的本机位置链接并存储在存储器中。
79.机器学习单元52由进行了机器学习的神经网络构建。将由拍摄部21取得的拍摄图像作为输入图像，识别并输出该拍摄图像中包含的直立作物的异常状态(包括田地中的倒伏作物、杂草、人物)，因此，在此使用识别能力优异的深度学习算法。在机器学习单元52的输出中包含存在倒伏作物的倒伏作物区域、存在杂草的杂草区域、以及存在人物的人物区域，输出表示各区域的尺寸和拍摄图像中的位置的识别结果数据。这样的识别结果数据能够如图6所示那样进行图像化。基于该识别结果数据和拍摄部21的拍摄视角，能够计算倒伏作物区域、杂草区域、人物区域相对于机体10的位置关系。为了计算从机体10到各区域的准确的距离，例如，能够利用针对随着时间的经过取得的拍摄图像的核线(epipolar)图像处理等。从机器学习单元52输出的识别结果数据、至各区域的距离作为表示直立作物的异常状态的直立作物状态信息而用于各种控制处理。
80.倒伏作物检测部53从直立作物状态信息中取出与倒伏作物相关的数据，求出田地中的倒伏作物区域的位置以及倒伏作物的倒伏方向，作为倒伏作物数据而输出。障碍物检测部54从直立作物状态信息中取出与人物相关的数据，求出田地中的人物区域的位置，作为障碍物数据而输出。同时，告知部67也基于障碍物数据生成与检测到的障碍物、倒伏作物相关的信息，并通过告知设备84进行告知。
81.行驶路径设定部64具有将所制作的用于自动行驶的行驶路径在存储器中展开，并依次设定为自动行驶中的目标行驶路径的功能。此时，若从直立作物状态检测单元50输出直立作物状态信息，例如若输出来自倒伏作物检测部53的倒伏作物数据，则基于该倒伏作物数据，设定或重新设定用于自动作业行驶的行驶路径。行驶路径设定部64构成为基于直立作物状态信息进行行驶路径的制作以及变更。
82.当在周围收割中输出了倒伏作物数据的情况下，行驶路径设定部64针对位于此后进行作业行驶的外周区域sa的内侧的未作业区域即内侧区域ca设定行驶路径，以便能够针对更多的倒伏作物以追逐收割或接近追逐收割的方向进行作业行驶。例如，如图7所示，通常，通过周围收割而残留矩形的内侧区域ca。而且，例如，为了该内侧区域ca而设定用u形转弯来连接多个平行的直线状路径的行驶路径。此时，基于倒伏作物区域和倒伏方向(在图7中用倒伏作物区域内的箭头表示)，设定行驶路径，以便针对倒伏作物成为追逐收割。由此，倒伏作物区域的收获作业效率提高。
83.即便在作为未作业区域的内侧区域ca中的中央收割的中途输出了倒伏作物数据的情况下，行驶路径设定部64也不将预先设定的行驶路径作为目标行驶路径来使用，而设定针对倒伏作物成为追逐收割或大致追逐收割的新的目标行驶路径。例如，如图8所示，针对在中央收割的中途检测到的倒伏作物区域，在预先设定的行驶路径上的目标行驶路径中，在不会成为追逐收割的情况下，在该时刻，变更目标行驶路径，设定成为追逐收割或大致追逐收割的新的目标行驶路径。由此，倒伏作物区域的收获作业效率提高。
84.行驶路径设定部64也可以以使农业机械1在与作物的倒伏的方向交叉的方向上行
驶的方式设定目标行驶路径。例如，如图9所示，以行驶路径与倒伏作物区域中的作物的倒伏的方向(用箭头表示)正交的方式设定行驶路径。由此，倒伏作物区域的收获作业效率提高。
85.特别是，如图10所示，优选以从农业机械1的机体10观察成为倒伏作物向未作业区域xa侧倾倒的状态的方式设定行驶路径。在图10的例子中，以机体10的左侧为未作业区域xa、机体10的右侧成为已作业区域ya的方式进行作业行驶。而且，在农业机械1在倒伏作物区域行驶时，以从机体10观察成为倒伏作物向左倾倒的状态的方式，由行驶路径设定部64设定行驶路径。需要说明的是，机体10的左侧成为未作业区域xa的收获行驶大多在驾驶部12位于机体10的右侧部分的情况下进行。
86.在直立作物状态信息中包含的直立作物的异常状态为倒伏作物以外的情况下，例如在杂草混合的异常状态的情况下，设定最适合于这样的异常状态的行驶路径，或者设定避开这样的异常状态的区域的行驶路径。
87.障碍物避开指令生成部65基于来自障碍物检测部54的障碍物数据，生成障碍物避开指令，并提供给行驶控制模块60，该障碍物避开指令包括：包括强制停止在内的车速变更、发动机停止、转弯行驶等。
88.需要说明的是，构成图5所示的行驶控制模块60、直立作物状态检测单元50的构成要素主要出于说明目的而被分开，该构成要素的整合、该构成要素的分割可以自由地进行。
89.〔第一实施方式的变形例〕
90.(1)在上述实施方式中，采用了安装广角镜头作为拍摄部21的可见光照相机，但也可以采用红外光照相机或由可见光照相机和红外光照相机构成的混合照相机。
91.(2)在上述实施方式中，拍摄部21安装在谷粒排出装置18的前端，但也可以安装在其他部位。另外，多个拍摄部21也可以安装在不同的部位。由于监视行驶方向的前方是重要的，因此，拍摄部21可以设置于联合收割机的前部、例如驾驶部12的车顶部的前端部等。
92.(3)在上述实施方式中，机器学习单元52由使用深度学习算法进行了机器学习的神经网络构成。机器学习单元52也可以由使用深度学习算法以外的算法的神经网络、例如循环神经网络构成。此外，机器学习单元52也可以采用进行了机器学习的神经网络以外的图像识别技术。
93.(4)自动行驶系统的构成要素的一部分也可以设置在农业机械1的外部。例如，也可以将控制单元6的功能部(行驶控制模块60、行驶路径设定部64、障碍物避开指令生成部65、机体位置计算部66、告知部67、行驶轨迹管理部68、直立作物状态检测单元50)的一部分或全部设置于在农业机械1的外部设置的控制装置(计算机装置)。
94.(5)农业机械1并不限于全喂入联合收割机。例如，农业机械1也可以是半喂入联合收割机。
95.(6)农业机械1也可以是玉米收割机。在图11中示出作为农业机械1的玉米收割机。本实施方式的玉米收割机是将全喂入联合收割机的联管箱(收获部)换装于收获前处理装置115而得到的。该玉米收割机从直立的玉米分离苞状体，从苞状体分离谷粒，储存谷粒。
96.该玉米收割机具备履带式的行驶装置(未图示)、驾驶部112、脱粒装置113、谷粒箱114、作为作业部的收获前处理装置115、输送装置116、谷粒排出装置118、卫星定位模块180等构成要素。玉米收割机的机体110是指构成要素的集合体，但根据不同情况，有时也指行
驶装置、收获前处理装置115等单独的构成要素。
97.收获前处理装置115从直立的玉米分离苞状体，将苞状体向输送装置116送出。脱粒装置113从由输送装置116输送来的苞状体中分离谷粒。在谷粒排出装置118的排出部的前壁面设置有拍摄部121。本实施方式的自动行驶系统与上述实施方式同样地，具备控制单元6，使农业机械1执行同样的自动行驶。
98.(7)在图12中示出另一方式的玉米收割机。该玉米收割机从直立的玉米分离苞状体，从苞状体除去苞叶，并储存苞状体。
99.该玉米收割机具备车轮式的行驶装置(未图示)、驾驶部212、苞叶除去部213、储存箱214、作为作业部的收获部215、输送装置216、卫星定位模块280等构成要素。玉米收割机的机体210是指构成要素的集合体，但根据不同情况，有时也指行驶装置、收获部215等单独的构成要素。
100.收获部215从直立的玉米分离苞状体，将苞状体向输送装置216送出。苞叶除去部213从由输送装置216输送来的苞状体中除去苞叶。在驾驶部212的上部设置有拍摄部221。本实施方式的自动行驶系统与上述实施方式同样地，具备控制单元6，使农业机械1执行同样的自动行驶。
101.(8)农业机械1也可以是甘蔗收割机。在图13中示出作为农业机械的一例的甘蔗收割机。该甘蔗收割机收获直立的甘蔗，分离甘蔗和夹杂物，将甘蔗向机体后方排出。
102.该甘蔗收割机具备车轮式的行驶装置311、驾驶部312、分离装置313、作为作业部的收获部315、输送装置316、排出装置318、卫星定位模块380等构成要素。甘蔗收割机的机体310是指构成要素的集合体，但根据不同情况，有时也指行驶装置311、收获部315等单独的构成要素。
103.收获部315收割直立的甘蔗，将甘蔗向输送装置316送出。分离装置313从由输送装置316输送来的甘蔗中分离夹杂物。排出装置318将由分离装置313从夹杂物分离出的甘蔗向机体310的后方排出。在驾驶部312的上部设置有拍摄部321。本实施方式的自动行驶系统与上述实施方式同样地，具备控制单元6，使农业机械1执行同样的自动行驶。
104.(9)农业机械1也可以是乘坐式管理机。在图14中示出作为农业机械的一例的乘坐式管理机。该乘坐式管理机进行一边在田地中行驶一边向直立作物散布药剂(农药、肥料等)的散布作业。
105.该乘坐式管理机具备行驶车轮411(车轮式的行驶装置)、驾驶部412、作为作业部的药剂散布部415、药剂箱425、宽脚轮426、卫星定位模块480等构成要素。乘坐式管理机的机体410是指构成要素的集合体，但根据不同情况，有时也指行驶车轮411、药剂散布部415等单独的构成要素。
106.药剂散布部415将储存于药剂箱425的药剂向田地散布。药剂散布部415具备中心臂415d和左右的侧臂415e。在驾驶部412的上部设置有拍摄部421。本实施方式的自动行驶系统与上述实施方式同样地，具备控制单元6，使农业机械1执行同样的自动行驶。
107.〔第二实施方式〕
108.以下，对自动行驶系统的另一实施方式进行说明。在以后的说明中，有时对与上述实施方式相同的结构标注相同的附图标记并省略详细的说明。
109.如图15所示，本实施方式的自动行驶系统具备能够从农业机械1独立地移动的拍
摄单元90(移动体的一例)。而且，拍摄部21设置于拍摄单元90。在本实施方式中，拍摄单元90是能够通过飞行而移动的飞行体，是所谓的无人机。拍摄单元90具备卫星定位模块91。
110.在图16中示出本实施方式的自动行驶系统的控制系统的功能框图。该控制系统的主要的构成要素是搭载于农业机械1的控制单元6和搭载于拍摄单元90的控制单元92。农业机械1的控制单元6具备与图6的图示例相同的结构和功能。农业机械1具备能够经由通信网络n与拍摄单元90通信的通信部85。通信部85与控制单元6连接。
111.控制单元92控制拍摄单元90的动作。控制单元92与控制单元6同样地，由计算机装置和规定的计算机程序构成。拍摄单元90具备能够经由通信网络n与农业机械1通信的通信部93。通信部93与控制单元92连接。
112.控制单元92控制拍摄单元90的移动(飞行)。控制单元92控制拍摄单元90的飞行，以使拍摄单元90相对于农业机械1位于规定的位置(例如，农业机械1的左上方)。
113.控制单元92基于从卫星定位模块91依次发送来的定位数据，对拍摄单元90的至少一个特定部位的地图坐标(或田地坐标)即移动体位置进行计算。需要说明的是，移动体位置包含表示拍摄单元90的朝向、即拍摄部21的朝向(视角)的信息。控制单元92在使从拍摄部21以规定周期发送来的拍摄图像与算出的移动体位置相互链接的状态下，向农业机械1的控制单元6发送。而且，农业机械1的控制单元6的图像取得部51经由通信部85取得从拍摄单元90发送的拍摄图像，并存储在存储器中。以下，与上述实施方式同样地，直立作物状态检测单元50生成并输出直立作物状态信息。
114.〔第二实施方式的变形例〕
115.(1)拍摄单元90也可以是车辆、气球、能够自行的机器人等。
116.(2)在上述实施方式中，拍摄单元90是能够自己移动的装置。也可以是拍摄单元90不具有移动的功能的方式。例如，拍摄单元90也可以是设置于田地周边的固定式装置。该装置可以恒久地设置，也可以暂时设置。在该情况下，拍摄部21以独立于农业机械1的状态配置于田地周边。需要说明的是，拍摄单元90也可以由操作者携带。例如，拍摄单元90也可以是智能手机等便携信息终端。
117.(3)在上述实施方式中，拍摄部21拍摄到的图像经由通信网络n从拍摄单元90向农业机械1发送。图像的发送也可以经由操作者保持的便携信息终端(智能手机等)进行。详细而言，图像也可以首先从拍摄单元90向便携信息终端发送，接着从便携信息终端向农业机械1发送。图像的发送也可以经由其他计算机、服务器、农业信息的管理系统等进行。详细而言，图像也可以首先从拍摄单元90向服务器等发送，接着从服务器向农业机械1发送。另外，图像也可以首先从拍摄单元90向服务器等发送，接着从服务器向操作者的便携信息终端发送，接着从便携信息终端向农业机械1发送。
118.〔第三实施方式〕
119.在上述实施方式中，说明了自动行驶系统包括拍摄部21的方式。也可以是自动行驶系统不包括拍摄部21的方式。在该方式中，农业机械1具备图16所示的控制单元6。图像取得部51从其他计算机、服务器、农业信息的管理系统等经由通信部85取得对田地进行拍摄而得到的图像，并将其存储在存储器中。图像取得部51取得的图像是事先拍摄并存储在服务器等中的图像。该图像既可以是由便携信息终端的照相机拍摄到的图像，也可以是由搭载于无人机、乘坐式管理机等的照相机拍摄到的图像，也可以是由人造卫星的照相机拍摄
到的图像(所谓的卫星图像)。需要说明的是，卫星图像也可以从人造卫星向农业机械1直接发送。
120.〔第四实施方式〕
121.在上述实施方式中，直立作物状态检测单元50对拍摄田地而得到的图像进行解析，生成并输出直立作物状态信息。直立作物状态信息的生成也可以基于来自操作者的人为操作来进行。在图17中示出本实施方式的自动行驶系统的控制系统的功能框图。农业机械1的控制单元6具备与图6的图示例相同的结构和功能。控制单元6具备信息输出部550来代替直立作物状态检测单元50。而且，农业机械1具备接受人为操作的显示输入装置86(操作部的一例)来代替拍摄部21。显示输入装置86例如是液晶触摸面板装置。
122.信息输出部550基于显示输入装置86接受的人为操作，确定直立作物的异常状态和该异常状态产生的位置，基于确定结果输出直立作物状态信息。具体而言，控制单元6使显示输入装置86显示田地的地图，等待来自操作者的人为操作。操作者操作显示输入装置86，输入直立作物的异常状态(例如，作物的倒伏状态)和该异常状态产生的位置。信息输出部550基于显示输入装置86接受的人为操作，生成并输出直立作物状态信息。
123.工业实用性
124.本发明能够应用于农业机械的自动行驶系统、农业机械、程序、记录有程序的记录介质以及方法。
125.附图标记说明
126.1：农业机械
127.15：收获部(作业部)
128.21：拍摄部
129.50：直立作物状态检测单元(信息输出部)
130.61：行驶控制部(自动行驶控制部)
131.64：行驶路径设定部
132.66：机体位置计算部
133.80：卫星定位模块
134.86：显示输入装置(操作部)
135.90：移动体
136.115：收获前处理装置(作业部)
137.121：拍摄部
138.180：卫星定位模块
139.215：收获部(作业部)
140.221：拍摄部
141.280：卫星定位模块
142.310：机体
143.315：收获部(作业部)
144.321：拍摄部
145.380：卫星定位模块
146.415：药剂散布部(作业部)
147.421：拍摄部
148.480：卫星定位模块
149.550：信息输出部
150.ca：内侧区域
151.sa：外周区域