本发明涉及对与西红柿等果实连结的果柄的位置进行估计的果柄位置估计装置以及果柄位置估计方法。
背景技术：
围绕日本农业的环境因受到老龄化不断发展所导致的劳动不足的影响，而处于非常严峻的状况中。根据农林水产部的基本数据，2014年的主业为农业的工作者为168万人，在5年间减少约23万人。
另外，平均年龄变为66.5岁、新就农者也处于减少趋势等的、老龄化导致的劳动不足现象变得突出。另外，耕作放弃地也达到40万ha的状况，对地域的务农环境和生活环境也带来不良影响。
其中，利用农业的自动化来对劳动力不足进行对应成为重要的课题。根据经济产业部的“2012年机器人产业的市场动向”，从2018年到2024年农业相关机器人的国内市场将大幅扩大，预计达到约2200亿日元的规模。
作为这样的机器人，在专利文献1中公开了以果实为对象的收割机器人。该收割机器人通过图像传感器摄像机对长有果实的果串进行摄像，对在果串上生长的果实和果柄的位置进行检测，由末端执行器对果实的中心和果柄这两者施力来摘下果实(例如，参照专利文献1。)。
现有技术文献
专利文献
专利文献1：日本特开2010-207118号公报
技术实现要素：
发明要解决的问题
对于专利文献1的收割机器人，为了决定末端执行器的适当的插入方向，需要对果实和果柄的位置进行检测。
因此，存在以下问题：虽然在能够通过图像传感器摄像机的摄像对果柄进行识别的情况下，能够检测出果柄的位置，也能够决定末端执行器的适当的插入方向，但是，在果柄隐藏于果实等中而无法识别果柄的情况下，无法检测出果柄的位置，而无法决定末端执行器的适当的插入方向。其结果，无法进行稳定的收割。
本发明解决上述问题，其目的在于，提供一种即使在从图像传感器侧观察时由于隐藏于果实等而无法对果柄进行识别的情况下，也能够对果柄的位置进行估计，从而能够进行稳定的收割动作的果柄位置估计装置以及果柄位置估计方法。
解决问题的方案
为了实现上述目的，本发明的果柄位置估计装置具备：图像获得部，其获得果实的图像；以及估计部，其基于由图像获得部获得的图像中的果实的位置和果实间的距离，对与果实连结的果柄的位置进行估计。
另外，本发明的果柄位置估计方法包括以下步骤：获得果实的图像的图像获得步骤；以及基于在图像获得步骤中所获得的图像中的果实的位置和果实间的距离，对与果实连结的果柄的位置进行估计的估计步骤。
发明效果
根据本发明，即使在从图像传感器侧观察时由于隐藏于果实等而无法对果柄进行识别的情况下，也能够对果柄的位置进行估计，从而能够进行稳定的收割动作。即，能够与收割对象的果实与果柄的位置关系无关地决定末端执行器的插入方向，因此能够进行稳定的收割动作。
附图说明
图1是表示对果柄的位置进行估计的果柄位置估计装置的一例的图。
图2是表示在圣女果的收割装置中设置的末端执行器的一例的图。
图3a是对本发明中使用的末端执行器的收割动作进行说明的图。
图3b是对本发明中使用的末端执行器的收割动作进行说明的图。
图3c是对本发明中使用的末端执行器的收割动作进行说明的图。
图4是表示对果柄的位置进行估计的果柄位置估计处理的一例的流程图。
图5是表示照射ir光而拍摄的圣女果及果柄而得到的图像的一例的图。
图6是表示辉点的检测处理的一例的流程图。
图7是表示果柄检测处理中的二值化图像的一例的图。
图8是表示果柄检测处理中的细化处理后的图像的一例的图。
图9是表示果柄检测后的图像的一例的图。
图10a是表示作为果柄估计的对象的果实的果串的一例的图。
图10b是表示作为果柄估计的对象的果实的果串的一例的图。
图11a是对估计出的果柄与果实之间的距离进行说明的图。
图11b是对估计出的果柄与果实之间的距离进行说明的图。
图12是表示圣女果的果串的结构的图。
附图标记说明
101光源
102图像获得部(图像传感器)
103图像处理部
104估计部
201揽入引导体
202收割环
203果实收割引导体
204果实收割片
205机器人臂
301辉点
302近似直线
401小果柄
402离层
403蒂
404果实
405果柄
具体实施方式
以下，参照附图对本发明的实施方式进行说明。此外，对相同的构成要素标以相同符号。此外，以下，作为果实的一例而列举圣女果进行说明，但果实不限于圣女果，也可以是其他果实。
首先，为了有助于对本发明的实施方式中的果柄的位置估计方法的理解，对(1)收割对象的圣女果的形态、以及(2)使用了收割装置的圣女果的收割方法进行说明。
(1)收割对象的圣女果的形态
作为收割对象的圣女果如葡萄等那样，果实为串状。对于圣女果而言，不是将密集地附着多个果实的果串按整个果串进行收割，而是将红色成熟的果实一个一个地摘下来进行收割。这是由于，附着于果串的果实的成熟程度不同。一般圣女果是生食用的，需要不损伤果实表面地与蒂一起收割。
图12是表示圣女果的果串的结构的图。如图12所示，一个果串是以被称作果柄405的茎为中心构成的。在该果柄405上长着小果柄401、蒂403，在蒂403的前端结着果实404。
小果柄401上存在被称作离层402的部位，在对小果柄401施力时，小果柄401在离层402处断开。本发明中，以这样具有离层的果实为对象。
(2)使用收割装置的圣女果的收割方法
在此，对使用末端执行器来进行在这样的离层402处将小果柄401断开的情况的动作进行说明。图1是表示对果柄的位置进行估计的果柄位置估计装置的一例的图。图2是表示在圣女果的收割装置中设置的末端执行器的一例的图。例如，图1所示的果柄位置估计装置搭载于图2所示的收割装置。
另外，图3a～图3c是对末端执行器的收割动作进行说明的图。具体而言，图3a表示圣女果404的揽入动作，图3b表示收割环202的插入动作，图3c表示圣女果404的分离以及收割动作。
如图2所示，末端执行器具备：揽入引导体201、收割环202、果实收割引导体203、果实收割片204、机器人臂205。收割环202分离为上下两个，能够使上部相对于下部相对移动。
如图3a所示，揽入引导体201将要收割的圣女果404揽入，在与其他圣女果(未图示)之间制造间隙。接着，如图3b所示，收割环202插入到上述间隙中，并且使小果柄401从设于揽入引导体201的前部的缝隙挤过去，从而圣女果404从揽入引导体201脱离。
之后，如图3c所示，通过使收割环202的上部相对于下部相对移动，来将圣女果404拉近，将果柄405推出。由此，将小果柄401拉伸，并在离层402处分离圣女果404。
在以上的动作中，需要尽可能地将末端执行器从连结圣女果404的中心位置与果柄405的位置的方向插入，为此，需要对圣女果404和果柄405的位置进行检测。
以下，详细地说明一种即使在从果串之中发现并收割圣女果404时需要的对果柄405的检测过程中、无法从通过图像传感器拍摄到的图像中识别果柄405的情况下，也能够对该果柄405的位置进行估计的方法。
首先，使用图1，来对估计果柄405的位置的果柄位置估计装置的结构的一例进行说明。位置估计装置具备：光源101、图像获得部102、图像处理部103、以及估计部104。
光源101向作为收割对象的圣女果404的果串的方向照射光。这是为了，通过由作为图像传感器的图像获得部102对照射出的光的反射光进行拍摄来检测圣女果404，作为光源101例如使用ir(infrared，红外线)光源。
另外，作为图像获得部102，使用tof(time-of-flight，飞行时间)摄像机，该tof摄像机除了rgb(red，green，blue，红，绿，蓝)彩色图像、ir图像以外，还能够测定与被拍摄物的距离图像。
若将通过图像获得部102获得的rgb彩色图像、ir图像、距离图像这三种向图像处理部103输入，则图像处理部103执行下面说明的图像处理，对圣女果404和果柄405的位置进行识别。并且，在无法通过图像处理部103识别果柄405的情况下，估计部104基于图像处理部103的图像处理的结果，对果柄405的位置进行估计。
接着，对估计果柄405的位置的果柄位置估计方法的一例进行说明。图4是表示对果柄405的位置进行估计的果柄位置估计处理的一例的流程图。
在该估计处理中，首先，光源101照射ir光(步骤s1)。然后，图像获得部102对圣女果404进行摄像，获得rgb彩色图像、ir图像、距离图像(步骤s2)。
当从光源101照射出的ir光在圣女果404的表面反射的情况下，该反射光以辉点的形态被检测。因此，图像处理部103通过从ir图像中检测辉点来检测圣女果404的中心位置。另外，图像处理部103对ir图像实施图像处理，检测果柄405的位置(步骤s3)。使用图5、图6，对这些检测处理进一步详细地进行说明。
之后，估计部104对图像处理部103是否能够检测到果柄405进行判定(步骤s4)。在能够检测到果柄405的情况下(步骤s4中为“是”的情况)，使用检测到的果柄405的信息，来执行收割动作(步骤s10)。
在不能检测到果柄405的情况下(步骤s4中为“否”的情况)，进行步骤s5以后的对果柄405的位置的估计处理。
具体而言，估计部104对步骤s3中检测出的圣女果404按每个果串实施分组(步骤s5)。然后，估计部104按每个分组后的圣女果404的群体，使用主成分分析来进行果柄405的位置的估计(步骤s6)。
并且，估计部104对已估计出位置的果柄405与同一果串内的圣女果404的中心坐标之间的距离进行计算(步骤s7)。并且，估计部104判定该距离的平均值是否在规定的阈值以上(步骤s8)。
在上述平均值在规定的阈值以上的情况下(步骤s8中为“是”的情况)，估计部104估计为圣女果404在图像上排成两列，使用步骤s6中估计出的果柄405的位置的信息来执行收割动作(步骤s10)。
在上述平均值小于规定的阈值的情况下(步骤s8中为“否”的情况)，根据近似的直线的倾斜度，对步骤s6中估计出的果柄405的位置进行果柄405的位置的修正(步骤s9)。之后，使用修正后的果柄405的位置的信息来实施收割动作(步骤s10)。
以下，对上述的各步骤的处理内容进一步详细地进行说明。
图5中表示照射ir光并对圣女果404及果柄405进行拍摄而得到的图像的一例。在以下说明中，在对图像坐标进行叙述时，将图像的左下设为原点，将右方设为x轴的正方向、将上方设为y轴的正方向。
如图5所示，能够确认在圣女果404的中心附近存在由圣女果404的表面反射后的ir光的辉点301。因此，能够将圣女果404的中心位置估计为辉点301的位置。
图6是表示辉点301的检测处理的一例的流程图。本实施方式中，将图像获得部102与摄像对象的圣女果404之间的距离假定为2500～4500mm，当在比该位置更接近图像获得部102的位置存在圣女果404的情况下，ir光的反射光会饱和。
因此，图6中，在上述距离为2500mm至4500mm的情况下、和小于2500mm的情况下，对辉点301的检测方法进行改变。
具体而言，在上述距离为2500mm至4500mm的情况下，图像处理部103接受距离图像的输入(步骤s21)，从距离图像中提取2500mm以上的区域(步骤s22)。
另一方面，图像处理部103接受ir图像的输入(步骤s23)，对该ir图像进行最大值滤波处理(步骤s24)，并且进行拉普拉斯(laplacian)处理(步骤s25)。
之后，图像处理部103对提取了2500mm以上的区域的距离图像、和应用了最大值滤波处理及拉普拉斯处理的ir图像，进行“与”运算(步骤s26)。并且，图像处理部103对该运算后得到的图像进行粒子分析(步骤s27)。
在上述距离小于2500mm的情况下，图像处理部103接受距离图像的输入(步骤s28)，从距离图像中提取小于2500mm的区域(步骤s29)。
另外，图像处理部103接受ir图像的输入(步骤s30)，提取该ir图像中的图像的灰度饱和的区域(灰度的值较高的部分)(步骤s31)。
之后，图像处理部103对提取了小于2500mm的区域的距离图像、和提取了图像的灰度饱和的区域的ir图像进行“与”运算(步骤s32)。并且，图像处理部103对该运算后得到的图像进行粒子分析(步骤s33)。
最后，图像处理部103对步骤s27中进行了粒子分析的图像、与步骤s33中进行了粒子分析的图像的“或”进行计算(步骤s34)。然后，图像处理部103通过对该计算后得到的图像进行粒子分析，来检测辉点(步骤s35)。
接着，对图4的步骤s3所示的果柄405的检测处理详细地进行说明。对该果柄405的检测也利用ir图像。具体而言，图像处理部103在图5所示的图像中，提取辉度比规定的阈值高的部分，并进行二值化处理。其结果所得到的图像的一例在图7中示出。
然后，图像处理部103将一定面积以下的区域除去，进行细化处理。由此，提取果柄405的候选。其结果所得到的图像在图8中示出。
并且，图像处理部103通过再次将一定面积以下的区域除去，来从果柄405的候选之中检测出果柄405。图9是表示通过这样的处理得到的果柄405的图。
虽然对果柄405这样地进行检测，但是如图10a所示，在圣女果404的蒂403位于圣女果404的果串相反侧而看不到圣女果404的蒂403的情况下，或者如图10b所示，在蒂403相对于图像传感器朝向横向的情况下，无法在图像传感器所获得的图像中确认果柄405，因而无法通过图4的步骤s3的处理检测果柄405。
在这样的情况下，执行图4的步骤s5以后的处理，对果柄405的位置进行估计。以下，对步骤s5以后的处理详细地进行说明。
首先，在步骤s5中，估计部104使用图4的步骤s3中检测出的圣女果404的中心位置的坐标，对圣女果404间的距离进行测定。然后，估计部104将该距离相互为规定的阈值以下的圣女果404设为属于同一果串的圣女果404，来进行分组。估计部104对全部的圣女果404进行上述处理。
例如，将两个圣女果404的中心位置的坐标设为a(xa，ya)、b(xb，yb)，如以下那样计算圣女果404间的距离。
[式1]
并且，估计部104进行图4的步骤s6所示的果柄405的估计处理。具体而言，估计部104基于同一果串内的圣女果404的中心位置的坐标的信息，使用内插法以直线近似出果柄405。
例如，估计部104将通过同一果串内的圣女果404的组的中心位置(x1，y1)、(x2，y2)，…，(xi，yi)的重心(平均值)、基于主成分分析、并具有通过以下的式计算的倾斜度θ(直线与y轴所成的角度)的直线设为果柄405的近似直线。
[式2]
之后，估计部104进行图4的步骤s7所示的距离的计算处理。具体而言，估计部104对估计出的果柄405的近似直线与同一果串内的各圣女果404之间的距离的平均值进行计算。
图11a及图11b是对辉点301与果柄405的近似直线302之间的距离d的计算进行说明的图。图11a及图11b中分别示出在图10a及图10b的图像中检测出的辉点301与近似直线302。
如图11a及图11b所示，估计部104对各辉点301与近似直线302之间的距离d的平均值进行计算。
如图11a所示，在圣女果404的蒂403位于圣女果404的果串相反侧的情况下，从图像传感器侧观察，圣女果404排成两列，在这些列的中间附近显现近似直线302。
另一方面，如图11b所示，在蒂403相对于图像传感器朝向横向的情况下，从图像传感器侧观察，圣女果404排成一列，在圣女果404上显现近似直线302。因此，与图11b的情况相比，图11a的情况下的上述的距离d的平均值更大。
据此，如图4的步骤s8所示，估计部104对距离d的平均值是否在规定的阈值以上进行判定，在距离d的平均值在规定的阈值以上的情况下，估计出圣女果404的蒂403位于圣女果404的果串相反侧。
在此，如图11a那样，在圣女果404排成两列，且圣女果404紧贴的情况下，上述的距离d的平均值为圣女果404的半径左右，因此对于上述阈值，优选以圣女果404的半径为基准来进行决定。
此外，可以认为，实际的果柄405的位置与近似直线302的位置的误差是在决定末端执行器的插入方向时可以允许的范围。
由此，估计部104将对作为深度方向的距离的、通过距离图像得到的圣女果404的表面的距离加上规定的值后的位置，设为圣女果404的深度方向的位置，结束果柄405的位置的估计。规定的值例如是圣女果404的半径左右的值。
另一方面，在距离d的平均值不在规定的阈值以上的情况下，如图4的步骤s9所示，估计部104根据果柄405的倾斜度来对果柄405的位置进行修正。
例如，如图10b所示，在蒂403相对于图像传感器朝向横向的情况下，从图像传感器侧观察，圣女果404显现为一列。在这样的情况下，例如如图11b所示，在近似直线302的倾斜度(y方向的增加量相对于x方向的增加量的比率)为正的情况下，认为实际的果柄位于近似直线302左侧。
因此，估计部104使果柄405的位置从近似直线302移动至向x轴的负方向移动了规定的值的位置，来对果柄405的位置进行修正。规定的值例如是圣女果404的半径左右的值。
另一方面，在近似直线302的倾斜度为负的情况下，认为实际的果柄405位于近似直线302右侧，所以估计部104使果柄405的位置从近似直线302移动至向x轴的正方向移动了规定的值的位置，来对果柄405的位置进行修正。规定的值例如是圣女果404的半径左右的值。
这样，在蒂403相对于图像传感器朝向横向的情况下，估计部104对果柄405的位置进行修正。
以上的说明中，步骤s5中的圣女果404的分组处理、以及步骤s7中的距离的计算处理中，利用图像的坐标上的距离即二维坐标进行了计算。这是假定了，圣女果404的果串在从图像传感器侧观察时位于不重叠的位置。
但是，根据圣女果404生长的垄的状态的不同，也假定果串密集的情况。在这样的情况下，也可以利用三维坐标计算距离，来代替利用二维坐标计算距离。
在该情况下，对于式(1)，若将两个圣女果404的坐标设为a(xa，ya，za)、b(xb，yb，zb)，则成为以下那样。
[式3]
在以上的处理之后，如图4的步骤s10所示，基于估计出的果柄405的位置和圣女果404的位置的信息，执行末端执行器的收割作业。
工业实用性
本发明的果柄位置估计装置以及果柄位置估计方法能够适用于成为果串的圣女果等、果实在果柄上集聚并构成果串的果实。