拣取系统及其控制方法与流程

本公开涉及拣取系统及其控制方法。

背景技术：

以往，已知有利用机器人进行拣取的技术。另外，还已知有通过远程操作来进行拣取的技术(例如参照专利文献1)。

在先技术文献

专利文献

专利文献1：日本特开2010-89211号公报

技术实现要素：

本公开的一方式的拣取系统具备：拣取机器人，其用于把持对象物；操作部，其用于操作者对所述拣取机器人进行远程操作；学习部，其学习通过所述远程操作而把持着所述对象物时的所述拣取机器人的运动；以及辅助部，其基于所述学习部的学习结果，对所述远程操作进行辅助。

本公开可提供能够在抑制成本增加的同时减少操作者的劳力和时间的拣取系统或其控制方法。

附图说明

图1是示出实施方式1的拣取系统的结构的图。

图2是示出实施方式1的拣取机器人的结构的图。

图3是示出实施方式1的远程操作装置的结构的图。

图4是实施方式1的拣取处理的流程图。

图5是示出实施方式1的拣取列表的一例的图。

图6是示出实施方式1的拣取机器人的动作的图。

图7是实施方式1的学习处理的流程图。

图8是示出在实施方式1的学习中使用的动作历史的结构的图。

图9是示出基于实施方式1的学习结果而得到的控制信息的结构的图。

图10是用于说明实施方式1的学习动作的图。

图11是用于说明实施方式1的学习动作的图。

图12是实施方式2的学习处理的流程图。

图13是示出实施方式2的显示画面例的图。

图14是用于说明实施方式3的计费系统的图。

具体实施方式

在说明实施方式之前，简单说明现有技术中的问题点。

在现有的拣取系统中，期望通过自动化来缩减操作者的劳力和时间。然而，在对象物品的种类较少的情况下，存在能够按照种类进行示教来实现自动化的可能性，但在对象物品的种类较多的情况下，存在示教的成本变得庞大这样的课题。例如，在物流中心，进行数万项的拣取，对它们全部进行示教是不现实的。

对此，本公开的目的在于，提供一种能够在抑制成本的增加的同时减少操作者的劳力和时间的拣取系统或其控制方法。

本公开的一方式的拣取系统具备：拣取机器人，其用于把持对象物；操作部，其用于操作者对所述拣取机器人进行远程操作；学习部，其学习通过所述远程操作而把持着所述对象物时的所述拣取机器人的运动；以及辅助部，其基于所述学习部的学习结果，对所述远程操作进行辅助。

由此，能够使用学习结果来辅助远程操作，因此，能够提高操作者的作业效率。另外，通过使用学习而无需进行示教，能够抑制对象物品的种类较多时的成本的增加。这样，该拣取系统能够在抑制成本的增加的同时减少操作者的劳力和时间。

例如也可以是，所述拣取机器人具备：臂部；以及把持部，其连接于所述臂部，对所述对象物进行把持，所述辅助部基于所述学习结果，对所述臂部进行自动操纵，使得所述把持部移动至所述对象物的附近。

由此，能够使用学习结果而使由拣取机器人进行的拣取动作的至少一部分自动化，因此，能够减少操作者的作业量。

例如也可以是，所述拣取机器人具备：臂部；以及把持部，其连接于所述臂部，对所述对象物进行把持，所述辅助部基于所述学习结果，向所述操作者提示用于向所述对象物的附近引导所述把持部的信息。

由此，能够使用学习结果来辅助操作者的作业，因此，能够缩短操作者的作业时间。

例如也可以是，所述学习部按照所述对象物的种类，学习把持着所述对象物时的所述拣取机器人的运动。

由此，即便在对象物品的种类较多的情况下也能够有效地进行学习。

例如也可以是，所述拣取系统还具备对所述对象物进行拍摄的相机，所述学习部使用按照时序获得的由所述相机得到的图像和所述远程操作时的所述拣取机器人的动作状态，来学习把持着所述对象物时的所述拣取机器人的运动。

例如也可以是，所述拣取机器人的所述动作状态包括所述拣取机器人的关节的转矩及角度。

另外，本公开的一方式的控制方法是拣取系统的控制方法，该拣取系统包括：拣取机器人，其用于把持对象物；以及操作部，其用于操作者对所述拣取机器人进行远程操作，所述控制方法包括：学习步骤，在该学习步骤中，学习通过所述远程操作而把持着所述对象物时的所述拣取机器人的运动；以及辅助步骤，在该辅助步骤中，基于所述学习步骤的学习结果，对所述远程操作进行辅助。

由此，能够使用学习结果来辅助远程操作，因此，能够提高操作者的作业效率。另外，通过使用学习而无需进行示教，能够抑制对象物品的种类较多时的成本的增加。这样，该控制方法能够在抑制成本的增加的同时减少操作者的劳力和时间。

需要说明的是，这些总括性或具体的方式可以通过系统、方法、集成电路、计算机程序或计算机可读取的cd-rom等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。

以下，参照附图对实施方式具体进行说明。需要说明的是，以下所说明的实施方式都是示出本公开一具体例的实施方式。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骡、步骤的顺序等是一例，并非意在限定本公开。另外，关于以下的实施方式的构成要素中的未记载于示出最上位概念的独立权利要求中的构成要素，作为任意的构成要素来说明。

(实施方式1)

首先，说明本实施方式的拣取系统100的结构。图1是示出本实施方式的拣取系统100的机构的图。拣取系统100例如是用于在物流中心等拣取对象物的系统，具备多个拣取机器人101、多个相机102、多个远程操作装置103以及服务器104。这些装置例如相互经由网络而连接。具体而言，服务器104与多个远程操作装置103连接，各远程操作装置103与一个或多个拣取机器人101及一个或多个相机102连接。

多个拣取机器人101及多个相机102例如配置在物流中心内。图2是示出拣取机器人101的结构例的图。如图2所示，拣取机器人101包括移动部131、臂部132、把持部133以及搬运部134。

移动部131是用于使拣取机器人101移动的机构。需要说明的是，图2中示出沿着设置于物流中心内的上部的轨道进行移动的结构，但移动部131的结构不局限于此。例如，也可以在地板侧设置轨道，还可以不使用轨道而采用利用车轮等在地板上移动的结构。

臂部132例如是多关节的机械臂，能够在规定的距离内将把持部133向任意的位置移动。

把持部133与臂部132的前端连接，用于把持对象物。需要说明的是，图2中作为把持部133而示出夹入对象物的结构，但只要是能够把持对象物的结构即可，例如也可以是吸附于对象物的结构。

搬运部134例如能够在物流中心内移动，对搬运箱135进行搬运。

需要说明的是，这里所示的拣取机器人101的结构是一例，本公开不局限于此。

相机102例如设置在物流中心内，用于拍摄对象物或拣取机器人101。需要说明的是，相机102的数量可以是任意的。另外，各相机102可以是固定相机，也可以搭载于拣取机器人101。

各远程操作装置103例如是由操作者(也称为拣取人)操作的个人计算机，设置在操作者的家中等。需要说明的是，远程操作装置103的设置场所可以是物流中心内或物流中心以外的建筑物内等任意的场所。该远程操作装置103具备操作部111、显示部112以及辅助部113。

操作部111是操作者使用的输入接口，例如如图3所示，包括多个操作杆等。显示部112是对由相机102拍摄到的影像进行显示的显示器。辅助部113基于后述的学习结果等，对远程操作进行辅助。具体而言，辅助部113基于学习结果等，自动操纵拣取机器人101。

服务器104具备记录部121和学习部122。记录部121是用于蓄积动作历史的记录数据库，该动作历史示出由远程操作装置103进行远程操作时的拣取机器人101的动作。学习部122基于所蓄积的动作历史，来学习拣取机器人的运动。

以下，对这样构成的拣取系统100中的动作进行说明。图4是示出拣取系统100中的拣取处理的流程的流程图。

首先，远程操作装置103获取要拣取的物品的列表即拣取列表(s101)。图5是示出该拣取列表的结构例的图。如图5所示，拣取列表示出用于确定拣取对象的物品的信息(品名、品号以及jan码)、要拣取的物品的个数、物品所存在的场所、物品的尺寸、以及物品的重量。需要说明的是，这些信息无需都包含在拣取列表中，也可以仅包含一部分信息。

接下来，远程操作装置103从拣取列表中选择一个物品来作为对象物(s102)。例如，远程操作装置103可以从拣取列表的上方依次选择物品，也可以依次选择物品，使得移动距离成为最短。

接下来，远程操作装置103通过对移动部131进行自动操纵而使拣取机器人101移动至存放有对象物的搁板之前(s103：图6的(a))。具体而言，远程操作装置103参照拣取列表，确定对象物的保管场所，使拣取机器人101向该保管场所移动。

接下来，远程操作装置103对臂部132进行自动操纵，使得把持部133移动至对象物的附近(s104：图6的(b))。例如，根据拣取列表，示出搁板的位置和该搁板上的对象物的存放场所(例如第二层的右侧等)来作为对象物的保管场所。在该情况下，远程操作装置103使把持部133移动至存放场所(例如第二层的右侧等)的附近。

接下来，远程操作装置103将拣取机器人101的操纵方法从自动操纵切换成手动操纵。然后，远程操作装置103根据操作者对操作部111的操作来把持对象物(s105：图6的(c))。

远程操作装置103在基于由相机102得到的图像、传感器输出结果、或者来自操作者的指示而确认到对象物被把持后，对臂部132进行自动操纵，使得把持部133移动至搬运箱135的附近(s106)。

接下来，远程操作装置103将拣取机器人101的操纵方法从自动操纵切换成手动操纵。然后，远程操作装置103根据操作者对操作部111的操作，将对象物存放到(装入)搬运箱135内(s107)。

需要说明的是，在对象物的个数为多个的情况下，重复进行步骤s104～s107的处理。

在拣取列表所含的所有对象物的拣取未结束的情况下(s108中的否)，选择下一个对象物(s102)，针对选择出的对象物进行步骤s103以后的处理。另一方面，在拣取列表所含的所有对象物的拣取结束了的情况下(s108中的是)，处理结束，搬运部134将存放有物品的搬运箱向规定的位置搬运。

需要说明的是，在上述处理中，叙述了在远程操作装置103中进行各种处理的例子，但也可以利用服务器104等其他装置来进行拣取列表的获取(s101)及对象物的选择处理(s102)。另外，拣取机器人101的自动控制(s103、s104、s106)的一部分或全部也可以在服务器104或拣取机器人101中进行。

这样，在本实施方式的拣取系统100中，能够使拣取机器人101到搁板为止的移动以及到对象物的附近为止的臂部132的操作自动化，因此，能够减少操作者的作业量。另外，通过远程操作来进行自动化困难的拣取机器人101的把持操作，由此，能够减少用于实现拣取机器人101的自动控制的成本。这样，本实施方式的拣取系统100能够兼顾操作者的作业量的减少和成本的减少。

接下来，说明由本实施方式的拣取系统100进行的学习处理。在本实施方式的拣取系统100中，通过使用远程操作的动作历史来学习拣取机器人的运动，能够提高上述自动控制的精度，并且能够扩大应用自动控制的范围。

图7是拣取系统100中的学习处理的流程图。首先，服务器104依次获取由多个远程操作装置103进行的拣取机器人101的动作历史，并存放于记录部121(s111)。例如，从多个远程操作装置103依次发送在图4所示的步骤s105及s107中得到的动作历史。

图8是示出所获取的动作历史的一例的图。需要说明的是，图8中省略了各种信息的值。如图8所示，各动作历史包括按照时序获得的、由相机102得到的对拣取机器人101的拣取动作进行了拍摄的图像以及示出远程操作时的拣取机器人101的动作状态的信息。具体而言，拣取机器人101的动作状态包括拣取机器人101的各关节的转矩及角度。更具体而言，拣取机器人101的动作状态包括臂部132的动作状态和把持部133的动作状态。臂部132的动作状态包括臂部132的各关节的转矩、角度及角速度、以及臂部132的前端的位置、速度及姿势中的至少一种。需要说明的是，臂部132的前端的位置、速度及姿势也可以说是把持部133的位置、速度及姿势。另外，把持部133的动作状态包括把持部133的各关节的转矩(把持力)、角度及角速度中的至少一种。

另外，例如，在由相机102拍摄到的图像的帧率为60fps的情况下，以16.6m秒的间隔得到图像和示出拣取机器人101的动作状态的信息。

接下来，服务器104的学习部122将存放于记录部121的多个动作历史作为输入而进行机械学习，由此，生成用于自动控制拣取机器人101的控制信息(s112)。具体而言，学习部122按照对象物的种类(例如图5所示的品号或jan码)进行学习处理。需要说明的是，学习部122也可以对尺寸及重量相同或类似的种类进行分组，按照组来进行学习。另外，在进行分组时也可以仅使用尺寸及重量中的一方。

另外，也可以仅将多个动作历史中的有效的动作历史用于学习。例如，动作历史也可以包括拣取所需的时间，仅将拣取所需的时间比预先决定的基准短的动作历史用于学习。另外，拣取所需的时间越短，则越作为有效度高的动作历史来进行学习。另外，也可以根据操作者来设定是否用于学习或者设定有效度。例如，也可以是，操作者的经验越浅，将有效度设定得越低。

图9是示出作为学习部122的输出的控制信息的一例的图。如图9所示，控制信息示出时序的、远程操作时的拣取机器人101的动作状态。即，按照时序得到拣取机器人101应采取的状态。

另外，所使用的机械学习的方法没有特别限定，能够使用神经网络等任意的方法。

接下来，远程操作装置103基于在步骤s112中得到的学习结果，对拣取机器人101进行自动控制(s113)。具体而言，如图4的s104所说明的那样，远程操作装置103基于学习结果，对臂部132进行自动操纵，使得把持部133移动至对象物的附近。另外，如图4的s106所说明的那样，远程操作装置103基于学习结果，对臂部132进行自动操纵，使得把持部133移动至搬运箱135的附近。

图10是示意性地示出该学习的情形的图。如图10所示，通过基于类似的拣取作业的多个动作历史来进行机械学习，从而提取特征性的轨道及动作。然后，进行拣取机器人101的自动操纵，使得成为提取出的轨道及动作。

另外，通过该学习，如图11所示，对拣取机器人101进行自动控制的范围被更新。例如，在拣取动作中，随着学习不断进展(随着得到更多的动作历史)，对拣取机器人101进行自动控制，使得把持部133移动至更靠近对象物。例如，基于多个动作历史的分布等进行自动控制，直至动作的偏差程度成为规定值以下的区域。

需要说明的是，在图4所示的动作中，在自动控制(s104或s106)之后进行手动控制(s105或s107)，但在学习充分进展的状态下，也可以不进行手动控制，对所有动作进行自动控制。另外，在未进行学习的状态下，也可以不进行自动控制(s104或s106)。

另外，这里，示出了对把持对象物的动作及将把持着的对象物存放于搬运箱135的动作这两方使用学习的例子，但也可以仅对任一方使用学习。

如以上那样，在本实施方式的拣取系统100中，能够自动控制拣取动作的至少一部分处理，因此，能够减少操作者的作业量。由此，例如能够利用一位操作者对多个拣取机器人进行远程操作，由此能够提高作业效率。

另外，关于自动化困难的动作或者在自动控制中不必要地耗费时间的动作，通过操作者进行远程操作，能够提高整体的作业效率。

另外，通过机械学习，能够增加进行自动控制的范围，因此，能够进一步减少操作者的作业量。由此，能够进一步增加一位操作者可负责的拣取机器人的台数，因此，能够提高生产性。

另外，通过使用机械学习，无需按照对象物的种类进行示教，因此，能够抑制对象物品的种类较多时的成本的增加。

另外，通过将操作者操作过的拣取机器人的动作历史蓄积于设置在网络上的数据库服务器，能够从多个拣取机器人有效地收集拣取成功的把持动作数据。由此，能够有效地进行机械学习。

另外，在机械学习的领域中，有效地收集优质的数据成为课题。具体而言，为了使拣取机器人机械学习把持动作，需要数量庞大的把持动作数据。然而，在世上不存在自动地收集这种数量庞大的把持动作数据的方法。对此，在本实施方式中，在实际的拣取作业中，使用由人远程地操作拣取机器人的把持动作而得到的数据。由此，能够高效地收集把持成功的动作数据。

(实施方式2)

在上述实施方式1中，叙述了使用学习结果对拣取机器人进行自动控制的例子。在本实施方式中，针对使用学习结果来提示用于辅助远程操作的信息的例子进行说明。需要说明的是，以下，主要说明与实施方式1的不同点，省略重复的说明。

图12是本实施方式的拣取系统100中的学习处理的流程图。需要说明的是，图12所示的处理相对于图7所示的处理，代替步骤s113而包含步骤s113a。

在步骤s113a中，远程操作装置103的辅助部113基于步骤s112的学习结果，向操作者提示用于向对象物的附近引导把持部133的信息。例如，如图13所示，辅助部113将用于向对象物的附近引导把持部133的操作方法(杆的朝向等)显示于显示部112。另外，辅助部113将用于向对象物的附近引导把持部133的臂部132及把持部133的轨迹显示于显示部112。另外，辅助部113也可以在操作者的操作从基于学习结果的动作偏离的情况下发出警告。

需要说明的是，向操作者提示这些信息的方法不局限于信息的显示，也可以为基于声音的通知或振动或者操作感的控制等。例如，辅助部113也可以在操作者的操作从基于学习结果的动作偏离的情况下通过振动来发出警告。或者，也可以难以将操作部111向从基于学习结果的动作偏离的方向操作(例如，难以使杆倾倒等)。

如以上那样，在本实施方式的拣取系统100中，通过机械学习，能够辅助操作者的作业，因此，能够缩短操作者的作业时间。由此，能够增加一位操作者可负责的拣取机器人的台数，因此，能够提高生产性。

(实施方式3)

在本实施方式中，针对使用了上述实施方式的拣取系统100的计费系统(商业模式)进行说明。图14是用于说明本实施方式的计费系统的图。

如图14所示，在多个物流中心分别配置有多个拣取机器人101。各物流中心(或物流中心的运营公司)向运营服务器104的服务提供公司发送拣取人的分配请求。

另外，在服务提供公司登记有多个登记拣取人。从物流中心收到拣取人的分配请求的服务提供公司将该请求配送给多个登记拣取人。

各登记拣取人确认所配送的请求，例如使用设置于家中的远程操作装置103，对拣取机器人101进行远程操作。

在上述系统中，例如服务提供公司从物流中心征收人才派遣费。登记拣取人从物流中心直接获取或者经由服务提供公司获取与作业相应的薪金。

在以上的系统中，服务提供公司能够向各物流中心的作业分配存在于距物流中心较远的地点的多个登记拣取人。另外，登记拣取人能够从家中或所希望的工作地点在任意的时间进行作业，因此，能够提高拣取人的自由度。此外，服务提供公司能够根据此时的作业量向各物流中心分配所登记的多个拣取人，因此，能够减少物流中心的人才不足，并且能够削减人工费。

另外，操作者能够从分离的场所进行远程操作，因此，能够将操作者从冷冻库内或冷藏库内这样的过于严酷的劳动环境中解放出。

另外，能够经由网络进行远程操作，因此，通过从存在时差的地域进行远程操作，能够由处于白天的人对深夜的拣取作业进行远程操作。

以上，对本公开的实施方式的拣取系统进行了说明，但本公开不局限于该实施方式。

例如，图1等所示的各装置的功能是一例，也可以利用其它装置来进行在某一装置中进行的处理的一部分或全部，还可以利用多个装置对在某一装置中进行的处理进行分散处理。

另外，上述实施方式的拣取系统内的各装置所含的各处理部典型地以作为集成电路的lsi的形式实现。它们可以独立地进行单芯片化，也可以单芯片化为包含一部分或全部。

另外，集成电路化不局限于lsi，也可以由专用电路或通用处理器来实现。也可以利用能够在lsi制造后编程的fpga(fieldprogrammablegatearray，现场可编程门阵列)、或者能够重构lsi内部的电路单元的连接、设定的可重构处理器。

另外，在上述各实施方式中，各构成要素可以由专用的硬件构成，或者通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过cpu或处理器等程序执行部读出并执行记录于硬盘或半导体存储器等记录介质的软件程序来实现。

另外，本公开也可以作为由拣取系统执行的控制方法来实现。

另外，框图中的功能块的分割是一例，也可以将多个功能块作为一个功能块来实现，或者将一个功能块分割成多个功能块，或者将一部分功能移至其他功能块。另外，也可以由单一的硬件或软件并行或分时地对具有类似功能的多个功能块的功能进行处理。

另外，流程图中的各步骤被执行的顺序是用于为了具体地说明本实施方式而例示的，也可以是上述以外的顺序。另外，上述步骤的一部分也可以与其他步骤同时(并行)执行。

以上，基于实施方式，对一个或多个方式的拣取系统进行了说明，但本公开不局限于该实施方式。只要不脱离本公开的主旨，则对本实施方式实施了本领域技术人员能够想到的各种变形而得到的方式、将不同的实施方式中的构成要素组合而构筑的方式也可以包含在一个或多个方式的范围内。

产业上的可利用性

本公开能够应用于在物流中心等使用的拣取系统。

附图标记说明：

100拣取系统；

101拣取机器人；

102相机；

103远程操作装置；

104服务器；

111操作部；

112显示部；

113辅助部；

121记录部；

122学习部；

131移动部；

132臂部；

133把持部；

134搬运部；

135搬运箱。