把持装置、控制方法和程序

1.本发明涉及把持装置、控制方法和程序。


背景技术：

2.以往，公知有基于由设置在把持对象物上部的拍摄部拍摄到的图像信息来控制机械手，由此对把持对象物进行把持的技术(例如，参照专利文献1)。
3.现有技术文件
4.专利文献
5.专利文献1：日本发明专利公开公报特开2019-198950号


技术实现要素：

6.在此，期望通过机械手把持副食等柔软的把持对象物中的特定量，并使其移动到目的场所。然而，在使用现有技术的机械手要把持柔软的把持对象物中的特定量时，存在根据设置在把持对象物的上部的拍摄部所拍摄的信息无法识别柔软的把持对象物的内部状态的问题。
7.即，根据现有方法，存在难以在柔软的把持对象物中推定特定量的问题。
8.本发明是鉴于这种状况而完成的，其目的在于提供一种能够对柔软的把持对象物中的特定量进行把持的把持装置、控制方法和程序。
9.本发明的一个方式所涉及的把持装置具备：把持部模块，其具有第一面和第二面，在所述第一面与所述第二面之间把持对象物；臂部，其使所述把持部模块的位置变化；拍摄部，其设置于与所述把持部模块一起移动的位置，拍摄所述对象物中的至少一部分；以及控制部，其能够基于表示所述第一面与特定量的所述对象物接触的情况下的接触状态的特定量信息、以及表示所述把持部模块把持有所述对象物的至少一部分时所述拍摄部拍摄的接触状态的信息，控制所述把持部模块或所述臂部中的至少一者，以使所把持的所述对象物的量接近所述特定量。
10.另外，在本发明的一个方式所涉及的把持装置中，所述拍摄部设置在所述第一面的背面侧且能够拍摄所述对象物的位置。
11.另外，在本发明的一个方式涉及的把持装置中，所述控制部能够基于所述特定量信息即示出表示背景的部分与表示所述对象物的部分的比例的信息、以及表示所述把持部模块把持有所述对象物的至少一部分时所述拍摄部拍摄的接触状态的信息，控制所述把持部模块或所述臂部中的至少一者。
12.另外，在本发明的一个方式所涉及的把持装置中，所述控制部能够基于所述特定量信息即表示所述对象物的亮度变化大的部分的比例的信息、以及表示所述把持部模块把持有所述对象物的至少一部分时所述拍摄部拍摄的接触状态的信息，控制所述把持部模块或所述臂部中的至少一者。
13.另外，在本发明的一个方式所涉及的把持装置中，所述控制部能够基于所述特定
量信息即表示所述对象物的颜色的信息、以及表示所述把持部模块把持有所述对象物的至少一部分时所述拍摄部拍摄的接触状态的信息，控制所述把持部模块或所述臂部中的至少一者。
14.另外，本发明的一个方式所涉及的控制方法是把持装置的控制方法，该把持装置具备：把持部模块，其具有第一面和第二面，在所述第一面与所述第二面之间把持对象物；臂部，其使所述把持部模块的位置变化；以及拍摄部，其设置于与所述把持部模块一起移动的位置，拍摄所述对象物中的至少一部分，所述控制方法包括：能够基于表示所述第一面与特定量的所述对象物接触的情况下的接触状态的特定量信息、以及表示所述把持部模块把持有所述对象物的至少一部分时所述拍摄部拍摄的接触状态的信息，控制所述把持部模块或所述臂部中的至少一者，以使所把持的所述对象物的量接近所述特定量的控制步骤。
15.另外，本发明的一个方式所涉及的程序使与把持装置连接的计算机执行控制步骤，该把持装置具备：把持部模块，其具有第一面和第二面，在所述第一面与所述第二面之间把持对象物；臂部，其使所述把持部模块的位置变化；以及拍摄部，其设置于与所述把持部模块一起移动的位置，拍摄所述对象物中的至少一部分，所述控制步骤能够基于表示所述第一面与特定量的所述对象物接触的情况下的接触状态的特定量信息、以及表示所述把持部模块把持有所述对象物的至少一部分时所述拍摄部拍摄的接触状态的信息，控制所述把持部模块或所述臂部中的至少一者，以使所把持的所述对象物的量接近所述特定量。
16.根据本发明，能够提供一种能够对柔软的把持对象物中的特定量进行把持的把持装置、控制方法和程序。
附图说明
17.图1是表示实施方式中的把持装置的一个例子的图。
18.图2是表示实施方式中的把持装置把持柔软的把持对象物的情况的一个例子的图。
19.图3是表示实施方式中的把持部模块的一个例子的图。
20.图4是表示实施方式中的把持部的剖视图的一个例子的图。
21.图5是表示实施方式中的把持装置的功能结构的一个例子的图。
22.图6是用于说明实施方式中的把持部对把持对象物的动作的图。
23.图7是表示实施方式中的把持装置的一系列动作的一个例子的图。
24.图8是表示实施方式中基于对象物与背景的比例的控制的一个例子的图。
25.图9是表示实施方式中基于边缘的比例的控制的一个例子的图。
26.图10是表示实施方式中基于图像的色彩的控制的一个例子的图。
具体实施方式
27.[把持装置100的结构]
[0028]
以下，参照附图对本发明的实施方式进行说明。
[0029]
图1是表示实施方式中把持装置100的结构的一个例子的图。通过x轴、y轴和z轴的三维直角坐标系表示把持装置100的姿势。本实施方式中的把持装置100通过与把持对象物接触来检测把持状态，并把持把持对象物中的特定量。
[0030]
在本实施方式中，把持装置100包括把持部模块10、把持装置控制部90(或控制部，以下相同)、前端部110、上臂部120、关节部130、下臂部140、主横轴部150、主纵轴部160、以及基座部170。在不区分前端部110、上臂部120、关节部130、下臂部140、主横轴部150和主纵轴部160的情况下，将它们记载为臂部180。
[0031]
基座部170是与主纵轴部160连接的部位。
[0032]
主纵轴部160是连接主横轴部150与基座部170的部位。主纵轴部160由把持装置控制部90控制，使主横轴部150绕主纵轴部160的轴位移。
[0033]
主横轴部150是连接下臂部140与主纵轴部160的部位。主横轴部150由把持装置控制部90控制，使下臂部140绕主横轴部150的轴位移。
[0034]
下臂部140是连接关节部130和主横轴部150的部位。
[0035]
关节部130是连接上臂部120与下臂部140的部位。关节部130由把持装置控制部90控制，使上臂部120绕关节部130的轴位移。
[0036]
上臂部120是连接前端部110与关节部130的部位。
[0037]
前端部110与把持部模块10连接。前端部110的姿势(例如位置和方向)由把持装置控制部90控制。把持部模块10的姿势随着前端部110的姿势变化而变化。
[0038]
此外，臂部180只要能够使把持部模块10的位置向x轴、y轴或z轴中的任意一个变化即可，并不限定于该例子。在该例子中，臂部180具有至少六个自由度，并且进一步包括把持部模块10所具有的把持部1与支撑部2之间的间隔的一个自由度，具有七个自由度。
[0039]
把持部模块10检测把持对象物的接触状态，并将表示检测出的把持对象物的接触状态的信息输出至把持装置控制部90。
[0040]
把持装置控制部90取得把持部模块10输出的信息。把持装置控制部90驱动臂部180，使把持部模块10的位置变化。把持装置控制部90基于从把持部模块10取得的信息，进行使把持部模块10的位置变化的控制。
[0041]
图2是表示实施方式中的把持装置100把持柔软的把持对象物21的情况的一个例子的图。图2(a)表示把持装置100与柔软的把持对象物21接触并取得表示接触状态的信息的情况的一个例子，图2(b)表示把持装置100把持作为柔软的把持对象物21的一部分的特定量22的情况的一个例子。通过x轴、y轴和z轴的三维直角坐标系表示把持装置100的姿势。
[0042]
在该例子中，柔软的把持对象物21被容纳在容器20中。
[0043]
参照图2(a)，对把持装置100与柔软的把持对象物21接触并取得表示接触状态的信息的情况的一个例子进行说明。
[0044]
把持装置控制部90驱动臂部180，使把持部模块10相对于把持对象物21的位置发生变化。在该图中，把持部模块10与把持对象物21接触。把持部模块10取得表示把持部模块10与把持对象物21的接触状态的信息，并提供给把持装置控制部90。把持装置控制部90基于所取得的表示把持部模块10与把持对象物21的接触状态的信息来控制臂部180。
[0045]
参照图2(b)，对把持装置100把持作为柔软的把持对象物21的一部分的特定量22的情况的一个例子进行说明。
[0046]
把持装置控制部90根据表示把持部模块10与把持对象物21的接触状态的信息，判定把持部模块10是否正在把持特定量22。表示特定量22的信息可以存储在把持装置控制部90中，也可以存储在外部的存储部84中。
[0047]
把持装置控制部90将表示特定量22的信息和表示把持部模块10与把持对象物21的接触状态的信息进行比较，在特定量22较小的情况下，控制臂部180和把持部模块10中的至少一者，以使其进行用于把持更少量的动作。这样的控制方法没有特别限定。例如，可以通过使把持部模块10动作，使把持部1和支撑部2的开闭量变化来减少把持对象物的量，也可以通过使臂部180上升来减少把持对象物的量，还可以通过将把持部模块10的动作和臂部180的动作适当组合来减少把持对象物的量。通过进行这样的动作控制，从而进行控制以使表示把持部模块10与把持对象物21的接触状态的信息接近表示特定量22的信息，从而使把持部模块10所把持的把持对象物的量接近特定量22。
[0048]
把持装置控制部90将表示特定量22的信息和表示把持部模块10与把持对象物21的接触状态的信息进行比较，在特定量22较大的情况下，控制臂部180和把持部模块10中的至少一者，以使其进行用于把持更多量的动作。这样的控制方法没有特别限定。例如，可以通过使把持部模块10动作，使把持部1和支撑部2的开闭量变化来增加使把持对象物的量，也可以通过使臂部180下降来增加把持对象物的量，也可以通过将把持部模块10的上述动作和臂部180的动作适当组合来增加把持对象物的量。通过进行这样的动作控制，从而进行控制以使表示把持部模块10与把持对象物21的接触状态的信息接近表示特定量22的信息，从而使把持部模块10所把持的把持对象物的量接近特定量22。
[0049]
把持装置控制部90将表示特定量22的信息和表示把持部模块10与把持对象物21的接触状态的信息进行比较，在表示把持部模块10与把持对象物21的接触状态的信息处于表示特定量22的信息的范围内的情况下，使特定量22从把持对象物21中移动到目标地点。
[0050]
例如，把持装置100使容纳于容器20的把持对象物21中的特定量22移动至位于容器20的外侧的目标地点。
[0051]
图3是表示实施方式中的把持部模块10的一个例子的图。参照该图对把持部模块10的结构进行说明。通过x轴、y轴和z轴的三维直角坐标系表示把持部模块10的姿势。
[0052]
把持部模块10具备连接部11、把持部1和支撑部2。
[0053]
连接部11是连接前端部110、把持部1和支撑部2的部位。
[0054]
把持部1与连接部11连接。把持部1具备与把持对象物21的至少一部分接触的接触面41。以下，也将接触面41记载为第一面。
[0055]
支撑部2与连接部11连接。支撑部2具备与把持对象物21的至少一部分接触的支撑面42。以下，也将支撑面42记载为第二面。
[0056]
在该例子中，把持部1和支撑部2被配置在接触面41和支撑面42彼此相对的位置处。连接部11具备未图示的驱动装置，基于来自把持装置控制部90的把持示，至少使把持部1在y轴方向上位移。把持部模块10通过至少在y轴方向上驱动把持部1，对位于把持部1与支撑部2之间的把持对象物21进行把持。
[0057]
在该例子中，对连接部11使得把持部1在y轴方向上位移进行说明，但也可以构成为支撑部2也同样地在y轴方向上位移。
[0058]
此外，在该例子中，对把持部模块10通过把持部1和支撑部2把持把持对象物21进行说明，但把持部模块10的结构不限于该例子。例如，把持部模块10也可以由多个把持部1、多个支撑部2或者多个把持部1和多个支撑部2的组合构成。在该情况下，支撑面42(第二面)设置在彼此的法线与接触面41(第一面)相交的位置。例如，支撑面42(第二面)设置在与接
触面41(第一面)对置的位置。
[0059]
把持部1利用接触面41(第一面)和支撑部2的支撑面42(第二面)把持规定量的把持对象物21中的至少一部分。
[0060]
图4是表示实施方式中的把持部1的剖视图的一个例子的图。图4表示图3中的把持部1的x-y平面上的剖视图。通过x轴、y轴和z轴的三维直角坐标系表示把持部模块10的方向。
[0061]
图4(a)是表示实施方式中的把持部1a的剖视图的一个例子的图。图4(b)是表示作为实施方式中的把持部1的变形例的把持部1b的剖视图的一个例子的图。
[0062]
此外，在支撑部2构成为能够驱动的情况下，支撑部2也可以构成为具有与把持部1相同的结构。
[0063]
参照图4(a)说明把持部1a的结构的一个例子。在该例子中，把持部1a通过拍摄把持对象物21的像来检测把持对象物21与接触面41的接触状态。
[0064]
该例子中的把持部1a是把持部1的一个例子。把持部1包括拍摄部30、接触状态检测部43、硬质层70和框架50。
[0065]
框架50保持拍摄部30、接触状态检测部43和硬质层70。
[0066]
接触状态检测部43具备接触面41。接触面41是与把持对象物21接触的面。接触状态检测部43检测与接触面41接触的把持对象物21与接触面41之间的接触状态。
[0067]
例如，在通过像来检测与接触面41接触的把持对象物21以及接触面41的接触状态的情况下，接触状态检测部43也可以由使光透过的透明材质构成。
[0068]
硬质层70设置在与接触状态检测部43相接触的位置处。例如，硬质层70可以由透明的硬质亚克力等的材质制成。
[0069]
此外，虽然在本实施方式中，将接触状态检测部43和硬质层70作为分离的部件进行说明，但接触状态检测部43和硬质层70可以由相同的部件构成，从而构成为不包括硬质层70。
[0070]
拍摄部30配置在接触状态检测部43的表背两面中、可与把持对象物21接触的接触面41的背侧。在此，关于接触状态检测部，将接触面41设为表面，将接触面41侧设为表面侧，将接触面41的相反面设为背面，将接触面41的相反侧设为背面侧。更具体而言，设置在能够从把持对象物21所接触的接触面41(第一面)的背面拍摄把持对象物21的位置。
[0071]
此外，在该例子中，对拍摄部30设置在把持部1的内部进行说明，但拍摄部30设置的位置不限于该例子。拍摄部30只要设置在臂部180的前端处，并与把持部模块10一起移动即可。另外，拍摄部30只要设置在拍摄表示把持对象物21中的至少一部分与接触面41(第一面)的接触状态的图像的位置即可。
[0072]
拍摄部30拍摄与接触面41接触的把持对象物21的像，并将拍摄到的像的信息输出至把持装置控制部90。
[0073]
参照图4(b)，对把持部1b的结构的一个例子进行说明。在该例子中，把持部1b通过标记45的位移来检测把持对象物21与接触面41b的接触状态。
[0074]
该例子中的把持部1b是把持部1的一个例子。对于与把持部1a相同的结构，标注与图4(a)相同的标号，并省略说明。
[0075]
把持部1b在接触状态检测部43b具备标记45这一点上与把持部1a不同。接触状态
检测部43b具备接触面41b。接触状态检测部43b是接触状态检测部43的变形例，接触面41b是接触面41的变形例。
[0076]
标记45在接触状态检测部43b的规定位置配置有多个。在该例子中，标记45是指配置在接触状态检测部43b的内部的等间隔地划分的格子点的位置的不透明部件。此外，标记45配置在接触状态检测部43b的内部，但不限于此，可以设置于接触面41b，也可以设置于接触面41b的背面。另外，对标记45离散地配置在格子点的位置进行说明，但不限于此。标记45也可以是格子图案或其他连续的图案。
[0077]
在该例子中，接触状态检测部43b的至少一部分沿着与作为接触面的透射部接触面40接触的把持对象物21的形状而变形。例如，在接触状态检测部43b由透明的材质构成的情况下，作为接触状态检测部43b的具体材质，有厚度为2毫米且约94％的透射率的硅材料。
[0078]
接触状态检测部43b的至少一部分沿着把持对象物21的形状变形，由此标记45的位置也发生位移。把持装置控制部90根据拍摄部30所拍摄的标记45的位移来检测把持对象物21与接触面41b之间的接触状态。
[0079]
此外，标记45的图案也可以是不规则的图案，以使把持对象物21与接触面41b的接触状态的检测变得容易。另外，对标记45作为不透明部件进行说明，但不限于此，只要能够光学地识别把持对象物接触时的位移，也可以是半透明部件或透明部件。
[0080]
此外，接触状态检测部43不限于该图所示的例子。接触状态检测部43只要能够检测把持对象物21的接触状态即可，例如，也可以构成为通过光的折射来检测接触状态检测部43的变形。此时，接触状态检测部43也可以构成为光不从接触面41透过至接触面41的背面。
[0081]
图5是表示实施方式中的把持装置100的功能结构的一个例子的图。
[0082]
把持装置100作为功能结构具备把持装置控制部90、输入部92、输出部93、拍摄部30、臂部180以及把持部1。
[0083]
把持装置控制部90具备未图示的微型计算机、ram(random access memory)以及rom(read only memory)等的存储器、以及与外部设备进行通信的通信部等。
[0084]
输入部92从压力传感器、位置传感器、温度传感器和加速度传感器等的传感器、相机、麦克风(均未图示)等取得信息。在不区分输入部92输出、把持装置控制部90取得的信息的情况下，记载为输入信息i
in
。
[0085]
输出部93向机器人驱动用的电机(未图示)等输出驱动信号。在不区分把持装置控制部90输出至输出部93的信息的情况下，记载为输出信息i
out
。
[0086]
把持装置控制部90基于从输入部92取得的输入信息i
in
，向输出部93输出输出信息i
out
。以下，也将把持装置控制部90记载为驱动控制部。
[0087]
拍摄部30将拍摄到的像的信息作为图像信息i
img
输出至把持装置控制部90。
[0088]
把持装置控制部90基于所取得的图像信息i
img
，输出包含驱动臂部180以及与臂部180的前端连接的把持部1的信息的驱动信息i
drv
。具体而言，把持装置控制部90基于表示接触面41(第一面)与特定量的把持对象物21接触的情况下的接触状态的特定量信息i
tgt
、以及表示在把持部模块10把持有把持对象物21的至少一部分时拍摄部30拍摄的接触状态的信息，驱动把持部模块10和臂部180中的至少一者，以使所把持的把持对象物21的量接近特定量信息i
tgt
所示的信息。更具体而言，把持装置控制部90对特定量信息i
tgt
所示的信息和
图像信息i
img
所示的信息进行比较，基于比较的结果输出驱动信息i
drv
，并驱动把持部模块10和臂部180中的至少一者。
[0089]
在此，特定量信息i
tgt
也可以存储在存储部84中。具体而言，特定量信息i
tgt
是表示接触面41(第一面)与特定量的把持对象物21接触时的接触状态的信息。特定量是指作为把持装置100的把持目标的量。特定量可以是重量，也可以是体积。
[0090]
存储部84也可以设置在把持装置100上。
[0091]
此外，把持装置100也可以构成为：在学习到多次把持的结果为特定量信息i
tgt
与实际的特定量之间存在误差的情况下，通过将特定量更新信息i
fb
输出至存储部84，来更新存储部84所存储的特定量信息i
tgt
。
[0092]
图6是用于说明实施方式中的把持部1对把持对象物21的动作的图。
[0093]
图6(a)是把持部1与把持对象物21接触的情况下把持装置100的x-z平面的剖视图。图6(b)是表示把持部1所具备的拍摄部30所拍摄的图像i10的一个例子的图。图6(c)是表示在支撑部2具备拍摄部30的情况下支撑部2的拍摄部30拍摄的图像i20的一个例子的图。
[0094]
参照图6(a)对把持部1的对把持对象物21的动作进行说明。
[0095]
把持装置控制部90控制臂部180使其能够在x轴方向、y轴方向和z轴方向上进行位移，并且能够绕各个轴进行旋转。另外，把持装置控制部90控制把持部1的接触面41与支撑部2的支撑面42之间的距离l1。即，把持部1具有六个自由度加上一个自由度即七个自由度。
[0096]
把持装置控制部90通过使把持部1相对于把持对象物21的位置变化，来进行调整以使把持的量成为特定量
[0097]
把持部1所具备的拍摄部30拍摄接触面41的图像。
[0098]
图6(b)是把持部1所具备的拍摄部30所拍摄的把持对象物21的图像i10的一个例子。图像i10由yc轴和zc轴的二维正交坐标系表示。yc-zc平面表示在图6(a)中拍摄y-z平面的图像面。
[0099]
在图像i10中，将把持对象物21所占的部分作为对象物图像i11。在图像i10中，将背景所占的部分设为背景图像i12。背景是指未拍摄到把持对象物21的部分。
[0100]
此外，支撑部2也可以具有与把持部1相同的结构。在该例子中，对支撑部2具有与把持部1相同的结构的情况进行说明。在支撑部2具有与把持部1相同的结构的情况下，支撑部2具有拍摄部30。
[0101]
图6(c)是支撑部2所具备的拍摄部30所拍摄的把持对象物21的图像i20。图像i20由yc轴和zc轴的二维正交坐标系表示。yc-zc平面表示在图6(a)中拍摄y-z平面的图像面。
[0102]
在图像i20中，将把持对象物21所占的部分作为对象物图像i21。在图像i20中，将背景所占的部分设为背景图像i22。背景是指未拍摄到把持对象物21的部分。
[0103]
图7是表示实施方式中的把持装置100的一系列动作的一个例子的图。参照该图，对把持装置100的一系列动作进行说明。
[0104]
(步骤s10)把持装置控制部90从存储部84取得表示作为把持目标的特定量信息即特定量信息i
tgt
。存储特定量信息i
tgt
的存储部84可以设置在把持装置100中，也可以不设置在把持装置100中。在把持装置100中未设置存储部84的情况下，把持装置控制部90通过未图示的通信部与存储部84进行通信，由此取得特定量信息i
tgt
。在取得特定量信息i
tgt
之后，
把持装置控制部90使处理进入到步骤s11。
[0105]
(步骤s11)把持装置控制部90驱动把持部1所具备的臂部180，使把持部1靠近把持对象物21。把持装置控制部90使处理进入到步骤s12。
[0106]
(步骤s12)把持部1所具备的拍摄部30拍摄把持对象物21。把持装置控制部90从拍摄部30取得图像信息i
img
。把持装置控制部90使处理进入到步骤s13。
[0107]
(步骤s13)把持装置控制部90对从存储部84取得的特定量信息i
tgt
与从把持部1取得的图像信息i
img
所示的表示接触状态的信息进行比较。在此，表示接触状态的信息可以是指例如图像信息i
img
所示的对象物的图像与背景的图像之间的比例。在图像信息i
img
是图像i10的情况下，表示接触状态的信息可以是对象物图像i11的面积与背景图像i12的面积的比例。
[0108]
在图像信息i
img
所示的表示接触状态的信息在特定量信息i
tgt
所示的范围内的情况下(即，步骤s13；是)，使处理进入步骤s19。在图像信息i
img
所示的表示接触状态的信息不在特定量信息i
tgt
所示的范围内的情况下(即，步骤s13；否)，使处理进入到步骤s14。
[0109]
(步骤s14)把持装置控制部90提取从把持部1取得的图像信息i
img
所示的表示接触状态的信息与特定量信息i
tgt
所示的信息之间的差值。在从把持部1取得的图像信息i
img
所示的表示接触状态的信息小于特定量信息i
tgt
所示的信息的情况下(即，步骤s14；是)，使处理进入步骤s16。在从把持部1取得的图像信息i
img
所示的表示接触状态的信息比特定量信息i
tgt
所示的信息大的情况下(即，步骤s14；否)，使处理进入步骤s18。
[0110]
(步骤s16)把持装置控制部90通过驱动臂部180或把持部模块10中的至少一者来进行控制，由此驱动到进一步取得其差值的位置。即，进行更多地取出(把持)把持对象物的动作。具体而言，关于臂部180，例如若向下方错开，则把持部模块10与把持对象物的接触面积增大，把持量增多。关于把持部模块10，例如若与把持部模块10插入到把持对象物的堆中的状态相比，使把持部1和支撑部2的间隔变窄，则把持量变多。进而，也可以使臂部180和把持部模块10两者进行上述各自的动作来更多地把持把持对象物。把持装置控制部90在进行了如上所述驱动臂部180和把持部模块10的控制之后，使处理进入步骤s12。
[0111]
(步骤s18)把持装置控制部90通过驱动臂部180或把持部模块10中的至少一者来进行控制，从而驱动到舍弃其差值的位置。即，进行更少地取出(把持)把持对象物的动作。具体而言，关于臂部180，例如若向上方错开，则把持部模块10与把持对象物的接触面积减少，把持量减少。关于把持部模块10，例如，若扩大把持部1和支撑部2的间隔以恢复到把持部模块10插入把持对象物的堆中的状态，则把持量变少。进而，也可以使臂部180和把持部模块10两者进行上述各自的动作来更少地把持把持对象物。把持装置控制部90在进行了如上所述驱动臂部180和把持部模块10的控制之后，使处理进入步骤s12。
[0112]
(步骤s19)把持装置控制部90在维持把持部1的把持状态的情况下，使所把持的把持对象物21移动到规定的位置。维持把持状态例如是指维持把持部1的接触面41与支撑部2的支撑面42之间的距离l1。
[0113]
[基于对象物与背景的比例的控制的一个例子]
[0114]
图8是表示实施方式中基于对象物与背景的比例的控制的一个例子的图。
[0115]
在此，作为特定量信息i
tgt
与图像信息i
img
所示的表示接触状态的信息的比较的一个例子，把持装置控制部90也可以进行基于对象物与背景的比例的控制。参照该图，对基于
对象物与背景的比例的控制的一个例子进行说明。
[0116]
在该图中，横轴对应”对象物与背景的比例”，纵轴对应臂部180的“动作”，并表示在关系式w1中。
[0117]
把持装置控制部90算出所取得的图像所示的对象物与背景的比例。在该例子中，对“对象物与背景的比例”为相对于背景所占的比例的对象物的比例进行说明。把持装置控制部90在算出的值处于符号p13至符号p14之间的情况下，确定动作。在算出的值小于符号p13的情况下，把持装置控制部90驱动臂部180，使其进行更多地取出把持对象物21的动作。在算出的值大于符号p14的情况下，把持装置控制部90驱动臂部180，使其进行舍弃把持对象物21的动作。
[0118]
即，在该例子中，把持装置控制部90基于特定量信息所示的、示出表示背景的部分与表示把持对象物的部分的比例的信息，以及拍摄部30所拍摄的表示接触状态的图像，来控制臂部180。
[0119]
此外，在该例子中，对关系式w1是一次函数进行说明，但关系式w1不限于该例子。关系式w1也可以构成为通过神经网络、支持向量机等的回归模型来求出。
[0120]
[基于边缘的比例的控制的一个例子]
[0121]
图9是表示实施方式中基于边缘的比例的控制的一个例子的图。
[0122]
在此，作为特定量信息i
tgt
与图像信息i
img
所示的表示接触状态的信息的比较的一个例子，把持装置控制部90也可以进行基于图像信息i
img
所示的边缘的比例的控制。
[0123]
具体而言，存在特定量信息i
tgt
所示的重量与图像信息i
img
所示的边缘的比例具有正相关的情况。例如，在拍摄部30的焦点位置被调整至接触面41的情况下，由于把持对象物21越接近(紧贴)接触面41，则在图像信息i
img
中越清晰地拍摄到把持对象物21的像，因此图像信息i
img
所示的边缘的比例越增加。另一方面，由于把持对象物21越远离接触面41(紧贴度越减少)，模糊量越增加，因此图像信息i
img
所示的边缘的比例越减少。即，图像信息i
img
所示的边缘的比例与把持对象物21和接触面41的距离存在相关性。由于更多的把持对象物21越紧贴接触面41，重量越多，因此存在特定量信息i
tgt
所示的重量与图像信息i
img
所示的边缘的比例具有正相关的情况。
[0124]
参照该图，对基于图像信息i
img
所示的边缘的比例的控制的一个例子进行说明。
[0125]
在该图中，横轴对应“边缘的比例”，纵轴对应臂部180的“动作”，并表示在关系式w2中。
[0126]
把持装置控制部90算出所取得的图像的边缘。例如，把持装置控制部90通过应用微分滤波器等的图像处理，来算出图像信息i
img
所示的图像的边缘。在该例子中，边缘是指由图像信息i
img
所示的图像的亮度变化大的部分。把持装置控制部90在算出的值处于符号p23至符号p24之间的情况下，确定动作。在算出的值小于符号p23的情况下，把持装置控制部90驱动臂部180，使其进行更多地取出把持对象物21的动作。在算出的值大于符号p24的情况下，把持装置控制部90驱动臂部180，使其进行舍弃把持对象物21的动作。
[0127]
即，在该例子中，把持装置控制部90根据特定量信息所示的、表示把持对象物21的亮度变化大的部分的比例的信息，以及拍摄部30所拍摄的表示接触状态的图像，来控制臂部180。
[0128]
此外，在该例子中，对关系式w2是一次函数的情况进行说明，但关系式w2不限于该
例子。关系式w2也可以构成为通过神经网络、支持向量机等的回归模型来求出。
[0129]
[基于图像的色彩的控制的一个例子]
[0130]
图10是表示实施方式中基于图像的色彩的控制的一个例子的图。
[0131]
在此，作为特定量信息i
tgt
与图像信息i
img
所示的表示接触状态的信息的比较的一个例子，把持装置控制部90也可以进行基于图像信息i
img
所示的图像的色彩的控制。参照该图，对基于图像信息i
img
所示的图像的色彩的控制的一个例子进行说明。
[0132]
在该图中，横轴对应“r”，纵轴对应臂部180的“动作”，并表示在关系式w3中。在该例子中，对色彩为r(红色)的情况进行说明，但也可以利用基于rgb的三轴的关系式。
[0133]
把持装置控制部90算出所取得的图像的色彩。例如，把持装置控制部90算出图像信息i
img
所示的图像的色彩的平均值。在该例子中，色彩是指图像信息i
img
所示的图像的平均色彩，但也可以是对象物所占的部分的色彩，还可以构成为进行基于图像信息i
img
的各点的色彩的动作。
[0134]
把持装置控制部90在算出的值处于符号p33至符号p34之间的情况下，确定动作。在算出的值小于符号p33的情况下，把持装置控制部90驱动臂部180，使其进行更多地取出把持对象物21的动作。在算出的值大于符号p34的情况下，把持装置控制部90驱动臂部180，使其进行舍弃把持对象物21的动作。
[0135]
即，在该例子中，把持装置控制部90根据特定量信息所示的、表示把持对象物21的颜色的信息和拍摄部30所拍摄的表示接触状态的图像来控制臂部180。
[0136]
此外，在该例子中，对关系式w3是一次函数的情况进行说明，但关系式w3不限于该例子。关系式w3也可以构成为通过神经网络、支持向量机等的回归模型来求出。
[0137]
[实施方式的效果的总结]
[0138]
如以上说明的那样，本实施方式的把持装置100具备把持部1和臂部180，由此把持把持对象物21中的特定量。把持装置控制部90基于由把持部1所具备的拍摄部30取得的图像来控制臂部180。把持装置控制部90对从存储部84取得的信息与由拍摄部30取得的图像所示的信息进行比较，控制臂部180。
[0139]
因此，把持装置100基于由把持部1所具备的拍摄部30取得的图像，控制臂部180，由此能够把持特定量。
[0140]
另外，本实施方式的把持装置100在能够从把持部1的接触面41的背面拍摄把持对象物21的位置具备拍摄部30。
[0141]
例如，与如现有技术那样在天花板上具备照相机的情况相比，本实施方式的把持装置100能够得到关于把持对象物21的更多的信息。
[0142]
因此，根据本实施方式，把持装置100能够从把持对象物21中更准确地把持特定量。
[0143]
另外，本实施方式的把持装置100基于示出表示背景的部分与表示把持对象物的部分的比例的信息来控制臂部180。
[0144]
因此，把持装置控制部90能够推定把持部1把持有多大程度的量，从而能够把持特定量。
[0145]
另外，本实施方式的把持装置100基于把持对象物21的亮度变化大的部分的比例来控制臂部180。
[0146]
在此，本实施方式的把持装置100所把持的把持对象物21有时为柔软的把持对象物。在把持对象物21柔软的情况和硬的情况下，存在重量不同的情况。
[0147]
因此，根据本实施方式的把持装置100，通过根据把持对象物21的亮度变化大的部分的比例来控制臂部180，从而能够根据把持对象物21的状态(例如，把持对象物21的柔软度)来推定特定量。
[0148]
另外，本实施方式的把持装置100基于把持对象物21的色彩来控制臂部180。
[0149]
在此，本实施方式的把持装置100所把持的把持对象物21根据色彩的不同有时重量也不同。例如，可能存在黄绿的卷心菜轻、深绿的卷心菜重等情况。
[0150]
因此，根据本实施方式的把持装置100，通过基于把持对象物21的色彩来控制臂部180，从而能够更准确地推定特定量。
[0151]
此外，所述实施方式中的把持装置100所具有的各部的功能的整体或其功能的一部分，也可以通过将用于实现这些功能的程序记录在可由计算机读取的记录介质中，并使计算机系统读入并执行记录在该记录介质中的程序来实现。另外，这里所说的“计算机系统”包含os和周边设备等硬件。
[0152]
另外，“计算机可读记录介质”是指诸如磁光盘、rom、cd-rom等的便携式介质，或者诸如计算机系统中包含的硬盘等的存储部。进而，“计算机可读记录介质”是指可以包括短时间内动态地保持程序的介质，例如在通过互联网等的网络发送程序的情况下的通信线路；以及将程序保持一定时间的介质，例如在此情况下的服务器或客户端的计算机系统内部的易失性存储器。另外，上述程序可以是用于实现前述功能的一部分的程序，还也可以是通过与已经记录在计算机系统中的程序的组合来实现前述功能的程序。
[0153]
以上，使用实施方式对用于实施本发明的方式进行了说明，但本发明不受这样的实施方式的任何限定，在不脱离本发明的主旨的范围内能够施加各种变形和置换。
[0154]
附图标记说明
[0155]1…
把持部、2
…
支撑部、10
…
把持部模块、11
…
连接部、100
…
把持装置、20
…
容器、21
…
把持对象物、22
…
特定量、110
…
前端部、120
…
上臂部、130
…
关节部、140
…
下臂部、150
…
主横轴部、160
…
主纵轴部、170
…
基座部、180
…
臂部、90
…
把持装置控制部、30
…
拍摄部、41
…
接触面、42
…
支撑面、43
…
接触状态检测部、45
…
标记、50
…
框架、70
…
硬质层、92
…
输入部、93
…
输出部、84
…
存储部