信息处理设备、信息处理方法和信息处理程序与流程

文档序号:25541122发布日期:2021-06-18 20:37阅读:146来源:国知局
信息处理设备、信息处理方法和信息处理程序与流程

本公开内容的实施方式涉及信息处理设备、信息处理方法和信息处理程序。



背景技术:

近年来,提出了一种通过将操纵器安装在可移动托架上而配置的移动操纵器机器人。

例如,在ptl1中提出了一种移动机器人,该机器人通过将多关节操纵器安装在可移动托架上来配置,并且该机器人适于不对移动机器人周围的人和物品造成伤害,特别是在移动机器人运行时或在处于待机状态的多关节操纵器未激活时。

此外,在ptl2中提出了一种移动机器人,该机器人自动地从获取源接收物品,在通过执行振动控制来抑制物品的摇动的同时运载物品,并且肯定将物品递送至目的地。

引文列表

专利文献

ptl1:日本专利特许公开第2004-230509号

ptl2:日本专利特许公开第2007-160447号



技术实现要素:

技术问题

然而,考虑到关于用户的肢体信息,以上提及的常规技术不总是以允许用户更容易地处理对象的方式来布置对象。

鉴于以上情况,本公开内容提出了一种信息处理设备、信息处理方法和信息处理程序,其能够以允许用户更容易地处理对象的方式来布置对象。

问题的解决方案

根据本公开内容的一方面,提供了一种设备,该设备包括:机器人臂装置,其被配置成布置一个或更多个对象;以及电路,其被配置成确定用户的一个或更多个特征,基于所确定的用户的一个或更多个特征来确定要布置的一个或更多个对象中的每个对象的布置位置,以及启动对机器人臂装置的控制,以根据所确定的对象的布置位置来布置每个对象。

根据本公开内容的另一方面,提供了一种布置一个或更多个对象的方法,该方法包括:确定用户的一个或更多个特征;基于所确定的用户的一个或更多个特征来确定要布置的一个或更多个对象中的每个对象的布置位置;以及控制机器人臂装置,以根据所确定的对象的布置位置来布置每个对象。

根据本公开内容的另一方面,提供了一种包含有程序的非暂态计算机可读存储介质,所述程序在由计算机执行时使计算机执行方法,该方法包括:确定用户的一个或更多个特征;基于所确定的用户的一个或更多个特征来确定要布置的一个或更多个对象中的每个对象的布置位置;以及控制机器人臂装置,以根据所确定的对象的布置位置来布置每个对象。

附图说明

[图1]图1是示出根据本公开内容的实施方式的信息处理(模式1)的示例的图。

[图2]图2是示出根据本公开内容的实施方式的用于控制机器人设备的功能配置的示意图。

[图3]图3是示出根据本公开内容的实施方式的存储部的示例的图。

[图4]图4是示出根据本公开内容的实施方式的存储部的示例的图。

[图5]图5是示出根据本公开内容的实施方式的信息处理(模式2)的示例的图。

[图6]图6是示出根据本公开内容的实施方式的信息处理(模式3)的示例的图。

[图7]图7是示出根据本公开内容的实施方式的信息处理(模式4)的示例的图。

[图8]图8是示出根据本公开内容的实施方式的信息处理(模式5)的示例的图。

[图9]图9是示出根据本公开内容的实施方式的机器人设备的运动控制的示例的图。

[图10]图10是示出根据本公开内容的实施方式的机器学习的示例的构思图。

[图11]图11是示出根据本公开内容的实施方式的用于控制指令设备的功能配置的示意图。

[图12]图12是示出根据本公开内容的实施方式的用于控制指令设备的功能配置的示意图。

[图13]图13是示出根据本公开内容的实施方式的在显示屏幕上显示的布置图像的示例的图。

[图14]图14是示出根据本公开内容的实施方式的信息处理步骤的流程图。

[图15]图15是示出实现机器人设备100的功能的计算机1000的示例的硬件配置图。

具体实施方式

现在将参照附图详细描述本公开内容的实施方式。以下描述的实施方式中的相同部分由相同的附图标记表示,并且将不再冗余地描述。

<1.信息处理的概述>

首先,将参照图1描述根据本公开内容的信息处理的概况。图1是示出根据本公开内容的信息处理(模式1)的示例的图。根据本公开内容的信息处理由图1中描绘的机器人设备100执行。换言之,机器人设备100是根据本公开内容的信息处理设备的示例。应当注意,机器人设备100的外观不限于图1所描绘的外观。

在图1的示例中,机器人设备100包括相机102、麦克风103、输出部104、操纵器106和驱动部107。相机102是相当于机器人设备100的“眼睛”并且捕获目标用户的图像和周围环境的图像的处理部。目标用户是要向其递送对象的用户。此外,麦克风103是相当于机器人设备100的“耳朵”并且收集声音的处理部。例如,麦克风103收集由目标用户说出的话音的声音。此外,输出部104是相当于机器人设备100的“嘴巴”,并且例如输出话音作为关于由目标用户说出的话音的响应消息的处理部。应当注意,输出部104还能够在显示屏(例如,显示器)上显示(输出)响应消息或其他预定信息来代替话音。在这种情况下,虽然在图1中未描绘,但是机器人设备100例如在其躯干(相当于“胸部”)上具有显示屏。

操纵器106是相当于机器人设备100的“手”并且用于将对象抓握并移动到目标用户的处理部。因此,操纵器106是移动部的示例。驱动部107是相当于机器人设备100的“腿”并且被驱动成使机器人设备100移动至目标用户的处理部。因此,可以说驱动部107也是移动部的示例。在图1的示例中,驱动部107包括两个轮子和用于将两个轮子彼此联接的轴。然而,驱动部107的配置不限于图1的示例。

现在将描述根据实施方式的信息处理的先决条件。例如,在用户在餐馆用餐的情况下,优选的是,用户被允许在不必站起来或强制地移动用户身体的情况下容易地用餐,同时许多餐具项目被布置在用户可触及的范围内并且能够由位于就坐位置的用户获取。例如,根据订单,在很大数量的各种形状的盘子和其他餐具上放置的食物被放置。然而,餐具项目的数量越多,需要用户抬起他自己/她自己身体并且伸手去拿远处餐具项目的可能性越高。重复这样的工作很麻烦。

此外,在存在多个餐具项目的情况下,有必要拿起装有期望食物的目标餐具项目。在这种情况下,相邻餐具项目可能会干扰目标餐具项目。因此,在一些情况下,难以拿起目标餐具项目。例如,如果餐具项目被布置成彼此靠近同时它们之间几乎不存在空间,则由于其他餐具项目的干扰,可能难以拿起目标餐具项目。此外,如果在这种情况下,存在诸如酒杯的高餐具项目,则取决于放置酒杯的位置,可能更难以拿起目标餐具项目。此外,如果用户是肢体障碍的,例如他/她的臂受伤或不能适当地弯腰,则用户会发现执行上述工作更加困难。因此,用户希望以允许用户容易地拿起目标餐具项目的方式来布置餐具项目。

鉴于上述情况,要求调整布置对象(上述示例中的餐具项目)的位置,以通过模拟例如人体的可能运动来使操作的容易性最大化。

为了满足以上提及的先决条件并解决上述问题,根据实施方式的机器人设备100执行以下信息处理和与该信息处理有关的操作。更具体地,机器人设备100获取关于要向其递送对象的目标用户的肢体信息,并且基于关于目标用户的肢体信息来确定在将对象递送至目标用户时对象将被布置的位置。例如,机器人设备100根据允许目标用户移动他/她的身体的范围并且基于关于目标用户的肢体信息来确定对象的布置位置。关于目标用户的肢体信息可以包括关于例如年龄、臂长度、主导臂、肢体障碍以及可能的上身倾斜量的信息,但是不必限于这样的信息。

现在将参照图1的示例来描述信息处理的示例。包括图1的示例的以下描述的实施方式假设目标用户在餐馆sh1中用餐。因此,机器人设备100在放置在桌子t上时确定对象(即,装有食物的盘子和诸如用餐器具(刀、叉等)的餐具项目)的放置位置(示例性布置位置)。此外,盘子和用餐器具两者都可以简称为“餐具”。此外,图1的示例假设向其递送餐具的用户(用餐的用户)是目标用户u11。此外,图1的示例描绘了模式1的示例,该模式1是用于确定布置位置的信息处理的最常见模式。

首先,当目标用户u11在桌子t旁就坐时,机器人设备100移动到目标用户u11的座位并且接收订单。图1的示例假设机器人设备100已经接收到主菜、配菜(面包)和另一配菜(咖啡)的订单。还假设机器人设备100具有指示订购的餐食与相关联的盘子和用餐器具的关系的数据库。

此外,当接收到订单时,机器人设备100使用相机102对目标用户u1进行成像,并且根据通过成像操作获取的成像信息来识别关于目标用户u11的肢体信息。然后,基于所识别的肢体信息,机器人设备100确定关于餐具项目的放置位置是否存在要考虑的必要因素。图1的示例假设机器人设备100基于成像信息识别出目标用户u11的年龄、臂长度和主导臂,该目标用户被确定为“他/她二十多岁”,具有“l11(cm)”的臂长度,并且是“惯用右手的”。此外,假设机器人设备100基于成像信息确定出目标用户u11没有特别受伤,因此确定出目标用户u11是“健康的”。此外,由于目标用户u11是“健康的”,因此机器人设备100确定关于餐具项目的放置位置没有因素需要考虑。

应当注意,机器人设备100还能够不仅基于成像信息而且还基于由麦克风103收集的语音信息来识别肢体信息。例如,在目标用户u11已说出“我的右臂受伤了”的情况下,机器人设备100确定目标用户u11在他/她的右臂上受伤,并且因此是“受伤”的人,并且关于餐具项目的放置位置需要考虑一些因素。

在确定关于餐具项目的放置位置没有因素需要考虑之后,机器人设备100根据一般规则来确定餐具项目的放置位置。关于主菜的餐具m1、配菜(面包)的餐具m2、配菜(咖啡)的餐具m3、餐具e1(刀)和餐具e2(叉)的餐具放置位置的一般规则会建议您将餐具m1放置在桌子t的中心,将餐具m2放置在餐具m1的左侧,将餐具m3放置在餐具m1的右侧,将餐具e1放置在最右侧位置,并且将餐具e2放置在最左侧位置。因此,机器人设备100确定用于以上述位置关系布置餐具m1、餐具m2、餐具m3、餐具e1和餐具e2的详细布置位置。应当注意,如果由餐馆sh1预先确定要放置在桌子t上的餐具项目之间的位置关系,则机器人设备100可以采用这样的预先确定的位置关系。

根据允许目标用户u11移动他/她的身体并且基于关于目标用户u11的肢体信息的范围,机器人设备100确定餐具放置位置。例如,由于目标用户u11的臂长度是“l11(cm)”,因此机器人设备100基于臂长度“l11(cm)”来识别臂可移动范围,并且在所识别的臂可移动范围内确定餐具放置位置。在图1的示例中,由弧形虚线包围的区域r11-1指示右臂的可移动范围。即使处于就坐位置的目标用户u11的右臂完全伸展,他/她也无法够到区域r11-1的外部。此外,在图1的示例中,由弧形虚线包围的区域r11-2指示左臂的可移动范围。即使处于就坐位置的目标用户u11的左臂完全伸展,他/她也无法够到区域r11-2的外部。

在识别出以上提及的区域之后,机器人设备100根据一般规则在包括区域r11-1和区域r11-2的范围内确定餐具放置位置。更具体地,如图1所示,机器人设备100在包括区域r11-1和区域r11-2的范围内确定布置位置,以将餐具m1放置在中心,将餐具m2放置在餐具m1的左侧,将餐具m3放置在餐具m1的右侧,将餐具e1放置在最右侧位置处,并且将餐具e2放置在最左侧位置处。在图1的示例中,由于目标用户u11是“惯用右手的”,因此机器人设备100确定出餐具e1放置在最右侧位置处以及餐具e2放置在最左侧位置处。然而,例如,在目标用户u11是“惯用左手的”的情况下,机器人设备100确定餐具e1放置在最左侧位置处以及餐具e2放置在最右侧位置处。

此外,机器人设备100还能够根据餐具的内容来确定餐具放置位置。例如,餐具m3是装有危险的热咖啡的咖啡杯。因此,如果将餐具m3放置在目标用户u11的正前方,则可能发生危险状况。因此,如图1所示,机器人设备100确定餐具放置位置,以将餐具m3放置在区域r11-1内的相对远的位置处。

在如图1所示的那样确定餐具放置位置之后,机器人设备100根据确定的餐具放置位置执行实际的餐具放置工作。当例如逐个放置餐具m1、餐具m2、餐具m3、餐具e1和餐具e2时,机器人设备100确定餐具放置的顺序并且以所确定的顺序执行餐具放置工作。例如,在餐具m1是要放置的第一餐具的情况下,机器人设备100抓握装有食物的餐具m1,并且然后移动到桌子t。随后,机器人设备100根据以上提及的确定的餐具放置位置将餐具m1放置在桌子t的大致中心处。省略了其余餐具项目的放置的描述,因为它们是按顺序放置的。

如上所述,根据实施方式的机器人设备100获取关于要向其递送对象的目标用户的肢体信息,并且基于所获取的关于目标用户的肢体信息来确定在向目标用户递送对象时的对象布置位置。这使得机器人设备100能够考虑关于用户的肢体信息,以允许用户更容易地处理对象的方式来布置对象。此外,根据图1的示例,机器人设备100能够以允许用户容易地处理餐具的方式来布置餐具。此外,作为此的结果,机器人设备100能够允许用户舒适地轻松享受用餐。

应当注意,在假设根据实施方式的信息处理由机器人设备100执行的情况下描述了图1的示例。然而,实际上,信息处理由图2所描绘的控制部109执行。因此,可以说,控制部109(或相当于控制部109的设备)用作根据本公开内容的信息处理设备。

<2.机器人设备的配置>

现在将参照图2描述根据实施方式的机器人设备100的配置。图2是示出用于控制根据本公开内容的实施方式的机器人设备100的功能配置的示意图。如图2所示,机器人设备100包括通信部101、相机102、麦克风103、输出部104、距离传感器105、操纵器106、驱动部107、存储部108和控制部109。

(通信部101)

通信部101例如由nic(网络接口卡)来实现。通信部101有线地或无线地连接至网络,并且例如向指令设备50发送信息以及从指令设备50接收信息。

(相机102)

相机102是相当于机器人设备100的“眼睛”并且捕获要向其递送对象的目标用户的图像和周围环境的图像的处理部。例如,当机器人设备100从目标用户接收到订单时,相机102捕获目标用户的整个身体的图像。此外,相机102能够将通过成像操作获取的成像信息存储在存储部(未描绘)中。此外,相机102将成像信息发送至控制部109。

(麦克风103)

麦克风103是相当于机器人设备100的“耳朵”并且收集声音的处理部。例如,麦克风103收集由目标用户说出的话音的声音。例如,当机器人设备100从目标用户接收到订单时,麦克风103收集由目标用户说出的话音的声音。此外,麦克风103能够将通过收集声音获取的话语信息存储在存储部(未描绘)中。此外,麦克风103将成像信息发送至控制部109。

(输出部104)

输出部104是相当于机器人设备100的“嘴巴”并且例如输出话音作为关于由目标用户说出的话音的响应消息的处理部。应当注意,输出部104还能够在显示屏(例如,显示器)上显示(输出)响应消息或其他预定信息来代替话音。

(距离传感器105)

距离传感器105测量从机器人设备100到对象的距离,并且将测量的距离发送至控制部109。

(操纵器106)

操纵器106是相当于机器人设备100的“手”并且用于将对象抓握并移动到目标用户的处理部。

(驱动部107)

驱动部107是相当于机器人设备100的“腿”并且被驱动成使机器人设备100移动至目标用户的处理部。应当注意,控制部109控制驱动部107,从而使机器人设备100沿选择的方向移动(到选择的目的地)。

(存储部108)

存储部108由诸如ram(随机存取存储器)或闪速存储器的半导体存储元件或诸如硬盘或光盘的存储设备来实现。存储部108包括存储部108a和存储部108b。

(存储部108a)

存储部108a存储关于要向其递送对象的目标用户的身体的肢体信息。例如,稍后描述的识别部109a识别关于目标用户的身体的肢体信息,并且将识别的肢体信息存储在存储部108a中。图3示出了根据本公开内容的实施方式的存储部108a的示例。在图3的示例中,存储部108a具有“用户id”字段和“肢体信息”字段。

“用户id”表示用于识别目标用户的识别信息。例如,在目标用户具有终端设备(例如,智能电话)并且准备与机器人设备100通信的情况下,“用户id”可以是用于识别目标用户的终端设备的识别信息。“肢体信息”——其是关于目标用户的身体的肢体信息——表示基于由各种传感器(例如,相机102和麦克风103)获取的信息识别的肢体信息。应当注意,尽管图3的示例使用诸如“uda11”的概念符号作为肢体信息,但是实际上,肢体信息例如是指示肢体状况的文本或其他信息。

更具体地,图3描绘了其中关于由用户id“u11”识别的目标用户(目标用户u11)的肢体信息是“uda11”的示例。

(存储部108b)

存储部108b存储关于针对目标用户确定的布置位置的信息。例如,稍后描述的确定部109c针对目标用户确定对象布置位置,并且将指示所确定的对象布置位置的信息存储在存储部108b中。图4示出了根据本公开内容的实施方式的存储部108b的示例。在图4的示例中,存储部108b具有“用户id”字段、“日期”字段和“布置信息”字段。

“用户id”表示用于识别目标用户的识别信息。例如,在目标用户具有终端设备(例如,智能电话等)并且准备与机器人设备100通信的情况下,“用户id”可以是用于识别目标用户的终端设备的识别信息。“日期”表示确定布置位置时的日期。在图1的示例中,可以说“日期”是目标用户在餐馆sh1中用餐的日期。“布置信息”表示指示针对目标用户确定的布置位置的信息。应当注意,尽管图4的示例使用诸如“hda11-1”的概念符号作为布置信息,但是布置信息实际上是例如指示布置位置的图像信息。

更具体地,图4描绘了其中针对由用户id“u11”识别的目标用户(目标用户u11)在日期“2018年9月25日”确定由“hda11-1”指示的布置位置的示例。应当注意,存储部108b还能够存储指示与布置位置有关并且从目标用户接收的指令的指令信息。

(控制部109)

返回图2,当例如通过cpu(中央处理单元)或mpu(微处理单元)在ram的工作区域中执行存储在机器人设备100的存储设备中的各种程序时,实现控制部109。此外,可以由诸如asic(专用集成电路)或fpga(现场可编程门阵列)的集成电路来实现控制部109。

如图2所示,控制部109包括识别部109a、获取部109b、确定部109c、输出控制部109d、接收部109e、操作控制部109f、学习部109g和执行部109h,并且实现或执行以下描述的信息处理功能和操作。控制部109的内部配置不限于图2所描绘的配置。控制部109可以采用执行稍后描述的信息处理的任何其他配置。此外,控制部109中包括的处理部之间的连接不限于图2所描绘的那些。可以在控制部109中包括的处理部之间进行不同的连接。

(识别部109a)

识别部109a识别关于要向其递送对象的目标用户的身体的肢体信息。要由识别部109a识别的肢体信息包括关于例如年龄、臂长度、主导臂、肢体障碍和可能的上身倾斜量的信息,但是不限于这样的信息。例如,识别部109a根据由各种传感器(例如,相机102和麦克风103)获取的信息来识别关于目标用户的肢体信息。此外,可以说,识别部109a识别目标用户的肢体特征或特性,以获取指示所识别的肢体特征或特性的肢体信息。在图1的示例中,基于通过利用相机102捕获目标用户u1的图像获得的成像信息,识别部109a已经将目标用户u11的年龄、臂长度和主导臂识别为肢体特征,该目标用户被确定为“他/她二十多岁”、具有“l11(cm)”的臂长度并且是“惯用右手的”。

此外,识别部109a基于所识别的肢体特征来识别目标用户的健康状况。在图1的示例中,识别部109a特别地基于成像信息未识别出例如任何受伤。因此,识别部109a通过确定目标用户u11是“健康的”来识别目标用户u11的健康状况。同时,在例如基于成像信息识别出受伤的情况下,识别部109a通过识别(确定)目标用户u11“受伤”(或例如在他/她的右臂上受伤)来识别目标用户u11的健康状况。

此外,识别部109a还能够通过不仅使用成像信息而且还使用由麦克风103收集的语音信息来识别肢体信息。例如,在目标用户u11说出“我的右臂受伤了”的情况下,识别部109a确定目标用户u11肢体障碍,即“在他/她的右臂上受伤”。此外,在这种情况下,识别部109a通过识别(确定)目标用户u11“受伤”(或例如在他/她的右臂上受伤)来识别目标用户u11的健康状况。应当注意,根据实施方式的健康状况能够被识别为肢体信息。

此外,识别部109a不仅能够识别肢体信息,而且还能够识别对象的状况。例如,识别部109a通过确定例如对象的温度、对象的形状、对象的大小和对象的内容来识别对象的状况。在如图1所示的那样要根据食物确定餐具放置位置的情况下,识别部109a基于例如从目标用户接收到的订单来识别要用于每种食物的餐具。关于所识别的餐具,识别部109a然后识别将要装有餐食的餐具的温度、形状、大小和内容(即食物)。在将每种食物和要使用的餐具之间的关联存储在存储部中的情况下,识别部109a参照该存储部来识别餐具及其温度、形状和大小。此外,识别部109a将以上识别的信息发送至获取部109b。

此外,识别部109a不仅可以基于由相机102和麦克风103获取的信息,而且还可以基于由各种传感器获取的传感器信息,来识别肢体信息和对象的状况。各种传感器包括红外相机、热成像传感器和tof(飞行时间)传感器。这些传感器通常被安装在机器人设备100的头部上。然而,显然地,这些传感器可以被安装在不同的部分(例如,操纵器106)上。此外,在例如在机器人设备100周围并且能够与机器人设备100通信的环境中安装传感器(例如,安装在餐馆sh1中的监视相机)的情况下,识别部109a可以使用由这样的传感器获取的信息。

(获取部109b)

获取部109b获取关于要向其递送对象的目标用户的身体的肢体信息。例如,获取部109b获取指示年龄、臂长度、主导臂、肢体障碍或可能的上身倾斜量的信息项中的至少一项作为肢体信息。获取部109b例如从存储部108b获取肢体信息。此外,获取部109b可以直接从识别部109a获取肢体信息。此外,获取部109b附加地获取关于由识别部109a识别的健康状况和对象的状况的信息。此外,获取部109b获取由通过学习目标用户的外观和关于目标用户的肢体信息之间的关系而生成的模型(稍后描述的模型md1)输出的肢体信息作为肢体信息。应当注意,识别部109a可以兼作获取部109b。

(确定部109c的概述(1))

确定部109c基于关于目标用户的肢体信息来确定在将对象递送至目标用户时的对象的布置位置。更具体地,确定部109c根据允许目标用户移动他/她的身体并且基于肢体信息的范围来确定对象布置位置。如早前所提及的,识别部109a识别关于目标用户的身体的肢体信息(肢体特征、肢体特性和健康状况)。然后,基于由识别部109a识别的肢体信息,确定部109c确定在将对象递送至目标用户时的对象布置位置。

(确定处理模式1)

首先,将描述在识别部109a已识别(确定)目标用户健康并且没有诸如受伤的肢体障碍的情况下执行的确定处理作为确定处理模式1。已经参照图1描述了确定处理模式1。因此,将部分省略确定处理模式1的描述。

出于说明的目的,根据情况将确定处理划分为一些模式。下面描述每个确定处理模式的示例。此外,如图1所示,假设在要根据餐食确定餐具放置位置的情况下执行确定处理。此外,在每个模式中,主要将目标用户u11用作目标用户。然而,要记住,为了便于说明,关于目标用户u11识别出不同的肢体信息。

识别部109a基于通过成像操作获取的成像信息来识别关于目标用户u11的肢体信息。图1的示例假设识别部109a已基于成像信息识别出目标用户u11的年龄、臂长度和主导臂,目标用户u11被确定为“他/她二十多岁”,具有“l11(cm)”的臂长度并且是“惯用右手的”。此外,假设识别部109a已基于成像信息识别出目标用户u11是“健康的”,因为未识别出特定的受伤或其他健康问题。

在以上情况下,确定部109c首先确定由于目标用户u11是“健康的”,所以关于餐具放置位置没有因素需要考虑。在确定关于餐具放置位置没有因素需要考虑之后,确定部109c根据一般规则确定餐具放置位置。关于主菜的餐具m1、配菜(面包)的餐具m2、配菜(咖啡)的餐具m3、餐具e1(刀)和餐具e2(叉)的餐具放置位置的一般规则会建议您将餐具m1放置在桌子t的中心,将餐具m2放置在餐具m1的左侧,将餐具m3放置在餐具m1的右侧,将餐具e1放置在最右侧位置,并且将餐具e2放置在最左侧位置。因此,确定部109c确定用于以上述位置关系布置餐具m1、餐具m2、餐具m3、餐具e1和餐具e2的详细的布置位置。

例如,根据允许目标用户u11移动他/她的身体并且基于关于目标用户u11的肢体信息的范围,确定部109c确定餐具放置位置。例如,由于目标用户u11的臂长度是“l11(cm)”,因此确定部109c基于臂长度“l11(cm)”来确定臂可移动范围,并且在所识别的臂可移动范围内确定餐具放置位置。在图1的示例中,确定部109c将区域r11-1识别为右臂可移动范围,并且将区域r11-2识别为左臂可移动范围。换言之,即使处于就坐位置的目标用户u11的右臂完全伸展,他/她也无法够到区域r11-1的外部。此外,即使处于就坐位置的目标用户u11的左臂完全伸展,他/她也无法够到区域r11-2的外部。

在识别出以上提及的范围(区域)之后,确定部109c根据一般规则在包括区域r11-1和区域r11-2两者的范围内确定餐具放置位置。更具体地,如图1所示,确定部109c在包括区域r11-1和区域r11-2的范围内确定餐具布置位置,以将餐具m1放置在中心,将餐具m2放置在餐具m1的左侧,将餐具m3放置在餐具m1的右侧,将餐具e1放置在最右侧位置处,并且将餐具e2放置在最左侧位置处。在图1的示例中,由于目标用户u11是“惯用右手的”,因此确定部109c已经确定将餐具e1放置在最右侧位置处以及将餐具e2放置在最左侧位置处。然而,例如,在目标用户u11是“惯用左手的”的情况下,确定部109c确定将餐具e1放置在最左侧位置处以及将餐具e2放置在最右侧位置处。

(确定处理模式2)

接下来,将描述在识别部109a已识别(确定)目标用户受伤或其他肢体障碍的情况下执行的确定处理作为确定处理模式2。图5是示出根据本公开内容的信息处理(模式2)的示例的图。

识别部109a基于通过成像操作获取的成像信息来识别关于目标用户u11的肢体信息。图5的示例假设识别部109a已基于成像信息识别出目标用户u11的年龄、臂长度和主导臂,目标用户u11被确定为“他/她二十多岁”,具有“l11(cm)”的臂长度并且是“惯用右手的”。此外,假设识别部109a已基于成像信息识别出目标用户u11“在他/她的右臂上受伤”。应当注意,识别部109a还能够不仅基于成像信息而且还基于由麦克风103收集的语音信息来识别肢体信息。例如,在目标用户u11说出“我的右臂受伤了”的情况下,识别部109a识别出目标用户u11“在他/她的右臂上受伤”。

在以上情况下,确定部109c首先确定由于目标用户u11“受伤”(肢体障碍),所以关于餐具放置位置需要考虑一些因素。在确定关于餐具放置位置需要考虑一些因素之后,确定部109c通过在考虑可能范围内的一般规则的同时优先考虑餐具放置位置所需的因素来确定餐具放置位置。在这种情况下,假设目标用户u11例如由于缠绕在他/她的右臂周围的绷带而不能自由地移动他/她的右臂。

此处,在图5的示例中,如图1的情况那样,目标用户u11的右臂可以在区域r11-1内移动而左臂可以在区域r11-2内移动。在这样的情况下,仅右臂可以在区域r11-1的排除区域r11-2的区域(放置餐具m3和餐具e1的区域)内移动。因此,目标用户u11不能用他/她的左臂够到这样的区域。既然情况是这样,如果将餐具m3和餐具e1放置在这样的区域中,则目标用户u11必须用他/她的右臂拿起餐具m3和餐具e1。然而,如果目标用户u11在他/她的右臂上受伤,则目标用户u11不能执行这样的拿起操作。换言之,如果在目标用户u11在他/她的右臂上受伤的情况下如图1所示的那样放置餐具,则目标用户u11不能拿起餐具m3和餐具e1。

由于以上原因,确定部109c确定例如在图5中描绘的布置位置。更具体地,由于目标用户u11的臂长度是“l11(cm)”,因此确定部109c基于臂长度“l11(cm)”将区域r11-1识别为右臂可移动范围,并且将区域r11-2识别为左臂可移动范围。在以上识别之后,确定部109c不考虑作为右臂可移动范围的区域r11-1,并且在作为左臂可移动范围的区域r11-2内确定餐具放置位置。例如,如图5所示,确定部109c在区域r11-2内确定布置位置,以将餐具m1放置在中心的前方,将餐具m2放置在餐具m1的左后方,并且将餐具m3放置在餐具m1的右后方。在这种情况下,确定部109c还确定要放置在桌子上的餐具的取向。例如,确定部109c确定餐具m3的取向,使得作为餐具m3的咖啡杯的把手被放置在左侧。

此外,如图5所示,确定部109c在区域r11-2内确定布置位置,使得餐具e1和餐具e2被放置在左臂的前方。在图1的示例中,根据一般规则进行该确定,以将餐具e1放置在最右位置处,并且将餐具e2放置在最左位置处。然而,在图5的示例中,确定部109c确定使得在区域r11-2内将餐具e1放置在餐具e2的右边。

当采用上述布置位置时,目标用户u11能够用他/她的左臂容易地处理所有餐具项目。此外,目标用户u11不被强迫用他/她受伤的右臂,并且因此能够舒适地进餐。换言之,即使在目标用户是肢体障碍的情况下,机器人设备100也能够确定目标用户享受餐食的最佳餐具放置位置。

(确定部109c的概述(2))

此外,确定部109c基于对象的状况来确定对象布置位置。例如,确定部109c基于对象的状况和目标用户的肢体结构的状况来确定对象布置位置。例如,确定部109c基于对象的状况,即,对象的温度、对象的形状、对象的大小或对象的内容中的至少一个,来确定对象布置位置。现在将描述与以上确定处理相关联的确定处理模式3和4。

(确定处理模式3)

如早前所提及的,识别部109a不仅能够识别肢体信息,而且还能够识别对象的状况。例如,基于从目标用户接收到的订单,识别部109a不仅识别要用于每种订购食物的餐具,而且还识别所识别的装有食物的餐具的温度、形状、大小和内容(即食物)。所识别的装有食物的餐具的温度可以由食物本身的温度代替。

现在将描述在识别部109a已经确定餐具的内容(即,食物)具有高温的情况下的确定处理作为确定处理模式3。图6是示出根据本公开内容的信息处理(模式3)的示例的图。图6的示例假设另外订购了高温汤品,并且除了餐具m1至m3、餐具e1和餐具e2之外,还将放置用于汤品的餐具m4。应当注意,图6描绘了其中在目标用户u11在他/她的右臂上受伤的情况下将确定处理模式3添加到确定处理(模式2)的示例。然而,即使在例如目标用户u11健康(模式1)的情况下,确定处理模式3的内容也保持不变。

基于通过成像操作获取的成像信息,识别部109a识别关于目标用户u11的肢体信息。图6的示例假设识别部109a已基于成像信息识别出目标用户u11的年龄、臂长度和主导臂,目标用户u11被确定为“他/她二十多岁”,具有“l11(cm)”的臂长度并且是“惯用右手的”。此外,假设识别部109a已基于成像信息识别出目标用户u11“在他/她的右臂上受伤”。

在以上情况下,确定部109c不考虑作为右臂可移动范围的区域r11-1,并且在作为左臂可移动范围的区域r11-2内确定餐具放置位置。例如,如图5的示例的情况那样,确定部109c在区域r11-2内确定布置位置,以将餐具m1放置在中心的前方,将餐具m2放置在餐具m1的左后方,并且将餐具m3放置在餐具m1的右后方。

如果在以上情况下,例如,要将显著有蒸汽的热菜或特征在于咝咝响的肉汁的烤的或其他菜放置在目标用户u11手旁,则可以想到当目标用户u11伸出手去拿其他菜时被热困扰。因此,在区域r11-2内,确定部109c将与目标用户u11相距预定距离或更远的位置确定为餐具m4的放置位置。在图6的示例中,确定部109c将区域r11-2的边界线附近的位置确定为餐具m4的放置位置。例如,如图6中描绘的,确定部109c首先确定餐具m1至m3、餐具e1和e2的布置位置,然后将在区域r11-2内的剩余空间中包括的并且在区域r11-2的边界线附近的位置确定为餐具m4的放置位置。

当如以上所描述的那样确定布置位置时,目标用户u11能够安全地用餐。换言之,机器人设备100能够提供目标用户能够安全用餐的环境。

(确定处理模式4)

如早前所提及的,识别部109a不仅能够识别肢体信息,而且还能够识别对象的状况。例如,基于从目标用户接收到的订单,识别部109a识别要用于每个订购食物的餐具。现在将描述在识别部109a已将高脚酒杯识别为一种餐具项目的情况下的确定处理作为确定处理模式4。图7是示出根据本公开内容的信息处理(模式4)的示例的图。更具体地,图7的示例假设基于来自目标用户u11的订单,识别部109a已识别餐具m1、餐具m2、餐具e1、餐具e2和餐具e3(酒杯)。应当注意,图7描绘了其中在目标用户u11在他/她的右臂上受伤的情况下将确定处理模式4添加到确定处理(模式2)的示例。然而,即使在例如目标用户u11健康(模式1)的情况(模式1)下,确定处理模式4的内容也保持不变。

基于通过成像操作获取的成像信息,识别部109a识别关于目标用户u11的肢体信息。图7的示例假设识别部109a已基于成像信息识别出目标用户u11的年龄、臂长度和主导臂,目标用户u11被确定为“他/她二十多岁”,具有“l11(cm)”的臂长度并且是“惯用右手的”。此外,假设识别部109a已基于成像信息识别出目标用户u11“在他/她的右臂上受伤”。

在以上情况下,确定部109c不考虑作为右臂可移动范围的区域r11-1,并且在作为左臂可移动范围的区域r11-2内确定餐具放置位置。例如,如图5的示例的情况那样,确定部109c在区域r11-2内确定布置位置,以将餐具m1放置在中心的前方,将餐具m2放置在餐具m1的左后方,并且将餐具e1和e2放置在左臂的前方。

如果在以上情况下将酒杯或其他高餐具放置得太靠近目标用户的手,则存在引起目标用户的肘部撞击这样的高餐具的事故的风险。因此,在目标用户u11伸出他/她的左臂的情况下,确定部109c基于目标用户u11的肢体结构来计算例如左肘在作为左臂可移动范围的区域r11-2内的位置。在作为酒杯的餐具e3放置在所计算的位置处的情况下,存在引起事故的风险。因此,确定部109c将区域r11-2内的除了左肘的位置之外的位置,即区域r11-2内的未放置左肘的位置确定为餐具e3的放置位置。例如,如图7中所描绘的,确定部109c首先确定餐具m1和m3以及餐具e1和e2的布置位置,然后将在区域r11-2内的剩余空间中包括的并且左肘无法到达的位置确定为餐具e3的放置位置。

应当注意,在将不同的餐具放置在高餐具e3的后面的情况下,目标用户可能在拿起不同的餐具时冒推翻餐具e3的风险。因此,确定部109c也能够在考虑这样的风险的情况下确定餐具放置位置。例如,确定部109c不将餐具m1或餐具m2前方的位置确定为餐具e3的放置位置,而是如图7所描绘的那样确定餐具e3的放置位置,使得没有其他餐具位于餐具e3的后面。

当如以上所描述的那样确定布置位置时,目标用户u11能够安全地用餐。换言之,机器人设备100能够提供目标用户能够安全用餐的环境。

(确定部109c的概述(3))

此外,确定部109c基于允许目标用户移动他/她的身体并且基于肢体信息的范围来确定对象布置位置。例如,在存在多个目标用户的情况下,确定部109c根据多个目标用户之间的关系来确定对象布置位置。例如,确定部109c基于关于该关系中的较高级别目标用户的肢体信息和关于该关系中的较低级别目标用户的肢体信息来确定对象布置位置。更具体地,确定部109c在允许较高级别用户移动他/她的身体并且排除较低级别用户能够移动他/她的身体的范围的范围内确定对象布置位置。现在将描述与以上确定处理相关联的确定处理模式5。

(确定处理模式5)

图8是示出根据本公开内容的信息处理(模式5)的示例的图。首先,多个目标用户之间的关系例如是父母与儿童的关系或护理者与护理接受者的关系。在父母与儿童的关系中,父母(监护人)比儿童(婴幼儿)级别高,并且儿童(婴幼儿)比父母(监护人)级别低。同时,在护理者与护理接受者之间的关系中,护理者比护理接受者级别高,并且护理接受者比护理者级别低。例如,在存在多个目标用户的情况下,识别部109a还能够基于通过成像操作获取的成像信息来执行识别(估计)多个目标用户之间的关系的处理。应当注意,可以由除了识别部109a之外的处理部来执行这样的处理。还应当注意,识别部109a可以基于通过收集声音而获取的语音信息来识别(估计)多个目标用户之间的关系。

在以上示例中,当多个目标用户一起访问餐馆时,识别部109a识别多个目标用户之间的关系。让我们假设例如成年目标用户u11和婴幼儿目标用户u12一起访问餐馆并且在桌子t旁就坐。在这种情况下,识别部109a基于目标用户u11与目标用户u12的外貌和对话来识别目标用户u11与目标用户u12之间的关系。让我们假设例如识别部109a已识别出目标用户u11和目标用户u12是父母与儿童的关系,并且目标用户u11是处于较高级别的父母,而目标用户u12是处于较低级别的儿童。

此外,在以上情况下,识别部109a基于通过成像操作获取的成像信息来识别关于目标用户u11和u12的肢体信息。图8的示例假设识别部109a已基于成像信息识别出目标用户u11的年龄、臂长度和主导臂,目标用户u11被确定为“他/她二十多岁”,具有“l11(cm)”的臂长度并且是“惯用右手的”。此外,假设识别部109a已基于成像信息识别出目标用户u12的年龄、臂长度和主导臂,目标用户u12被确定为“2岁”,具有“l12(cm)”的臂长度并且是“惯用右手的”。此外,因为未识别出特定的受伤或其他健康问题,因此识别部109a基于成像信息识别出目标用户u11和u12是“健康的”。此外,图8的示例假设识别部109a基于来自目标用户u11的订单,识别出餐具m1至m3以及餐具e1和e2在桌子上的放置,如图1的示例的情况那样。

在以上情况下,确定部109c基于允许目标用户u11移动他/她的身体的范围(基于关于目标用户u11的肢体信息)和基于允许目标用户u12移动他/她的身体的范围(基于关于目标用户u12的肢体信息),来确定餐具放置位置。在图8的示例中,关于目标用户u11,确定部109c将区域r11-1识别为右臂可移动范围,并且将区域r11-2识别为左臂可移动范围。此外,关于目标用户u12,确定部109c将区域r12-1识别为右臂可移动范围,并且将区域r12-2识别为左臂可移动范围。

目标用户u12是“两岁大”(婴幼儿)。因此,如果将装有食物的餐具放置在目标用户u12的范围内,即放置在包括区域r12-1和区域r12-2的范围内,则目标用户u12可能会冒例如接触热餐具或推翻餐具的增加的风险。因此,确定部109c在目标用户u11的手可到达但目标用户u12的手不可到达的范围内确定布置位置。更具体地,确定部109c在区域rx内确定餐具放置位置。区域rx在下述范围内:该范围包括目标用户u11的手可到达的区域r11-1和r11-2,但不具有包括目标用户u12的手可到达的区域r12-1和r12-2的区域。目标用户u12无法用他/她的手到达区域rx。

例如,如图8所示,确定部109c确定区域rx内的布置位置,以将餐具m1放置在中心,将餐具m2放置在餐具m1的左边,将餐具m3放置在餐具m1的右边,并且将相邻的餐具e1和e2放置在目标用户u11的前方。

采用以上布置位置允许目标用户u12避免被灼伤以及推翻餐具或使餐具掉落的风险。此外,这减少了对目标用户u11的压力。换言之,机器人设备100能够确定允许目标用户安全且舒适地享受用餐的餐具放置位置。

应当注意,在目标用户包括例如,诸如婴幼儿的不能按照自己意愿自由移动他/她的身体的用户的情况下,识别部109a例如通过确定将吸管用作一种餐具项目或在要使用吸管时将吸管插入有盖杯子中来确定餐具使用的风格。此外,该处理可以由确定部109c执行。

(其他确定处理)

到目前为止,已经描述了五个不同的确定处理模式。然而,确定部109c可以以上述模式之外的模式执行确定处理。下面描述这一点。在前述示例中,确定部109c确定对象布置位置。然而,确定部109c可以基于目标用户对对象的可操作性来确定对象之间的位置关系,并且可以基于所确定的位置关系来确定对象布置位置。

例如,在餐具项目之间没有间隙地被布置的情况下,即使对于健康的人也可能难以拿起餐具项目。原因是,因为餐具项目之间没有间隙地被布置,因此手指和手都不能插入一个餐具项目与另一个餐具项目之间。在这种情况下,一种有效的方式是如果可能的话预测目标用户的手的大小,确定位置关系,以根据预测的手的大小在一个餐具项目与另一个餐具项目之间创建间隙,并且基于所确定的位置关系来确定餐具布置位置。此外,例如,即使在目标用户的手的大小不可预测的情况下,也可以确定餐具项目之间的位置关系,以根据手的通常大小来创建间隙。

因此,参照图1的示例,确定部109c识别餐具m1至m3之间的位置关系,并且基于所预测的目标用户u11的手的大小来确定(计算)餐具m1、m2和m3之间的必要间隙的大小(间隙宽度)。然后,确定部109c创建具有等于或大于所确定的间隙大小(间隙宽度)的大小的间隙,并且确定餐具布置位置,如例如图1所示。应当注意,确定部109c能够基于例如表示所捕获的目标用户u11的图像的成像信息来计算手的大小。然而,计算手的大小的方法不限于以上方法。可以使用任何其他方法来计算手的大小。

应当注意,即使对于在手灵巧性方面不如人类的操纵器106(机器人手)而言,以简单的方式将餐具布置在桌子t上而不考虑餐具项目之间的间隙也是容易的。例如,操纵器106能够通过从桌子t的末端开始依次放置餐具项目来在餐具之间没有间隙地布置餐具。然而,在一些情况下,对于在手灵巧性方面不如人类的操纵器106,难以根据由确定部109c确定的间隙大小将餐具项目放置在桌子t上。在根据由确定部109c确定的间隙大小将餐具项目布置在桌子t上的情况下,稍后描述的执行部109h执行用于确定目标用户u11是否能够容易地抓握餐具的模拟。然后,例如,在模拟的结果指示目标用户u11不能容易地抓握餐具的情况下,确定部109c重新计算间隙大小。

此外,确定部109c可以基于关于目标用户的历史信息来确定餐具布置位置。例如,将所识别的关于目标用户的肢体信息存储在存储部108a中。因此,在将当目标用户先前访问餐馆时识别出的肢体信息存储在存储部108a中的情况下,确定部109c可以基于先前存储的肢体信息来确定餐具布置位置。

此外,存储部108b存储指示针对每个目标用户确定的餐具布置位置的布置信息。因此,代替基于肢体信息新确定餐具布置位置,确定部109c可以参考存储部108b并且采用先前确定的餐具布置位置或微调先前确定的餐具布置位置并且采用经微调的餐具布置位置作为当前餐具布置位置。

此外,确定部109c还能够通过使用通过机器学习获得的学习结果(模型)来确定餐具布置位置。这一点将在稍后描述。此外,确定部109c可以允许识别部109a执行识别处理(确定处理)。例如,基于关于目标用户的肢体信息,确定部109c可以确定(识别)要递送至目标用户的对象(餐具)或要递送至目标用户的对象的使用风格(用途)。

(输出控制部109d)

输出控制部109d提供输出控制,以用于向用户输出(显示)指示由确定部109c确定的布置位置的布置信息。例如,输出控制部109d提供输出控制,以用于向用户的终端设备输出(显示)指示由确定部109c确定的布置位置的布置信息。例如,在机器人设备100具有显示屏(显示器)的情况下,输出控制部109d使显示屏显示指示由确定部109c确定的布置位置的布置信息。出于说明性目的,参考图1的示例,当针对目标用户u11确定餐具放置位置时,输出控制部109d使显示屏显示完全如图1所描绘的构思图(指示根据所确定的餐具放置位置放置在桌子t上的用餐器具和装有食物的盘子)。

此外,在例如餐馆sh1将指令设备50作为预定终端设备借给目标用户的情况下,输出控制部109d可以使指令设备50的显示屏显示布置信息。在这种情况下,指令设备50是由目标用户使用的信息处理设备。指令设备50例如是智能电话、平板终端、笔记本pc(个人计算机)、台式pc、蜂窝电话或pda(个人数字助理)。本实施方式假设指令设备50是平板终端。

在从目标用户接收到关于要递送的对象的布置位置的指令(或关于布置位置的提议)的情况下,确定部109c可以基于该指令(提议)来确定布置位置。指令设备50被借给目标用户,以接收指示指令的内容的指令信息的输入。稍后将描述指令设备50的配置。

(接收部109e)

接收部109e从目标用户接收关于要递送至目标用户的对象的布置位置的指令(或关于布置位置的提议)。例如,由确定部109c确定的布置位置不总是与由目标用户真正期望的布置位置一致。因此,有效的方式是使机器人设备100的显示器或指令设备50的显示屏(显示屏53a)显示由确定部109c确定的布置位置,允许目标用户确认放置在确定的布置位置处的对象并且接收基于确认结果的反馈。例如,通过接收基于确认结果的反馈,机器人设备100能够识别目标用户的偏好(例如,布置偏好)并且促进与目标用户的通信。

因此,当例如由确定部109c确定的布置位置被呈现(显示)给目标用户时,接收部109e接收关于所呈现的布置位置的指令以及指示指令的内容的指令信息的反馈。尽管稍后描述,但是在指令设备50的显示屏包括触摸面板的情况下,目标用户能够通过触摸触摸面板来校正布置位置,并且发出用于切换到经校正的布置位置的指令。此外,在指令设备50的显示屏包括投影仪(投影仪53b)的情况下,目标用户能够例如通过对被投影仪投影到桌子t上的布置信息做手势来给出关于布置位置的指令。

接收部109e通过指令设备50接收以以上方式指示的指令信息。此外,接收部109e不仅能够接收关于布置位置的指令,而且还能够接收关于订购的菜单的指令(提议)。例如,接收部109e接收关于装有订购的食物的餐具的类型的变化、菜的布局(例如,布置在一个盘子上的不同食物之间的位置关系)、不喜欢的食物以及引起过敏的食物的指令。

随后,机器人设备100将以上指令提供给厨师。根据指令,厨师准备食物并将准备好的食物布置在盘子上。因此,机器人设备100能够增加用于创建可订购的餐具放置方案的自由度,并且因此向顾客提供增强的满意度。

此外,接收部109e能够接收关于例如切割食物的方式、面条(例如,意大利面)的长度、饮食器具(例如,筷子)以及彻底加热易腐品的指令。这使得机器人设备100能够遵从详细的目标用户要求,例如,用于准备容易被婴幼儿食用的精细切割的食物,将意大利面切割成短长度以允许不能适当使用叉子的顾客用筷子容易地食用意大利面,用筷子代替刀和叉子,或者由于生鱼是顾客不喜欢的食品之一而彻底加热鱼。因此,机器人设备100能够向顾客提供增强的满意度。

此外,机器人设备100能够基于如上所述的那样由接收部109e接收到的指令,通过机器学习来学习目标用户关于例如布置位置、餐具和食物的偏好。这样的机器学习例如由学习部109g执行。

(操作控制部109f)

操作控制部109f提供对机器人设备100的操作的控制。例如,操作控制部109f控制机器人设备100,使得机器人设备100将对象布置在由确定部109c确定的布置位置处。例如,操作控制部109f控制机器人设备100,使得机器人设备100将餐具放置在由确定部109c确定的餐具放置位置处。

例如,在图1的示例中,操作控制部109f控制机器人设备100,使得机器人设备100抓握餐具,移动到目标用户u11的桌子t,并且将抓握的餐具放置在确定的餐具放置位置处。例如,如果在图1的示例中已经确定按餐具m1、餐具m2、餐具m3、餐具e1、餐具e2的顺序逐个放置餐具项目,则操作控制部109f控制机器人设备100,使得机器人设备100按以上顺序放置餐具项目。操作控制部109f控制例如操纵器106和驱动部107,以便以上述方式操作机器人设备100。

图8描绘了其中在存在多个目标用户的情况下确定部109c基于目标用户之间的关系来确定对象布置位置的示例。更具体地,图8用于描绘在目标用户u11伴随有作为目标用户u11要保护(照顾)的婴幼儿的目标用户u12的情况下执行的确定处理。在如上所述的那样多个现有目标用户处于较高级别与较低级别的关系的情况下,操作控制部109f控制机器人设备100,使得机器人设备100首先接近较高级别的目标用户,接受订单并执行餐具放置工作。将参照图9来描述这一点。图9是示出根据本公开内容的实施方式的机器人设备100的运动控制的示例的图。

例如,在机器人设备100接近作为婴幼儿的目标用户u12即接近桌子t的左侧的情况下,工作中的机器人设备100冒与目标用户u12接触的风险。此外,存在目标用户u12鲁莽地触摸机器人设备100的风险。因此,操作控制部109f控制机器人设备100的运动,使得机器人设备100接近目标用户u11,即,如图9描绘的桌子t的右侧。例如,操作控制部109f控制驱动部107。机器人设备100能够实现例如为了目标用户的安全的操作。

(学习部109g)

学习部109g执行关于肢体信息的学习。例如,学习部109g通过学习目标用户的外观与关于目标用户的肢体信息之间的关系来生成模型md1作为肢体信息。学习部109g通过学习例如目标用户的外观与目标用户的肢体特征之间的典型关系来生成模型md1。例如,学习部109g生成模型md1,该模型md1是用于在接收到目标用户的外部肢体特征的输入(例如,由相机102捕获的按时间顺序成像的信息以及关于目标用户周围的包括由目标用户穿戴的项目的区域的已知对象信息)时输出(预测)关于目标用户的肢体信息(例如,身高、就坐高度、臂长度、臂受伤处、年龄、手大小和主导臂)的预测模型。

图1描绘了其中识别部109a通过分析关于目标用户u11的成像信息和语音信息来识别肢体信息的示例。然而,识别部109a可以通过应用由模型md1表示的关于目标用户u11的成像信息来识别(预测)关于目标用户u11的肢体信息。在这种情况下,识别部109a不需要分析成像信息或语音信息。这使得当例如从目标用户u11接收到订单时,可以在较短的时间段内迅速地识别肢体信息。

此外,学习部109g通过经由机器学习来学习目标用户对对象的可操作性来生成模型md2。例如,学习部109g通过基于目标用户的手大小,经由机器学习来学习餐具项目之间的位置关系(例如,餐具项目之间的间隙的大小)来生成模型md2,该位置关系向目标用户提供操作的方便。现在将参照图10的示例来描述这一点。图10是示出根据本公开内容的机器学习的示例的构思图。

如图10中所示,学习部109g生成模型md2,该模型md2是用于例如在接收到关于目标用户的肢体信息(例如,身高、就坐高度、臂长度、臂受伤处、年龄、手大小和主导臂)的输入时输出(预测)指示目标用户是否能够容易地抓握所递送的对象、指示抓握操作是否安全以及指示针对餐具抓握的优选餐具布置(布置位置和取向)的信息的预测模型。如图10所示,学习部109g能够生成模型md2,该模型md2不仅基于肢体信息的输入,还基于餐具信息、食物信息以及桌面信息的输入。应当注意,学习部109g可以生成可以同时输入多个餐具信息的模型md2。

(执行部109h)

执行部109h执行用于在对象被递送并放置在由确定部109c确定的布置位置的情况下评估目标用户对对象的可操作性的操作计划。例如,执行部109h执行用于在对象被递送并放置在由确定部109c确定的布置位置处的情况下评估目标用户对对象的可操作性的操作计划。目标用户的可操作性例如指示目标用户是否能够容易地抓握所递送的对象,指示抓握操作是否安全以及指示针对餐具抓握的优选餐具取向。例如,在根据由确定部109c确定的间隙大小将餐具项目布置在桌子t上的情况下,执行部109h执行用于确定目标用户是否能够容易地抓握餐具项目的操作计划。

例如,执行部109h能够执行用于应用(更新)机器人设备100至目标用户的肢体结构和位置的操作计划。更具体地,执行部109h返回到用于评估与目标用户具有相同的手大小或臂大小并且与目标用户具有相同的关节结构的操纵器是否能够在机器人设备100的躯干处于目标用户所就坐的位置处时容易地抓握目标对象(餐具)的操作计划。执行部109h能够将任何方法应用于这样的操作计划。执行部109h能够使用诸如openrave(开放机器人自动化虚拟环境)的开源。然后,执行部109h以上述方式执行操作计划,以模拟对象是否处于适当的位置关系(例如就餐具项目之间的间隙的大小而言)。

此外,执行部109h可以将机器学习的结果应用于操作计划。例如,执行部109h基于在将各种信息输入至由学习部109g学习的模型md2时输出的信息来执行模拟。此外,确定部109c根据基于操作计划的模拟结果来校正对象布置位置。

<3.指令设备的配置>

(指令设备的配置(1))

现在将参照图11描述根据本公开内容的实施方式的指令设备50的配置。如早前所提及的,指令设备50是由目标用户使用的信息处理设备。例如,在目标用户要发出关于例如布置位置、餐具和食物的提议、请求或指令的情况下,目标用户通过使用指令设备50来输入指令的内容。图11是示出用于控制根据本公开内容的实施方式的指令设备50的功能配置的示意图。如图11所示,指令设备50包括输入接收部51、控制部52、显示部53、通信部54和存储部55。

(输入接收部51)

输入接收部51从目标用户接收各种信息的输入。例如,输入接收部51接收关于目标用户的指令的指令信息,该目标用户的指令与由机器人设备100的确定部109c确定的布置位置有关。此外,例如,除了关于布置位置的指令之外,输入接收部51还接收关于所订购的菜单和餐具的指令。由输入接收部51接收到的信息通过通信部54被发送至机器人设备的接收部109e。输入接收部51例如包括触摸面板和键盘。本实施方式假设指令设备50是平板终端。因此,在本实施方式中,采用触摸面板用于输入接收部51。

(控制部52)

控制部52控制关于机器人设备100的信息。例如,控制部52提供用于使显示部53显示指示由机器人设备100的确定部109c确定的布置位置的布置信息的显示控制。控制部52生成例如指示布置位置的布置图像,将所生成的布置图像提供给显示部53,并且使显示屏53a显示该布置图像。

(显示屏53a)

显示部53显示由控制部52提供的信息。在图11的示例中,采用诸如显示设备的显示屏的所谓的常见显示屏53a作为显示部53。因此,显示屏53a显示例如由控制部52提供的布置图像。

(通信部54)

通信部54例如由nic实现。然后,通信部54有线地或无线地连接至网络,并且例如向机器人设备100发送信息并且从机器人设备100接收信息。例如,通信部54将由输入接收部51接收到的信息发送至机器人设备100的接收部109e。

(存储部55)

存储部55存储由输入接收部51接收到的信息。存储部55可以将由输入接收部51接收到的信息存储为文本或图像。

现在将参照图13描述由目标用户执行的指令操作的示例。图13是示出根据本公开内容的显示在显示屏53a上的布置图像的示例的图。在图13的示例中,控制部52基于由确定部109c确定的布置位置来生成指示餐具放置的图像信息g1,并且使显示屏53a显示所生成的图像信息g1。例如,控制部52生成图像信息g1,该图像信息g1被控制成允许目标用户通过触摸图像信息g1中包括的餐具项目的图像来自由移动餐具项目的图像。当目标用户是想要发出用于根据他/她的偏好校正由图像信息g1指示的布置位置的指令的目标用户u11时,目标用户u11触摸目标餐具图像,然后将目标餐具图像滑动至期望的位置。例如,在要将装有面包的餐具向左进一步移动的情况下,目标用户u11触摸相关联的餐具图像,向左滑动相关联的餐具图像,直到它到达期望的位置,并且停止触摸相关联的餐具图像。

当到期望位置的上述改变终止时,目标用户u11按下显示在显示屏53a的右下角的“应用改变按钮”。这样完成了目标用户u11对关于布置位置的指令(提议)的输入。此外,输入接收部51接收图像信息g1作为指令信息,该图像信息g1被改变成表示通过目标用户按下“应用改变按钮”而应用至布置位置的改变。此外,输入接收部51将改变的图像信息g1存储在存储部55中。通信部54从存储部55获取经改变的图像信息g1,并且将经改变的信息g1发送至机器人设备100的接收部109e。在这种情况下,例如,基于由接收部109e接收到的指令信息,确定部109c基于来自目标用户u11的指令来校正布置位置。

应当注意,图13的示例描绘了被显示在显示屏53a的右上角的“接受初始确定按钮”。在例如不需要发出关于由机器人设备200确定的布置位置的特定指令的情况下,目标用户u11可以按下“接受初始确定按钮”。此外,在这种情况下,机器人设备100确定餐具放置在初始确定的布置位置处。此外,尽管未在图13中描绘,控制部52也能够使显示屏53a以文本形式(例如,“对烹饪方法有什么要求?”)或输入字段来显示问题,以接收例如关于订购的菜单和餐具的指令。

如上所述,机器人设备100能够从目标用户接收关于确定的布置位置的各种反馈。因此,机器人设备100能够识别目标用户的偏好(例如,布置偏好)并且促进与目标用户的通信。

(指令设备的配置(2))

已经参照图11描述了指令设备50的配置。然而,指令设备50的配置不限于图11中所示的示例性配置。现在将参照图12来描述指令设备50的替选配置。图12是示出用于控制根据本公开内容的实施方式的指令设备50的功能配置的示意图。应当注意,除了包括投影仪53b代替显示屏53a之外,图12所描绘的指令设备50具有与图11所示的配置相似的配置。因此,将不再冗余地描述由与图11中的附图标记相似的附图标记表示的处理部。

(投影仪53b)

显示部53显示由控制部52提供的信息。在图12的示例中,采用将由控制部52提供的信息投影(显示)在预定地点上的投影仪53b作为显示部53。因此,例如,投影仪53b将由控制部52提供的布置图像投影在预定地点(例如,桌子t)上。此外,图12假设采用相机作为输入接收部51。因此,在图12的示例中,可以说输入接收部51可以被称为成像部51。

现在将描述投影仪53b的示例性功能和充当相机的输入接收部51的示例性功能。图11描绘了其中指令设备50显示图像信息g1中包括的并且可移动以接收表示由目标用户u11对图像信息g1执行的改变操作的指令的餐具图像的示例。然而,在图12的示例中,投影仪53b投影图像信息g1,并且然后输入接收部51在投影的图像信息g1上捕获由目标用户u11做出的手势的运动图像,以接收用于改变布置位置的指令。

例如,在控制部52的控制下,投影仪53b将由控制部52生成的图像信息g1投影到桌子t上。在目标用户u11在所得出的状态下想要根据他/她的偏好发出用于校正由投影的图像信息g1指示的布置位置的指令的情况下,目标用户u11在餐具图像上做手势。例如,在目标用户u11想要将装有面包的餐具进一步向左移动的情况下,目标用户u11将他/她的手指放置在餐具图像上,将手指向左移动到期望的位置,并且将手指停止在期望位置处。输入接收部51通过捕获目标用户u11的手指的运动图像来接收用于改变布置位置的指令。

然后,输入接收部51在图像信息g1中指示通过目标用户的手势指定的布置位置,并且接收指示用户指定的布置位置的图像信息g1作为指令信息。此外,输入接收部51将图像信息g1存储在存储部55中。通信部54从存储部55获取图像信息g1,并且将所获取的图像信息g1发送至机器人设备100的接收部109e。在这种情况下,例如,基于由接收部109e接收到的指令信息,确定部109c根据来自目标用户u11的指令来校正布置位置。

如上所述,机器人设备100能够从目标用户接收关于确定的布置位置的各种反馈。因此,机器人设备100能够识别目标用户的偏好(例如,布置偏好)并且促进与目标用户的通信。

<4.处理步骤>

现在将参照图14描述根据本公开内容的实施方式的信息处理步骤。图14是示出根据本公开内容的实施方式的信息处理步骤的流程图。为了说明的目的,图14描绘了在餐具放置时要确定餐具布置位置(餐具放置位置)的情况。在目标用户u11是要向其递送餐具的递送目标用户的假设下给出以下描述。

首先,接收部109e确定是否从目标用户u11接收到菜单的订单(步骤s101)。在没有从目标用户u11接收到菜单的订单(在步骤s101处为“否”)的情况下,接收部109e待机,直到接收到这样的订单。

在接收部109e已确定由目标用户u11订购菜单(在步骤s101处为“是”)的情况下,识别部109a识别关于目标用户u11的肢体信息,并且确定部109c确认由识别部109a识别的肢体信息,以确定关于餐具放置位置是否存在要考虑的必要因素(步骤s102)。应当注意的是,尽管未在图14中描绘,但是识别部109a识别要用每种已订购食品装填的餐具和要用于食用每种已订购食品的餐具(用餐器具)。此处,假设识别部109a已经识别如参照图1所描述的餐具m1、餐具m2、餐具m3、餐具e1和餐具e2。

在确定部109c已确定关于餐具放置位置不需要考虑一些因素(在步骤s102处为“否”)的情况下,确定部109c根据一般规则来确定餐具放置位置(步骤s103b)。同时,在确定关于餐具放置位置存在要考虑的必要因素(在步骤s102处为“是”)的情况下,确定部109c基于订购的食物来确认餐具的状况(餐具状况)(步骤s103a)。餐具状况包括例如装有食物的餐具的温度、形状、大小和内容(即食物)。这些状况例如可以在步骤s102中由识别部109a来识别。在这种情况下,确定部109c确认由识别部109a识别的餐具状况。

接下来,基于关于目标用户u11的肢体信息和餐具状况,确定部109c确定要放置餐具m1、餐具m2、餐具m3、餐具e1和餐具e2的布置位置(步骤s104)。如果例如在步骤s102中确定由于目标用户u11在他/她的右臂上受伤而关于餐具放置位置存在要考虑的必要因素,则确定部109c在排除右臂可移动范围的左臂可移动范围内确定餐具m1、餐具m2、餐具m3、餐具e1和餐具e2的布置位置。例如,确定部109c确定左臂可移动范围内的布置位置,以将餐具m1放置在中心的前方,将餐具m2放置在餐具m1的左后方,并且将餐具m3放置在餐具m1的右后方。此外,确定部109c确定装有热食的餐具放置在左臂可移动范围的后方。在这种情况下,确定部109c还确定要放置的餐具的取向(例如,将餐具手柄向左定向)。

接下来,输出控制部109d向目标用户u11呈现指示由确定部109c确定的布置位置的布置信息(步骤s105)。例如,输出控制部109d使预定的显示屏显示布置信息。例如,输出控制部109d使由目标用户u11持有的指令设备50的显示屏53a显示布置信息。例如,输出控制部109d控制指令设备50的控制部52,以在显示屏53a上显示与布置信息对应的图像信息。如参照图13所描述的,目标用户u11能够将包括在图像信息中的餐具图像移动到期望位置,以发出用于将相关联的餐具放置在期望位置处的指令。作为由输入接收部51接收的指令信息,指令设备50的通信部54将指示有改变或指示无改变的指令信息发送至机器人设备100的接收部109e。

接收部109e接收关于布置位置的指令信息,并且确定部109c确定由接收部109e接收到的指令信息是表示用于改变布置位置的指令还是表示用于保持布置位置不改变的指令(步骤s106)。在由接收部109e接收到的指令信息提出改变布置位置的提议(在步骤s106处为“是”)的情况下,确定部109c采用由指令信息所提议的布置位置(步骤s107a)。更具体地,基于由指令信息所提议的布置位置,确定部109c校正在步骤s104中确定的布置位置。同时,在由接收部109e接收到的指令信息表示用于保持布置位置不改变的指令(在步骤s106处为“否”)的情况下,确定部109c采用在步骤s104中确定的布置位置而不改变它们(步骤s107b)。此外,确定部109c将指示在步骤s107中确定(校正)的布置位置的布置信息发送至操作控制部109f。

操作控制部109f控制机器人设备100以将餐具放置在由确定部109c确定的布置位置处。例如,操作控制部109f控制驱动部107,以使机器人设备100的主体移动到目标用户u11(例如,桌子t)的位置。此外,例如,操作控制部109f控制操纵器106以抓握餐具并根据由确定部109c确定的布置位置行进。根据这样的控制,机器人设备100抓握餐具并且移动到桌子t(步骤s108)。随后,在到达桌子t时,机器人设备100开始执行餐具放置工作(步骤s109)。在这种情况下,输出部104可以在操作控制部109f的控制下向目标用户输出预定信息。在要放置热餐具的情况下,输出部104输出诸如“小心热餐具”的话音消息。

在以上情况下,可能出现如下情况:观看机器人设备100布置餐具的目标用户u11想要改变餐具布置位置。例如,可能存在如下情况:由于由机器人设备100设置的餐具实际上被放置得远离目标用户u11,因此不能容易地处理餐具。在这种情况下,目标用户u11发出用于对布置位置进行期望的改变的指令。在这种情况下,目标用户u11能够通过与机器人设备100交谈或通过将改变的描述输入至指令设备50来直接指定改变。因此,例如,接收部109e确定是否接收到用于改变布置位置的指令(步骤s110)。在没有发出用于改变布置位置的指令(在步骤s110处为“否”)的情况下,接收部109e进行至步骤s112。同时,在由接收部109e接收到用于改变布置位置的指令(在步骤s110处为“是”)的情况下,确定部109c基于该指令来校正布置位置(步骤s111)。

接下来,执行部109h执行操作计划,并且评估在餐具被放置在由确定部109c确定的布置位置处或放置在根据需要基于来自目标用户u11的指令校正的布置位置处的情况下目标用户u11是否能够容易地抓握餐具,并且然后最终,确定部109c基于评估结果来微调布置位置(步骤s112)。在例如由执行部109h基于操作计划执行的模拟结果指示抓握困难的情况下,确定部109c计算餐具项目之间的间隙的大小,该间隙允许目标用户u11的手的大小容易地抓握餐具。然后,确定部109c微调当前布置位置,直到它们产生计算的大小的间隙。现在,机器人设备100完成了根据本公开内容的实施方式的信息处理和餐具放置工作。

<5.硬件配置>

根据实施方式的机器人设备100例如由如图15所示的那样配置的计算机1000来实现。图15是示出实现机器人设备100的功能的计算机1000的示例的硬件配置图。计算机1000包括cpu1100、ram1200、rom(只读存储器)1300、hdd(硬盘驱动器)1400、通信接口1500以及输入/输出接口1600。计算机1000的各个部通过总线1050来连接。

cpu1100基于存储在rom1300或hdd1400中的程序进行操作以控制各个部。例如,cpu1100将存储在rom1300或hdd1400中的程序加载到ram1200中,并且执行与各种程序对应的处理。

rom1300存储例如在计算机1000启动时由cpu1100执行的诸如bios(基本输入输出系统)的启动程序以及取决于计算机1000的硬件的程序。

hdd1400是计算机可读的非暂态记录介质,其记录例如要由cpu1100执行的程序以及由这样的程序使用的数据。更具体地,hdd1400是用于记录根据本公开内容的图像处理程序(其是程序数据1450的示例)的记录介质。

通信接口1500是用于将计算机1000连接至外部网络1550(例如,因特网)的接口。例如,通过通信接口1500,cpu1100从其他设备接收数据,并且将由cpu1100生成的数据发送至其他设备。

输入/输出接口1600是用于将输入/输出装置1650连接至计算机1000的接口。例如,cpu1100通过输入/输出接口1600从诸如键盘或鼠标的输入装置来接收数据。此外,cpu1100通过输入/出接口1600将数据发送至输出装置,例如显示器、扬声器或打印机。此外,输入/输出接口1600可以用作用于读取例如在预定记录介质(介质)上记录的程序的介质接口。介质包括例如光学记录介质如dvd(数字多功能盘)或pd(相变可重写盘)、磁光记录介质如mo(磁光盘)、磁带介质、磁记录介质和半导体存储器。

在例如计算机1000用作根据本公开内容的实施方式的机器人设备100的情况下,计算机1000中的cpu1100通过执行被加载到ram1200中的信息处理程序来实现例如控制部109的功能。此外,hdd1400将根据本公开内容的信息处理程序以及数据存储在存储部108中。应当注意,cpu1100从hdd1400读取程序数据1450,并且执行读取的程序数据1450。然而,替选地,可以通过外部网络1550获取程序数据1450。

应当注意,本技术可以采用以下配置。

(1)

一种信息处理设备,包括:

确定部,其基于关于目标用户的身体的肢体信息来确定在将对象递送至所述目标用户时所述对象的布置位置,所述目标用户是要向其递送所述对象的用户。

(2)

根据(1)所述的信息处理设备,其中,所述确定部根据允许所述目标用户移动其身体并且基于所述肢体信息的范围,来确定所述对象的布置位置。

(3)

根据(1)或(2)所述的信息处理设备,其中,在存在多个所述目标用户的情况下,所述确定部基于多个所述目标用户之间的关系来确定所述对象的布置位置。

(4)

根据(1)至(3)中任一项所述的信息处理设备,其中,所述确定部基于关于较高级别用户的肢体信息和关于较低级别用户的肢体信息来确定所述对象的布置位置,所述较高级别用户是所述目标用户之一并且在所述关系中处于较高级别,所述较低级别用户是所述目标用户之一并且在所述关系中处于较低级别。

(5)

根据(1)至(4)中任一项所述的信息处理设备,其中,所述确定部根据允许所述较高级别用户移动其身体并且排除所述较低级别用户能够移动其身体的范围的范围来确定所述对象的布置位置。

(6)

根据(1)至(5)中任一项所述的信息处理设备,还包括:获取部,其获取所述肢体信息。

(7)

根据(1)至(6)中任一项所述的信息处理设备,其中,所述获取部获取指示年龄、臂长度、主导臂、肢体障碍或可能的上身倾斜量中的至少一个的信息作为所述肢体信息。

(8)

根据(1)至(7)中任一项所述的信息处理设备,其中,所述获取部获取由模型输出的肢体信息作为所述肢体信息,所述模型是通过学习所述目标用户的外观与关于所述目标用户的肢体信息之间的关系而生成的。

(9)

根据(1)至(8)中任一项所述的信息处理设备,其中,所述确定部基于所述对象的状况来确定所述对象的布置位置。

(10)

根据(1)至(9)中任一项所述的信息处理设备,其中,所述确定部基于所述对象的状况和所述目标用户的肢体结构来确定所述对象的布置位置。

(11)

根据(1)至(10)中任一项所述的信息处理设备,其中,所述确定部基于所述对象的状况即所述对象的温度、所述对象的形状、所述对象的大小或所述对象的内容中的至少一个,来确定所述对象的布置位置。

(12)

根据(1)至(11)中任一项所述的信息处理设备,其中,所述确定部基于所述目标用户对所述对象的可操作性来确定所述对象之间的位置关系,并且基于所确定的位置关系来确定所述布置位置。

(13)

根据(1)至(12)中任一项所述的信息处理设备,其中,所述确定部基于模型来确定所述对象的布置位置,所述模型是通过经由机器学习来学习关于所述目标用户的肢体信息以及关于所述对象的布置的信息而生成的。

(14)

根据(1)至(13)中任一项所述的信息处理设备,还包括:

执行部,其执行用于评估在所述对象被递送并放置在由所述确定部确定的布置位置处的情况下所述目标用户对所述对象的可操作性的操作计划,

其中,所述确定部根据基于所述操作计划的模拟结果来校正所述对象的布置位置。

(15)

根据(1)至(14)中任一项所述的信息处理设备,还包括:

接收部,其从所述目标用户接收关于要递送至所述目标用户的所述对象的布置位置的指令,

其中,所述确定部基于由所述接收部接收到的指令来确定所述对象的布置位置。

(16)

根据(1)至(15)中任一项所述的信息处理设备,其中,所述确定部基于关于所述目标用户的肢体信息来确定要递送至所述目标用户的对象或要递送至所述目标用户的对象的使用风格。

(17)

根据(1)至(16)中任一项所述的信息处理设备,还包括:

移动部,其将所述对象移动至由所述确定部确定的布置位置。

(18)

根据(1)至(17)中任一项所述的信息处理设备,其中,所述确定部确定餐具的放置位置,作为所述对象的装有食物的餐具项目将被放置在所述餐具的放置位置处。

(19)

一种信息处理方法,包括:

执行基于关于目标用户的身体的肢体信息来确定在将对象递送至所述目标用户时所述对象的布置位置的处理,所述目标用户是要向其递送所述对象的用户。

(20)

一种用于使计算机执行包括以下操作的处理的信息处理程序:

基于关于目标用户的身体的肢体信息来确定在将对象递送至所述目标用户时所述对象的布置位置,所述目标用户是要向其递送所述对象的用户。

(21)

一种设备,包括:

机器人臂装置,其被配置成布置一个或更多个对象;以及

电路,其被配置成:

确定用户的一个或更多个特征;

基于所确定的所述用户的一个或更多个特征,来确定要布置的所述一个或更多个对象中的每个对象的布置位置;以及

启动对所述机器人臂装置的控制,以根据所确定的所述对象的布置位置来布置每个对象。

(22)

根据(21)所述的设备,其中,所述电路确定每个对象的布置位置以被定位在距所述用户的预定半径内。

(23)

根据(21)或(22)所述的设备,其中,所述电路基于从捕获的所述用户的图像获得的图像信息、与所述用户有关的语音信息、或文本输入中的至少一个来确定所述用户的一个或更多个特征。

(24)

根据(21)至(23)中任一项所述的设备,其中,所述用户的一个或更多个特征包括所述用户的身高、坐高、年龄、臂长度、手大小或主导臂中的至少一个。

(25)

根据(21)至(24)中任一项所述的设备,其中,所述用户的一个或更多个特征包括所述用户的健康状况。

(26)

根据(21)至(25)中任一项所述的设备,其中,所述用户的健康状况识别所述用户是否受伤或肢体障碍。

(27)

根据(21)至(26)中任一项所述的设备,其中,当所述用户的健康状况识别所述用户受伤时,所述用户的健康状况进一步识别所述用户的哪个身体部位受伤或肢体障碍。

(28)

根据(21)至(27)中任一项所述的设备,其中,所述电路确定每个对象的布置位置,以避免所述用户不得不使用受伤或肢体障碍的任何身体部位。

(29)

根据(21)至(28)中任一项所述的设备,其中,所述用户的一个或更多个特征包括所述用户的右臂可移动范围或左臂可移动范围中的至少一个。

(30)

根据(21)至(29)中任一项所述的设备,其中,所述一个或更多个对象包括一个或更多个餐具。

(31)

根据(21)至(30)中任一项所述的设备,

其中,所述电路还被配置成识别每个对象的状况,并且

其中,所述电路基于所识别的所述对象的状况来确定每个对象的布置位置。

(32)

根据(21)至(31)中任一项所述的设备,其中,所识别的每个对象的状况包括所述对象的温度、形状、大小或内容中的至少一个。

(33)

根据(21)至(32)中任一项所述的设备,其中,所识别的每个对象的状况是基于由一个或更多个传感器获取的信息来识别的。

(34)

根据(21)至(33)中任一项所述的设备,其中,所述设备包括所述一个或更多个传感器。

(35)

根据(21)至(34)中任一项所述的设备,其中,所述一个或更多个传感器包括成像传感器、音频传感器、距离传感器或飞行时间传感器中的至少一个。

(36)

根据(21)至(35)中任一项所述的设备,

其中,所述一个或更多个传感器包括成像传感器,并且

其中,所述成像传感器包括相机、红外相机或热成像传感器中的至少一个。

(37)

一种布置一个或更多个对象的方法,所述方法包括:

确定用户的一个或更多个特征;

基于所确定的所述用户的一个或更多个特征,来确定要布置的一个或更多个对象中的每个对象的布置位置;以及

控制机器人臂装置,以根据所确定的所述对象的布置位置来布置每个对象。

(38)

一种包含有程序的非暂态计算机可读存储介质,所述程序在由计算机执行时使所述计算机执行方法,所述方法包括:

确定用户的一个或更多个特征;

基于所确定的所述用户的一个或更多个特征,来确定要布置的一个或更多个对象中的每个对象的布置位置;以及

控制机器人臂装置,以根据所确定的所述对象的布置位置来布置每个对象。

以上描绘的每个设备的部件是功能性的和构思性的,并且不必总是如所描绘的那样物理地配置。换言之,各种设备的分散/集成的细节不限于所描绘的那些。各种设备的全部或一部分可以通过例如根据各种负载和用途在期望的单元中经历功能或物理分散/集成来配置。

尽管已经参照附图详细描述了本申请的实施方式,但是这样的描述仅用于说明性目的。基于本领域技术人员的知识,本发明不仅可以通过所公开的发明的实施方式来实现,而且可以由通过进行各种修改和改进获得的其他实施方式来实现。

在本说明书中描述的实施方式的优点仅仅是说明性的而不是限制性的。本发明不限于所描述的优点,并且可以提供另外的优点。

附图标记列表

50指令设备

51输入接收部

52控制部

53显示部

53a显示屏

53b投影仪

54通信部

55存储部

100机器人设备

101通信部

102相机

103麦克风

104输出部

105距离传感器

106操纵器

107驱动部

108存储部

109控制部

109a识别部

109b获取部

109c确定部

109d输出控制部

109e接收部

109f操作控制部

109g学习部

109h执行部

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1