人体识别系统及人体识别方法与流程

本发明涉及利用机器人来对人体(以下也称为“人物”)进行识别的人体识别系统及人体识别方法。

背景技术：

以往，存在如下的机器人控制系统：在机器人所获取的图像与保存在机器人控制装置中的图像相似的情况下，基于该图像所附带的属性数据，来决定机器人的动作。

例如，专利文献1中记载了一种机器人控制系统，其通过经由网络的通信，对搭载在移动式机器人上的摄像头所获取的数据(脸部图像数据)进行积累，并基于积累的数据来对移动式机器人实现动作控制。

现有技术文献

专利文献

专利文献1：日本专利特开2015－163415号公报

技术实现要素：

发明所要解决的技术问题

然而，专利文献1所记载的技术中，当人物没有朝向摄像头的方向时或者人物低头注视移动终端等的画面而向下时，或者人物带着口罩等的情况下，搭载于移动式机器人的摄像头就拍摄不到人物的脸部。若移动式机器人的摄像头拍摄不到人物的脸部，则难以对人物进行确定并实现移动式机器人的动作控制。

基于上述状况，希望即使在搭载于机器人的摄像头拍摄不到人物脸部的情况下，也能够识别出机器人附近的人物。

解决技术问题所采用的技术方案

本发明的一个方式的人体识别系统包括：具备摄像头且能够移动的机器人；配置于比该机器人要高的位置的监视摄像头；控制机器人的机器人控制装置；以及控制监视摄像头的摄像头控制装置。

在该人体识别系统中，摄像头控制装置具备步态识别处理部，该步态识别处理部从监视摄像头获取监视摄像头所拍摄到的人体的步行图像，并根据步行图像生成步态识别信息。机器人控制装置还具备：脸部识别处理部，该脸部识别处理部从机器人获取该机器人的摄像头所拍摄到的人体的脸部图像，并根据脸部图像生成脸部识别信息；以及用户识别信息表，该用户识别信息表从摄像头控制装置获取步态识别信息，并将步态识别信息和脸部识别信息与对应的人体的标识符对应起来存储。

发明效果

根据本发明的至少一个方式，即使在搭载于机器人的摄像头拍摄不到人体脸部的情况下，也能够识别机器人附近的人体。

上述以外的问题、结构及效果通过以下实施方式的说明来进一步明确。

附图说明

图1是表示本发明的实施方式1所涉及的机器人管理系统的整体结构的框图。

图2是表示本发明的实施方式1所涉及的机器人的结构例的框图。

图3是表示本发明的实施方式1所涉及的机器人控制装置的结构例的框图。

图4是表示本发明的实施方式1所涉及的机器人监视中心的结构例的框图。

图5是表示本发明的实施方式1所涉及的监视摄像头的结构例的框图。

图6是表示本发明的实施方式1所涉及的摄像头控制装置的结构例的框图。

图7是表示本发明的实施方式1所涉及的机器人管理表的例子的说明图。

图8是表示本发明的实施方式1所涉及的监视摄像头管理表的例子的说明图。

图9是表示本发明的实施方式1所涉及的用户识别信息表的例子的说明图。

图10是表示本发明的实施方式1所涉及的脸部识别信息表的例子的说明图。

图11是表示本发明的实施方式1所涉及的步态识别信息表的例子的说明图。

图12是表示本发明的实施方式1所涉及的机器人与监视摄像头的配置例的说明图。

图13是表示本发明的实施方式1所涉及的摄像头控制装置的步态信息获取处理方法的步骤的流程图。

图14是表示本发明的实施方式1所涉及的以机器人不会移动到区域外为前提的情况下的机器人控制装置的用户信息登记处理方法的步骤的流程图(1)。

图15是表示本发明的实施方式1所涉及的以机器人不会移动到区域外为前提的情况下的机器人控制装置的用户信息登记处理方法的步骤的流程图(2)。

图16是本发明的实施方式2所涉及的在随着机器人的移动从而能够拍摄到机器人所在位置的监视摄像头会发生变更的环境下的机器人控制装置的用户信息登记处理方法的步骤的流程图(1)。

图17是本发明的实施方式2所涉及的在随着机器人的移动从而能够拍摄到机器人所在位置的监视摄像头会发生变更的环境下的机器人控制装置的用户信息登记处理方法的步骤的流程图(2)。

具体实施方式

下面，参照附图，对用于实施本发明的实施方式的例子(以下也称为“本例”)进行说明。附图中，对于具有实质相同的功能或结构的构成要素标注相同的标号，并省略重复说明。

<1.实施方式1>

[机器人管理系统的整体情况]

图1是表示本发明的实施方式1所涉及的机器人管理系统的整体结构的框图。机器人管理系统是本发明的人体识别系统的一个方式。

如图1所示，机器人管理系统1具备：为客户提供建议的机器人100、控制各机器人100的动作并对从各机器人100获取的数据进行处理的机器人控制装置110、以及经由机器人控制装置100对各机器人100的配置进行管理的机器人监视中心120。机器人管理系统1还具备对建筑物300的内部进行拍摄的监视摄像头200、以及控制各监视摄像头200并进行数据处理的摄像头控制装置210。机器人100、机器人控制装置110、监视摄像头200和摄像头控制装置210可以是一台，也可以是多台。

机器人100和机器人控制装置110通过无线lan等连接，能够相互进行通信。机器人控制装置110和机器人监视中心120、摄像头控制装置210和机器人监视中心110通过互联网等通信网络n连接，能够相互进行通信。监视摄像头200和摄像头控制装置210、机器人控制装置110和摄像头控制装置210通过有线lan等连接，能够进行通信。机器人控制装置110和摄像头控制装置210彼此的距离较近的情况下，也可以通过无线lan等无线通信单元以可通信的方式进行连接。

机器人100配置在建筑物300中。机器人100是向着建筑物300内的行人(以下也称为“用户”)自主移动并对商品等提供建议的机器人(自主移动型机器人)。例如，机器人100将建筑物300内各楼层的电梯厅等预设位置作为待机位置，自主移动到对象用户的位置，对商品等提供建议。该机器人100与设置在建筑物300内的机器人控制装置110一直保持无线通信，并以无线的方式受机器人控制装置110的控制。例如，从上述待机位置移动到目的地的路径是根据机器人控制装置110发出的指示而设定的。另外，机器人100也可以是非自主移动的固定型机器人。

机器人控制装置110经由网络n，与设置在建筑物300外部的机器人监视中心120进行通信。网络n可以采用例如互联网。机器人监视中心120与多个建筑物的机器人控制装置110进行通信，监视机器人100的工作状态等。

另外，本例的机器人100的自主移动是指机器人自身进行的移动，而不是指移动所需的判断(路径的判断等)都由机器人自身自主地进行。即，机器人100的移动路径是如上所述地由机器人控制装置110发出的指示所设定的，机器人100本身并不具备判断自主移动路径等的结构。但也可以全由机器人100来进行移动所需的判断。

[机器人的结构]

图2是表示机器人100的结构例的框图。

机器人100具备进行各种处理的cpu(中央处理单元)101，并由在cpu101的控制下执行各种处理的计算机装置、以及与该计算机装置连接的周边设备构成。cpu101经由母线连接至存储各种信息的存储装置102、输入输出各种信息的输入输出装置103、以及能够与机器人控制装置110进行通信的通信接口104。

存储装置102具备输入输出部102a、方案处理部102b、驱动控制部102c和对话控制部102d。输入输出部102a、方案处理部120b、驱动控制部102c和对话控制部102d是基于cpu101发出的指令进行动作的计算机程序所具有的功能。cpu101从存储装置102读取出适当所需的计算机程序到未图示的主存储装置(例如ram(随机存取存储器))并执行。

输入输出部102a与输入输出装置103之间进行数据的收发，根据需要经由通信接口104与外部装置进行数据的收发。

方案处理部102b是机器人100执行用于实现应对动作(服务)的方案的程序，基于方案向驱动控制部102c和对话控制部102d发出指令。例如，在应对动作是“打招呼”的情况下，方案处理部102b向驱动控制部102c输出鞠躬或开口等的驱动指令，并且向对话控制部102d发出发声指令。方案处理部102b所执行的方案针对每一个应对动作而准备。另外，本例中，将方案处理部102b设置于机器人100，但也可以将方案处理部102b设置于机器人控制装置110。

驱动控制部102c根据方案处理部102b输出的基于方案数据的指令，进行使机器人100自主移动的驱动控制(移动服务)。

对话控制部102d根据方案处理部102b输出的基于方案数据的指令，与行人进行对话(对话服务)。对话控制部120d所进行的与行人的对话通常是使用后述的麦克风103e和扬声器103f通过语音来进行。也可以使用未图示的显示部、触摸屏等，通过显示和输入操作来进行对话。

输入输出装置103具备摄像部103a(摄像头)、测距传感器103b、陀螺仪传感器103c、驱动机构103d、麦克风103e和扬声器103f。

摄像部103a对机器人100的周围进行拍摄，并将拍摄得到的图像数据提供给存储装置102。摄像部103a使用ccd、cmos等摄像装置构成。该摄像部103a优选为配置于比拍摄对象即行人的身高(例如普通人的平均身高)要低的位置(参照后述的图12)。

测距传感器103b是照射激光或红外线信号，并检测来自周围物体的反射，从而计算测量出周围的空间形状的传感器。测距传感器103b计算测量得到的数据提供给存储装置102。

陀螺仪传感器103c检测机器人100上施加的角加速度，并将检测数据提供给存储装置102。

驱动机构103d基于驱动控制部102c发出的指示，使机器人100移动。驱动机构103d具备至少驱动车轮等的电动机。或者，在机器人100是人型机器人的情况下，为了进行步行的移动，具备驱动相当于脚的构件的致动器。

上述的驱动控制部102c在机器人100移动时，使用摄像部103a拍摄到的影像(拍摄图像)和测距传感器103b检测出的数据来进行避开障碍物等的动作。这里，测距传感器103b的检测数据是利用光波测定的表示周围形状的形状数据、表示到测定对象的距离的距离数据。此外，驱动控制部102c还使用陀螺仪传感器103c、测距传感器103b的数据，来检测建筑物300内的机器人100的当前位置。

麦克风103e获取引导对象者的语音，并将获取的语音数据提供给存储装置102。

扬声器103f输出对话控制部102d所生成的对话用语音等。

当机器人100在驱动机构103d的驱动下移动时，存储装置102的驱动控制部102c对摄像部103a拍摄到的图像、测距传感器103b检测出的周围状况进行判断，进行避开障碍物等的动作。此外，驱动控制部102c还基于陀螺仪传感器103c、测距传感器103b的检测数据等，判断建筑物300内的当前位置。本例的情况下，机器人100所能移动的可移动范围被限制在预先决定的范围内(后述图12的例子中的区域a内等)。即，驱动控制部102c判断得到的当前位置限于该可移动范围内的位置。

通信接口104执行与机器人控制装置110的无线通信。

[机器人控制装置的结构]

图3是表示机器人控制装置110的结构例的框图。

机器人控制装置110由在进行各种处理的cpu111的控制下执行各种处理的计算机装置构成。cpu111经由母线连接至存储装置112和通信接口113。

存储装置112具备输入数据处理部112a、输出数据处理部112b、脸部识别处理部112c和用户识别处理部112d。输入数据处理部112a、输出数据处理部112b、脸部识别处理部112c和用户识别处理部112d是基于cpu111的指令进行动作的计算机程序所具有的功能。另外，存储装置112中还具备通过基于cpu111的指令执行计算机程序而形成的脸部识别信息表112e、步态识别信息表112f、用户识别信息表112g和机器人管理表112h。

输入数据处理部112a对通信接口113从外部装置接收到的数据进行输入处理。

输出数据处理部112b对从通信接口113向外部装置发送的数据进行输出处理。

脸部识别处理部112c从所输入的由机器人100的摄像部103a拍摄到的影像(拍摄图像)中检测出人物的脸部，并计算该脸部图像的特征量，对人物的脸部进行识别。从脸部图像提取出特征量的处理是公知的技术，因此这里不再做详细说明。

用户识别处理部112d基于从人物的脸部图像得到的特征量和/或从人物的步行图像得到的特征量，对用户进行识别。该用户识别处理部112d能够基于机器人100的位置信息和能够拍摄到该机器人的监视摄像头200的位置信息，将机器人100获取到的脸部数据和监视摄像头200获取到的步态数据相关联地进行登记。然后，用户识别处理部112d参照用户识别信息表112g，决定对机器人100识别出的用户要进行的应对动作，并经由输出数据处理部112b，将该应对动作的指示输出到机器人100。这种情况下，用户识别处理部112d也作为机器人动作指示部发挥作用，但用户识别处理部112d和机器人动作指示部也可以由独立的程序构成。如后文所述，机器人控制装置110从摄像头控制装置210获取步行图像和特征量。

脸部识别信息表112中，由脸部识别处理部112c计算出的脸部图像的特征量通过脸部识别处理部112c与脸部信息id(脸部识别信息的例子)一起同用户id(identification)(人体标识符的例子)相关联地存储。利用脸部信息id，可以识别具有同一特征量的脸部图像。

步态识别信息表112f中，由摄像头控制装置210的步态识别处理部212c计算出的步行图像的特征量与步态信息id(步态识别信息的例子)一起同用户id相关联地存储。利用步态信息id，可以识别具有同一特征量的步行图像。该步态识别信息表112f的信息由机器人控制装置110从摄像头控制装置210获取。

用户识别信息表112g中，用户id与脸部信息id、步态信息id及应对动作等对应起来作为用户信息而存储。

机器人管理表112h存储各机器人100的管理数据。

通信接口113执行与机器人100、机器人监视中心120和摄像头控制装置210的通信。

[机器人监视中心的结构]

图4是表示机器人监视中心120的结构例的框图。

机器人监视中心120具备进行各种处理的cpu121，并由在cpu121的控制下执行各种处理的计算机装置、以及与该计算机装置连接的周边设备构成。cpu121经由母线连接至存储各种信息的存储装置122、能够与机器人控制装置110及摄像头控制装置210进行通信的通信接口123、以及显示部124。

存储装置122具备输入输出数据处理部122a和宣传数据管理部122e。输入输出数据处理部122a和宣传数据管理部122e是基于cpu121的指令进行动作的计算机程序所具有的功能。另外，存储装置122还具备通过基于cpu121的指令执行计算机程序而形成的脸部识别信息表122b、步态识别信息表122c、用户识别信息表122d和机器人管理表122f。

输入输出数据处理部122a对经由通信接口123与机器人100、摄像头控制装置210之间通信的数据进行输入处理或输出处理。

脸部识别信息表122b中汇总存储从多个机器人控制装置110获取的脸部信息id。

步态识别信息表122c中汇总存储从多个摄像头控制装置210获取的步态信息id。

用户识别信息表122d中汇总存储从多个机器人控制装置110和多个摄像头控制装置210获取到的信息和用户id(用户识别信息)。

机器人监视中心120根据脸部识别信息表122b、步态识别信息表122c和用户识别信息表122d，对从各机器人控制装置110和各摄像头控制装置210获取到的信息进行汇总管理。

宣传数据管理部122e生成与用户id相应的宣传数据，并发送给机器人100的方案处理部102b。宣传数据是与商品等的宣传相关的数据，例如在应对动作是“宣传”的情况下，发送至方案处理部102b。

机器人管理表122f中汇总存储由多个机器人控制装置110所管理的机器人100的管理数据。

通信接口123执行与机器人控制装置110和摄像头控制装置210的通信。

显示部124根据需要显示各表格的内容、脸部图像、步行图像等。显示部124使用液晶显示装置等。

[监视摄像头的结构]

图5是表示监视摄像头200的结构例的框图。

监视摄像头200具备进行各种处理的cpu201，并由在cpu201的控制下执行各种处理的计算机装置、以及与该计算机装置连接的周边设备构成。cpu201经由母线连接至存储各种信息的存储装置202、输入输出各种信息的输入输出装置203、以及能够与摄像头控制装置210进行通信的通信接口204。

存储装置202具备影像处理部202a。影像处理部202a是基于cpu201发出的指令进行动作的计算机程序所具有的功能。cpu201将需要的程序读取到未图示的主存储装置(例如ram)并适当地执行。

影像处理部202a对摄像部203a拍摄到的影像进行处理，并经由通信接口204发送到摄像头控制装置210。例如，影像处理部202a进行将从摄像部203a输出的原始数据(raw图像)转换成摄像头控制装置能够处理的数据格式的处理。

输入输出装置203具备摄像部203a(摄像头)。摄像部203a对监视摄像头200的周围进行拍摄，并将拍摄得到的图像数据提供给存储装置202。本实施方式中，优选为各机器人100存在于多个监视摄像头200中的至少一个监视摄像头200的拍摄范围内。即，优选为机器人100位于至少能被1个监视摄像头200拍摄到的位置。摄像部203a使用ccd、cmos等摄像装置构成。

通信接口204进行与摄像头控制装置210的通信。

[摄像头控制装置的结构]

图6是表示摄像头控制装置210的结构例的框图。

摄像头控制装置210由在进行各种处理的cpu211的控制下执行各种处理的计算机装置构成。cpu211经由母线连接至存储装置212和通信接口213。

存储装置212具备输入数据处理部212a、输出数据处理部212b和步态识别处理部212c。输入数据处理部212a、输出数据处理部212b和步态识别处理部212c是基于cpu211的指令进行动作的计算机程序所具有的功能。此外，存储装置212还具备通过基于cpu211的指令执行计算机程序而形成的步态识别信息表212d和监视摄像头管理表212e。

输入数据处理部212a对通信接口213从外部装置接收到的数据进行输入处理。

输出数据处理部212b对从通信接口213向外部装置发送的数据进行输出处理。

步态识别处理部212c根据所输入的由监视摄像头200的摄像部203a拍摄到的图像数据，计算人物的步行图像的特征量(以下称为“步态特征量”)。从步行图像提取出步态特征量的处理是公知的技术，因此这里不再做详细说明。

步态识别信息表212d中，由步态识别处理部212c计算出的步态特征量通过步态识别处理部212c同用户id相关联地存储。

监视摄像头管理表212e中存储各监视摄像头200的管理数据。

通信接口213执行与监视机器人200、机器人监视中心120和机器人控制装置110的通信。

[机器人管理表]

图7是表示机器人管理表112h、122f的例子的说明图。

机器人管理表112h、122f具备顾客id字段、设施id字段、全球ip字段、机器人id字段、本地ip字段和区域字段。各字段相互关联地进行管理。

“顾客id”是基于和机器人100的提供方签订的合约来使用机器人或本实施方式所涉及的商业模式的顾客固有的id。“设施id”是配置机器人的设施固有的id。例如，设施是建筑物、楼宇等的所有分区或一部分分区的使用者(商户、店铺、办公楼等)。“全球ip”是设施的通信设备的全球ip(互联网协议)地址。“机器人id”是分配给每一台机器人100的固有的id。“本地ip”是机器人100(通信接口104)的本地ip地址。“区域”表示设施内的机器人100的位置。

例如根据图7的例子，机器人提供方与顾客id“001”的顾客签订机器人提供合约，在设施id“001”的设施中使用2台机器人100，在设施id“002”的设施中使用1台机器人100。设施id“001”的设施中，机器人id“001”的机器人100配置在区域“b3”，机器人id“002”的机器人100配置在区域“b2”。此外，设施id“002”的设施中，机器人id“004”的机器人100配置在区域“c2”。

机器人控制装置110所具有的机器人管理表112h仅管理该机器人控制装置110控制的机器人100的信息。另一方面，机器人监视中心120所具有的机器人管理表122f管理该机器人监视中心120监视的所有机器人控制装置110所控制的机器人100的信息。机器人100具有驱动机构103d的情况下，使用机器人100所具有的测距传感器103b、机器人100所具有的驱动机构103d的移动历史(行走历史)、未图示的信标等，获取表示机器人100的位置的区域。

[监视摄像头管理表]

图8是表示监视摄像头管理表212e的例子的说明图。

监视摄像头管理表212e具备顾客id字段、设施id字段、全球ip字段、摄像头id字段、本地ip字段和区域字段。各字段相互关联地进行管理。下面对各表格的各字段进行说明，但对于名称重复的字段省略说明。

“顾客id”是顾客固有的id。“设施id”是设施固有的id。“全球ip”是设施的通信设备的全球ip地址。“摄像头id”是分配给每一个监视摄像头200的固有的id。“本地ip”是监视摄像头200(通信接口204)的本地ip地址。“区域”表示配置在设施内的监视摄像头200的位置。

例如根据图8的例子，对于机器人提供方与顾客id“001”的顾客签订了合约的机器人提供设施，在设施id“001”的设施中配置2个监视摄像头200，在设施id“002”的设施中配置1个监视摄像头200。在设施id“001”的设施中，摄像头id“001”的监视摄像头200配置在区域“b3”，摄像头id“002”的监视摄像头200配置在区域“b2”。此外，设施id“002”的设施中，摄像头id“004”的监视摄像头200配置在区域“c2”。

[用户识别信息表]

图9是表示用户识别信息表112g、122d的例子的说明图。

用户识别信息表112g、122d具备用户id字段、脸部信息id字段、步态信息id字段和应对动作字段。各字段相互关联地进行管理。

“用户id”是对用户识别信息表112g所管理的每一个用户分配的用户固有的id。“脸部信息id”是用于参照记录了由机器人100的摄像部103a拍摄到的脸部图像的脸部识别信息表112e、122b的id。“步态信息id”是用于参照记录了由监视摄像头200拍摄到的步行图像得到的步态信息的步态识别信息表112f、122c的id。“应对动作”是机器人100对用户进行的动作(服务)。

例如根据图9的例子，用户id“0001”与脸部信息id“0001”相关联。此外，用户id“0002”与脸部信息id“0002”、步态信息id“0001”、应对动作“打招呼”相关联。

机器人控制装置110所具有的用户识别信息表112g和机器人监视中心120所具有的用户识别信息表122d的内容相同。各用户识别信息表112g、122d定期地或者以规定的定时彼此同步地更新，从而使彼此的登记数据一致。

[脸部识别信息表]

图10是表示脸部识别信息表112e、122b的例子的说明图。

脸部识别信息表112e、122b具备脸部识别id字段、用户id字段、特征量字段和一个以上的脸部图像字段。各字段相互关联地进行管理。

“脸部信息id”是用于参照脸部识别信息表112e、122b的id。“用户id”是用户固有的id。“特征量”通过将从脸部图像提取出的脸部特征数值化后得到。本例的特征量是从多幅脸部图像的各脸部图像分别计算得到的特征量的平均值，但也可以为每一幅脸部图像登记特征量。“脸部图像”是机器人100的摄像部103a拍摄到的人物脸部的图像。

例如根据图10的例子，脸部信息id“0001”与用户id“0001”、特征量“facefeature1”、脸部图像1“faceimage11”～脸部图像n“faceimage1n”相关联。

机器人控制装置110所具有的脸部识别信息表112e和机器人监视中心120所具有的脸部识别信息表122b相同。各脸部识别信息表112e、122b定期地或者以规定的定时彼此同步地更新，从而使彼此的登记数据一致。

[步态识别信息表]

图11是表示步态识别信息表112f、122c、212d的例子的说明图。

步态识别信息表112f、122c、212d具备步态信息id字段、用户id字段、特征量字段和一个以上的步行图像字段。各字段相互关联地进行管理。

“步态信息id”是用于参照步态识别信息表112f、122c、212d的id。“用户id”是用户固有的id。“特征量”通过将从步行图像提取出的走路形态(步态)特征数值化后得到。本例的特征量是从多幅步行图像的各步行图像分别计算得到的特征量的平均值，但也可以为每一幅步行图像登记特征量。“步行图像”是监视摄像头200的摄像部203a拍摄到的人物步行时的图像。该步行图像是动态图像、或是以一定时间间隔连续的静止图像。

例如根据图11的例子，步态信息id“0001”与用户id“0002”、特征量“walkfeature1”、步行图像1“walkimage11”～步行图像“walkimage1n”相关联。

机器人控制装置110所具有的步态识别信息表112f、机器人监视中心120所具有的步态识别信息表122c以及摄像头控制装置210所具有的步态识别信息表212d相同。各步态识别信息表112f、112c、212d定期地或者以规定的定时彼此同步地更新，从而使彼此的登记数据一致。

下面，参照图12～图15，对在建筑物内获取用户的脸部信息和步态信息并与用户id相关联地登记的方法进行说明。

[机器人与监视摄像头的配置例]

图12是表示机器人100和监视摄像头200的配置例的说明图。

图12所示的例子中，机器人100和监视摄像头200设置在建筑物300的入口(自动门310)附近。本实施方式中，机器人100位于建筑物300地面所设定的区域a中，监视摄像头200设置在区域a的上方(墙壁或是天花板)。此时，机器人100和监视摄像头200配置在同一位置(区域a)。机器人100和监视摄像头200在同一位置是指机器人100位于监视摄像头200附近(规定距离内)，其一个示例为存在于同一区域内(例如区域a)。该机器人100和监视摄像头200的位置信息(区域信息)分别登记在机器人管理表112h、122f和监视摄像头管理表212e中。

本实施方式中，机器人100和监视摄像头200的位置(区域)相同，因此，将机器人100的摄像部103a拍摄到的脸部图像和监视摄像头200的摄像部203a拍摄到的步行图像作为同一人物的图像进行处理。但考虑到拍摄时在同一区域内会存在多名行人。在这种情况下，第1种方法是例如摄像头控制装置210将监视摄像头200的拍摄区域(例如区域a)分割成多个区域，获取与机器人100位于同一分割区域内的行人的步行图像的特征量。

或者第2种方法是摄像头控制装置210获取由监视摄像头200拍摄到的图像所显示出的多名行人中正被机器人100看着的行人(机器人100面向的方向上的行人)的步行图像的特征量。摄像头控制装置210的影像处理部202a能够实时地对拍摄图像所显示的机器人100的位置和方向、以及行人的位置进行分析。

另外，图12中，设置在自动门310旁边的验证装置320是输入用于识别用户u的信息并对用户进行验证的装置。验证装置320可以使用例如读取安全卡等的信息的卡片信息读取装置、使用用户的指纹等生物信息进行验证的生物验证装置等。例如，用户u要进入建筑物300内(区域a)时，在验证装置320上输入用户u的个人信息(卡片信息、生物信息等)，在本人确认正常结束之后才允许入内。

[摄像头控制装置进行的步态信息获取处理]

图13是表示摄像头控制装置210的步态信息获取处理方法的步骤的流程图。

首先，摄像头控制装置210的步态识别处理部212c根据从监视摄像头200获取的拍摄图像，判定有没有行人(s1)。在没有识别出行人的情况下，即没有发现行人的情况下(s1：否)，步态识别处理部212c继续执行步骤s1的判定处理。然后，当发现行人时(s1:是)，计算步行图像的特征量(也称为“步态特征量”)(s2)。

然后，步态识别处理部212c将步行图像及其特征量作为步态数据，经由通信接口213发送给控制同一区域内(或指定的区域内)的机器人100的机器人控制装置110(s3)。步骤s3的处理之后，摄像头控制装置210回到步骤s1的处理。另外，各装置之间进行数据的收发时，通过各装置的通信接口、输入数据处理部和输出数据处理部进行，但在以下的说明中省略各部的记载。

[机器人控制装置进行的用户信息登记处理]

图14和图15是表示以机器人100不会移动到区域外为前提的情况下的机器人控制装置100的用户信息登记处理方法的步骤的流程图(1)和(2)。图14和图15中，以机器人100和监视摄像头200所在的位置为同一区域，且即使在机器人100具有驱动机构103d的情况下也不会移动到区域外为前提。图14和图15示出在此前提下机器人控制装置110获取脸部信息和登记到用户识别信息表中的相关动作。

图14中，首先，机器人控制装置110的脸部识别处理部112c获取由同一区域内的机器人100的摄像部拍摄到的影像(拍摄图像)，并判定所获取的拍摄图像内是否存在人物的脸部(s11)。在拍摄图像内不存在人物脸部的情况下(s11：否)，脸部识别处理部112c继续执行步骤s11的判定处理。在步骤s11中检测到拍摄图像内有人物脸部存在的情况下(s11：是)，脸部识别处理部112c计算脸部图像的特征量，并将脸部图像及其特征量作为脸部数据进行保存(s12)。

然后，用户识别处理部112d判定是否从摄像头控制装置210接收到了步态数据(s13)。本例中，设定为摄像头控制装置210从监视摄像头200获取到步行图像值后，将步行图像及其特征量发送到机器人控制装置110。然后，用户识别处理部112d接收到步态数据时(s13：是)，计算接收到的步态数据与登记在步态识别信息表112f中的步态数据的一致度，并判定有没有一致度达到阈值以上的数据(s14)。

在步骤s14中有一致度达到阈值以上的步态数据的情况下(s14：是)，用户识别处理部112d将步态数据追加登记到步态识别信息表112f的相应的步态信息id下。接着，用户识别处理部112d计算步骤s12中获取到的脸部数据与登记在脸部识别信息表112e中的脸部数据的一致度，并判定有没有一致度达到阈值以上的脸部数据(s15)。

在步骤s15中有一致度达到阈值以上的脸部数据的情况下(s15：是)，脸部识别处理部112c将脸部数据追加登记到脸部识别信息表112e的相应的脸部信息id下。然后，用户识别处理部112d从步态识别信息表112f获取在步骤s14中一致度最大的步态数据的用户id，从脸部识别信息表112e获取在步骤s15中一致度最大的脸部数据的用户id，判定从步态识别信息表112f获取到的用户数据与从脸部识别信息表112e获取到的用户id是否相同(s16)。

步骤s16中双方的用户id一致的情况下(s16：是)，用户识别处理部112d控制为使得机器人100实施与该用户id相关联的用户的属性所对应的应对动作(适合于用户的服务)(s17)。具体而言，用户识别处理部112d从用户识别信息表112g读取出与该用户id相关联的应对动作，并将该应对动作的信息发送给机器人100。

然后，用户识别处理部112d判定是否继续进行用户信息的登记处理(s18)，在继续进行用户信息的登记处理的情况下(s18：是)，转移至步骤s11的处理。此外，在不继续进行用户信息的登记的情况下(s18：否)，用户识别处理部112d结束一连串的处理。

在上述步骤s16中双方的id不一致的情况下(s16：否)，用户识别处理部112d将双方的用户id加以合并(s19)。具体而言，用户识别处理部112d将脸部识别信息表112e的相应用户id和步态识别信息表112f的相应用户id合并为新生成的用户id，并在用户识别信息表112g中新增登记该用户id。另外，用户识别处理部112d将脸部识别信息表112e的相应用户id和步态识别信息表112f的相应用户id变更为合并后的用户id。而且，用户识别处理部112d还按照预先设定的基准，对用户识别信息表112g的合并前的各用户id相关联的“应对动作”也同样地进行合并。然后，用户识别处理部112d控制为使得在步骤s17中使机器人100实施与用户id相对应的应对动作。

在机器人100和监视摄像头200的位置(区域)相同的情况下，即使与脸部数据相关联的用户id和与步态数据相关联的用户id不一致，双方的用户id所指的也应当认为是同一人物。从而，如上所述，将双方的用户id合并是合理的，能够减少存储装置112的数据量。另外，在用户id合并时，例如将与步态数据相关联的另一用户id合并到与脸部数据相关联的用户id中。用户id合并之后，该另一用户id被删除。或者，在假设获取时间较新的一方数据反映的是最新的用户状态的情况下，也可以将获取时间较旧的其他用户id相关联的数据合并到获取时间较新的数据相关联的用户id中。

另一方面，在步骤s15中没有一致度达到阈值以上的脸部数据的情况下(s15：否)，用户识别处理部112d在步态数据一致的用户id下相关联地登记新的脸部信息id和脸部数据。具体而言，用户识别处理部112d从步态识别信息表112f获取步骤s14中一致度最大的步态数据的用户id，将新的脸部信息id与相应用户id及步骤s12中获取到的脸部数据相关联地登记到脸部识别信息表112e中(s20)。然后，用户识别处理部112d控制为使得在步骤s17中使机器人100实施与用户id相对应的应对动作。

此外，在步骤s14中没有一致度达到阈值以上的步态数据的情况下(s14：否)，用户识别处理部112d在步态识别信息表112f中与接收到的步态数据相关联地新增登记步态信息id(图15的s21)。

接着，脸部识别处理部112c计算步骤s12中获取到的脸部数据与登记在脸部识别信息表112e中的脸部数据的一致度，并判定有没有一致度达到阈值以上的脸部数据(图15的s22)。

在步骤s22中有一致度达到阈值以上的脸部数据的情况下(s22：是)，脸部识别处理部112c将脸部数据追加登记到脸部识别信息表112e的相应的脸部信息id下。然后，用户识别处理部112d从脸部识别信息表112e获取与相应的脸部信息id相关联的用户id，并在用户设备信息表112g的相应的用户id的记录中，将步骤s21中新登记的步态信息id与步态数据相关联地进行登记(s23)。然后，用户识别处理部112d控制为使得在图14的步骤s17中使机器人100实施与用户id相对应的应对动作。

在步骤s22中没有一致度达到阈值以上的脸部数据的情况下(s22：否)，脸部识别处理部112c在脸部识别信息表112e中新增登记脸部信息id，并与该脸部信息id相关联地登记在步骤s12中获取到的脸部数据。此外，用户识别处理部112d在用户识别信息表112g中也新增登记用户id。然后，用户识别处理部112d将脸部识别信息表112e中新增登记的脸部信息id、及步骤s21中新增登记的步态识别信息表112f的步态信息id，与该用户id相关联地登记到用户识别信息表112g中(s24)。

接着，用户识别处理部112d实施与步骤s24中新增登记的用户id对应的应对动作(s25)。例如，用户识别处理部112d从机器人监视中心120的宣传数据管理部122e获取对于新增用户的应对动作的信息，并前进至图14的步骤s18。

在图14的步骤s13中没有从摄像头控制装置210接收到步态数据的情况下(s13：否)，脸部识别处理部112c计算步骤s12中获取到的脸部数据与登记在脸部识别信息表112e中的脸部数据的一致度，并判定有没有一致度达到阈值以上的脸部数据(s26)。

在步骤s26中没有一致度达到阈值以上的脸部数据的情况下(s26：否)，脸部识别处理部112c在脸部识别信息表112e中新增登记脸部信息id，并与该脸部信息id相关联地登记在步骤s12中获取到的脸部数据。另外，用户识别处理部112d在用户识别信息表112g中也新增登记用户id，并将脸部识别信息表112e中新增登记的脸部信息id与该用户id相关联地登记到用户识别信息表112g中(s27)。

另一方面，在步骤s26中有一致度达到阈值以上的脸部数据的情况下(s26：是)，脸部识别处理部112c将步骤s12中获取到的脸部数据追加登记到脸部识别信息表112e的相应的脸部信息id的记录中。然后，用户识别处理部112d从用户识别信息表112g获取与相应的脸部信息id相关联的用户id，控制为使得在图14的步骤s17中使机器人100实施与该用户id对应的应对动作。

根据上述实施方式1，机器人控制装置110基于机器人100的位置信息、以及能够拍摄到该机器人100的监视摄像头200的位置信息，将机器人100获取到的脸部数据和监视摄像头200获取到的步态数据与对应的用户id相关联地登记到用户识别信息表112g中。机器人控制装置110通过使用机器人100获取到的人物的脸部数据或监视摄像头200获取到的人物的步态数据、或者使用双方的数据，能够唯一地确定机器人附近的用户。即，本实施方式使用脸部数据(脸部信息id)和步态数据(步态信息id)中能够获取到的数据，并采用与相应的数据对应的识别方法，来参照用户识别信息表112g对人物进行识别。从而，即使在只能获取脸部数据和步态数据中的某一方数据的情况下，也能够确定用户，因此能够实施按用户区分的服务。

监视摄像头200与用户的距离很近的情况下、或者拍摄区域内显示出多个行人的情况下，难以获取行人的步行图像。另一方面，在监视摄像头200适当远离用户的情况下、拍摄区域内显示的行人较少的情况下，能够相对容易地获得行人的步行图像。用户识别处理部112d在机器人100的摄像部103a能够拍摄到用户的脸部的环境下(例如商户内)，使用脸部图像对人物进行识别(步骤s13为否的情况)。另外，在监视摄像头20能够很好地拍摄到走路的人物的步行(脚)的环境下(例如商户外)，使用步行图像对人物进行识别(步骤s13为是的情况，也可以参照实施方式3)。

<2.实施方式2>

实施方式1中，以机器人100的位置必需在规定的监视摄像头200的可拍摄范围之内为前提。而且，所示的是基于机器人100获取到的脸部数据的用户和基于监视摄像头200获取到的步态数据的用户为同一人物从而来确定用户的结构。而在实施方式2中，示出的是机器人100在建筑物300内自由移动从而能够拍摄到机器人100的所在位置的监视摄像头200会发生变更的环境下的用户信息的登记处理。即，实施方式2示出在上述环境下机器人控制装置110获取脸部信息并登记到用户识别信息表中的相关动作。

[机器人控制装置进行的用户信息登记处理]

图16和图17是表示随着机器人100的移动从而能够拍摄到机器人100所在位置的监视摄像头会发生变更的环境下的机器人控制装置110的用户信息登记处理方法的步骤的流程图(1)和(2)。图16和图17表示在机器人100和监视摄像头200存在多个，且机器人100获取到的脸部图像的用户和监视摄像头200获取到的步行图像的用户并不是唯一对应的关系的情况下机器人控制装置110的用户信息登记处理。特别是图16和图17中，示出了对于机器人100拍摄到脸部的用户，由监视摄像头200求出步态数据的情况下的机器人控制装置110的动作，机器人100拍摄到人物的脸部成为该动作的触发条件。

图16中，首先，机器人控制装置110的脸部识别处理部112c获取由同一区域内的机器人100的摄像部拍摄到的影像(拍摄图像)，并判定所获取的拍摄图像内是否存在人物的脸部(s31)。在拍摄图像内不存在人物脸部的情况下(s31：否)，脸部识别处理部112c继续执行步骤s31的判定处理。在步骤s31中检测到拍摄图像内有人物脸部存在的情况下(s31：是)，脸部识别处理部112c计算脸部图像的特征量，并将脸部图像及其特征量作为脸部数据进行保存(s32)。

然后，用户识别处理部112d基于机器人100的测距传感器103b和陀螺仪传感器103c的检测数据，获取机器人100的位置信息(s33)，确定机器人100所在的区域。接着，用户识别处理部112d从监视摄像头管理表212e获取能够拍摄到机器人100所在区域的监视摄像头200的摄像头id(s34)。此外，用户识别处理部112d向具有步骤s34中获取到的摄像头id的监视摄像头200请求发送步态数据(s35)。

然后，机器人控制装置110执行步骤s35～s50(图16和图17)的处理。另外，步骤s36～s50的处理与实施方式1的步骤s13～s27(图14和图15)的处理相同，因此不再进行说明。

根据上述实施方式2，即使在建筑物300内自由移动的机器人100获取到的脸部图像的用户和监视摄像头200获取到的步行图像的用户难以建立唯一对应关系的情况下，也能够从具有与机器人100的位置信息相关联的摄像头id的监视摄像头200的拍摄图像得到用户的步行数据。因此，能够与实施方式1同样地通过使用机器人100获取到的人物的脸部数据或监视摄像头200获取到的人物的步态数据、或者使用双方的数据，来唯一地确定用户。

<3.实施方式3>

实施方式3是对于监视摄像头200获取到了步态数据的用户，由机器人100的摄像部103a拍摄到脸部的情况的例子。实施方式3示出在上述情况下机器人控制装置110获取脸部信息并登记到用户识别信息表中的相关动作。实施方式3中，监视摄像头200拍摄到行人成为该动作的触发条件。

首先，摄像头控制装置210从监视摄像头200获取步行图像，然后将生成了步行图像的监视摄像头200的摄像头id和步行图像及其特征量(步态数据)一起发送至机器人控制装置110。机器人控制装置110的用户识别处理部112d从摄像头控制装置210接收到步态数据时，基于摄像头id从监视摄像头管理表212e获取相应的监视摄像头200的位置信息(区域)。接着，用户识别处理部112d向存在于相应位置(区域)上或其附近的机器人100发出拍摄行人并获取脸部图像的指令。

然后，机器人控制装置110执行与实施方式1的步骤s13～s27(图14和图15)相对应的处理。其中，与脸部数据相关的处理和与步态数据相关的处理的前后顺序颠倒。即，本实施方式中，在图14的步骤s13中判定拍摄图像内是否检测到人物的脸部，在步骤s14中判定接收到的脸部数据与登记在脸部识别信息表112e中的脸部数据是否一致。然后，在步骤s15中判定接收到的步态数据与登记在步态识别信息表112f中的步态数据是否一致。

<4.实施方式4>

上述实施方式1～3中，将用户id与脸部信息id及步态信息id相关联地进行管理，但也可以将能够用于识别用户的其它信息(卡片信息、生物信息等)、与脸部信息id和步态信息id一起与用户id相关联地进行管理。可以通过读卡器或生物验证装置等读取卡片信息或生物信息，并将该信息与机器人控制装置110获取到的脸部图像、摄像头控制装置210获取到的步态图像相关联，从而用于识别用户。作为卡片信息，例如有安全卡号(工作人员编号等)、信用卡号等。作为生物信息，例如有指纹、虹膜、声纹、手指或手臂的静脉等的信息。

例如图12中，验证装置320和机器人控制装置110通过有线通信或无线通信的方式连接，从而能够进行通信。用户进入建筑物300(或目标楼层)时，将手指放置在验证装置320(此处为指纹验证装置)的读取面上，验证装置320从手指读取指纹，并将指纹信息发送至机器人控制装置110。

机器人控制装置110的脸部识别处理部112c对在接收到的指纹信息通过验证之后马上(设定时间内)进入到区域a内的用户u的脸部进行拍摄，则生成脸部数据和脸部信息id，并登记到脸部识别信息表112e中。然后，用户识别处理部112d将用户id与新增脸部信息id相关联地新增登记在用户识别信息表112g中。此外，用户u进入到区域a内这一情况也可以通过摄像头控制装置210对监视摄像头200的拍摄图像进行分析而检测到。之后，基于脸部图像和/或指纹信息，能够确定用户(用户id)。

作为另一个例子，对机器人100拍摄到用户u在建筑物300内的商户内为了购入商品而向店员出示信用卡，店员利用读卡装置对用户u的信用卡进行处理这一场面的情况进行说明。这种情况下，机器人100正在看着的方向上的用户u的脸部图像与机器人100正在看着的方向上的读卡装置所读取的卡片信息相关联。这里，在机器人100拍摄不到用户u的脸部图像的情况下，监视摄像头200也可以追踪作为拍摄对象的用户u并在用户u走路的过程中获取步行图像，将卡片信息与步行图像相关联。

上述实施方式4中，使用脸部图像和能够用于识别用户的其他信息(例如卡片信息、生物信息)，能够识别出机器人100附近的用户。即，实施方式4中，机器人控制装置110的用户识别处理部112d基于用户的脸部图像和获取到的其它信息，参照用户识别信息表112g，能够确定该用户id。作为其它信息，除了卡片信息和生物信息之外，还可以使用与用户的声音相关的信息。

另外，实施方式4中，也可以与其它实施方式一样，获取用户u的步行图像，并与脸部图像及其他信息一起与用户id相关联地进行登记。而且，用户识别处理部112d还可以从步态图像、卡片信息、生物信息和声音信息中选择任一种来作为与脸部图像组合使用的其他信息(识别方法)，并基于所选择的信息和脸部图像来进行用户的识别处理。例如，在获得了脸部图像和步态图像和卡片信息的情况下，用户可以将与用户直接相关联的卡片信息和脸部图像用于用户的识别。

根据上述实施方式4，用户识别处理部112d能够根据机器人100的动作状况(例如位置或有没有拍摄到脸部图像)、用户的行为(输入个人信息)、机器人100与用户的对话、商户店员的操作(信用卡的处理等)等状况，适当地使用用户的脸部图像和/或其它信息来识别用户。用户的识别可以使用脸部图像和其它2种信息。

另外，在仅得到了脸部图像的情况下，用户识别处理部112d基于脸部图像进行图15的步骤s26、s27或图17的步骤s49、s50的处理，实施新用户用的服务。另外，在仅能得到其它的1种信息的情况下，用户识别处理部112d进行实施方式3的处理(将步行图像替换为其它信息来使用)，实施新用户用的服务。

<5.变形例>

上述实施方式中，说明了机器人控制装置110的用户识别处理部112d识别用户的例子，但也可以是机器人100具备用户识别处理部112d，由机器人100一侧来执行用户的识别处理。

另外，用户识别信息表112g、122d、脸部识别信息表112e、122b、及步态识别信息表112f、122c、212d中登记的数据优选为在经过一定期间后删除。从而，能够减少各装置内的存储装置的存储区域中存储的数据量，能够确保有一定的空闲区域。

此外，本发明并不限于上述各实施例，只要不脱离权利要求书所记载的本发明的范围，当然可以采用其它各种应用例、变形例。

例如，上述实施方式中，为了使本发明容易理解来进行说明，详细且具体地说明了装置和系统的结构，但并不限于一定要具有所说明的所有结构。另外，某一个实施方式的一部分结构可以替换成其它实施方式的结构。另外，某一个实施方式的结构中也可以加入其它实施方式的结构。另外，各实施方式的一部分结构也可以增加、删除或替换其它结构。

此外，上述各结构、功能、处理部、处理单元等各自的一部分或者全部可以由例如在集成电路中进行设计等利用硬件来实现。此外，上述各结构、功能等也可以通过处理器对实现各自功能的程序进行解释、执行从而由软件来实现。实现各功能的程序、表格、文件等的信息可以存放在存储器、硬盘、ssd(固态驱动器)等记录装置、或ic卡、sd卡、dvd等记录介质中。

另外，所示的控制线路、信息线路是为了进行说明而认为是必须示出的，对于产品来说并未示出全部的控制线路、信息线路。实际上可以认为几乎所有的结构都是相互连接的。

标号说明

1机器人管理系统

100机器人

101cpu

102存储装置

102a输入输出部

102b方案处理部

102c驱动控制部

102d对话控制部

103输入输出装置

103a摄像头

103b测距传感器

103c陀螺仪传感器

103d驱动机构

130e麦克风

103f扬声器

110机器人控制装置

111cpu

112存储装置

112a输入数据处理部

112b输出数据处理部

112c脸部识别处理部

112d用户识别处理部

112e脸部识别信息表

112f步态识别信息表

112g用户识别信息表

112h机器人管理表

120机器人监视中心

121cpu

122存储装置

122a输入输出数据处理部

122b脸部识别信息表

122c步态识别信息表

122d用户识别信息表

122e宣传数据管理部

122f机器人管理表

124显示部

200监视摄像头

201cpu

202存储装置

202a影像处理部

203输入输出装置

203a摄像部

210摄像头控制装置

211cpu

212存储装置

212a输入数据处理部

212b输出数据处理部

212c步态识别处理部

212d步态识别信息表

212e监视摄像头管理表