专利名称：机器人控制装置和方法
技术领域：
本发明涉及根据行为计划操作的机器人，特别涉及根据语音或图像输入通过与用户交互、或者没有用户输入自主地设置行为计划的行为计划设置类型的机器人。更具体地说，涉及在“对话驱动”或“自主驱动”期间如果发生异常、故障或事故，能够检查发生原因的行为计划设置类型的机器人。
背景技术：
将使用电或磁操作来执行模仿人的运动的机械装置称作“机器人”。术语机器人的词源据说源自斯拉夫语系的“ROBOTA”(从动机)。机器人开始广泛应用始自60年代末。在用的大多数机器人是工业用机器人，比如机械手或运输机器人，其目标是在工厂操作中的自动化或执行无人化操作。
安装在固定位置并使用的站立型机器人，比如机械臂机器人，仅在固定的或局部工作空间中操作，比如用于装配或归类元件部件。另一方面，可移动机器人并不仅被限制于工作空间，而是可以在预设或未限定的通路上以不受限制的方式移动，以便执行替代人工操作者的操作，或者替代人、狗或其它生命体提供各种服务。有腿可移动机器人与爬行类或轮箍型机器人相比，虽然不稳定并难以控制其方向或行走，但是在上下梯子或楼梯、跨越障碍物、或者在平整或不平整的土地上行走或者跑动等方面却是高手。
近年来，在有腿可移动机器人方面的研究和开发，包括模仿比如象狗或猫之类的四足动物的身体机理或运动的宠物型机器人、或者模仿比如象人类的可直立并用脚走路的动物的身体机理或运动的所谓人性机器人，已经取得长足进步，并可以预期实际利用这些宠物机器人。
有腿可移动机器人一方面的应用是在工业生产活动的各种高难操作中替代人工操作者，比如，在核电站、热电站或石化工厂的维护操作中、在制造工厂的运输和装配操作中、在高层建筑的清洁中、或在火灾的救援中替代人工操作者。
有腿可移动机器人另一方面的应用是与生活相关的应用，而不仅仅是上述替代型应用的操作，也就是是说与人类生活相关的应用。该种类型的机器人模仿高智商动物的行为机理或感觉表达，用脚走路，比如作为宠物的机器人或机器狗。该种类型的机器人不仅需要如实地实施先前输入的行为模式，而且需要响应用户的诸如表扬、训斥、或拍打之类的语音或命令，表达生动的动作。
对于用户命令和响应操作之间的关系，传统的玩具是固定的，因此玩具的运动不能按照用户的喜好来变化。其结果是用户对总是重复相同操作的玩具迟早会感到厌倦。
相反，智能型机器人除进行自主思考控制和自主动作控制之外，还根据操作生成的顺序模型实施智能操作。此外，装备有图像输入设备或语音输入/输出设备并进行图像或语音处理的机器人能够在较高的智力水平上与人进行真实的交流。智能机器人响应检测到的比如用户刺激之类的外界刺激，改变顺序模型。也就是说，通过提供“学习效果”，可以提供适合用户口味的行为模式，由此用户不会感到厌烦。另外，用户能够享受到一种类似游戏感觉的教诲刺激。
在特定工业用途的专用机器人的情况下，用户或操作者输入能够无过失地顺序解释的用于实施的命令就足够了。这类似于信息处理设备对单一命令控制输入的可靠响应操作，比如文件复制或删除、或打开文件。
另一方面，生活相关或娱乐类型的机器人能够实施“对话驱动”，其中机器人不仅根据用户限定的或无过失的命令操作，而且根据更加抽象的输入数据进行操作；并且能够实施“自主驱动”，其中用户根据仅由机器人设置的行为计划进行操作，而没有有关来自用户的命令或与用户进行对话的资源，也就是说，相对于用户独立。
但是，比如使机器人解释抽象的用户输入或适合于机器人的思考控制之类的机器人的动作自由度或功能越多，则当故障或事故发生时查找其产生的原因将越困难。
在例行机器或装置中，装置对输入命令的响应是一个接一个地顺序响应，从而可以容易地确定是哪一个命令输入或实施导致了装置异常。
相反，对于前述的“对话驱动”或“自主驱动”类型的机器人，允许机器人在一定范围内对用户输入或外部事件进行部分解释，将很难定位异常或故障的原因。此外，由于有腿可移动机器人能够在任意的行为空间内走动，而不用遵循固定的线路，因此用户将无法在所有的时间内对机器人进行监视。因此，当机器人位于用户可以监视的范围之外时，如果发生故障或者机器人遇到麻烦或事故，则用户将发现弄明白机器人究竟发生了什么情况非常困难。
发明内容
本发明的一个目的是提供一种通过与用户进行基于诸如语音或图像输入之类的对话能够设置行为计划、或者能够不用有关用户输入的资源自主设置行为计划的行为计划类型的机器人。
本发明的另一个目的是提供一种在机器人处于“对话驱动”或“自主驱动”期间能够查找异常、故障或事故发生原因的行为计划类型的机器人。
为了实现上述目的，本发明提供一种控制装置，用于由多个关节执行机构构成并根据行为计划进行操作的机器人，所述控制装置包括行为计划单元，用于设置机器人的行为计划；操作控制器，用于通过驱动各个关节执行机构，实施相应于行为计划单元确定的行为计划的操作模式；检测器，用于检测操作控制器所实施的操作状态；以及记录单元，用于记录日志，包括行为计划单元的行为计划和检测器检测的操作实施状态。
根据本发明的用于机器人的控制装置还包括用户输入单元，用于接收来自用户的命令或数据；以及对话管理单元，用于根据来自用户输入单元的用户输入的命令或数据，监控与用户的对话。行为计划单元可以根据对话管理单元中的对话内容，设置行为计划，同时记录单元可以记录对话内容的日志。
根据本发明的用于机器人的控制装置还包括自诊断单元，用于诊断机器人的每一部分。记录单元可以记录自诊断结果的日志。
根据本发明的用于机器人的控制装置还包括用户验证单元，用于验证用户位于机器人附近。记录单元可以记录用户验证结果的日志。
行为计划单元可以根据基于与用户的对话设置行为计划的第一操作系统、或者根据基于响应外界变化所确定的感觉模型来设置行为计划的第二操作系统进行操作。在此种情况下，记录单元记录行为计划单元中操作系统的日志。
根据本发明的机器人能够无线路地查找任意工作空间，正如有腿可移动机器人所做的那样。该工作空间可以与人的生活空间共享。该机器人能够根据音频或图像输入通过与用户对话来设置行为计划，或者不用与用户输入有关的资源自主设置行为计划。
本发明的机器人能够验证向机器人发布命令的用户，或者提取不能通过验证的用户的脸、声音或其它生物特征。此外，可以将用户发布的命令内容、机器人响应命令所采取的行为、以及实施行为的时间合并在一起，并记录为一类日志。机器人的内部状态或传感器输入信息也可以一起记录。
日后可以分析日志的内容，以调查机器人所卷入的异常、故障或事故的原因。
即使在异常、故障或事故时间之外的任何时间，也可以查找机器人动作的历史，比如“机器人所做的动作，该动作是什么时候和谁一起做的”。可选择地，可以监控机器人动作的历史作为经验信息，从而可以从用户和机器人之间的对话提取有关“机器人所做的动作，该动作是什么时候和谁一起做的”的信息。该机器人是高度针对娱乐的。此外，用户可以享受到一种类似游戏感觉的教诲刺激。
从下面结合附图对本发明实施例的描述中，本发明的其它目的、特征和优点将变得更加清楚。
图1是从前面看时本发明的有腿可移动机器人的视图；图2是从后面看时本发明的有腿可移动机器人的视图；图3示意性地示出在本发明的有腿可移动机器人中提供的自由度形成模型；图4示意性地示出本发明的有腿可移动机器人的控制系统；图5示出在本发明的有腿可移动机器人中用于记录行为计划或经验信息的典型功能块结构的方框图；图6示出在本发明的有腿可移动机器人中用于记录行为计划或经验信息的另一种典型功能块结构的方框图；图7示出行为日志的典型数据格式；图8示出可以由本发明的机器人采用的操作状态；图9示意性地示出在主动驱动期间机器人的操作过程。
实施本发明的最佳方式参照附图，下面将详细说明使用根据本发明的控制装置的机器人及其控制方法。
图1和图2分别示出从前面和后面看本发明的机器人时，处于直立状态的有腿可移动机器人100。该有腿可移动机器人100属于所谓的“人性化”的类型，并且能够基于语音或视频输入通过与用户对话设置行为计划，或者不用与用户输入有关的资源而自主设置，也就是说，独立于用户之外，这些将在后面依次说明。如图1和图2所示，有腿可移动机器人100包括负责移动腿的两个下肢101R、101L、躯干102、左右上肢103R、103L、以及头104。
左右下肢101R、101L由大腿105R、105L、膝关节106R、106L、胫部107R、107L、脚踝108R、108L、以及脚板109R、109L组成。左右下肢101R、101L由股关节110R、110L在接近躯干102的最下端处连接。左右上肢103R、103L由上臂111R、111L、肘关节112R、112L、前臂113R、113L组成，并由肩关节114R、114L在躯干102的左右侧边缘连接。头104由颈关节155在接近躯干102的中心点处连接。
在躯干单元内安装在图1和2中未示出的控制单元。该控制器是配备有为构成有腿可移动机器人100的每一个关节执行机构形成驱动控制的控制器、将在后面叙述的用于处理各个传感器的外部输入的主控制器、以及诸如电源电路的外围部件的盒子。该控制单元可以包括用于遥控的通信接口或通信设备。
图3示意性地示出本发明的有腿可移动机器人100所拥有的关节自由度的结构。如图所示，有腿可移动机器人100的构成为包括两只胳膊和头1的上体部分、包括用于实施移动动作的两条腿的下肢、以及连接上肢和下肢的躯干部分。
支撑头1的颈关节具有3个自由度，即，颈关节偏转(yaw)轴2、颈关节倾斜(pitch)轴3、以及颈关节滚动(roll)轴4。
每一只胳膊由肩关节倾斜轴8、肩关节滚动轴9、上臂偏转轴10、肘关节倾斜轴11、前臂偏转轴12、腕关节倾斜轴13、腕关节滚动轴14和手15构成。手15实际上具有包括多个手指在内的多点多自由度结构。但是假定手15自身的运动具有0个自由度，这是因为其仅在很小的程度上影响机器人100的方向稳定性控制或行走运动控制。因此，假定左右上肢各具有7个自由度。
躯干部分具有3个自由度，即，躯干倾斜轴5、躯干滚动轴6、以及躯干偏转轴7。
形成下肢的左右腿各自由股关节偏转轴16、股关节倾斜轴17、股关节滚动轴18、膝关节倾斜轴19、踝关节倾斜轴20、踝关节滚动轴21以及脚22(脚板的脚底)构成。股关节倾斜轴17和股关节滚动轴18的交叉点限定本实施例的机器人100的股关节位置。尽管人体的脚(脚底)22实际上具有包括多点多自由度脚底的结构，但是，假定本发明的有腿可移动机器人100的脚底具有0自由度。因此，左右下肢各具有6个自由度。
加起来，有腿可移动机器人100总共有3+7×2+3+6×2＝32个自由度。但是，并不一定将有腿可移动机器人100限制在32个自由度。当然，自由度，也就是关节的数量可以根据设计和制造限制或设计参数需要任意地增加或减少。
实际上，上述有腿可移动机器人100的各个自由度是作为关节执行机构主动运动实现的。从为了消除设备总体外观中的任何凹凸部分以仿真人类身体的形状、以及为了对不稳定结构进行方向控制以便实现用两条腿走路的各种需要来看，希望各个关节执行机构尺寸要小并且重量要轻。
根据本发明，使用小尺寸的交流伺服执行机构，属于直接耦合到传动装置并具有包括在电机单元中的单芯片伺服控制系统的类型。并且，该可用于脚式机器人的小尺寸交流伺服执行机构公开在例如，已经转让给并以本受让人的名称申请的日本专利申请第H-11-33386号的说明书中。
图4示意性地示出根据本发明的有腿可移动机器人100的控制系统。如图所示，该控制系统包括思考控制模块200，用于动态地对用户输入作出反应以进行感情判断和感觉表达；以及运动控制模块300，用于机器人100全身的具体运动，例如驱动关节执行机构。
思考控制模块200是一独立的信息处理装置，包括用于执行有关感情判断或感觉表达的计算处理的CPU(中央处理单元)211、RAM(随机存取存储器)212、ROM(只读存储器)213、以及诸如硬盘驱动器的外部存储设备214。处理可以在模块200内自己完成。可以在外部存储设备214中存储离线计算的行走模式或其它操作模式，比如，行走模式。
通过总线接口201将多个单元连接到思考控制模块200。这些单元包括比如配置在头部201中的CCD(电荷耦合器件)摄像机的画面输入设备251、比如麦克风的语音输入设备252、比如扬声器的语音输出设备253、或者未示出的、用于通过比如LAN(局域网)与机器人100外部的系统进行数据交换的通信接口254。
思考控制模块200根据来自外部世界的刺激或环境的变化，比如从画面输入设备251输入的画面或视频数据、或者从语音输入设备252输入的语音或音频数据，决定有腿可移动机器人100当前的感觉或意愿。思考控制模块200还向运动控制模块300发布命令，以实施相应于决定的意愿的行为或运动，也就是运动四肢322R、322L、331R、和331L。
运动控制模块300包括用于控制机器人100全身的具体运动的CPU(中央处理单元)311、RAM(随机存取存储器)312、ROM(只读存储器)313、以及诸如硬盘驱动器的外部存储设备314。外部存储设备314能够存储例如行为模式或使用四肢的“行走能力(capacity)”。“行走能力”是用在表示“关节角度的顺序变化”的相关技术中的技术术语。
通过总线接口301，多个设备连接到运动控制模块300上，这些设备比如为，用于实现分布在机器人100整个身体上的各个关节的各自的自由度的关节执行机构321(见图9)、用于测量躯干202的方向和倾角的方向传感器351、配置在左右脚上的路面触觉传感器361和相对运动测量传感器362、以及用于监控诸如电池的电源的电源控制设备。
运动控制模块300通过关节执行机构321、335控制全身的具体运动，以便实施思考控制模块200命令的行为。也就是说，CPU 311从外部存储设备314中提取相应于思考控制模块200命令的行为的行为模式、或者内部生成运动模式。CPU 311还根据特定的行为模式，设置脚部运动、ZMP(零转动力矩)轨迹、躯干运动、上肢运动、手腕水平位置和高度，并发送指明符合所设置内容的运动的命令值给各相应的关节执行机构。
CPU 311能够通过方向传感器351的输出信号检测机器人100的躯干部分的方向或倾角、以及通过左右腿的路面触觉传感器361的输出信号检测各个可移动的腿是处于自由状态还是处于直立状态，自适应地控制有腿可移动机器人100全身的具体运动。
此外，运动控制模块300还适宜返回到已经按照思考控制模块200确定的意愿实施的行为范围，也就是到思考控制模块200的处理状态。思考控制模块200和运动控制模块300构建在共用平台上，并通过总线接口201、301互连。
有腿可移动机器人100适宜一起记录用户发布的命令内容、机器人采取的行为、以及采取所述行为的时间。因此，用户能够事后分析所记录的内容，以便查找在机器人中发生的异常或故障、以及引起该事故的原因。另外，也可以研究异常、故障、以及事故时间之外的时间，机器人的行为历史，比如在哪儿和谁做了些什么。下面将说明在本发明中机器人的行为历史或经验信息的记录管理处理过程。
图5示出在有腿可移动机器人100中用于实施行为记录或经验信息的典型功能块。图5所示的机器人100能够执行“对话驱动”类型的操作，其中机器人根据语音或图像输入，遵循与用户的对话设置行为计划。
对于用户验证，有腿可移动机器人100至少使用指纹传感器111或视觉传感器113中的一个。
作为视觉传感器113，可以与装配在头部的比如CCD(电荷藕荷器件)的画面输入设备251一起使用。在这种情况下，事先存储注册用户的一幅或多幅脸图像、用户其他身体部分的图像、或者从这些图像中提取的特征信息。验证处理器114处理例如从视觉传感器113输入的脸图像，并与事先注册的脸图像或用于校对的特征信息进行比较，以进行验证用户是否是授权用户的处理。
尽管在图1至4中没有示出，指纹传感器111包括在用户可以用手指方便触及的点、比如头部104或肩膀部位上的指纹读取头。事先存储注册用户的一个或多个指纹作为验证信息。验证处理器112对指纹传感器111输入的指纹信息执行图像处理和特征提取处理，并将输入的指纹信息与预先注册的用于校对的指纹进行比较，以实施验证处理，确定用户是否是授权用户。同时，日本待审专利申请H-3-18980公开了一种指纹校对设备，配置有保存参考指纹的图像数据的参考图像存储器、以及用于输入将被验证的指纹图像的图像输入设备，并校对当两幅图像重叠在一起时的指纹，检验一致的程度。
指纹传感器111和验证处理器112能够对明确要求指纹校对的用户执行更为准确的验证处理。另一方面，在缺少用户请求并且用户没有被提醒的情况下，用摄像机跟踪和拍摄用户时，视觉传感器113和验证处理器114也能够执行验证处理。验证处理器112、114还将对用户的验证结果传输到信息记录管理单元125。
为便于用户输入命令或数据，本发明的有腿可移动机器人100配置4个部件，即，语音识别单元115、通信控制单元116、图像识别单元117、以及命令器118。
语音识别单元115包括比如麦克风的语音输入设备252、能够识别和处理语音的CPU 211、或其它计算处理电路。用户能够通过语音输入自然语言形式的或难懂的命令，比如“跑”、“拿○△”或“快点”。语音识别单元115识别用户的语音。命令解释单元119根据语音识别结果，理解和分析给机器人100的命令。
通信控制单元116包括通信接口254、以及用于处理通过通信接口254交换的通信命令或数据的CPU 211、或其它计算处理电路。通信接口254通过蓝牙(Bluetooth)或其它无线电数据通信网络互连到比如个人计算机的信息终端。用户可以在该信息终端的控制台上输入能够由比如机器人的自动机唯一解释的形式的命令、或者输入更难懂形式的命令，用于传输到机器人100。通信控制单元116接收的用户命令由命令解释单元119解释，然后传输到对话管理单元124。
图像识别单元117包括比如CCD摄像机的画面输入设备251、以及能够进行图像识别处理的CPU 211或类似的计算电路。用户能够输入诸如姿势或手的运动之类的命令。图像识别单元117识别图像，而命令解释单元119根据识别结果理解和分析作为命令的姿势或手的运动。命令不仅可以通过姿势输入，而且可以通过输入唯一指定给命令的视觉信息来输入，比如计算机代码，作为输入命令的图像。
尽管在图1至4中没有具体示出，但是命令器118的构造为键/按钮类型的用户输入设备，安装在有腿可移动机器人100的背部或腹部，或者为遥控器，图中没有示出。用户可以在命令器118上输入可以由机器人唯一解释的形式的命令、或者更为难懂的形式的命令。在命令器118上输入的用户命令由命令解释单元119解释，然后发送给对话管理单元124。
对话管理单元124顺序管理通过命令解释单元119接收的可变形式的命令，以便理解与用户对话的内容，并保持该对话内容。在本实施例中，对话管理单元124能够将与用户的对话内容传输给信息记录管理单元125。对话管理单元124还能够在语音合成单元120中生成对用户输入的应答，并接着通过扬声器向外输出该应答，或者通过通信控制器121在比如用户终端之类的外部计算机系统的控制台上输出该应答，或者通过GUI作为图像输出。
语音合成单元120包括比如扬声器之类的语音输出设备253、能够合成语音的CPU 211、或者类似的计算电路。通信控制器121包括通信接口254、用于处理通过通信接口254交换的命令或数据的CPU 211、或其它计算电路。
方向传感器130、温度传感器131、关节角度传感器132、接触传感器133、压力传感器134、电源管理单元135、以及通信控制检测单元136是用于检测机器人100的外界场或环境、所述外界场或环境的变化、以及操作实施状态的功能模块。
方向传感器130相当于图4中的参考标号354，能够检测机器人100相对于机器人100的方向。关节角度传感器132相当于安装在每一个关节执行机构(见图3)上的旋转编码器。接触传感器133相当于安装在脚部的触地确认传感器352。尽管在图1至4中未示出，压力传感器134安装在机器人100全身的每一部分，用于检测与用户或外界场中的障碍物之间可能的冲突。
电源管理单元135相当于图4中的参考标号354，并设计为检测作为机器人100的主电源的电池的电源电压、电流或电源容量。通信控制检测单元136包括通信接口254、以及用于处理通过通信接口254交换的命令或数据的CPU 211或类似的计算电路，并通过通信命令或通信数据检测外界场或环境的变化。
由这些传感器得到的环境参数发送到行为计划单元127和自诊断单元129。
行为计划单元127根据对话管理单元124中的对话内容、或者方向传感器130得到的机器人100的外界场或环境，为机器人100设置行为计划，并命令操作控制器128实施该行为。根据本发明，行为计划单元127能够将行为计划的内容传输给信息记录管理单元125。
操作控制器128向各个关节执行机构(见图3和4)发布比如旋转或各种速度命令的操作命令，以便实施行为计划单元127所指令的行为。结果，可以使机器人100实施计划的或期望的行为。各个关节执行机构的旋转位置由各自的关节角度传感器132测量，并用于反馈控制。
操作控制器128可以动态地产生操作模式，用于实时地顺序实施所命令的动作。另外，它可以在开始时离线计算用于行走或其它主要操作模式的轨迹计划。在后一种情况下，如果行为命令从行为计划单元127发布，则操作控制器128可以调用相应于主操作模式的轨迹计划以实施所述行为，必要时可以校正其目标轨迹。在日本待审专利申请第S-62-97006号中公开了一种多结点行走机器人的控制装置，其中通过使用预先存储的行走模式数据，简化控制程序，并致密地将行走模式的数据结合在一起。
自诊断单元129根据比如方向传感器130、温度传感器131、关节角度传感器132、接触传感器133、压力传感器134、电源管理单元135、和通信控制检测单元136等传感器的检测输出，对机器人100的内部状态进行自诊断，比如计划的行为的实施状态、异常、故障、或事故。自诊断的结果可以传输给信息记录管理单元125。
信息记录管理单元125能够从不同的部件获取下述细项(1)来自验证处理器112和/或验证处理器114的用户验证信息；(2)由对话管理单元124管理的对话内容或最近的用户命令；(3)对话内容或用户命令、以及通过外界场或环境确定的行为计划；和(4)由自诊断单元129诊断的行为计划的实施状态。
信息记录管理单元125将这些数据及时钟126提供的当前时间合并，保存为“行为历史”或“经验信息”，也就是行为日志。
行为日志以非易失性方式保存在信息记录管理单元125的本地存储器中或者未示出的本地盘中。或者，如果将行为日志存储在能够被插入或移走的象盒式带的存储设备中，比如存储条，则事后可以从机器人100上拆下行为日志，用于在外部计算机系统上分析和处理该日志。
存储在信息记录管理单元125中的“行为历史”或“经验信息”可以使用时间信息来检索。或者，可以通过比如语音识别单元115，从与机器人100的对话中获得“行为历史”或“经验信息”。
图6示出在有腿可移动机器人100中用于实施行为计划或经验信息的记录处理的另一种典型功能块结构。图6所示的机器人100不仅能够执行“对话驱动”系统的操作，其中的行为计划基于输入语音或图像、根据与用户的对话来设置；而且能够执行“自主驱动”的操作，其中的行为计划不使用有关与用户对话的资源而自主地设置。
对于用户验证，有腿可移动机器人100至少使用指纹传感器111或视觉传感器113中的一个。作为视觉传感器113，可以使用装配在头部的比如CCD(电荷藕荷器件)的画面输入设备251。尽管在图1至4中没有示出，指纹传感器111包括在用户可以用手指方便触及的机器人100上的点、比如头部104或肩膀部位上的指纹读取头。
指纹传感器111和验证处理器112能够对明确要求指纹校对的用户执行更为准确的验证处理。另一方面，在缺少用户请求并且用户没有被提醒的情况下，用摄像机跟踪和拍摄用户时，视觉传感器113和验证处理器114也能够执行验证处理。验证处理器112、114还将对用户的验证结果传输到信息记录管理单元125。
为便于用户输入命令或数据，本发明的有腿可移动机器人100配置4个部件，即，语音识别单元115、通信控制单元116、图像识别单元117、以及命令器118。
语音识别单元115包括比如麦克风的语音输入设备252、能够识别和处理语音的CPU 211、或其它计算处理电路。如果用户输入语音，则语音识别单元115识别用户的语音。命令解释单元119根据语音识别结果，理解和分析给机器人100的命令。
通信控制单元116包括通信接口254、用于发布通信命令或处理数据的CPU 211或类似计算电路。通信接口254通过无线电数据通信网络互连到比如个人计算机的外部信息终端。通信控制单元116接收并处理用户通过通信网络发送的命令。接收的命令在命令解释单元119中进行解释，然后发送到对话管理单元124。
图像识别单元117包括比如CCD摄像机的画面输入设备251、以及能够进行图像识别处理的CPU 211或类似的计算电路。用户能够输入诸如姿势或手的运动之类的命令。图像识别单元117识别图像，而命令解释单元119根据识别结果理解和分析作为命令的姿势或手的运动。
命令器118的构造为键/按钮可操作的用户输入设备，安装在有腿可移动机器人100上，或者为遥控器，图中没有示出。用户可以在命令器118上输入可以由机器人唯一解释的形式的命令、或者更为难懂的形式的命令。在命令器118上输入的用户命令由命令解释单元119解释，然后发送给对话管理单元124。
对话管理单元124顺序管理通过命令解释单元119接收的可变形式的命令，以便理解与用户对话的内容，并保持该对话内容。对话管理单元124能够将与用户的对话内容传输给信息记录管理单元125。对话管理单元124在语音合成单元120中生成对用户输入的应答，并接着通过扬声器向外输出该应答，或者通过通信控制器121向外部计算机系统输出该应答。
语音合成单元120包括比如扬声器之类的语音输出设备253、能够合成语音的CPU 211、或者类似的计算电路。通信控制器121包括通信接口254、用于处理通过通信接口254交换的命令或数据的CPU 211、或其它计算电路。
方向传感器130、温度传感器131、关节角度传感器132、接触传感器133、压力传感器134、电源管理单元135、以及通信控制检测单元136是用于检测机器人100的外界场或环境、所述外界场或环境的变化、以及操作实施状态的功能模块。
方向传感器130检测机器人100相对于机器人100的方向。关节角度传感器132相当于安装在每一个关节执行机构上的旋转编码器。接触传感器133相当于安装在脚部的触地确认传感器352。压力传感器134安装在机器人100整个身体的每一部分，用于检测与用户或外界场中的障碍物之间可能的冲突。将电源管理单元135设计为检测作为机器人100的主电源的电池的电源电压、电流或电源容量。通信控制检测单元136包括通信接口254、以及用于处理通过通信接口254交换的通信命令或数据的CPU 211，并通过通信命令或通信数据检测外界场或环境的变化。
由这些传感器限定的机器人100的环境参数发送到自主行为计划单元140和自诊断单元129。
自主行为计划单元140根据由上述传感器的输入数据得到的外部环境变化，在感觉模型状态机141中确定感觉模型，以便自主为机器人100设置行为计划，从而命令操作控制器128实施该行为。自主行为计划单元140能够将行为计划的内容传输给信息记录管理单元125。另外，在已经转让给本受让人的日本专利申请H-11-341374号的说明书中，公开了具有与操作相关的感觉本能模型的有腿机器人，其中感觉本能模型根据输入信息变化，以控制操作。
操作控制器128向各个关节执行机构发布比如旋转命令或各种速度命令的操作命令，以便实施自主行为计划单元140所指令的行为。结果，可以使机器人100实施计划的或期望的行为。各个关节执行机构的旋转位置由各自的关节角度传感器132测量，并用于反馈控制。
操作控制器128可以动态地产生操作模式，用于实时地顺序实施所命令的动作。另外，它可以在开始时提供用于比如行走之类的主操作模式的轨迹计划。
自诊断单元129根据比如方向传感器130、温度传感器131、关节角度传感器132、接触传感器133、压力传感器134、电源管理单元135、和通信控制检测单元136等传感器的检测输出，对机器人100的内部状态进行自诊断，比如计划的行为的实施状态、异常、故障、或事故。自诊断的结果可以传输给信息记录管理单元125。
信息记录管理单元125能够从不同的部件获取下述细项(1)来自验证处理器112和/或验证处理器114的用户验证信息；(2)由对话管理单元124管理的对话内容或最近的用户命令；(3)由自主行为计划单元140根据感觉模型所确定的行为计划；和(4)由自诊断单元129诊断的行为计划的实施状态。
信息记录管理单元125将这些数据及时钟126提供的当前时间合并，保存为“行为历史”或“经验信息”，也就是行为日志。
行为日志以非易失性方式保存在信息记录管理单元125的本地存储器中或者未示出的本地盘中。或者，如果将行为日志存储在能够被插入或移走的象盒式带的存储设备中，比如存储条，则事后可以从机器人100上拆下行为日志，用于在外部计算机系统上分析和处理该日志。
如果其中的行为计划基于输入语音或图像、根据与用户的对话来设置的“对话驱动”系统、以及其中的行为计划不使用有关与用户对话的资源而自主地设置的“自主驱动”系统两者都被支持，则可以一起记录指示所述行为计划是属于对话驱动类型还是自主驱动类型的鉴别信息。
存储在信息记录管理单元125中的“行为历史”或“经验信息”可以使用时间信息来检索。或者，可以通过比如语音识别单元115，从与机器人100的对话中获得。
图7示出行为日志的典型数据格式。如图所示，每一条日志包括时间字段、用户验证信息字段、对话内容字段、行为计划字段、动作模式字段、以及行为结果-自诊断结果字段。
从时钟126提供的实际时间写在时间字段中。在用户验证信息字段写入由指纹传感器111和验证处理器112、或者视觉传感器113和验证处理器114验证的用户信息。通过验证的用户可以是在对话处理过程中命令的始发者。在对话内容字段中写入由对话管理单元124监控的对话内容。
在行为计划字段中写入行为计划单元127或自主行为计划单元140所设置的行为计划。在动作模式字段中写入用于鉴别当前设置的机器人100的行为计划所属的对话驱动系统和自主驱动系统的信息。
在行为结果-自诊断结果字段中写入根据每一个关节角度传感器132的输出所计算的实施操作的状态、或者根据其它传感器的输出所确定的自诊断结果，比如故障状态。
应该指出的是，包括上述数据的行为日志的分析将导致对机器人100的行为、以及异常、故障或事故发生原因的估计。
图8示出可以由本发明的机器人100采用的动作状态。如图所示，本发明的机器人100可以采用主动驱动和被动驱动的状态。
在被动驱动中，机器人从用户接收可以明确解释的命令，并仅根据该命令实施操作，而不会激活对于机器人100来说适宜的内部状态，比如思考或感觉。
例如，读出响应用户命令“行走”的预先存储的行走模式以实施行走运动的该种驱动状态相应于被动驱动。在这种情况下，尽管机器人100的控制功能伴随稳态方向控制或失调，执行目标轨迹的校正，但是思考或感觉并不处于操作状态，从而与用户的对话无效或者不需要。
因此，在被动驱动状态下，输入命令直接写入图7所示行为日志的对话内容字段中。由于机器人100自身并不设置行为计划，所以在行为计划字段中写入空白或默认值。在行为结果-自诊断结果字段中写入根据每一个关节角度传感器132的输出所计算的操作实施的状态、或者根据其它传感器的输出所确定的自诊断结果，比如故障状态。
在主动状态下，存在两种操作状态，即，“对话驱动”系统，其中根据音频或图像输入设置符合与用户的对话的行为计划，以及“自主驱动”系统，其中不用有关与用户对话的资源而自主设置行为计划。
机器人100可以根据对话驱动系统和自主驱动系统中的一种进行操作。或者，可以单向或双向切换两种驱动系统。例如，经历预设事件出现时，比如从最后一次用户输入或者从最后一次对话过去一段时间时，可以变换到自主驱动系统；相反，经历下一次用户输入或发生下一次对话时，可以变换到对话驱动系统。
图9示意性地示出在主动驱动期间机器人100的操作过程。
在对话驱动期间，如果用户进行了输入，这将被识别并解释为用于对话控制的命令。进行对话的用户通过指纹传感器或视觉传感器验证。行为计划根据对话内容和外界环境、传感器输入来设置，以实施相应于行为的行为模式。行为模式实施的状态通过传感器输入获得。
由此，在对话驱动状态下，有关与机器人100进行对话的用户的验证信息写入图7所示行为日志中的用户验证信息字段。在行为内容字段中写入在机器人和用户之间进行的对话的内容。在行为计划字段中，写入根据对话内容或响应外界环境变化为机器人100设置的行为计划。在操作模式字段中写入证实为对话驱动状态的鉴别信息。在行为结果-自诊断结果字段中写入根据每一个关节角度传感器132的输出所计算的实施操作的状态、或者根据其它传感器的输出所确定的自诊断结果，比如故障状态。
在自主驱动下，中断用户的输入，或者不接受用户的输入，从而使与用户的对话无效。在这种情况下，机器人100根据外界环境的变化、传感器的输入、以及感觉模型自主设置行为计划，而不用有关与用户对话的资源。实施相应于该行为的操作模式，并根据传感器的输入获取操作模式的实施状态。在自主驱动期间，附近的用户并不是命令始发者，从而可以执行或者不执行用户验证。
因此，在自主驱动期间，将附近用户的验证信息写入用户验证信息字段中，或者该字段可以写入空白或默认值。在对话内容字段中直接写入输入命令。在行为计划字段中写入机器人100响应感觉模型或外界环境的变化所确定的行为计划。在操作模式字段中写入证实对话驱动状态的鉴别信息。在行为结果-自诊断结果字段中写入根据每一个关节角度传感器132的输出所计算的实施操作的状态、或者根据其它传感器的输出所确定的自诊断结果，比如故障状态。
应该指出的是，包括上述数据的行为日志的分析将导致对机器人100的行为、以及异常、故障或事故发生原因的估计，而不用考虑假定机器人100处于图8所示的哪一种驱动状态。
尽管已经参照数个优选实施例描述了本发明，但是应该指出的是，在不脱离本发明的范围的情况下，本领域的技术人员可以对实施例进行修改或者使用其等价技术。
前述仅用于说明目的，而不应以限制的方式进行理解。可以结合所附权利要求很好地理解本发明的主旨。
工业可应用性如上所述，根据本发明，可以提供一种高质量的行为计划设置型的机器人，能够根据音频或图像输入设置符合与用户的对话的行为计划，或者能够不用有关与用户对话的资源自主设置行为计划。
还可以提供一种高质量的行为计划设置型的机器人，能够查找机器人在“对话驱动”或“自主驱动”期间产生异常、故障、或事故的原因。
本发明的机器人能够验证向机器人发布命令的用户。本发明的机器人还提取不能通过验证的用户的生物特征信息，比如脸或声音，或者将用户发布的命令内容与机器人响应该命令所采取的行为、以及该行为的实施时间合并在一起记录。机器人的内部状态以及传感器输入信息也可以一起合并记录。结果，用户能够通过分析所记录的内容查找在机器人中发生异常、故障、或事故的原因。
权利要求
1.一种控制装置，用于由多个关节执行机构构成并根据行为计划进行操作的机器人，所述控制装置包括行为计划单元，用于设置机器人的行为计划；操作控制器，用于通过驱动每一个关节执行机构，实施相应于所述行为计划单元确定的行为计划的操作模式；检测器，用于检测所述操作控制器所实施的操作状态；以及记录单元，用于记录日志，包括所述行为计划单元的行为计划和所述检测器检测的操作实施状态。
2.根据权利要求1的用于机器人的控制装置，还包括用户输入单元，用于接收来自用户的命令或数据；以及对话管理单元，用于根据来自所述用户输入单元的用户输入的命令或数据，监控与用户的对话，其中所述行为计划单元根据所述对话管理单元中的对话内容设置行为计划，并且所述记录单元记录对话内容的日志。
3.根据权利要求1的用于机器人的控制装置，还包括自诊断单元，用于诊断机器人的每一部分，其中所述记录单元记录自诊断结果的日志。
4.根据权利要求1的用于机器人的控制装置，还包括用户验证单元，用于验证位于机器人附近的用户，其中所述记录单元记录用户验证结果的日志。
5.根据权利要求1的用于机器人的控制装置，其中所述行为计划单元根据响应外界变化所确定的感觉模型设置行为计划。
6.根据权利要求1的用于机器人的控制装置，其中所述行为计划单元按照基于与用户的对话设置行为计划的第一操作系统、或者按照基于响应外界变化所确定的感觉模型来设置行为计划的第二操作系统进行操作，并且所述记录单元记录所述行为计划单元中操作系统的日志。
7.一种控制方法，用于由多个关节执行机构构成并根据行为计划进行操作的机器人，所述控制方法包括行为计划步骤，用于设置机器人的行为计划；操作控制步骤，用于通过驱动每一个关节执行机构，实施相应于所述行为计划步骤确定的行为计划的操作模式；检测步骤，用于检测所述操作控制步骤所实施的操作状态；以及记录步骤，用于记录日志，包括所述行为计划步骤的行为计划和所述检测步骤检测的操作实施状态。
8.根据权利要求7的用于机器人的控制方法，还包括用户输入步骤，用于接收来自用户的命令或数据；以及对话管理步骤，用于根据来自所述用户输入步骤的用户输入的命令或数据，监控与用户的对话，其中所述行为计划步骤根据所述对话管理步骤中的对话内容设置行为计划，并且所述记录步骤包括记录对话内容的日志的步骤。
9.根据权利要求7的用于机器人的控制方法，还包括自诊断步骤，用于诊断机器人的每一部分，其中所述记录步骤包括用于记录自诊断结果的日志的步骤。
10.根据权利要求7的用于机器人的控制方法，还包括用户验证步骤，用于验证位于机器人附近的用户，其中所述记录步骤包括记录用户验证结果的日志的步骤。
11.根据权利要求7的用于机器人的控制方法，其中所述行为计划步骤包括用于根据响应外界变化所确定的感觉模型设置行为计划的步骤。
12.根据权利要求7的用于机器人的控制方法，其中所述行为计划步骤按照基于与用户的对话设置行为计划的第一操作系统、或者按照基于响应外界变化所确定的感觉模型来设置行为计划的第二操作系统进行操作，并且所述记录步骤包括用于记录所述行为计划步骤中操作系统的日志的步骤。
全文摘要
一种控制装置,用于由多个关节执行机构构成并根据行为计划进行操作的机器人,所述控制装置包括:行为计划单元,用于设置机器人的行为计划;操作控制单元,用于通过驱动每一个关节执行机构,实施相应于行为计划单元确定的行为计划的操作模式;检测单元,用于检测由操作控制单元所实施的操作状态;以及记录单元,用于记录日志,包括行为计划单元的行为计划和检测单元检测的操作实施状态。从而,可以验证给机器人发布命令的用户,并将用户提供的命令内容和机器人响应该命令所采取的行为、以及该行为实施的时间一起合并记录。
文档编号B25J5/00GK1372505SQ01801201
公开日2002年10月2日 申请日期2001年4月3日 优先权日2000年4月3日
发明者黑木义博, 石田健藏 申请人:索尼公司