机器人控制系统的制作方法

本发明涉及机器人控制系统。

背景技术：

jp2010-110862a公开了一种通信机器人系统，当允许机器人执行将信息传送给人的操作时，该通信机器人系统根据诸如请求、说服、命令或警告的强制程度来利用不同操作实现机器人的面部的面部表情，诸如笑脸、平常的脸和愤怒的脸。

技术实现要素：

在现有技术的会话信息收集系统中，通过使用诸如会话型机器人的会话型通信工具来收集与用户的会话的内容、会话或用户的背景(语境)的信息，并且基于所收集的信息更新用于控制诸如会话型机器人的会话型通信工具的控制信息。然而，人类不会仅在话语上表现情绪，在一些情况下，根据用户在说出该话语时的心理状态，甚至相同的话语都可能具有不同的预期内容。

为此，在简单收集与用户进行会话期间的信息并且基于所收集的信息来控制诸如会话型机器人的会话型通信工具时，难以准确地读取用户的情绪并且根据情绪执行控制。

本发明的一个目的在于提供了一种机器人控制系统，其能够通过与用户的会话提取用户的情绪反应，并且与不使用综合会话信息而进行操作的会话型机器人相比增加了所收集的综合会话信息量。

本发明的一方面提供了一种机器人控制系统，包括：

多个会话型机器人，其包括配置成获取会话信息的获取单元，该会话信息包括与用户进行会话期间的会话内容、与用户进行会话期间的背景信息、以及与用户进行会话期间用户的情绪反应的相关信息；

收集器，其配置成收集所获取的会话信息；以及

生成器，其配置成通过使用所收集的会话信息来生成用于控制多个会话型机器人的控制信息，

其中，多个会话型机器人通过使用控制信息来与用户进行会话以从用户获取新的会话信息。

[2]根据[1]所述的机器人控制系统可以具有如下配置：用户执行的任务包括基本任务(essentialtask)和间接任务，并且机器人控制系统包括配置成从机器人接收命令并执行间接任务的任务执行型机器人。

[3]根据[1]或[2]所述的机器人控制系统可以具有如下配置：会话型机器人是类人型机器人。

[4]根据[1]至[3]中任一项所述的机器人控制系统可以具有如下配置：用户的情绪反应的相关信息是基于用户的行为、面部表情、面色、语调、语速和心跳速率、或者其中的多个的组合中的至少任一种的信息。

[5]根据[1]至[4]中任一项所述的机器人控制系统可以具有如下配置：获取单元包括配置成捕获用户的图像的成像单元和记录会话的音频的记录单元，获取单元从成像单元捕获的图像获取用户的行为、面部表情、面色、心跳速率的相关信息，并且获取单元从记录单元记录的音频获取会话内容、语调和语速的相关信息。

[6]根据[1]至[5]中任一项所述的机器人控制系统，其中，在配置为与多个会话型机器人进行通信的服务器中实现收集器和生成器。

[7]一种控制机器人控制系统的方法，该机器人控制系统包括多个会话型机器人，多个会话型机器人包括配置成获取会话信息的获取单元，该方法包括：

控制获取单元获取会话信息，该会话信息包括与用户进行会话期间的会话内容、与用户进行会话期间的背景信息、以及与用户进行会话期间用户的情绪反应的相关信息；

收集所获取的会话信息；以及

通过使用所收集的会话信息来生成用于控制多个会话型机器人的控制信息，

控制多个会话型机器人以通过使用控制信息来与用户进行会话以从用户获取新的会话信息。

在根据第一方面的机器人控制系统的发明中，与不使用综合会话信息而进行操作的会话型机器人的情况相比，通过与用户的会话进一步提取了用户的情绪反应，因而，可以增加所收集的综合会话信息量。

在根据第二方面的机器人控制系统的发明中，与没有使用任务执行型机器人的情况相比，可以增大用户执行的基本任务的比率，因而，增加了可以从用户获取的综合会话信息量。

在根据第三方面的机器人控制系统的发明中，与没有使用类人型机器人的情况相比，增加了从用户提取的情绪反应，因而，增大了可以从用户获取的综合会话信息量。

在根据第四方面的机器人控制系统的发明中，可以与会话型机器人和用户之间的会话的会话内容或背景信息相关联地收集用户的行为、面部表情、面色、语调、语速和心跳速率的相关信息。

在根据第五方面的机器人控制系统的发明中，可以通过使用已设置有会话型机器人的诸如成像单元或记录单元的功能来收集用户的情绪反应的相关信息。

附图说明

将基于附图详细地描述本发明的示例性实施例，在附图中：

图1是示出根据本发明的示例性实施例的机器人控制系统10的示例的整体示意图；

图2是用于描述图1所示的基点20-1至20-n中的每一个的配置的图；

图3是示出会话型机器人210的硬件配置的图；

图4是示出会话型机器人210的功能框图；

图5是用于描述在基点20-1至20-n中的每一个中用户200要执行的所有任务的构成示例的图；

图6是示出信息收集服务器40的硬件配置的图；

图7是示出信息收集服务器40的功能框图；

图8a是示出当从属型机器人220的数量小时用户200执行的基本任务与间接任务的比率的图，以及图8b是示出当从属型机器人220的数量大时用户200可以执行的基本任务与间接任务的比率的图；

图9是基点20-1至20-n的数量与作为用户200的替代者的从属型机器人200执行的间接任务的比率和会话型机器人210可以收集的实践知识量之间的关系；以及

图10是示出根据示例性实施例的机器人控制系统中的信息收集操作的流程的流程图。

具体实施方式

将参照图1至图3描述根据本发明的示例性实施例的使用会话型机器人的机器人控制系统10。图1是示出根据本示例性实施例的机器人控制系统10的整体示意图。机器人控制系统10配置成包括多个基点20-1至20-n(图1中的n)以及经由网络(互联网30)连接至基点20-1至20-n中的每一个的信息收集服务器40。

图2是用于描述图1所示的基点20-1至20-n中的每一个的配置的图。为了简化描述，在说明书中例示了基点20-1的配置。如图2所示，在基点20-1中，存在用户200，并且布置有与用户200进行会话的会话型机器人210和任务执行型机器人(下文中，称为从属型机器人)220。本文中，基点20-1例如是办公室，并且用户200是在办公室中执行各种任务的办公室工作人员。另外，在基点20-1中，虽然布置有一个用户200、一个会话型机器人210和三个从属型机器人220，但是本发明不限于此，而是可以布置多个用户200、一个、两个、四个或者四个以上的从属型机器人220。

会话型机器人210与用户200进行会话。会话型机器人210以具有面部、手部和腿部作为整体外观的类人型机器人的形式配置。会话型机器人210获取综合会话信息(即，内容、语境和技术知识(knowhow))以经由互联网30将综合会话信息传送至信息收集服务器40并且通过使用从信息收集服务器40接收的控制信息来用伴随行为和面部表情的会话对用户做出响应，该综合会话信息包括与用户200进行会话期间的会话内容、背景信息以及用户的情绪反应的相关信息。从属型机器人220具有与会话型机器人210的外形和外貌不同的外形和外貌，并且从属型机器人可以不具有面部、手部或腿部。如下所述，从属型机器人220基于会话型机器人210的命令来执行各种间接任务。

图3是示出会话型机器人210的硬件配置的图。如图3所示，会话型机器人210配置成包括控制用微处理器211、存储器212、存储装置213(诸如硬盘驱动器(hdd)或固态驱动器(ssd))、通信接口214、摄像装置215、麦克风216、扬声器217和电机218，并且经由控制总线219连接至每个部件。

控制用微处理器211基于存储在存储装置213中的控制程序而对会话型机器人210的部件的操作执行总体控制。存储器212临时存储会话型机器人210和用户200彼此进行的会话期间的综合会话信息、会话型机器人210经由互联网30从信息收集服务器40接收的控制信息等。

通信接口214执行通信控制以允许会话型机器人210经由互联网30与信息收集服务器40进行通信，从而经由互联网30将在会话型机器人210中所获取的综合会话信息传送至信息收集服务器40或者经由互联网30从信息收集服务器40接收控制信息。

摄像装置215对用户200的行为、面部表情和身体状态的改变的体征(sign)进行成像，并将改变的体征存储在存储器212中。在与用户200进行会话期间，麦克风216检测用户200的音频并将该音频存储在存储器12中，即，记录该音频。扬声器217输出基于会话型机器人210从信息收集服务器40接收的控制信息而生成的音频。电机218基于控制信息来移动会话型机器人210的诸如手部、腿部或面部的每个部分，以表示特定的面部表情或执行行为。

另外，会话型机器人210可以包括接触传感器(未示出)等。接触传感器可以检测用户的心跳速率、体温、传导性等的改变。接触传感器可以是附接至用户的身体的可佩带传感器，并且在该情况下，接触传感器与会话型机器人210分离。

图4是示出会话型机器人210的功能框图。如图4所示，会话型机器人210通过允许控制用微处理器211执行存储在存储装置213中的控制程序来起到识别引擎221、会话控制单元222和操作控制单元223的作用。

识别引擎221基于用户200的情绪反应的相关信息(即，由用户200的行为、面部表情、面色、语调、语速和心跳速率或其组合中的任一种构成的信息)来解释用户200的情绪。更具体地，识别引擎分析由摄像装置215所成像的表示用户200的诸如行为、面部表情、面色和心跳速率之类情绪反应的体征。例如，可以根据摄像装置215所成像的用户的面部图像的rgb率的改变来检测面色的改变。识别引擎221基于用户的面色的改变来计算用户的心跳速率或体温的改变，并且基于计算结果来解释用户200的情绪。

另外，识别引擎221分析麦克风216检测到的且存储在存储器212中的用户200的音频信号，并且基于语调、语速(话语的速度)等来解释用户200的情绪。对于情绪的解释，例如，根据面色的改变和嘴张开的程度解释“高兴的”，根据心跳速率和皮肤传导性的改变来解释“紧张的”，以及根据语调和话语的速度来解释“气恼的”。

会话控制单元222和操作控制单元223基于从信息收集服务器40接收到的控制信息来控制与用户的会话的内容和/或方法。例如，会话控制单元222基于从信息收集服务器40接收到的控制信息来生成响应消息，并且将该响应消息输出至扬声器217。此时，会话控制单元222基于控制信息来调整消息的输出音频的幅度或讲话速度。另外，操作控制单元223基于从信息收集服务器40接收到的控制信息来生成用于控制会话型机器人210的手部和腿部的行为或面部的面部表情的控制信号，并且控制电机218。

本文中，包括在会话信息中的内容是可以直接从用户200与会话型机器人210之间的会话中掌握的会话内容。另外，语境是通过与用户的会话或者通过使用摄像装置215、麦克风215、接触传感器等而获取的用户的意图、背景和环境信息。作为用户200的意图，语境例如包括用户对“你想要解决什么？”和“你担心什么？”这些问题的回答。另外，作为用户的背景或环境信息，语境包括用户的国籍、性别和年龄的信息、基点的位置、用户在当前时间的位置、用户的状态以及时间信息。

技术知识是用户200的情绪反应的相关信息，并且是在内容或语境中不包括的细微表情(nuance)，即，作为在话语中没有表达的说话者的情绪的相关信息的、与用户进行会话期间的情绪或感觉，例如“高兴的”、“不适的”或“尴尬的”。在示例性实施例中，所述知识是会话型机器人210的识别引擎221解释的信息，并且基于用户200的行为、面部表情、面色、语调、语速和心跳速率或其组合中的至少任一种。

执行间接任务的一个或多个从属型机器人220布置在基点20-1至20-n中的每一个中。本文中，在基点20-1至20-n中的每一个中的用户200要执行的全部任务被分类成基本任务和间接任务。在图5中示出了其示例。基本任务包括需要专业知识的专业任务。在与用户200进行会话时，会话型机器人210支持用户200执行的基本任务。另一方面，间接任务不包括专业任务，并且包括仅需要一般工作知识的常规任务。常规任务包括将固定格式的文档发送给很多个对应方、将联络邮件发送给很多个对应方、将文档传送至其他部门、搜索撰写准许请求文档、提议文档或联络文档等的方法。从属型机器人220基于来自会话型机器人210的命令来执行用户200的任务当中的常规任务，并且用户200摆脱了间接任务，使得用户可以专注于基本任务。

图6是示出信息收集服务器40的硬件配置的图。信息收集服务器40配置成包括cpu401、存储器402、存储装置403、通信接口404和用户接口405，并且这些部件连接至控制总线406。控制程序存储在信息收集服务器40的存储装置403中，并且在cpu401中执行控制程序以控制信息收集服务器40的各部件的操作。通信接口404执行对如下数据发送/接收的控制：接收从基点20-1至20-n中的每一个的会话型机器人210发送的综合会话信息；或者经由互联网将在信息收集服务器40中生成的控制信息发送至基点20-1至20-n中的每一个。另外，用户接口405包括诸如键盘的输入单元或诸如显示器的输出单元。

图7是示出信息收集服务器40的功能框图。信息收集服务器40允许cpu401执行上述控制程序并作为具有会话信息收集单元411、推理引擎412、控制信息生成单元413和知识库414的功能的服务器进行操作。会话信息收集单元411从基点20-1至20-n中的每一个收集包括内容、语境和知识的、与用户200的会话的综合会话信息。在收集会话信息时，可以收集从基点20-1至20-n中的每一个实时传送的会话信息，或者可以请求每个基点在每个预定时间传送会话信息，并且可以收集作为对该请求的响应的会话信息。

推理引擎412评价所收集的综合会话信息并组织会话信息，以将会话信息转换成计算机可读格式并将会话信息累积在知识库414中。在评价会话信息时，确定会话信息是否与先前累积的会话信息相同；如果存在差别，则将会话信息作为新的实践知识累积在知识库414中；如果会话信息与先前累积的会话信息相同，则将该会话信息设置为出现频率高的实践知识，并且更新添加有出现频率的相关信息的信息。从基点20-1至20-n中的每一个收集的内容、语境和技术知识作为实践知识累积在知识库414中。

控制信息生成单元413根据从基点20-1至20-n中的每一个的会话型机器人210传送的综合会话信息来生成包括会话内容和适于对用户200作出响应的会话型机器人210的会话方法的控制信息，并且将控制信息传送至关联的基点20。

由上述的机器人控制系统10累积在信息收集服务器40的知识库414中的实践知识量keff通过以下公式(1)来表达。

[数学公式1]

在上述公式(1)中，实践知识量keff被表达为基本任务量w(m)、在多个基点中所收集的知识量ka(n,p)、用户200的情绪冲动响应a(p,e)和会话型机器人210与用户200之间的信赖度t(di)的函数。

如可以从上述公式理解，随着从属型机器人220的数量m增加，用户200可以执行的基本任务的比率w(m)增大。即，如果从属型机器人220代替用户200来执行大量间接任务，则用户200可以专注于基本任务。因此，支持基本任务的会话型机器人210与用户200之间的会话量增加，因而，可以从与用户200的会话中获取的综合会话信息量增加。

在图8a和图8b中示出了该状况。图8a是示出当从属型机器人220的数量小时用户200执行的基本任务与间接任务的比率的图，以及图8b是示出当从属型机器人220的数量大时用户200可以执行的基本任务与间接任务的比率的图。如图8a所示，如果从属型机器人220的数量m小时，需要用户200执行大量间接任务，因而，要执行的基本任务的比率变小。然而，如图8b所示，如果从属型机器人220的数量大，则从属型机器人220执行大量间接任务，因而，用户200摆脱了大量间接任务。因此，用户要执行的基本任务与全部任务的比率w(m)变高。

另外，在上述公式(1)中，随着会话型机器人210和用户200彼此进行会话的基点的数量n增加，在多个基点20-1至20-n中所收集的知识量ka(n,p)增加。另外，在基点20-1至20-n中的每一个中所获取的知识具有相同值，并且随着与其他的差异程度p变高，知识量ka(n,p)增加。

图9的曲线图示出了基点20-1至20-n的数量、作为用户200的替代者的从属型机器人220执行的间接任务的比率、和会话型机器人210可以收集的知识量ka之间的关系。从图9可以了解，随着基点的数量n增大，会话型机器人210可以收集的知识量ka极大地增加。另外，如果作为用户的替代者的从属型机器人220执行的间接任务的比率增大(即，如果用户执行的基本任务与全部任务的比率w接近w＝1)，则会话型机器人210可以收集的知识量ka增加。这表明，随着用户200可以更加专注于基本任务，用户200与会话型机器人210之间的会话量增加，用户200的情绪反应也增加，并且包括会话型机器人210可以收集的用户的细微表情的综合会话信息增加。

另外，在上述公式(1)中，用户200的情绪冲动响应a(p,e)根据用户200的原始个性p和情绪状态e而改变。即，随着用户200具有用户容易表现情绪的个性，情绪冲动响应a变得明显。另外，随着情绪状态(e)不稳定，情绪冲动响应a变得明显。即，随着情绪冲动响应a变得明显，容易读取用户的情绪反应，并且会话型机器人210可以收集的实践知识量ka增加。

另外，在上述公式(1)中，随着会话型机器人的设计di接近于人类，会话型机器人210与用户200之间的信赖度t(di)增加。即，越接近于人类的机器人(即，像人一样具有手部、腿部和面部的类人型机器人)用作会话型机器人210，并且允许会话型机器人210表现面部的相关面部表情，使得从与用户200的会话中获取的实践知识的信息量ka增加。

图10是示出根据示例性实施例的机器人控制系统中的信息收集操作和机器人控制操作的流程的流程图。在步骤s1001中，在基点(例如，20-1)中，用户200与会话型机器人210进行会话。在步骤s1002中，会话型机器人获取从与用户200的会话获得的会话内容以及会话和用户的背景信息(语境)。

在步骤s1003中，会话型机器人210通过使用诸如摄像装置215和麦克风216的传感器来检测诸如用户的行为、面部表情和身体状态的改变之类的体征。更具体地，用户的面部表情、面色或行为由摄像装置检测，用户的话语的速度和状态(语调)由麦克风检测，或者心跳速率、体温、传导性等的改变由接触传感器检测。

在步骤s1004中，识别引擎221基于摄像装置215或麦克风216检测到的体征来解释用户200的情绪。更具体地，基于用户的面部的面部表情(例如，张开的嘴的大小、嘴角的角度或面色的改变)来解释“高兴的”，根据心跳速率或皮肤的传导性的改变来解释“紧张的”，以及根据话语的语调和速度来解释“气恼的”。

在步骤s1005中，会话型机器人210将包括所获取的内容、语境和情绪反应的综合会话信息传送至信息收集服务器40。在步骤s1006中，信息收集服务器40的会话信息收集单元411接收从每个基点20的会话型机器人210传送的包括内容、语境和情绪反应的会话信息，并且将会话信息累积在知识库414中。此时，信息收集服务器40的推理引擎412评价所接收的会话信息。即，确定会话信息是否与先前累积的会话信息相同；如果存在差别，将会话信息作为新的实践知识累积在知识库414中；如果会话信息与先前累积的会话信息相同，则将会话信息设置为出现频率高的实践知识，并且更新添加有出现频率的相关信息的信息。

在步骤s1007的处理中，控制信息生成单元413基于包括在从除了上述基点20-1外的基点(例如，基点20-2)接收到的会话信息中的内容和语境、通过使用先前累积在知识库414中的会话信息，生成用于控制会话型机器人210的操作和会话的控制信息，并且在步骤s1008中，控制信息生成单元将控制信息传送至关联的基点20-2的会话型机器人210。

在步骤s1009中，基点20-2的会话型机器人210基于从信息收集服务器40接收到的控制信息而对用户200作出响应或者表现面部表情或行为，以与用户进行会话。

另外，迄今为止，描述了如下示例：其中，多个基点20-1至20-n当中的一个基点20-1的会话型机器人210从用户200收集综合会话信息，将会话信息累积在信息收集服务器40中，通过使用存储在信息收集服务器40中的会话信息来生成控制信息，并且基于控制信息来控制与位于另一基点20-2中的用户的会话。然而，本发明不限于上述示例，而是可以将控制信息传送至与收集信息的基点相同的基点(例如，20-1)。

[具体应用示例1]

下文中，作为具体应用示例1，将描述上述机器人控制系统应用于银行的情况。在该示例中，银行的每个分行对应于上述基点20-1至20-n中的每一个，并且分行的客户对应于用户200。在银行的分行(例如，20-1)中，会话型机器人210与老年客户200进行会话。虽然会话型机器人210回答客户200的问题，但是客户200无法容易地理解该回答并做出皱眉的脸。会话型机器人210允许摄像装置215对客户200的面部进行成像并且允许识别引擎221根据客户200的面部表情解释情绪。识别引擎221基于“做出皱眉的脸”的面部表情而进行“客户由于无法听清楚而困惑”或者“客户由于无法理解回答的内容而尴尬”的解释。接下来，如下综合会话信息被传送至信息收集服务器40，该综合会话信息包括客户200的问题、会话型机器人210对客户200的回答、客户的面部表情以及“客户由于无法听清楚而困惑”、“客户感到答案的内容很难”的情绪解释信息。

信息收集服务器40将所获取的会话信息累积在知识库414中。此时，推理引擎412添加特定年龄的客户无法以常规语音音量听清楚以及回答的内容很难的信息，并且将该信息累积在知识库414中。

在银行的另一分行(例如，20-2)中，设置在分行处且与上述的会话型机器人不同的另一会话型机器人210与另一老年客户200进行会话。会话型机器人210回答客户200的问题。此时，会话型机器人210分析摄像装置捕获的客户的图像以估计年龄，并且将年龄连同综合会话信息一起传送至信息收集服务器40。信息收集服务器40的控制信息生成单元413基于存储在知识库414中的信息而生成指示需要大声地向客户200做出回答或者需要以轻松的表情做出回答的控制信息，并且将控制信息提供给设置在分行20-2处的会话型机器人210。

会话型机器人210基于控制信息而以比与开始在银行进行的与客户的会话的音量更大的音量或比与开始在银行进行的与客户的会话的表情更轻松的表情做出回答。接下来，会话型机器人观察客户200对回答做出什么反应，并且将该信息作为综合会话信息输出至信息收集服务器40。

[具体应用示例2]

作为具体应用示例2，将描述上述的机器人控制系统10应用于办公室的情况。在该示例中，办公室的多个部门对应于基点20-1至20-n，并且在每个部门执行任务的办公室工作人员对应于用户200。在部门(例如，20-1)中，会话型机器人210与办公室工作人员200进行会话，并且会话型机器人将从会话获取的综合会话信息传送至信息收集服务器40。多个从属型机器人220设置在每个部门20中。从属型机器人220执行办公室工作人员200需要执行的间接任务。间接任务例如是如下任务：仅在办公室工作人员200将目的地列表移交给从属型机器人220的情况下，从属型机器人将固定格式文档发送至多个目的地，将包裹或材料分发或运输给其他部门的人，或者将联系电子邮件发送至多个目的地。

由于从属型机器人220执行间接任务，因此办公室工作人员200摆脱了间接任务，因而，办公室工作人员更加专注于基本任务。因此，办公室工作人员200与会话型机器人210之间的会话量增加，因而，会话型机器人210可以从办公室工作人员200获取更大量的综合会话信息，并且将综合会话信息传送至信息收集服务器40。

另外，信息收集服务器40的会话信息收集单元411基于累积在知识库414中的综合会话信息来生成控制信息，并且将控制信息输出至另一二级部门20-2中的与另一办公室工作人员200进行会话的另一会话型机器人210。部门20-2的会话型机器人210的会话控制单元222和操作控制单元223基于从信息收集服务器40接收到的控制信息而控制与办公室工作人员200的会话的内容或者会话型机器人210的操作。以该方式，机器人控制系统10可以允许在初级部门20-1收集的综合会话信息反映在与二级部门20-2的办公室工作人员200的会话上，进一步从二级部门20-2的办公室工作人员200获取综合会话信息，并且将综合会话信息累积在信息收集服务器40的知识库414中。

为了说明和描述的目的而提供了本发明的示例性实施例的以上描述，其不旨在对本发明进行详尽说明或将本发明限于所公开的确切形式。显而易见，许多变型和改变对于本领域技术人员是明显的。选择并描述实施例是为了最好地说明本发明的原理及其实际应用，从而使得本领域技术任意根据各种实施例且通过适合于所预期的特定用户的各种变型理解本发明。本发明的范围由所附权利要求及其等同方案来限定。