机器人只能回复语音信息，这就是单一模态的交互回应)O交互处理模块122输出的是多模态的交互输出结果信息。对应多模态的交互输出结果信息，在本实施例的机器人系统中还构造有交互输出模块130，其配置为根据多模态的交互输出结果信息控制机器人做出多模态的交互回应，交互回应与交互输出结果信息匹配。
[0046]具体的，在本实施例中，交互输出模块130包含语音输出单元131以及机器人肢体控制单元132。语音输出单元131配置为输出语音输出，机器人肢体控制单元132配置为输出与语音输出匹配的机器人肢体控制信号。
[0047]进一步的，交互输出模块130还包含表情输出单元133，表情输出单元133配置为输出与语音输出匹配的机器人表情。当然，在本发明的其他实施例中，可以根据实际需要，在交互输出模块构造其他模态的用于输出具体交互回应的执行单元。
[0048]综上，与现有技术相比，根据本发明的机器人系统能够进行多模态的交互信息采集以及交互信息输出，从而实现用户与机器人之间的多模态，不仅扩展了机器人的应用范围，而且大大提高了机器人的用户体验。
[0049]本发明还提出了一种用于机器人系统的交互方法。接下来基于流程图描述根据本发明一实施例的方法的执行流程。附图的流程图中示出的步骤可以在包含诸如一组计算机可执行指令的计算机系统中执行。虽然在流程图中示出了各步骤的逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0050]如图2所示，本实施例的方法主要包括以下步骤:
[0051 ] S21，采集多种不同模态的外部输入信息；
[0052]S22，对多模态的外部输入信息进行决策与分析，包括，分别针对每一种模态的外部输入信息进行分析并综合各个模态的分析结果输出多模态的交互输出结果信息；
[0053]S23，根据多模态的交互输出结果信息控制机器人做出多模态的交互回应，交互回应与所述交互输出信息匹配。
[0054]具体的，在步骤S21中，外部输入信息包含外界语音、外界图像信息和外部触摸压力数据。即在步骤S21中分别采集外部语音(S211)、采集外界图像信息(S212)以及采集外部触摸压力数据(S213)。
[0055]当然，本发明的方法所能采集的外部输入信息并不限于上述信息。在本发明的其他实施例中，可以根据实际需要构造采集其他模态的外部输入信息的信息采集过程。
[0056]在步骤S22中，对多模态的外部输入信息进行决策与分析，其中:
[0057]为了降低硬件成本、减小机器人体积并提高机器人智能水平(信息处理速度以及数据存储量)，将对多模态的外部输入信息进行决策与分析的过程分为本地处理过程(S222)以及云服务器处理过程(S223)两部分，其中:
[0058]本地处理过程(S222)在当前机器人的硬件上执行；
[0059]云服务器处理过程(S223)在网络上的云服务器上执行；
[0060]在本地处理过程(S222)以及云服务器处理过程(S223)执行过程中通过网络连接实现数据交互。
[0061]这样，需要在本地机器人硬件上进行处理的一部分操作就被分担到云服务器，从而大大降低了本地机器人硬件的运算量以及所需的数据存储量。在保持机器人体积以及成本不变的情况下，大大提高了机器人智能化水平。
[0062]进一步的，在本地处理过程中利用云服务器处理过程实现数据的辅助处理，其中，基于一套硬件单元实现针对多个不同的机器人进行的云服务器处理过程。即针对多个不同的机器人，只需要构造一个云服务器处理单元。在不同的多个机器人运行的过程中，每个机器人上的本地处理单元分别与一个云服务器处理单元进行数据交互以寻求云服务器处理单元的辅助。这样，不仅提高了云服务器处理单元的利用效率，降低了整体的成本，而且便于系统的整体的更新。
[0063]为了扩展机器人的应用范围，提高机器人的用户体验，根据本发明的方法输出的并不是单一模态的交互回应(例如现有技术中的机器人只能回复语音信息，这就是单一模态的交互回应)。步骤S22输出的是多模态的交互输出结果信息。对应多模态的交互输出结果信息，在步骤S23根据多模态的交互输出结果信息控制机器人做出多模态的交互回应，交互回应与交互输出结果信息匹配。
[0064]具体的，在步骤S23中，交互回应包含语音输出、与语音输出匹配的机器人肢体控制信号以及与所述语音输出匹配的机器人表情。即在步骤S23中执行步骤S231(语音输出)、S232(机器人肢体动作输出)以及S233(机器人表情输出)。当然，在本发明的其他实施例中，可以根据实际需要构造其他模态的用于输出具体交互回应的输出行为。
[0065]综上，与现有技术相比，根据本发明的用于机器人系统的交互方法能够进行多模态的交互信息采集以及交互信息输出，从而实现用户与机器人之间的多模态，不仅扩展了机器人的应用范围，而且大大提高了机器人的用户体验。
[0066]虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。本发明所述的方法还可有其他多种实施例。在不背离本发明实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变或变形，但这些相应的改变或变形都应属于本发明的权利要求的保护范围。
【主权项】
1.一种机器人系统，其特征在于，包括: 采集模块，其配置为采集多模态的外部输入信息，所述采集模块包含语音采集单元、视觉传感器和触摸传感器，所述视觉传感器配置为采集外界图像信息，所述语音采集单元配置为采集外界语音，所述触摸传感器配置为采集外部触摸压力数据； 交互处理模块，其配置为对多模态的所述外部输入信息进行决策与分析，其包括，分别针对每一种模态的所述外部输入信息进行分析并综合各个模态的分析结果输出多模态的交互输出结果信息； 交互输出模块，其配置为根据多模态的所述交互输出结果信息控制机器人做出匹配的多模态交互回应，所述交互输出模块包含语音输出单元以及机器人肢体控制单元，所述语音输出单元配置为输出语音输出，所述机器人肢体控制单元配置为输出与所述语音输出匹配的机器人肢体控制信号。2.根据权利要求1所述的系统，其特征在于，所述交互输出模块还包含表情输出单元，所述表情输出单元配置为输出与所述语音输出匹配的机器人表情。3.根据权利要求2所述的系统，其特征在于，所述交互处理模块包含本地处理单元以及云服务器处理单元，其中: 所述本地处理单元被构造在当前机器人的硬件框架内； 所述云服务器处理单元被构造在网络上的云服务器中； 所述本地处理单元和所述云服务器处理单元通过网络连接实现数据交互。4.根据权利要求3所述的系统，其特征在于，所述云服务器处理单元辅助所述本地处理单元对多种不同模态的所述外部输入信息进行进行决策与分析，其中，一个所述云服务器处理单元对应辅助多个不同的机器人上的所述本地处理单元。5.—种用于机器人系统的交互方法，其特征在于，所述方法包括以下步骤: 采集多种不同模态的外部输入信息，所述外部输入信息包含外界语音、外界图像信息和外部触摸压力数据； 对多模态的所述外部输入信息进行决策与分析，包括，分别针对每一种模态的所述外部输入信息进行分析并综合各个模态的分析结果输出多模态的交互输出结果信息； 根据多模态的所述交互输出结果信息控制机器人做出匹配的多模态交互回应，所述多模态交互回应包含语音输出以及与所述语音输出匹配的机器人肢体控制信号。6.根据权利要求5所述的方法，其特征在于，所述多模态交互回应还包含与所述语音输出匹配的机器人表情。7.根据权利要求5所述的方法，其特征在于，将对多模态的所述外部输入信息进行决策与分析的过程分为本地处理过程以及云服务器处理过程两部分，其中: 所述本地处理过程在当前机器人的硬件上执行； 所述云服务器处理过程在网络上的云服务器上执行； 在所述本地处理过程以及所述云服务器处理过程执行过程中通过网络连接实现数据交互。8.根据权利要求7所述的方法，其特征在于，在所述本地处理过程中利用所述云服务器处理过程实现数据的辅助处理，其中，基于一套硬件单元实现针对多个不同的机器人进行的所述云服务器处理过程。
【专利摘要】本发明公开了一种机器人系统及交互方法。系统包括：采集模块，其配置为采集多模态的外部输入信息，所述采集模块包含语音采集单元、视觉传感器和触摸传感器；交互处理模块，其配置为对多模态的所述外部输入信息进行决策与分析，其包括，分别针对每一种模态的所述外部输入信息进行分析并综合各个模态的分析结果输出多模态的交互输出结果信息；交互输出模块，其配置为根据多模态的所述交互输出结果信息控制机器人做出匹配的多模态交互回应。与现有技术相比，根据本发明的机器人系统以及方法能够进行多模态的交互信息采集以及交互信息输出，从而实现用户与机器人之间的多模态，不仅扩展了机器人的应用范围，而且大大提高了机器人的用户体验。
【IPC分类】B25J11/00, B25J9/16
【公开号】CN105598972
【申请号】CN201610078417
【发明人】杨钊
【申请人】北京光年无限科技有限公司
【公开日】2016年5月25日
【申请日】2016年2月4日