机器人表情控制方法和装置与流程

本发明涉及智能机器人技术领域，尤其是涉及一种机器人表情控制方法和装置。

背景技术：

机器人是自动执行工作的机器装置；它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。机器人可以协助或取代人类的部分工作。表情机器人是能模拟人类面部表情和情绪动作的智能机器人，以实现与人类的对话或互动。

现有在售的机器人的表情表达一般依靠单一光源或者单纯的显示固定表情，与用户的互动性不高；而仿人脸表情机器人技术要求和成本都比较高，不适用于批量生产。

针对现有机器人的表情表达方法互动性和实用性较差的问题，尚未提出有效的解决方案。

技术实现要素：

有鉴于此，本发明的目的在于提供一种机器人表情控制方法和装置，以增强机器人与用户的互动性和实用性，进而提高用户的体验度。

第一方面，本发明实施例提供了一种机器人表情控制方法，该方法由机器人控制器执行，该机器人控制器连接机器人，该方法包括：接收机器人采集的用户行为信号；其中，用户行为信号包括面部反射信号、肢体反射信号和声音信号中的一种或多种；从用户行为信号中提取用户情绪特征；其中，用户情绪特征包括表情特征、动作特征和声音特征中的一种或多种；声音特征包括语言特征和/或语气特征；从预先建立的表情参数数据库中查找与用户情绪特征对应的表情参数；其中，预先建立的表情参数数据库中保存了用户情绪特征的数值范围与表情参数的对应关系；表情参数与人脸的表情种类一一对应；将表情参数发送至机器人，以使机器人从预先建立的表情表达数据库中查找与表情参数对应的表情表达数据；根据表情表达数据控制机器人面部进行表情展示；其中，表情表达数据包括人脸面部五官的动作控制数据。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述从预先建立的表情参数数据库中查找与用户情绪特征对应的表情参数包括：通过机器学习算法，从预先建立的表情参数数据库中搜索与用户情绪特征的差值最小的理想情绪特征，将理想情绪特征对应的表情参数作为用户情绪特征的表情参数。

第二方面，本发明实施例提供了另一种机器人表情控制方法，该方法由机器人执行，该机器人连接机器人控制器，该方法包括：采集用户行为信号，将用户行为信号发送至机器人控制器；其中，该用户行为信号包括面部反射信号、肢体反射信号和声音信号中的一种或多种；接收机器人控制器发送的表情参数；其中，该表情参数与人脸的表情种类一一对应；从预先建立的表情表达数据库中查找与表情参数对应的表情表达数据；根据表情表达数据控制机器人的面部进行表情展示；其中，该表情表达数据包括人脸面部五官的动作控制数据。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述采集用户行为信号包括：通过摄像头实时检测是否有用户进入摄像头的预设距离内；如果是，通过多媒体信号采集设备采集用户行为信号。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述根据表情表达数据控制机器人的面部进行表情展示包括：根据表情表达数据控制机器人的面部五官的动作，通过显示屏进行表情展示；其中，该显示屏包括点阵块。

第三方面，本发明实施例提供了一种机器人表情控制装置，该装置设置于机器人控制器，该机器人控制器连接机器人，该装置包括：信号接收模块，用于接收机器人采集的用户行为信号；其中，该用户行为信号包括面部反射信号、肢体反射信号和声音信号中的一种或多种；特征提取模块，用于从用户行为信号中提取用户情绪特征；其中，该用户情绪特征包括表情特征、动作特征和声音特征中的一种或多种；该声音特征包括语言特征和/或语气特征；参数查找模块，用于从预先建立的表情参数数据库中查找与用户情绪特征对应的表情参数；其中，该预先建立的表情参数数据库中保存了用户情绪特征的数值范围与表情参数的对应关系；表情参数与人脸的表情种类一一对应；发送模块，用于将表情参数发送至机器人，以使机器人从预先建立的表情表达数据库中查找与表情参数对应的表情表达数据；根据表情表达数据控制机器人面部进行表情展示；其中，该表情表达数据包括人脸面部五官的动作控制数据。

结合第三方面，本发明实施例提供了第三方面的第一种可能的实施方式，其中，上述参数查找模块还用于：通过机器学习算法，从预先建立的表情参数数据库中搜索与用户情绪特征的差值最小的理想情绪特征，将理想情绪特征对应的表情参数作为用户情绪特征的表情参数。

第四方面，本发明实施例提供了另一种机器人表情控制装置，该装置设置于机器人，该机器人连接机器人控制器，该装置包括：信号采集模块，用于采集用户行为信号，将用户行为信号发送至机器人控制器；其中，该用户行为信号包括面部反射信号、肢体反射信号和声音信号中的一种或多种；参数接收模块，用于接收机器人控制器发送的表情参数；其中，该表情参数与人脸的表情种类一一对应；数据查找模块，用于从预先建立的表情表达数据库中查找与表情参数对应的表情表达数据；表情展示模块，用于根据表情表达数据控制机器人的面部进行表情展示；其中，该表情表达数据包括人脸面部五官的动作控制数据。

结合第四方面，本发明实施例提供了第四方面的第一种可能的实施方式，其中，上述信号采集模块包括：检测单元，用于通过摄像头实时检测是否有用户进入摄像头的预设距离内；采集单元，用于如果有用户进入摄像头的预设距离内，通过多媒体信号采集设备采集用户行为信号。

结合第四方面，本发明实施例提供了第四方面的第二种可能的实施方式，其中，上述表情展示模块还用于：根据表情表达数据控制机器人的面部五官的动作，通过显示屏进行表情展示；其中，该显示屏包括点阵块。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种机器人表情控制方法和装置，通过用户的面部反射信号、肢体反射信号和声音信号中的一种或多种用户行为信号中可以提取用户表情特征、动作特征和声音特征中的一种或多种情绪特征；通过查找预先建立的表情参数数据库可以获取用户情绪特征对应的表情参数；并将该表情参数发送至机器人，以使该机器人根据表情参数获取表情表达数据，进而控制机器人面部进行表情展示；上述方式可以通过多种信号综合获取用户的情绪特征，提高了获取用户情绪的准确性；根据该情绪特征控制机器人进行表情展示，使机器人可以准确地根据用户的情绪展示表情，增强了机器人与用户的互动性和实用性，进而提高了用户的体验度。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种机器人表情控制方法的流程图；

图2为本发明实施例提供的另一种机器人表情控制方法的流程图；

图3为本发明实施例提供的第三种机器人表情控制方法的流程图；

图4为本发明实施例提供的一种机器人表情控制装置的结构示意图；

图5为本发明实施例提供的另一种机器人表情控制装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有机器人的表情表达方法互动性和实用性较差的问题，本发明实施例提供了一种机器人表情控制方法和装置，该技术可以应用于机器人技术领域中，尤其是机器人表情控制的相关技术环境中；该技术可以采用相关的软件和硬件实现，下面通过实施例进行描述。

实施例一：

参见图1所示的一种机器人表情控制方法的流程图，该方法由机器人控制器执行，该机器人控制器连接机器人，该方法包括如下步骤：

步骤S102，接收机器人采集的用户行为信号；其中，该用户行为信号包括面部反射信号、肢体反射信号和声音信号中的一种或多种；

通常，用户的情绪可以通过多种途径表达出来，例如，面部反射信号的表情可以直接反映出该用户的情绪；且，肢体反射信号和声音信号中均包含该用户的情绪特征；例如，当用户的情绪为“高兴”时，该用户的肢体动作可能会有跳跃、舞蹈等，该用户的声音信号中可能会有“开心”、“高兴”的语言，且声调较为高亢。

步骤S104，从用户行为信号中提取用户情绪特征；其中，该用户情绪特征包括表情特征、动作特征和声音特征中的一种或多种；该声音特征包括语言特征和/或语气特征；

在具体实现时，提取的用户情绪特征的种类和数量，在此不做限定；可以同时提取用户的表情特征、动作特征和声音特征，将这些特征进行综合处理；也可以提取可以明显反映出该用户情绪的特征种类；例如，当该用户静止站立在机器人面前讲话，且面部没有明显表情时，可以仅提取该用户的声音特征，根据该声音特征分析该用户的情绪。

步骤S106，从预先建立的表情参数数据库中查找与用户情绪特征对应的表情参数；其中，该预先建立的表情参数数据库中保存了用户情绪特征的数值范围与表情参数的对应关系；该表情参数与人脸的表情种类一一对应；

上述表情参数数据库可以以下述方式建立：获取人脸的多种表情，包括6种基本表情(高兴、吃惊、悲伤、愤怒、厌恶和恐惧)，以及多种复合表情(悲伤且恐惧、悲伤且吃惊、愤怒且恐惧等)，并对每种表情赋予唯一的表情参数；通过机器学习和训练的方式，总结和归类每种表情可能对应的面部反射信号表达的表情特征、肢体反射信号表达的动作特征以及声音特征；并根据每种特征与该表情的关联度，对每种特征赋予权重值。

在该表情参数数据库中，用户情绪特征可以为具体的数值(此时，该具体的数值即为数值范围)，也可以为一个多个数据组成数据范围；当获取到的情绪特征的数值落入某个表情的情绪特征数值范围时，则获取该表情的表情参数。

步骤S108，将表情参数发送至机器人，以使机器人从预先建立的表情表达数据库中查找与表情参数对应的表情表达数据；根据表情表达数据控制机器人面部进行表情展示；其中，该表情表达数据包括人脸面部五官的动作控制数据。

上述机器人控制器可以与机器人通过串口通信连接，通过通用串行总线USB将上述表情参数发送至机器人；上述机器人控制器还可以与机器人通过无线连接，通过WIFI或蓝牙将上述表情参数发送至机器人。

本发明实施例提供的一种机器人表情控制方法，由机器人控制器执行，通过用户的面部反射信号、肢体反射信号和声音信号中的一种或多种用户行为信号中可以提取用户表情特征、动作特征和声音特征中的一种或多种情绪特征；通过查找预先建立的表情参数数据库可以获取用户情绪特征对应的表情参数；并将该表情参数发送至机器人，以使该机器人根据表情参数获取表情表达数据，进而控制机器人面部进行表情展示；上述方式可以通过多种信号综合获取用户的情绪特征，提高了获取用户情绪的准确性；根据该情绪特征控制机器人进行表情展示，使机器人可以准确地根据用户的情绪展示表情，增强了机器人与用户的互动性和实用性，进而提高了用户的体验度。

考虑到获取到的情绪特征数据变化较大，上述从预先建立的表情参数数据库中查找与用户情绪特征对应的表情参数包括：通过机器学习算法，从预先建立的表情参数数据库中搜索与用户情绪特征的差值最小的理想情绪特征，将理想情绪特征对应的表情参数作为用户情绪特征的表情参数。

上述机器学习算法可以利用概率论、统计学、逼近论、凸分析、算法复杂度理论等多种方法，使计算机模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能；通过不断的归纳和综合，发现数据之间的规律和特点，进而实现上述通过用户情绪特征获取应该表达表情种类的功能。

实施例二：

参见图2所示的另一种机器人表情控制方法的流程图，该方法由机器人执行，该机器人连接机器人控制器，该方法包括如下步骤：

步骤S202，采集用户行为信号，将该用户行为信号发送至机器人控制器；其中，该用户行为信号包括面部反射信号、肢体反射信号和声音信号中的一种或多种；

步骤S204，接收机器人控制器发送的表情参数；其中，该表情参数与人脸的表情种类一一对应；

步骤S206，从预先建立的表情表达数据库中查找与表情参数对应的表情表达数据；

上述表情表达数据库可以以下述方式建立：由于大多数表情可以通过五官的动作表达，因此每种表情下需要对应所涉及到的五官的具体动作的控制数据，例如，表情“高兴”，所涉及到的五官包括眼睛和嘴巴，其中，眼睛的控制数据包括眼睛的横向拉伸和纵向缩小，嘴巴的控制数据包括嘴巴的横向拉伸和纵向拉伸等；一种表情对应一组控制数据，该组控制数据中包括一个或多个五官的具体动作的控制数据。由于表情的种类与表情参数一一对应，根据表情参数可以查找到与该表情参数对应的一组控制数据。

步骤S208，根据表情表达数据控制机器人的面部进行表情展示；其中，该表情表达数据包括人脸面部五官的动作控制数据。

本发明实施例提供的另一种机器人表情控制方法，由机器人执行，通过将采集到的面部反射信号、肢体反射信号和声音信号中的一种或多种用户行为信号发送至机器人控制器，可以获得该机器人控制器发送的表情参数；通过查找预先建立的表情表达数据库可以获得与该表情参数对应的表情表达数据，并通过该根据表情表达数据控制机器人的面部进行表情展示。上述方式可以通过多种信号综合获取用户的情绪特征，提高了获取用户情绪的准确性；根据该情绪特征控制机器人进行表情展示，使机器人可以准确地根据用户的情绪展示表情，增强了机器人与用户的互动性和实用性，进而提高了用户的体验度。

为了更加清晰准确地获取用户行为信号，上述采集用户行为信号包括如下步骤：(1)通过摄像头实时检测是否有用户进入摄像头的预设距离内；(2)如果是，通过多媒体信号采集设备采集用户行为信号。

具体而言，为了节约机器人的内存资源，当检测到有用户进入检测区域内，多媒体信号采集设备才启动采集用户行为信号的动作；上述预设的距离可以为距离摄像头1米至3米内。上述多媒体信号采集设备包括摄像头和话筒，通过摄像头可以获取用户的面部反射信号、肢体反射信号，通过话筒可以获取用户的声音信号。

考虑到机器人的面部可以通过多种硬件实现，上述根据表情表达数据控制机器人的面部进行表情展示，可以以下述方式实现：根据表情表达数据控制机器人的面部五官的动作，通过显示屏进行表情展示；其中，该显示屏包括点阵块。

例如，可以通过三块16*16的点阵块分别显示左眼、右眼和嘴巴；进一步地，可以使用一块高清LCD或LED显示屏显示机器人的面部，还可以使用相关机械结构模拟面部五官；通过上述表情表达数据控制多个电机动作，进而机械结构发生变化，进行表现展示。

实施例三：

参见图3所示的第三种机器人表情控制方法的流程图，该方法包括如下步骤：

步骤S302，机器人通过内部摄像头检测到用户，获取表情参数，并将该表情参数转换成数字控制信号；

具体地，当用户在机器人的面前站定后，检测用户是否站在摄像头拍摄范围的1m-3m之内；如果是，当机器人通过人脸识别到用户或者跟用户对话时，得到用户的表情参数(该表情参数包括happy、sad、nurture等)；该步骤中，要求用户头部不能歪斜，且正视机器人；将得到的表情参数转换成数字控制信号(该数字控制信号可以为与表情参数一一对应的数字，0、1、2、3…)；其中，所有表情参数值个数不少于10个；在实际实现时，上述用户距离摄像头的范围决定了获取表情参数的快速性以及摄像头捕获用户表情图像的清晰性。

步骤304：将上述数字控制信号发送至机器人表情显示程序；

具体地，信号发送时，系统触发串口通讯程序，通过USB进行通信；将数字控制信号发送给机器人表情显示程序，表情显示程序内存储的动态表情图不少于10个；

步骤306：表情显示程序显示相应的动态卡通表情；

具体地，上述表情显示程序根据接收到的信号显示相应的动态卡通表情，要求通过3块16*16的点阵块显示左眼、右眼以及嘴巴；

在具体实现时，上述方法可以通过下述硬件实现：将工控机作为上位机，51单片机作为下位机，摄像头获取用户的表情参数，上位机将获取的表情参数转换为下位机能够控制的表情命令，上位机通过串口通讯程序与下位机通信并将转换的表情命令发送给下位机，下位机将接收到的命令与表情库进行匹配，输出显示相应的动态表情。

实施例四：

对应于上述实施例一，参见图4所示的一种机器人表情控制装置的结构示意图，该装置设置于机器人控制器，该机器人控制器连接机器人，该装置包括如下部分：

信号接收模块402，用于接收机器人采集的用户行为信号；其中，该用户行为信号包括面部反射信号、肢体反射信号和声音信号中的一种或多种；

特征提取模块404，用于从用户行为信号中提取用户情绪特征；其中，该用户情绪特征包括表情特征、动作特征和声音特征中的一种或多种；该声音特征包括语言特征和/或语气特征；

参数查找模块406，用于从预先建立的表情参数数据库中查找与用户情绪特征对应的表情参数；其中，该预先建立的表情参数数据库中保存了用户情绪特征的数值范围与表情参数的对应关系；该表情参数与人脸的表情种类一一对应；

发送模块408，用于将表情参数发送至机器人，以使机器人从预先建立的表情表达数据库中查找与表情参数对应的表情表达数据；根据表情表达数据控制机器人面部进行表情展示；其中，该表情表达数据包括人脸面部五官的动作控制数据。

本发明实施例提供的一种机器人表情控制装置，设置于机器人控制器，通过用户的面部反射信号、肢体反射信号和声音信号中的一种或多种用户行为信号中可以提取用户表情特征、动作特征和声音特征中的一种或多种情绪特征；通过查找预先建立的表情参数数据库可以获取用户情绪特征对应的表情参数；并将该表情参数发送至机器人，以使该机器人根据表情参数获取表情表达数据，进而控制机器人面部进行表情展示；上述方式可以通过多种信号综合获取用户的情绪特征，提高了获取用户情绪的准确性；根据该情绪特征控制机器人进行表情展示，使机器人可以准确地根据用户的情绪展示表情，增强了机器人与用户的互动性和实用性，进而提高了用户的体验度。

考虑到获取到的情绪特征数据变化较大，上述参数查找模块还用于：通过机器学习算法，从预先建立的表情参数数据库中搜索与用户情绪特征的差值最小的理想情绪特征，将理想情绪特征对应的表情参数作为用户情绪特征的表情参数。

对应于上述实施例二，参见图5所示的另一种机器人表情控制装置的结构示意图，该装置设置于机器人，机器人连接机器人控制器，该装置包括如下部分：

信号采集模块502，用于采集用户行为信号，将用户行为信号发送至机器人控制器；其中，该用户行为信号包括面部反射信号、肢体反射信号和声音信号中的一种或多种；

参数接收模块504，用于接收机器人控制器发送的表情参数；其中，该表情参数与人脸的表情种类一一对应；

数据查找模块506，用于从预先建立的表情表达数据库中查找与表情参数对应的表情表达数据；

表情展示模块508，用于根据表情表达数据控制机器人的面部进行表情展示；其中，该表情表达数据包括人脸面部五官的动作控制数据。

本发明实施例提供的另一种机器人表情控制装置，设置于机器人，通过将采集到的面部反射信号、肢体反射信号和声音信号中的一种或多种用户行为信号发送至机器人控制器，可以获得该机器人控制器发送的表情参数；通过查找预先建立的表情表达数据库可以获得与该表情参数对应的表情表达数据，并通过该根据表情表达数据控制机器人的面部进行表情展示。上述方式可以通过多种信号综合获取用户的情绪特征，提高了获取用户情绪的准确性；根据该情绪特征控制机器人进行表情展示，使机器人可以准确地根据用户的情绪展示表情，增强了机器人与用户的互动性和实用性，进而提高了用户的体验度。

为了更加清晰准确地获取用户行为信号，上述信号采集模块包括：(1)检测单元，用于通过摄像头实时检测是否有用户进入摄像头的预设距离内；(2)采集单元，用于如果有用户进入摄像头的预设距离内，通过多媒体信号采集设备采集用户行为信号。

考虑到机器人的面部可以通过多种硬件实现，上述表情展示模块还用于：根据表情表达数据控制机器人的面部五官的动作，通过显示屏进行表情展示；其中，显示屏包括点阵块。

本发明实施例提供的一种机器人表情控制方法和装置，首先通过机器人内部摄像头检测到用户，经过人脸识别获取用户的表情并将表情参数转换成数字控制信号，然后触发串口通讯程序，将数字控制信号发送给机器人表情显示程序，最后表情显示程序根据接收到的信号显示相应的动态卡通表情。本发明具有操作简单、控制简便、效果生动等特点，用户还可自己编程设计表情，克服了传统机器人表情的单一、呆板以及与用户交互性差等缺陷。

本发明实施例所提供的一种机器人表情控制方法和装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。