一种面部表情机器人多通道信息情感表达映射方法
【专利摘要】本发明公开了一种面部表情机器人多通道信息情感表达映射方法，包括以下步骤：S1：预建表情库、语音库、手势库、表情输出库、语音输出库和手势输出库；S2：采集对话人的语音并通过与语音库对比识别声音表情，采集对话人的表情并通过与表情库对比识别情感表情，采集对话人的手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令；S3：面部表情机器人根据复合表情指令从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令从表情输出库中选择表情动作指令进行面部表情表达。本发明能够实现面部表情机器人多通道信息情感表达，方法简单，使用方便，成本低。
【专利说明】
_种面部表情机器人多通道信息情感表达映射方法
技术领域
[0001]本发明涉及面部表情机器人技术领域，尤其涉及一种面部表情机器人多通道信息情感表达映射方法。
【背景技术】
[0002]面部表情机器人对于实现人机自然交互，减少人类与机器人之间的情感距离，具有积极的促进意义。
[0003]与传统的固定工位、固定工序和固定操作场景的工业机器人不同，面部表情机器人对于交互性、智能性和自主性的要求更高，其研究涉及机械设计、自动控制、计算机智能、心理学及认知科学等多领域知识，具有典型的多学科交叉特征;这使得一些研究机构及公司虽然能够设计出一些具有一定情感表达的面部表情机器人，但由于涉及情感表达的技术非常繁多复杂，多数的研究仍处于实验室探索阶段，表情机器人多通道情感表达欠缺;表情机器人的情感表达涉及交叉学科，如何综合运用多领域知识成为情感表达的一个关键问题;缺乏面向表情机器人的通用性情感表达建模方法;人类的脸部不仅运动器官众多，而且器官运动幅度的细微瞬间变化都可能表达不同的情感；因此，在国内的表情机器人研究领域，多数的研究工作仍重点围绕头部的机构设计方面，对于如何将视觉表情分析、语音识别等智能技术应用于表情机器人明显不足，尤其缺乏统一的通用性情感表达建模标准。
【发明内容】
[0004]基于【背景技术】存在的技术问题，本发明提出了一种面部表情机器人多通道信息情感表达映射方法。
[0005]本发明提出的一种面部表情机器人多通道信息情感表达映射方法，包括以下步骤:
S1:预建表情库、语音库、手势库、表情输出库、语音输出库和手势输出库；
S2:采集对话人的语音并通过与语音库对比识别声音表情，采集对话人的表情并通过与表情库对比识别情感表情，采集对话人的手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令；
S3:面部表情机器人根据复合表情指令从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令从表情输出库中选择表情动作指令进行面部表情表达，同时面部表情机器人根据复合表情指令从手势输出库中选择手势动作指令进行手势表达，实现面部表情机器人多通道信息情感表达。
[0006]优选地，所述SI中，预建表情库、语音库、手势库、语音输出参考模型、表情输出参考模型、手势输出参考模型、表情输出库、语音输出库和手势输出库。
[0007]优选地，所述S2中，采集语音并通过与语音库对比识别声音表情，采集待识别的人脸图像并通过与表情库对比识别情感表情，采集手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令。
[0008]优选地，所述S3中，面部表情机器人根据复合表情指令并通过与语音输出参考模型对比，从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令并通过与表情输出参考模型对比，从表情输出库中选择表情动作指令进行面部表情表达，同时面部表情机器人根据复合表情指令并通过与手势输出参考模型对比，从手势输出库中选择手势动作指令进行手势表达，实现面部表情机器人多通道信息情感表达。
[0009]本发明中，所述的一种面部表情机器人多通道信息情感表达映射方法通过预建表情库、语音库和手势库能够对人们说话时的语音、表情和手势进行识别对比，从而获得复合表情指令，通过预建的语音输出库、表情输出库和手势输出库使得面部表情机器人能够根据复合表情指令输出对应的语音、表情和手势，本发明能够实现面部表情机器人多通道信息情感表达，方法简单，使用方便，成本低。
【具体实施方式】
[0010]下面结合具体实施例对本发明作进一步解说。
实施例
[0011]本实施例提出了一种面部表情机器人多通道信息情感表达映射方法，包括以下步骤:
S1:预建表情库、语音库、手势库、表情输出库、语音输出库和手势输出库；
S2:采集对话人的语音并通过与语音库对比识别声音表情，采集对话人的表情并通过与表情库对比识别情感表情，采集对话人的手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令；
S3:面部表情机器人根据复合表情指令从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令从表情输出库中选择表情动作指令进行面部表情表达，同时面部表情机器人根据复合表情指令从手势输出库中选择手势动作指令进行手势表达，实现面部表情机器人多通道信息情感表达。
[0012]本实施例中，SI中，预建表情库、语音库、手势库、语音输出参考模型、表情输出参考模型、手势输出参考模型、表情输出库、语音输出库和手势输出库，S2中，采集语音并通过与语音库对比识别声音表情，采集待识别的人脸图像并通过与表情库对比识别情感表情，采集手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令，S3中，面部表情机器人根据复合表情指令并通过与语音输出参考模型对比，从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令并通过与表情输出参考模型对比，从表情输出库中选择表情动作指令进行面部表情表达，同时面部表情机器人根据复合表情指令并通过与手势输出参考模型对比，从手势输出库中选择手势动作指令进行手势表达，实现面部表情机器人多通道信息情感表达，的一种面部表情机器人多通道信息情感表达映射方法通过预建表情库、语音库和手势库能够对人们说话时的语音、表情和手势进行识别对比，从而获得复合表情指令，通过预建的语音输出库、表情输出库和手势输出库使得面部表情机器人能够根据复合表情指令输出对应的语音、表情和手势，本发明能够实现面部表情机器人多通道信息情感表达，方法简单，使用方便，成本低。
[0013]以上所述，仅为本发明较佳的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
【主权项】
1.一种面部表情机器人多通道信息情感表达映射方法，其特征在于，包括以下步骤: Si:预建表情库、语音库、手势库、表情输出库、语音输出库和手势输出库； S2:采集对话人的语音并通过与语音库对比识别声音表情，采集对话人的表情并通过与表情库对比识别情感表情，采集对话人的手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令； S3:面部表情机器人根据复合表情指令从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令从表情输出库中选择表情动作指令进行面部表情表达，同时面部表情机器人根据复合表情指令从手势输出库中选择手势动作指令进行手势表达，实现面部表情机器人多通道信息情感表达。2.根据权利要求1所述的一种面部表情机器人多通道信息情感表达映射方法，其特征在于，所述SI中，预建表情库、语音库、手势库、语音输出参考模型、表情输出参考模型、手势输出参考模型、表情输出库、语音输出库和手势输出库。3.根据权利要求1所述的一种面部表情机器人多通道信息情感表达映射方法，其特征在于，所述S2中，采集语音并通过与语音库对比识别声音表情，采集待识别的人脸图像并通过与表情库对比识别情感表情，采集手势并通过与手势库对比识别手势表情，将声音表情、情感表情和手势表情进行融合，获得复合表情指令。4.根据权利要求1或2所述的一种面部表情机器人多通道信息情感表达映射方法，其特征在于，所述S3中，面部表情机器人根据复合表情指令并通过与语音输出参考模型对比，从语音输出库中选择语音流数据进行输出，面部表情机器人根据复合表情指令并通过与表情输出参考模型对比，从表情输出库中选择表情动作指令进行面部表情表达，同时面部表情机器人根据复合表情指令并通过与手势输出参考模型对比，从手势输出库中选择手势动作指令进行手势表达，实现面部表情机器人多通道信息情感表达。
【文档编号】G06N3/00GK106096716SQ201610377973
【公开日】2016年11月9日
【申请日】2016年6月1日
【发明人】虞焰兴
【申请人】安徽声讯信息技术有限公司