一种机器人交互内容的生成方法、系统及机器人与流程

本发明涉及机器人交互技术领域，尤其涉及一种机器人交互内容的生成方法、系统及机器人。

背景技术：

通常人类再交互过程中做出一个表情，一般是在眼睛看到或者耳朵听到声音之后，经过大脑分析过后进行合理的表情反馈，人来在某一天的时间轴上的生活场景，比如吃饭，睡觉，运动等，各种场景值的变化会影响人类表情的反馈。而对于机器人而言，目前想让机器人做出表情上的反馈，主要通过预先设计好的方式与深度学习训练语料得来，这种通过预先设计好的程序与语料训练的表情反馈存在以下缺点：表情的输出依赖于人类的文本表示，即与一个问答的机器相似，用户不同的话语触发不同的表情，这种情况下机器人实际还是按照人类预先设计好的交互方式进行表情的输出，这导致机器人不能更加拟人化，不能像人类一样，在不同的时间点的生活场景，表现出不同的表情，即机器人交互内容的生成方式完全是被动的，因此表情的生成需要大量的人机交互，导致机器人的智能性很差。

因此，如何使得机器人本身在生活时间轴内具有人类的生活方式，提升机器人交互内容生成的拟人性，是本技术领域亟需解决的技术问题。

技术实现要素：

本发明的目的是提供一种机器人交互内容的生成方法、系统及机器人，使得机器人本身在主动交互可变参数内具有人类的生活方式，提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性。

本发明的目的是通过以下技术方案来实现的：

一种机器人交互内容的生成方法，包括：

获取多模态信号；

根据所述多模态信号确定用户意图；

根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。

优选的，所述机器人生活时间轴的参数的生成方法包括：

将机器人的自我认知进行扩展；

获取生活时间轴的参数；

对机器人的自我认知的参数与生活时间轴中的参数进行拟合，生成机器人生活时间轴。

优选的，所述将机器人的自我认知进行扩展的步骤具体包括：将生活场景与机器人的自我认识相结合形成基于生活时间轴的自我认知曲线。

优选的，所述对机器人的自我认知的参数与生活时间轴中的参数进行拟合的步骤具体包括：使用概率算法，计算生活时间轴上的机器人在时间轴场景参数改变后的每个参数改变的概率，形成拟合曲线。

优选的，其中，所述生活时间轴指包含一天24小时的时间轴，所述生活时间轴中的参数至少包括用户在所述生活时间轴上进行的日常生活行为以及代表该行为的参数值。

优选的，所述多模态信号至少包括图像信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：

根据所述图像信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。

优选的，所述多模态信号至少包括语音信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：

根据所述语音信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。

优选的，所述多模态信号至少包括手势信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：

根据所述手势信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。

本发明公开一种机器人交互内容的生成系统，包括：

获取模块，用于获取多模态信号；

意图识别模块，用于根据所述多模态信号确定用户意图；

内容生成模块，用于根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。

优选的，所述系统包括基于时间轴与人工智能云处理模块，用于：

将机器人的自我认知进行扩展；

获取生活时间轴的参数；

对机器人的自我认知的参数与生活时间轴中的参数进行拟合，生成机器人生活时间轴。

优选的，所述基于时间轴与人工智能云处理模块进一步用于：将生活场景与机器人的自我认识相结合形成基于生活时间轴的自我认知曲线。

优选的，所述基于时间轴与人工智能云处理模块进一步用于：使用概率算法，计算生活时间轴上的机器人在时间轴场景参数改变后的每个参数改变的概率，形成拟合曲线。

优选的，其中，所述生活时间轴指包含一天24小时的时间轴，所述生活时间轴中的参数至少包括用户在所述生活时间轴上进行的日常生活行为以及代表该行为的参数值。

优选的，所述多模态信号至少包括图像信号，所述内容生成模块具体用于：根据所述图像信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。

优选的，所述多模态信号至少包括语音信号，所述内容生成模块具体用于：根据所述语音信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。

优选的，所述多模态信号至少包括手势信号，所述内容生成模块具体用于：根据所述手势信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。

本发明公开一种机器人，包括如上述任一所述的一种机器人交互内容的生成系统。

相比现有技术，本发明具有以下优点：现有机器人对于应用场景来说，一般是基于固的场景中的问答交互机器人交互内容的生成方法，无法基于当前的场景来更加准确的生成机器人的表情。本发明一种机器人交互内容的生成方法，包括：获取多模态信号；根据所述多模态信号确定用户意图；根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。这样就可以根据多模态信号例如图像信号、语音信号，结合机器人可变参数来更加准确地生成机器人交互内容，从而更加准确、拟人化的与人进行交互和沟通。对于人来讲每天的生活都具有一定的规律性，为了让机器人与人沟通时更加拟人化，在一天24小时中，让机器人也会有睡觉，运动，吃饭，跳舞，看书，吃饭，化妆，睡觉等动作。因此本发明将机器人所在的生活时间轴加入到机器人的交互内容生成中去，使机器人与人交互时更加拟人化，使得机器人在生活时间轴内具有人类的生活方式，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性。

附图说明

图1是本发明实施例一的一种机器人交互内容的生成方法的流程图；

图2是本发明实施例二的一种机器人交互内容的生成系统的示意图。

具体实施方式

虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

计算机设备包括用户设备与网络设备。其中，用户设备或客户端包括但不限于电脑、智能手机、PDA等；网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云。计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制，使用这些术语仅仅是为了将一个单元与另一个单元进行区分。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

下面结合附图和较佳的实施例对本发明作进一步说明。

实施例一

如图1所示，本实施例中公开一种机器人交互内容的生成方法，包括：

S101、获取多模态信号；

S102、根据所述多模态信号确定用户意图；

S103、根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴300生成机器人交互内容。

现有机器人对于应用场景来说，一般是基于固的场景中的问答交互机器人交互内容的生成方法，无法基于当前的场景来更加准确的生成机器人的表情。本发明一种机器人交互内容的生成方法，包括：获取多模态信号；根据所述多模态信号确定用户意图；根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。这样就可以根据多模态信号例如图像信号、语音信号，结合机器人可变参数来更加准确地生成机器人交互内容，从而更加准确、拟人化的与人进行交互和沟通。对于人来讲每天的生活都具有一定的规律性，为了让机器人与人沟通时更加拟人化，在一天24小时中，让机器人也会有睡觉，运动，吃饭，跳舞，看书，吃饭，化妆，睡觉等动作。因此本发明将机器人所在的生活时间轴加入到机器人的交互内容生成中去，使机器人与人交互时更加拟人化，使得机器人在生活时间轴内具有人类的生活方式，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性。交互内容可以是表情或文字或语音等。机器人生活时间轴300是提前进行拟合和设置完成的，具体来讲，机器人生活时间轴300是一系列的参数合集，将这个参数传输给系统进行生成交互内容。

本实施例中的多模态信息可以是用户表情、语音信息、手势信息、场景信息、图像信息、视频信息、人脸信息、瞳孔虹膜信息、光感信息和指纹信息等其中的其中一种或几种。本实施例中优选为图片信号加语音信号再加手势信号，这样识别的准确并且识别的效率高。

本实施例中，基于生活时间轴具体是：根据人类日常生活的时间轴，将机器人与人类日常生活的时间轴做拟合，机器人的行为按照这个拟合行动，也就是得到一天中机器人自己的行为，从而让机器人基于生活时间轴去进行自己的行为，例如生成交互内容与人类沟通等。假如机器人一直唤醒的话，就会按照这个时间轴上的行为行动，机器人的自我认知也会根据这个时间轴进行相应的更改。生活时间轴与可变参数可以对自我认知中的属性，例如心情值，疲劳值等等的更改，也可以自动加入新的自我认知信息，比如之前没有愤怒值，基于生活时间轴和可变因素的场景就会自动根据之前模拟人类自我认知的场景，从而对机器人的自我认知进行添加。

例如，多模态信号为用户通过用语音，向机器人说话：“好困啊”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很困，以及机器人生活时间轴，例如当前的时间为上午9点，那么机器人就知道主人是刚刚起床，那么就应该向主人问早，例如回答“早上好”作为回复，也可以配上表情、图片等，本发明中的交互内容可以理解为机器人的回复。而如果多模态信号为用户通过用语音，向机器人说话：“好困啊”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很困，以及机器人生活时间轴，例如当前的时间为晚上9点，那么机器人就知道主人需要睡觉了，那么就会回复“主人晚安，睡个好觉”等类似用语，也可以配上表情、图片等。这种方式要比单纯的靠场景识别生成回复和表情更加贴近人的生活，更加拟人化。其中多模态信号一般为多种信号的组合，例如图片信号加上语音信号，或者图片信号加语音信号再加手势信号等。

根据其中一个示例，所述机器人生活时间轴的参数的生成方法包括：

将机器人的自我认知进行扩展；

获取生活时间轴的参数；

对机器人的自我认知的参数与生活时间轴中的参数进行拟合，生成机器人生活时间轴。

这样将生活时间轴加入到机器人本身的自我认知中去，使机器人具有拟人化的生活。例如将中午吃饭的认知加入到机器人中去。

根据其中另一个示例，所述将机器人的自我认知进行扩展的步骤具体包括：将生活场景与机器人的自我认识相结合形成基于生活时间轴的自我认知曲线。这样就可以具体的将生活时间轴加入到机器人本身的参数中去。

根据其中另一个示例，所述对机器人的自我认知的参数与生活时间轴中的参数进行拟合的步骤具体包括：使用概率算法，计算生活时间轴上的机器人在时间轴场景参数改变后的每个参数改变的概率，形成拟合曲线。这样就可以具体的将机器人的自我认知的参数与生活时间轴中的参数进行拟合。其中概率算法可以是贝叶斯概率算法。

例如，在一天24小时中，使机器人会有睡觉，运动，吃饭，跳舞，看书，吃饭，化妆，睡觉等动作。每个动作会影响机器人本身的自我认知，将生活时间轴上的参数与机器人本身的自我认知进行结合，拟合后，即让机器人的自我认知包括了，心情，疲劳值，亲密度，好感度，交互次数，机器人的三维的认知，年龄，身高，体重，亲密度，游戏场景值，游戏对象值，地点场景值，地点对象值等。为机器人可以自己识别所在的地点场景，比如咖啡厅，卧室等。

机器一天的时间轴内会进行不同的动作，比如夜里睡觉，中午吃饭，白天运动等等，这些所有的生活时间轴中的场景，对于自我认知都会有影响。这些数值的变化采用的概率模型的动态拟合方式，将这些所有动作在时间轴上发生的几率拟合出来。

根据其中另一个示例，所述多模态信号至少包括图像信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：

根据所述图像信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。多模态信号至少包括图像信号，这样可以让机器人掌握用户的意图，而为了更好的了解到用户的意图，一般会加入其它信号，例如语音信号、手势信号等，这样可以更加准确的了解到用户到底是真实的表达的意思，还是开玩笑试探的意思。

根据其中另一个示例，所述多模态信号至少包括语音信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：

根据所述语音信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。

根据其中另一个示例，所述多模态信号至少包括手势信号，所述根据所述多模态信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容的步骤具体包括：

根据所述手势信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。

例如，多模态信号为用户通过用语音，向机器人说话：“饿了”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很饿，以及机器人生活时间轴，例如当前的时间为上午9点，那么机器人就会回复，让用户去吃早饭，并配上可爱的表情。而如果多模态信号为用户通过用语音，向机器人说话：“饿了”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很饿，以及机器人生活时间轴，例如当前的时间为晚上9点，那么机器人就会回复，太晚了少吃点，并配上可爱的表情。

本实施例中一般通过语音信号和图片信号就可以较为准确地了解到用户的意思，从而更加准确的回复用户。当然加上其他信号更加准确，例如手势信号，视频信号等。

实施例二

如图2所示，本实施例中公开一种机器人交互内容的生成系统，包括：

获取模块201，用于获取多模态信号；

意图识别模块202，用于根据所述多模态信号确定用户意图；

内容生成模块203，用于根据所述多模态信号和所述用户意图，结合机器人生活时间轴模块301发送的当前的机器人生活时间轴生成机器人交互内容。

这样就可以根据多模态信号例如图像信号、语音信号，结合机器人可变参数来更加准确地生成机器人交互内容，从而更加准确、拟人化的与人进行交互和沟通。对于人来讲每天的生活都具有一定的规律性，为了让机器人与人沟通时更加拟人化，在一天24小时中，让机器人也会有睡觉，运动，吃饭，跳舞，看书，吃饭，化妆，睡觉等动作。因此本发明将机器人所在的生活时间轴加入到机器人的交互内容生成中去，使机器人与人交互时更加拟人化，使得机器人在生活时间轴内具有人类的生活方式，该方法能够提升机器人交互内容生成的拟人性，提升人机交互体验，提高智能性。交互内容可以是表情或文字或语音等。

例如，多模态信号为用户通过用语音，向机器人说话：“好困啊”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很困，以及机器人生活时间轴，例如当前的时间为上午9点，那么机器人就知道主人是刚刚起床，那么就应该向主人问早，例如回答“早上好”作为回复，也可以配上表情、图片等，本发明中的交互内容可以理解为机器人的回复。而如果多模态信号为用户通过用语音，向机器人说话：“好困啊”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很困，以及机器人生活时间轴，例如当前的时间为晚上9点，那么机器人就知道主人需要睡觉了，那么就会回复“主人晚安，睡个好觉”等类似用语，也可以配上表情、图片等。这种方式要比单纯的靠场景识别生成回复和表情更加贴近人的生活，更加拟人化。其中多模态信号一般为多种信号的组合，例如图片信号加上语音信号，或者图片信号加语音信号再加手势信号等。

根据其中一个示例，所述系统包括基于时间轴与人工智能云处理模块，用于：

将机器人的自我认知进行扩展；

获取生活时间轴的参数；

对机器人的自我认知的参数与生活时间轴中的参数进行拟合，生成机器人生活时间轴。

这样将生活时间轴加入到机器人本身的自我认知中去，使机器人具有拟人化的生活。例如将中午吃饭的认知加入到机器人中去。

根据其中另一个示例，所述基于时间轴与人工智能云处理模块进一步用于：将生活场景与机器人的自我认识相结合形成基于生活时间轴的自我认知曲线。这样就可以具体的将生活时间轴加入到机器人本身的参数中去。

根据其中另一个示例，所述基于时间轴与人工智能云处理模块进一步用于：使用概率算法，计算生活时间轴上的机器人在时间轴场景参数改变后的每个参数改变的概率，形成拟合曲线。这样就可以具体的将机器人的自我认知的参数与生活时间轴中的参数进行拟合。其中概率算法可以是贝叶斯概率算法。

例如，在一天24小时中，使机器人会有睡觉，运动，吃饭，跳舞，看书，吃饭，化妆，睡觉等动作。每个动作会影响机器人本身的自我认知，将生活时间轴上的参数与机器人本身的自我认知进行结合，拟合后，即让机器人的自我认知包括了，心情，疲劳值，亲密度，好感度，交互次数，机器人的三维的认知，年龄，身高，体重，亲密度，游戏场景值，游戏对象值，地点场景值，地点对象值等。为机器人可以自己识别所在的地点场景，比如咖啡厅，卧室等。

机器一天的时间轴内会进行不同的动作，比如夜里睡觉，中午吃饭，白天运动等等，这些所有的生活时间轴中的场景，对于自我认知都会有影响。这些数值的变化采用的概率模型的动态拟合方式，将这些所有动作在时间轴上发生的几率拟合出来。

根据其中另一个示例，所述多模态信号至少包括图像信号，所述内容生成模块具体用于：根据所述图像信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。

多模态信号至少包括图像信号，这样可以让机器人掌握用户的意图，而为了更好的了解到用户的意图，一般会加入其它信号，例如语音信号、手势信号等，这样可以更加准确的了解到用户到底是真实的表达的意思，还是开玩笑试探的意思。

根据其中另一个示例，所述多模态信号至少包括语音信号，所述内容生成模块具体用于：根据所述语音信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。

根据其中另一个示例，所述多模态信号至少包括手势信号，所述内容生成模块具体用于：根据所述手势信号和所述用户意图，结合当前的机器人生活时间轴生成机器人交互内容。

例如，多模态信号为用户通过用语音，向机器人说话：“饿了”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很饿，以及机器人生活时间轴，例如当前的时间为上午9点，那么机器人就会回复，让用户去吃早饭，并配上可爱的表情。而如果多模态信号为用户通过用语音，向机器人说话：“饿了”，多模态信号可以加上图片信号，机器人根据多模态信号如上述的语音信号加上图片信号综合判断，识别用户的意图为用户很饿，以及机器人生活时间轴，例如当前的时间为晚上9点，那么机器人就会回复，太晚了少吃点，并配上可爱的表情。

本实施例中一般通过语音信号和图片信号就可以较为准确地了解到用户的意思，从而更加准确的回复用户。当然加上其他信号更加准确，例如手势信号，视频信号等。

本发明公开一种机器人，包括如上述任一所述的一种机器人交互内容的生成系统。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。