一种虚拟3D机器人的交互方法、系统及机器人与流程

本发明涉及机器人交互技术领域，尤其涉及一种虚拟3D机器人的交互方法、系统及机器人。

背景技术：

机器人作为与人类的交互工具，使用的场合越来越多，例如一些老人、小孩较孤独时，就可以与机器人交互，包括对话、娱乐等。而为了让机器人与人类交互时更加拟人化，发明人研究出一种虚拟机器人的显示设备和成像系统，能够形成3D的动画形象，虚拟机器人的主机接受人类的指令例如语音等与人类进行交互，然后虚拟的3D动画形象会根据主机的指令进行声音和动作的回复，这样就可以让机器人更加拟人化，不仅在声音、表情上能够与人类交互，而且还可以在动作等上与人类交互，大大提高了交互的体验感。

然而，虚拟机器人如何进行控制是重点问题，也是比较复杂的问题。因此，如何提供一种控制更加方便的虚拟3D机器人的交互方法、系统及机器人，提升人机交互体验成为亟需解决的技术问题。

技术实现要素：

本发明的目的是提供一种控制更加方便的虚拟3D机器人的交互方法、系统及机器人，提升人机交互体验。

本发明的目的是通过以下技术方案来实现的：

一种虚拟3D机器人的交互方法，包括：

获取用户的多模态信息；

根据所述多模态信息和可变参数生成交互内容；

将所述交互内容转换为机器人可识别的机器代码；

机器人根据交互内容进行输出，所述输出方式至少包括情侣交互、邂逅交互和宠物交互。

优选的，所述邂逅交互具体包括：获取用户的多模态信息；

将所述多模态信息存储在数据库中；

若有陌生人用户从所述数据库中获取所述多模态信息，则与该陌生人用户建立交互。

优选的，所述情侣交互具体包括：获取用户的多模态信息；

根据所述多模态信息和场景信息识别用户意图；

根据用户的多模态信息和用户意图向与该用户关联的情侣用户发送经过机器人处理的多模态信息。

优选的，所述宠物交互具体包括：获取用户的多模态信息；

根据所述多模态信息和可变参数生成交互内容；

将所述交互内容发送至显示单元，与用户建立交互。

优选的，所述机器人的可变参数的生成方法包括：将机器人的自我认知的参数与可变参数中场景的参数进行拟合，生成机器人的可变参数。

优选的，所述可变参数至少包括改变用户原本的行为和改变之后的行为，以及代表改变用户原本的行为和改变之后的行为的参数值。

优选的，所述根据所述多模态信息和可变参数生成交互内容的步骤具体包括：根据所述多模态信息和可变参数以及参数改变概率的拟合曲线生成交互内容。

优选的，所述参数改变概率的拟合曲线的生成方法包括：使用概率算法，将机器人之间的参数用网络做概率估计，计算当生活时间轴上的机器人在生活时间轴上的场景参数改变后，每个参数改变的概率，形成所述参数改变概率的拟合曲线。

一种虚拟3D机器人的交互系统，包括：

获取模块，用于获取用户的多模态信息；

人工智能模块，用于根据所述多模态信息和可变参数生成交互内容；

转换模块，用于将所述交互内容转换为机器人可识别的机器代码；

控制模块，用于机器人根据交互内容进行输出，所述输出方式至少包括情侣交互、邂逅交互和宠物交互。

优选的，所述邂逅交互具体包括：获取用户的多模态信息；

将所述多模态信息存储在数据库中；

若有陌生人用户从所述数据库中获取所述多模态信息，则与该陌生人用户建立交互。

优选的，所述情侣交互具体包括：获取用户的多模态信息；

根据所述多模态信息和场景信息识别用户意图；

根据用户的多模态信息和用户意图向与该用户关联的情侣用户发送经过机器人处理的多模态信息。

优选的，所述宠物交互具体包括：获取用户的多模态信息；

根据所述多模态信息和可变参数生成交互内容；

将所述交互内容发送至显示单元，与用户建立交互。

优选的，所述系统还包括处理模块，用于将机器人的自我认知的参数与可变参数中场景的参数进行拟合，生成可变参数。

优选的，所述可变参数至少包括改变用户原本的行为和改变之后的行为，以及代表改变用户原本的行为和改变之后的行为的参数值。

优选的，所述人工智能模块具体用于：根据所述多模态信息和可变参数以及参数改变概率的拟合曲线生成交互内容。

优选的，所述系统包括拟合曲线生成模块，用于使用概率算法，将机器人之间的参数用网络做概率估计，计算当生活时间轴上的机器人在生活时间轴上的场景参数改变后，每个参数改变的概率，形成所述参数改变概率的拟合曲线。

本发明公开一种机器人，包括如上述任一所述的一种虚拟3D机器人的交互系统。

相比现有技术，本发明具有以下优点：本发明的虚拟3D机器人的交互方法包括：获取用户的多模态信息；根据所述多模态信息和可变参数生成交互内容；机器人根据交互内容进行输出，所述输出方式至少包括情侣交互、邂逅交互和宠物交互。这样就可以在获取用户的多模态信息后，结合机器人的可变参数生成交互内容，这样机器人就可以识别出交互内容中的具体信息，从而让机器人进行输出和控制，从而让3D影像进行对应的展现，与用户交互，使机器人在交互时不仅具有语音表现，还可以具有动作等多样的表现形式，使机器人的表现形式更加多样化和拟人化，提升用户与机器人交互的体验度，本发明的输出方式至少包括情侣交互、邂逅交互、宠物交互，这样就可以让机器人根据不同的需要展现出不同的功能，让机器人具有更多种交互方式，提升机器人的适用范围和用户体验。

附图说明

图1是本发明实施例一的一种虚拟3D机器人的交互方法的流程图；

图2是本发明实施例二的一种虚拟3D机器人的交互系统的示意图。

具体实施方式

虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

计算机设备包括用户设备与网络设备。其中，用户设备或客户端包括但不限于电脑、智能手机、PDA等；网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云。计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制，使用这些术语仅仅是为了将一个单元与另一个单元进行区分。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

下面结合附图和较佳的实施例对本发明作进一步说明。

实施例一

如图1所示，本实施例中公开一种虚拟3D机器人的交互方法，本实施例中的方法主要用于虚拟3D机器人中，具体的例如VR(Virtual Reality，即虚拟现实)中，所述方法包括：

S101、获取用户的多模态信息；

S102、根据所述多模态信息和可变参数300生成交互内容；

S103、机器人根据交互内容进行输出，所述输出方式至少包括情侣交互、邂逅交互和宠物交互。

本发明的虚拟3D机器人的交互方法包括：获取用户的多模态信息；根据所述多模态信息和可变参数生成交互内容；机器人根据交互内容进行输出，所述输出方式至少包括情侣交互、邂逅交互和宠物交互。这样就可以在获取用户的多模态信息后，结合机器人的可变参数生成交互内容，这样机器人就可以识别出交互内容中的具体信息，从而让机器人进行输出和控制，从而让3D影像进行对应的展现，与用户交互，使机器人在交互时不仅具有语音表现，还可以具有动作等多样的表现形式，使机器人的表现形式更加多样化和拟人化，提升用户与机器人交互的体验度，本发明的输出方式至少包括情侣交互、邂逅交互、宠物交互，这样就可以让机器人根据不同的需要展现出不同的功能，让机器人具有更多种交互方式，提升机器人的适用范围和用户体验。

本实施例中，所述交互内容可以包括语音信息、动作信息等等，这样就可以进行多模态的输出，增加机器人反馈的表现形式。

另外，本实施例中，交互内容可以包括语音信息和动作信息，为了让动作信息和语音信息进行匹配，在生成交互内容时，可以对语音信息和动作信息进行调整和匹配。例如，将语音信息的时间长度和动作信息的时间长度调整到相同。调整的具体含义优选为压缩或拉伸语音信息的时间长度或/和动作信息的时间长度，也可以是加快播放速度或者减缓播放速度，例如将语音信息的播放速度乘以2，或者将动作信息的播放时间乘以0.8等等。

例如，机器人根据用户的多模态信息生成的交互内容中，语音信息的时间长度是1分钟，动作信息的时间长度是2分钟，那么就可以将动作信息的播放速度加快，为原来播放速度的两倍，那么动作信息调整后的播放时间就会为1分钟，从而与语音信息进行同步。当然，也可以让语音信息的播放速度减缓，调整为原来播放速度的0.5倍，这样就会让语音信息经过调整后减缓为2分钟，从而与动作信息同步。另外，也可以将语音信息和动作信息都调整，例如语音信息减缓，同时将动作信息加快，都调整到1分30秒，也可以让语音和动作进行同步。

本实施例中的多模态信息可以是用户表情、语音信息、手势信息、场景信息、图像信息、视频信息、人脸信息、瞳孔虹膜信息、光感信息和指纹信息等其中的其中一种或几种。

本实施例中，可变参数具体是：人与机器发生的突发改变，比如时间轴上的一天生活是吃饭、睡觉、交互、跑步、吃饭、睡觉。那在这个情况下，假如突然改变机器人的场景，比如在跑步的时间段带去海边等等，这些人类主动对于机器人的参数，作为可变参数，这些改变会使得机器人的自我认知产生改变。生活时间轴与可变参数可以对自我认知中的属性，例如心情值，疲劳值等等的更改，也可以自动加入新的自我认知信息，比如之前没有愤怒值，基于生活时间轴和可变因素的场景就会自动根据之前模拟人类自我认知的场景，从而对机器人的自我认知进行添加。

例如，按照生活时间轴，在中午12点的时候应该是吃饭的时间，而如果改变了这个场景，比如在中午12点的时候出去逛街了，那么机器人就会将这个作为其中的一个可变参数进行写入，在这个时间段内用户与机器人交互时，机器人就会结合到中午12点出去逛街进行生成交互内容，而不是以之前的中午12点在吃饭进行结合生成交互内容，在具体生成交互内容时，机器人就会结合获取的用户的多模态信息，例如语音信息、视屏信息、图片信息等和可变参数进行生成。这样就可以加入一些人类生活中的突发事件在机器人的生活轴中，让机器人的交互更加拟人化。

根据其中一个示例，所述邂逅交互具体包括：获取用户的多模态信息；

将所述多模态信息存储在数据库中；

若有陌生人用户从所述数据库中获取所述多模态信息，则与该陌生人用户建立交互。

本实施例中，多模态信息可以是语音信息，当然也可以是其他的信息，例如视频信息，动作信息等。例如用户在录制了一段语音，然后存储到数据库中，另一个陌生人用户在随机获取到了这段语音之后，就可以与该用户建立交互，进行沟通和交流了。

根据其中一个示例，所述情侣交互具体包括：获取用户的多模态信息；

根据所述多模态信息和场景信息识别用户意图；

根据用户的多模态信息和用户意图向与该用户关联的情侣用户发送经过机器人处理的多模态信息。

本实施例中，多模态信息可以是语音信息，当然也可以是其他的信息，例如视频信息，动作信息等。例如用户在录制了一段语音“老婆，早点睡觉”，那么机器人在根据这段语音进行分析和识别后，将这段语音进行转换，在发送到该用户的情侣机器人之后，就会回复为“亲爱的某某某，您的老公让您早点睡觉”，这样就可以更加方便用户之间的沟通和交流，让情侣之间的交流更加亲密。当然，情侣机器人之间是预先进行过绑定和设置的。另外，在机器人接收到语音信息之后，也可以配合动作信息进行多模式的展示，提高用户体验度。

根据其中一个示例，所述宠物交互具体包括：获取用户的多模态信息；

根据所述多模态信息和可变参数生成交互内容；

将所述交互内容发送至显示单元，与用户建立交互。

本实施例中，多模态信息可以是语音信息，当然也可以是其他的信息，例如视频信息，动作信息等。例如，用户说一段语音“今天天气如何”，然后机器人在获取之后，就会查询今天的天气，然后将结果发送到显示单元例如手机、平板等移动终端中进行显示，并告知用户今天的天气，例如为晴朗，同时在还可以在反馈时配上动作、表情等方式进行展示。

根据其中一个示例，所述机器人的可变参数的生成方法包括：将机器人的自我认知的参数与可变参数中场景的参数进行拟合，生成机器人的可变参数。这样通过在结合可变参数的机器人的场景，将机器人本身的自我认知行扩展，对自我认知中的参数与可变参会苏轴中使用场景的参数进行拟合，产生拟人化的影响。

根据其中一个示例，所述可变参数至少包括改变用户原本的行为和改变之后的行为，以及代表改变用户原本的行为和改变之后的行为的参数值。

可变参数就是按照原本计划，是处于一种状态的，突然的改变让用户处于了另一种状态，可变参数就代表了这种行为或状态的变化，以及变化之后用户的状态或者行为，例如原本在下午5点是在跑步，突然有其他的事，例如去打球，那么从跑步改为打球就是可变参数，另外还要研究这种改变的几率。

根据其中一个示例，所述根据所述多模态信息和可变参数生成交互内容的步骤具体包括：根据所述多模态信息和可变参数以及参数改变概率的拟合曲线生成交互内容。

这样就可以通过可变参数的概率训练生成拟合曲线，从而生成机器人交互内容。

根据其中一个示例，所述参数改变概率的拟合曲线的生成方法包括：使用概率算法，将机器人之间的参数用网络做概率估计，计算当生活时间轴上的机器人在生活时间轴上的场景参数改变后，每个参数改变的概率，形成所述参数改变概率的拟合曲线。其中，概率算法可以采用贝叶斯概率算法。

通过在结合可变参数的机器人的场景，将机器人本身的自我认知行扩展，对自我认知中的参数与可变参会苏轴中使用场景的参数进行拟合，产生拟人化的影响。同时，加上对于地点场景的识别，使得机器人会知道自己的地理位置，会根据自己所处的地理环境，改变交互内容生成的方式。另外，我们使用贝叶斯概率算法，将机器人之间的参数用贝叶斯网络做概率估计，计算生活时间轴上的机器人本身时间轴场景参数改变后，每个参数改变的概率，形成拟合曲线，动态影响机器人本身的自我认知。这种创新的模块使得机器人本身具有人类的生活方式，对于表情这块，可按照所处的地点场景，做表情方面的改变。

实施例二

如图2所示，本实施例中公开一种虚拟3D机器人的交互系统，包括：

获取模块201，用于获取用户的多模态信息；

人工智能模块202，用于根据所述多模态信息和可变参数生成交互内容，其中可变参数由可变参数模块301生成；

转换模块203，用于将所述交互内容转换为机器人可识别的机器代码；

控制模块204，用于机器人根据交互内容进行输出，所述输出方式至少包括情侣交互、邂逅交互和宠物交互。

这样机器人就可以识别出交互内容中的具体信息，从而让机器人进行输出和控制，从而让3D影像进行对应的展现，与用户交互，使机器人在交互时不仅具有语音表现，还可以具有动作等多样的表现形式，使机器人的表现形式更加多样化和拟人化，提升用户与机器人交互的体验度，本发明的输出方式至少包括情侣交互、邂逅交互、宠物交互，这样就可以让机器人根据不同的需要展现出不同的功能，让机器人具有更多种交互方式，提升机器人的适用范围和用户体验。

本实施例中，所述交互内容可以包括语音信息、动作信息等等，这样就可以进行多模态的输出，增加机器人反馈的表现形式。

另外，本实施例中，交互内容也可以包括语音信息，为了让动作信息和语音信息进行匹配，在生成交互内容时，可以对语音信息和动作信息进行调整和匹配。例如，将语音信息的时间长度和动作信息的时间长度调整到相同。调整的具体含义优选为压缩或拉伸语音信息的时间长度或/和动作信息的时间长度，也可以是加快播放速度或者减缓播放速度，例如将语音信息的播放速度乘以2，或者将动作信息的播放时间乘以0.8等等。

例如，机器人根据用户的多模态信息生成的交互内容中，语音信息的时间长度是1分钟，动作信息的时间长度是2分钟，那么就可以将动作信息的播放速度加快，为原来播放速度的两倍，那么动作信息调整后的播放时间就会为1分钟，从而与语音信息进行同步。当然，也可以让语音信息的播放速度减缓，调整为原来播放速度的0.5倍，这样就会让语音信息经过调整后减缓为2分钟，从而与动作信息同步。另外，也可以将语音信息和动作信息都调整，例如语音信息减缓，同时将动作信息加快，都调整到1分30秒，也可以让语音和动作进行同步。

本实施例中的多模态信息可以是用户表情、语音信息、手势信息、场景信息、图像信息、视频信息、人脸信息、瞳孔虹膜信息、光感信息和指纹信息等其中的其中一种或几种。

本实施例中，可变参数具体是：人与机器发生的突发改变，比如时间轴上的一天生活是吃饭、睡觉、交互、跑步、吃饭、睡觉。那在这个情况下，假如突然改变机器人的场景，比如在跑步的时间段带去海边等等，这些人类主动对于机器人的参数，作为可变参数，这些改变会使得机器人的自我认知产生改变。生活时间轴与可变参数可以对自我认知中的属性，例如心情值，疲劳值等等的更改，也可以自动加入新的自我认知信息，比如之前没有愤怒值，基于生活时间轴和可变因素的场景就会自动根据之前模拟人类自我认知的场景，从而对机器人的自我认知进行添加。

例如，按照生活时间轴，在中午12点的时候应该是吃饭的时间，而如果改变了这个场景，比如在中午12点的时候出去逛街了，那么机器人就会将这个作为其中的一个可变参数进行写入，在这个时间段内用户与机器人交互时，机器人就会结合到中午12点出去逛街进行生成交互内容，而不是以之前的中午12点在吃饭进行结合生成交互内容，在具体生成交互内容时，机器人就会结合获取的用户的多模态信息，例如语音信息、视屏信息、图片信息等和可变参数进行生成。这样就可以加入一些人类生活中的突发事件在机器人的生活轴中，让机器人的交互更加拟人化。

根据其中一个示例，所述邂逅交互具体包括：获取用户的多模态信息；

将所述多模态信息存储在数据库中；

若有陌生人用户从所述数据库中获取所述多模态信息，则与该陌生人用户建立交互。

本实施例中，多模态信息可以是语音信息，当然也可以是其他的信息，例如视频信息，动作信息等。例如用户在录制了一段语音，然后存储到数据库中，另一个陌生人用户在随机获取到了这段语音之后，就可以与该用户建立交互，进行沟通和交流了。

根据其中一个示例，所述情侣交互具体包括：获取用户的多模态信息；

根据所述多模态信息和场景信息识别用户意图；

根据用户的多模态信息和用户意图向与该用户关联的情侣用户发送经过机器人处理的多模态信息。

本实施例中，多模态信息可以是语音信息，当然也可以是其他的信息，例如视频信息，动作信息等。例如用户在录制了一段语音“老婆，早点睡觉”，那么机器人在根据这段语音进行分析和识别后，将这段语音进行转换，在发送到该用户的情侣机器人之后，就会回复为“亲爱的某某某，您的老公让您早点睡觉”，这样就可以更加方便用户之间的沟通和交流，让情侣之间的交流更加亲密。当然，情侣机器人之间是预先进行过绑定和设置的。另外，在机器人接收到语音信息之后，也可以配合动作信息进行多模式的展示，提高用户体验度。

根据其中一个示例，所述宠物交互具体包括：获取用户的多模态信息；

根据所述多模态信息和可变参数生成交互内容；

将所述交互内容发送至显示单元，与用户建立交互。

本实施例中，多模态信息可以是语音信息，当然也可以是其他的信息，例如视频信息，动作信息等。例如，用户说一段语音“今天天气如何”，然后机器人在获取之后，就会查询今天的天气，然后将结果发送到显示单元例如手机、平板等移动终端中进行显示，并告知用户今天的天气，例如为晴朗，同时在还可以在反馈时配上动作、表情等方式进行展示。

根据其中一个示例，所述系统还包括处理模块，用于将机器人的自我认知的参数与可变参数中场景的参数进行拟合，生成可变参数。

这样通过在结合可变参数的机器人的场景，将机器人本身的自我认知行扩展，对自我认知中的参数与可变参会苏轴中使用场景的参数进行拟合，产生拟人化的影响。

根据其中一个示例，所述可变参数至少包括改变用户原本的行为和改变之后的行为，以及代表改变用户原本的行为和改变之后的行为的参数值。

可变参数就是按照原本计划，是处于一种状态的，突然的改变让用户处于了另一种状态，可变参数就代表了这种行为或状态的变化，以及变化之后用户的状态或者行为，例如原本在下午5点是在跑步，突然有其他的事，例如去打球，那么从跑步改为打球就是可变参数，另外还要研究这种改变的几率。

根据其中一个示例，所述人工智能模块具体用于：根据所述多模态信息和可变参数以及参数改变概率的拟合曲线生成交互内容。

这样就可以通过可变参数的概率训练生成拟合曲线，从而生成机器人交互内容。

根据其中一个示例，所述系统包括拟合曲线生成模块，用于使用概率算法，将机器人之间的参数用网络做概率估计，计算当生活时间轴上的机器人在生活时间轴上的场景参数改变后，每个参数改变的概率，形成所述参数改变概率的拟合曲线。其中，概率算法可以采用贝叶斯概率算法。

通过在结合可变参数的机器人的场景，将机器人本身的自我认知行扩展，对自我认知中的参数与可变参会苏轴中使用场景的参数进行拟合，产生拟人化的影响。同时，加上对于地点场景的识别，使得机器人会知道自己的地理位置，会根据自己所处的地理环境，改变交互内容生成的方式。另外，我们使用贝叶斯概率算法，将机器人之间的参数用贝叶斯网络做概率估计，计算生活时间轴上的机器人本身时间轴场景参数改变后，每个参数改变的概率，形成拟合曲线，动态影响机器人本身的自我认知。这种创新的模块使得机器人本身具有人类的生活方式，对于表情这块，可按照所处的地点场景，做表情方面的改变。

本发明公开一种机器人，包括如上述任一所述的一种虚拟3D机器人的交互系统。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。