一种面向智能机器人的娱乐交互方法及系统的制作方法
【专利摘要】一种面向智能机器人的娱乐交互方法及系统，该方法包括以下步骤：展示与预设娱乐场景对应的多模态数据；获取用户的多模态跟学输入；对所述多模态跟学输入进行处理，并根据处理结果输出与所述预设娱乐场景对应的反馈信息。该方法及系统提高了智能机器人的交互能力，进而提高了智能机器人的用户体验和用户粘度。
【专利说明】
一种面向智能机器人的娱乐交互方法及系统
技术领域
[0001]本发明涉及人机交互技术领域，尤其涉及一种面向智能机器人的娱乐交互方法及系统。【背景技术】
[0002]随着计算机技术的不断发展以及人工智能技术的不断进步，智能机器人的应用越来越广泛，智能机器人技术正在迅猛发展，机器人的智能水平以及拟人化程度也不断提高。
[0003]现有的智能机器人通过与用户交互来提高用户体验和用户粘度。然而，随着用户对智能机器人的交互需求越来越多，智能机器人的交互能力亟需提高。
【发明内容】
[0004]本发明所要解决的技术问题之一是需要提供一种提高智能机器人交互能力的面向智能机器人的娱乐交互方法。
[0005]为了解决上述技术问题，本申请的实施例首先提供了一种面向智能机器人的娱乐交互方法，包括以下步骤:
[0006]展示与预设娱乐场景对应的多模态数据；
[0007]获取用户的多模态跟学输入；
[0008]对所述多模态跟学输入进行处理，并根据处理结果输出与所述预设娱乐场景对应的反馈信息。
[0009]根据本发明的一个实施例，在所述预设娱乐场景为舞蹈交互场景时，对所述多模态跟学输入进行处理，具体包括:通过视觉获取用户所产生的多模态跟学输入，并将从多模态跟学输入中提取到的视频数据中的动作信息与标准动作信息比对以评判用户的舞蹈动作是否标准。
[0010]根据本发明的一个实施例，在所述预设娱乐场景为唱歌交互场景时，对所述多模态跟学输入进行处理，具体包括:通过听觉采集用户所产生的多模态跟学输入，并将从多模态跟学输入中提取的音频数据中的音调/节奏信息与标准音调/节奏信息比对以评判用户的的多模态跟学输入是否标准。
[0011]根据本发明的一个实施例，该方法还包括以下步骤:
[0012]在所述处理结果低于设定标准时，输出指导类多模态交互数据以提高用户的相应娱乐场景下的表现水平。
[0013]根据本发明的一个实施例，该方法还包括以下步骤:
[0014]将与所述预设娱乐场景对应的反馈信息发布到社交平台上。
[0015]本发明还提供了一种面向智能机器人的娱乐交互系统，包括以下模块:
[0016]多模态数据输出模块，其用于展示与预设娱乐场景对应的多模态数据；
[0017]多模态跟学输入获取模块，其用户获取用户的多模态跟学输入；
[0018]处理反馈模块，其用于对所述多模态跟学输入进行处理，并根据处理结果输出与所述预设娱乐场景对应的反馈信息。
[0019]根据本发明的一个实施例，在所述预设娱乐场景为舞蹈交互场景时，所述处理反馈模块具体执行以下步骤:通过视觉获取用户所产生的多模态跟学输入，并将从多模态跟学输入中提取到的视频数据中的动作信息与标准动作信息比对以评判用户的舞蹈动作是否标准。
[0020]根据本发明的一个实施例，在所述预设娱乐场景为唱歌交互场景时，所述处理反馈模块具体执行以下步骤:通过听觉采集用户所产生的多模态跟学输入，并将从多模态跟学输入中提取的音频数据中的音调/节奏信息与标准音调/节奏信息比对以评判用户的的多模态跟学输入是否标准。
[0021]根据本发明的一个实施例，所述多模态数据输出模块还配置为:在所述处理结果低于设定标准时，输出指导类多模态交互数据以提高用户的相应娱乐场景下的表现水平。
[0022]根据本发明的一个实施例，该系统还包括以下模块:
[0023]反馈信息发布模块，其用于将与所述预设娱乐场景对应的反馈信息发布到社交平台上。
[0024]与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果:
[0025]本发明实施例所提供的面向智能机器人的娱乐交互方法通过展示与预设娱乐场景对应的多模态数据，获取用户针对多模态数据的多模态跟学输入，然后对多模态跟学输入进行处理，并根据处理结果输出与预设娱乐场景对应的反馈信息，提高了智能机器人的交互能力，进而提高了用户体验和用户粘度。
[0026]同时，该方法还能够在用户的多模态跟学输入与预设标准不匹配时，向用户输出指导类多模态交互数据，从而帮助用户对自身进行改进。通过这种方式，该方法能够进一步提高智能机器人的用户体验，这有助于提高智能机器人的用户粘度以及产品竞争力。
[0027]本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构和/或流程来实现和获得。【附图说明】[〇〇28]附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。
[0029]图1是根据本发明一个实施例的面向智能机器人的娱乐交互方法的流程示意图；
[0030]图2是根据本发明另一个实施例的面向智能机器人的娱乐交互方法的流程示意图；
[0031]图3是根据本发明又一个实施例的面向智能机器人的娱乐交互方法的流程示意图；
[0032]图4是根据本发明一个实施例的面向智能机器人的娱乐交互系统的结构框图。 【具体实施方式】
[0033]以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。[〇〇34]同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。
[0035]另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0036]现有的智能机器人与用户的交互方式是进行问题答复或生活辅助查询，缺少智能机器人与用户进行娱乐的交互方式。然而，随着用户对智能机器人的交互需求越来越多，需要智能机器人提高交互能力来提升用户体验，由于现有的智能机器人无法与用户进行娱乐交互，这也就影响了用户体验。
[0037]针对现有技术中存在的上述问题，本发明提供了一种新的面向智能机器人的娱乐交互方法。该方法能够基于多模态交互数据以及娱乐场景来生成对应的反馈信息，从而使得用户与智能机器人之间能够形成良好的互动。
[0038]为了更加清楚地阐述本发明所提供的面向智能机器人的娱乐交互方法和系统的实现原理、实现过程以及优点，以下分别结合不同的实施例来作进一步地说明。
[0039]实施例一:
[0040]图1示出了本实施例所提供的面向智能机器人的娱乐交互方法的流程图。
[0041]如图1所示，本实施例所提供的方法首先在步骤S101中展示与预设娱乐场景对应的多模态数据。需要指出的是，在本发明的不同实施例中，根据上述预设娱乐场景的不同， 该方法在步骤S101中所输出的多模态数据可以以不同的形式进行呈现，本发明不限于此。 [〇〇42]例如，如果当前娱乐场景为“舞蹈交互场景”，那么该方法将在步骤S101中通过智能机器人配置的语音系统来输出相应的舞蹈音乐或是舞蹈动作;如果当前娱乐场景为“唱歌交互场景”，那么该方法便在步骤S101中将用户所选取的歌曲进行播放。
[0043]当然，在本发明的不同实施例中，根据实际需要，上述预设娱乐场景可以是多种多样的娱乐场景，本发明不限于此。同时，还需要指出的是，该方法判断当前所处的具体娱乐场景的方式既可以是通过用户的选择进行确定，也可以通过对交互数据进行分析来确定， 本发明同样不限于此。
[0044]当完成与预设娱乐场景对应的多模态数据的展示后，该方法在步骤S102中获取用户针对多模态数据的多模态跟学输入。具体地，本实施例中，该方法可以通过智能机器人所配置的多种传感器来获取用户所输出的多种形式的数据。
[0045]例如，如果当前娱乐场景为“舞蹈交互”，那么在通过智能机器人的语音系统播放相应的舞蹈音乐或通过智能机器人的肢体呈现相应的舞蹈动作的同时，该方法在步骤S102 中通过智能机器人的视觉系统(例如智能机器人所配置的摄像头)来获取用户当前的动作数据，该动作数据即为用户针对多模态数据的多模态跟学输入。
[0046]而如果当前娱乐场景为“唱歌交互场景”，那么在通过智能机器人的语音系统播放对应歌曲的同时，该该方法在步骤S102中通过智能机器人的听觉系统(例如智能机器人所配置的音频传感器)来获取用户当前的音频数据，该音频数据即为用户针对多模态数据的多模态跟学输入。
[0047]当获取到用户针对多模态数据的多模态跟学输入后，如图1所示，该方法将在步骤 S103中对所获取的多模态跟学输入进行处理，并根据处理结果输出与预设娱乐场景相对应的反馈信息。[〇〇48]例如，如果当前娱乐场景为“舞蹈交互场景”，那么正如上述描述中所提及的，该方法在步骤S102将通过智能机器人的视觉系统获取到用户所产生的多模态跟学输入。在得到该多模态跟学输入后，该方法会在步骤S103中从该多模态跟学输入(例如视频数据)中提取到视频数据中的动作信息，并将提取到的动作信息与预设标准动作信息进行比对，从而根据比对结果评判用户的舞蹈动作是否标准。
[0049]具体地，本实施例中，该方法在将获取到的动作信息与预设标准动作信息进行比对的过程中，所述动作信息可为将视频数据按照预设划分的时间点所对应的动作集合的信息，并不局限。
[0050]优选地，可以通过模型匹配或神经网络识别的方式来得到用户的动作信息与预设标准动作信息的匹配程度，进而根据该匹配程度以评判用户的舞蹈动作是否标准。
[0051]其中，如果用户的动作信息与预设标准动作信息的匹配程度越高，那么则表示用户的舞蹈动作也就越标准。如果用户的动作信息与预设标准动作信息的匹配程度达到预设匹配阈值，该方法可以控制智能机器人输出诸如“跳得太好啦”的语音信息和/或诸如“鼓掌”等动作信息；而如果用户的动作信息与预设标准动作信息的匹配程度小于预设匹配阈值，该方法则可以控制智能机器人输出诸如“看来我们还得再练习一下”的语音信息。[〇〇52] 类似地，如果当前娱乐场景为“唱歌交互场景”，那么正如上述描述中所提及的，该方法在步骤S102将通过智能机器人的听觉系统获取到用户所产生的多模态跟学输入。在得到该多模态跟学输入后，该方法会在步骤S103中从该多模态跟学输入(例如音频数据)中提取到音频数据中的音调信息和/或节奏信息，并将提取到的音调信息和/或节奏信息与预设标准音调信息和/或节奏信息进行比对，从而根据比对结果评判用户的舞蹈动作是否标准。
[0053]具体地，本实施例中，该方法在将获取到的音调信息和/或节奏信息与预设标准音调信息和/或节奏信息进行比对的过程中，可以通过模型匹配或神经网络识别的方式来得到用户的音调信息和/或节奏信息与预设标准音调信息和/或节奏信息的匹配程度，进而根据该匹配程度以评判用户的多模态跟学输入是否标准。[〇〇54]从上述描述中可以看出，本实施例所提供的面向智能机器人的娱乐交互方法通过展示与预设娱乐场景对应的多模态数据，获取用户针对多模态数据的多模态跟学输入，然后对多模态跟学输入进行处理，并根据处理结果输出与预设娱乐场景对应的反馈信息，提高了智能机器人的交互能力，进而提高了用户体验和用户粘度。
[0055]实施例二:
[0056]图2示出了本实施例所提供的面向智能机器人的娱乐交互方法的流程图。
[0057]如图2所示，本实施例所提供的方法首先在步骤S201中展示与预设娱乐场景对应的多模态数据，随后在步骤S202中获取用户针对该多模态数据的多模态跟学输入，并在步骤S203中对步骤S202中所获取到的多模态跟学输入进行处理，根据处理结果输出与预设娱乐场景对应的反馈信息。
[0058]需要指出的是，本实施例中步骤S201至步骤S203的实现原理以及实现过程与上述实施例一中步骤S101至步骤S103所涉及的内容类似，故在此不再对步骤S201至步骤S203的具体实现原理以及实现过程进行赘述。
[0059]如图2所示，本实施例中，在输出与预设娱乐场景对应的反馈信息后，该方法还在步骤S204中判断步骤S203中所得到的处理结果是否低于预设标准。如果处理结果低于预设标准，那么该方法则在步骤S205生成并输出指导类多模态交互数据，以帮助用户提高自身的水平。
[0060]例如，如果当前娱乐场景为“舞蹈交互场景”，那么该方法将提取到的动作信息与预设标准动作信息进行比对，从而根据比对结果评判用户的舞蹈动作是否标准。
[0061]具体地，本实施例中，该方法在将获取到的动作信息与预设标准动作信息进行比对的过程中，可以通过模型匹配或神经网络识别的方式来得到用户的动作信息与预设标准动作信息的匹配程度，进而根据该匹配程度以评判用户的舞蹈动作是否标准。
[0062]如果用户的动作信息与预设标准动作信息的匹配程度小于预设匹配阈值，该方法则会在步骤S205中输出指导类多模态交互数据。具体地，该方法可以通过对用户的动作信息和预设标准动作信息进行分析，得出二者之间匹配度最差的部分，并将该部分动作重新呈现给用户，以帮助用户改进自身动作。[〇〇63]需要指出的是，如果当前娱乐场景为“唱歌交互场景”等其他交互场景，其输出指导类多模态交互数据的原理以及过程与上述“舞蹈交互场景”类似，故在此不再对其他交互场景进行描述。
[0064]从上述描述中可以看出，本实施例所提供的面向智能机器人的娱乐交互方法在实施例一所提供的方法的基础上，还能够在用户的多模态跟学输入与预设标准不匹配时，向用户输出指导类多模态交互数据，从而帮助用户对自身进行改进。通过这种方式，该方法能够进一步提高智能机器人的用户体验，这有助于提高智能机器人的用户粘度以及产品竞争力。
[0065]实施例三:
[0066]图3示出了本实施例所提供的面向智能机器人的娱乐交互方法的流程图。
[0067]如图3所示，本实施例所提供的方法首先在步骤S301中展示与预设娱乐场景对应的多模态数据，随后在步骤S302中获取用户针对该多模态数据的多模态跟学输入，并在步骤S303中对步骤S302中所获取到的多模态跟学输入进行处理，根据处理结果输出与预设娱乐场景对应的反馈信息。[〇〇68]需要指出的是，本实施例中步骤S301至步骤S303的实现原理以及实现过程与上述实施例一中步骤S101至步骤S103所涉及的内容类似，故在此不再对步骤S301至步骤S303的具体实现原理以及实现过程进行赘述。
[0069]如图3所示，本实施例中，在输出与预设娱乐场景对应的反馈信息后，该方法还在步骤S304中将步骤S303中所得到的反馈反馈信息发布到社交平台上。
[0070] 例如，如果当前娱乐场景为“唱歌交互场景”，那么正如上述描述中所提及的，该方法在步骤S302将通过智能机器人的听觉系统获取到用户所产生的多模态跟学输入。在得到该多模态跟学输入后，该方法会在步骤S303中从该多模态跟学输入(例如音频数据)中提取到音频数据中的音调信息和/或节奏信息，并将提取到的音调信息和/或节奏信息与预设标准音调信息和/或节奏信息进行比对，从而根据比对结果评判用户的舞蹈动作是否标准。
[0071]在步骤S304中，该方法会将步骤S303中所得到的评判结果发送到特定的社交平台上，从而使得该用户的社交圈子内的其他人也能够了解到该用户的评判结果。例如对于“儿童学唱歌”这一娱乐场景，该方法评判出使用的儿童用户对某一首或某几首儿歌的标准程度，并将该结果上传到该儿童用户的社交圈子(例如班级群)，这样有助于在该社交圈子内形成一种竞争、比较的气氛，从而有助于用户能力的提高。
[0072]本发明还提供给了一种面向智能机器人的娱乐交互系统，图4示出了本实施例中该系统的结构示意图。[〇〇73]如图4所示，本实施例所提供的娱乐交互系统400优选地包括:多模态数据输出模块401、多模态跟学输入获取模块402以及处理反馈模块403。多模态数据输出模块401用于展示与预设娱乐场景对应的多模态数据。其中，多模态数据用于控制智能机器人执行该预设娱乐场景的场景性操作。[〇〇74]本实施例中的预设娱乐场景优选地可以包括“舞蹈交互场景”和“唱歌交互场景”， 由此，多模态数据可以是动作信息和语音信息。智能机器人可以根据多模态数据来向用户 (本例为儿童用户)进行舞蹈动作演示和唱歌声音表达。
[0075]当多模态数据输出模块401完成与预设娱乐场景对应的多模态数据的展示后，多模态跟学输入获取模块402会持续获取用户针对多模态数据的多模态跟学输入。具体地，本实施例中，多模态跟学输入获取模块402可以通过智能机器人所配置的多种类型的传感器来获取用户所输出的多种形式的数据。例如，多模态跟学输入获取模块402可以通过智能机器人所配置的图像传感器(例如摄像头)来获取用户的图像数据(例如用户动作数据)，也可以通过智能机器人所配置的音频传感器(例如麦克风)来用户用户的音频数据(例如用户的语音)。[〇〇76]本实施例中，多模态跟学输入获取模块402会将获取到的多模态跟学输入传输给处理反馈模块403，以由处理反馈模块403对多模态跟学输入进行进一步的处理，并根据处理结果输出与预设娱乐场景相对应的反馈信息。[〇〇77]例如，如果当前娱乐场景为“舞蹈交互场景”，多模态跟学输入获取模块402将通过智能机器人的视觉系统获取到用户所产生的多模态跟学输入。处理反馈模块403会从该多模态跟学输入(例如视频数据)中提取到视频数据中的动作信息，并将提取到的动作信息与预设标准动作信息进行比对，从而根据比对结果评判用户的舞蹈动作是否标准。[〇〇78]类似地，如果当前娱乐场景为“唱歌交互场景”，处理反馈模块403会从多模态跟学输入获取模块402传输来的多模态跟学输入(例如音频数据)中提取到音频数据中的音调信息和/或节奏信息，并将提取到的音调信息和/或节奏信息与预设标准音调信息和/或节奏信息进行比对，从而根据比对结果评判用户的舞蹈动作是否标准。[〇〇79]如图4所示，本实施例中，该娱乐交互系统优选地还包括:反馈信息发布模块404。 其中，多模态数据输出模块还配置为:在根据多模态跟学输入所得到的处理结果低于预设标准时，会输出指导类多模态交互数据，以提高用户的相应娱乐场景下的表现水平。而反馈信息发布模块404会将处理反馈模块403的评判结果发送到特定的社交平台上，从而使得该用户的社交圈子内的其他人也能够了解到该用户的评判结果。
[0080]需要指出的是，本实施例中，输出指导类多模态交互数据以及反馈信息发布模块 404上传评判结果的原理以及过程分别与上述内容中步骤S204以及步骤S304所涉及的内容相同，不在此不再对该部分内容进行赘述。
[0081]以上所述，仅为本发明的具体实施案例，本发明的保护范围并不局限于此，任何熟悉本技术的技术人员在本发明所述的技术规范内，对本发明的修改或替换，都应在本发明的保护范围之内。
[0082]本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0083]虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化， 但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
【主权项】
1.一种面向智能机器人的娱乐交互方法，包括以下步骤:展示与预设娱乐场景对应的多模态数据；获取用户的多模态跟学输入；对所述多模态跟学输入进行处理，并根据处理结果输出与所述预设娱乐场景对应的反馈信息。2.根据权利要求1所述的方法，其特征在于，在所述预设娱乐场景为舞蹈交互场景时，对所述多模态跟学输入进行处理，具体包括: 通过视觉获取用户所产生的多模态跟学输入，并将从多模态跟学输入中提取到的视频数据 中的动作信息与标准动作信息比对以评判用户的舞蹈动作是否标准。3.根据权利要求1所述的方法，其特征在于，在所述预设娱乐场景为唱歌交互场景时，对所述多模态跟学输入进行处理，具体包括: 通过听觉采集用户所产生的多模态跟学输入，并将从多模态跟学输入中提取的音频数据中 的音调/节奏信息与标准音调/节奏信息比对以评判用户的的多模态跟学输入是否标准。4.根据权利要求1?3中任一项所述的方法，其特征在于，该方法还包括以下步骤:在所述处理结果低于设定标准时，输出指导类多模态交互数据以提高用户的相应娱乐场景下的表现水平。5.根据权利要求1所述的方法，其特征在于，该方法还包括以下步骤:将与所述预设娱乐场景对应的反馈信息发布到社交平台上。6.—种面向智能机器人的娱乐交互系统，包括以下模块:多模态数据输出模块，其用于展示与预设娱乐场景对应的多模态数据；多模态跟学输入获取模块，其用户获取用户的多模态跟学输入；处理反馈模块，其用于对所述多模态跟学输入进行处理，并根据处理结果输出与所述 预设娱乐场景对应的反馈信息。7.根据权利要求6所述的系统，其特征在于，在所述预设娱乐场景为舞蹈交互场景时，所述处理反馈模块具体执行以下步骤:通过 视觉获取用户所产生的多模态跟学输入，并将从多模态跟学输入中提取到的视频数据中的 动作信息与标准动作信息比对以评判用户的舞蹈动作是否标准。8.根据权利要求6所述的系统，其特征在于，在所述预设娱乐场景为唱歌交互场景时，所述处理反馈模块具体执行以下步骤:通过 听觉采集用户所产生的多模态跟学输入，并将从多模态跟学输入中提取的音频数据中的音 调/节奏信息与标准音调/节奏信息比对以评判用户的的多模态跟学输入是否标准。9.根据权利要求6?8中任一项所述的系统，其特征在于，所述多模态数据输出模块还 配置为:在所述处理结果低于设定标准时，输出指导类多模态交互数据以提高用户的相应 娱乐场景下的表现水平。10.根据权利要求6所述的系统，其特征在于，该系统还包括以下模块:反馈信息发布模块，其用于将与所述预设娱乐场景对应的反馈信息发布到社交平台上。
【文档编号】G06F3/01GK106095095SQ201610407118
【公开日】2016年11月9日
【申请日】2016年6月12日
【发明人】孙永超
【申请人】北京光年无限科技有限公司