一种基于交互平台实现数字人与用户的交互方法与流程

本申请涉及人工智能控制领域，尤其涉及一种基于交互平台实现数字人与用户的交互方法。

背景技术：

1、数字人是信息科学和生命科学相结合的产物，具体是指通过信息科学技术，对现实人物的体态、面貌和动作进行虚拟仿真，生成可视化的虚拟人物。数字人的本体是通过计算机生成的，并通过显示设备呈现出来，让人类能通过眼睛看见。具备人类的外观和行为模式，数字人具有人类身体的外观形体结构，表现出来的行为模式是与人类相仿的，数字人的影像通常是呈现出某种人类的活动。

2、数字人随着技术的发展已经逐渐在各行业中进行了应用，在生活中也可以看到。在与真人的交互过程中，数字人可通过对人物形象的复制模拟，人物声音的克隆及语音合成等技术，可随时随地与真人进行准确交互性对话。

3、但是在数字人与用户的交互过程中，需要数字人的使用者去说出相应的语言或者做出相应的动作，才能够驱动数字人与其他用户进行交互。在失去使用者人为控制的情况下，数字人仅用做显示，而无法与其他用户进行动作、语言上的交互。

技术实现思路

1、数字人在与用户进行交互时，需要使用者对数字人进行实时操控，来对用户发出的交互信息做出相应动作。为了解决当使用者无法对数字人进行操控时，数字人也无法与用户进行交互的问题，本申请实施例提供了一种基于交互平台实现数字人与用户的交互方法。

2、第一方面，本申请部分实施例提供一种交互平台系统，所述系统包括：视频通信层、视频渲染层、数字人生成层和数字人交互层；

3、所述视频通信层被配置为建立交互平台与用户终端的通信连接；

4、所述数字人生成层被配置为根据用户通过通信连接上传的数字人形象素材，在交互平台生成对应形象的数字人；

5、所述数字人交互层被配置为获取用户发送的交互指令，并根据所述交互指令生成对应的反馈指令；

6、所述视频渲染层被配置为对所述数字人执行所述反馈指令的视频进行渲染，得到反馈视频，并通过所述通信连接将所述反馈视频显示在所述用户终端。

7、在本申请的一些实施例中，所述数字人交互层包括：转文本层、转语音层、语义理解层和指令生成层；

8、所述转文本层被配置为将所述交互指令中的语音内容转换为交互文本；

9、所述语义理解层被配置为对所述交互文本进行语义理解，得到语义理解结果；并且，根据所述语义理解结果生成反馈文本；

10、所述转语音层被配置为将所述反馈文本转换为反馈语音；

11、所述指令生成层被配置为生成第一反馈指令；所述第一反馈指令用于指示所述数字人执行所述反馈语音。

12、在本申请的一些实施例中，所述数字人交互层还包括动作反馈层，被配置为根据所述语义理解结果生成反馈动作；

13、其中，所述指令生成层还被配置为生成第二反馈指令；所述第二反馈指令用于指示所述数字人执行所述反馈动作。

14、在本申请的一些实施例中，当所述语义理解层无法对所述交互文本进行语义理解时，所述语义理解层还被配置为：

15、生成未识别语音；所述未识别语音用于指示所述语义理解层无法对所述交互文本进行语义理解；

16、控制所述指令生成层生成第三反馈指令，所述第三反馈指令用于指示所述数字人执行所述未识别语音。

17、在本申请的一些实施例中，所述系统还包括控制调度层，所述控制调度层被配置为监控所述数字人的路由负载、控制调度和会话管理。

18、第二方面，本申请提供了一种基于交互平台实现数字人与用户的交互方法，所述方法包括：

19、建立交互平台与用户终端的通信连接；

20、根据用户通过所述通信连接上传的数字人形象素材，在交互平台生成对应形象的数字人；

21、获取用户向所述数字人输入的交互指令；

22、根据所述交互指令生成对应的反馈指令；

23、对所述数字人执行所述反馈指令的视频进行渲染，得到反馈视频，并通过所述通信连接将所述反馈视频显示在所述用户终端。

24、在本申请的一些实施例中，根据所述交互指令生成对应的反馈指令的步骤包括：

25、将所述交互指令中的语音内容转换为交互文本；

26、通过所述交互平台对所述交互文本进行语义理解，得到语义理解结果；并且，根据所述语义理解结果生成反馈文本；

27、将所述反馈文本转换为反馈语音；

28、生成第一反馈指令；所述第一反馈指令用于指示所述数字人执行所述反馈语音。

29、在本申请的一些实施例中，所述方法还包括：

30、根据所述语义理解结果生成反馈动作；

31、根据所述反馈动作生成第二反馈指令；所述第二反馈指令用于指示所述数字人执行所述反馈动作。

32、在本申请的一些实施例中，当所述交互平台无法对所述交互文本进行语义理解时，所述方法还包括：

33、生成未识别语音；所述未识别语音用于指示所述交互平台无法对所述交互文本进行语义理解；

34、生成第三反馈指令，所述第三反馈指令用于指示所述数字人执行所述未识别语音。

35、在本申请的一些实施例中，所述方法还包括：

36、在获取用户向所述数字人输入的交互指令的步骤后，监控所述数字人的路由负载、控制调度和会话管理。

37、通过上述方案可知，本申请提供了一种基于交互平台实现数字人与用户的交互方法，通过与用户终端建立通信连接，接收由用户终端上传的数字人形象素材，并在交互平台生成对应形象的数字人。然后获取由用户通过用户终端输入的交互指令，并根据交互指令生成对应的反馈指令。所述交互平台在接收到反馈指令后，会控制所生成的数字人执行所述反馈指令，并对数字人执行所述反馈指令的视频进行渲染，最后在用户终端显示渲染后的反馈视频。本申请能够实现当使用者无法对数字人进行操控时，数字人依然可以与用户进行交互，无需人为控制，提高用户的体验感。

技术特征：

1.一种交互平台系统，其特征在于，所述系统包括：视频通信层、视频渲染层、数字人生成层和数字人交互层；

2.根据权利要求1所述的交互平台系统，其特征在于，所述数字人交互层包括：转文本层、转语音层、语义理解层和指令生成层；

3.根据权利要求2所述的交互平台系统，其特征在于，所述数字人交互层还包括动作反馈层，被配置为根据所述语义理解结果生成反馈动作；

4.根据权利要求2所述的交互平台系统，其特征在于，当所述语义理解层无法对所述交互文本进行语义理解时，所述语音理解层还被配置为：

5.根据权利要求2所述的交互平台系统，其特征在于，所述系统还包括控制调度层，所述控制调度层被配置为监控所述数字人的路由负载、控制调度和会话管理。

6.一种基于交互平台实现数字人与用户的交互方法，其特征在于，所述方法包括：

7.根据权利要求6所述的基于交互平台实现数字人与用户的交互方法，其特征在于，根据所述交互指令生成对应的反馈指令的步骤包括：

8.根据权利要求7所述的基于交互平台实现数字人与用户的交互方法，其特征在于，所述方法还包括：

9.根据权利要求6所述的基于交互平台实现数字人与用户的交互方法，其特征在于，当所述交互平台无法对所述交互文本进行语义理解时，所述方法还包括：

10.根据权利要求6所述的基于交互平台实现数字人与用户的交互方法，其特征在于，所述方法还包括：

技术总结
本申请提供了一种基于交互平台实现数字人与用户的交互方法，通过与用户终端建立通信连接，接收由用户终端上传的数字人形象素材，并在交互平台生成对应形象的数字人。然后获取由用户通过用户终端输入的交互指令，并根据交互指令生成对应的反馈指令。所述交互平台在接收到反馈指令后，会控制所生成的数字人执行所述反馈指令，并对数字人执行所述反馈指令的视频进行渲染，最后在用户终端显示渲染后的反馈视频。本申请能够实现当使用者无法对数字人进行操控时，数字人依然可以与用户进行交互，无需人为控制，提高用户的体验感。

技术研发人员：司马华鹏,马希望,刘杰
受保护的技术使用者：南京硅基智能科技有限公司
技术研发日：
技术公布日：2024/1/15