一种基于交互设备的数字人处理方法、系统及存储介质与流程

本技术涉及客服数字人的，尤其是涉及一种基于交互设备的数字人处理方法、系统及存储介质。

背景技术：

1、随着科技的飞速发展，越来越多的新鲜事物出现在大众的视野中，其中数字人在各个领域都发挥了其独特的作用。数字人是指通过计算机技术模拟和复制人类的外貌、行为和交互方式的虚拟实体。数字人的意义在于提供了一种全新的交互方式，使得人类可以更加自然地与数字世界进行沟通和互动。这可以提升用户体验，扩展人机交互的应用场景，以及促进人工智能技术的发展。

2、相关技术中，在客服领域，尽管虚拟助手可以回答一些简单的问题，但在处理复杂情况或敏感话题时，仍然需要人类的干预。并且数字人预设好了问题答案，但是由于个体的差异性，答案并不适用所有人，造成一些用户的体验感较差，存在改进之处。

3、为此我们提出一种基于交互设备的数字人处理方法、系统及存储介质用于解决上述问题。

技术实现思路

1、本发明的目的在于提供一种基于交互设备的数字人处理方法、系统及存储介质，以解决上述背景技术中提出的问题。

2、第一方面，本技术提供的一种基于交互设备的数字人处理方法，采用如下的技术方案：

3、通过人脸识别获取用户身份，根据用户身份查找用户的相关信息，得到用户信息数据；

4、基于所述用户信息数据，根据用户身份，制定数字人的语音的音量、方言类型以及方案叙述，得到初阶处理数据；

5、根据所述初阶处理数据，获取周围环境；根据周围环境对数字人进行调整，得到中阶处理数据；

6、基于所述中阶处理数据，在数字人输出信息后实时监测用户表情；根据用户表情判断用户情绪，根据用户情绪及时调整后续数字人行为，得到高阶处理数据；

7、根据所述高阶处理数据，对输出的信息进行判断，是否涉及用户隐私；涉及用户隐私的数据输出需要切换方式，得到处理数据。

8、通过采用上述技术方案，根据用户的个人情况、年龄大小，按照用户个人情况进行设置信息回复，更加贴合不同的用户，提升了用户使用体验感，提高了基于交互设备的数字人服务的智能性。

9、优选的，所述用户信息数据包括年龄数据、学历数据、工作数据以及籍贯居住地数据；所述基于所述用户信息数据，根据用户身份，制定数字人的语音的音量、方言类型以及方案叙述，得到初阶处理数据的步骤，具体包括以下步骤：

10、基于所述年龄数据，根据年龄与耳朵灵敏度的反比关系，初步设定语音音量大小，得到初阶音量数据；

11、基于所述学历数据，根据学历分析用户个人知识储备，通过知识储备与语言难度的正相关曲线；匹配语言易懂等级；根据语言易懂等级匹配叙述方式，得到初阶叙述数据；

12、根据所述籍贯居住地数据，获取方言类型，从语言库中匹配方言类型，将语音转换为方言输出，得到初阶方言数据；

13、结合所述初阶音量数据、所述初阶叙述数据以及所述初阶方言数据，设定数字人信息输出方式，得到初阶处理数据。

14、通过采用上述技术方案，不同的人群采用不同的叙述方式，对需要简洁明了的人群来说节约时间，对需要解释清楚的人群来说提高理解的效率。选取合适的叙述方式，提高了基于交互设备的数字人服务的实用性。

15、优选的，所述基于所述学历数据，根据学历分析用户个人知识储备，通过知识储备与语言难度的正相关曲线，匹配语言易懂等级，根据语言易懂等级匹配叙述方式，得到初阶叙述数据的步骤，具体包括以下步骤：

16、根据专业名词数量与易懂程度的反比系数，设置语言易懂等级，得到等级数据；

17、基于所述工作数据，获取用户所属行业，筛选用户不知情的专业知识，得到初步知识储备数据；

18、根据所述初步知识储备数据和所述学历数据，分析用户专业知识，判断用户知识储备，得到知识储备数据；

19、结合所述知识储备数据和所述等级数据，根据知识储备与等级的正比系数，匹配对应等级语言叙述，得到所述初阶叙述数据。

20、通过采用上述技术方案，通过用户的学历以及工作经历，分析用户的领域知识，确定叙述方式，可以简短说明用户熟知领域知识，以便用户理解。同时使得用户对非熟知领域可以通过详细说明了解其中含义，提高了基于交互设备的数字人服务的便捷性。

21、优选的，所述根据所述籍贯居住地数据，获取方言类型，从语言库中匹配方言类型，将语音转换为方言输出，得到初阶方言数据的步骤，还包括以下步骤：

22、根据区域不同，搜索记录各区域的方言发音，与各区域地理位置匹配，形成语音库，得到语音库数据；

23、基于所述籍贯居住地数据和所述语音库数据，获取用户的籍贯地和长久居住地的方言类型，优先选取籍贯地方言，得到初步方言数据；

24、基于所述初步方言数据和所述初阶叙述数据，获取语言中事物客体的方言俗名进行替换，得到初阶方言数据。

25、通过上述技术方案，通过方言进行信息传输，可以使得更多用户理解信息内容，尤其是一些不熟知普通话的人群，可以更大范围的服务更多的人群，提高了基于交互设备的数字人服务的范围性。

26、优选的，所述根据所述初阶处理数据，获取周围环境；根据周围环境对数字人进行调整，得到中阶处理数据的步骤，具体包括以下步骤：

27、根据初阶音量数据，获取周围噪声大小，得到噪音数据，根据噪音数据与声音掩盖度的正比系数，获取声音掩盖度数据；

28、基于所述声音掩盖度数据和所述初阶音量数据，叠加因为噪音掩盖掉的音量，提升音量大小，得到中阶音量数据；

29、基于初阶叙述数据，根据周围环境的影响，分析用户专注力，根据专注力时间长短，划分数字人反馈信息时间，得到中阶叙述数据；

30、结合所述中阶音量数据以及所述中阶叙述数据，重新调整数字人输出方案，得到中阶处理数据。

31、通过采用上述技术方案，在不同环境下设置不同的音量输出信息内容，以便用户在不同环境下都可以听清信息内容，根据用户的专注力时间设置输出的信息内容的长短，有利于用户记住更多的信息。根据环境的影响分析实际情况，提高了基于交互设备的数字人服务的实时性。

32、优选的，所述基于初阶叙述数据，根据周围环境的影响，分析用户专注力，根据专注力时间长短，划分数字人反馈信息时间，得到中阶叙述数据的步骤，还包括以下步骤：

33、基于年龄数据，根据年龄与专注力的关系曲线，分析用户专注力，得到初阶专注力数据；

34、基于所述噪音数据和所述初阶专注力数据，获取噪音与专注力的负相关曲线，分析用户专注力，得到中阶专注力数据；

35、结合所述中阶专注力数据、学历数据以及工作数据，分析用户个人能力，参考用户个人能力与专注力的正相关曲线，分析用户专注力，得到专注力数据；

36、根据所述专注力数据和初阶叙述数据，获取用户阅读文字时间以及语音输出时间，数字人信息反馈时间不超过专注力时间，得到初阶信息长短数据，根据信息长短规划叙述方式，得到所述中阶叙述数据。

37、通过采用上述技术方案，根据专注力设置输出信息内容的长短，可以在用户的专注力时间较长时，使得用户一次性记住更多的内容。而当用户专注力不强的时候，减少输出过多内容造成用户错失信息的情况。根据专注力决定输出信息内容多少，提高了基于交互设备的数字人服务的智能性。

38、优选的，所述基于所述中阶处理数据，在数字人输出信息后实时监测用户表情；根据用户表情判断用户情绪，根据用户情绪及时调整后续数字人行为，得到高阶处理数据的步骤，还包括以下步骤：

39、基于所述中阶处理数据，获取用户表情，通过用户表情分析用户心情，得到情绪数据；

40、根据所述情绪数据和中阶叙述数据，若用户为负面情绪，则及时调整叙述方式，添加语气助词，得到高阶叙述数据；

41、根据所述情绪数据和初阶信息长短数据，若用户为正面情绪，则语音输出时间增加，信息内容加长，若用户为负面情绪，则语音输出时间减短，信息内容减少，得到信息长短数据；

42、根据中阶音量数据，若用户有捂耳的动作，则降低音量，若用户有贴近设备以及侧耳倾听的动作，则提升音量，得到高阶音量数据；

43、结合所述高阶叙述数据、所述信息长短数据以及所述高阶音量数据，综合得到输出信息方案，得到高阶处理数据。

44、通过采用上述技术方案，根据用户的面部表情推测用户的情绪，判断用户是否满意，及时调整输出内容的模式。可以使得信息内容的输出模式更加符合用户个人习惯，根据用户的情绪反馈进行调整，提高了基于交互设备的数字人服务的自检性。

45、优选的，所述根据所述高阶处理数据，对输出的信息进行判断，是否涉及用户隐私；涉及用户隐私的数据输出需要切换方式，得到处理数据的步骤，还包括以下步骤：

46、对输出的信息进行检索判断，是否涉及到用户个人信息；若涉及到用户个人信息，则判断为隐私数据；

47、基于所述隐私数据，当出现隐私数据时关闭语音播报，并提醒用户注意周围人群，当输出信息没有涉及到隐私数据时，开启语音播报；

48、根据所述高阶处理数据，当输出信息涉及到指引位置时，获取数字人和指引位置的地理位置，确定指引位置的方向，数字人通过动作指向为用户指引指引位置方向后，综合得到所述处理数据。

49、通过采用上述技术方案，语音播报会泄漏用户的个人信息，涉及到用户的个人信息时不再适用于语音播报。为了保护用户个人隐私安全，可以采用文字形式进行内容输出，提高了基于交互设备的数字人服务的安全性。

50、第二方面，本技术提供的一种基于交互设备的数字人处理系统，采用如下的技术方案：

51、一种基于交互设备的数字人处理系统，包括采集模块、分析模块以及设置模块，所述采集模块用于采集用户的身份后输出采集数据；所述分析模块与所述采集模块信号连接，用于接收所述采集数据并分析输出信息的方式后输出分析数据；所述设置模块与所述分析模块信号连接，用于接收所述分析数据并按照分析数据执行输出信息的方式。

52、通过上述技术方案，通过电子模块实现数字人的服务，一方面减少了人工客服数量，减少了人工资源的浪费。另一方面更加完善数字人的服务，提升服务质量，减少人工干预，更加便捷实用，提高了基于交互设备的数字人服务的便捷性。

53、第三方面，本技术提供的一种基于交互设备的数字人处理存储介质，采用如下的技术方案：

54、一种基于交互设备的数字人处理存储介质，通过交互设备进行数据存储，对于采集数据进行存储，并在对采集数据进行分析后得到的分析数据进行存储，作为下次数据分析的依据。

55、通过上述技术方案，将所有信息进行存储，在需要的时候进行调用，并在下一次服务同一用户时，可以调取历史记录，根据历史记录调整信息输出模式，更加快速便捷，提高了基于交互设备的数字人服务的便捷性。

56、综上所述，本技术包括以下至少一种有益技术效果：

57、1.数字人在服务客户时，根据用户的个人情况、年龄大小，按照用户个人情况进行设置信息回复，更加贴合不同的用户，提升了用户使用体验感，提高了基于交互设备的数字人服务的智能性。

58、2.不同的人群采用不同的叙述方式，对需要简洁明了的人群来说节约时间，对需要解释清楚的人群来说提高理解的效率。选取合适的叙述方式，提高了基于交互设备的数字人服务的实用性。

59、3.通过用户的学历以及工作经历，分析用户的领域知识，确定叙述方式，可以简短说明用户熟知领域知识，以便用户理解。同时使得用户对非熟知领域可以通过详细说明了解其中含义，提高了基于交互设备的数字人服务的便捷性。