一种基于弱势人群的智能数字人交互方法、设备和介质与流程

本发明涉及数字交互，具体涉及一种基于弱势人群的智能数字人交互方法、设备和介质。

背景技术：

1、随着人工智能技术、计算机图形学、传感器技术和计算硬件的不断发展，虚拟数字人已经在营销宣传、教育培训、医疗健康、娱乐游戏、智能客服等很多领域展开了应用。在技术发展过程中，数字人的功能越来越丰富，操作方法也变得更复杂，往往需要一定的培训和指导才能上手使用。尤其对于老年人、残障人士等弱势人群来讲，交互方式不够友好，操作界面也缺少必要的的引导功能。

2、例如，老年人对于页面的触控功能难以看清，操作流程不熟悉；盲人需要更便捷和智能化的语音交互能力，从而独立的完成数字人的操作；而对于聋哑人而言，一定的手语识别与交互能力可以提升用户的使用体验。上述的功能更多的提现在软件层面，硬件成本的投入几乎没有增加，主要依靠计算机图像建模（cg）、自然语言处理（nlp）、计算机视觉（cv）等技术的支撑。

技术实现思路

1、本发明为了克服以上技术的不足，提供了一种适用于数字人生成、弱势人群的友好交互等场景的交互方法、设备和介质。

2、本发明克服其技术问题所采用的技术方案是：

3、一种基于弱势人群的智能数字人交互方法，包括：

4、采集弱势人群的指令信息，将指令信息转换为文本信息；

5、根据文本信息中识别的交互信息匹配智能问答库中的内容，得到交互对应的应答文本信息；

6、将文本信息进行人工智能训练，得到数字人的视频和音频内容，将视频和音频内容发送到客户端进行组合渲染；

7、根据生成的数字人形象的交互视频和文本信息，在客户端进行渲染和内容播报。

8、进一步的，所述弱势人群为：老年人、聋哑人士、视力障碍人群、身体障碍人群；弱势人群的指令信息为：文本输入、手语动作、语音信息。

9、进一步的，根据弱势人群的手语动作视频，通过手语库匹配转换为文本信息，将弱势人群的语音信息降噪处理，降噪处理后通过自然语言处理转化为文本信息。

10、进一步的，文本输入包括拼音、五笔、笔画、语音、手写，文本输入支持词语联想、热词匹配、词语库配置、常用词历史记录；

11、手语动作分为国外手语语系及国内手语语系，国外手语语系包括：法国手语、英澳手语、阿拉伯手语、德国手语、日本手语；国内手语语系包括：普通手语、南方方言手语、北方方言手语；

12、语音信息包括汉语、英语、西班牙语、阿拉伯语、俄语、葡萄牙语、日语、英语、德语、国内方言，国内方言包括官话方言、吴语、闽语、湘语、客语、赣语、粤语、晋语、徽语。

13、进一步的，降噪处理的方法为：dsp语音消噪或谱减法或维纳滤波法。

14、进一步的，根据文本信息中识别的交互信息匹配智能问答库中的内容，得到交互对应的应答文本信息的方法为：

15、根据识别的交互信息，对转换后的文本内容进行预处理，预处理的方法依次为：文本清洗、敏感词过滤、分词标记、矢量化；

16、根据有关文本内容制度的规定，对识别到的交互信息进行敏感词过滤，其敏感问题做出标准化答案输出；

17、问答库采用关联问题推荐排序的方式进行匹配，映射问答库中的答案进行综合得分，获取得分排序最前的答案进行回答，如果没有关联的答案，则返回相关问题的提示信息。

18、进一步的，将文本信息进行人工智能训练，得到数字人的视频和音频内容，将视频和音频内容发送到客户端进行组合渲染的方法为：

19、根据问答库匹配的文本内容结合数字人的形象和动作库、音色、语种信息进行ai训练；

20、ai训练时分割数字人的形象和绿幕背景，同时对数字人的动作、唇形、表情、声音进行视频构建，使动作、唇形和声音对应，得到数字人形象的视频内容。

21、进一步的，根据生成的数字人形象的交互视频和文本信息，在客户端进行渲染和内容播报的方法为：

22、客户端对数字人交互视频、背景、组件进行渲染，得到一条完整的数字人播报内容的视频信息并通过播放器播报。

23、一种基于弱势人群的智能数字人交互设备，包括：

24、至少一个处理器，以及

25、与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

26、采集弱势人群的指令信息，将指令信息转换为文本信息；

27、根据文本信息中识别的交互信息匹配智能问答库中的内容，得到交互对应的应答文本信息；

28、将文本信息进行人工智能训练，得到数字人的视频和音频内容，将视频和音频内容发送到客户端进行组合渲染；

29、根据生成的数字人形象的交互视频和文本信息，在客户端进行渲染和内容播报。

30、一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

31、采集弱势人群的指令信息，将指令信息转换为文本信息；

32、根据文本信息中识别的交互信息匹配智能问答库中的内容，得到交互对应的应答文本信息；

33、将文本信息进行人工智能训练，得到数字人的视频和音频内容，将视频和音频内容发送到客户端进行组合渲染；

34、根据生成的数字人形象的交互视频和文本信息，在客户端进行渲染和内容播报。

35、本发明的有益效果是：

技术特征：

1.一种基于弱势人群的智能数字人交互方法，其特征在于，包括：

2.根据权利要求1所述的基于弱势人群的智能数字人交互方法，其特征在于：所述弱势人群为：老年人、聋哑人士、视力障碍人群、身体障碍人群；

3.根据权利要求2所述的基于弱势人群的智能数字人交互方法，其特征在于：根据弱势人群的手语动作视频，通过手语库匹配转换为文本信息，将弱势人群的语音信息降噪处理，降噪处理后通过自然语言处理转化为文本信息。

4.根据权利要求2所述的基于弱势人群的智能数字人交互方法，其特征在于：

5.根据权利要求3所述的基于弱势人群的智能数字人交互方法，其特征在于：降噪处理的方法为：dsp语音消噪或谱减法或维纳滤波法。

6.根据权利要求1所述的基于弱势人群的智能数字人交互方法，其特征在于，根据文本信息中识别的交互信息匹配智能问答库中的内容，得到交互对应的应答文本信息的方法为：

7.根据权利要求1所述的基于弱势人群的智能数字人交互方法，其特征在于，将文本信息进行人工智能训练，得到数字人的视频和音频内容，将视频和音频内容发送到客户端进行组合渲染的方法为：

8.根据权利要求1所述的基于弱势人群的智能数字人交互方法，其特征在于，根据生成的数字人形象的交互视频和文本信息，在客户端进行渲染和内容播报的方法为：

9.一种基于弱势人群的智能数字人交互设备，其特征在于，包括：

10.一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

技术总结
一种基于弱势人群的智能数字人交互方法、设备和介质，涉及数字交互技术领域，采集弱势人群的指令信息，根据识别的交互信息匹配对应的问题库内容，通过人工智能训练获得数字人的视频和音频内容，渲染数字人形象和交互内容。适用于数字人生成、弱势人群的友好交互等场景。提出一种交互友好、便捷灵活的数字人交互方案，从而提高用户体验，降低人工培训和指导的成本。

技术研发人员：李健华
受保护的技术使用者：山东新一代信息产业技术研究院有限公司
技术研发日：
技术公布日：2024/1/15