一种基于社交账户的数字人生成方法及系统与流程

本技术涉及数字人生成，尤其涉及一种基于社交账户的数字人生成方法及系统。

背景技术：

1、数字人是通过计算机技术制作的类人形象模型。数字人可具备人类的外观或者行为模式，能够独立运行。数字人可存在于智能设备中(比如电脑、手机)，并通过屏幕呈现出来。

2、数字人可通过数字人生成技术构建。数字人生成技术能够根据真人形象生成相应类别的数字人，例如，根据教师、讲师、主播、艺人等真人形象生成教师、讲师、主播、艺人等类型数字人，并将所生成的数字人应用到场景中，以实现更加真实的互动方式。

3、在生成数字人之前，需要获取素材，例如，数字人形象的照片素材、数字人发声的音频素材等。为了获取素材，需要进行图像拍摄和音频采集。但是，如果真人无法到场，便无法获取用于生成数字人的素材，从而降低数字人的生成效率。

技术实现思路

1、本技术提供一种基于社交账户的数字人生成方法及系统，以解决数字人生成效率低的问题。

2、第一方面，本技术的部分实施例提供一种基于社交账户的数字人生成方法，所述方法包括：

3、获取目标人物的社交账户信息；其中，所述社交账户信息包括视频平台社交动态和非视频平台社交动态；

4、对所述视频平台社交动态执行提取处理，以获取社交动态素材，或者，基于所述非视频平台社交动态获取社交动态素材，所述社交动态素材包括图片素材、音频素材以及文本素材；

5、从目标图片素材中提取人像特征，以及，从所述音频素材中提取音频特征，所述目标图片素材为包含有目标人物形象的图片素材；

6、根据所述人像特征、所述音频特征与所述文本素材，以及预设的数字人生成模型，得到目标人物对应的目标数字人。

7、在一些实施例中，对所述视频平台社交动态执行提取处理，所述方法还包括：

8、提取所述视频平台社交动态中的视频帧数据；

9、对所述视频帧数据执行人物识别，以从所述视频帧数据中筛选出包含所述目标人物形象的图片素材。

10、在一些实施例中，所述方法还包括：

11、识别所述视频平台社交动态中目标人物的口型动作；

12、当所述口型动作发生变化时标记所述视频平台社交动态的第一时间点，以及，当所述口型动作闭合时标记所述视频平台社交动态的第二时间点；

13、将所述第一时间点和所述第二时间点之间的音频截取为所述音频素材。

14、在一些实施例中，所述方法还包括：

15、对所述图片素材执行人物识别；

16、如果所述图片素材中包含至少一个人物形象目标，对所述人物形象目标执行人脸识别；

17、将所述图片素材中出现次数最多的人物形象目标标记为目标人物；

18、从所述图片素材中筛选包含目标人物形象的目标图片素材。

19、在一些实施例中，所述方法还包括：

20、基于所述社交账户信息获取所述目标人物的聊天记录；

21、如果获取到所述目标人物的聊天记录，则从所述聊天记录中提取所述社交动态素材；

22、如果未获取到目标人物的所述聊天记录，则从云端数据库中调取所述目标人物的聊天记录。

23、在一些实施例中，基于所述社交账户信息获取社交动态素材，所述方法还包括：

24、选择生成数字人的时间区间；

25、获取所述社交动态素材的发布时间；

26、提取所述发布时间位于所述时间区间内的图片素材、音频素材以及文本素材，以生成社交动态素材。

27、在一些实施例中，所述方法还包括：

28、基于所述社交账户信息检测在所述时间区间内的直播记录；

29、通过云端服务器调取所述直播记录的直播素材；

30、从所述直播素材中提取直播图片素材、直播音频素材以及直播文本素材，以生成所述社交动态素材。

31、在一些实施例中，所述方法还包括：

32、获取社交样本账户信息；其中，所述社交样本账户信息包括视频平台样本社交动态和非视频平台样本社交动态；

33、对所述视频平台样本社交动态执行提取处理，以获取样本社交动态素材，或者，基于所述非视频平台样本社交动态获取样本社交动态素材，所述样本社交动态素材包括样本图片素材、样本音频素材以及样本文本素材；

34、从所述样本图片素材中提取样本人像特征，以及，从所述样本音频素材中提取样本音频特征，所述样本图片素材为包含有样本人物形象的图片素材；

35、为所述样本人像特征、样本音频特征以及样本文本素材添加分类标签；

36、使用所述样本人像特征、样本音频特征以及样本文本素材训练待训练模型。

37、在一些实施例中，使用所述样本人像特征、样本音频特征以及样本文本素材训练待训练模型，所述方法还包括：

38、当第一训练损失小于第一损失阈值、第二训练损失小于第二损失阈值以及第三训练损失小于第三损失阈值时，以所述待训练模型当前的训练参数输出数字人生成模型，所述第一训练损失用于表征人像损失，所述第二训练损失用于表征音频损失，所述第三训练损失用于表征文本风格损失。

39、在一些实施例中，所述方法还包括：

40、识别所述视频平台样本社交动态中所述样本人物的肢体动作；

41、使用所述肢体动作训练所述待训练模型。

42、第二方面，本技术的部分实施例提供一种基于社交账户的数字人生成系统，所述系统包括数字人生成模块，所述数字人生成模块被配置为执行以下方法：

43、获取目标人物的社交账户信息；其中，所述社交账户信息包括视频平台社交动态和非视频平台社交动态；

44、对所述视频平台社交动态执行提取处理，以获取社交动态素材，或者，基于所述非视频平台社交动态获取社交动态素材，所述社交动态素材包括图片素材、音频素材以及文本素材；

45、从目标图片素材中提取人像特征，以及，从所述音频素材中提取音频特征，所述目标图片素材为包含有目标人物形象的图片素材；

46、根据所述人像特征、所述音频特征与所述文本素材，以及预设的数字人生成模型，得到目标人物对应的目标数字人。

47、由以上方案可知，本技术提供一种基于社交账户的数字人生成方法及系统，所述方法通过获取目标人物的社交账户信息，其中，社交账户信息包括视频平台社交动态和非视频平台社交动态。并对所述视频平台社交动态执行提取处理，以获取社交动态素材，或者，基于所述非视频平台社交动态获取社交动态素材，社交动态素材可以包括图片素材、音频素材以及文本素材。然后从带有目标人物形象的图片素材中提取人像特征，以及从音频素材中音频特征。最后根据所述人像特征、所述音频特征与所述文本素材，以及预设的数字人生成模型，得到目标人物对应的目标数字人。本技术可以通过在目标人物中的社交账户中获取社交账户信息，并通过社交账户信息中的视频平台社交动态提取各项用于生成数字人的特征，或者直接从非视频平台中直接获取各项用于生成数字人的特征，便于获取生成数字人的素材，从而提高数字人的生成效率。