一种数字视频内容合成方法及系统与流程

本发明属于视频合成，具体涉及数字视频内容合成方法及系统。

背景技术：

1、在数字视频内容合成领域中通常使用视频编辑系统，视频编辑系统是用于编辑、剪辑和处理视频素材的工具系统，从而制作出符合特定需求和目的的视频作品。视频编辑系统可以被用于制作电影、电视节目、广告、音乐视频、纪录片、教育视频等不同类型的视频作品。视频编辑系统通常包含一个向用户展示视频的界面，用户可以在其中导入视频素材、音频素材、图像素材等，并将它们按照需要进行排列、剪辑、调整、修剪和处理。视频编辑系统还可以提供一些特效、转场、字幕、音效、色彩调整、稳定和修复视频素材等功能，以帮助用户制作出更加精美和专业的视频作品。在很多实际场景中，例如景点介绍、博物馆展品介绍，或医疗康复、教学领域以及生活百科中都涉及视频介绍或文字性、图片的介绍，随着数字虚拟人物的发展，数字虚拟人物涉及虚拟偶像、虚拟代言人、数字人客服、数字人记者、数字人主播等等，播报类的数字虚拟人相较于直接使用文字、图片等内容的播报方式，数字虚拟人可以更加生动的表达播报内容。在通过人工智能技术进行生成视频内容的基础上，如何实时形成具有数字虚拟人的实时视频播放内容是亟待解决的问题。

技术实现思路

1、本发明的目的是提供数字视频内容合成方法及系统，用以解决现有技术中如何形成具有数字虚拟人的实时视频播放内容的问题。

2、为了实现上述目的，本发明采用以下技术方案：

3、本发明第一方面提供了一种数字视频内容合成方法，应用于数字视频内容合成系统，所述系统包括触发信息感应端、服务端及存储端，所述触发信息感应端及存储端分别和所述服务端连接，所述方法包括：

4、所述触发信息感应端采集目标内容触发信息，并将所述目标内容触发信息传给服务端；

5、所述服务端接收触发信息感应端传来的目标内容触发信息，目标内容触发信息包括目标内容触发数据，并将所述目标内容触发信息发给所述存储端；

6、所述存储端接收所述服务端传来的目标内容触发信息，根据所述目标内容触发数据匹配满足触发条件的预设目标内容触发数据；所述存储端设置有目标内容触发数据库，所述目标内容触发数据库包括若干预设目标内容触发数据；

7、所述存储端根据匹配到的所述预设目标内容触发数据匹配目标播报信息；再根据所述目标播报信息匹配预设的待讲解背景内容信息；并将待讲解背景内容信息传给所述服务端；

8、所述服务端接收所述存储端传来的待讲解背景内容信息，并对待讲解背景内容信息进行语义识别；以便获得待讲解背景内容风格信息；

9、所述服务端根据待讲解背景内容风格匹配虚拟人物基础模型；并根据待讲解背景内容风格信息调整所述虚拟人物基础模型的风格信息，形成最终虚拟人物模型；并将最终虚拟人物模型与所述待讲解背景内容进行合成，形成最终播报内容。

10、根据上述技术，触发信息感应端采集目标内容触发信息，根据所述目标内容触发数据匹配满足触发条件的预设目标内容触发数据；根据匹配到的所述预设目标内容触发数据匹配目标播报信息；再根据所述目标播报信息匹配预设的待讲解背景内容信息；通过采集的目标内容触发信息进行内容匹配识别，找到精准的播报内容；服务端根据待讲解背景内容信息进行语义识别；以便获得待讲解背景内容风格信息；再根据待讲解背景内容风格匹配虚拟人物基础模型；并根据待讲解背景内容风格信息调整所述虚拟人物基础模型的风格信息，形成最终虚拟人物模型；并将最终虚拟人物模型与所述待讲解背景内容进行合成，形成最终播报内容，使得生成的虚拟人物与待讲解的内容意思有很好的配合度，使得虚拟人物更加的生动。

11、优选的，所述存储端再根据所述目标播报信息匹配预设的待讲解背景内容时，若无法匹配到待讲解背景内容；则将所述目标播报信息传给所述服务端；

12、所述服务端接收所述存储端传来的目标播报信息，并根据目标播报信息进行网络数据库搜索，以便获取待讲解背景内容。通过在网络数据库中搜索播报目标内容信息，可以匹配更多场景的播报内容。

13、优选的，所述服务端还连接有用户动作采集模块；所述用户动作采集模块采集用户的动作信息，并将所述动作信息传给所述服务端；

14、所述服务端接收所述动作采集模块传来的所述动作信息，并根据所述动作信息调整虚拟人物基础模型的播报动作。

15、优选的，所述服务端还连接有人脸识别模块，所述人脸识别模块采集用户人脸信息并识别用户表情信息，并将所述用户人脸信息和用户表情信息传给所述服务端；

16、所述服务端接收所述人脸识别模块传来的用户人脸信息和用户表情信息，并根据所述用户人脸信息和用户表情信息调整所述虚拟人物基础模型的面部特征和表情。

17、优选的，根据所述用户人脸信息和用户表情信息调整所述虚拟人物基础模型的面部特征和表情的方法包括：

18、根据所述人脸信息，识别人脸面部特征，根据人脸面部特征预估用户年纪信息及用户性别信息，根据用户性别信息匹配虚拟人物基础模型的性别特征；根据用户年纪信息匹配虚拟人物基础模型年纪特征。

19、优选的，所述待讲解背景内容信息包括视频文件、图片、幻灯片和/或文档。

20、本发明第二方面提供了一种数字视频内容合成系统，包括触发信息感应端、服务端及存储端，所述触发信息感应端及存储端分别和所述服务端连接；

21、所述触发信息感应端，用于采集触发信息，并将所述触发信息传给服务端；

22、所述服务端，用于接收触发信息感应端传来的目标内容触发信息，目标内容触发信息包括目标内容触发数据，并将所述目标内容触发信息发给所述存储端；

23、所述存储端，用于接收所述服务端传来的目标内容触发信息，根据所述目标内容触发数据匹配满足触发条件的预设目标内容触发数据；所述存储端设置有目标内容触发数据库，所述目标内容触发数据库包括若干预设目标内容触发数据；

24、所述存储端，用于根据匹配到的所述预设目标内容触发数据匹配目标播报信息；再根据所述目标播报信息匹配预设的待讲解背景内容信息；并将待讲解背景内容信息传给所述服务端；

25、所述服务端，用于接收所述存储端传来的待讲解背景内容信息，并对待讲解背景内容信息进行语义识别；以便获得待讲解背景内容风格信息；

26、所述服务端，用于根据待讲解背景内容风格匹配虚拟人物基础模型；并根据待讲解背景内容风格信息调整所述虚拟人物基础模型的风格，形成最终虚拟人物模型；并将最终虚拟人物模型与所述待讲解背景内容进行合成，形成最终播报内容。

27、优选的，所述存储端再根据所述目标播报信息匹配预设的待讲解背景内容时，若无法匹配到待讲解背景内容；则将所述目标播报信息传给所述服务端；

28、所述服务端，用于接收所述存储端传来的目标播报信息，并根据目标播报信息进行网络数据库搜索，以便获取待讲解背景内容。

29、优选的，所述系统还包括用户动作采集模块，所述用户动作采集模块连接所述服务端；

30、所述用户动作采集模块，用于采集用户的动作信息，并将所述动作信息传给所述服务端；

31、所述服务端接收所述动作采集模块传来的所述动作信息，并根据所述动作信息调整虚拟人物基础模型的播报动作。

32、优选的，所述系统还包括人脸识别模块，所述人脸识别模块与所述服务端连接；

33、所述人脸识别模块，用于采集用户人脸信息并识别用户表情信息，并将所述用户人脸信息和用户表情信息传给所述服务端；

34、所述服务端，用于接收所述人脸识别模块传来的用户人脸信息和用户表情信息，并根据所述用户人脸信息和用户表情信息调整所述虚拟人物基础模型的面部特征和表情。

35、有益效果：通过触发信息感应端采集目标内容触发信息，根据所述目标内容触发数据匹配满足触发条件的预设目标内容触发数据；根据匹配到的所述预设目标内容触发数据匹配目标播报信息；再根据所述目标播报信息匹配预设的待讲解背景内容信息；通过采集的目标内容触发信息进行内容匹配识别，找到精准的播报内容；服务端根据待讲解背景内容信息进行语义识别；以便获得待讲解背景内容风格信息；再根据待讲解背景内容风格匹配虚拟人物基础模型；并根据待讲解背景内容风格信息调整所述虚拟人物基础模型的风格信息，形成最终虚拟人物模型；并将最终虚拟人物模型与所述待讲解背景内容进行合成，形成最终播报内容，使得生成的虚拟人物与待讲解的内容含义有很好的配合度，使得虚拟人物更加的生动。通过在网络数据库中搜索播报目标内容信息，可以匹配更多场景的播报内容。