图文内容生成方法、装置、设备及存储介质与流程

本申请涉及文图生成，更具体的说，是涉及一种图文内容生成方法、装置、设备及存储介质。

背景技术：

1、图文内容是指包含有文字及插图的电子形式内容，可以是电子书籍等读物，也可以是访谈记录等电子内容。常见的图文内容如儿童绘本、小说故事绘本等。通过图文结合的形式，可以提升图文内容的读者的阅读兴趣，以儿童绘本为例，其中包含的插图更多，伴有少量文章，可以有效促进儿童语言发展，培养儿童阅读兴趣。

2、当前图文内容的生产通常是基于纸质的书籍通过采集、加工和处理后转换为数字数据的生产过程，这种生成图文内容的方式成本较高，且受限于纸质书籍的质量，当纸质书籍中的图像质量较低时，生成的电子形式的图文内容的质量也不高。

技术实现思路

1、鉴于上述问题，提出了本申请以便提供一种图文内容生成方法、装置、设备及存储介质，以解决现有图文内容生成过程依赖纸质书籍，导致生成成本较高、质量受限于纸质书籍等问题。具体方案如下：

2、第一方面，提供了一种图文内容生成方法，包括：

3、获取待生成配图的文本信息；

4、从所述文本信息中获取关键信息；

5、调用预配置的文图生成模型，基于所述关键信息生成图片；

6、融合所述文本信息及所述图片，得到生成的图文内容。

7、优选地，所述获取待生成配图的文本信息，包括：

8、获取用户输入的关键要素信息；

9、调用预配置的人工智能模型，基于所述关键要素信息生成所述文本信息。

10、优选地，从所述文本信息中获取关键信息，包括：

11、按照设定的划分粒度，对所述文本信息进行划分，得到划分后的各部分文本信息；

12、分别获取每一部分文本信息的关键信息。

13、优选地，所述分别获取每一部分文本信息的关键信息，包括：

14、针对每一部分文本信息，调用预配置的人工智能模型，生成与所述每一部分文本信息对应的关键信息。

15、优选地，所述调用预配置的文图生成模型，基于所述关键信息生成图片，包括：

16、针对每一部分文本信息，分析其中所包含的目标角色；

17、调用配置的与所述目标角色对应的个性化文图生成模型，基于所述部分文本信息对应的关键信息生成图片，其中，与所述目标角色对应的个性化文图生成模型支持在生成不同图像时，不同图像中所述目标角色对应形象的身份一致的能力。

18、优选地，在所述调用预配置的文图生成模型，基于所述关键信息生成图片之前，还包括：

19、分析所述文本信息中所包含的各个角色信息；

20、针对每一角色，配置与所述角色对应的个性化文图生成模型，与所述角色对应的个性化文图生成模型支持在生成不同图像时，不同图像中所述角色对应形象的身份一致的能力。

21、优选地，若所述目标角色为一个，则调用配置的与所述目标角色对应的个性化文图生成模型，基于所述部分文本信息对应的关键信息生成图片的过程，包括：

22、调用与该一个所述目标角色对应的个性化文图生成模型，基于所述部分文本信息对应的关键信息生成图片。

23、优选地，若所述目标角色为两个以上，则调用配置的与所述目标角色对应的个性化文图生成模型，基于所述部分文本信息对应的关键信息生成图片的过程，包括：

24、选取各所述目标角色中的任意一个，调用所选取的目标角色对应的个性化文图生成模型，基于所述部分文本信息对应的关键信息生成第一图片；

25、在未选取过的各所述目标角色中遍历选取所述目标角色，每次选取一个所述目标角色后，将所述第一图片中当前选取的所述目标角色对应的形象进行遮挡处理，得到第二图片，调用当前选取的所述目标角色对应的个性化文图生成模型，基于所述部分文本信息对应的关键信息及所述第二图片，再次生成新的第一图片；

26、当遍历完所述目标角色后，将最后一次生成的第一图片作为最终的图片。

27、优选地，针对每一角色，配置与所述角色对应的个性化文图生成模型的过程，包括：

28、在通用文图生成模型中添加文本特征提取器，得到编辑后文图生成模型；

29、获取每一角色对应的训练数据集，所述训练数据集中包含多个由图像样本及其描述文本组成的训练数据对，不同的所述图像样本中的同一角色对应形象的身份一致；

30、针对每一角色：将对应的训练数据集中图像样本的描述文本输入所述编辑后文图生成模型，以利用所述编辑后文图生成模型中的所述通用文图生成模型对所述描述文本进行处理，以及将所述角色对应的文本标签的可学习文本向量输入所述文本特征提取器，以提取文本特征，并利用所述文本特征对所述通用文图生成模型的隐层所提取的特征进行偏移处理，由所述通用文图生成模型的解码模块对偏移处理后的特征进行解码，得到生成的图像，以生成的图像趋近于所述图像样本为目标更新模型参数，得到与所述角色对应的个性化文图生成模型。

31、优选地，在融合所述文本信息及所述图片之前，还包括：

32、将生成的所述图片转换为指定风格，所述指定风格为预设的统一风格，或，所述指定风格为与所述文本信息所匹配的风格。

33、第二方面，提供了一种图文内容生成装置，包括：

34、文本获取单元，用于获取待生成配图的文本信息；

35、关键信息获取单元，用于从所述文本信息中获取关键信息；

36、图片生成单元，用于调用预配置的文图生成模型，基于所述关键信息生成图片；

37、文图融合单元，用于融合所述文本信息及所述图片，得到生成的图文内容。

38、第三方面，提供了一种图文内容生成设备，包括：存储器和处理器；

39、所述存储器，用于存储程序；

40、所述处理器，用于执行所述程序，实现前述的图文内容生成方法的各个步骤。

41、第四方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前所述的图文内容生成方法的各个步骤。

42、借由上述技术方案，本申请首先获取需要生成配图的文本信息，为了生成配图，从文本信息中获取到关键信息，作为生成配图时的参考文本信息。进一步调用预配置的文图生成模型，借助文图生成模型强大的基于文本生成匹配语义的图片的能力，可以基于上述获取的关键信息来生成与关键信息匹配的图片，最后融合文本信息与生成的图片，得到图文内容。显然，本申请方案借助ai文图生成模型的能力，可以自动生成与文本信息匹配的图片，且鉴于文图生成模型所生成图片的多样性和文本一致性，可以保证生成的图片的质量且与文本信息的语义是匹配的，最终得到内容质量较高的图文内容，整个过程不依赖于纸质书籍，生成成本大幅降低。

技术特征：

1.一种图文内容生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取待生成配图的文本信息，包括：

3.根据权利要求1所述的方法，其特征在于，从所述文本信息中获取关键信息，包括：

4.根据权利要求3所述的方法，其特征在于，所述分别获取每一部分文本信息的关键信息，包括：

5.根据权利要求3所述的方法，其特征在于，所述调用预配置的文图生成模型，基于所述关键信息生成图片，包括：

6.根据权利要求5所述的方法，其特征在于，在所述调用预配置的文图生成模型，基于所述关键信息生成图片之前，还包括：

7.根据权利要求5所述的方法，其特征在于，若所述目标角色为一个，则调用配置的与所述目标角色对应的个性化文图生成模型，基于所述部分文本信息对应的关键信息生成图片的过程，包括：

8.根据权利要求5所述的方法，其特征在于，若所述目标角色为两个以上，则调用配置的与所述目标角色对应的个性化文图生成模型，基于所述部分文本信息对应的关键信息生成图片的过程，包括：

9.根据权利要求6所述的方法，其特征在于，针对每一角色，配置与所述角色对应的个性化文图生成模型的过程，包括：

10.根据权利要求1～9任一项所述的方法，其特征在于，在融合所述文本信息及所述图片之前，还包括：

11.一种图文内容生成装置，其特征在于，包括：

12.一种图文内容生成设备，其特征在于，包括：存储器和处理器；

13.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1～10中任一项所述的图文内容生成方法的各个步骤。

技术总结
本申请公开了一种图文内容生成方法、装置、设备及存储介质，本申请获取需要生成配图的文本信息，从文本信息中获取到关键信息，作为生成配图时的参考文本信息。调用预配置的文图生成模型，借助文图生成模型强大的基于文本生成匹配语义的图片的能力，可以基于获取的关键信息生成与关键信息匹配的图片，融合文本信息与生成的图片，得到图文内容。本申请方案借助AI文图生成模型的能力，可以自动生成与文本信息匹配的图片，且鉴于文图生成模型所生成图片的多样性和文本一致性，可以保证生成的图片的质量且与文本信息的语义是匹配的，最终得到内容质量较高的图文内容，整个过程不依赖于纸质书籍，生成成本大幅降低。

技术研发人员：殷兵,吴小燕,何山,高建清,杨硕,殷保才,郜静文,胡国平,刘聪,魏思,王士进,刘权
受保护的技术使用者：科大讯飞股份有限公司
技术研发日：
技术公布日：2024/1/16