插图生成方法、装置、设备及存储介质与流程

本申请实施例涉及人工智能，特别涉及一种插图生成方法、装置、设备及存储介质。

背景技术：

1、在文学作品中一般具有文学作品插图，文学作品插图可以使文学作品描述内容更加生动形象。

2、目前，文学作品插图一般需要在人工阅读文学作品，并进行内容分析和构图以后，进行绘制，因此文学作品插图的绘制效率较低。

技术实现思路

1、本申请实施例提供了一种插图生成方法、装置、设备及存储介质。所述技术方案如下：

2、一方面，本申请实施例提供了一种插图生成方法，所述方法包括：

3、基于图像生成模型、目标文学作品中各个角色对应的角色lora(low-rankadaptation，低秩适应)模型以及目标文学作品中各个场景对应的场景lora模型，生成所述目标文学作品的插图生成模型，所述角色lora模型用于生成符合角色全局设定的角色图，所述场景lora模型用于生成符合场景全局设定的场景图，其中，不同角色对应不同角色lora模型，不同场景对应不同场景lora模型；

4、获取所述目标文学作品中事件对应的插图描述文本，所述插图描述文本用于描述事件对应待生成插图的图像特征；

5、通过所述插图生成模型，生成符合所述插图描述文本的文学作品插图，所述文学作品插图中包含角色以及场景。

6、另一方面，本申请实施例提供了一种插图生成装置，所述装置包括：

7、模型生成模块，用于基于图像生成模型、目标文学作品中各个角色对应的角色lora模型以及目标文学作品中各个场景对应的场景lora模型，生成所述目标文学作品的插图生成模型，所述角色lora模型用于生成符合角色全局设定的角色图，所述场景lora模型用于生成符合场景全局设定的场景图，其中，不同角色对应不同角色lora模型，不同场景对应不同场景lora模型；

8、获取模块，用于获取所述目标文学作品中事件对应的插图描述文本，所述插图描述文本用于描述事件对应待生成插图的图像特征；

9、插图生成模块，用于通过所述插图生成模型，生成符合所述插图描述文本的文学作品插图，所述文学作品插图中包含角色以及场景。

10、另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器、存储器，所述存储器中存储至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现如上述方面所述的插图生成方法。

11、另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如上述方面所述的插图生成方法。

12、另一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备实现如上述方面提供的插图生成方法。

13、在本申请实施例中，为了保持角色主体的一致性，以及场景主体的一致性，提高文学作品插图的连续性及质量，计算机设备首先基于图像生成模型、目标文学作品中各个角色对应的角色lora模型以及目标文学作品中各个场景对应的场景lora模型，生成目标文学作品的插图生成模型，随后获取事件对应的插图描述文本，最后将插图描述文本输入插图生成模型，得到包含角色和场景的文学作品插图；采用本申请实施例提供的方案可以实现文学作品插图的自动生成，提高文学作品插图的绘制效率。

技术特征：

1.一种插图生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于图像生成模型、目标文学作品中各个角色对应的角色lora模型以及目标文学作品中各个场景对应的场景lora模型，生成所述目标文学作品的插图生成模型，包括：

3.根据权利要求2所述的方法，其特征在于，所述训练各个角色对应的所述角色lora模型，以及各个场景对应的所述场景lora模型，包括：

4.根据权利要求3所述的方法，其特征在于，所述获取符合所述角色全局设定的多视角角色参考图，以及符合所述场景全局设定的多视角场景参考图，包括：

5.根据权利要求4所述的方法，其特征在于，所述角色生成模型包括姿态条件控制网络以及条件可控图像生成网络，所述基于所述角色全局设定和多视角角色模板，通过角色生成模型生成所述多视角角色参考图，包括：

6.根据权利要求4所述的方法，其特征在于，所述通过大语言模型对所述目标文学作品进行设定提取，得到所述角色全局设定以及所述场景全局设定，包括：

7.根据权利要求2所述的方法，其特征在于，所述将所述角色lora模型以及所述场景lora模型嵌入到所述图像生成模型，得到所述插图生成模型，包括：

8.根据权利要求7所述的方法，其特征在于，所述第一嵌入向量表征的浅层嵌入强度高于中间层嵌入强度，所述第二嵌入向量表征的中间层嵌入强度高于浅层嵌入强度。

9.根据权利要求1至8任一所述的方法，其特征在于，所述插图生成模型采用u-net架构；

10.根据权利要求1至8任一所述的方法，其特征在于，所述获取所述目标文学作品中事件对应的插图描述文本，包括：

11.一种插图生成装置，其特征在于，所述装置包括：

12.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器，所述存储器中存储至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现如权利要求1至10任一所述的插图生成方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质存储由至少一条程序代码，所述至少一条程序代码用于被处理器执行以实现如权利要求1至10任一所述的插图生成方法。

14.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备实现如权利要求1至10任一所述的插图生成方法。

技术总结
本申请实施例公开了一种插图生成方法、装置、设备及存储介质，属于人工智能技术领域，方法包括：基于图像生成模型、目标文学作品中各个角色对应的角色LORA模型以及目标文学作品中各个场景对应的场景LORA模型，生成目标文学作品的插图生成模型，角色LORA模型用于生成符合角色全局设定的角色图，场景LORA模型用于生成符合场景全局设定的场景图；获取目标文学作品中事件对应的插图描述文本，插图描述文本用于描述事件对应待生成插图的图像特征；通过插图生成模型，生成符合插图描述文本的文学作品插图，文学作品插图中包含角色以及场景。采用本申请实施例提供的方案能够提高文学作品插图绘制效率。

技术研发人员：肖易勇
受保护的技术使用者：广州酷狗计算机科技有限公司
技术研发日：
技术公布日：2024/3/12