模型构建的方法和装置、照片生成方法和装置与流程

本发明涉及计算机，特别涉及一种模型构建的方法和装置、照片生成方法和装置、电子设备及存储介质。

背景技术：

1、随着自媒体的发展与普及，用户产生了不受时间、地点和环境的限制生成照片（比如生成自己在海滩上穿比基尼的照片等）的需求。目前通常通过在隐式扩散模型（latentdiffusion model，ldm）的基础上训练低秩自适应(low-rank adaptation，lora)模型来生成特定风格的照片，比如在ldm模型的基础上训练服装lora模型来生成穿特定服装的人物照片、在ldm模型的基础上训练人物lora模型来生成特定人物的照片等等。然而，在同时使用至少两个lora模型时，不同lora模型之间往往会产生冲突，比如在同时使用服装lora模型与人物lora模型时，因为服装lora模型与人物lora模型的冲突，会导致生成的照片中不仅人物不像特定人物，人物的服装也不像特定服装，甚至导致照片整体产生扭曲变形现象。

2、有鉴于此，如何提供一种能够解决lora模型冲突的方案，以利用ldm模型同时结合至少两个lora模型生成特定风格的照片，成为亟待解决的技术问题。

技术实现思路

1、有鉴于此，本申请实施例提供一种模型构建的方法和装置、照片生成方法和装置、电子设备及存储介质，能够解决lora模型冲突的问题，便于生成特定风格的照片。

2、第一方面，本申请实施例提供了一种模型构建的方法，包括：

3、确定第一lora模型作用于ldm模型的unet网络的块结构的各个特征层中影响所述第一lora模型对应对象相似度的主要特征层记为第一特征层，确定第二lora模型作用于所述unet网络的块结构的各个特征层中影响所述第二lora模型对应对象相似度的主要特征层记为第二特征层；

4、在所述ldm模型的基础上，通过保留所述第一特征层和第二特征层中作用位置不同的各个特征层，和/或保留所述第一特征层和第二特征层中作用位置相同的各个特征层，并调整相同作用位置的至少一个特征层的作用权重系数，构建目标模型。

5、第二方面，本申请实施例提供了一种基于第一方面所述的模型构建的方法的照片生成方法，包括：

6、利用所述目标模型生成特定风格的照片。

7、第三方面，本申请实施例还提供了一种模型构建的装置，包括：

8、确定单元，用于确定第一lora模型作用于ldm模型的unet网络的块结构的各个特征层中影响所述第一lora模型对应对象相似度的主要特征层记为第一特征层，确定第二lora模型作用于所述unet网络的块结构的各个特征层中影响所述第二lora模型对应对象相似度的主要特征层记为第二特征层；

9、构建单元，用于在所述ldm模型的基础上，通过保留所述第一特征层和第二特征层中作用位置不同的各个特征层，和/或保留所述第一特征层和第二特征层中作用位置相同的各个特征层，并调整相同作用位置的至少一个特征层的作用权重系数，构建目标模型。

10、第四方面，本申请实施例提供了一种基于第三方面所述的模型构建的装置的照片生成装置，包括：

11、生成单元，用于利用所述目标模型生成特定风格的照片。

12、第五方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的模型构建的方法的步骤或如第二方面所述的照片生成方法的步骤。

13、第六方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的模型构建的方法的步骤或如第二方面所述的照片生成方法的步骤。

14、综上，本申请实施例提供的模型构建的方法和装置、照片生成方法和装置、电子设备及存储介质，分别确定第一lora模型和第二lora模型作用于ldm模型的unet网络的块结构的各个特征层中影响所述第一lora模型和第二lora模型对应对象相似度的主要特征层，分别记为第一特征层和第二特征层；在所述ldm模型的基础上，通过保留所述第一特征层和第二特征层中作用位置不同的各个特征层，和/或保留所述第一特征层和第二特征层中作用位置相同的各个特征层，并调整相同作用位置的至少一个特征层的作用权重系数，构建目标模型，能够解决lora模型冲突的问题，同时利用构建的目标模型能够生成特定风格的照片。

技术特征：

1.一种模型构建的方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述确定第一lora模型作用于ldm模型的unet网络的块结构的各个特征层中影响所述第一lora模型对应对象相似度的主要特征层记为第一特征层，确定第二lora模型作用于所述unet网络的块结构的各个特征层中影响所述第二lora模型对应对象相似度的主要特征层记为第二特征层，包括：

3.如权利要求2所述的方法，其特征在于，相同作用位置的特征层中属于所述第一lora模型的特征层的作用权重系数w1=r1×λ/（r1+r2），相同作用位置的特征层中属于所述第二lora模型的特征层的作用权重系数w2=r2×η/（r1+r2），其中，r1为相同作用位置的特征层中属于所述第一lora模型的特征层的排序顺序的倒数，λ为相同作用位置的特征层中属于所述第一lora模型的特征层的原始作用权重系数，r2为相同作用位置的特征层中属于所述第二lora模型的特征层的排序顺序的倒数，η为相同作用位置的特征层中属于所述第二lora模型的特征层的原始作用权重系数。

4.如权利要求1至3任一项所述的方法，其特征在于，所述第一lora模型为服装lora模型，所述第二lora模型为人物lora模型。

5.一种基于权利要求1至4任一项所述的模型构建的方法的照片生成方法，其特征在于，包括：

6.一种模型构建的装置，其特征在于，包括：

7.如权利要求6所述的装置，其特征在于，所述确定单元，用于：

8.一种基于权利要求6或7所述的模型构建的装置的照片生成装置，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4任一项所述的模型构建的方法的步骤或者如权利要求5所述的照片生成方法的步骤。

10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至4任一项所述的模型构建的方法的步骤或者如权利要求5所述的照片生成方法的步骤。

技术总结
本申请提供了一种模型构建的方法和装置、照片生成方法和装置、电子设备及存储介质，方法包括：确定第一LoRA模型作用于LDM模型的Unet网络的块结构的各个特征层中影响所述第一LoRA模型对应对象相似度的主要特征层记为第一特征层，确定第二LoRA模型作用于所述Unet网络的块结构的各个特征层中影响所述第二LoRA模型对应对象相似度的主要特征层记为第二特征层；在所述LDM模型的基础上，通过保留所述第一特征层和第二特征层中作用位置不同的各个特征层，和/或保留所述第一特征层和第二特征层中作用位置相同的各个特征层，并调整相同作用位置的至少一个特征层的作用权重系数，构建目标模型，通过该方案能够解决LoRA模型冲突的问题，便于生成特定风格的照片。

技术研发人员：唐宇
受保护的技术使用者：海马云（天津）信息技术有限公司
技术研发日：
技术公布日：2024/1/15