模型训练方法、海报图像处理方法、电子设备及存储介质与流程

本技术涉及图像处理，尤其涉及一种模型训练方法、海报图像处理方法、装置、电子设备及存储介质。

背景技术：

1、计算机视觉领域的图像修复是指对图像中丢失的区域进行修补，相关技术中，可以基于图像的局部区域内容以及全局上下文语义信息，利用深度学习模型对污损区域进行填补修复。图像修复广泛应用于图像编辑、影视制作等方面，其中，海报图像处理(比如，海报文字擦除)即为图像修复众多应用场景中的一种。

2、然而，利用相关技术中的图像修复方法修复的图像显示效果较差，即视觉质量较差。

技术实现思路

1、为解决相关技术问题，本技术实施例提供一种模型训练方法、海报图像处理方法、装置、电子设备及存储介质。

2、本技术实施例的技术方案是这样实现的：

3、本技术实施例提供了一种模型训练方法，包括：

4、获得训练样本数据，所述训练样本包含第一类样本数据和第二类样本数据，所述第一类样本数据包含获得的实际海报图像、海报图像的文字掩膜(mask)，所述第二类样本数据包含利用图像生成海报文字而得到的海报图像、海报图像的文字mask和生成海报图像的原始图像；

5、利用训练样本数据对第一模型进行训练，所述第一模型用于去除待擦除海报图像中的文字并对文字区域进行修复。

6、上述方案中，所述第一模型包括：第一子模型、第二子模型和第三子模型；其中，

7、所述第一子模型用于擦除所述待擦除海报图像的文字并进行修复；

8、所述第二子模型用于确定擦除后的图像是否是无文字图像，并将确定结果反馈给所述第一子模型，以对海报进行修改；

9、所述第三子模型用于比较擦除后的图像的纹理和所述待擦除海报图像的纹理，并将比较结果反馈给所述第一子模型，以对海报进行修改。

10、上述方案中，所述第一子模型的损失函数至少包含纹理损失函数和颜色损失函数。

11、上述方案中，在获得训练样本数据时，所述方法包括：

12、获取至少一张图像；

13、针对所述至少一张图像中的每张图像，在图像中添加选择的文字，得到海报图像，并基于文字的添加位置和图像大小生成海报图像的文字mask。

14、上述方案中，所述在图像中添加选择的文字，包括：

15、基于随机方式确定文字框在图像中的位置，在确定的文字框位置添加选择的文字；

16、或者，

17、基于背景相似度确定文字框在图像中的位置，在确定的文字框位置添加选择的文字。

18、上述方案中，所述基于背景相似度确定文字框在图像中的位置，包括：

19、在图像中选择至少一个基准文字框位置；

20、针对选择的每个基准文字框位置，在基准文字框位置的周围区域进行遍历，选择n个候选文字框位置，所述候选文字框位置与所述基准文字框位置不重叠，n为大于或等于2的整数；并基于n个候选文字框位置中每个候选文字框位置的背景与基准文字框位置的背景的相似度，确定基准文字框位置的相似文字框位置；

21、基于所述至少一个基准文字框位置的相似文字框位置进行组合，得到文字框在图像中的位置；

22、在确定的文字框内添加基准文字框内的文字。

23、上述方案中，所述基于所述至少一个基准文字框位置的相似文字框位置进行组合，得到文字框在图像中的位置，包括：

24、基于所述至少一个基准文字框位置的相似文字框位置进行组合，得到至少一个组合；

25、针对所述至少一个组合中每个组合，确定对应组合的背景重叠程度；

26、基于所述至少一个组合中每个组合的背景重叠程度，从所述至少一个组合中选择一个组合作为目标组合；

27、基于所述目标组合，得到文字框在图像中的位置。

28、上述方案中，通过候选文字框位置的背景与基准文字框位置的背景的峰值信噪比，确定候选文字框位置的背景与基准文字框位置的背景的相似度。

29、上述方案中，通过网络爬取的方式获得实际海报图像。

30、本技术实施例还提供一种海报图像处理方法，包括：

31、获取待擦除海报图像；

32、利用第一模型去除所述待擦除海报图像中的文字并对文字区域进行修复；其中，所述第一模型是根据上述任一模型训练方法得到的。

33、上述方案中，所述方法还包括：

34、利用第二模型提取所述待擦除海报图像被擦除文字后的边缘特征；

35、将所述待擦除海报图像、边缘特征、所述待擦除图像的文字mask输入至所述第一模型，得到擦除文字的海报图像。

36、上述方案中，所述第二模型包含第四子模型和第五子模型，所述利用第二模型提取所述待擦除海报图像被擦除文字后的边缘特征，包括：

37、利用所述第四子模型生成所述待擦除海报图像被擦除文字后的边缘特征；

38、利用所述第五子模型判别生成的边缘特征是否是真的边缘特征。

39、上述方案中，所述第一模型包含第一子模型、第二子模型和第三子模型；所述利用第一模型去除所述待擦除海报图像中的文字并对文字区域进行修复，包括：

40、利用所述第一子模型擦除所述待擦除海报图像的文字并进行修复；

41、利用所述第二子模型确定擦除后的图像是否是无文字图像，并将确定结果反馈给所述第一子模型，以对海报进行修改；

42、利用所述第三子模型比较擦除后的图像的纹理和所述待擦除海报图像的纹理，并将比较结果反馈给所述第一子模型，以对海报进行修改。

43、本技术实施例还提供一种模型训练装置，包括：

44、第一获取单元，用于获得训练样本数据，所述训练样本包含第一类样本数据和第二类样本数据，所述第一类样本数据包含获得的实际海报图像、海报图像的文字mask，所述第二类样本数据包含利用图像生成海报文字而得到的海报图像、海报图像的文字mask和生成海报图像的原始图像；

45、训练单元，用于利用训练样本数据对第一模型进行训练，所述第一模型用于去除待擦除海报图像中的文字并对文字区域进行修复。

46、本技术实施例还提供一种海报图像处理装置，包括：

47、第二获取单元，用于获取待擦除海报图像；

48、处理单元，用于利用第一模型去除所述待擦除海报图像中的文字并对文字区域进行修复；其中，所述第一模型是根据上述任一模型训练方法得到的。

49、本技术实施例还提供一种电子设备，包括：通信接口和处理器，其中，

50、所述通信接口，用于获得训练样本数据，所述训练样本包含第一类样本数据和第二类样本数据，所述第一类样本数据包含获得的实际海报图像、海报图像的文字mask，所述第二类样本数据包含利用图像生成海报文字而得到的海报图像、海报图像的文字mask和生成海报图像的原始图像；

51、所述处理器，用于利用训练样本数据对第一模型进行训练，所述第一模型用于去除待擦除海报图像中的文字并对文字区域进行修复；

52、或者，

53、所述通信接口，用于获取待擦除海报图像；

54、所述处理器，用于利用第一模型去除所述待擦除海报图像中的文字并对文字区域进行修复；其中，所述第一模型是根据上述任一模型训练方法得到的。

55、本技术实施例还提供一种电子设备，包括：第一处理器和用于存储能够在处理器上运行的计算机程序的第一存储器，

56、其中，所述第一处理器用于运行所述计算机程序时，执行上述任一模型训练方法的步骤，或者执行上述任一海报图像处理方法的步骤。

57、本技术实施例还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一模型训练方法的步骤，或者实现上述任一海报处理方法的步骤。

58、本技术实施例提供的模型训练方法、海报图像处理方法、装置、电子设备及存储介质，在模型训练方法中，获得训练样本数据，所述训练样本包含第一类样本数据和第二类样本数据，所述第一类样本数据包含获得的实际海报图像、海报图像的文字mask，所述第二类样本数据包含利用图像生成海报文字而得到的海报图像、海报图像的文字mask和生成海报图像的原始图像；利用训练样本数据对第一模型进行训练，所述第一模型用于去除待擦除海报图像中的文字并对文字区域进行修复。本技术实施例提供的方案，通过将具有真实文字的海报及海报图像的文字mask作为训练数据对模型进行训练，提高了模型的多样性，从而在利用训练后的模型去除待擦除海报图像中的文字并对文字区域进行修复时，提高擦除和修复的准确性，进而提升擦除后的海报图像的视觉质量。