基于边缘损失和风格损失的图像卡通化方法、装置、计算机设备及存储介质与流程

文档序号:30619520发布日期:2022-07-02 02:05阅读:146来源:国知局
基于边缘损失和风格损失的图像卡通化方法、装置、计算机设备及存储介质与流程

1.本发明涉及图像生成技术领域,尤其涉及一种基于边缘损失和风格损失的图像卡通化方法、装置、计算机设备及存储介质。


背景技术:

2.图像的卡通化工作要求输出结果能够对原图内容尽可能大的保留性,目前图像卡通化的技术方案主要有两种:基于传统卷积网络和基于gan网络的卡通化算法。基于传统卷积网络的方法在有成对训练数据的情况下,通常主题框架参数量相对较少而速度较快。基于gan网络的方法能够一定程度上解决成对训练数据依赖的问题,通过生成器提取原图内容信息并还原,通过鉴别器不断判断生成结果质量,往往能够生成主观效果更好的卡通化结果。
3.虽然这两种技术方案能够利用真实图像产生2d卡通化效果,但仍然存在以下不足:1、传统卷积网络在解码阶段丢失了较多的原图内容信息,保真度较差;2、基于gan网络的方案由于在解码过程中对细节缺乏足够的监督,生成结果往往在色彩和边缘细节上还原度不高,且效果不够稳定。


技术实现要素:

4.本发明实施例提供了一种基于边缘损失和风格损失的图像卡通化方法、装置、计算机设备及存储介质,能够在保证原图内容信息不丢失的前提下,生成的卡通图像的卡通画程度更高。
5.第一方面,本发明实施例提供了一种基于边缘损失和风格损失的图像卡通化方法,该方法包括:
6.将原始图像输入预设神经网络模型进行训练以获得卡通图像,其中,所述预设神经网络模型包括第一训练模型和第二训练模型;
7.分别计算所述第一训练模型、所述卡通图像和预设卡通图像的边缘损失值以及分别计算所述第二训练模型、所述卡通图像和所述预设卡通图像的风格损失值;
8.根据所述边缘损失值和所述风格损失值调整所述预设神经网络模型的参数,并重新对所述原始图像进行训练以再次获得所述卡通图像;
9.返回所述分别计算所述第一训练模型、所述卡通图像和预设卡通图像的边缘损失值以及分别计算所述第二训练模型、所述卡通图像和所述预设卡通图像的风格损失值的步骤,并判断当前边缘损失值与上一次边缘损失值之间的第一差值是否在第一预设范围内以及判断当前风格损失值与上一次风格损失值之间的第二差值是否在第二预设范围内;
10.若所述第一差值在所述第一预设范围内且所述第二差值在所述第二预设范围内,则输出所述卡通图像。
11.第二方面,本发明实施例还提供了一种基于边缘损失和风格损失的图像卡通化装
置,该装置包括:
12.第一训练单元,用于将原始图像输入预设神经网络模型进行训练以获得卡通图像,其中,所述预设神经网络模型包括第一训练模型和第二训练模型;
13.第一计算单元,用于分别计算所述第一训练模型、所述卡通图像和预设卡通图像的边缘损失值以及分别计算所述第二训练模型、所述卡通图像和所述预设卡通图像的风格损失值;
14.第一调整单元,用于根据所述边缘损失值和所述风格损失值调整所述预设神经网络模型的参数,并重新对所述原始图像进行训练以再次获得所述卡通图像;
15.第一返回单元,用于返回所述分别计算所述第一训练模型、所述卡通图像和预设卡通图像的边缘损失值以及分别计算所述第二训练模型、所述卡通图像和所述预设卡通图像的风格损失值的步骤,并判断当前边缘损失值与上一次边缘损失值之间的第一差值是否在第一预设范围内以及判断当前风格损失值与上一次风格损失值之间的第二差值是否在第二预设范围内;
16.第一输出单元,用于若所述第一差值在所述第一预设范围内且所述第二差值在所述第二预设范围内,则输出所述卡通图像。
17.第三方面,本发明实施例还提供了一种计算机设备,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法。
18.第四方面,本发明实施例还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序当被处理器执行时可实现上述方法。
19.本发明实施例提供了一种基于边缘损失和风格损失的图像卡通化方法、装置、计算机设备及存储介质。该方法包括:将原始图像输入预设神经网络模型进行训练以获得卡通图像,其中,所述预设神经网络模型包括第一训练模型和第二训练模型;分别计算所述第一训练模型、所述卡通图像和预设卡通图像的边缘损失值以及分别计算所述第二训练模型、所述卡通图像和所述预设卡通图像的风格损失值;根据所述边缘损失值和所述风格损失值调整所述预设神经网络模型的参数,并重新对所述原始图像进行训练以再次获得所述卡通图像;返回所述分别计算所述第一训练模型、所述卡通图像和预设卡通图像的边缘损失值以及分别计算所述第二训练模型、所述卡通图像和所述预设卡通图像的风格损失值的步骤,并判断当前边缘损失值与上一次边缘损失值之间的第一差值是否在第一预设范围内以及判断当前风格损失值与上一次风格损失值之间的第二差值是否在第二预设范围内;若所述第一差值在所述第一预设范围内且所述第二差值在所述第二预设范围内,则输出所述卡通图像。本发明实施例一方面可以通过边缘损失值和风格损失值调整预设神经网络模型的参数,进而调整输出的卡通图像,另一方面可以通过边缘损失值判断所获得的卡通图像的边缘信息还原程度,通过风格损失值判断所获得的卡通图像的卡通化程度,当边缘损失值在第一预设范围内且风格损失值在第二预设范围内时,也即,边缘信息还原程度较高,卡通化程度较高,则可以输出卡通图像。
附图说明
20.为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普
通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
21.图1是本发明实施例提供的基于边缘损失和风格损失的图像卡通化方法的流程示意图;
22.图2是本发明实施例提供的基于边缘损失和风格损失的图像卡通化方法的原始图像示意图;
23.图3是本发明实施例提供的基于边缘损失和风格损失的图像卡通化方法的卡通化图像示意图;
24.图4是本发明实施例提供的基于边缘损失和风格损失的图像卡通化方法的预设神经网络模型框架图;
25.图5是本发明实施例提供的基于边缘损失和风格损失的图像卡通化装置的示意性框图;
26.图6是本发明实施例提供的计算机设备的示意性框图。
具体实施方式
27.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
28.应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、操作、元素、组件和/或其集合的存在或添加。
29.还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
30.请参阅图1,图1是本发明实施例提供的基于边缘损失和风格损失的图像卡通化方法的流程示意图。如图1所示,该方法包括步骤s110~s150。
31.s110,将原始图像输入预设神经网络模型进行训练以获得卡通图像,其中,所述预设神经网络模型包括第一训练模型和第二训练模型。
32.在本发明实施例中,如图2所示,图2所示的图像作为原始图像输入至预设神经网络模型,经过预设神经网络模型的训练后输出如图3所示的卡通图像,对比图2和图3可以看出,图3在保留了图2中的内容信息的同时,还具有较高的卡通化程度。
33.在某些实施例,例如本实施例中,所述步骤s110可以包括如下步骤:将所述原始图像输入所述第一训练模型,并通过所述第一卷积层、所述第二卷积层、所述第一下采样层、所述第三卷积层和所述第二下采样层对所述原始图像进行编码以获得缩小图像;将所述缩小图像输入所述第二训练模型,并通过所述第一上采样层、所述第四卷积层、所述第二上采样层、所述第五卷积层和所述第六卷积层对所述缩小图像进行解码以获得所述卡通图像。
34.在本发明实施例中,预设神经网络模型可以包括编码部分和解码部分,编码部分
即第一训练模型,解码部分即第二训练模型。第一训练模型和第二训练模型均可以包括多个卷积层,用于对原始图像进行处理,其中,第一训练模型用于缩小原始图像,第二训练模型用于将缩小后的图像还原至原始图像大小。通过第一卷积层、第二卷积层、第一下采样层、第三卷积层和第二下采样层对原始图像进行编码以获得缩小图像,通过第一上采样层、第四卷积层、第二上采样层、第五卷积层和第六卷积层对缩小图像进行解码以获得卡通图像,其中,卡通图像的尺寸与原始图像的尺寸相同。
35.s120,分别计算所述第一训练模型、所述卡通图像和预设卡通图像的边缘损失值以及分别计算所述第二训练模型、所述卡通图像和所述预设卡通图像的风格损失值。
36.在本发明实施例中,第一训练模型可以包括多个卷积层和一个下采样层,例如,包括一个卷积层和一个下采样层,原始图像会先进入卷积层,卷积层对原始图像进行处理后会获得第一中间图像,再将第一中间图像输入下采样层,再由下采样层对第一中间图像进行处理,从而获得第二中间图像,同时,每个中间图像均会有一个对应的特征值,第一中间图像对应于第一特征值,第二中间图像对应于第二特征值,可以根据每个特征值获取该特征值所对应的中间图像的边缘值,例如,根据第二特征值获取第二中间图像的边缘值,同理,可以获得卡通图像的边缘值。同时,还需要获取预设卡通图像的边缘值,该预设卡通图像可以是任一漫画图像,例如,某个动漫电影的海报,之后将所有边缘值代入边缘损失函数计算边缘损失值,其中,边缘损失函数可以是本领域技术人员所公知的任一边缘损失函数,在这里不做限定。
37.第二训练模型的框架与训练过程与第一训练模型相似,可以包括多个卷积层和一个上采样层,例如,一个上采样层和一个卷积层,其中,当第一训练模型完成对原始图像的处理后,输出第三中间图像至第二训练模型,第三中间图像先后经过第二训练模型的上采样层和卷积层,从而可以获得第四中间图像和第五中间图像,并对应的可以获得第四特征值和第五特征值,具体过程可参考第一训练模型,在这里不做展开描述。可以通过第四特征值和第五特征值分别获得第四中间图像和第五中间图像的颜色直方图,再同时获取卡通图像和预设卡通图像的颜色直方图,并通过风格损失函数计算二者之间的交叉熵,从而获得风格损失函数。
38.边缘损失函数用于描述经过训练后的图像与目标图像之间的边缘信息的差异,其所对应的边缘损失值越小,代表差异越小。风格损失函数用于描述经过训练后的图像与目标图像之间的风格差异,其所对应的风格损失值越小,风格越接近。
39.在某些实施例,例如本实施例中,所述第一训练模型包括依次连接的第一卷积层、第二卷积层、第一下采样层、第三卷积层和第二下采样层;所述第二训练模型包括依次连接的第一上采样层、第四卷积层、第二上采样层、第五卷积层和第六卷积层,其中,所述第二下采样层与所述第一上采样层连接。
40.所述分别计算所述第一训练模型和所述卡通图像的边缘损失值的步骤包括如下步骤:通过拉普拉斯算子分别提取所述第一卷积层、所述第二卷积层、所述第一下采样层、所述第三卷积层和所述卡通图像的第一边缘值;获取预设卡通图像的第二边缘值;根据所述第一边缘值和所述第二边缘值计算所述边缘损失值。
41.在本发明实施例中,参见图4,原始图像在进入第一训练模型后,先后经过第一卷积层、第二卷积层、第一下采样层、第三卷积层和第二下采样层,且经过每一层均会获得对
应层的中间图像和中间图像所对应的特征值,可以通过拉普拉斯算子提取每一个中间图像的边缘值,再将每一层中间图像所对应的边缘值以及卡通图像和预设卡通图像的边缘值作为参数代入边缘损失函数计算边缘损失值。其中,下采样层用于缩小图片,而卷积层在第四层,故可以只将前四层的边缘值代入边缘损失函数计算边缘损失值,如图4中edge loss(边缘损失)所框住的范围,其中,第五层dsizeconv为第二下采样层,用于缩小第四层convblock(第三卷积层)所输出的图像,第六层usizeconv为第一上采样层,用于放大第五层所输出的图像,可根据情况在第四层和第七层之间设置多层用于缩小的dsizeconv层或者用于放大的usizeconv,在本发明实施例中,分别设置有一层dsizeconv层和usizeconv层。
42.所述分别计算所述第二训练模型和所述卡通图像的风格损失值的步骤包括如下步骤:分别获取所述第四卷积层、所述第一上采样层、所述第五卷积层、所述第六卷积层和所述卡通图像的第一颜色直方图;获取所述预设卡通图像的第二颜色直方图;通过风格损失函数计算所述第一颜色直方图和所述第二颜色直方图的交叉熵,并将所述交叉熵作为所述风格损失值。另外,第一训练模型和第二训练模型中的所有卷积层、上采样层和下采样层均可以包括卷积函数、归一化函数和relu激活函数,用于处理原始图像。
43.在本发明实施例中,第一训练模型完成对原始图像的训练后,输出一中间图像,中间图像进入第二训练模型并先后经过第一上采样层、第四卷积层、第二上采样层、第五卷积层和第六卷积层,且经过每一层均会获得对应层的中间图像和中间图像所对应的特征值,可以获取每一层图像的颜色直方图,并将所获取的颜色直方图以及卡通图像的颜色直方图和预设卡通图像的直方图代入风格损失函数计算交叉熵,从而获得风格损失函数,其中,第一上采样层与第二下采样层连接,且第四卷积层为第二层,因此,可以将第二训练模型中的第二层至第五层的颜色直方图作为风格损失函数的参数进行计算,如图4中style loss(风格损失)所框住的范围。
44.s130,根据所述边缘损失值和所述风格损失值调整所述预设神经网络模型的参数,并重新对所述原始图像进行训练以再次获得所述卡通图像。
45.在本发明实施例中,在第一次将原始图像输入至预设神经网络模型时,所获得的卡通图像通常不符合标准且差异较大,因此,可以直接将边缘损失值和风格损失值通过反向传播输入至预设神经网络模型,预设神经网络模型根据分割损失值和边缘损失值对参数和参数的权重进行调整,便于预设神经网络模型重新对原始图像进行训练。
46.在某些实施例,例如本实施例中,所述步骤s130之前可以包括如下步骤:将所述边缘损失值和所述风格损失值通过反向传播输入至所述预设神经网络模型。
47.在本发明实施例中,可以通过反向传播将边缘损失值和风格损失值输入至预设神经网络,例如通过relu激活函数反向传播至预设神经网络模型,从而调整预设神经网络模型的参数。
48.s140,返回步骤s120,并判断当前边缘损失值与上一次边缘损失值之间的第一差值是否在第一预设范围内以及判断当前风格损失值与上一次风格损失值之间的第二差值是否在第二预设范围内。
49.在本发明实施例中,当前边缘损失值与上一次边缘损失值相等或者越接近,则表明拟合效果越好,也即,再次进行训练,其训练结果与此次训练结果基本相同,因此,如果当
前边缘损失值与上一次边缘损失值在第一预设范围内,则表明卡通图像的边缘信息保留程度较高,风格损失值同理,不再展开描述。另外,当第一差值在第一范围内且第二差值在第二范围内时,也可以继续根据当前风格损失值和边缘损失值对预设神经网络模型进行调整,并再次对原始图像进行训练,并对所获得的结果继续比对,如果多次结果均为第一差值在第一范围内第二差值在第二范围内,则可以继续下一步骤。
50.在某些实施例,例如本实施例中,所述步骤s140之后,还可以包括如下步骤:若所述第一差值不在所述第一预设范围内且所述第二差值在所述第二预设范围内,则根据所述边缘损失值对所述预设神经网络模型的参数进行调整;若所述第二差值不在所述第二预设范围内且所述第一差值在所述第一预设范围内,则根据所述风格损失值对所述预设神经网络模型的参数进行调整若所述第一差值不在所述第一预设范围内且所述第二差值不在所述第二预设范围内,则返回所述步骤根据所述边缘损失值和所述风格损失值调整所述预设神经网络模型的参数。
51.在本发明实施例中,当第一差值或者第二差值中的任一差值不在其对应的预设范围内时,需要根据对应的边缘损失值或者风格损失值对预设神经网络模型的参数进行调整,如果二者均不在其对应的范围内,则可以返回步骤120。
52.s150,若所述第一差值在所述第一预设范围内且所述第二差值在所述第二预设范围内,则输出所述卡通图像。
53.在本发明实施例中,当第一差值在第一预设范围内时表明卡通图像的边缘信息保存完整,当第二差值在第二预设范围内时表明卡通图像的卡通化程度较高,则可以输出卡通图像。
54.图5是本发明实施例提供的一种基于边缘损失和风格损失的图像卡通化装置100的示意性框图。如图5所示,对应于以上基于边缘损失和风格损失的图像卡通化方法,本发明还提供一种基于边缘损失和风格损失的图像卡通化装置100。该基于边缘损失和风格损失的图像卡通化装置100包括用于执行上述基于边缘损失和风格损失的图像卡通化方法的单元。具体地,请参阅图5,该基于边缘损失和风格损失的图像卡通化装置100包括第一训练单元110、第一计算单元120、第一调整单元130、第一返回单元140和第一输出单元150。
55.其中,第一训练单元110用于将原始图像输入预设神经网络模型进行训练以获得卡通图像,其中,所述预设神经网络模型包括第一训练模型和第二训练模型;第一计算单元120用于分别计算所述第一训练模型、所述卡通图像和预设卡通图像的边缘损失值以及分别计算所述第二训练模型、所述卡通图像和所述预设卡通图像的风格损失值;第一调整单元130用于根据所述边缘损失值和所述风格损失值调整所述预设神经网络模型的参数,并重新对所述原始图像进行训练以再次获得所述卡通图像;第一返回单元140用于返回所述分别计算所述第一训练模型、所述卡通图像和预设卡通图像的边缘损失值以及分别计算所述第二训练模型、所述卡通图像和所述预设卡通图像的风格损失值的步骤,并判断当前边缘损失值与上一次边缘损失值之间的第一差值是否在第一预设范围内以及判断当前风格损失值与上一次风格损失值之间的第二差值是否在第二预设范围内;第一输出单元150用于若所述第一差值在所述第一预设范围内且所述第二差值在所述第二预设范围内,则输出所述卡通图像。
56.在某些实施例,例如本实施例中,所述第一计算单元120包括第一提取单元、第一
获取单元、第二计算单元、第二提取单元、第二获取单元和第三计算单元。
57.其中,第一提取单元用于通过拉普拉斯算子分别提取所述第一卷积层、所述第二卷积层、所述第一下采样层、所述第三卷积层和所述卡通图像的第一边缘值;第一获取单元用于获取预设卡通图像的第二边缘值;第二计算单元用于根据所述第一边缘值和所述第二边缘值计算所述边缘损失值;第二提取单元用于分别获取所述第四卷积层、所述第一上采样层、所述第五卷积层、所述第六卷积层和所述卡通图像的第一颜色直方图;第二获取单元用于获取所述预设卡通图像的第二颜色直方图;第三计算单元用于通过风格损失函数计算所述第一颜色直方图和所述第二颜色直方图的交叉熵,并将所述交叉熵作为所述风格损失值。
58.本发明一实施例还提供了一种基于边缘损失和风格损失的图像卡通化装置。其是在上述实施例的基础上增加了第二调整单元、第三调整单元和第四调整单元。
59.其中,第二调整单元用于若所述第一差值不在所述第一预设范围内且所述第二差值在所述第二预设范围内,则根据所述边缘损失值对所述预设神经网络模型的参数进行调整;第三调整单元用于若所述第二差值不在所述第二预设范围内且所述第一差值在所述第一预设范围内,则根据所述风格损失值对所述预设神经网络模型的参数进行调整;第四调整单元用于若所述第一差值不在所述第一预设范围内且所述第二差值不在所述第二预设范围内,则返回所述步骤根据所述边缘损失值和所述风格损失值调整所述预设神经网络模型的参数。
60.本发明一实施例还提供了一种基于边缘损失和风格损失的图像卡通化装置。其是在上述实施例的基础上增加了输入单元。
61.其中,输入单元用于将所述边缘损失值和所述风格损失值通过反向传播输入至所述预设神经网络模型。
62.在某些实施例,例如本实施例中,第一调整单元130包括编码单元和解码单元。
63.其中,编码单元用于将所述原始图像输入所述第一训练模型,并通过所述第一卷积层、所述第二卷积层、所述第一下采样层、所述第三卷积层和所述第二下采样层对所述原始图像进行编码以获得缩小图像;解码单元用于将所述缩小图像输入所述第二训练模型,并通过所述第一上采样层、所述第四卷积层、所述第二上采样层、所述第五卷积层和所述第六卷积层对所述缩小图像进行解码以获得所述卡通图像。
64.需要说明的是,所属领域的技术人员可以清楚地了解到,上述基于边缘损失和风格损失的图像卡通化装置和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
65.上述基于边缘损失和风格损失的图像卡通化装置可以实现为一种计算机程序的形式,该计算机程序可以在如图6所示的计算机设备上运行。
66.请参阅图6,图6是本技术实施例提供的一种计算机设备的示意性框图。可以是终端,也可以是服务器,其中,终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。
67.参阅图6,该计算机设备500包括通过系统总线501连接的处理器502、存储器和接口507,其中,存储器可以包括非易失性存储介质503和内存储器504。
68.该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时,可使得处理器502执行一种基于边缘损失和风格损失的图像卡通化方法。
69.该处理器502用于提供计算和控制能力,以支撑整个计算机设备500的运行。
70.该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行一种基于边缘损失和风格损失的图像卡通化方法。
71.该接口505用于与其它设备进行通信。本领域技术人员可以理解,图5中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
72.其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下步骤:
73.将原始图像输入预设神经网络模型进行训练以获得卡通图像,其中,所述预设神经网络模型包括第一训练模型和第二训练模型;
74.分别计算所述第一训练模型、所述卡通图像和预设卡通图像的边缘损失值以及分别计算所述第二训练模型、所述卡通图像和所述预设卡通图像的风格损失值;
75.根据所述边缘损失值和所述风格损失值调整所述预设神经网络模型的参数,并重新对所述原始图像进行训练以再次获得所述卡通图像;
76.返回所述分别计算所述第一训练模型、所述卡通图像和预设卡通图像的边缘损失值以及分别计算所述第二训练模型、所述卡通图像和所述预设卡通图像的风格损失值的步骤,并判断当前边缘损失值与上一次边缘损失值之间的第一差值是否在第一预设范围内以及判断当前风格损失值与上一次风格损失值之间的第二差值是否在第二预设范围内;
77.若所述第一差值在所述第一预设范围内且所述第二差值在所述第二预设范围内,则输出所述卡通图像。
78.在一实施例中,处理器502在实现所计算所述分别计算所述第一训练模型和所述卡通图像的边缘损失值的步骤时,具体实现如下步骤:
79.通过拉普拉斯算子分别提取所述第一卷积层、所述第二卷积层、所述第一下采样层、所述第三卷积层和所述卡通图像的第一边缘值;
80.获取预设卡通图像的第二边缘值;
81.根据所述第一边缘值和所述第二边缘值计算所述边缘损失值。
82.在一实施例中,处理器502在实现所述分别计算所述第二训练模型和所述卡通图像的风格损失值的步骤时,具体实现如下步骤:
83.分别获取所述第四卷积层、所述第一上采样层、所述第五卷积层、所述第六卷积层和所述卡通图像的第一颜色直方图;
84.获取所述预设卡通图像的第二颜色直方图;
85.通过风格损失函数计算所述第一颜色直方图和所述第二颜色直方图的交叉熵,并将所述交叉熵作为所述风格损失值。
86.在一实施例中,处理器502在实现所述判断当前边缘损失值与上一次边缘损失值之间的第一差值是否在第一预设范围内以及判断当前风格损失值与上一次风格损失值之
间的第二差值是否在第二预设范围内的步骤之后,还包括如下步骤:
87.若所述第一差值不在所述第一预设范围内且所述第二差值在所述第二预设范围内,则根据所述边缘损失值对所述预设神经网络模型的参数进行调整;
88.若所述第二差值不在所述第二预设范围内且所述第一差值在所述第一预设范围内,则根据所述风格损失值对所述预设神经网络模型的参数进行调整;
89.若所述第一差值不在所述第一预设范围内且所述第二差值不在所述第二预设范围内,则返回所述步骤根据所述边缘损失值和所述风格损失值调整所述预设神经网络模型的参数。
90.在一实施例中,处理器502在实现所述将原始图像输入预设神经网络模型进行训练以获得卡通图像的步骤时,具体实现如下步骤:
91.将所述原始图像输入所述第一训练模型,并通过所述第一卷积层、所述第二卷积层、所述第一下采样层、所述第三卷积层和所述第二下采样层对所述原始图像进行编码以获得缩小图像;
92.将所述缩小图像输入所述第二训练模型,并通过所述第一上采样层、所述第四卷积层、所述第二上采样层、所述第五卷积层和所述第六卷积层对所述缩小图像进行解码以获得所述卡通图像。
93.在一实施例中,处理器502在实现所述根据所述边缘损失值和所述风格损失值调整所述预设神经网络模型的参数的步骤之前,还包括如下步骤:
94.将所述边缘损失值和所述风格损失值通过反向传播输入至所述预设神经网络模型。
95.应当理解,在本技术实施例中,处理器502可以是中央处理单元(central processingunit,cpu),该处理器502还可以是其他通用处理器、数字信号处理器(figital signal processor,fsp)、专用集成电路(application specific integratef circuit,asic)、现成可编程门阵列(fielf-programmable gatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
96.本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
97.因此,本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序当被处理器执行时实现上述基于边缘损失和风格损失的图像卡通化方法的任一实施例。
98.所述存储介质可以是u盘、移动硬盘、只读存储器(reaf-onlymemory,rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
99.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专
业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
100.在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
101.本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
102.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备执行本发明各个实施例所述方法的全部或部分步骤。
103.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其他实施例的相关描述。
104.显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
105.以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1