对线稿图像进行上色的方法、设备以及存储介质与流程

本公开涉及图像处理领域，具体而言，涉及一种对线稿图像进行上色的方法、设备以及存储介质。

背景技术：

漫画和动画制作流程通常是制作人先完成线稿，再对线稿进行上色完成色稿。在上色过程中，传统方案一般是利用adobephotoshop等辅助软件手工对线稿的每个区域进行上色。因此制作一部漫画或动画存在很高的人力成本，同时较长的制作时间也制约了产品的发行速度。

随着信息技术的不断发展，目前已经出现了一些利用人工智能方法对线稿进行自动上色的技术。这种自动上色技术在效率上远远高于人工上色，且成本相对较低，只需要一定的计算机资源。paintschainer是一种现有技术方案，它可以将特定风格的色稿图像作为参考，来对新的线稿进行上色。但由于其方法本身的限制，它的效果离人工上色结果差别很大，无法让人满意；同时其方法效率较低，使得该方案很难进行商用化，尤其是进行动画制作(每秒需要包含十几幅色稿)。

现有技术方案paintschainer主要存在以下缺点：

1)上色效果差。paintschainer完成的色稿中，不同区域之间的界限比较模糊，很多不同区域本应利用不同颜色进行描述，但在这些色稿中其不同区域的颜色基本是一致的。同时，某些生成的色稿还存在一些“波纹”，这是paintschainer方案使用的人工神经网络模型造成的问题，是由于人工神经网络模型参数过多且训练样本过少造成的“过拟合”问题。

2)上色效率低。由于paintschainer方案使用的人工神经网络模型参数量很大，在实际应用中计算速度很慢。

针对上述的问题，目前尚未提出有效的解决方案。

技术实现要素：

本公开实施例提供了一种对线稿图像进行上色的方法、设备以及存储介质，以至少解决现有的对线稿进行上色的技术所存在的上色效果差以及上色效率低的技术问题。

根据本公开实施例的一个方面，提供了一种对线稿图像进行上色的方法，包括：获取第一线稿图像以及第一参考图像，其中所述第一参考图像包含对所述第一线稿图像进行上色时所参考的图像信息；以及利用基于机器学习训练的模型，基于所述第一参考图像，对所述第一线稿图像进行上色处理。

根据本公开实施例的另一方面，还提供了一种一种对线稿图像进行上色的设备，包括：处理器；以及存储器，与所述处理器连接，用于为所述处理器提供处理以下处理步骤的指令：获取第一线稿图像以及第一参考图像，其中所述第一参考图像包含对所述第一线稿图像进行上色时所参考的图像信息；以及利用基于机器学习训练的模型，基于所述第一参考图像，对所述第一线稿图像进行上色处理。

根据本公开实施例的另一方面，还提供了一种一种对线稿图像进行上色的设备，包括：图像获取模块，用于获取第一线稿图像以及第一参考图像，其中所述第一参考图像包含对所述第一线稿图像进行上色时所参考的图像信息；以及上色模块，用于利用基于机器学习训练的模型，基于所述第一参考图像，对所述第一线稿图像进行上色处理。

在本公开实施例中，采用基于参考图像，利用基于机器学习训练的模型对线稿图像进行上色的方式，实现了提高上色效果和上色效率的技术效果，进而解决了现有的对线稿进行上色的技术所存在的上色效果差以及上色效率低的技术问题。

附图说明

此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：

图1示出了实现根据本公开实施例1的第一个方面的对线稿图像进行上色的方法的计算机终端的硬件结构图；

图2是根据本公开实施例1所述的对线稿图像进行上色的方法的流程示意图；

图3是根据本公开实施例1所述的对线稿图像进行上色的方法中的进一步的流程示意图；

图4示出了根据本公开实施例1所述的对线稿图像进行上色的模型的示意图；

图5示出了所述模型的线稿图像特征提取模块的卷积层结构的列表；

图6示出了所述模型的参考图像特征提取模块的卷积层结构的列表；

图7示出了所述模型的色稿图像特征编码模块的卷积层结构的列表；

图8示出了所述模型的色稿图像生成模块的卷积层结构的列表；

图9示出了对实施例1中所述的模型进行训练的操作的流程示意图；

图10示出了对实施例1中所述的模型进行优化的操作的流程示意图；

图11示出了对实施例1中所述的模型进行评估的操作的流程示意图；

图12示出了根据实施例2所述的对线稿图像进行上色的设备的示意图；以及

图13示出了根据实施例3所述的对线稿图像进行上色的设备的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本公开方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本公开实施例，还提供了一种对线稿图像进行上色的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现对线稿图像进行上色的方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本公开实施例中的对线稿图像进行上色的方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的对线稿图像进行上色的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(networkinterfacecontroller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radiofrequency，rf)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

在上述运行环境下，本申请提供了如图2所示的对线稿图像进行上色方法。图2是根据本公开实施例1的第一个方面所述的对线稿图像进行上色的方法的流程图。参考图2所示，所述方法包括：

s201：获取第一线稿图像以及第一参考图像；以及

s202：利用基于机器学习训练的模型，基于第一参考图像，对第一线稿图像进行上色处理。

其中，第一参考图像包含对第一线稿图像进行上色时所参考的图像信息。

正如背景技术中所述的那样，现有技术方案paintschainer主要存在人工神经网络模型参数过多且训练样本过少造成的“过拟合”问题，进而导致上色效果差以及上色效率低的问题。

为了解决该技术问题，根据本实施例的第一个方面提供的对线稿图像进行上色的方法，通过获取第一线稿图像以及第一参考图像，并利用基于机器学习训练的模型，基于第一参考图像，对第一线稿图像进行上色处理。

由于第一参考图像中包含对所述第一线稿图像进行上色时所参考的信息，例如区域色彩以及区域划分等信息，因此本公开可以利用第一参考图像提供的信息，来对第一线稿图像进行上色处理。从而通过这种方式，本公开确保了在对新的线稿进行上色的过程中，通过获取第一线稿图像以及第一参考图像，以及利用基于机器学习训练的模型，基于第一参考图像，对第一线稿图像进行上色处理。从而，提升了线稿区域分辨能力，增强了生成色稿的效果。同时，利用机器学习训练模型，采集了大量训练样本对模型进行多次训练，最终避免了“过拟合”问题。

其中，第一参考图像包含对第一线稿图像进行上色时所参考的图像信息。例如但不限于，该图像信息包括参考图像的区域色彩与区域划分等信息。

可选地，如图3所示，利用基于机器学习训练的模型，基于第一参考图像，对第一线稿图像进行上色处理的操作，包括：

步骤s2011：利用包括多个卷积层的第一卷积模型，从第一线稿图像中提取线稿图像特征；

步骤s2012、利用包括多个卷积层的第二卷积模型，从第一参考图像中提取参考图像特征；

步骤s2013、利用包括多个卷积层的第三卷积模型，基于第一线稿图像特征以及参考图像特征，生成编码的色稿图像特征；以及

步骤s2014、利用包括多个卷积层的第四卷积模型，基于色稿图像特征，生成第一色稿图像作为上色后的线稿图像。

其中图4示出了根据本实施例1的第一个方面所述的基于机器学习训练的模型的示意图。参考图4所示，该模型包括线稿图像特征提取模块401(对应于第一卷积模型)、参考图像特征提取模块402(对应于第二卷积模型)、色稿图像特征编码模块403(对应于第三卷积模型)以及色稿图像生成模块404(对应于第四卷积模型)。

其中，线稿特征提取模块401用于接收线稿图像，并且从线稿图像中提取线稿图像特征。其中该线稿图像特征以一个较低维的形式涵盖了线稿图像的结构与区域划分等信息。

参考图像特征提取模块402用于接收参考图像，并且从参考图像中提取参考图像特征。其中该参考图像特征包含了参考图像的区域色彩与色域划分等信息。

色稿图像特征编码模块403用于接收线稿图像特征以及参考图像特征，并且基于线稿图像特征和参考图像特征输出三维矩阵作为编码后的色稿图像特征，该特征包含我们希望色稿图像具有的区域划分及区域色彩信息。

色稿图像生成模块404用于接收色稿图像特征，利用卷积层的卷积操作，得到上色后的线稿图像。

本公开通过利用多个卷积模型，分别从第一线稿图像和第一参考图像中提取相应的图像特征，然后依据该图像特征生成编码的色稿图像特征，利用“解码再编码”的技术原理，生成第一色稿图像。从而提升了线稿区域分辨能力，从而增强了生成色稿的效果。

可选地，第一卷积模型(即，线稿图像特征提取模块401)包括10个卷积层以及5个降采样层，其中每两个卷积层之间设置有一个降采样层。此模型的具体网络层设置如图5所示。例如：该模块设计有一个卷积神经网络，此网络由10个卷积层及5个降采样层组成，其中每个卷积层都采用relu函数作为激活函数。当我们往此模块输入线稿图像后，可以输出维度为8×8×512的矩阵作为线稿图像特征，该特征以一个较低维的形式涵盖了线稿图像的结构与区域划分等信息。

可选地，第二卷积模型(即，参考图像特征提取模块402)包括vgg19卷积神经网络模型中所采用的用于特征提取的卷积层部分的结构。此模型的具体网络层设置如图6所示。例如：输入用户提供的表示上色风格的参考图像，利用vgg19模型的16个卷积层及5个降采样层输出维度为8×8×512的矩阵作为参考图像特征，包含了参考图像的区域色彩与区域划分等信息。

可选地，第三卷积模型(即，色稿图像特征编码模块403)包括4个卷积层和3个升采样层，其中每两个升采样层之间设置有两个所述卷积层。此模型的具体网络层设置如图7所示。例如：输入线稿图像特征与参考图像特征，然后调整维度使其可以利用拼接(concatenate)的方式对其进行融合。具体做法是以通道维度作为轴(axis)，将维度为8×8×512的线稿图像特征和维度为8×8×512的参考图像特征拼接成8×8×1024的三维矩阵。融合后利用4个卷积层及3个升采样层进行编码，其中每个卷积层都采用relu函数作为激活函数，输出三维矩阵作为编码后的色稿图像特征，该特征包含我们希望色稿图像具有的区域划分及区域色彩信息。

可选地，第四卷积模型(即，色稿图像生成模块404)包括8个卷积层和2个升采样层，其中每两个升采样层之间设置有两个所述卷积层。此模型的具体网络层设置如图8所示。例如：输入编码后的色稿图像特征，利用8个卷积层及2个升采样层进行色稿图像生成，其中每个卷积层都采用relu函数作为激活函数。最终再根据线稿图像的尺寸对网络输出的图像缩小或放大(resize)，即可得到上色后的图像。

可选地，可以通过以下操作对基于机器学习训练的模型进行训练。图9为对基于机器学习训练的模型进行训练的流程图。

s901、获取第二色稿图像以及第二参考图像；

s902、基于所获取的第二色稿图像生成第二线稿图像；

s903、基于第二线稿图像以及第二参考图像，利用基于机器学习训练的模型，对第二线稿图像进行上色处理；

s904、对第二色稿图像以及上色处理后的第二线稿图像进行比对；以及

s905、利用比对后的结果，对基于机器学习训练的模型进行优化。

本公开通过上述5个步骤对基于机器学习训练的模型进行训练。例如，可以预先设置一个线稿图像生成模块，能够根据输入的色稿图像，利用边缘检测算法，提取并输出边缘图像作为对应的线稿图像。又例如：根据本实施例的第一个方面所述的方法，首先初始化所有网络层的参数，对于参考图像特征提取模块，我们使用了imagenet上预训练的模型参数作为初始参数，其他网络层参数使用正态分布随机数进行初始化。然后将包含色稿图像和参考图像(即，上面所述的第二色稿图像和第二参考图像)的训练样本分为多个小组，分批次输入本专利申请技术所使用的模型中，得到生成的色稿图像(即，上色处理后的第二线稿图像)，并对第二色稿图像以及上色处理后的第二线稿图像进行比对。然后再输入下一批次训练样本，循环多次后就可以得到训练后的模型。利用比对后的结果，对基于机器学习训练的模型进行优化。

可选地，对第二色稿图像以及上色处理后的第二线稿图像进行比对的操作，包括计算第二色稿图像以及上色处理后的第二线稿图像之间的l1空间距离，以及对基于机器学习训练的模型进行优化的操作，其流程图如图10所示。

s1001：将l1空间距离作为损失函数，计算损失函数的梯度；以及

s1002：基于梯度，根据随机梯度下降原理对基于机器学习训练的模型进行优化。

本实施例通过上述的模块生成色稿图像后，对第二色稿图像以及上色处理后的第二线稿图像进行比对的操作，包括计算第二色稿图像以及上色处理后的第二线稿图像之间的l1空间距离，以及对基于机器学习训练的模型进行优化的操作。例如：得到生成的色稿图像后，计算生成的色稿图像与输入的原始色稿图像之间的l1空间距离作为损失函数，计算该损失函数的梯度并根据随机梯度下降原理(stochasticgradientdescent，即sgd)优化网络参数。

可选地，优化包括对机器学习训练的模型进行以下处理中的至少一种：参数二值化、推理以及剪枝。例如但不仅限于，该优化可以使得模型减少50％的参数并提高10倍速度。

可选地，通过以下操作对基于机器学习训练的模型进行评估，图11为对基于机器学习训练的模型进行评估的流程图。

s1101：获取第三线稿图像、第三参考图像以及与第三线稿图像对应的真实色稿图像；

s1102：基于第三线稿图像以及第三参考图像，利用基于机器学习训练的模型生成第三色稿图像；

s1103：计算第三色稿图像与真实色稿图像的第一相似度以及第三色稿图像与第三参考图像的第二相似度；

s1104：计算第一相似度与第二相似度的相似度之和；以及

s1105：利用所计算的相似度之和，评估第三色稿是否在保证内容不变的前提下按照第三参考图像上色。

例如：在评估模式下，输入线稿图像和参考图像，经过网络处理输出色稿图像，完成上色任务。我们采取了多种图像质量评估算法对输出的色稿图像进行评价。利用这些图像质量评估算法，可以计算生成色稿图像和真实色稿图像的相似度以及和参考图像的相似度，以这两个相似度之和评估生成色稿图像是否在保证内容不变的前提下按参考图像上色，从而确保网络可以输出质量合格的色稿图像。

可选地，第一相似度为选自以下各项中的任意一项相似度：ssim(strcturalsimilarity，结构相似度)、fsim(featuresimilarity，特征相似度)以及ms-ssim(multi-scaleextensionofssim，多层级结构相似度)。

此外，第二相似度为选自以下各项中的任意一项相似度：ssim(strcturalsimilarity，结构相似度)、fsim(featuresimilarity，特征相似度)以及ms-ssim(multi-scaleextensionofssim，多层级结构相似度)。

从而本实施例的第一个方面所述的方法通过一种人工神经网络结构，利用“解码再编码”的技术原理，提升了线稿区域分辨能力，从而增强了生成色稿的效果。利用模型参数二值化、模型推理及模型剪枝等人工智能领域的优化技术，大大减少了人工神经网络的参数量，提高了上色的效率；同时我们采集了大量训练样本对模型进行多次训练，最终避免了“过拟合”问题。进而解决了现有的对线稿上色效果差、上色效率低的技术问题。

此外，参考图1，根据本实施例的第二个方面，提供了一种存储介质102，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备上面任意一项所述的方法。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本公开各个实施例所述的方法。

实施例2

根据本公开实施例，还提供了一种线稿自动上色设备1200。该设备是与实施例1第一个方面所述的方法对应的设备。参考图12所示，该设备包括：处理器1210；以及存储器1220，与处理器连接，用于为处理器提供处理以下处理步骤的指令：

获取第一线稿图像以及第一参考图像，其中第一参考图像包含对第一线稿图像进行上色时所参考的图像信息；以及

利用基于机器学习训练的模型，基于第一参考图像，对第一线稿图像进行上色处理。

可选地，利用基于机器学习训练的模型，基于所述第一参考图像，对所述第一线稿图像进行上色处理的操作，包括：利用包括多个卷积层的第一卷积模型，从所述第一线稿图像中提取线稿图像特征；利用包括多个卷积层的第二卷积模型，从所述第一参考图像中提取参考图像特征；利用包括多个卷积层的第三卷积模型，基于所述第一线稿图像特征以及所述参考图像特征，生成编码的色稿图像特征，其中所述色稿图像特征包含色稿图像具有的区域划分以及区域色彩信息；以及利用包括多个卷积层的第四卷积模型，基于所述色稿图像特征，生成第一色稿图像作为上色后的所述线稿图像。

可选地，所述第一卷积模型包括10个卷积层以及5个降采样层，其中每两个所述卷积层之间设置有一个所述降采样层。

可选地，所述第二卷积模型包括vgg19卷积神经网络模型中所采用的用于特征提取的卷积层部分的结构。

可选地，所述第三卷积模型包括4个卷积层和3个升采样层，其中每两个所述升采样层之间设置有两个所述卷积层。

可选地，所述第四卷积模型包括8个卷积层和2个升采样层，其中每两个所述升采样层之间设置有两个所述卷积层。

可选地，还包括通过以下操作对所述基于机器学习训练的模型进行训练：获取第二色稿图像以及第二参考图像；基于所获取的第二色稿图像生成第二线稿图像；基于所述第二线稿图像以及所述第二参考图像，利用所述基于机器学习训练的模型，对所述第二线稿图像进行上色处理；对所述第二色稿图像以及上色处理后的所述第二线稿图像进行比对；以及利用所述比对后的结果，对所述基于机器学习训练的模型进行优化。

可选地，对所述第二色稿图像以及上色处理后的所述第二线稿图像进行比对的操作，包括计算所述第二色稿图像以及上色处理后的所述第二线稿图像之间的l1空间距离，以及对所述基于机器学习训练的模型进行优化的操作，包括：将所述l1空间距离作为损失函数，计算所述损失函数的梯度；以及基于所述梯度，根据随机梯度下降原理对所述基于机器学习训练的模型进行优化。

可选地，对所述优化包括对所述机器学习训练的模型进行以下处理中的至少一种：参数二值化、推理以及剪枝。

可选地，通过以下操作对所述基于机器学习训练的模型进行评估：获取第三线稿图像、第三参考图像以及与所述第三线稿图像对应的真实色稿图像；基于所述第三线稿图像以及所述第三参考图像，利用所述基于机器学习训练的模型生成第三色稿图像；计算所述第三色稿图像与所述真实色稿图像的第一相似度以及所述第三色稿图像与所述第三参考图像的第二相似度；计算所述第一相似度与所述第二相似度的相似度之和；以及利用所计算的相似度之和，评估所述第三色稿是否在保证内容不变的前提下按照所述第三参考图像上色。

可选地，所述第一相似度为选自以下各项中的任意一项相似度：ssim、fsim以及ms-ssim。

可选地，所述第二相似度为选自以下各项中的任意一项相似度：ssim、fsim以及ms-ssim。

从而本实施例的设备在对新的线稿进行上色的过程中，通过获取第一线稿图像以及第一参考图像，以及利用基于机器学习训练的模型，基于第一参考图像，对第一线稿图像进行上色处理。利用“解码再编码”的技术原理，提升了线稿区域分辨能力，从而增强了生成色稿的效果。同时，利用机器学习训练模型，采集了大量训练样本对模型进行多次训练，最终避免了“过拟合”问题。

实施例3

根据本公开实施例，还提供了一种线稿自动上色设备1300。该设备是与实施例1第一个方面所述的方法对应的设备。参考图13所示，该设备包括：图像获取模块1310，用于获取第一线稿图像以及第一参考图像，其中所述第一参考图像包含对所述第一线稿图像进行上色时所参考的图像信息；以及上色模块1320，用于利用基于机器学习训练的模型，基于所述第一参考图像，对所述第一线稿图像进行上色处理。

可选地，利用基于机器学习训练的模型，上色模块1320包括：第一子模块，用于利用包括多个卷积层的第一卷积模型，从所述第一线稿图像中提取线稿图像特征；第二子模块，用于利用包括多个卷积层的第二卷积模型，从所述第一参考图像中提取参考图像特征；第三子模块，用于利用包括多个卷积层的第三卷积模型，基于所述第一线稿图像特征以及所述参考图像特征，生成编码的色稿图像特征，其中所述色稿图像特征包含色稿图像具有的区域划分以及区域色彩信息；以及第四子模块，用于利用包括多个卷积层的第四卷积模型，基于所述色稿图像特征，生成第一色稿图像作为上色后的所述线稿图像。

可选地，还包括训练模块，用于通过以下子模块对所述基于机器学习训练的模型进行训练：第五子模块，用于获取第二色稿图像以及第二参考图像；第六子模块，用于基于所获取的第二色稿图像生成第二线稿图像；第七子模块，用于基于所述第二线稿图像以及所述第二参考图像，利用所述基于机器学习训练的模型，对所述第二线稿图像进行上色处理；第八子模块，用于对所述第二色稿图像以及上色处理后的所述第二线稿图像进行比对；以及第九子模块，用于利用所述比对后的结果，对所述基于机器学习训练的模型进行优化。

可选地，第八子模块包括第一单元，用于计算所述第二色稿图像以及上色处理后的所述第二线稿图像之间的l1空间距离，以及第九子模块，包括：第二单元，用于将所述l1空间距离作为损失函数，计算所述损失函数的梯度；以及第三单元，用于基于所述梯度，根据随机梯度下降原理对所述基于机器学习训练的模型进行优化。

可选地，第三单元包括第一子单元，用于对所述机器学习训练的模型进行以下处理中的至少一种：参数二值化、推理以及剪枝。

可选地，还包括评估模块，通过以下子模块对所述基于机器学习训练的模型进行评估：第十子模块，用于获取第三线稿图像、第三参考图像以及与所述第三线稿图像对应的真实色稿图像；第十一子模块，用于基于所述第三线稿图像以及所述第三参考图像，利用所述基于机器学习训练的模型生成第三色稿图像；第十二子模块，用于计算所述第三色稿图像与所述真实色稿图像的第一相似度以及所述第三色稿图像与所述第三参考图像的第二相似度；第十三子模块，用于计算所述第一相似度与所述第二相似度的相似度之和；以及第十四子模块，用于利用所计算的相似度之和，评估所述第三色稿是否在保证内容不变的前提下按照所述第三参考图像上色。

从而本实施例的设备在对新的线稿进行上色的过程中，通过获取第一线稿图像以及第一参考图像，以及利用基于机器学习训练的模型，基于第一参考图像，对第一线稿图像进行上色处理。利用“解码再编码”的技术原理，提升了线稿区域分辨能力，从而增强了生成色稿的效果。同时，利用机器学习训练模型，采集了大量训练样本对模型进行多次训练，最终避免了“过拟合”问题。

上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

在本公开的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本公开的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开的保护范围。