一种基于生成对抗式网络的图像着色方法及装置

1.本发明涉及图像处理技术领域，特别涉及一种基于生成对抗式网络的图像着色方法及装置。


背景技术：

2.随着计算机领域的发展，图像处理逐渐变成了一个热门话题，其中为图像着色更是引起大家的关注。人眼对色彩的敏感度明显高于黑白颜色，为黑白图像着色，让其图像内容丰富，有利于人们更好的理解图像信息。
3.近红外成像技术已被应用于捕捉人眼可见范围外的物体或者场景，并可应用于超出人类视觉能力的低光或无光条件下，如农业病虫害检测、军事领域的夜间监测和探测系统。与rgb图像相比，红外图像不利于用户理解，为了解决这一问题，常用的解决方法是将近红外图像与可见光图像进行图像融合，而对近红外图像进行着色也是一个不错的方法。
4.随着深度卷积网络的发展，越来越多的深度学习网络被应用于图像着色领域。但是由于深度学习需要极大的数据库且经常用欧几里得距离作为其损失函数，训练后着色图像容易出现颜色泄露或者颜色黯淡等情况。


技术实现要素：

5.本发明提供了一种基于生成对抗式网络的图像着色方法及装置，以解决现有的对黑白图像着色的技术，存在着着色泄露，对数据依赖性强和颜色黯淡、颜色错误等技术问题，改善颜色错误，数据不足等问题。
6.为解决上述技术问题，本发明提供了如下技术方案：
7.一方面，本发明提供一种基于生成对抗式网络的图像着色方法，包括：
8.s1，获取待着色图像；
9.s2，通过预先训练好的图像分类网络对所述待着色图像进行分类；
10.s3，根据所述待着色图像的分类结果，将所述待着色图像输入对应类别的预先训练好的生成对抗式网络中，利用生成对抗式网络对所述待着色图像中的每个像素值进行预测，然后输出每个像素的rgb值，最终生成一副彩色图像；
11.s4，判断生成的彩色图像是否满足预设质量要求；若满足预设质量要求，则将生成的彩色图像作为最终的着色效果；若不满足预设质量要求，则执行s5；
12.s5，从网络上下载与所述待着色图像的结构和内容相似的预设数量的图像组成新的数据集，并利用新的数据集重新训练生成对抗式网络，利用重新训练后的生成对抗式网络重新生成所述待着色图像对应的彩色图像，然后返回s4。
13.进一步地，所述待着色图像为近红外图像或灰度图像。
14.进一步地，通过预先训练好的分类网络对所述待着色图像进行分类，包括：
15.建立图像分类网络模型，将所述待着色图像输入图像分类网络模型，提取待着色图像特征，再经过全连接网络进行分类，得到待着色图像的对应类别。
16.进一步地，当待着色图像为灰度图像时，利用生成对抗式网络对所述待着色图像中的每个像素值进行预测，然后输出每个像素的rgb值，最终生成一副彩色图像，包括：
17.将待着色图像从rgb通道转换到lab通道；
18.将待着色图像的l通道值输入到对应类别的生成对抗式网络中，利用生成对抗式网络对待着色图像的每一个像素的ab值进行预测；
19.将待着色图像的l通道值与预测的ab通道值进行链接，得到生成彩色图像的lab值，再将lab值转换成rgb值，最终生成一副彩色图像。
20.另一方面，本发明还提供一种基于生成对抗式网络的图像着色装置，包括：
21.图像获取模块，用于获取待着色图像；
22.图像分类模块，用于通过预先训练好的图像分类网络对所述图像获取模块所获取的待着色图像进行分类；
23.图像着色模块，用于根据所述图像分类模块对所述待着色图像的分类结果，将所述待着色图像输入对应类别的预先训练好的生成对抗式网络中，利用生成对抗式网络对所述待着色图像中的每个像素值进行预测，然后输出每个像素的rgb值，最终生成一副彩色图像；
24.质量判断模块，用于判断所述图像着色模块所生成的彩色图像是否满足预设质量要求；若满足预设质量要求，则将生成的彩色图像作为最终的着色效果；若不满足预设质量要求，则启动彩色图像重生成模块；
25.彩色图像重生成模块，用于从网络上下载与所述待着色图像的结构和内容相似的预设数量的图像组成新的数据集，并利用新的数据集重新训练生成对抗式网络，利用重新训练后的生成对抗式网络重新生成所述待着色图像对应的彩色图像，然后返回所述质量判断模块。
26.进一步地，图像获取模块所获取的待着色图像为近红外图像或灰度图像。
27.进一步地，所述图像分类模块具体用于：
28.建立图像分类网络模型，将所述待着色图像输入图像分类网络模型，提取待着色图像特征，再经过全连接网络进行分类，得到待着色图像的对应类别。
29.进一步地，当所述图像获取模块获取的待着色图像为灰度图像时，所述图像着色模块用于：
30.将待着色图像从rgb通道转换到lab通道；
31.将待着色图像的l通道值输入到对应类别的生成对抗式网络中，利用生成对抗式网络对待着色图像的每一个像素的ab值进行预测；
32.将待着色图像的l通道值与预测的ab通道值进行链接，得到生成彩色图像的lab值，再将lab值转换成rgb值，最终生成一副彩色图像。
33.再一方面，本发明还提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
34.又一方面，本发明还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
35.本发明提供的技术方案带来的有益效果至少包括：
36.本发明通过图像分类网络对待着色图像进行分类；根据图像的分类结果，将待着
色图像输入对应类别的生成对抗式网络中，对待着色图像中的每个像素值进行预测，输出每个像素的rgb值，最终生成一副彩色图像；然后判断生成的彩色图像是否满足要求；若满足要求，则将其作为最终的着色效果；否则，从网络上下载与待着色图像的结构和内容相似的图像组成新的数据集，利用新的数据集重新训练生成对抗式网络，利用重新训练后的生成对抗式网络重新生成待着色图像对应的彩色图像。从而有效改善了颜色错误，数据不足等问题。
附图说明
37.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是本发明实施例提供的基于生成对抗式网络的图像着色方法的流程图；
39.图2是生成对抗网络的结构示意图；
40.图3是本发明实施例提供的基于生成对抗式网络的图像着色方法对近红外图像进行着色的流程图；
41.图4是本发明实施例提供的基于生成对抗式网络的图像着色方法对普通灰度图像进行着色的流程图。
具体实施方式
42.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
43.第一实施例
44.本实施例提供了一种基于生成对抗式网络的图像着色方法，该方法可以由电子设备实现，该方法的执行流程如图1所示，包括以下步骤：
45.s1，获取待着色图像；
46.其中，待着色图像可以为近红外图像或灰度图像。
47.s2，通过预先训练好的图像分类网络对所述待着色图像进行分类；
48.具体地，在本实施例中，s2的实现过程如下：建立图像分类网络模型，将待着色图像输入图像分类网络，提取待着色图像特征，再经过全连接网络进行分类，得到待着色图像的对应类别。其中，对图像通过卷积神经网络进行大致分类，可以细致分为乡村、田野、森林等。或者不细致分类为人物、风景等。这个类别决定了下一步使用的着色网络的选择。比如：分类网络可分类乡村，建筑，森林，高山等等，如果待着色图像的类别经过网络分类为乡村，则输入到使用乡村数据集训练的网络中进行着色，如果待着色图像的类别经过网络分类为森林，那么下一步则采用森林数据集训练出来的网络进行着色，以此类推。
49.s3，根据所述待着色图像的分类结果，将所述待着色图像输入对应类别的预先训练好的生成对抗式网络中，利用生成对抗式网络对所述待着色图像中的每个像素值进行预测，然后输出每个像素的rgb值，最终生成一副彩色图像；
50.其中，生成对抗式网络的结构如图2所示。
51.s4，判断生成的彩色图像是否满足预设质量要求；若满足预设质量要求，则将生成的彩色图像作为最终的着色效果；若不满足预设质量要求，则执行s5；
52.需要说明的是，图像着色常用的质量标准为结构相似性ssim和峰值信噪比psnr，但最主要的还是人的感官。着色最终效果是否可以使用主要取决于人是否满意。因此，本实施例对于着色质量的判断方式为进行人工主观判断，如果对着色效果不满意，则可以选择执行s5。如果满意，则到此完成图像着色过程。
53.s5，从网络上下载与所述待着色图像的结构和内容相似的预设数量的图像组成新的数据集，并利用新的数据集重新训练生成对抗式网络，利用重新训练后的生成对抗式网络重新生成所述待着色图像对应的彩色图像，然后返回s4。
54.具体地，本实施例利用爬虫程序自动在网络上对与待着色图像结构和内容相似的图像进行检索，将检索到的图像前20页进行下载，以此构成新的数据集，将数据集中的图像裁剪至256*256大小，然后对图像进行灰度化处理，将灰度图像与下载到的彩色图像进行一一配对。利用新的数据集对生成对抗式网络重新进行100次训练。其中，网络的输入为灰度图像，输出为彩色图像。
55.通过本实施例的基于生成对抗式网络的图像着色方法对近红外图像进行着色的流程图如图3所示，包括以下步骤：
56.步骤1，获取近红外图像；
57.步骤2，对近红外图像进行分类识别，对图像进行分类；
58.步骤3，将近红外图像输入到对应分类的网络中，预测每个像素的颜色；
59.步骤4，将图像进行合成，得到彩色图像；
60.步骤5，判断图像着色是否满意；若满意，则执行步骤9；否则执行步骤6；
61.步骤6，重新下载数据集；
62.步骤7，重新训练模型，获得更精准的网络；
63.步骤8，输入对应图像进行着色；
64.步骤9，获取最终的着色结果。
65.通过本实施例的基于生成对抗式网络的图像着色方法对普通灰度图像进行着色的流程图如图4所示，包括以下步骤：
66.步骤1，输入灰度图像；
67.步骤2，对灰度图像分类；
68.步骤3，将灰度图像从rgb转换为lab颜色模型；
69.步骤4，将灰度图像的l通道值输入到对应的生成对抗式网络中，网络预测得到ab通道的值；
70.步骤5，将灰度图像原有的l通道的值与预测得到的ab通道的值组合起来，得到lab颜色模型的彩色图像；
71.步骤6，将lab颜色模型转换为rgb颜色模型，得到彩色图像；
72.步骤7，判断图像着色是否满意；若满意，则执行步骤11；否则执行步骤8；
73.步骤8，重新下载数据集；
74.步骤9，重新训练模型，获得更精准的网络；
75.步骤10，输入对应图像进行着色；
76.步骤11，获取最终的着色结果。
77.综上，本方法通过图像分类网络对待着色图像进行分类；根据图像的分类结果，将待着色图像输入对应类别的生成对抗式网络中，对待着色图像中的每个像素值进行预测，输出每个像素的rgb值，最终生成一副彩色图像；判断生成的彩色图像是否满足要求；若满足要求，则将其作为最终的着色效果；否则，从网络上下载与待着色图像的结构和内容相似的图像组成新的数据集，利用新的数据集重新训练生成对抗式网络，利用重新训练后的生成对抗式网络重新生成待着色图像对应的彩色图像。从而有效改善了颜色错误，数据不足等问题。
78.第二实施例
79.本实施例提供了一种基于生成对抗式网络的图像着色装置，包括以下模块：
80.图像获取模块，用于获取待着色图像；
81.图像分类模块，用于通过预先训练好的图像分类网络对所述图像获取模块所获取的待着色图像进行分类；
82.图像着色模块，用于根据所述图像分类模块对所述待着色图像的分类结果，将所述待着色图像输入对应类别的预先训练好的生成对抗式网络中，利用生成对抗式网络对所述待着色图像中的每个像素值进行预测，然后输出每个像素的rgb值，最终生成一副彩色图像；
83.质量判断模块，用于判断所述图像着色模块所生成的彩色图像是否满足预设质量要求；若满足预设质量要求，则将生成的彩色图像作为最终的着色效果；若不满足预设质量要求，则启动彩色图像重生成模块；
84.彩色图像重生成模块，用于从网络上下载与所述待着色图像的结构和内容相似的预设数量的图像组成新的数据集，并利用新的数据集重新训练生成对抗式网络，利用重新训练后的生成对抗式网络重新生成所述待着色图像对应的彩色图像，然后返回所述质量判断模块。
85.本实施例的基于生成对抗式网络的图像着色装置与上述第一实施例的基于生成对抗式网络的图像着色方法相对应；其中，本实施例的基于生成对抗式网络的图像着色装置中的各功能模块所实现的功能与上述第一实施例的基于生成对抗式网络的图像着色方法中的各流程步骤一一对应；故，在此不再赘述。
86.第三实施例
87.本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
88.该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
89.第四实施例
90.本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是rom、随机存取存储器、cd-rom、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
91.此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
92.本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
93.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
94.还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
95.最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。