基于卷积神经网络进行壁画图像去噪和线描画生成的方法与流程

本发明涉及计算机视觉与数字图像处理领域，尤其涉及基于卷积神经网络对古代壁画图像去噪以及线描画生成的过程。

背景技术：

壁画是古文物的核心组成部分，具有重要的历史文化价值。而对于壁画图像的修复和保护工作中，壁画线描画的绘制是其工作中重要的一个方面。线描画生成对于壁画的保护与修复以及后续工作来说也都极富意义，它也是研究考古等工作的基础。传统的线描绘制主要依靠手工临摹，或是经过拍照或录制，再比对着进行线描画的绘制。这些过程相对复杂和耗时。经过检索发现，目前与壁画图像处理相关的发明专利主要集中在古代图像数字化修复、图像采集以及分类识别等方面。而对于古代图像线描画的绘制过程的涉及较少，仅有的研究也是利用传统滤波器去噪以及利用传统边缘提取算法进行线描画提取，现有成果虽然能在局部得到较好的提取效果，但是在全局范围内存在笔道密集处笔画提取结果不清晰和笔道稀疏位置笔画宽度过细等问题。传统方法存在的问题会导致得到的图像具有较低的使用价值，工作效率不高。

参考文献

[1]李传朋,秦品乐,张晋京.基于深度卷积神经网络的图像去噪研究[j].计算机工程,2017,34(3):253-260.

[2]xies,tuz.holistically-nestededgedetection[c]//proceedingsoftheieeeinternationalconferenceoncomputervision.2015:1395-1403.

[3]zhangk,zuow,cheny,etal.beyondagaussiandenoiser:residuallearningofdeepcnnforimagedenoising[j].ieeetransactionsonimageprocessing,2017,26(7):3142-3155.

[4]wangsd,mazy,liuxh,etal.coherence-enhancinglinedrawingforcolorimages[j].sciencechinainformationsciences,2013,56(11):1-11.

[5]kangh,lees,chuick.coherentlinedrawing[c]//proceedingsofthe5thinternationalsymposiumonnon-photorealisticanimationandrendering.acm,2007:43-50.

[6]arbelaezp,mairem,fowlkesc,etal.contourdetectionandhierarchicalimagesegmentation[j].ieeetransactionsonpatternanalysisandmachineintelligence,2011,33(5):898-916.

[7]zhangz,xingf,shix,etal.semicontour:asemi-supervisedlearningapproachforcontourdetection[c]//proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2016:251-259.

技术实现要素：

本发明的目的提供一种可以提升绘图效果的画图像去噪和线描画生成的方法。技术方案如下：

一种基于卷积神经网络进行壁画图像去噪和线描画生成的方法，包括下列两个部分：

第一部分：利用深度卷积神经网络dcnn对图像去噪

步骤1：准备dcnn所需的训练数据集；

步骤2：设置dcnn卷积层结构与激活函数，采用整流线性单元relu作为激活函数；

步骤3：设定dcnn的损失函数为其中是所需干净图像y的估计值，目标在于最小化损失函数以找到深度卷积神经网络dcnn的最优参数θ，为避免梯度爆炸的问题，在训练过程中保证梯度保持在一定范围内变化；

步骤4：设计dcnn的网络结构；设计滤波器尺寸为，去除所有池化层，设置网络深度为10，每个卷积层中设置64个5×5的卷积核；

步骤5：设定初始学习率为0.1，使用caffe框架利用训练数据集对dcnn进行训练；

步骤6：对噪声图像进行去噪处理；将带有噪声的壁画图像输入到训练好的dcnn中进行去噪，并用有噪声壁画图像减去dcnn的输出图像得到清晰的去噪后图像。

第二部分：利用基于全卷积神经网络fcn和深度监督网络边缘检测算法hed进行边缘提取，方法如下：

步骤7：构造用于边缘提取的训练数据集；

步骤8：构建边缘提取网络模型；改进fcn和16层的卷积神经网络vgg，在每一个卷积层后面增加一个侧面输出层，每一个侧面输出层都和一个分类器相连，侧面输出层被实现为具有内核大小为1和输出数为1的卷积层；然后去除vgg的全链接层和第五个池化层并增加一个混合权重层，用来将所有的侧输出层的预测结果连接到一起并且在训练的过程中学习混合权重，得到一个带有侧面输出层的fcn网络结构即为边缘提取网络模型；

步骤9：用准备好的用于边缘提取的训练数据集以最小的损失函数为目标训练设计好的边缘提取网络模型；

步骤10：将第一部分得到的去噪后图像作为输入输入到边缘提取网络进行边缘提取；从侧面输出层和混合权重层同时获得边缘预测结果，最终的输出就是将这些结果进行聚合提取得到的线描画。

本发明提出一种将基于深度学习的图像去噪与边缘提取两种方法融合进壁画线描画生成过程的处理过程，得到效果增强，笔画在整体效果上更均匀更连续的高质量线描画。减少了对于文物的破坏同时也极大的改善当前线描画的生成效果和工作效率。利用表现效果较好的深度卷积神经网络dcnn进行图像去噪，利用holistically-nestededgedetection算法hed进行边缘提取。经过卷积神经网络自主学习将带有噪声的彩色的壁画图像经过两次端到端的图像处理过程转换成对应的高质量线描图，生成效果好并且适用范围广。

附图说明

附图1基于卷积神经网络进行古代图像去噪和线描画生成流程图

附图2去噪过程(第一部分)处理流程示意图

附图3边缘提取(第二部分)处理流程示意图

附图4去噪过程(第一部分)网络结构示意图

附图5边缘提取(第二部分)网络结构示意图

附图6未处理、去噪后、线描图图像效果示意图

附图7未处理、去噪后、线描图图像效果示意图

具体实施方式

在深度学习领域，有对边缘提取的大量研究，也有对古代图像去噪的尝试，本发明旨在将深度学习应用于壁画线描画的生成过程来拓展绘图方法。相比于传统线描提取方法的结果，利用深度学习算法进行边缘提取更加注重于全局效果，可以提取出在全局范围内效果更好的线描画，绘图准确率更高，笔画宽度更均匀，并且在笔画密集与稀疏交接部位具有更好的笔画连续性。

其次由于古代壁画图像普遍存在缺损氧化等现象，会产生较大噪声，因此本发明对古代图像处理具有针对性的提出了在深度学习进行边缘提取之前对于古代图像资源的特殊性而预先进行一次端到端的卷积处理，去除大量冗余信息后再用深度学习来提取线描画。这个预处理步骤的加入比直接使用一次端到端的深度学习进行边缘提取出的图像有更强的笔画效果，降低了结果图像的模糊度，为后续工作提供更好的输入图像。本发明通过融合两种基于深度学习图像处理过程，加快了线描画生成速度，同时得到在全局范围内笔画更均匀连续性更好的线描画。下面结合附图和实施例对本发明进行说明。

第一部分：利用深度卷积神经网络dcnn对古代图像去噪

(1)准备dcnn所需的训练数据集。。

处理数据集中的数据为43×43的大小。尽可能增大数据集，尽可能选取具有普遍噪声的图像来构造数据集。因为经过试验验证，数据集越大噪声越普遍，去噪效果越好。

(2)设置dcnn卷积层结构与激活函数。

在第l卷积层(隐藏单元)，先前层的特征映射与卷积核卷积，并且输出特征映射通过激活函数f实现。每个输出特征映射可以将卷积与多个输入特征图结合起来，制定为：

其中mj表示输入特征图的选择，表示偏差，*表示卷积算子。

dcnn卷积层结构如图3所示。给定深度d的dcnn，每一层使用相同的卷积运算。卷积运算实际上是一种线性滤波。卷积运算的线性组合由于其线性特性而不能代表非平凡问题。因此，在dcnn中，非线性激活函数被应用于每个卷积层的输出作为下一层的输入，以便允许这样的网络仅使用少量节点来计算非平凡问题。整流线性单元(relu)通常用作dcnn中的激活函数，它是一种非线性映射。已经证明使用整流器作为非线性可以在不需要无监督的预训练的情况下训练深度监督神经网络。与s形函数或类似的激活函数相比，relu可以在大型复杂数据集上快速有效地训练深度神经结构。

(3)设定dcnn的损失函数。

令x和分别表示输入被污染的图像和输出噪声图像。给定一个训练数据集{xi，yi}i＝1ⁿ，目标是学习一个预测值的模型，其中是所需干净图像y的估计值。因此，损失函数设定为

其中θ＝[w，b]是dcnn的网络参数。w是权重矩阵，b是定义的偏向量。目标是最小化损失函数以找到深度卷积神经网络dcnn的最优参数θ。其次为了避免一些梯度爆炸的问题，常用的策略之一是将单个渐变剪裁到预定范围[-β，β]。因此，在训练过程中，梯度保持在一定范围内。我们使用给定的渐变裁剪方案阈值[34，35]。假设给定的梯度阈值为β，则当前梯度值为g。如果||g||≥β,那么因此，当训练期间当前梯度值超过给定阈值时，将当前梯度值分配给所以，梯度在固定范围内变化，以便设计的dcnn快速收敛。

(4)设计用于去噪的卷积神经网络dcnn的网络结构。

在设计的用于去噪的深度卷积神经网络dcnn中滤波器尺寸为3×3，但去除所有池化层。故对于d层的dcnn，感受野为(2d+1)(2d+1)。网络深度设置为10，在设计的dcnn中会有卷积层，但没有池化层。在每个卷积层中，有64个5×5的卷积核。上述设置能够实现良好性能。

(5)设定初始学习率，利用训练数据集对dcnn网络模型进行训练。

使用caffe框架来训练设计好的深度卷积神经网络dcnn。设计的具有梯度限幅的深度卷积神经网络dcnn可以在不同的初始学习速率下获得良好的收敛性和良好的去噪效果。经实验验证，当初始学习率为0.1时，设计的深度卷积神经网络dcnn达到最佳收敛。事实表明，通过调整初始学习速率，我们可以实现损失函数优化问题的近似最优解，尽管梯度限幅不能保证全局最小。

(6)对噪声图像进行去噪处理。

将有噪声的图像输入到训练好的网络中，并用有噪声图片减去网络的输出图像得到清晰的去噪后图像。

第二部分：利用基于全卷积神经网络fcn和深度监督网络边缘检测算法hed进行边缘提取

(7)构造训练数据集。

不断改进数据集，尽可能多的涉及各种类型各种画风，笔画密集或者笔画稀疏等的多种古代图像。由于对于最后的输入图像是经过去噪处理的因此这一步的卷积过程数据集最好是噪声较小笔画效果较强的。不断优化训练集以便用来获得满意的模型。

(8)改进fcn和16层的卷积神经网络(vgg)得到我们的边缘提取网络模型。

修改16层的卷积神经网络vgg-net网络结构得到我们需要的网络模型，如图5。在每一个卷积层后面增加一个侧面输出层(sideoutputlayer)，侧面输出层被实现为具有内核大小为1和输出数为1的卷积层。然后去除了vgg的全链接层和第五个池化层，并增加一个混合层，这样就得到一个类似fcn又带有侧面输出层的网络结构，最后通过权值融合层将各个侧面输出层的输出结果进行融合，得到最后的边缘检测结果。

(9)用准备好的数据集以最小的损失函数为目标训练设计好的边缘提取网络模型。

根据所述的卷积神经网络模型及其训练参数，以最小的损失函数为目标训练所述卷积神经网络形成图像边缘提取的网络模型。首先，我们定义了针对侧面输出的图片级别的边缘损失函数(公式(1))，其中g(m)是根据侧面输出层(sideoutputlayer)m上采样到原始图像尺寸得到的图形，每一个侧面输出层都和一个分类器相连，我们将这些分类器的参数记为w，将其它网络参数统统记为w，g是标注数据，△是用来计算预测边缘映射和标注数据之间差距的能量函数，αm是用来控制每一个独立的侧面输出层的损失函数占比的超参数。

然而在一张图片中，百分之九十的区域都是非边缘，为了解决边缘和非边缘不平衡的问题，引入了一个类平衡圈子β，用它来定义我们在公式(1)中用到的类平衡交叉熵函数△(公式(2))：

其中i，i-和i+分别代表总像素，非边缘像素和边缘像素的个数。βj＝i-/i(ij是正样本)，1-βj＝i+/i(ij是负样本)。

为了最好地利用本发明提出的结构中的每个侧输出层的结果，我们增加了一个“混合权重层”用来将所有的侧输出层的预测结果连接到一起并且在训练的过程中学习混合权重。我们将混合权重记为h，混合权重层的损失函数(公式(3))如下：

所以总体的损失函数(公式(4))为：

(10)对去噪后图像进行边缘提取。

将去噪步骤得到的去噪后图像作为输入输入到训练好的网络中，从侧面输出层和混合权重层同时获得边缘预测结果，最终的输出就是将这些结果进行一个聚合。提取最终的线描画。