一种基于深度学习的提取彩绘陶器图案方法与流程

本发明属于信息技术领域，涉及高光谱图像处理技术，具体是一种基于深度学习的提取彩绘陶器图案方法。

背景技术：

彩绘陶器的表面常有精美的图案和丰富的颜料，具有丰富的历史和文化价值，是一种珍贵的文物。然而，彩绘陶器被长时间埋在地下，大部分图案和颜料消失了或者被土覆盖了。在可见光下，人们通过肉眼很难观察到图案信息。

为了获取更清楚准确的图案信息，人们经常采用高光谱成像技术应用到文物保护方面。高光谱成像技术作为一种综合性技术，具有在采集数据过程中不会对数据本身造成破坏的优点，并且，高光谱成像技术能够在紫外至近红外范围内获得许多连续的图像，图像中任一像素点包含了数百的光谱信息。然而，该技术在提供丰富光谱信息的同时也造成了信息冗余，因此，通常采用最小噪声分离方法来压缩数据，只保留信息量大的主要成分。被保留的主成分图像中含有一些图案信息，这些信息在可见光下通常观察不到，我们通过融合处理使图案信息在彩绘陶器中恢复。然而包含图案信息的主成分图像含有大量的噪声，融合效果很差。

技术实现要素：

针对现有技术中存在的获取到的彩绘陶器的主成分图像中含有大量噪声，导致后续融合效果差的问题，本发明提供了一种基于深度学习的提取彩绘陶器图案方法，包括以下步骤：

步骤1：获取彩绘陶器的原始高光谱数据，对原始高光谱数据进行预处理；

步骤2：根据步骤1得到的预处理后的图像，结合在可见光范围内选出的波段合成真彩色图像；

步骤3：对步骤1得到的预处理后的图像进行最小噪声分离处理，得到包含图案信息的主成分图像；

步骤4：对步骤3得到的包含图案信息的主成分图像做二值化处理得到二值化图像，利用二值化图像筛选获得训练样本和训练样本标签，建立深度学习网络，将训练样本和训练样本标签输入到所述的深度学习网络中，得到输出的图案信息图像；

步骤5：通过基于稀疏表示的图像分解方法从步骤4获得的图案信息图像中提取细节信息，并通过细节注入模型将细节信息注入到步骤2的真彩色图像的每一个波段中，最终恢复彩绘陶器的图案信息。

进一步的，步骤1的具体操作如下：

利用高光谱照相机获得彩绘陶器的原始高光谱数据，对原始高光谱数据进行图像裁剪、波段删除和辐射校正的预处理。

进一步的，步骤2中在可见光范围内选出的波段有三个，分别为，红：645nm，绿：550nm和蓝：479nm。

进一步的，步骤3中进行最小噪声分离处理时，保留特征值大于6的主成分图像。

进一步的，步骤4包括如下子步骤：

步骤41，对步骤3获得的包含图案信息的主成分图像做otsu二值化处理，获得相对应的像素值为1或者0的二值化图像；

步骤42，在步骤41获得的二值化图像中，从彩绘陶器的瓶身上选取一个区域，对该区域中的每一个像素点进行如下处理：选取该区域的一个像素点的m×m邻域，设在该邻域中其余像素点值与中心像素点值相同的像素点个数为x，设定一个阈值α，当时，将该像素点对应的包含图案信息的主成分图像中的像素点的m×m邻域向量化后归入训练样本中；将该区域中所有满足上述条件的主成分图像中的像素点的m×m邻域向量化后作为训练样本，将二值化图像中该像素点的值作为深度学习网络训练时该训练样本的标签；

步骤43，构建深度学习网络，将步骤42获得的训练样本和标签输入深度学习网络进行网络训练，主成分图像所有像素点的m×m邻域向量化后作为测试样本输入到训练好的网络得到最终输出的图案信息图像。

进一步的，步骤43的具体操作如下：

构建的深度学习网络包含有4个隐含层，隐含层神经元的个数依次是20、15、10、5，将每层的激活函数设定为relu函数，将输出层的激活函数设定为sigmoid函数；设定批处理个数为30，网络迭代次数为50；将步骤42获得的训练样本和标签输入深度学习网络进行网络训练，然后将主成分图像所有像素点的m×m邻域向量化后作为测试集，即网络最终输出图案信息图像。

进一步的，步骤5包括如下子步骤：

步骤51，利用基于稀疏表示的图像分解方法对步骤4得到的图案信息图像进行分解，得到包含了彩绘陶器图案的细节信息图像xhf；

步骤52，利用式(1)将步骤51得到的含有细节信息的图xhf注入到步骤2的真彩色图像xtc的每一个波段，获得融合图像xt；

上式中，是融合图像xt的第j个子波段，是真彩色图像xtc的第j个子波段，k是波段的数量,值为3。

本发明的有益效果为：

准确地去除了彩绘陶器图案信息中的噪声，从主成分图像中进行图案提取，在提取清晰图案的同时，对少量丢失信息进行了恢复，为彩绘文物的研究和保护打下了坚实的基础。

附图说明

图1为一种基于深度学习的提取彩绘陶器图案方法的总体流程图；

图2为步骤4基于深度学习的图案提取各子步骤图；

图(2a)为二值化图像被选择的区域图；

图(2b)为样本点选择和标签设计流程图；

图(2c)为深度学习网络训练图；

图3为彩绘陶器图案提取图；

图(3a)为彩绘陶器的可见光图；

图(3b)为彩绘陶器的真彩色图；

图(3c)为彩绘陶器的最小噪声分离的第6个主成分图；

图(3d)为最小噪声分离的第6个主成分图的二值化图；

图(3e)为最小噪声分离的第6个主成分图的图案信息图；

图(3f)为图案信息图与真彩色图的融合图；

图(3g)为第6个主成分图与真彩色的融合图。

具体实施方式

以下给出本发明的具体实施方式，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

本发明提出的一种基于深度学习的提取彩绘陶器图案方法，包括如下步骤：

步骤1：获取彩绘陶器的原始高光谱数据，对原始高光谱数据进行预处理；

步骤2：根据步骤1得到的预处理后的图像，结合在可见光范围内选出的波段合成真彩色图像；

步骤3：对步骤1得到的预处理后的图像进行最小噪声分离处理，得到包含图案信息的主成分图像；

步骤4：对步骤3得到的包含图案信息的主成分图像做二值化处理得到二值化图像，利用二值化图像筛选获得训练样本和训练样本标签，建立深度学习网络，将训练样本和训练样本标签输入到所述的深度学习网络中，得到输出的图案信息图像；

步骤5：通过基于稀疏表示的图像分解方法从步骤4获得的图案信息图像中提取细节信息，并通过细节注入模型将细节信息注入到步骤2的真彩色图像的每一个波段中，最终恢复彩绘陶器的图案信息。

该方法各步骤的优点如下：经过步骤1对原始高光谱数据的预处理后，能够提高后续处理的数据质量；利用步骤2能够获得彩绘陶器的色彩信息；利用步骤3能够降低数据维度，减小噪声，并且可以获得包含可见光下看不见的图案信息的主成分图像；步骤4能够从包含图案信息的主成分图像中提取出清晰的图案信息，还能在去除大部分噪声像素点的同时恢复少量的图案信息；该步骤优点：利用步骤5能将彩绘陶器图案信息保留的同时，增添了部分彩色信息。

本发明利用深度学习方法从主成分图像中进行图案提取，在提取清晰图案的同时，对少量丢失信息进行了恢复，为彩绘文物的研究和保护打下了坚实的基础。

步骤1的具体操作如下：利用高光谱照相机获得彩绘陶器的原始高光谱数据，对原始高光谱数据进行图像裁剪、波段删除和辐射校正的预处理。图像裁剪被用于剔除数据中的背景区域；波段删除被用于删除噪声波段，噪声波段主要集中在413nm之前和987nm之后；辐射校正将图像的像元的亮度值转换为像元的反射率。经过预处理得到的图像分别作为步骤2和步骤3的输入图像。优选的，高光谱照相机的型号为soc710。

该步骤优点：利用该步骤可以减少背景区域、噪声波段以及环境光对数据处理的影响，提高后续处理的数据质量。

步骤2的具体操作如下：从预处理后的图像中选出红绿蓝三个波段范围，分别是605nm-700nm，510nm-570nm，450nm-510nm。从这三个范围中各选出一个波段分别对应rgb三个通道，合成真彩色图像。该步骤得到的真彩色图像作为步骤5的输入图像。

优选的，选择红：645nm，绿：550nm和蓝：479nm的三个波段出现的彩色图像更加贴近真实图像的颜色。

在步骤3的最小噪声分离的处理过程中，一般情况下，保留特征值大于1的主成分图像。优选的，保留特征值大于6的主成分图像能够更好地消除彩绘陶器数据中大量的噪声。将包含有图案信息的主成分图像被作为步骤4的输入图像。

步骤4具体包括以下子步骤：

步骤41，对步骤3获得的包含图案信息的主成分图像做otsu二值化处理，获得相对应的像素值为1或者0的二值化图像；

步骤42，在步骤41获得的二值化图像中，从彩绘陶器的瓶身上选取一个区域，对该区域中的每一个像素点进行如下处理：选取该区域的一个像素点的m×m邻域，设在该邻域中其余像素点值与中心像素点值相同的像素点个数为x，设定一个阈值α，当时，将该像素点对应的包含图案信息的主成分图像中的像素点的m×m邻域向量化后归入训练样本中；将该区域中所有满足上述条件的主成分图像中的像素点的m×m邻域向量化后作为训练样本，将二值化图像中该像素点的值作为深度学习网络训练时该训练样本的标签。

优选的，本发明中m＝5、α＝0.6。

步骤43，构建深度学习网络，将步骤42获得的训练样本和标签输入深度学习网络进行网络训练，主成分图像所有像素点的m×m邻域向量化后作为测试样本输入到训练好的网络得到网络最终输出的图案信息图像。

具体的，构建的深度学习网络包含有4个隐含层，隐含层神经元的个数依次是20、15、10、5，将每层的激活函数设定为relu函数；由于该问题是一个二分类问题，所以将输出层的激活函数设定为sigmoid函数；设定批处理个数为30，网络迭代次数为50。将步骤42获得的训练样本和标签输入深度学习网络进行网络训练，然后将主成分图像所有像素点的m×m邻域向量化后作为测试集，即网络最终输出图案信息图像。

步骤5具体包括以下子步骤：

步骤51，利用基于稀疏表示的图像分解方法对步骤4得到的图案信息图像进行分解，得到包含了彩绘陶器图案的细节信息图像xhf；

步骤52，利用式(1)将步骤51得到的含有细节信息的图像xhf注入到步骤2的真彩色图像xtc的每一个波段，获得融合图像xt；

上式中，是融合图像xt的第j个子波段，是真彩色图像xtc的第j个子波段，k是波段的数量,值为3。

实施例：

步骤1：获取于2016年11月份采集于西北大学文博学院彩绘陶器数据为实验数据；

步骤2：对采集到的数据做图像裁剪、波段删除、辐射校正预处理，预处理后的数据人为的选出可见光代表波段(红：645nm，绿：550nm，蓝：479nm)分别对应rgb三个通道，合成真彩色图像，如图3(b)。

步骤3：对预处理后的数据做最小噪声分离得到包含图案信息的主成分图像，如图3(c)。

步骤4：对图3(c)做二值化处理，得到二值化图像3(d)，根据上述方法利用图3(c)和图3(d)获得训练样本和标签，训练深度学习网络；图3(c)作为训练好的网络的输入，获得图案信息图像，如图3(e)。

步骤5：将图案信息图像与真彩色图像进行融合，结果如图3(f)；第6个主成分图像与真彩色图像进行融合，结果如图3(g)。

通过观察实验结果，在图3(f)中，彩绘陶器的图案区域被黑线清晰的描绘出来，并且少量缺失信息被恢复。图3(g)中虽然图案区域被黑线描绘出来，但左侧图案信息缺失严重，且融合图像含有大量噪声点。因此，本发明的方案在彩绘陶器图案提取方面相对于现有技术，有明显的优势。