一种基于深度学习的高光谱古绘画检测识别方法与流程

本发明涉及高光谱影像处理技术领域，特别涉及一种基于深度学习的高光谱古绘画检测识别方法。

背景技术：

由于古代绘画在文化传播上的特殊性，对绘画艺术鉴赏和研究是十分必要的，中华文化底蕴深厚，其绘画具有内容之广、信息量之大、数量之巨的特点，同时期的绘画中包含了多种绘画的类型，且同时期的绘画类型又在不同朝代的绘画中均有所体现，当前的绘画图像鉴赏检测工作，主要依赖大量的人工标注来进行分析与处理，准确识别绘画年代具有挑战性。近年来，高光谱技术在文物古玩上的应用日渐兴起，高光谱图像具有丰富的光谱特征信息和空间特征信息，高光谱数据作为一种具有海量信息的“数据立方体”，使得对古绘画的检测研究具有很大的挖掘价值。不同年代的绘画，由于创作者所属年代的不同，使用的颜料和绘画风格都各有不同，通过对高光谱古绘画进行检测识别，从艺术图像中提取特征信息并进行检测识别，既可以满足人们对艺术和文化研究的需求，同时也可为古绘画文物的修复工作提供帮助。

绘画人物检测需要高光谱影像识别、艺术学、计算机视觉、特征提取、模式识别、人工智能等领域的共同支持，交叉学科带来技术创新的同时也使得古绘画年代检测研究极具挑战性。绘画艺术常常由于所属年代的不同造成颜料使用的差异，另外创作者受当时所属文化的影响抽象过程的不同、对于线条的艺术表达的特殊性，使得不同年代的绘画的内容、风格、抒发的感情也具有不同的特色。各朝代的文物，尤其是绘画类文物最带有各朝代的政治象征特色，但在相近的朝代得绘画风格以及内容之间的变化是微妙的，例如：中唐以及晚唐的壁画无论是风格还是内容上都很相似，所以仅凭人眼观察，很难分辨这两个朝代绘画创作所具有的时代属性。目前还缺乏对高光谱古绘画检测识别的研究，而绘画艺术研究作为人类对精神世界的追求，对其进行深入的、多角度的研究是十分必要的。

技术实现要素：

本发明的目的在于提供一种基于深度学习的高光谱古绘画检测识别方法，以解决对于古绘画年代、真假、内容表达等检测识别的技术问题。

为解决上述技术问题，本发明的实施例提供如下方案：

一种基于深度学习的高光谱古绘画检测识别方法，包括以下步骤：

s1、采集古绘画高光谱数据，构建高光谱古绘画数据集；

s2、对所述高光谱古绘画数据集进行数据扩充；

s3、利用去伪投影匹配解混算法进行混合像元分解；

s4、构建基于深度学习的多元特征提取模型，提取古绘画高光谱的光谱信息和空间信息；

s5、构建多元信息多尺度特征融合检测识别模型；

s6、在所述高光谱古绘画数据集中随机选取测试样本，形成新的数据集，对所述检测识别模型进行验证。

优选地，所述步骤s1包括：

通过现有的高光谱古绘画公共数据和使用高光谱成像设备采集古绘画高光谱数据，构建高光谱古绘画数据集，所述高光谱古绘画数据集中包含不同年代的人物绘画图像、风景绘画图像、动物花卉图像的高光谱古绘画数据；

对所述高光谱古绘画数据集中的样本数据进行标注，分为训练样本和测试样本；

同时建立目标端元光谱波谱库。

优选地，所述步骤s2包括：

分别采用采样的方式对已获取的高光谱绘画数据进行扩充及增广，通过随机剪裁并保留原始高光谱绘画数据的70％-85％区域来对数据进行扩充。

优选地，所述步骤s3包括：

分别提取高光谱数据和波谱库目标端元；

对高光谱数据和目标端元进行最小噪声分离变换；

对高光谱数据和目标端元进行匹配滤波，得到可能目标端元的丰度图像；

建立高光谱的高维凸面几何模型，排除假阳性结果，最终得到目标分布图。

优选地，所述步骤s4中，提取古绘画高光谱的光谱信息的步骤包括：

通过光谱角变换将光谱信息转化到图像的空间维度上，将光谱信息由一维矢量转换为二维的灰度图像，得到光谱差异比较大的地方灰度值高，光谱差异比较小的地方灰度值较低，以此实现光谱信息的特征提取。

优选地，所述步骤s4中，提取古绘画高光谱的空间信息的步骤包括：

对高光谱图像进行主成分分析处理，提取出高光谱数据的空间信息。

优选地，所述步骤s5包括：

将古绘画高光谱的光谱信息、空间信息均作为输入，导入到所述多元信息多尺度特征融合检测识别模型中，模型的实现过程为：

使用深度残差连接网络作为主干特征提取网络，后面增加多个卷积层，所述卷积层逐步减小特征图的尺寸，将多个尺度特征图融合在一起；

进行特征融合后输入到全连接层，输出向量概率矩阵，在数据训练过程中，确定真实数据标记与预测标记是否匹配，通过非极大值抑制的方法滤出最佳预测结果，最终实现多尺度检测识别。

优选地，在所述步骤s3中，匹配滤波实现过程分为对图像方差和目标背景之间进行对比平衡，把平均修正后的目标光谱投影到协方差数据的广义逆矩阵上的投影：

式中，pv为匹配投影向量，tsmnf为转换到mnf空间的目标光谱；dsmnf为转换到mnf空间高光谱数据像元平均光谱；然后从0到1的得分范围给出了零光谱到目标光谱的得分pvi值：

pvi＝pv*dmnf

dmnf为mnf数据集合，通过寻找利用协方差数据垂直于有限空间的一部分对比向量来实现，按照匹配投影得到投影向量pv，平衡背景目标分离和输出的图像方差，定位出背景未知且混合像元存在的情况下的已知信息。

优选地，在所述步骤s3中，排除假阳性结果的实现过程为：

利用混合光谱的高维凸面几何模型直接识别并拒绝投影中常见的假阳性结果，通过建立高光谱的高维凸面几何模型，排除部分误检结果，最终得到目标分布图。

优选地，利用光谱角变换为灰度图像的实现过程为：

通过计算样本点像元与其相邻8个像元之间的光谱角距离，以光谱角距离值作为坐标值，使光谱维映射到新的空间维度上，计算样本点到8维空间的坐标原点的欧氏距离，将得到的值转换为灰度值赋给当前像元，对高光谱图像中的每个像元执行同样的操作，最终得到一幅灰度图像。

本发明的上述方案至少包括以下有益效果：

上述方案中，利用高光谱影像信息量丰富的技术优势和基于深度学习的神经网络目标检测的快速性、准确性、高效性等优势，对古代绘画进行检测识别，既克服了传统绘画信息特征提取与检测识别的工作量大、人为因素造成的误差大等缺点，具有快速、高效的特点，同时弥补了普通绘画图像处理中光谱信息不足的缺点。

附图说明

图1是本发明实施例提供的基于深度学习的高光谱古绘画检测识别方法的流程图；

图2是本发明实施例中高光谱古绘画检测识别过程的具体流程图；

图3是本发明实施例中高光谱古绘画检测识别过程的整体示意图；

图4是本发明实施例中去伪投影匹配解混算法的流程图；

图5是本发明实施例中高光谱数据光谱信息特征提取示意图；

图6是本发明实施例中高光谱数据空间信息特征提取示意图；

图7是本发明实施例中多元信息多尺度特征融合检测识别模型的结构图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明的实施例提供了一种基于深度学习的高光谱古绘画检测识别方法，如图1所示，该方法包括以下步骤：

s1、采集古绘画高光谱数据，构建高光谱古绘画数据集；

s2、对所述高光谱古绘画数据集进行数据扩充；

s3、利用去伪投影匹配解混算法进行混合像元分解；

s4、构建基于深度学习的多元特征提取模型，提取古绘画高光谱的光谱信息和空间信息；

s5、构建多元信息多尺度特征融合检测识别模型；

s6、在所述高光谱古绘画数据集中随机选取测试样本，形成新的数据集，对所述检测识别模型进行验证。

本发明方法利用高光谱影像信息量丰富的技术优势和基于深度学习的神经网络目标检测的快速性、准确性、高效性等优势，对古代绘画进行检测识别，既克服了传统绘画信息特征提取与检测识别的工作量大、人为因素造成的误差大等缺点，具有快速、高效的特点，同时弥补了普通绘画图像处理中光谱信息不足的缺点。

作为本发明方法的一种具体实施方式，如图2和图3所示，高光谱古绘画的检测识别过程如下：获取高光谱数据，构建高光谱古绘画数据集并扩充数据；通过去伪投影匹配解混算法进行混合像元分解，解决由颜料混杂造成的混合像元问题、降低数据量，消除冗余信息；构建多元特征提取模块，提取出古绘画颜料光谱信息和空间信息；构建多元信息多尺度特征融合检测识别模型，将提取到的光谱信息和空间信息作为输入导入多元信息多尺度特征融合检测识别模型，该模型可实现多种高光谱信息的特征融合，通过上述模型可以实现对古绘画的特征提取并有效识别古绘画所属年代、真假、内容等。

进一步地，步骤s1包括：

通过现有的高光谱古绘画公共数据和使用高光谱成像设备采集400～2500nm波段的古绘画高光谱数据，构建高光谱古绘画数据集，所述高光谱古绘画数据集中包含不同年代的人物绘画图像、风景绘画图像、动物花卉图像的高光谱古绘画数据；

对所述高光谱古绘画数据集中的样本数据进行标注，分为训练样本和测试样本；

同时建立目标端元光谱波谱库。

进一步地，如果所获得的高光谱古绘画数据量较小，可以对自建数据集进行扩充构建，步骤s2包括：

分别采用采样的方式对已获取的高光谱绘画数据进行扩充及增广，通过随机剪裁并保留原始高光谱绘画数据的70％-85％区域来对数据进行扩充。

通过大量的文献得知，古代颜料种类并不是很多，基本分为矿物性颜料、动物性颜料、植物性颜料三大类，所以选择目前国际上最普遍认可的unitedstatesgeologicalsurvey(usgs)波谱库、jetpropulsionlaboratory(jpl)波谱库、意大利国家艺术委员会(ifca)波谱库等国际标准波谱库，从中获得不同目标端元光谱并建立目标端元光谱波谱库。

进一步地，步骤s3包括：

分别提取高光谱数据和波谱库目标端元；

对高光谱数据和目标端元进行最小噪声分离变换；

对高光谱数据和目标端元进行匹配滤波，得到可能目标端元的丰度图像；

建立高光谱的高维凸面几何模型，排除假阳性结果，最终得到目标分布图。

其中，匹配滤波实现过程分为对图像方差和目标背景之间进行对比平衡，把平均修正后的目标光谱投影到协方差数据的广义逆矩阵上的投影：

式中，pv为匹配投影向量，tsmnf为转换到mnf空间的目标光谱；dsmnf为转换到mnf空间高光谱数据像元平均光谱；然后从0到1的得分范围给出了零光谱到目标光谱的得分pvi值：

pvi＝pv*dmnf

dmnf为mnf数据集合，通过寻找利用协方差数据垂直于有限空间的一部分对比向量来实现，按照匹配投影得到投影向量pv，平衡背景目标分离和输出的图像方差，定位出背景未知且混合像元存在的情况下的已知信息。

根据古绘画中一般绘画内容中目标物与环境背景所使用的颜料，可以将绘画目标内容与背景分离开来，得到的灰度图像目标颜色较亮，背景颜色较暗，另外也可以解决由于颜料相似性高造成的误分问题。

排除假阳性结果的实现过程为：利用混合光谱的高维凸面几何模型直接识别并拒绝投影中常见的假阳性结果，通过建立高光谱的高维凸面几何模型，排除部分误检结果，最终得到目标分布图。

图4是本发明实施例中去伪投影匹配解混算法的流程图。首先对高光谱数据和目标端元进行最小噪声分离(mnf)变换，然后对高光谱数据和目标端元进行匹配滤波，对图像方差和目标背景之间进行对比平衡。把平均修正后的目标光谱投影到协方差数据的广义逆矩阵上的投影，通过寻找利用协方差数据垂直于有限空间的一部分对比向量来实现，按照投影得分范围从0到1给出了零光谱到目标光谱的得分pvi值。这个投影最佳的平衡了背景目标分离和输出的图像方差，定位出背景未知且混合像元存在的情况下的已知信息，得到可能目标端元的丰度图像，此步骤实现了丰度估计和背景抑制。

为了排除投影结果中可能存在的大量假阳性值，利用混合光谱的高维凸面几何模型直接识别并拒绝投影中常见的假阳性结果，通过建立高光谱的高维凸面几何模型，排除部分误检结果，最终得到目标分布图，本算法设定目标端元n类，通过混合像元分解，最终得到一系列n维的灰度图像。

进一步地，步骤s4中，提取古绘画高光谱的光谱信息的步骤包括：

通过光谱角变换将光谱信息转化到图像的空间维度上，将光谱信息由一维矢量转换为二维的灰度图像，得到光谱差异比较大的地方灰度值高，光谱差异比较小的地方灰度值较低，以此实现光谱信息的特征提取。

其中，利用光谱角变换为灰度图像的实现过程为：

通过计算样本点像元与其相邻8个像元之间的光谱角距离，以光谱角距离值作为坐标值，使光谱维映射到新的空间维度上，计算样本点到8维空间的坐标原点的欧氏距离，将得到的值转换为灰度值赋给当前像元，对高光谱图像中的每个像元执行同样的操作，最终得到一幅灰度图像。

图5是本发明实施例中高光谱数据光谱信息特征提取示意图。设当前像元为xi,j，则它的8个相邻像元分别为xi-1,j-1、xi-1,j、xi-1,j+1、xi,j-1、xi,j+1、xi+1,j-1、xi+1,j、xi+1,j+1，计算像元与其8个相邻像元之间的光谱角，并将这8个光谱角的值作为坐标值映射到一个8维空间坐标轴上，此时样本点的8个坐标值是当前像元与周围8个相邻像元的光谱角，样本点到这个8维空间坐标原点的欧氏距离就表征了像元xi,j与其相邻像元的综合相似程度的大小。如果某个像元与相邻像元光谱差异越大，那么彼此之间的光谱角就越大，它8个坐标值也就越大，样本点到坐标原点的距离就远；反之，如果当前像元与相邻像元之间的光谱差异越小，那么它的8个坐标值也就较小，样本点距离坐标原点就越近。将这个距离大小值转换为灰度值赋给当前像元，对高光谱图像中的每个像元执行同样的操作，最终得到一幅灰度图像。

进一步地，步骤s4中，提取古绘画高光谱的空间信息的步骤包括：

对高光谱图像进行主成分分析处理，提取出高光谱数据的空间信息。

图6是本发明实施例中高光谱数据空间信息特征提取示意图。

首先对高光谱绘画图像进行主成分分析(pca)处理，提取出目标的空间信息，如绘画中内容的形态、颜色、纹理等特征，通过不同绘画中内容信息之间存在的空间差异，进行特征提取。

获取高光谱影像数据中像素的空间信息，首先采用pca降维，可以大大降低高光谱数据维数高而造成的检测效率低的问题，提取出有用的空间信息，剔除无用信息，从原始图像的每个波段提取目标像素，然后以目标像素周围m×n(例如：12×12)的像素块作为训练样本和测试样本，送入目标检测模型中。

进一步地，步骤s5包括：

将古绘画高光谱的光谱信息、空间信息均作为输入，导入到所述多元信息多尺度特征融合检测识别模型中，模型的实现过程为：

使用深度残差连接网络(resnet-101)作为主干特征提取网络，后面增加多个卷积层，所述卷积层逐步减小特征图的尺寸，将多个尺度特征图融合在一起；

进行特征融合后输入到全连接层，输出向量概率矩阵，在数据训练过程中，确定真实数据标记与预测标记是否匹配，通过非极大值抑制的方法滤出最佳预测结果，最终实现多尺度检测识别。

图7是本发明实施例中多元信息多尺度特征融合检测识别模型的结构图。模型的实现过程为：使用resnet-101作为主干特征提取网络，将其中的第3个block引入到特征融合层，作为特征融合层的第一部分，输入图像经过resnet-101网络后特征图变为19×19×512，然后经过3×3的卷积层变为19×19×1024，作为特征融合层的第二部分，接着经过池化层变为10×10×512，作为特征融合层的第三部分，再经过3×3的卷积层变为5×5×256，作为特征融合层的第四部分，最后经过3×3的卷积层、1×1的卷积层变为1×1×256，作为特征融合层的第五部分，这些卷积层逐步地减小特征图的尺寸，将多个尺度特征图融合在一起，融合的方法如下：

ai＝[αxi,(1-α)yi]

其中，ai表示新的融合特征第i个特征值，xi表示第i个光谱特征，yi表示第i个空间特征。α为缩放因子，属于0～1。在进行特征融合的时候进行了带权重的特征拼接方案，且缩放因子是一个经验值，需要实验过程中进行调节。融合后的特征输入到全连接层，输出向量概率矩阵，在数据训练过程中，确定真实数据标记与预测标记是否匹配，通过非极大值抑制的方法滤出最佳预测结果，最终实现多尺度检测识别的目的。

综上，本发明所提供的方法将基于卷积神经网络的深度学习技术应用到古绘画高光谱影像的研究分析中，可以有效的对古绘画的年代、真假、及所绘内容进行识别检测，进而解决人工进行绘画识别耗时费力的问题。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。