一种文物碎片精细分类方法、系统、介质、设备及终端

本发明属于计算机视觉中的图像处理，尤其涉及一种文物碎片精细分类方法、系统、介质、设备及终端。

背景技术：

1、目前，历史文化遗产是华夏民族血脉基因的重要载体，诞生于古代，不仅属于当代，更属于后代，传承保护好历史文物，就是守住了民族精神绵绵不断的根脉。其中兵马陶俑是文明的瑰宝，是维系民族精神的宝贵遗产。但历经千年地下与地上的双重破坏，大量精美珍贵的文物只能以碎块形式呈现。为还原文物原本样貌，必须对其进行修复保护，其中修复的重要一步便在于分类，通过将文物碎块通过颜色、纹理、厚度、曲率，断裂面等特征信息进行子集划分，以此降低拼接时的复杂程度，提高拼接成功率。目前常用的文物碎块数字化分类方法一是传统的陶瓷碎块分类方法：通过使用人工特征提取器提取特征，比如颜色直方图、灰度共生矩阵、gabor滤波器、lbp等方法提取碎块的颜色、纹理和形状特征，然后使用k-means、knn、bp等传统分类算法进行分类。

2、由于文物数据的复杂性和模糊性特点，且随着深度学习的不断发展，传统分类算法在数据分类的表现上已经难以尽如人意，学者由此将目光转向卷积神经网络，通过使用基于卷积神经网络来进行图像分类。目前，基于神经网络的文物分类技术仍在发展阶段阶段，还有如下问题等待研究解决：

3、1.缺乏公开的碎块大规模数据库进行研究，有学者使用故宫博物院、其他地方博物院等网络来源的碎块数据，也有学者使用相关书籍的扫描图像和相关专业网站提供的碎块图片，但要么文物数据量少，无法实现精确分类，要么带来数据噪声，从而造成误分类问题，因此创建一个大规模且标准的文物数据库是切实且必要的。

4、2.以alexnet、vggnet、resnet为代表的基础网络在网络分类中准确率不够高，鲁棒性不强，计算开销大。因此，亟需通过调整网络结构提高卷积网络的特征提取能力，并同时减少参数冗余，实现精度与速度的双重提升。

5、通过上述分析，现有技术存在的问题及缺陷为：

6、(1)目前的基于神经网络的文物分类技术缺乏公开的碎块大规模数据库，由于文物数据量少或存在数据噪声，无法实现精确分类或造成误分类问题。

7、(2)目前的基于神经网络的文物分类技术中，以alexnet、vggnet、resnet为代表的基础网络在网络分类中准确率不够高，鲁棒性不强，计算开销大。

8、(3)高计算成本:目前的图像分类方法通常需要大量的计算资源来训练和评估，这可能是在资源有限的环境中采用的障碍。

9、(4)对抗性攻击的鲁棒性:现代深度学习模型很容易受到对抗性攻击，对图像的微小、难以察觉的变化可能导致模型对其错误分类。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种文物碎片精细分类方法、系统、介质、设备及终端，尤其涉及一种基于扩展邻域注意力机制的递归门控卷积自调节网络的文物碎片精细分类方法、系统、介质、设备及终端。

2、本发明是这样实现的，一种文物碎片精细分类方法，文物碎片精细分类方法包括：通过基于样式的生成式对抗网络对现有秦俑碎块数据集进行数据增强；构建递归门控卷积自调节网络模型做为主干网络，在模型的特征提取层设计扩展邻域注意力机制，通过对秦俑碎块的轮廓线、厚度、曲率的物理特征以及颜色、纹理的文化特征进行局部注意力增强；在卷积层设计递归门控卷积，通过高阶空间交互对碎块的物理特征与文化特征进行联合学习，增强分类网络对文化特征和物理特征联合解译的能力，进而实现文物碎片的精细分类。

3、进一步，文物碎片精细分类方法还包括：

4、对文物碎片进行数字化处理，构建数据集；构建dinat-gnconv-regnet分类网络，并对网络进行初始化；输入训练数据，设置初始迭代次数k＝0；分别进行网络输出值和误差计算，并判断误差是否满足要求；若误差不满足要求，则计算误差梯度中激活函数误差值，计算误差梯度并调整网络权值，令k＝k+1，返回网络输出值和误差计算步骤；重新判断误差是否满足要求，若满足要求，则获得dinat-gnconv-regnet分类网络参数，进而获得文物分类结果。

5、进一步，文物碎片精细分类方法包括以下步骤：

6、步骤一，将破碎佣体碎块进行数字化处理和数据增强，构建样本数据库；

7、步骤二，构建基于扩展邻域注意力机制的递归门控卷积自调节网络；

8、步骤三，下采样：将输入下采样到原始空间分辨率的四分之一并通过dinatransformer编码器提取并发送特征信息；

9、步骤四，特征图被下采样到其空间大小的一半，并在级别之间的通道中加倍，获取更多全局背景；

10、步骤五，计算阈值：根据得到的权重和特征向量，进行注意力计算；

11、步骤六，门控卷积gnconv实现一阶空间交互和高阶空间交互；

12、步骤七，特征信息传入由全局平均池化、随机失活神经元函数和全连接层构成的reghead输出层进行文物碎块的分类结果。

13、进一步，步骤一中，stylegan采用adain机制的方式添加噪声，公式如下：

14、

15、式中，xi为内容特征，y表示风格特征，μ和σ分别表示输入特征图xi的平均差和标准差。对输入特征图应用实例归一化后，stylegan利用风格信息对每个归一化空间特征图执行缩放，添加偏置。

16、确定数据的中间变量w，对w使用截断技巧，计算其他所有点到w的距离；对每个距离按照统一标准进行压缩，将数据点聚拢，使中间向量的空间分布控制在近似正态分布的空间，同时不改变点与点之间的距离关系，公式如下：

17、

18、式中，w是映射网络mapping的输出，是训练生成的中间向量w的均值，w′是生成网络的输入，ψ是截断系数。系数越大，潜在空间w密度越大；潜在向量空间越小，系统找到最佳中间向量w′的速度越快。通过对每个级别使用不同的ψ，模型控制每个级别上的特征值与平均特征值的差异量。

19、训练方式使用渐进式训练步骤，生成器和判别器两者渐进训练的模式使得生成器学习到不同尺度具有的特征；通过stylegan实现将原有秦俑碎块数据集按照1：10的比例进行数据集增强扩充，得到包含秦俑碎片的图像数据集。

20、文物碎块的数字化处理是将破碎佣体碎块实物进行特征提取后转化成计算机能够处理的数据格式，特征提取过程包括碎块拍摄、数据预处理和数据增强步骤；数字化处理完成后根据视觉外观特征进行分类，并标注对应标签，构建文物样本数据库；数据预处理包括归一化处理、裁剪处理；数据增强采用stylegan通过对碎片风格的多特征融合实现。

21、进一步，步骤二中，将扩展邻域注意力机制融入到regnet网络中，通过对秦俑碎块的物理以及文化特征进行局部注意力增强，实现特征显著碎块分类。

22、进一步，步骤三中，将输入图像通过一系列卷积层来提取特征映射。然后将dina机制应用于特征图，以计算图像中每个像素的重要性。

23、进一步，步骤五中，对于输入x∈rn×d，给定膨胀值δ，定义邻域大小为k的第i个令牌的邻域注意权重为其中q、k，v是x的线性投影，则：

24、

25、

26、式中，bi,j是任何两个令牌i和j之间的相对位置偏差，将第i个令牌的q与其k个最近邻令牌的k做矩阵乘法，其中表示令牌i的第j个最近邻令牌，满足j modδ＝i modδ。根据相对位置将bi,j添加到每个注意力权重中并扩展到所有像素(i,j)，从而形成局部注意力的形式。

27、邻域大小为k的第i个令牌的邻域注意输出，定义为：

28、

29、式中，dina是扩展的邻域注意力，d是嵌入维数，是缩放参数；softmax为归一化指数函数，用于使注意力权重正常化。层膨胀值δ∈[1,[n/k]]，其中n是令牌的数量，k是邻域大小。

30、dinat对特征图的每个像素周围创建一个扩大的邻域。这个邻域由膨胀率定义，膨胀率决定了邻域的大小。然后，注意力机制根据邻近中每个像素与其他像素的相似度来衡量其重要性。

31、进一步，步骤六中，设输入特征为门控卷积的输出为：

32、

33、

34、式中，φin，φout是线性投影操作，用于完成通道维度的信息交流；f是逐通道的卷积；其中ωi是逐通道卷积的局部窗口，中心坐标为i，w为逐通道卷积的权重。

35、门控卷积的输出表达式是及周边特征的1阶相互作用。

36、实现高阶空间交互时，通过φin得到一系列的投影特征p0和

37、

38、卷积层在使用小内核大小从输入图像中提取低级特征后，这些特征再通过递归门控卷积层传递，捕获高阶空间相互作用:

39、pk+1＝fk(qk)⊙gk(pk)/αk＝0,1,...,n-1；

40、式中，每次递归通过除以α稳定训练，{fk}是系列的逐通道卷积操作，{gk}是在每次递归的过程匹配特征的通道数。

41、递归门控卷积层gnconv由若干递归子块组成。每个子块由两个卷积层组成，后面跟着一个门控机制。第一卷积层用于从输入中提取特征，而第二卷积层用于将这些特征与前一个递归子块的输出结合起来。

42、计算门控卷积时，直接将组合的特征通过逐通道卷积完成；

43、

44、将最后一次递归的输出qn输入到投影层φin得到gnconv的结果。利用gnconv实现某一特征和周边特征的n阶相互作用，通过递归门控卷积的高阶交互能力实现对碎块的物理特征与文化特征进行联合学习。

45、每一阶的通道维度均设置为指数递减的形式：

46、

47、进一步，步骤七中，用门控卷积gnconv替换regnet网络结构中的regstage，同时通过采用两个深度卷积--7×7convolution和全局过滤器gf实现gnconv捕获长期交互，进行物理和文化特征的联合解译。

48、其中，gf层为改进版本，一半的通道使用全局过滤器处理，另一半使用3×3深度卷积处理，并只在后期使用gf层保留更多的局部细节。

49、本发明的另一目的在于提供一种应用所述的文物碎片精细分类方法的文物碎片精细分类系统，文物碎片精细分类系统包括：

50、数据增强模块，用于将秦俑碎块进行数字化处理，通过基于样式的生成式对抗网络对现有秦俑碎块数据集进行数据增强，构建样本数据库；

51、模型构建模块，用于构建递归门控卷积自调节网络模型，在模型的特征提取层设计扩展邻域注意力机制，通过对秦俑碎块的轮廓线、厚度、曲率的物理特征以及颜色、纹理的文化特征进行局部注意力增强；

52、文物碎片精细分类模块，用于在卷积层设计递归门控卷积，通过高阶空间交互对碎块的物理特征与文化特征进行联合学习，实现文物碎片精细分类。

53、本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的文物碎片精细分类方法的步骤。

54、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的文物碎片精细分类方法的步骤。

55、本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的文物碎片精细分类系统。

56、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

57、第一，针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：

58、本发明通过基于样式的生成式对抗网络(stylegan)对现有秦俑碎块数据集进行数据增强，满足regnet网络训练规模的同时提升模型分类效果；其次，针对regnet网络模型特征提取弱的问题，在模型的特征提取层设计扩展邻域注意力机制(dinat)，通过对秦俑碎块的轮廓线、厚度、曲率的物理特征以及颜色、纹理的文化特征进行局部注意力增强，提升局部精细化特征，实现具有显著特征碎块的快速分类；同时，在卷积层设计递归门控卷积(gnconv)，通过高阶空间交互对碎块的物理特征与文化特征进行联合学习，提升dinat-gnconv-regnet模型的联合解译能力，有效解决因颜色模糊褪色、纹理磨损等显著特征部分缺失的碎块漏分、误分和错分问题。本发明的文物碎块精细分类方法可有效提取文物碎块的复杂视觉外观特征，实现与部分特征缺失的联合解译，从而进行精细分类，为文物数字化保护与复原提供有效途径和手段。

59、与现有分类技术相比，本发明还具有如下技术效果：

60、1.构建了高质量大规模的文物碎块数据样本库，为后续数据分类模型的训练提供良好的基础和支持，提高模型的分类的准确率。

61、2.采用的regnet网络参数化的核心思想可表示为：好的网络的宽度和深度可以用一个量化的线性函数来解释，regnet提供了简单而快速的网络，可以在各种令牌制度中很好地工作。

62、3.在regnet网络中加入扩展邻域注意力机制(dinat)，这种简单灵活且功能强大的稀疏全局注意力模式，允许感受野呈指数增长并捕获更远范围的上下文特征，而无需任何额外的计算成本。本发明通过模型利用渐进式膨胀变化，更优化地扩展感受野，而无需扩展到更大的窗口大小。通过对秦俑碎块的轮廓线、厚度、曲率的物理特征以及颜色、纹理的文化特征进行局部注意力增强，提升局部精细化特征，有利于增强文物碎块的特征提取能力，实现具有显著特征碎块的快速分类。

63、4.引入的门控递归卷积模块gnconv通过门控卷积和递归设计执行高阶空间交互，新操作具有高度的灵活性和可定制性，实现对碎块的物理特征与文化特征进行联合学习，提升dinat-gnconv-regnet模型的联合解译能力，有效解决因颜色模糊褪色、纹理磨损等显著特征部分缺失的碎块漏分、误分和错分问题。

64、5.本发明提供的文物碎块精细分类方法可有效提取文物碎块的复杂视觉外观特征与部分特征缺失的联合解译，从而进行精细分类，有利于后续的文物拼接修复工作，极大节省修补的时间花费，提升拼接修复准确率，为文物拼接修复提供有效分类上的技术支持，同时促进了文化遗产的保护传承工作。

65、第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：

66、为解决现有技术存在的问题，本发明提供了一种基于扩展邻域注意力机制的递归门控卷积自调节网络(dinat-gnconv-regnet)，实现文物碎块精细分类的方法，提高了文物碎块的分类准确率，还提高了文物修补的效率和准确率。

67、本发明通过自适应网络regnet作为主干网络，通过增加了网络深度和宽度，使其能够学习复杂的特征并很好地泛化到新数据。其次，regnet使用网络通道的分组缩放来减少参数的数量并提高计算效率。

68、在特征提取层，办发明设计基于扩展邻域的注意力机制(dinat)，将dinat机制应用于特征图，在图像中的每个像素周围创建一个扩大的邻域，这个邻域由膨胀率定义，膨胀率决定了邻域的大小。并使用注意力机制根据邻近中每个像素与其他像素的相似度来计算图像中每个像素的重要性。dinat允许模型根据任务的上下文，有选择地关注图像的不同部分。通过专注于最相关的特征，减少噪声并提高模型的准确性。同时该模型被设计为计算效率高，非常适合需要快速推断时间的实际应用。

69、同时在在卷积层设计递归门控卷积，输入特征映射与可学习滤波器进行卷积后，将结果按元素与前一个递归门的输出相乘。通过高阶空间交互对碎块的物理特征与文化特征进行联合学习，增强分类网络对文化特征和物理特征联合解译的能力，同时不需要大量参数。这使得它比其他使用更大内核或更复杂架构的模型在计算上更高效，进而实现文物碎片的精细分类。

70、第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：

71、(1)本发明的技术方案转化后的预期收益和商业价值为：

72、本发明完成技术转化后，对于文物碎块图像分类具有极高的商业价值与使用价值，首先本发明已经通过实验证明在秦俑碎块图像分类上达到精细分类效果；同时在本实验室文物相关项目中发挥积极作用，例如：瓷片、秦腔脸谱、秦腔服装等一系列分类研究中具有良好的移植性，适用范围广泛，无论戏曲爱好者、文物收藏者还是文物研究人员，都可通过本发明实现自己不同的使用目的；本发明完成转化后，还具有如下优势：操作简单易上手，对于不同使用人群都可在短时间内具备对该发明的使用水平；同时该发明相比于其他基于卷积神经网络的分类模型体量更小，占用更少的内存，分类准确率提高的同时减少了分类的等待时间；同样在当前的大背景下，传统文物的保护成为热潮，本发明的出现顺应时代潮流。基于以上几点，可以说本发明在转化后具有极高的商业价值。

73、(2)本发明的技术方案解决了人们一直渴望解决、但始终未能获得成功的技术难题：

74、以前传统分类方法多依靠人工经验的判断，或者基于设置标签的方式进行分类，虽然可以保障分类结果的成功率，但耗时费力，过程繁琐；引入深度学习用于分类后，虽然卷积神经网络大大缩短了分类时间，但cnn对特征信息提取不充分、易陷入过拟合等问题，造成分类结果的错误表示，反而影响了后续的拼接过程；所以对于传统文物如何在降低时间复杂度的基础上提升分类准确度，一直是一个渴望被解决的技术难题，本发明通过自适应网络regnet作为主干网络，通过增加了网络深度和宽度，使其能够学习复杂的特征并很好地泛化到新数据。其次，regnet使用网络通道的分组缩放来减少参数的数量并提高计算效率。

75、在特征提取层，办发明设计基于扩展邻域的注意力机制(dinat)，根据邻近中每个像素与其他像素的相似度来计算图像中每个像素的重要性。该模型被设计为计算效率高，非常适合需要快速推断时间的实际应用。

76、同时在在卷积层设计递归门控卷积，通过高阶空间交互对碎块的物理特征与文化特征进行联合学习，增强分类网络对文化特征和物理特征联合解译的能力，实现文物碎片的精细分类。

77、本发明通过上述方法有效的解决了分类时间复杂度与分类精度的双重矛盾，具有更高的分类准确率，更少的耗时，具有极高的使用价值和推广价值。