一种佛教造像文物三维模型识别归类方法

1.本发明涉及机器视觉技术领域，具体为一种佛教造像文物三维模型识别归类方法。


背景技术：

2.跟随路上丝绸之路，从中国地理位置最西的新疆克孜尔石窟、途径甘肃敦煌石窟、重庆大足石刻、河南龙门石窟，再到中国东海之滨的浙江省飞来峰石窟寺，其佛教造像各具特色同时又辉映着其时代特征。然而，虽然石窟寺专家学者依靠人工经验观察佛教造像的题记、开脸、束发、衣着、法器、坐姿、侧面腹部、头与身子的大小比例和莲座等要素，必要时再查阅相关历史和文字资料，进而提出对佛教造像判定和断代。但是，这些传统方法一般仅限于在文物领域经验丰富的专家，然而积累学习成为专家的过程往往让普通群众望其项背。而故宫博物院收藏着180多万件珍贵文物，其中有各时期的佛教文物造像，如何使用机器自动识别和分析辅助专家，可以极大的减轻专家在识别分析领域的工作负担。
3.当代数字文化遗产研究不仅仅要基于传统考古学和文化遗产学研究基础，更需要结合先进数字技术在本领域的应用。因此，数字文化遗产研究对象与文化遗产研究本质密不可分，研究对象是古代人类在社会活动中遗留下来的文物，在研究技术和设备上则以数字技术主要工具。例如，以huggett jeremy为代表的学者不仅仅提出数字文化遗产建立在日新月异的设备、技术、方法论、软件、硬件的辅助下以自己的方式不同程度地重新塑造了数字文化遗产研究的本质。但是同时也指出了此领域的当前挑战，例如，基于计算机技术的数字文化遗产和考古工具没有创新性，仅仅是作为数字工具，也可以用于其他领域，而这些数字工具对提升考古学科本质并没有实质性进展。当前主要文物数字化保护研究多停留在针对文物的三维扫描和数字化记录阶段，而目前的图像识别也主要基于二维平面数据，鉴于上述原因，我们提出了一种佛教造像文物三维模型识别归类方法。


技术实现要素：

4.1、本发明要解决的技术问题
5.本发明的目的在于提供一种佛教造像文物三维模型识别归类方法，以解决上述背景技术中提出的问题：
6.(1)如何基于机器视觉，对佛教造像文物三维模型进行识别归类；
7.(2)在识别归类过程中如何使用已经三维扫描的佛教造像图片基于不同佛教造像特征要素进行标注，完善数据集和对模型进行训练部署。
8.2、技术方案
9.为实现上述目的，本发明提供如下技术方案：
10.一种佛教造像文物三维模型识别归类方法，包括以下步骤：
11.s1、通过文献综述的研究方法建设国内外三维数据识别归类、点云数据识别归类、佛教造像特征要素、三维图像标注、resnet模型算法、人工智能开放平台的知识图谱；
12.s2、对佛教造像特征要素信息进行首次提炼，根据提炼所得的要素信息，建立三维模型标注模型；
13.s3、利用三维扫描仪器，对完成佛教造像文物的数字化扫描工作；生成1as云格式的数字化方法成果；
14.s4、将s3中所得的数字化方法成果与现有已经完成三维模型建设的佛教造像模型相结合，建设佛教造型模型三维数字库；
15.s5、优化resnet算法构架，展开人工智能的图像识别分类算法的研究；
16.s6、基于s5中优化后的算法构架，再次对佛教造像模型的特征要素信息进行处理、标注、分析和筛选；
17.s7、利用s6中处理后的特征要素信息对s2中所得的三维模型标注模型的特征度和适用性进行校准；
18.s8、基于resnet算法，对s7中校准过的佛教造像模型的三维模型标注模型进行训练；
19.s9、将s8中训练后的佛教造像模型的三维模型标注模型应用于与之相匹配的佛教造像文物识别设备中，并对设备进行布置、安装，实现佛教造像文物的识别和分类。
20.优选地，所述s2中提到的信息提炼和模型构建工作包括以下步骤：
21.a1、根据相关历史文献总结目前不同佛教造像的特征要素信息，要素信息包括有佛教造像的题记、开脸、束发、衣着、法器、坐姿侧面腹部、头与身子的大小比例以及莲座；
22.a2、基于a1中所述的佛教造像的特征要素信息构建三维模型标注模型，对一个正面和两个侧面图像进行标注；
23.a3、在构建标注模型过程中，使用文字扫描设备对含有造像特征要素信息的书籍文献进行数字化扫描，总结归纳佛教造像要素的图形特征；
24.a4、将a3中所得信息融入到佛教造像三维模型的标注信息中。
25.优选地，所述s3中提到的三维扫描仪器具体包括有远程激光扫描仪、球状手持激光扫描仪以及无人机雷达点云扫描仪。
26.优选地，所述s5中提到的对resnet算法构架进行优化，具体包括以下步骤：
27.b1、深化resnet算法对佛教造像图像分析的适应性，测试resnet算法能否直接识别点云格式或其他佛教造像模型；
28.b2、若不能直接识别三维模型，则对测试数据集进行进一步训练，测试resnet算法对点云格式三个重要面的分析识别；
29.b3、不断调节resnet算法层数，寻找resnet层数对佛教造像识别的最优解，测试并完善resnet算法的参数。
30.优选地，所述b2中提到的对数据集进一步训练，具体包括以下步骤：
31.c1、将佛教造像三个重要面的图像数据信息作为训练数据集，将数据集归一化为同一像素，并将数据打乱混洗；
32.c2、将c1中的数据集的交叉熵和互补熵相结合，形成互补交叉熵，减小训练数据集中不平衡数据在训练过程中产生的误差，所述互补交叉熵的公式定义为：
[0033][0034]
其中，是正则化因子；
[0035]
c3、定义平衡互补熵具体公式定义如下：
[0036][0037]
其中，为平衡因子；
[0038]
c4、增加γ参数在原始互补熵之间，平衡测试数据集的交叉熵和互补熵，具体公式定义如下：
[0039][0040]
c5、当γ＝-1时，互补交叉熵的定义为：
[0041][0042]
c6、将c5中计算所得互补交叉熵代入至resnet算法中，实现对佛教造像特征的识别、分类。
[0043]
优选地，所述s8中提到的对三维模型标注模型进行训练，具体包括以下步骤：
[0044]
d1、将s4中所得佛教造型模型三维数字库作为三维模型标注模型的训练数据集；
[0045]
d2、设计训练验证比例并将resnet算法订阅到modelarts管理控制台中；
[0046]
d3、创建训练作业，并将数据导入至三维模型标注模型中，完成训练工作。
[0047]
3、有益效果
[0048]
(1)本发明提出了基于resnet算法和三维可视化技术相结合的佛教造像文物三维模型识别归类方法，能基于机器视觉，完成对佛教造像文物的识别与分类，有效提炼佛教造像文物的特征要素信息，完成对佛教造像文物三维模型及标注模型的构建，为佛教造像文物的数字化记录和保护工作提供了便利；
[0049]
(2)本发明有效的优化了resnet算法构架，对三维模型标注模型进行训练，进一步提高了佛教造像文物识别、分类及标注的准确性和工作效率。
附图说明
[0050]
图1为本发明提出的一种佛教造像文物三维模型识别归类方法的方法结构示意图；
[0051]
图2为本发明提出的一种佛教造像文物三维模型识别归类方法的实施例2中佛教造像标注示意图。
具体实施方式
[0052]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
实施例1：
[0054]
请参阅图1，一种佛教造像文物三维模型识别归类方法，,包括以下步骤：
[0055]
s1、通过文献综述的研究方法建设国内外三维数据识别归类、点云数据识别归类、佛教造像特征要素、三维图像标注、resnet模型算法、人工智能开放平台的知识图谱；
[0056]
s2、对佛教造像特征要素信息进行首次提炼，根据提炼所得的要素信息，建立三维模型标注模型；
[0057]
s2中提到的信息提炼和模型构建工作包括以下步骤：
[0058]
a1、根据相关历史文献总结目前不同佛教造像的特征要素信息，要素信息包括有佛教造像的题记、开脸、束发、衣着、法器、坐姿侧面腹部、头与身子的大小比例以及莲座；
[0059]
a2、基于a1中的佛教造像的特征要素信息构建三维模型标注模型，对一个正面和两个侧面图像进行标注；
[0060]
a3、在构建标注模型过程中，使用文字扫描设备对含有造像特征要素信息的书籍文献进行数字化扫描，总结归纳佛教造像要素的图形特征；
[0061]
a4、将a3中所得信息融入到佛教造像三维模型的标注信息中；
[0062]
s3、利用三维扫描仪器，对完成佛教造像文物的数字化扫描工作；生成1as云格式的数字化方法成果；
[0063]
s3中提到的三维扫描仪器具体包括有远程激光扫描仪、球状手持激光扫描仪以及无人机雷达点云扫描仪；
[0064]
s4、将s3中所得的数字化方法成果与现有已经完成三维模型建设的佛教造像模型相结合，建设佛教造型模型三维数字库；
[0065]
s5、优化resnet算法构架，展开人工智能的图像识别分类算法的研究；
[0066]
s5中提到的对resnet算法构架进行优化，具体包括以下步骤：
[0067]
b1、深化resnet算法对佛教造像图像分析的适应性，测试resnet算法能否直接识别点云格式或其他佛教造像模型；
[0068]
b2、若不能直接识别三维模型，则对测试数据集进行进一步训练，测试resnet算法对点云格式三个重要面的分析识别；
[0069]
b3、不断调节resnet算法层数，寻找resnet层数对佛教造像识别的最优解，测试并完善resnet算法的参数；
[0070]
b2中提到的对数据集进一步训练，具体包括以下步骤：
[0071]
c1、将佛教造像三个重要面的图像数据信息作为训练数据集，将数据集归一化为同一像素，并将数据打乱混洗；
[0072]
c2、将c1中的数据集的交叉熵和互补熵相结合，形成互补交叉熵，减小训练数据集中不平衡数据在训练过程中产生的误差，所述互补交叉熵的公式定义为：
[0073][0074]
其中，是正则化因子；
[0075]
c3、定义平衡互补熵具体公式定义如下：
[0076][0077]
其中，为平衡因子；
[0078]
c4、增加γ参数在原始互补熵之间，平衡测试数据集的交叉熵和互补熵，具体公式定义如下：
[0079][0080]
c5、当γ＝-1时，互补交叉熵的定义为：
[0081][0082]
c6、将c5中计算所得互补交叉熵代入至resnet算法中，实现对佛教造像特征的识别、分类；
[0083]
s6、基于s5中优化后的算法构架，再次对佛教造像模型的特征要素信息进行处理、标注、分析和筛选；
[0084]
s7、利用s6中处理后的特征要素信息对s2中所得的三维模型标注模型的特征度和适用性进行校准；
[0085]
s8、基于resnet算法，对s7中校准过的佛教造像模型的三维模型标注模型进行训练；
[0086]
s8中提到的对三维模型标注模型进行训练，具体包括以下步骤：
[0087]
d1、将s4中所得佛教造型模型三维数字库作为三维模型标注模型的训练数据集；
[0088]
d2、设计训练验证比例并将resnet算法订阅到modelarts管理控制台中；
[0089]
d3、创建训练作业，并将数据导入至三维模型标注模型中，完成训练工作；
[0090]
s9、将s8中训练后的佛教造像模型的三维模型标注模型应用于与之相匹配的佛教造像文物识别设备中，并对设备进行布置、安装，实现佛教造像文物的识别和分类。
[0091]
本发明提出了基于resnet算法和三维可视化技术相结合的佛教造像文物三维模型识别归类方法，能基于机器视觉，完成对佛教造像文物的识别与分类，有效提炼佛教造像文物的特征要素信息，完成对佛教造像文物三维模型及标注模型的构建，为佛教造像文物的数字化记录和保护工作提供了便利；本发明有效的优化了resnet算法构架，对三维模型标注模型进行驯训练，进一步提高了佛教造像文物识别、分类及标注的准确性和工作效率。
[0092]
实施例2：
[0093]
请参阅图1-2，结合实施例1的基础有所不同之处在于，本发明以飞来峰佛教造像
识别、分类和标注工作为例，具体包括以下内容：
[0094]
(1)通过文献综述的研究方法建设国内外三维数据识别归类、点云数据识别归类、佛教造像特征要素、三维图像标注、resnet模型算法、人工智能开放平台的知识图谱。实现方案如下：
[0095]
在文献分析中重点关注佛教造像特征要素、resnet模型算法、人工智能开放平台、三维遗产信息数据获取、人工智能与三维可视化如何结合、欧美相关研究成果等技术细节和实际案例。
[0096]
了解其他相关项目中如何使用现有三维模型分析和活化利用模式，尤其是点云数据与其他数据格式转标，相互兼容的软件格式等。
[0097]
探索项目目前设备的适应性，项目的提出和最终批复有一定的时间差，而在这个时间差中现在的技术日新月异。考虑现有设备和研究基础是否可以有效地用于数据分析、数据存储、三维影像数据获取和拼接终端设备。是否需要对设备进行升级换代。
[0098]
(2)首次尝试对佛教造像特征要素信息提炼和建立三维模型标注模型。实现方案如下：
[0099]
根据历史文献总结目前不同佛教造像的题记、开脸、束发、衣着、法器、坐姿、侧面腹部、头与身子的大小比例和莲座等要素(如表1)。
[0100][0101][0102]
基于佛教造像要素建立三维模型标注模型，主要为一个正面和两个侧面图像的标注(如表2)。
[0103]
[0104][0105]
在建立过程中使用华为hilen kit设备(云ai)对含有佛教造像要素的书籍文献进行数字化扫描，总结归纳佛教造像要素的图形特征。
[0106]
并且把这些数据也融入到佛教造像三维模型的标注信息中。首次标准特征可能会不准确，需要大量对三维佛教造像完成三维扫描以后进行再次效验和标注。
[0107]
(3)建设佛教造像三维数字模型库。实现方案如下：
[0108]
综合所有已经完成三维模型建设的佛教造像模型，建设佛教造像三维数字库。本项目计划对1000尊故宫佛教造像进行三维扫描。佛教造像文物数字化基于中远程激光扫描仪、球状手持激光扫描仪以及无人机雷达点云扫描三种模式,三种模式产生的文物数字化方法成果主要是las点云格式。
[0109]
探讨三维模型在不同点云格式、面片格式下的互相转化，尤其是las点云格式如何快速生成佛教造像一张正面、两个侧面共计三张图片。图片格式可以为jpeg格式、gif格式或者bmp格式。
[0110]
(4)优化resnet算法构架，展开人工智能的图像识别分类算法的研究。基于优化后的算法再次对佛教造像三维模型处理、标注、分析和筛选。实现方案如下：
[0111]
深化resnet算法对佛教造像图像分析的适应性，侧重测试resnet算法能否直接识别点云格式(las)或者其他三维佛教造像模型。如果不能直接识别三维模型，那么测试resnet算法对点云格式(las)三个重要面的分析识别。
[0112]
尝试不断调节resnet算法层数，寻找resnet层数对此项目的最优解。测试并且不断完善resnet算法的参数。
[0113]
在已经完成了故宫佛教造像三维模型上进行佛教特征标注。把佛教造像点云信息转为jpeg格式图片后，在佛教造像一张正面、两个侧面三张jpeg格式图片上标注每一尊佛像的佛教造像的题记、开脸、束发、衣着、法器、坐姿、侧面腹部、头与身子大小比例和莲座等要素。
[0114]
首次试验标注可能会遇到佛教造像不准确的相关问题，基于深化后的resnet算法对首次佛教造像准确度和适用性进行校准。
[0115]
基于以上标注信息建立三维佛教造像特征要素数据集，再次对标注每一类佛像的一张正面、两个侧面共计三张图片上个各种特征要素信息(如图2所示)。
[0116]
计划对1000尊佛教造像进行标注，标注图片至少3000张。
[0117]
(5)基于resnet算法对佛教造像模型训练。实现方案如下：
[0118]
对已经完成三维扫描和标注1000尊佛教造完成数据集的创建。
[0119]
设定训练验证比例并且将resnet算法订阅到modelarts管理控制台中。
[0120]
创建训练作业并且导入模型。
[0121]
(6)模型部署、测试和不断完善。实现方案如下：
[0122]
基于华为云modelarts对已经标注的信息模型进行模型训练以后，在modelarts平台部署对以上关键要素识别功能，赋予modelarts平台对平面佛教造像关键要素识别功能。
[0123]
设定modelarts部署后模型与hilen kit人工智能终端设备相关联，当使用hilen kit在任何场所拍摄一个等待识别的佛教造像时，此图像会传到modelarts平台上。
[0124]
modelarts平台会根据前述内容中已经标注的佛教造像特征(一张正面、两个侧面标注信息)做出判断。当通过hilen kit相机检测到等待识别佛教造像符合某种特征的时候，modelarts平台会自动报警。然后modelarts平台则会根据佛教要素信息对佛教造像文物三维模型识别。
[0125]
当通过hilen kit相机检测到等待识别佛教造像符合某种特征的时候，modelarts平台可以进行自动识别。例如，通过hilen kit相机检测到等待识别佛教造像符合某种特征的时候，计算机会显示经过与三维佛教造像数据库的对比识别分析，hilen kit所拍摄的图像有xx％的可能是某某佛教造像。
[0126]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。