一种笔石化石图像的分类方法及装置

本发明涉及计算机视觉，具体涉及一种针对笔石化石图像的分类方法及装置。

背景技术：

1、笔石是一群生活在3亿年前的已灭绝漂浮动物，涵盖了多个科、属和物种。他们其中一些物种的分布与页岩气——一种清洁高效的能源的分布密切相关。准确地识别页岩气的指示类对于页岩气资源的勘探至关重要。然而，笔石化石图像的识别需要丰富的专业知识且非常耗时，再加上由于笔石缺乏生物学特征以及个体不完整边界模糊等问题，培训勘探人员识别笔石化石十分低效。在等待古生物学家的建议时，每天要花费数百万美元来维持钻井平台的运行。因此，石油工业需要可靠高效的笔石化石图像分类技术来最小化潜在的石油勘探成本，笔石化石自动分类技术的发展成为了古生物界和石油天然气工业的优先事项。

2、笔石化石图像的自动分类技术需要实现“种”一级的类别预测，确定其是否为油气资源的指示类别。目前笔石化石相关的分类技术还几乎是空白，大多数生物领域的分类层模型完全基于图像。而对于笔石化石来说，由于部分个体破损严重，图像本身包含的信息是有限的。因此，利用化石发掘的位置，地质时代及与周边其他化石的亲缘关系等信息对于提高分类准确率是必要的。由于现有基于深度学习的图像分类器无法有效利用图像以外的元数据信息，在应用于笔石化石图像的分类时，其稳健性和可靠性还需要进一步提高。

3、经对现有技术的文献检索发现，专利cn115546134a提供了一种用于微观化石ct图片的语义分割和分类方法。该方法首先使用重建和超分辨率技术对化石图像进行了预处理，然后使用基于深度学习的方法对化石进行了语义分割和分类。虽然该方法同样将化石作为分类的对象，但经过预处理微观化石往往可以和围岩分离，有较为单一的背景。而作为宏观化石，笔石不仅无法脱离围岩存在，而且有丰富的类别以及复杂多样的围岩纹理作为干扰。因此该方法不能有效的应用于笔石化石的分类。

4、进一步检索发现，专利cn104820718b提供了一种基于地理位置特征与全局视觉特征的图像分类和检索方法。该方法提取图像的gist特征作为全局视觉特征，并通过k-means法对特征进行位置信息聚类，将聚类中心的特征作为类特征。当用户上传图像时通过逐一比对获取可能类的排序。该专利中使用gist特征提取方法较为粗糙，难以在细粒度图像分类中有效。且该方法无法利用物种之间的相关性作为分类依据。

技术实现思路

1、本发明针对现有技术存在的上述不足，提供了一种基于元数据先验和深度学习的化石图像分类方法。本发明根据化石物种分布与地理位置，地质时代的相关性，以及物种间的相关性，提出个元数据的嵌入分类模型，利用与笔石化石单体图像对应的元数据提高分类的准确率和鲁棒性。本发明是通过以下技术方案来实现的，本发明具体为：

2、一种笔石化石图像的分类方法，其特征在于，包括下列步骤：

3、步骤一：准备笔石化石图像数据集，方法如下：

4、1)拍照收集笔石化石原始标本；

5、2)利用定位系统获取笔石化石原始标本发掘地点的地理位置；确定笔石化石原始标本的地质时代；将笔石化石原始标本的地理位置和地质时代作为笔石化石原始标本的对应元数据，构建笔石化石图像数据集；

6、3)划分笔石化石图像数据集为训练集和测试集，使测试集至少包含一个笔石化石原始标本；

7、4)分割出笔石化石原始标本图像中的每个笔石化石单体图像，使每个笔石化石单体图像继承笔石化石原始标本的类别，元数据以及数据集划分；

8、5)标注笔石化石单体图像的类别，包括科，属，种三个层级，构成数据对：{笔石化石单体图像，元数据，类别}；

9、步骤二：搭建并训练元数据的嵌入分类模型，元数据的嵌入分类模型包含嵌入模型和分类层模型两部分，方法如下：

10、1)搭建嵌入模型，搭建嵌入模型，嵌入模型为由输出维度不同的多个全连接层级联组成的神经网络，其输入为笔石化石原始标本的地理位置，输出为笔石化石原始标本的地理位置的嵌入向量；

11、2)以笔石化石单体图像对应的地质时代和类别为依据，利用共现关系构建正则化项，调节嵌入向量间的欧式距离；

12、3)搭建分类层模型，分类层模型的输入是地理位置的嵌入向量，输出是科，属，种三个层级的预测结果；对科，属，种三个层级的预测结果分别计算交叉熵损失；

13、4)利用梯度下降法最小化交叉熵损失与正则化项的加权和，获得嵌入模型和分类层模型的参数估计；

14、步骤三：搭建并训练笔石化石单体图像分类器；

15、步骤四：将测试集中的笔石化石单体图像和对应元数据分别输入笔石化石单体图像分类器和元数据嵌入分类模型，融合两者输出获取笔石化石单体图像类别预测结果。

16、进一步地，在步骤一之后步骤二之前，还对训练集中的笔石化石单体图像和元数据进行增广处理。

17、进一步地，对于训练集中的笔石化石单体图像进行色彩随机浮动的增广处理。

18、进一步地，对于训练集中的笔石化石单体图像进行刚体变化或仿射变换的增广处理。

19、进一步地，对于训练集中的笔石化石单体图像进行行光学畸变，弹性畸变或网格畸变的增广处理。

20、进一步地，对于训练集中的笔石化石单体图像进行cutout的增广处理。

21、进一步地，对元数据中的地理位置加入噪声进行增广处理。

22、进一步地，对于训练集中的笔石化石单体图像进行加入高斯噪声的增广处理。

23、本发明同时给出实现上述方法步骤的笔石化石图像的分类装置及存储程序指令的计算机可读存储介质。

24、本发明的有益效果是：本发明利用化石图像相应的元数据信息训练分类器，其结果与笔石化石单体图像分类器结合，提高了预测的准确率。同时利用了物种的亲缘关系，共现关系对嵌入分类模型进行正则化，提高了元数据分类器的鲁棒性。与现有技术相比，元先验数据分类器对化石图像本身的质量要求更低，具有更广泛的应用范围和可靠性。

技术特征：

1.一种笔石化石图像的分类方法，其特征在于，包括下列步骤：

2.根据权利要求1所述的笔石化石图像的分类方法，其特征在于，在步骤一之后步骤二之前，还对训练集中的笔石化石单体图像和元数据进行增广处理。

3.根据权利要求2所述的笔石化石图像的分类方法，其特征在于，对于训练集中的笔石化石单体图像进行色彩随机浮动的增广处理。

4.根据权利要求2所述的笔石化石图像的分类方法，其特征在于，对于训练集中的笔石化石单体图像进行刚体变化或仿射变换的增广处理。

5.根据权利要求2所述的笔石化石图像的分类方法，其特征在于，对于训练集中的笔石化石单体图像进行行光学畸变，弹性畸变或网格畸变的增广处理。

6.根据权利要求2所述的笔石化石图像的分类方法，其特征在于，对于训练集中的笔石化石单体图像进行cutout的增广处理。

7.根据权利要求2所述的笔石化石图像的分类方法，其特征在于，对元数据中的地理位置加入噪声进行增广处理。

8.根据权利要求2所述的笔石化石图像的分类方法，其特征在于，对于训练集中的笔石化石单体图像进行加入高斯噪声的增广处理。

9.一种笔石化石图像的分类装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-8中的任一项所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1-8中的任一项所述的方法步骤。

技术总结
本发明涉及一种笔石化石图像的分类方法，包括下列步骤：准备笔石化石图像数据集；搭建并训练元数据的嵌入分类模型，元数据的嵌入分类模型包含嵌入模型和分类层模型两部分；搭建并训练笔石化石单体图像分类器；将测试集中的笔石化石单体图像和对应元数据分别输入笔石化石单体图像分类器和元数据嵌入分类模型，融合两者输出获取笔石化石单体图像类别预测结果。本发明同时还给出实现上述方法步骤的笔石化石图像的分类装置及存储程序指令的计算机可读存储介质。

技术研发人员：张智秋,李响,徐洪河,牛志彬
受保护的技术使用者：天津大学
技术研发日：
技术公布日：2024/1/14