一种基于YOLO模型的土壤样品自动巡检系统及方法

本发明属于土壤样品长期保存，特别是涉及一种基于yolo模型的土壤样品自动巡检系统及方法。

背景技术：

1、长期保存的土壤样品作为特定时空场景下的土壤快照，保存了土壤圈长期演变过程中不同时间断面的信息，起到土壤环境“时间胶囊”的作用，为生态环境长期变化研究提供了参考基准。因此，长期保存的土壤样品是揭示长期生态变化的不可替代的科技资料，是国家科技基础支撑条件的重要组成部分，对于土壤及环境长期变化研究和科学数据开放共享等具有重要价值。近年来，随着我国对农业和生态环境科技投入的不断增长，土壤调查强度逐步增大，土壤样品积累速度明显加快，因此，土壤样品保存的需求巨大。特别是2022年启动的第三次全国土壤普查，将保存300多万件土壤样品，亟需自动化智能化的样品库巡检装置，重点在样品保存入库和日常检查两个阶段。

2、在土壤样品入库后，随着保存年限的增加，土壤样品瓶体状态发生变化如样品瓶位置偏移甚至倾倒、样品瓶老化碎裂造成土壤样品撒落(瓶体异常状态概括为“位偏”、“瓶倒”、“土撒”)，土壤样品瓶的标签状态变化如标签老化起胶、污损、丢失等问题(标签异常状态概括为“污损”、“起胶”、“丢失”)，对于这些可能出现的问题都需要及时发现和维护。对于保存规模达到上千瓶乃至数百万瓶的样品库，采用人工手段逐瓶检查样品瓶体状态、标签状态指标需要耗费大量时间，并且人工检查存在主观性。在土壤样品长期保存管理中，样品库参观、样品取用、样品库维护等各种因素可能会造成土壤样品的摆放错位，即实际存放位置与登记位置不一致，这将给土壤样品检索和使用造成困难，因此，需要对土壤样品的保存位置进行定期巡检。然而，靠人工手段对数千甚至数百万件土壤样品位置进行检查和核对保存位置，需要耗费大量的人力和时间成本，不仅效率低，而且容易出错。

3、基于图像分割和特征提取的图片自动解析方法，可以实现对图片进行分割，提取出目标物以及几何特征等关键信息，被广泛用于人脸识别、车牌识别和卫星图像分析、仓库巡检等。yolo(you only look once)能够其一次性识别图像中的多种目标及其位置，且具有快速、高精度的特点，适合海量目标的快速检测。创建和训练符合应用场景的yolo模型，是应用yolo的首要基础。然而，不同的应用场景需要的先验知识、专家经验差别很大。特别是对于海量土壤样品长期保存的应用场景，如何开发土壤样品巡检的专用模型，以及如何应用yolo预测结果开展解算和解析以实现土壤样品自动巡检，目前仍然是空白。

技术实现思路

1、本发明目的在于解决上述背景技术中提出的问题，提供一种基于yolo模型的土壤样品自动巡检系统及方法。

2、为了实现本发明目的，本发明公开了一种基于yolo模型的土壤样品自动巡检系统，包括图像采集子系统、图像识别与处理子系统；所述图像采集子系统搭载于运动机构，用于采集保存架上土壤样品瓶和标签的图像，并发送至图像识别与处理子系统；所述图像识别与处理子系统用于判别土壤样品瓶体及标签状态，将图像相对坐标或像素坐标解析和解算为行号、列号，构建土壤样品的“架—柜—层—行—列”保存位置信息，并与数据库中记录的入库信息进行比对，汇总生成报表保存于上位机。

3、进一步地，保存架上设置有巡检运输子系统，用于将图像采集子系统运输至待巡检区域；所述巡检运输子系统包括水平巡检轨道和垂直升降机构；所述水平巡检轨道设置于保存架各层搁板的下表面中间，即土壤样品瓶的正上方，图像采集子系统在水平巡检轨道上往返运动，采集下方土壤样品瓶和标签的图像信息；各层水平巡检轨道端部为垂直升降机构，所述垂直升降机构用于升降图像采集子系统，实现在不同层水平巡检轨道切换。

4、进一步地，所述图像采集子系统包括运动控制机构、距离传感器模块、图像采集模块和辅助照明灯；所述运动控制机构固定连接于距离传感器模块、图像采集模块和辅助照明灯，用于带动距离传感器模块、图像采集模块和辅助照明灯在水平巡检轨道上往返运动；当图像采集模块采集完一层图像信息后，运动控制机构移动至停留在当层的垂直升降机构，垂直升降机构带动图像采集子系统升降至预设的下一层水平巡检轨道，距离传感器模块采集当前高度数据，判断图像采集子系统是否升降到位，当距离传感器模块采集的当前高度数据与预设数值一致时，垂直升降机构停止升降且与当前层的水平巡检轨道对接，运动控制机构带动距离传感器模块和图像采集模块在水平巡检轨道上往返运动进行图像采集；每个保存架上安装一套图像采集子系统，每套图像采集子系统按照“架”编号，各图像采集子系统初始位置均设置于保存架的第一柜第一层，通过分析运动控制机构、距离传感器模块的运动轨迹和高度数据，得到图像采集子系统当前所在的“柜”编号和“层”编号；图像采集模块采集后将图像信息发送至图像识别与处理子系统，图像识别与处理子系统将图像信息及其对应的“架—柜—层”编号信息记录至数据库。

5、进一步地，所述图像识别与处理子系统包括运行于上位机的图像识别处理软件和数据库；图像识别与处理子系统判别土壤样品瓶体和标签状态、解析和解算保存位置、提取土壤样品标签二维码、构建各土壤样品的“架—柜—层—行—列”位置信息，与数据库中记录的入库信息比对，汇总生成报表报告巡检结果；所述图像识别处理软件包括土壤样品瓶体状态判别模块、土壤样品标签状态判别模块、土壤样品位置采集模块、土壤样品二维码信息提取模块、保存位置构建模块、保存位置比对模块和巡检报表模块；所述土壤样品瓶体状态判别模块，用于判别土壤样品瓶体的4种情况，包括：正常、位偏、瓶倒和土撒；所述土壤样品标签状态判别模块，用于判别土壤样品标签的4种情况，包括：正常、污损、起胶、丢失；所述土壤样品位置采集模块，用于根据yolo预测结果中的目标图像的相对坐标或者像素坐标，解析和解算出每瓶土壤样品的“行—列”位置；所述土壤样品二维码信息提取模块，用于提取土壤样品标签上的二维码信息；所述保存位置构建模块，用于关联土壤样品的唯一标识码和“架—柜—层—行—列”位置信息；所述保存位置比对模块，用于土壤样品保存位置与数据库中记录的入库信息比对，分析错位土壤样品，报告错位土壤样品；所述巡检报表模块，用于生成单次土壤样品在库位置巡检结果的报表。

6、进一步地，所述土壤样品瓶体状态判别模块基于yolo模型；土壤样品瓶体状态判别流程为：首先拍摄多组实景照片，并对照片进行标注和分组，分为土壤样品瓶正常状态组bottle normal set和土壤样品瓶异常状态组bottleabnormal set，土壤样品异常状态3种情况是：位偏、瓶倒和土撒；其次，使用标注好的实景照片对yolo基础模型进行训练和模型优化，形成土壤样品瓶体状态判别的专用模型yolobottlemodel；最后，图像采集子系统把获得的土壤样品瓶巡检照片，连同数据库中对应的“架—柜—层”编号信息作为输入，传递给土壤样品瓶体状态判别专用模型yolobottlemodel，对输入文件进行判别，得到土壤样品瓶体状态统计结果；

7、所述土壤样品标签状态判别模块基于yolo模型；土壤样品标签状态判别流程为：首先，拍摄多组实景照片，并对照片进行标注和分组，包括土壤样品标签正常状态组tagnormal set、土壤样品标签异常状态组tagabnormal set，土壤样品标签异常的3种情况是：土壤样品标签污损、起胶、丢失；其次，使用标注好的实景照片对yolo基础模型进行训练和模型优化，形成土壤样品标签状态判别的专用模型yolotagmodel；最后，图像采集子系统把获得土壤样品标签巡检照片，连同数据库中对应的“架—柜—层”编号信息作为输入，传递给土壤样品标签状态判别的专用模型yolotagmodel，对输入文件进行判别，得到土壤样品标签状态统计结果。

8、进一步地，图像采集子系统获得土壤样品瓶巡检照片、土壤样品标签巡检照片后，连同数据库中对应的“架—柜—层”编号信息作为输入土壤样品位置采集模块；土壤样品位置采集模块包括样品瓶位置采集子模块、土壤样品标签位置采集子模块，识别样品瓶体、土壤样品标签的图像相对坐标或像素坐标，对巡检照片进行图像分割，将坐标进行解析和解算，获得土壤样品瓶体或者土壤样品标签在搁板上的“行—列”位置信息；土壤样品二维码信息提取模块遍历土壤样品标签巡检照片的图像分割获得的子图，识别土壤二维码并转换成土壤样品唯一标识码；保存位置构建模块，关联土壤样品唯一标识码、土壤样品“行—列”位置矩阵、图像连带的“架—柜—层”信息，生成每个土壤样品的唯一标识码与“架—柜—层—行—列”保存位置的对应关系；保存位置比对模块接收保存位置构建结果，并与数据库进行比对；巡检报表模块汇总统计保存位置比对结果，生成报表，包括巡检时间、土壤样品瓶体状态统计结果、土壤样品标签状态统计结果、土壤样品保存位置比对结果。

9、为了实现本发明的目的，本发明还公开了一种基于yolo模型的土壤样品自动巡检方法，包括以下步骤：

10、步骤1、在保存架布设巡检运输子系统，水平巡检轨道固定于除底层外的各层搁板下表面，各层水平巡检轨道端部设置垂直升降机构；

11、步骤2、图像采集子系统设置于水平巡检轨道，运动控制机构带动距离传感器模块和图像采集模块在水平巡检轨道上往返运动；

12、步骤3、当图像采集模块采集完一层土壤样品瓶图像信息后，运动控制机构移动至停留在当层的垂直升降机构，垂直升降机构带动图像采集子系统升降至预设的下一层水平巡检轨道，距离传感器模块采集当前高度数据，判断图像采集子系统是否升降到位；

13、步骤4、当距离传感器模块采集的当前高度数据与预设数值一致时，垂直升降机构停止升降且与当前层的水平巡检轨道对接，运动控制机构带动距离传感器模块和图像采集模块在水平巡检轨道上往返运动进行图像采集；

14、步骤5、各层土壤样品瓶图像信息采集完成后，图像采集子系统将采集到的图像信息及对应的“架—柜—层”编号信息发送至图像识别与处理子系统；

15、步骤6、图像识别与处理子系统用于识别土壤样品瓶体及标签状态，并将土壤样品瓶的保存位置与数据库中记录的入库信息进行比对，汇总生成报表；所述图像识别与处理子系统包括土壤样品瓶体状态判别模块、土壤样品标签状态判别模块、土壤样品位置采集模块、土壤样品二维码信息提取模块、保存位置构建模块、保存位置比对模块和巡检报表模块，具体步骤为：

16、步骤6-1、将图像采集子系统采集的土壤样品瓶巡检照片输入土壤样品瓶体状态判别的专用模型yolobottlemodel，得到土壤样品瓶体状态统计结果；

17、步骤6-2、将图像采集子系统采集的土壤样品标签巡检照片输入土壤样品标签状态判别的专用模型yolotagmodel，得到土壤样品标签状态统计结果；

18、步骤6-3、土壤样品位置采集模块分析土壤样品瓶巡检照片、土壤样品标签巡检照片，得到土壤样品“行—列”编号信息；

19、步骤6-4、土壤样品二维码信息提取模块提取土壤样品标签上的二维码信息，转换获得土壤样品唯一标识码；

20、步骤6-5、保存位置构建模块结合图像采集子系统得到的“架—柜—层”编号信息，土壤样品位置采集模块得到的“行—列”编号信息，以及土壤样品二维码信息提取模块得到的唯一标识码，获得每一瓶土壤样品的“架—柜—层—行—列”巡检位置信息；

21、步骤6-6、保存位置比对模块将各土壤样品的巡检位置信息与入库信息进行比对，报告错位土壤样品；

22、步骤6-7、巡检报表模块整合各土壤样品的保存位置比对结果，土壤样品瓶体状态统计结果、土壤样品标签状态统计结果，生成报表。

23、进一步地，步骤6-1具体包括以下步骤：

24、步骤6-1-1、对土壤样品瓶的常见情况进行归类，包括正常、位偏、瓶倒和土撒状态，针对这4类情况进行照片收集和目标标注；

25、步骤6-1-2、训练土壤样品瓶体状态判别的专用模型；按照8:2把完成标注的图像随机划分为训练集和测试集；使用yolov8x作为基础模型，设置训练迭代周期设为400，批量大小设为16，初始学习率设置为0.001，动量因子为0.937，开始训练；

26、步骤6-1-3、对模型进行优化；根据每轮训练结果，完善改进图像标注结果以更适用于模型训练，通过增加优化器sgd、adam、adamw或rmsprop，以及调整图像增强次数，经过n轮迭代，生成土壤样品瓶体状态判别的专用模型yolobottlemodel；

27、步骤6-1-4、使用土壤样品瓶体状态判别的专用模型yolobottlemodel对巡检采集的照片进行预测，输出图像整体标注结果、目标检测结果文本。

28、进一步地，步骤6-2具体包括以下步骤：

29、步骤6-2-1、对土壤样品瓶的常见情况进行归类，包括正常、污损、起胶和丢失，针对这4类情况进行照片收集和目标标注；

30、步骤6-2-2、训练土壤样品标签状态判别的专用模型，按照8:2把完成标注的图像随机划分为训练集和测试集；使用yolov8x作为基础模型，设置训练迭代周期设为1000，批量大小设为16，初始学习率设置为0.001，动量因子为0.937，开始训练；

31、步骤6-2-3、对模型进行优化；根据每轮训练结果，完善改进图像标注结果以更适用于模型训练，通过增加优化器sgd、adam、adamw或rmsprop、以及调整图像增强次数，经过n轮迭代，生成土壤样品标签状态判别的专用模型yolotagmodel；

32、步骤6-2-4、使用土壤样品标签状态判别的专用模型yolotagmodel对巡检结果照片进行预测，输出目标检测结果文本、目标检测结果图像分割结果及其像素坐标。

33、进一步地，土壤样品位置采集模块包括样品瓶位置采集子模块、土壤样品标签位置采集子模块，分别通过土壤样品瓶体状态判别模块、土壤样品标签状态判别模块输出的目标检测结果文本解算土壤样品所在位置，具体步骤为：

34、土壤样品瓶的行、列号的确定，通过对yolov8土壤样品瓶体状态预测结果文本内容中的图像相对坐标进行计算获得；获得的土壤样品瓶的行、列号作为土壤样品瓶体状态判别结果的辅助信息，方便掌握巡检结果细节，计算方法如下

35、

36、

37、式中，l.idi表示第i个样品瓶的列号，h.idi表示第i个样品瓶的行号，xi表示第i个样品瓶的横坐标(以图像相对坐标计)，yi表示第i个样品瓶的横坐标(以图像相对坐标计)，wi表示第i个样品瓶在图像中的宽度，hi表示第i个样品瓶在图像中的高度；

38、根据yolov8预测的目标检测图像分割结果及像素坐标，解析和解算土壤样品标签的行号和列号，计算方法如下

39、

40、

41、wj＝abs(xj,1-xj,2)      (5)

42、hj＝abs(yj，1-yj，2)      (6)

43、

44、

45、根据公式(3)和公式(4)计算各分割图像的中心点像素坐标(xj，yj)，随后根据公式(5)和公式(6)计算各分割图像的像素宽度wj和像素高度hj，接着把xj，yj，wj，hj代入公式(1)和公式(2)，获得计算各分割图像的列号公式(7)和行号公式(8)；

46、式中，xj，1，xj，2，yj，1，yj，2表示第j个土壤样品标签四个角点的像素坐标(以像素计)，xj表示第j个土壤样品标签中心的像素横坐标，yj表示第j个土壤样品标签中心的像素纵坐标，wj表示第j个土壤样品标签的像素宽度，hj表示第j个土壤样品标签的像素高度，h.idj表示第j个土壤样品标签的行号，l.idj表示第j个土壤样品标签的列号。

47、与现有技术相比，本发明的显著进步在于：1)本发明提供的系统及方法，定期自动采集土壤样品图像等信息，使用yolo引擎判别土壤样品瓶体状态、土壤样品标签状态，实现了土壤样品保存巡检的规范化和自动化，确保了土壤样品保存巡检工作的质量，并提高了巡检效率；2)本发明提供的系统及方法，能自动读取土壤样品的保存位置并进行数据库比对，替代了样品库操作员对每件土壤样品逐瓶检查，减轻了土壤样品保存巡检的工作量和难度，大大节约土壤样品库日常巡检的成本；3)本发明提供的土壤样品瓶体状态判别和土壤样品标签状态判别的专用模型，以及图像相对坐标以及像素坐标转换为样品保存位置的解算方法，不仅能用于土壤样品巡检，并且可推广用于具备类似特点的其他物品“一物一码、按照“架-柜-层-行-列”密集存储”的巡检。

48、为更清楚说明本发明的功能特性以及结构参数，下面结合附图及具体实施方式进一步说明。