一种根盒培养作物根系图像断根修复及表型提取方法

本发明属于农业自动化领域，具体涉及作物根系图像的断根修复及表型提取，尤其涉及一种根盒培养作物根系图像断根修复及表型提取方法。

背景技术：

1、人工智能技术大大推动了农作物的科学研究，基于深度学习的图像处理技术尤其在作物表型研究领域表现出很大的应用潜力。其中作物根系表型的研究对于改良农作物品种、提高农作物产量和改善土壤质量有重要意义。由于根系大多生长在土壤中，在土壤的遮盖下，根系常常不能完整地展现在图像中，表现为断根，因此亟需一种断根修复方法，在保持高修复精度的同时，不会降低被修复图像的分辨率，以便于后续的表型提取。

2、目前对于提取作物根系表型的研究较少，且大多未涉及断根修复。如公开号为cn101266690a提出了一种植物根系形态三维图像重建方法，通过采集不同角度的图像，获得表征根系的三维坐标信息，实现根系的三维重建，这种方法虽然可以获取三维信息，但处理效率很低，无法实现大批量的图像处理。公开号为cn111970537a提出了一种根系扫描图像处理方法及系统，通过录制视频的方式获得全景根系扫描图片。但该方法仅是对获得的图像进行拼接处理，没有对个体进行表型提取，且视频会占用较大的计算和存储资源，不适用于大批量的图像处理。公开号为cn114266903a提出了一种根系图像处理方法，包括获取根系图像，进行预处理，并提取根系表型参数。但这种方法要求根系完整地被采集在图像中，不存在断根，没有考虑到环境因素对根系的遮盖，因此该方法没有较好的普适性。

3、在图像修复方法的发明设计中，为了提升修复精度，许多发明使用多尺度修复思路。公开号为cn106530247a的发明专利提出了一种于结构信息的多尺度图像修复算法，对待修复图像进行多尺度的分解，在不同尺度下对图像进行修复。这种方法可以修复图像中不同程度的缺损，一定程度上提高了修复精度，但基于结构信息的方法不能精确地找到需要修复的区域进行针对性局部修复，因此效果欠佳。公开号为cn 111861943a的发明专利提出了一种多尺度像素级深度优化的图像修复方法。该方法利用纹理合成和自动结构延伸的方法得到图像修复区域，利用图像金字塔对图像修复区域和已知区域进行多尺度特征匹配；通过联合熵优化模型进行修复。该方法的修复精度依赖于图像已知区域的正确性以及特征匹配算法的普适性，不适用于作物断根修复。

4、综合分析现有技术，目前对于作物根系表型的研究大多局限于对个体的低通量研究，且未涉及到断根图像修复处理。而在图像修复方法的研究中，大多集中于对图像纹理等特征的修复，不适用于根系的修复。因此亟需一种针对作物根系的断根修复方法，实现高修复精度、优良鲁棒性，结合表型提取方法，实现大批量的根系表型提取，便于高通量分析。

技术实现思路

1、（一）要解决的技术问题

2、在根系表型研究中，由于土壤环境的干扰，根系成像的噪声较多，导致根系容易出现断裂，亟需一种可以对断根进行修复的方法。但由于根系具有复杂的分形结构及粗细不均的主根和侧根；同时，在不同品种、不同生长发育时期、不同尺度下，根系表型特征有所差别；另外，图像噪声较多，根系断裂程度不同，上述三点都给断根修复造成了较大的困难。此外，随着成像技术的发展，图像分辨率的提高，基于深度学习的方法难以在保持高分辨率的基础上进行图像处理；且深度学习方法需要大量的数据集用于训练，人工根系修复会耗费大量人力，这为技术上的实施造成了困难。

3、（二）技术方案

4、本发明为了解决其技术问题所采用的技术方案，提供了一种根盒培养作物根系图像断根修复及表型提取方法。

5、一种根盒培养作物根系图像断根修复及表型提取方法，其特征在于，包括：

6、步骤s1，将作物种子种到根盒中，将根盒置于生长架上，以固定的时间间隔采集作物根系rgb图像；

7、步骤s2，将采集到的根系rgb图像使用语义分割模型对根盒玻璃面区域进行分割，再对该区域图像进行透视变换，去除畸变；

8、步骤s3，使用图像去噪模型处理步骤s2得到的图像，降低土壤对图像中根系的遮挡；

9、步骤s4，训练根系语义分割模型，对步骤s3处理后的图像中的根系进行分割，得到根系二值图；

10、步骤s5，基于目标检测网络模型，检测根系二值图中的断根，获得断根目标框；

11、步骤s6，基于步骤s5检测到的断根目标框，利用多尺度根系修复模型对输入的根系图像进行断根修复；

12、步骤s7，自适应地循环判断当前根系图像是否需要继续修复，直至判断结果为无需继续修复，输出最终的修复后根系图像；

13、步骤s8，基于步骤s7输出的最终的修复后根系图像，提取根系表型数据。

14、优选地，步骤s2中对图像的根盒玻璃面区域分割及透视变换的具体步骤如下：

15、步骤s21，选取步骤s1中采集到的拍摄角度有偏差的图片作为训练集；

16、步骤s22，对图片中的根盒玻璃面区域进行人工标注，将标注图二值化；

17、步骤s23，将图片和对应的标签文件输入语义分割网络进行训练，得到根盒玻璃面区域语义分割模型；

18、步骤s24，使用根盒玻璃面区域语义分割模型分割采集到的作物根系rgb图像，得到根盒玻璃面区域二值图；

19、步骤s25，基于步骤s24模型分割后得到的二值图对步骤s1采集到的作物根系rgb图像进行掩膜处理，得到根盒玻璃面区域的rgb图像；

20、步骤s26，将根盒玻璃面区域rgb图像进行透视变换。

21、优选地，步骤s4中训练根系语义分割模型，并使用模型对根系进行分割得到二值图的具体步骤如下：

22、步骤s41，选取根系密度、深度和生物量情况差异大的品种，选取不同时间点的根系图像作为训练集；

23、步骤s42，对训练集的图像进行像素级语义标注；

24、步骤s43，将上述图像和对应的标注文件输入语义分割网络进行训练，得到根系语义分割模型；

25、步骤s44，使用根系语义分割模型分割步骤s3处理得到的根盒玻璃面区域的根系图像，得到根系二值图。

26、优选地，步骤s5中采用的用于检测断根位置的目标检测网络模型采用如下方式训练得到：

27、步骤s51，选择根系生物量差异大的品种在不同时间点的根系图像作为训练集；

28、步骤s52，采用人工标注的方式，对选取的训练集图像的断根处标注目标框；

29、步骤s53，将训练集图像及对应的标注文件输入到目标检测网络中训练，得到用于断根检测的目标检测网络模型。

30、优选地，步骤s6利用多尺度根系修复模型对输入的根系图像进行修复的步骤如下：

31、步骤s61，遍历根系图像中的所有断根目标框，以断根目标框的中心为中心裁剪断根局部图像；

32、步骤s62，将所述断根局部图像进行下采样处理，输入到多尺度根系修复模型进行修复；

33、步骤s63，将修复后的断根局部图像通过超分辨模型放大回原始尺寸，再覆盖至步骤s4输出的根系二值图相应位置。

34、优选地，步骤s62中的多尺度根系修复模型采用如下方式训练得到：

35、步骤s621，使用水培法培育作物，并在暗箱中采集完整的根系图像；

36、步骤s622，基于语义分割模型，对上述采集的完整根系图像进行语义分割，获得完整根系二值图；

37、步骤s623，基于所述完整根系二值图，依据根系的最小外接矩形进行裁剪，去除无关背景；

38、步骤s624，将去除无关背景后的根系二值图随机裁剪局部多尺度的子图，获得训练集；

39、步骤s625，将训练集下采样为统一尺寸，输入到图像修复模型进行训练，采用随机遮挡局部区域的方式来训练图像修复模型，以得到多尺度根系修复模型。

40、优选地，步骤s624中所述多尺度的子图包括256×256、512×512和1024×1024像素的子图。

41、优选地，步骤s7中自适应修复根系图像的具体方式为，计算修复前后根系二值图像的像素差，与设定的阈值进行比较，判断是否继续修复；若像素差小于阈值，则终止修复，输出当前图像作为最终的修复后根系图像；若像素差大于阈值，则将修复后的图像作为步骤s5目标检测网络的输入，循环迭代步骤s5和s6，直至修复前后根系二值图像的像素差小于阈值；若步骤s5和s6的循环迭代次数达到设定的最大迭代次数，则认为无法继续修复，停止迭代，输出当前图像作为最终的修复后根系图像。

42、优选地，步骤s8中根系表型提取的步骤如下：

43、步骤s81，将步骤s7修复后的根系图像通过阈值分割的方式转换为二值图；

44、步骤s82，对步骤s81获得的二值图进行腐蚀、膨胀和去噪，再进行骨架化处理；

45、步骤s83，提取关键像素点在图像中的坐标，基于像素点的相对位置，计算获得根系的表型信息。

46、（三）有益效果

47、相对于现有技术而言，本发明至少具备以下几个方面的积极技术效果。

48、（1）现有基于深度学习的图像修复方法大多是直接输入待修复图像，给模型寻找待修复区域造成了困难，易造成根系过度修复的问题，同时一定程度上限制了待修复图像的尺寸。本发明设计了一种先对断根目标进行检测，再基于断根目标框裁剪局部图像进行修复，然后覆盖至原图的修复流程，使得模型能够有针对性地修复根系断裂区域，而不是诱导模型在图像中生成侧根，同时该方法不会限制待修复图像的尺寸。另外，在修复阶段，以断根目标框的中心为中心裁剪较大尺寸的断根局部图像，然后将较大尺寸的断根局部图像进行下采样处理，输入到多尺度根系修复模型进行修复，这种方式能包含较多上下文信息，提高根系修复精度。

49、（2）现有基于深度学习的图像修复方法大多是一次性修复待修复图像，无法适应不同断裂程度的根系图像修复问题。本发明设计了一个自适应的迭代过程，每次修复后都会判断是否需要再次修复，该设计提高了本方法对不同断裂程度根系的修复精度，并提高了算法的鲁棒性。

50、（3）现有基于深度学习的图像修复方法鲁棒性较差，难以处理不同分形结构、不同复杂程度的作物根系。本发明通过裁剪三种尺寸下的局部根系图像，并下采样至统一尺寸的方式，构成一个包含了不同分形结构、不同复杂程度、不同区域大小的多尺度局部根系图像训练集，从而让训练得到的多尺度根系修复模型有更好的鲁棒性。

51、（4）现有基于深度学习的图像修复方法，在训练时需要完整的目标图像，在根系修复问题上，需要完整的无遮挡的根盒培养作物根系图像，因此需要人工修复拍摄得到的根盒培养作物根系图像作为训练集，人工修复成本高。本发明通过使用水培法培养作物，获得完整的根系图像，考虑到培养介质的不同，采用二值图修复的方式降低不同介质对修复的影响，这种处理方式无须人工标注即可获取根系修复模型的训练集，从而大大降低人工成本。

52、（5）现有根系修复方法通常直接对图像进行修复，修复难度较高。本发明将覆盖在根系上的土壤视作噪声，通过图像去噪模型去除部分土壤，降低土壤对根系的遮挡作用，提高了后续图像修复的精度。