基于航拍影像的河岸优势植物重金属总含量计算方法

本发明涉及重金属元素含量分析，具体涉及一种基于航拍影像的河岸优势植物重金属总含量计算方法。

背景技术：

1、无人机航拍影像是利用无人机进行拍摄获取的数据，具有高分辨率特性，广泛应用于地理信息获取与分析领域。无人机航拍影像的三维重建是利用无人机航拍影像数据来重建三维场景的几何结构和纹理信息的过程，该过程可导出正射影像与数字高程图。正射影像是指经过校正和投影处理的影像，具有真实尺度和几何校正；数字高程图是指包含地表高程信息的栅格数据，反映了地形的高低变化。这些影像数据可为地理测绘、环境监测与评估等领域提供精确的空间数据和地表特征信息。

2、无人机航拍影像可以通过计算机视觉领域的多项技术进行处理，如图像分割等。语义分割是图像分割的一种特定形式，是指将图像中的每个像素划分为特定的语义类别，实现对图像内容的理解与识别。通过像素级别的标注，可以将图像中不同的物体或区域分割，从而获取更准确的语义信息。在语义分割的实现过程中，深度学习神经网络发挥着关键作用，它是利用深度学习算法和神经网络来处理和分析图像。其中，全卷积网络(fcn)是一种常用的网络结构，用于有效提取图像特征并应用于图像分类和图像分割任务。近年来，引入图像领域的vit(vision transformer)是一种基于自注意力机制的新型深度学习模型，能够高效的捕捉图像中的全局上下文信息和局部特征。

3、八邻域模型是一种常用于图像处理和分析的空间邻域模型，用于表示像素之间的空间关系和相互作用。在图像处理和图像分割等任务中，八邻域模型经常用于像素级别的操作和计算。在八邻域模型中，一个像素的邻域包括其4个正方向(上、下、左、右)上以及4个对角方向(左上、右上、左下、右下)上的8个相邻像素。通过结合正射影像、数字高程图和语义分割图，并基于八邻域模型进行像素级别的积分和空间计算，可以得到更准确的表面积结果。

4、在进行环境污染评估时，重金属元素含量是一个重要的指标。对重金属元素含量进行分析和评估，可以帮助研究人员更好地了解环境污染的程度和影响，并采取相应的措施来保护环境和人类健康。

技术实现思路

1、为了评估和分析环境污染的程度和并进行量化评估，本发明提出了一种基于航拍影像的河岸优势植物重金属总含量计算方法，该方法是一种针对环境污染评估和分析以及无人机航拍影像处理的创新方法，利用无人机航拍影像数据并结合深度学习和图像分割技术，估算出河岸优势植物释放或吸收的重金属总含量，为环境污染评估提供更准确的方法和分析数据的手段。

2、本发明采取的技术方案为：

3、基于航拍影像的河岸优势植物重金属总含量计算方法，包括以下步骤：

4、步骤1：采集河道航拍影像数据，通过对河道航拍影像数据进行处理与分析，重建三维河道并获取河道正射影像与数字高程图；

5、步骤2：将河道正射影像切分为切片，并随机抽取部分正射影像切片进行语义分割标记，再将正射影像切片与对应标记结果，制作为数据集；

6、步骤3：构建基于深度学习的河道语义分割深度神经网络，并将步骤2的数据集送入该网络进行训练，得到河道语义分割模型；

7、步骤4：使用步骤3的河道语义分割模型对所有正射影像切片进行预测，并拼接生成完整河道语义分割图，得到河岸优势植物精确分布范围；

8、步骤5：将河道语义分割图、河道正射影像和数字高程图进行预处理；

9、步骤6：根据预处理后的河道语义分割图、河道正射影像和数字高程图，计算出河岸优势植物实际生长面积；

10、步骤7：根据河岸优势植物实际生长面积，计算出河岸优势植物重金属总含量。

11、所述步骤1包括以下步骤：

12、s1.1：首先，使用无人机拍摄采集河道航拍影像数据；

13、s1.2：其次，利用基于图像的三维场景重建技术对航拍影像进行三维重建，生成具备几何结构和纹理信息的河道三维模型；

14、s1.3：从河道三维模型中导出包含地理位置信息的正射影像(digitalorthophoto map,dom)以及包含高程信息的数字高程图(digital elevation map,dem)。

15、所述步骤2包括以下步骤：

16、s2.1：首先，将正射影像切分为若干个尺寸为1024×1024的切片，即正射影像切片；

17、s2.2：其次，按等间隔规则随机选取部分正射影像切片，使用标注软件对正射影像切片按照预先设定的类别进行语义标注，并导出标注结果文件；

18、s2.3：再次，读取标注结果文件的信息，利用opencv库绘制出与正射影像切片尺寸相同的标签图；

19、s2.4：最后，将正射影像切片与对应的标签图制作为数据集，并按比例将该数据集划分为训练集、测试集和验证集。

20、所述步骤4中，使用河道语义分割模型对所有正射影像切片进行推理预测，得到尺寸为1024×1024的语义分割图，将这些语义分割图进行拼接，生成与正射影像尺寸相同的完整河道语义分割图。

21、所述步骤5中，由于河道语义分割图与三维重建后导出的正射影像、数字高程图的尺寸可能存在差异，因此需要对它们进行对齐和插值以统一尺寸。通过双线性插值或三次插值等插值方法，将数字高程图和语义分割图与正射影像对齐，并调整到与正射影像的尺寸相同。

22、所述步骤6中，基于八邻域模型计算河岸优势植物实际生长面积，包括以下步骤：

23、①：确定计算河岸优势植物实际生长面积的积分条件：

24、由于在使用标注软件的过程中，河岸优势植物在语义分割图中所有的像素均为同一语义分割类号，故以语义分割类号作为河岸优势植物表面积积分的条件。从语义分割图中，循环读取除边界像素外的所有像素。如果当前像素的语义分割类号与优势植物的语义分割类号相同，则执行下一步操作；否则，跳出此次循环；

25、②：数据读取与预处理：

26、首先，从数字高程图中，读取当前像素(作为中心像素)及其相邻8个像素的高程值。分别计算中心像素与相邻8个像素、x和y方向上两相邻像素间的高程差，共计16个值；其次，从正射影像中，读取当前像素(作为中心像素)及其相邻8个像素的经纬度信息，共计9对值；

27、最后，利用经纬度信息，计算当前像素(作为中心像素)与相邻8个像素间、x和y方向上两相邻像素间的距离。

28、③：利用勾股定理计算三角形面积：

29、首先，将高程差和距离作为直角边，用勾股定理计算出直角三角形的斜边。如果三条边无法构成(直角)三角形，则返回-1，使得在④中计算三角形面积时，条件不成立；否则，计算并返回斜边。

30、其次，以斜边两两连接中心像素与其4个正方向：上、下、左、右上，以及4个对角方向左上、右上、左下、右下上的8个相邻像素，构成8个三角形；如果三条斜边无法构成三角形，则返回0；否则，计算并返回三角形面积；

31、④：定义当前像素(作为中心像素)实际表面积：

32、由于8个相邻像素参与中心像素实际表面积的计算，故需要判断8个相邻像素与中心像素的语义分割类号是否相同，以确定是否计入中心像素实际表面积。

33、根据上述内容，定义三个计算当前像素(作为中心像素)实际表面积的规则：

34、第一，用flag＝0或1作为是否计入中心像素实际表面积的标志。其中，0表示相邻像素与中心像素的语义分割类号不同，1表示相邻像素与中心像素的语义分割类号相同；

35、第二，中心像素实际表面积由8个小三角形按照小三角形与三角形的面积之比为1:4的比例，将三角形面积缩小后累加求和后得到；

36、第三，以各个相邻像素占小三角形面积的比例作为计算中心像素实际表面积的权重。其中：4个对角像素占小三角形面积的1/4，4个正方向像素占小三角形面积的1/2，中心像素占小三角形面积的1/4。因此，当flag为0时，表示某相邻像素不计入中心像素实际表面积的计算中；当flag为1时，则某相邻像素需要计入中心像素实际表面积的计算中。⑤：利用海伦公式计算中心像素实际表面积。

37、首先，将8个三角形的面积全部除以4，得到小三角形的面积；

38、其次，按④中定义的规则，用权重1/4乘以小三角形面积，得到对角像素占小三角形的面积，再将该结果再乘以flag，表示是否计入中心像素面积；并按同样的方法求出正方向像素以及中心像素占小三角形的面积；

39、再次，将这三个有着不同权重的面积进行求和，得到小三角形中可计入中心像素的面积；

40、最后，依次求出8个小三角形中可计入中心像素的面积并求和，得到中心像素实际表面积。

41、所述步骤7中，根据河岸优势植物实际生长面积，用单位面积中河岸优势植物重金属含量，估算出河岸优势植物重金属总含量，估算公式如下：

42、f＝w×s

43、其中，f为河岸优势植物释放或吸收的重属量总含量，单位为g；w为河岸优势植物的面积；单位为m2；s为单位面积内河岸优势植物释放或吸收的重金属含量，单位为mg/m2。

44、本发明为一种基于航拍影像的河岸优势植物重金属总含量计算方法，技术效果如下：1)本发明的步骤1中，有以下优点:

45、第一，全面性。步骤1涵盖了从无人机拍摄到三维模型生成的全部过程，能够全面地获取河道相关的各类信息，包括航拍影像、正射影像和数字高程图等。第二，创新性。步骤1使用了基于图像的三维场景重建技术进行航拍影像的三维重建，相比于传统方法能更好地保留影像中的细节信息，提高重建结果的准确性。第三，高效率。使用无人机进行河道航拍可以快速获取大量的影像数据，而且通过三维场景重建技术可以在短时间内重建出河道的三维模型，大大提高了工作效率。

46、其中，s1.1的优点在于：使用无人机拍摄采集河道航拍影像数据，可以快速地获取河道的大量影像数据，提高了数据获取的效率。同时，在各种复杂的环境下进行拍摄，通过空中俯瞰的角度获取到更为精确的地形信息，获取到的影像数据更加全面。

47、s1.2的优点在于：该方法将二维的航拍影像转换为三维的空间模型，能更全面地表达出河道的形状和特征。此外，这种技术能很好地处理图像中的光照、阴影和纹理等细节信息，使得重建出的三维模型更加真实和准确。

48、s1.3的优点在于：从河道三维模型中导出包含地理位置信息的正射影像(digitalorthophoto map,dom)以及包含高程信息的数字高程图(digital elevation map,dem)。dom可以直观地展示河道的二维结构，便于进行后续的分析和处理。而dem可以提供河道的高程信息，对于河道的地形地貌分析等方面都有重要的应用价值。此外，dom和dem都是河道地理信息系统中重要的基础数据，可以作为后续数据处理和分析的基础，使得研究具备更高的实用性和针对性。

49、2)本发明的步骤2中，有以下优点：第一，数据有效性。通过将正射影像切片与对应的标签图制作为数据集，可以确保数据的有效性和准确性。该方法可以避免传统数据集制作中出现的诸如数据污染、数据不平衡等问题，从而为后续的机器学习模型训练提供了可靠的基础。第二，灵活性。在s2.2中，使用等间隔规则随机选取部分正射影像切片进行标注，使得数据的选取更加灵活，可以针对不同的研究目标和需求进行定制化的选取和标注，提高了数据的针对性和利用率。第三，高效性。在s2.3中，通过读取标注结果文件的信息并利用opencv库绘制出与正射影像切片尺寸相同的标签图，可以在短时间内处理大量的数据，提高了数据集制作效率。

50、其中，s2.1的优点在于：第一，数据规模适中。1024×1024的切片尺寸的切分方式可以保证每个切片的大小合适，避免了数据过大或过小的问题。同时，既可以保证每个切片包含足够的信息，又不会产生过多的数据。第二，提高数据处理效率。将大的影像切片化为多个小切片，可以并行处理，提高整体的处理效率。

51、s2.2的优点在于：第一，数据选择随机性。按等间隔规则随机选取正射影像切片，保证了数据选择的随机性，具有客观性。第二，标注的准确性。使用标注软件进行语义标注，可以准确、高效地对每个切片的类别进行标记，对于后续的机器学习模型的训练和验证至关重要。第三，可扩展性。预先设定的类别可以根据实际需求进行设定，具有良好的可扩展性。

52、s2.3的优点在于：可视化辅助。标签图可以直观地展示每个切片的类别。利用opencv库进行标签图的绘制，可以快速地处理大量的数据，因为可以利用计算机自动读取标注结果文件的信息并绘制标签图。既保证了绘制的效率，也提高了标签图的可视化效果。

53、s2.4的优点在于：第一，数据集构建。将正射影像切片与其对应的标签图结合形成数据集，完整地保留了原始数据和标注信息，为后续的机器学习模型训练提供了基础数据。第二，数据划分合理性。将数据集按照一定比例划分为训练集、测试集和验证集，可以全面评估模型的性能，保证模型具有良好的泛化能力。第三，数据可扩展性。本发明的步骤2提供了一种灵活的数据集构建方式，可以根据实际需求随时增加或减少数据集的大小，具有良好的可扩展性。

54、3)本发明的步骤3中，有以下优点：

55、利用深度学习技术构建了基于深度学习的河道语义分割深度神经网络，并将步骤2的数据集送入该网络进行训练，得到河道语义分割模型。该模型可以高效地学习和提取航拍影像的特征，并进行河道语义的自动标注，避免了传统图像处理方法中复杂的参数调整和经验性的决策制定过程。与传统图像处理方法相比，基于深度学习的河道语义分割模型具有更好的自适应性和泛化性能，能够针对不同的航拍影像数据学习和适应新的特征和模式。通过大量的数据训练，这种模型可以更好地理解和利用河道环境中的各种特征，从而得到更为精确的结果。在处理各种复杂和动态的河道环境时，这种模型也能够保持较高的准确性和鲁棒性，从而在实际应用中发挥出良好的效果。此外，利用深度学习进行模型训练和预测可以大大减少人工干预，实现河道语义分割的自动化。

56、4)本发明的步骤4中，有以下优点：

57、通过使用步骤3训练得到的河道语义分割模型，对所有正射影像切片进行预测并拼接生成完整河道语义分割图，能够全面掌握河岸优势植物的精确分布范围。不仅考虑了单个切片内的特征，还考虑了切片间的空间联系，从而能够更完整地描述植物的分布情况。使用步骤3中的河道语义分割模型，对正射影像切片的预测也能达到较高的精确度，可以确保对河岸优势植物精确分布范围的确定更为准确可靠。此外，生成的河道语义分割图可以直观地展示河岸优势植物的精确分布范围，对于理解和解释结果非常有帮助，这种可视化方式也使得非专业人员也能对处理结果进行理解和评估。

58、5)本发明的步骤5中，有以下优点：

59、通过插值方法将数字高程图和语义分割图与正射影像对齐，使得这些数据在空间位置上精确匹配，可以更好地理解和利用河道环境中的各种特征，保证了所有数据在同一坐标系下的一致性，对后续的河道分析和植物分布研究十分重要。其次，将数字高程图和语义分割图调整到与正射影像相同的尺寸，保证了在数据处理和模型训练过程中，输入数据的维度一致，避免因尺寸不同而带来的额外处理复杂性。这种尺寸调整对于深度学习模型的训练尤其重要，因为模型需要在大体量、高维度、多样化的数据上进行训练才能达到良好的效果。通过大量的数据训练，这种模型可以更好地理解和利用河道环境中的各种特征，从而得到更为精确的结果。

60、6)本发明的步骤6中，有以下优点：

61、第一，全面性。考虑了河道正射影像、数字高程图和河道语义分割图等多方面的信息，使用这些信息来计算河岸优势植物的实际生长面积，使得计算结果更为全面和准确。第二，精细化。每一步都有详细的数据预处理和计算步骤，考虑了各种可能出现的情况，例如相邻像素与中心像素的语义分割类号相同或不同、三条边能否构成三角形等等，使得计算过程更加精细。第三，高效率。采用了八邻域模型，利用像素之间的空间关联性进行快速计算，减少了计算量，提高了计算效率。

62、其中，步骤①的优点在于：以语义分割类号作为河岸优势植物表面积积分的条件，将语义分割的结果应用于计算过程中，使得计算出的表面积更具有针对性，更加准确。

63、步骤②的优点在于：充分利用了数字高程图这一重要的地理信息数据源，为后续的计算提供了重要的基础数据。

64、步骤③的优点在于：将二维空间中的像素点转化为三维空间中的三角形，更有利于理解和解释计算结果。

65、步骤④的优点在于：充分考虑了相邻像素与中心像素的关系，使得计算结果更加准确。步骤⑤的优点在于：采用了海伦公式这一经典的面积计算公式，使得计算结果更加准确和可靠。

66、7)本发明的步骤7中，有以下优点：

67、第一，准确性。考虑了植物在不同区域的生长状况及其对重金属的吸收和释放能力，通过单位面积中河岸优势植物重金属含量，可以更准确地估算出河岸优势植物重金属总含量。第二，实用性。所使用的估算公式易于操作，可以快速有效地得出河岸优势植物重金属总含量，对于实际应用具有重要意义。第三，可持续性。本发明通过估算河岸优势植物重金属总含量，可以为河道生态环境的可持续维护提供参考依据，促进水资源的保护和利用。