一种基于视觉自注意力机制的大地电磁二维成像方法

本发明属于地球物理勘探，尤其是涉及一种基于视觉自注意力机制的大地电磁二维成像方法。

背景技术：

1、大地电磁测深方法是一种以自然产生的、在频域上具有广谱性的电磁场来探测深层地质结构的方法。它不需要人为给定电源，只依赖于大地电磁场，因此该方法优点是成本较低，工序相对方便；由于该方法不依赖于高阻介质，对低阻介质具有较高的分辨能力，探测深度和范围可随着电磁场的变化而变化，其探测范围可从几十米到数百千米不等，是当前最为常用的一种地球物理探深方法。

2、常规的大地电磁法基于地面实测数据（包括视电阻率、阻抗相位、倾角等）进行相关的数学运算，从而得到与真实环境相符的地电模型。然而，在选取不同的极化模式数据、反演方法或初始参数后，其反演结果往往会有一些差别，即具有多解性。同时，常规算法在求解过程中需要解决一个大规模的非线性逆问题，求解过程复杂且耗时，因此存在计算效率不高的问题。常规的反演方法可分为两种，即直接反演和间接反演(梁宏达，2012)。直接反演法如：bostick反演法和蒙特卡罗法，此类算法容易受到数据误差的影响，且精度或计算效率不高。例如，bostick反演法的计算精度不高，难以直接应用于工程实践；蒙特卡罗法的计算量较大，需要进行大量的随机抽样，特别是在高维度的反演问题中，需要进行更多的随机抽样，计算时间也会更长。常见的间接反演法如：occam反演法、快速松弛反演法、非线性共轭梯度反演法等。该类方法对初始模型的依赖性较强，计算效率虽然相对于蒙特卡罗法已有了很大的提高，但是随着测点数和初始模型的网格密度的增加，该方法的求解速度仍然缓慢，反演效率偏低。

3、随着人工智能浪潮的兴起，众多学者开始运用人工智能的方法对交叉学科问题进行求解与优化，并获得了较好的结果。在地球物理领域，研究人员把深度学习技术应用到大地电磁正演和反演、地震数据的自动处理与解释、航空电磁数据的解释，并在信号去噪、测井数据的岩性识别、砂岩储层的孔隙中的流体识别等方面取得了突破。

4、具体的传统方式包括以下两种：

5、1）传统成像方法，传统大地电磁成像一般基于反演方法实现。大地电磁反演是通过在地面上测量的视电阻率和相位，反推出一个既能满足观测资料，又能与真实状况相符的地电模型。在实际应用中，大地电磁反演就是寻找总体目标函数的最小值。

6、；

7、如上式所示，总目标函数由数据函数和约束函数两部分组成，两者相加得到一个加权因子，为和的权重因子，又称拉格朗日因子。当目标函数被确定之后，反演问题就变成了求取目标函数最小值的问题。根据反演计算方法的不同，可将反演方法分为两类：直接反演法和间接反演法。直接反演是直接从观测数据出发，通过某种近似方法，确定场值和模型间的关系，进而获得所需要的反演结果。bostick直接反演方法是当前最常用的反演方法之一，它不需要初始模型或反复迭代，可以直接从观测数据中推断出地下介质的电性参数。该方法的基本原理是：在特定的频率下，地下介质的电阻率只与该频率趋肤深度内的介质电性有关，而在更深的区域内，介质电性不受影响。因此，通过低频渐近线的交点可以反映一定深度的地下平均电阻率。由于该方法不需要预先定义模型或依赖于超参数，所以反演结果具有唯一性。间接反演法需要用户提供初始化模型，并根据观测资料计算反演模型中的参数变量。通过反复的迭代，使拟合误差满足要求，得到最佳的反演结果，该方法是建立在最优化理论基础上的一种反演方法。occam反演方法是一种非线性最小二乘反演方法，其主要目的是在保证模型光滑的前提下，尽可能地拟合原始观测数据。occam反演方法因其不受研究者经验的限制就能得到一个反映地层基本信息的光滑模型，因此被广泛使用。非线性共轭梯度法(nonlinear conjugate gradient method，nlcg)也是基于最优化思想的反演算法。该方法避免了直接求解雅可比矩阵，而是在每一次迭代中分别求一次正演和一次伴随正演。由于该方法稳定性和收敛性较好，已成为大地电磁测深数据处理的主要方法之一。

8、2）基于深度学习技术的大地电磁成像方法，随着深度学习技术的快速发展，越来越多的地球物理学者开始逐步探索将深度学习技术应用于解决地球物理学问题，包括将其应用于大地电磁成像领域。基于深度学习的大地电磁成像方法可分为两类，一类是通过神经网络模型替换传统反演方法中的部分最优化过程，如邓飞等人(2022)使用面向大地电磁正演的conv-bilstm正演网络和d-linknet正演网络模型替换occam反演算法中的正演响应计算过程，实现反演算法的加速，在调用正演响应计算的速度上较于传统反演方法的相同过程快约15倍。此类方法在传统反演方法的框架内对部分计算过程的替代和优化，其计算仍在传统反演方法框架约束内进行，因此其计算原理和计算结果会更贴近传统方法。另一类方法是通过构建反演样本集和神经网络模型实现端到端的反演：王鹤等人(2015)将已知地电模型的视电阻率数组作为神经网络输入，地电模型参数作为网络输出，采用bp算法(back propagation algorithm)进行学习训练，初步验证了基于神经网络的大地电磁成像方法的可行性和有效性；柳庆瑜(2020)将基于k近邻电磁反演方法与基于卷积神经网络的反演算法进行效果对比，结果表明：基于卷积神经网络的电磁反演算法的泛化性更强，更适合处理复杂反演问题。范振宇(2020)使用残差网络模块、多尺度池化模块，以及特征融合模块、分割分类模块相组合，设计出大地电磁反演的深度学习卷积神经网络模型结构，并采用改进的分类问题损失函数，实验证明，深度学习反演效果可以很好地恢复异常体电阻率和几何形态，且受静态效应影响较小。刘高村(2022)将基于自注意力机制的transformer模型首次用于大地电磁反演，将大地电磁二维响应数据转换为一维输入至经典transformer网络中，验证了基于自注意力机制的大地电磁成像方法的有效性。基于深度学习的端到端成像方法不再受传统反演方法的制约，因此具有更快的计算速度和更佳的性能，尤其是在有监督训练样本集精度较高、训练样本集充足的情况下，其准确率和泛化性表现较好。

9、传统大地电磁二维成像方法的主要缺点：

10、大地电磁反演方法需要通过较复杂的计算，对于单幅大地电磁二维成像，取决于测点和频点的疏密程度，需要数分钟甚至数十分钟方能完成，计算耗时较长；间接反演方法可以部分提升反演计算的效率，但间接反演方法需要用户提供初始化模型，初始模型设置的优劣程度将直接影响到反演结果。

11、现有基于深度学习成像方法的主要缺点：

12、通过神经网络模型替换传统反演方法中的部分最优化过程的深度学习成像方法，其计算效率和准确性的提升空间受到传统反演方法的约束，可提升空间不高，且易受传统反演方法误差影响；端到端的深度学习成像方法完全依赖于对样本集的学习，因而对网络的泛化性能，样本集的数量、准确性和分布均衡均提出了更高的要求。但是，大地电磁成像有监督样本获取困难，因此目前基于深度学习实现的大地电磁二维成像方法多采用正演模拟的方式生成训练样本。然而，模型的预测结果很大程度上取决于样本数据的分布。同时，人工构建的理论模型与真实地质环境之间存在着差异。因此，现有基于深度学习成像方法训练出的模型对较复杂地质结构和真实数据下的成像表现并不理想。

技术实现思路

1、针对上述问题，本发明提出一种改进的基于视觉自注意力机制的大地电磁二维成像方法。本发明的方法属于端到端的深度学习成像方法，计算耗时较传统反演方法具有显著优势。通过构建地球物理理论模型生成程序，批量化地生成多样化地电理论模型，保证训练样本规模和多样性。通过引入预训练过程，利用自注意力机制相比卷积结构更强的建模能力和对数据中相对关系更好的捕捉能力，提高模型的泛化性。针对仅使用单一模式响应数据时，模型对深部异常体存在信息缺失的问题，提出一种适用于te/tm联合模式的大地电磁二维成像网络，通过优化改进网络中的相对位置编码，使得模型能够正确获取和融合来自te和tm模式的两种输入信息。

2、本发明的技术方案为：

3、一种基于视觉自注意力机制的大地电磁二维成像方法，包括以下步骤：

4、s1、构建训练样本和预训练样本，具体为：

5、通过正演模拟的方式生成大地电磁二维成像训练样本；

6、通过开源数据构建预训练样本；

7、s2、构建成像模型，采用基于swin transformer的swin-unet网络作为成像模型的主体结构，成像模型对数据的处理过程为：

8、1）将输入数据x划分为若干个不重叠的子窗口，每个子窗口包含一个固定数量的像素或词元，即将输入数据x表示为一个子窗口序列，其中n是子窗口的个数，是第i个子窗口的特征向量；

9、2）对每个子窗口应用一个多头自注意力模块，计算其与其他子窗口之间的相关性，并输出一个新的特征向量；从而每个子窗口的特征向量更新为，其中是第i个子窗口的更新后的特征向量；

10、3）对更新后的特征向量序列v进行分层聚合，即将相邻的四个子窗口合并为一个更大的子窗口，并重复第2步中的自注意力模块；从而将特征向量序列v降采样为一个更粗粒度的特征向量序列，其中m是降采样后的子窗口个数，是第i个降采样后的子窗口的特征向量；

11、4）对降采样后的特征向量序列u进行多层堆叠，即重复第2步和第3步若干次，形成一个深度网络结构；每一层都有一个残差连接和一个层归一化操作，最后一层输出一个最终的特征向量序列，其中是第i个最终子窗口的特征向量；

12、5）对最终的特征向量序列z进行全局平均池化，得到一个全局特征向量z，对z进行后处理操作，最终输出结果y；

13、s3、对构建的成像模型进行训练，包括先利用预训练样本对成像模型进行预训练得到预训练后的模型，再利用训练数据对预训练后的模型进行训练。

14、对于大地电磁二维成像问题，异常区域的电磁响应信息相比于背景更为重要。在构建训练样本时，可以获得不包含异常体的电磁背景响应图像。因此，通过消除背景电磁响应的方式将地球物理先验知识引入训练，从而提高模型训练的效率，减少网络对大规模训练数据的依赖，缩短训练时间。实现方法如下：

15、1.在原网络模型中的相对位置偏置矩阵上附加一层遮罩(mask)，使零向量对应的相对位置偏置为0。

16、2.使用样本生成程序在无异常体状态下生成大地电磁背景响应，记为；

17、将训练样本的输入电磁响应与相减：

18、；

19、其中，为的异常响应信息，smaller_zeroing函数的功能是将矩阵中的元素均置为0。这是因为在生成大地电磁背景和异常体响应的过程中添加了加性噪声，生成时需要对这部分噪声进行忽略处理，以防止噪声对自注意力计算造成影响。生成的过程如图5所示。

20、4.修改模型训练的数据加载器，使其能够加载数据。对数据加载器增加一个切换函数，以便其在加载输入样本时，可以在和之间切换。

21、5.新增训练超参数，表示数据加载器加载输入数据时加载的概率，随着训练的进行，的值逐渐衰减至0。模型训练完毕后，无需输入屏蔽响应，仅需输入原始电磁响应图便可完成成像。

22、在大地电磁二维成像任务中，由于样本中异常体相对背景占据空间较小，因此出现远早于收敛的情况。在训练的中后期阶段，相对不变的总会占据相当部分的权重，这将导致损失函数的效果受到影响。因此，提出一种基于focal loss的变化动态调节权重系数的损失函数，损失函数为：

23、；

24、；

25、其中，、均为训练超参数，是的阈值，为预设的损失函数权重，当的值大于阈值时，的值将趋近于，而当的值小于阈值时，输出的值将趋近于0，是focal loss，是dice loss；

26、收敛后得到训练好的成像模型；

27、s4、将训练好的成像模型用于大地电磁二维成像。

28、进一步的，s1中通过正演模拟的方式生成大地电磁二维成像训练样本的具体方法是：设置相关参数后，通过理论模型进行数据的自动生成， 这里是将正演结果作为训练样本的输入，将该正演结果对应的理论模型作为训练样本的输出。具体的做法是：理论模型的异常体个数、大小和分布作为随机参数，输入到模板程序中输出理论模型，再将理论模型输入到正演程序中输出正演响应。最终将正演响应作为训练样本的输入，理论模型作为样本的输出。

29、进一步的，s1中通过开源数据构建预训练样本方式为：将某一测点和该测点沿某一方向的所有测点连接起来形成测线，将测线上每个测点的频点响应按相应位置排布后生成该测线的视电阻率响应图，以此作为一条预训练样本。

30、本发明的有益效果为：与现有技术相比，本发明方法能够有效提升对深度较深异常体的成像准确性。