基于卷积神经网络和视觉变换神经网络的地震去噪方法

1.本发明涉及信息处理技术领域，具体涉及一种基于卷积神经网络和视觉变换神经网络的地震去噪方法。


背景技术：

2.地震勘探作为当前全球油气勘探的主要技术，其通过人工激发记录地震波，利用计算机对所采集的地震记录进行加工和改造，获取地下介质的构造分布信息。野外采集的地震记录中存在大量的随机噪声，导致地震记录的分辨率降低，无法保证后续数据处理的真实性。所以，必须采取有效的处理手段减弱地震记录中的随机噪声，恢复出原始干净的地质构造，同时，还需要尽可能多地保留地质构造中的断层、尖灭等细节特征。传统的噪声压制方法均是基于预先建立的模型，需要根据数据集估计参数，这种模型往往不适用于现场数据，且估计参数需要大量的人机交互，自动化程度较低。另外，传统的去噪方法不能很好地兼顾保护地震记录同相轴的整体趋势和细节、边缘等信息。
3.卷积神经网络（convolutional neural networks，cnn）作为计算机视觉处理中提取图像特征的重要方法，利用卷积滤波器进行参数共享以及层与层之间的稀疏连接，提取固定感受野之下的卷积特征并输入至后续的网络中完成特定任务（例如人脸识别、图像分割和视频插帧等任务）。地球物理技术领域研究人员已尝试将卷积神经网络应用于地震数据去噪处理中，但现阶段基于卷积神经网络的地震数据去噪方法主要侧重于采用精细的网络结构（例如采用生成对抗网络、残差学习网络或者u-net），相比于传统的基于模型的地震数据去噪方法，基于卷积神经网络的地震数据去噪方法其去噪性能有了显著的提高，但是，当地震记录的同相轴形状和倾角发生较大变化时（例如地下存在凹陷、隆起时），由于卷积神经网络提取的特征是通过卷积滤波器提取固定感受野中的局部特征，这就使得基于卷积神经网络的地震数据去噪方法常常存在去噪性能较弱的问题，无法很好地保护同相轴的真实形状。为了能够提取到整个数据块的特征，卷积神经网络需要堆叠卷积滤波器构建马尔科夫链，由于卷积滤波器本身不具备非局部性质，所以其获得的特征并不能很好地建立整块数据各区域之间的联系，造成全局信息的缺失，缺失全局信息将导致网络的去噪性能降低，产生较大的误差。因此，基于卷积神经网络的地震数据去噪方法因为卷积运算存在固有的局部性，虽然这种局部性有利于提取地震数据中的细节和边缘信息，但无法很好地获取数据的全局和长程特征，即传统的基于卷积神经网络的地震数据去噪方法应用于长距离关系建模时，具有一定的局限性且计算量较大。
4.变换神经网络（transformer）作为目前深度学习领域最先进的网络模型之一，其自注意力机制擅长捕捉数据及特征的内部相关性，减少对外部信息的依赖，已被研究人员引入计算机视觉领域中执行图像识别任务，视觉变换神经网络（vision transformer）在图像分类、目标检测和语义分割等计算机视觉任务中均取得了良好的应用，其自注意力机制通过计算图像中像素点间的相互关系捕捉图像的全局信息，对长距离关系进行建模。但是，单纯使用变换神经网络时，会因为长程注意力机制而忽略掉图像的局部特性，导致局部信
息获取能力较差，造成细节或边缘信息的丢失。并且，变换神经网络的常规自注意力机制在求取全局注意力图时，无差别地计算了所有像素的相似度，使得计算量巨大、硬件成本高昂，难以应用于训练地震数据去噪网络中。
5.因此，亟需提出一种新的地震噪声压制方法，用于解决现有地震数据去噪方法难以充分挖掘利用地震数据信息、模型构建复杂且计算成本高昂的问题。


技术实现要素：

6.本发明针对现有技术难以充分挖掘利用地震数据信息、模型构建复杂且计算成本高昂的问题，提出了一种基于卷积神经网络和视觉变换神经网络的地震去噪方法，通过将卷积神经网络和视觉变换神经网络结合后进行轻量化改进，提高了对地震数据的去噪性能，减少了地震数据去噪网络训练过程中的参数量和计算量，有效压制了地震数据中的噪声，有利于快速准确的获取地下介质构造分布信息。
7.本发明为了实现上述目的，采用如下技术方案：基于卷积神经网络和视觉变换神经网络的地震去噪方法，包括以下步骤：步骤1，采集含噪声的地震数据，对含噪声的地震数据进行去噪处理后，得到多个去噪后的地震数据块，构建地震数据集，地震数据集中包括训练集、验证集和测试集；步骤2，基于卷积神经网络和视觉变换神经网络构建地震数据去噪u-net网络，地震数据去噪u-net网络由多个位于不同深度处的ct模块组成，ct模块包含两个1
×
1卷积层、一个由轻量化卷积模块和轻量化视觉变换神经网络模块组成的并行结构和一个合并层；步骤3，利用训练集对地震数据去噪u-net网络进行训练，得到训练后的地震数据去噪u-net网络；步骤4，利用验证集验证训练后地震数据去噪u-net网络的去噪效果，若训练后地震数据去噪u-net网络的去噪效果已达到最佳，则进入步骤5，否则，则返回步骤3中，继续利用训练集对地震数据去噪u-net网络进行训练；步骤5，将测试集中含噪声地震数据块输入至训练后的地震数据去噪u-net网络中，利用训练后的地震数据去噪u-net网络去除测试集中含噪声地震数据块中的噪声，得到去除噪声后的地震数据。
8.优选地，所述步骤1中，具体包括以下步骤：步骤1.1，采集含噪声的地震数据，将含噪声的地震数据截取为多个具有相同维度的含噪声地震数据块，分别对各含噪声地震数据块进行去噪处理后，得到多个去噪后的地震数据块，各去噪后的地震数据块为其所对应含噪声地震数据块的标签；步骤1.2，基于含噪声地震数据块和去噪后的地震数据块，构建地震数据集，并将地震数据集划分为训练集、验证集和测试集。
9.优选地，所述步骤2中，当含噪声地震数据块或前一个ct模块输出的特征数据块输入至当前ct模块时，当前ct模块的第一个1
×
1卷积层先对输入的含噪声地震数据块或特征数据块进行卷积核大小为1
×
1的卷积运算，得到1
×
1卷积处理后的地震数据，如公式（1）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
式中，为1
×
1卷积处理后的地震数据，行数为h、列数为w、通道数为c；为卷积核大小为1
×
1的卷积运算函数；为输入至ct模块的数据块，行数为h、列数为w、通道数为c0；再将经1
×
1卷积处理后的地震数据同时输入至轻量化卷积模块和轻量化视觉变换神经网络模块中，轻量化卷积模块输出轻量化卷积处理数据，轻量化视觉变换神经网络模块输出轻量化视觉变换神经网络处理数据，如公式（2）和公式（3）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）式中，为轻量化卷积处理数据，行数为h、列数为w、通道数为c；为轻量化卷积模块的运算函数；为轻量化视觉变换神经网络处理数据，行数为h、列数为w、通道数为c；为轻量化视觉变换神经网络模块的运算函数；最后，将轻量化卷积处理数据和轻量化视觉变换神经网络处理数据同时输入合并层中，经合并层处理后再输入至当前ct模块的第二个1
×
1卷积层中，输出经ct模块处理后的数据，如公式（4）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）式中，z为经ct模块处理后的数据，为合并运算。
10.优选地，所述轻量化卷积模块包括第一卷积层和第二卷积层，第一卷积层和第二卷积层串联连接，第一卷积层和第二卷积层之间设置有激活函数relu，第一卷积层和第二卷积层均采用卷积核大小为3
×
3的深度可分离卷积，深度可分离卷积分为逐通道卷积与逐点卷积，第一卷积层的输入与第二卷积层的输出之间设置有快接连接，快接连接将输入至轻量化卷积模块的地震数据与经轻量化卷积模块处理后输出的地震数据相融合，得到轻量化卷积处理数据，如公式（5）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（5）式中，为可分离卷积运算函数，为激活函数。
11.优选地，所述轻量化视觉变换神经网络模块包括第一层归一化层、轻量化自注意力层、第二层归一化层、多层感知机层，轻量化视觉变换神经网络模块内部还设置有两个快接连接，第一层归一化层和第二层归一化层均用于根据地震数据的通道数对地震数据进行归一化，轻量化自注意力层用于利用轻量化自注意力机制求取全局注意力图，多层感知机层用于提高轻量化视觉变换神经网络的非线性表达能力；利用轻量化视觉变换神经网络模块求取全局注意力图时，将1
×
1卷积处理后的地震数据输入至轻量化视觉变换神经网络模块中，先通过矩阵映射将行数为h、列数为w、通道数为c的地震数据转换为相互独立的第一矩阵q、第二矩阵k和第三矩阵v，第一矩阵q、第二矩阵k和第三矩阵v的维度相同，第一矩阵q、第二矩阵k和第三矩阵v的行数均为h、列数均为w、通道数均为c，再采用最大池化分别降低第二矩阵k和第三矩阵v的维度，得到降维后的第二矩阵和第三矩阵，如公式（6）和公式（7）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）式中，为降维后的第二矩阵，降维后第二矩阵的行数为p、列数为p、通道数为c；k为第二矩阵；为降维后的第三矩阵，降维后第三矩阵的行数为p、列数为p、通道数为c；v为第三矩阵；为做大池化运算函数；轻量化自注意力层基于轻量化自注意力机制，利用第一矩阵q、降维后的第二矩阵和降维后的第三矩阵求取全局注意力图，如公式（8）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀ
（8）式中，为基于轻量化自注意力机制求取全局注意力图的函数；为激活函数；为降维后第二矩阵的空间维度，；为降维后第二矩阵的转置矩阵。
12.优选地，所述步骤3中，具体包括以下步骤：步骤3.1，将训练集中的含噪声地震数据块输入至步骤2中构建的地震数据去噪u-net网络中，利用地震数据去噪u-net网络去除含噪声地震数据块中的噪声，得到去除噪声后的地震数据；步骤3.2，将去除噪声后的地震数据与训练集中含噪声地震数据块所对应的标签进行对比，计算去除噪声后的地震数据与含噪声地震数据块标签之间的误差值，并将误差值与预设的阈值进行比较；若误差值小于预设的阈值，则进入步骤3.4；否则，则进入步骤3.3；步骤3.3，反向传播误差值并根据误差梯度信息更新地震数据去噪u-net网络中的参数，得到更新后的地震数据去噪u-net网络，将训练集中的含噪声地震数据块输入至更新后的地震数据去噪u-net网络中，利用更新后的地震数据去噪u-net网络去除含噪声地震数据块中的噪声，得到去除噪声后的地震数据后，返回步骤3.2；步骤3.4，完成对地震数据去噪u-net网络的训练，得到训练后的地震数据去噪u-net网络。
13.优选地，所述步骤3.3中，利用训练集训练地震数据去噪u-net网络时，地震数据去噪u-net网络中参数的损失函数为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（9）式中，为损失函数；为地震数据去噪u-net网络中的参数，采用adam优化算法求解获得；n为训练集中含噪声地震数据块的总数；为地震数据去噪u-net网络；为训练集中第i个含噪声地震数据块，为训练集中第i个含噪声地震数据块的标签。
14.优选地，所述步骤4中，具体包括以下步骤：步骤4.1，将验证集中的含噪声地震数据块输入至训练后的地震数据去噪u-net网络中，利用训练后的地震数据去噪u-net网络去除含噪声地震数据块中的噪声，得到去除噪声后的地震数据；步骤4.2，将去除噪声后的地震数据与验证集中含噪声地震数据块所对应的标签进行对比，计算去除噪声后的地震数据与含噪声地震数据块标签之间的误差值，并将误差值与预设的阈值进行比较；若误差值小于预设的阈值，则证明训练后地震数据去噪u-net网络的去噪效果已达到最优，进入步骤5；否则，则返回步骤3，继续利用训练集训练地震数据去噪u-net网络。
15.本发明具有的有益效果为：本发明提出了一种基于卷积神经网络和视觉变换神经网络的地震去噪方法，通过将卷积神经网络和视觉变换神经网络相结合，在利用卷积神经网络提取地震数据的局部信息的同时利用视觉变换神经网络提取地震数据的全局信息，并将提取到的局部信息和全局信息融合后用于去除地震数据去噪，有效提高了地震数据的去噪性能。
16.同时，本发明方法还对卷积神经网络和视觉变换神经网络的网络结构进行了轻量化改进，既有效保证了地震数据的完整性，兼顾了地震数据的局部特征和全局特征，又减少了训练过程中的参数量，避免了因出现梯度消失而导致网络退化的问题，大幅度降低了地震数据去噪的成本，为快速且准确的获取地下介质构造信息奠定了基础。
附图说明
17.图1为本发明基于卷积神经网络和视觉变换神经网络的地震去噪方法的流程图。
18.图2为本发明地震数据去噪u-net网络的结构示意图。
19.图3为本发明ct模块的结构示意图。
20.图4本发明轻量化卷积模块的结构示意图。
21.图5为本发明轻量化视觉变换神经网络模块的结构示意图。
22.图6为利用常规视觉变换神经网络的自注意力机制求取全局注意力图的原理图。
23.图7为利用轻量化视觉变换神经网络的轻量化自注意力机制求取全局注意力图的原理图。
24.图8为本发明利用训练集训练地震数据去噪u-net网络的流程图。
25.图9为本发明利用训练后的地震数据去噪u-net网络进行地震数据去噪的流程图。
具体实施方式
26.下面结合附图以及具体实施方式对本发明作进一步详细说明：本发明提出了一种基于卷积神经网络和视觉变换神经网络的地震去噪方法，如图1所示，具体包括以下步骤：步骤1，采集含噪声的地震数据，对含噪声的地震数据进行去噪处理后，得到多个去噪后的地震数据块，构建地震数据集，地震数据集中包括训练集、验证集和测试集，具体包括以下步骤：步骤1.1，采集含噪声的地震数据，将含噪声的地震数据截取为多个具有相同维度
的含噪声地震数据块，各含噪声地震数据块的行数为h、列数为w，本实施例中含噪声地震数据块的行数设置为h=200、列数设置为w=200，采用常规地震数据去噪方法（如三维块匹配算法bm3d或加权核范数最小化方法wnnm）分别对各含噪声地震数据块进行去噪处理后，得到多个去噪后的地震数据块，各去噪后的地震数据块为其所对应含噪声地震数据块的标签。
27.步骤1.2，基于步骤1.1中获取的多组含噪声地震数据块和去噪后的地震数据块，构建地震数据集，并将地震数据集划分为训练集、验证集和测试集，其中，训练集用于训练地震数据去噪u-net网络，验证集用于调试地震数据去噪u-net网络，测试集用于测试地震数据去噪u-net网络的去噪效果，本实施例中训练集、验证集和测试集中含噪声地震数据块的数量比为3:1:1。
28.步骤2，基于卷积神经网络和视觉变换神经网络构建地震数据去噪u-net网络，具体过程如下：由于u-net能够提取并利用数据的尺度特征，本实施例为了充分获取并利用地震数据的局部信息和全局信息基于轻量化卷积神经网络和视觉变换神经网络构建地震数据去噪u-net网络，如图2所示，地震数据去噪u-net网络由多个位于不同深度处的ct模块组成，ct模块包含两个1
×
1卷积层、一个由轻量化卷积模块和轻量化视觉变换神经网络模块组成的并行结构和一个合并层，如图3所示，其中，轻量化卷积模块和轻量化视觉变换神经网络模块通过合并运算能够实现对地震数据局部特征和全局特征的有效融合。
29.当含噪声地震数据块或前一个ct模块输出的特征数据块输入至当前ct模块时，当前ct模块的第一个1
×
1卷积层先对输入的含噪声地震数据块或特征数据块进行卷积核大小为1
×
1的卷积运算，将行数为h、列数为w、通道数为c0的地震数据转换为行数为h、列数为w、通道数为c的地震数据，得到1
×
1卷积处理后的地震数据，如公式（1）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）式中，为1
×
1卷积处理后的地震数据，行数为h、列数为w、通道数为c；为卷积核大小为1
×
1的卷积运算函数；为输入至ct模块的数据块，行数为h、列数为w、通道数为c0。
30.再将经1
×
1卷积处理后的地震数据同时输入至轻量化卷积模块和轻量化视觉变换神经网络模块中，轻量化卷积模块输出轻量化卷积处理数据，轻量化视觉变换神经网络模块输出轻量化视觉变换神经网络处理数据，如公式（2）和公式（3）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）式中，为轻量化卷积处理数据，为轻量化视觉变换神经网络处理数据，轻量化卷积处理数据和轻量化视觉变换神经网络处理数据的维度相同，行数均为h、列数均为w、通道数均为c；为轻量化卷积模块的运算函数；为轻量化视觉变换神经网络模块的运算函数。
31.最后，将轻量化卷积处理数据和轻量化视觉变换神经网络处理数据同时输入合并层中，经合并层处理后再输入至当前ct模块的第二个1
×
1卷积层中，合并层和1
×
1卷
积运算将轻量化卷积模块输出的轻量化卷积处理数据和轻量化视觉变换神经网络模块输出的轻量化视觉变换神经网络处理数据充分融合，输出经ct模块处理后的数据，如公式（4）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）式中，z为经ct模块处理后的数据，为合并运算。
32.ct模块内设置的轻量化卷积模块如图4所示，包括第一卷积层和第二卷积层，第一卷积层和第二卷积层串联连接，第一卷积层和第二卷积层之间设置有激活函数relu。第一卷积层和第二卷积层均采用卷积核大小为3
×
3的深度可分离卷积，深度可分离卷积分为逐通道卷积与逐点卷积，逐通道卷积是将每个通道都对应着唯一的一个卷积核，一个卷积核负责一个通道，一个通道只被一个卷积核卷积，通道和卷积核一一对应，经过逐通道卷积运算得到的特征图数量与输入数据的通道数相同；逐点卷积是将逐通道卷积生成的特征图进行加权组合，生成新的特征图，特征图的数量与逐点卷积核的数量相等。
33.由于逐通道卷积和逐点卷积的参数量均远小于常规卷积，所以深度可分离卷积比常规卷积的参数数量少得多。并且，单纯的卷积运算将数据在空间维度进行线性变换时，存在不同的数据点映射为同一个值的问题，从而造成信息丢失，产生欠拟合现象，容易导致梯度消失现象。为了弥补卷积运算导致的信息丢失，保证信息的完整性，本发明方法在第一卷积层的输入与第二卷积层的输出之间设置了快接连接，快接连接将输入至轻量化卷积模块的地震数据与经轻量化卷积模块处理后输出的地震数据相融合，得到轻量化卷积处理数据，如公式（5）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀ
（5）式中，为可分离卷积运算函数；为激活函数，为非线性修正单元。
34.ct模块内设置的轻量化视觉变换神经网络模块如图5所示，包括第一层归一化层、轻量化自注意力层、第二层归一化层、多层感知机层，轻量化视觉变换神经网络模块内还设置有两个快接连接，解决了由于网络深度增加所引起的网络退化，有效防止了梯度消失，有利于帮助深层网络的训练。轻量化视觉变换神经网络模块训练过程中，第一层归一化层和第二层归一化层均用于根据地震数据的通道数对地震数据进行归一化，各层归一化层每次只对单个训练样本进行归一化运算，归一化的结果与每次参与训练的样本数无关，因此不受训练所选取样本数据分布的影响，同时，层归一化不需要保存训练批次的均值和方差，节省了额外的存储空间，本实施例中第一层归一化层和第二层归一化层均根据地震数据的通道数对地震数据进行归一化。多层感知机层通过先将数据映射到高维空间再映射到低维空间，学习到更加抽象的特征，提高了轻量化视觉变换神经网络的非线性表达能力。
35.常规视觉变换神经网络的自注意力机制求取全局注意力图原理如图6所示，为了便于理解，图6中数据的行数为h、列数为w、通道数为1，计算一个行数为h、列数为w、通道数为c的数据的全局注意力图时，常规视觉变换神经网络中的自注意力机制首先通过矩阵映射将该行数为h、列数为w、通道数为c的数据变成3个不同且相互独立的矩阵，分别为第一矩阵q、第二矩阵k和第三矩阵v，第一矩阵q、第二矩阵k和第三矩阵v的行数均为h、列数均为w、
通道数均为c，然后通过对第一矩阵q和第二矩阵k转置后与第三矩阵v进行乘法运算求取全局注意力图，由于第一矩阵q、第二矩阵k和第三矩阵v的行数均为h、列数均为w、通道数均为c，所以对上述三个矩阵连续相乘运算将产生与(hw)2c成正比的计算量，非常耗时、耗显存。
36.相比于采用常规视觉变换神经网络的自注意力机制求取全局注意力图，利用轻量化视觉变换神经网络的轻量化自注意力机制求取全局注意力图的原理如图7所示。当利用轻量化视觉变换神经网络模块求取全局注意力图时，将1
×
1卷积处理后的地震数据输入至轻量化视觉变换神经网络模块中，先通过矩阵映射将行数为h、列数为w、通道数为c的地震数据转换为相互独立的第一矩阵q、第二矩阵k和第三矩阵v，第一矩阵q、第二矩阵k和第三矩阵v的维度相同，第一矩阵q、第二矩阵k和第三矩阵v的行数均为h、列数均为w、通道数均为c，考虑到第二矩阵k和第三矩阵v中存在很多冗余的信息，且很多信息都是重复的，减少一些冗余信息并不会对网络的性能产生影响，同时，本发明选用最大池化而不是平均池化对第二矩阵k和第三矩阵v进行降维，是由于平均池化有利于保留数据的整体特征，能够较好的突出背景信息，而最大池化则倾向于保留数据的细节特征，且地震数据去噪的一个重要目的是恢复地震数据的同相轴细节信息。因此，最大池化相比于平均池化更适用于地震数据去噪任务。本发明采用最大池化分别降低第二矩阵k和第三矩阵v的维度，得到降维后的第二矩阵和第三矩阵，如公式（6）和公式（7）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）式中，为降维后的第二矩阵，降维后第二矩阵的行数为p、列数为p、通道数为c，降维后第二矩阵的行数p远小于降维前第二矩阵k的行数h或列数w；k为第二矩阵；为降维后的第三矩阵，降维后第三矩阵的行数为p、列数为p、通道数为c；v为第三矩阵；为做大池化运算函数。
37.轻量化自注意力层基于轻量化自注意力机制，利用第一矩阵q、降维后的第二矩阵和降维后的第三矩阵求取全局注意力图，如公式（8）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）式中，为基于轻量化自注意力机制求取全局注意力图的函数；为激活函数；为降维后第二矩阵的空间维度，；为降维后第二矩阵的转置矩阵。
38.对于同一个行数为h、列数为w、通道数为c的地震数据，采用常规视觉变换神经网络的自注意力机制求取全局注意力图的计算复杂度为s=4(hw)2c+2(hw)2c，而采用轻量化视觉变换神经网络的轻量化自注意力机制求取全局注意力图的计算复杂度为s=2hwp2c。本实施例中经过最大池化处理后数据的列数p=7，对于同一个地震记录中提取的行数为h=56、列数为w=56、通道数为c=1的特征张量，采用常规视觉变换神经网络的自注意力机制求取全局注意力图的计算复杂度为19681536，而采用轻量化视觉变换神经网络的轻量化自注意力机
制求取全局注意力图的计算复杂度为307328，由此可见，采用本发明的轻量化自注意力机制大幅度降低了求取全局注意力图的计算复杂度。
39.步骤3，利用训练集对地震数据去噪u-net网络进行训练，得到训练后的地震数据去噪u-net网络，如图8所示，具体包括以下步骤：步骤3.1，将训练集中的含噪声地震数据块输入至步骤2中构建的地震数据去噪u-net网络中，利用地震数据去噪u-net网络去除含噪声地震数据块中的噪声，得到去除噪声后的地震数据。
40.步骤3.2，将去除噪声后的地震数据与训练集中含噪声地震数据块所对应的标签进行对比，计算去除噪声后的地震数据与含噪声地震数据块标签之间的误差值，并将误差值与预设的阈值进行比较；若误差值小于预设的阈值，则进入步骤3.4；否则，则进入步骤3.3。
41.步骤3.3，反向传播误差值并根据误差梯度信息更新地震数据去噪u-net网络中的参数，得到更新后的地震数据去噪u-net网络，将训练集中的含噪声地震数据块输入至更新后的地震数据去噪u-net网络中，利用更新后的地震数据去噪u-net网络去除含噪声地震数据块中的噪声，得到去除噪声后的地震数据后，返回步骤3.2；利用训练集训练地震数据去噪u-net网络时，地震数据去噪u-net网络中参数的损失函数为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（9）式中，为损失函数；为地震数据去噪u-net网络中的参数，采用adam优化算法求解获得；n为训练集中含噪声地震数据块的总数；为地震数据去噪u-net网络；为训练集中第i个含噪声地震数据块，为训练集中第i个含噪声地震数据块的标签。
42.步骤3.4，完成对地震数据去噪u-net网络的训练，得到训练后的地震数据去噪u-net网络。
43.步骤4，利用验证集验证训练后地震数据去噪u-net网络的去噪效果，若训练后地震数据去噪u-net网络的去噪效果已达到最佳，则进入步骤5，否则，则返回步骤3中，继续利用训练集对地震数据去噪u-net网络进行训练，具体包括以下步骤：步骤4.1，将验证集中的含噪声地震数据块输入至训练后的地震数据去噪u-net网络中，利用训练后的地震数据去噪u-net网络去除含噪声地震数据块中的噪声，得到去除噪声后的地震数据。
44.步骤4.2，将去除噪声后的地震数据与验证集中含噪声地震数据块所对应的标签进行对比，计算去除噪声后的地震数据与含噪声地震数据块标签之间的误差值，并将误差值与预设的阈值进行比较；若误差值小于预设的阈值，则证明训练后地震数据去噪u-net网络的去噪效果已达到最优，进入步骤5；否则，则返回步骤3，继续利用训练集训练地震数据去噪u-net网络。
45.步骤5，将测试集中含噪声地震数据块输入至训练后的地震数据去噪u-net网络中，利用训练后的地震数据去噪u-net网络去除测试集中含噪声地震数据块中的噪声，如图
9所示，地震数据去噪u-net网络输出得到去除噪声后的地震数据。
46.当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。