一种基于多层次特征聚合的全球海洋环境预报方法

本发明涉及海洋环境预报领域，具体涉及一种优化预报精度、达到中长期预报的基于多层次特征聚合的全球海洋环境预报方法。

背景技术：

1、海洋环境预报是指通过数据收集分析和模型计算等技术手段，对全球海洋环境中的温度、盐度、流速、海表面高度等海洋中各层的(每一层都对应从海表垂直向下的一个深度，例如第1层对应0.5米的深度，第2层对应1.5米的深度)重要要素进行预测估计的过程，是应对气候变化、海洋灾害和生态系统可持续性等重要挑战的关键工具。预报准确性和实时性是这一领域的核心关注点。

2、在海洋环境预报中，性能评估分为两个关键方面：准确性和实时性。准确性反映了预报方法的精确度，而实时性则强调了方法的快速响应能力。对于应用于航海、渔业、海洋资源管理和自然灾害预警等任务的海洋环境预报，实时性是至关重要的。如果无法在紧急情况下及时提供预报信息，可能会导致重大损失和危险。

3、目前，海洋环境预报方法的发展主要集中在两个方向：微分方程驱动的数值模型预报方法和大数据驱动的海洋环境预报方法。

4、微分方程驱动的数值模型预报方法，如英国气象局foam(forecast oceanassimilation model)系统、法国glorys12中心的psy3和psy4系统、加拿大环境中心的giops(global ice ocean prediction system-canadian operational net-work ofcoupled environmental prediction systems,giops)系统和澳大利亚气象局的blk(theocean model analysis and prediction system,blk)系统，使用数学方程和计算机模拟海洋过程生成海洋环境预报数据。然而微分方程驱动的数值模型预报方法通常需要大量的计算时间，导致预报的时效性不足。并且，数值模型预报方法取决于人类对海洋环境规律的认识和掌握，然而现阶段人类对海洋系统的认识还十分有限，因此预报水平还不能完全满足社会发展的需求，准确性仍需提升。

5、大数据驱动的海洋环境预报方法借鉴了深度学习技术，充分利用卫星遥感数据、传感器观测数据和海洋数据库中的历史信息来生成实时预报。由于gpu算力的发展，大数据驱动的海洋环境预报方法在实时性预测方面相较于微分方程驱动的数值模型预报方法具有更明显的优势。

6、大数据驱动的深度学习预报方法首先在气象预报领域取得了巨大进展。文献“bi,k.,xie,l.,zhang,h.et al.accurate medium-range global weather forecasting with3d neural networks.nature 619,533–538(2023).”(bi,k.,xie,l.等人的论文：基于3d神经网络的精确中期全球天气预报)介绍了一种基于3d-transformer的高分辨率全球天气预报系统——盘古，该预报系统可以在0.25°的空间分辨率下生成7天的气象预报结果，并在80％天气变量上的评价指标超越欧洲中期天气预报中心(european centre for medium-range weather forecasts，ecmwf)运行的integrated forecasting system-highresolution(ifs-hres)先进数值天气预报系统。盘古实现了基于深度学习的气象预报模型，该模型具备推理速度快、预报精度等优点。由于大数据驱动的深度学习预报方法在天气预报领域取得的巨大成功，近来也有使用大数据驱动的深度学习方法对海洋环境进行预报的工作。文献“xiong,w.,xiang,y.,wu,h.,zhou,s.,sun,y.,ma,m.,&huang,x.(2023).ai-goms:large ai-driven global ocean modeling system.arxiv,abs/2308.03152.”(xiong,w.,xiang,y.等人的论文：大型人工智能驱动的全球海洋建模系统：ai-goms)是一个基于傅里叶算子的自编码器基础模型的海洋环境预报系统，该系统以0.25°空间分辨率的hycom全球再分析海洋数据为输入，进行未来30天的天级全球预报，但并未采用国际权威的海洋预报系统评测组织——海洋预报系统间比较与验证工作组(intercomparison andvalidation task team,ivtt)的评测标准对模型性能进行全方位评估，使得该系统的预报性能无法与数值预报模型的性能进行直观比较。

7、盘古和ai-goms证明了深度学习在气象预报领域和海洋环境预报领域相较于传统数值模型具备较大的性能优势，但它们都只能对0.25°空间分辨率的全球数据进行预报。而海洋再分析数据的空间分辨率高达1/12度，这会导致模型训练过程中产生较大的计算开销，此外海洋数据具备观测站点少、观测途径单一、特征表征能力不足等缺陷，使得再分析数据与真实观测值相比存在一定差距，只有通过标准化方法进行统一标准评测，才能全面、准确地评估模型性能。这些重要问题始终阻碍了基于数据驱动的深度学习对海洋环境预报方法的发展。

8、如何在缓解对高分辨率海洋数据的特征表征能力不足的前提下，提高预报实时性、预报准确度、降低计算成本，仍然是本领域相关技术人员亟待解决的技术问题。

技术实现思路

1、本发明要解决的技术问题是针对现有微分方程驱动的数值模型方法计算成本过大，预报速度较慢，现有基于数据驱动的深度学习海洋环境预报系统难以处理1/12度的高分辨率全球数据、预报精度有待提高的问题，提出一种基于多层次特征聚合的全球海洋环境预报方法。在保证预报实时性的前提下，利用多层次特征聚合网络提取多尺度特征，缓解特征表征能力不足、计算成本较高的问题，提升预报精度，实现高分辨率的全球海洋环境预报。

2、为解决上述技术问题，本发明的技术方案是：构建基于多层次特征聚合的全球海洋环境预报系统。该系统由海洋特征提取模块、海洋特征聚合模块和全球海洋区域还原模块构成。构建全球海洋环境预报系统所需的数据集，将数据集划分为训练集、验证集和测试集。对训练集、验证集和测试集进行时间分辨率和空间分辨率对齐，并抽取关键层数据，最后进行标准化处理。然后采用训练集对全球海洋环境预报系统中的海洋特征提取模块、海洋特征聚合模块和全球海洋区域还原模块进行训练。在一轮训练结束后，使用验证集对训练后的全球海洋环境预报系统的预报精度进行测试，若该轮的网络权重参数使得当前的预报精度最优，则保存该轮的网络中可训练模块(海洋特征提取模块、海洋特征聚合模块和全球海洋区域还原模块)的权重参数。待最后一轮训练结束后，就能得到预报性能最优异的训练后的全球海洋环境预报系统；最后采用预报性能最优异的训练后的全球海洋环境预报系统根据用户输入的某天的全球海洋环境数据进行全球海洋环境预报。输入的全球海洋环境数据是一个包含各层要素的三维网格数据，要素包括：三个海表要素(海表面风场，海表面高度，海表面温度)以及海表1到33层的海水温度、盐度、流速(流速包括两个分量，即海水东向流速以及海水北向流速)。每一层都对应从海表垂直向下的一个深度，例如第1层对应0.5米的深度，第2层对应1.5米的深度，第33层对应643.5米。输入格式为v×h×w，其中v代表输入的包含各层要素的总要素数量(v＝3+层数×4)，h代表网格在纬度方向上的网格点数，w代表网格在经度方向上的网格点数)，得到相应天数的目标要素(目标要素包括海表面高度，海表面温度，1到33层的温度、盐度、流速)的全球海洋环境预报结果。

3、本发明技术方案包括以下步骤：

4、第一步，构建基于多层次特征聚合的全球海洋环境预报系统。如图1所示，海洋环境预报系统由海洋特征提取模块、海洋特征聚合模块和全球海洋区域还原模块构成。

5、海洋特征提取模块与海洋特征聚合模块相连、全球海洋区域还原模块相连，海洋特征提取模块接收用户输入的全球海洋环境数据(即包含海洋各层要素的三维网格数据)，从全球海洋环境数据中提取海洋特征，将海洋特征的特征图发送给海洋特征聚合模块、全球海洋区域还原模块。海洋特征提取模块由二维卷积神经网络(见文献“dosovitskiy a,beyer l,kolesnikov a,et al.an image is worth 16x16 words:transformers forimage recognition at scale[j].arxiv preprint arxiv:2010.11929,2020.”dosovitskiy a,beyer l等人的论文：用于大规模图像识别的transformer)和一个layernormalization层(见文献“ba j l,kiros j r,hinton g e.layer normalization[j].arxiv preprint arxiv:1607.06450,2016.”lin t ba j l,kiros j r等人的论文：层次归一化)组成。二维卷积神经网络将三维网格数据划分成一个个块(patch)，每个patch的大小都为6×6像素，提取全球海洋环境数据的海洋特征，并将海洋特征的特征图发送给第一layer normalization层。二维卷积神经网络的步长以及卷积核大小都为6。第一layernormalization层对海洋特征的特征图进行归一化，以保证训练的稳定性，将归一化后的海洋特征的特征图发送给海洋特征聚合模块。

6、海洋特征聚合模块与海洋特征提取模块、全球海洋区域还原模块相连。海洋特征聚合模块由5个权重不共享的空间信息提取(spatial information extraction,sie)网络(分别记这5个网络为第一、第二、第三、第四、第五sie网络)、上采样模块和下采样模块构成。第一sie网络和第五sie网络结构相同，均由一个局部sie网络和一个全局sie网络构成；第二sie网络至第四sie网络结构相同，均由两个连续的局部sie网络和一个全局sie网络构成。第一sie网络由第一局部sie网络和第一全局sie网络组成。第一局部sie网络由窗口多头自注意力层和多层感知机(multilayer perceptron,mlp)构成。窗口多头自注意力层从海洋特征提取模块接收归一化后的海洋特征的特征图，对归一化后的海洋特征的特征图进行层次归一化，将层次归一化后的特征图划分成多个大小为7×7的窗口(每个窗口包含7×7个patch)，使用窗口多头自注意力机制(见文献“liu z,lin y,cao y,et al.swintransformer:hierarchical vision transformer using shifted windows[c]//proceedings of the ieee/cvf international conference on computer vision.2021:10012-10022.”liu z,lin y等：使用滑动窗口的层次化视觉transformer)以及残差连接操作得到注意力机制增强的特征图，将注意力机制增强的特征图发送给多层感知机。多层感知机由两层线性层组成，从窗口多头自注意力层接收注意力机制增强的特征图，对其进行层次归一化、线性投影以及残差连接操作，得到融合窗口内局部空间信息的特征图，将融合窗口内局部空间信息的特征图发送给第一全局sie网络。第一全局sie网络由一个特征分组网络，一个组特征融合网络以及一个组特征传播网络组成。第一全局sie网络的特征分组网络从第一局部sie网络接收融合窗口内局部空间信息的特征图，使用交叉注意力机制对融合窗口内局部空间信息的特征图中的特征进行分组聚合，得到组特征，将组特征发送给组特征融合网络。组特征融合网络的主体部分由mlp-mixer(见文献“tolstikhin io,houlsbyn,kolesnikov a,et al.mlp-mixer:an all-mlp architecture for vision[j].advancesin neural information processing systems,2021,34:24261-24272.”tolstikhin io,houlsby n等人的论文：mlp-mixer：针对视觉任务的多层感知机架构)构成。mlp-mixer可以在模型性能和计算开销上达到良好的平衡。组特征融合网络从特征分组网络接收组特征，交换组特征信息并更新组特征，使得每个组特征在包含当前组信息的同时又能一定程度上反映全局信息，得到更新后组特征，将更新后组特征发送给组特征传播网络。组特征传播网络使用交叉注意力机制将更新后组特征传播给融合窗口内局部空间信息的特征图中的所有特征，并利用深度可分卷积神经网络对窗口内局部空间信息的特征图进行卷积特征提取，得到第一阶段特征增强后的特征图，并将第一阶段特征增强后的特征图发送给下采样模块。第二sie网络至第五sie网络中的局部sie网络结构与第一局部sie网络结构相同，第二sie网络至第五sie网络中的全局sie网络结构与第一全局sie网络相同。

7、下采样模块与第一sie网络、第二sie网络相连，由一个线性层构成。下采样模块从第一sie网络接收第一阶段特征增强后的特征图，将第一阶段特征增强后的特征图中每2×2个，即4个相邻的patch组合在一起，并在通道维度上拼接后进行层次归一化操作，得到通道数为第一阶段特征增强后的特征图4倍的通道拼接特征图。下采样模块在通道拼接特征图的通道维度做线性变化，将通道拼接特征图的通道数减半，得到下采样特征图。下采样特征图的高和宽是第一阶段特征增强后的特征图的一半，通道数是第一阶段特征增强后的特征图的2倍，即下采样倍率会变为第一sie网络的两倍，接着将下采样特征图发送给第二sie网络。第二sie网络的两个连续的局部sie网络(即第二局部sie网络和第三局部sie网络)和一个全局sie网络(即第二全局sie网络)对下采样特征图进行增强，获得第二阶段特征增强的特征图，并将第二阶段特征增强的特征图发送给第三sie网络；第三sie网络的两个连续的局部sie网络(即第四局部sie网络和第五局部sie网络)和一个全局sie网络(即第三全局sie网络)对第二阶段特征增强的特征图进行增强，获得第三阶段特征增强的特征图，并将第三阶段特征增强的特征图发送给第四sie网络；第四sie网络的两个连续的局部sie网络(即第六局部sie网络和第七局部sie网络)和一个全局sie网络(即第四全局sie网络)对第三阶段特征增强的特征图进行增强，获得第四阶段特征增强的特征图，将第四阶段特征增强的特征图发送给上采样模块。

8、上采样模块与第四sie网络、第五sie网络相连，由两个线性层构成。上采样模块从第四sie网络接收第四阶段特征增强的特征图。上采样模块的第一个线性层在第四阶段特征增强的特征图的通道维度上做线性变化，得到通道维度是第四阶段特征增强的特征图的2倍的通道变换特征图；改变通道变换特征图的形状，使得高和宽是通道变换特征图的2倍，通道数是通道变换特征图的一半，得到形状变换特征图，将形状变换特征图发送给上采样模块的第二个线性层。上采样模块的第二个线性层对形状变换特征图的通道域信息进行融合，不改变通道维度的大小，得到上采样特征图，将上采样特征图发送给第五sie网络。上采样特征图的高和宽是第四阶段特征增强的特征图的2倍，通道数是第四阶段特征增强的特征图的一半。

9、第五sie网络对上采样特征图进行第五阶段特征增强，得到第五阶段特征增强的特征图，将第五阶段特征增强的特征图发送给全球海洋区域还原模块。

10、第一sie网络至第五sie网络中的局部和全局sie网络使得每个sie网络拥有局部和全局空间感知能力，增强特征表示能力。为了能更好地捕获海洋水体的动力学变化以及进一步减小计算量，向局部sie网络中的窗口多头自注意力层以及全局sie网络中的特征分组网络中加入了掩码机制，使得陆地区域的注意力分数为0。通过下采样模块和上采样模块实现了层次化设计以及海洋环境要素多尺度特征提取，能够捕捉到全球海洋的多尺度信息。海洋特征聚合模块通过五个阶段提取全局以及局部海洋区域信息的多尺度特征，并向全球海洋区域还原模块发送第五阶段特征增强的特征图，以提升全球海洋环境预报系统的预报精度。

11、全球海洋区域还原模块由第二layer normalization层以及一个二维转置卷积神经网络组成，与海洋特征提取模块和海洋特征聚合模块的第五sie网络相连，从海洋特征聚合模块接收第五阶段特征增强的特征图，从海洋特征提取模块接收归一化后的海洋特征的特征图。全球海洋区域还原模块的第二layer normalization层首先将第五阶段特征增强的特征图和归一化后的海洋特征的特征在通道维度进行拼接，得到通道拼接特征图，然后对通道拼接特征图进行归一化，将归一化后的通道拼接特征图发送给二维转置卷积神经网络层。二维转置卷积神经网络层步长和卷积核大小都为6，采用步长为6的6×6转置卷积对归一化后的通道拼接特征图上采样6倍，得到预测的三维网格数据，预测的三维网格数据的高和宽和用户输入的全球海洋环境数据的高和宽相同，通道维度是总的目标要素(包括海表面高度，海表面温度，1到33层的温度、盐度、流速)的个数，预测的三维网格数即为全球海洋环境预报结果。

12、第二步，构建训练集、验证集和测试集，方法是：

13、2.1下载glorys12全球海洋再分析数据、era5风场再分析数据和ghr的海表面温度(sst)卫星数据，并对数据进行质量控制，方法是：

14、2.1.1下载glorys12全球海洋再分析数据(见文献“jean-michel l,eric g,romain bb,et al.the copernicus global 1/12oceanic and sea ice glorys12reanalysis[j].frontiers in earth science,2021,9:698876.”jean-michel l,eric g等人的论文：全球1/12度海洋和海冰glorys12再分析数据集)，era5风场再分析数据(见文献“hersbach h,bell b,berrisford p,et al.the era5 global reanalysis[j].quarterly journal of the royal meteorological society,2020,146(730):1999-2049.”hersbach h,bell b等人的论文：era5全球再分析数据集)和ghr的海表面温度(sst)数据(见文献“martin m,dash p,ignatov a,et al.group for high resolution seasurface temperature(ghrsst)analysis fields inter-comparisons.part1:a ghrsstmulti-product ensemble(gmpe)[j].deep sea research part ii:topical studies inoceanography,2012,77:21-30.”martin m,dash p等人的论文：高分辨率海表温度数据集)，从这3种数据中收集时间跨度为1993年到2020年的数据作为海洋环境预报的数据集。glorys12全球海洋再分析数据的空间分辨率为1/12度，空间跨度在经度方向上为-180度到180度，在纬度方向上为-80度到90度，时间分辨率为1天，包含多个要素(温度、盐度、流速、海平面高度。流速包括海水东向流速以及海水北向流速两个分量)的再分析数据，并且每个要素都包含多层数据，每一层对应一个从海表面垂直向下的特定深度。本发明只对海水温度、盐度、流速以及海平面高度进行预报，因此首先选择glorys12数据中的thetao(温度)，so(盐度)，uo(海水东向流速)，vo(海水北向流速)，zos(海表面高度)这五个要素。对于温度、盐度、海水东向流速以及海水北向流速，抽取1到33层(从海表垂直向下的0.5米深度到643.5米深度)的数据；对海表面高度抽取第1层数据。海表面风对海洋环境有着重大影响，因此era5再分析数据也作为海洋环境预报的数据集的组成部分。era5风场再分析数据的空间分辨率为1/4度，空间跨度在经度方向上为-180度到180度，在纬度方向上为-90度到90度，时间分辨率为1小时，包括u10(10米东向风速)，v10(10米北向风速)两个单层要素。ghr的海表面温度数据的空间分辨率为1/20度，空间跨度在经度方向上为-180度到180度，在纬度方向上为-90度到90度，时间分辨率为1天，仅包含海表面温度卫星数据(analysed_sst)。

15、2.1.2下载的glorys12全球海洋再分析数据、era5风场再分析数据和ghr的海表面温度(sst)卫星数据均为nc格式的数据。在正式处理数据之前，需要先对数据进行质量控制，采用python中的xarray库，从1993年1月1日开始读取上述数据，如果数据缺失、损坏或者数据中某些要素的数据缺失(这些数据为有问题的“脏”数据)，则将“脏”数据写入日志。然后重新下载日志中记录的“脏”数据对应的好数据，确保在基于多层次特征聚合的全球海洋环境预报系统接收数据之前，数据无上述问题；

16、2.2glorys12全球海洋再分析数据，era5风场再分析数据和ghr海表面温度卫星数据三个数据集的空间分辨率和时间分辨率各不相同。令1993至2020年的天数为d，令glorys12全球海洋再分析数据，era5风场再分析数据，和ghr海表面温度卫星数据三个数据集原始数据集为m，e，g。接下来，将m，e，g进行时间和空间分辨率对齐，方法是：

17、2.2.1将era5风场再分析数据的时间分辨率与glorys12全球海洋再分析数据，、ghr海表面温度卫星数据对齐，方法是：

18、2.2.1.1令变量d＝1，初始化时间分辨率对齐后的era5风场再分析数据集e1为空；

19、2.2.1.2对e中第d天的era5风场再分析数据进行特定时间点数据的抽取，即选择一天之中00，06，12，18时刻的数据，取这个四个时刻的海表面风场数据的均值为第d天风场的天平均数据，并将第d天风场的天平均数据放入e1中；

20、2.2.1.3若d≤d，令d＝d+1，转2.2.1.2；若d>d，得到时间分辨率对齐后的era5风场再分析数据集e1，转2.2.2；

21、2.2.2将m、e1两个数据集的空间分辨率与g对齐，方法是：

22、2.2.2.1令d＝1，初始化空间分辨率对齐后的era5的再分析数据集e2和ghr海表温度数据集g1初始化为空；

23、2.2.2.2分别对e1中和g中第d天的天平均风场数据和ghr海表温度数据进行双线性插值，得到空间分辨率为1/12度的第d天风场数据，放入e2；并得到空间分辨率为1/12度的第d天海表温度数据，放入g1；

24、2.2.2.3若d≤d，令d＝d+1，转2.2.2.2；若d>d，得到空间分辨率为1/12度的era5风场再分析数据集e2和ghr的海表温度数据集g1，转2.2.3；

25、2.2.3将e2、g1两个数据集与m的空间范围进行对齐。方法是：

26、2.2.3.1令d＝1，初始化空间范围对齐之后的era5风场数据e3和ghr海表温度数据g2的集合初始化为空；

27、2.2.3.2选取e2和g1中第d天的天平均风场数据和ghr海表温度数据在经度方向上从-180度到180度，在纬度方向上从-80度到90度的部分，将该空间范围的第d天的天平均风场数据放入e3；将该空间范围的第d天的ghr海表温度数据放入g2；

28、2.2.3.3若d≤d，令d＝d+1，转2.2.3.2；若d>d，得到空间范围对齐后的era5风场再分析数据集e3和ghr的海表温度数据集g2，转2.4；

29、2.4将数据的时间分辨率以及空间分辨率对齐后，e3、g2和m中的数据仍为nc格式。为了便于海洋环境预报系统的数据读取，需要将nc格式转为npy格式，方法是：

30、2.4.1令变量d＝1，初始化格式为npy的数据集s为空；

31、2.4.2从m，e3与g2中分别读取第d天的glorys12全球海洋再分析数据，era5风场再分析数据，以及ghr海表温度数据，按顺序依次抽取glorys12数据中的thetao，so，uo，vo，zos要素的1到33层数据，era5风场数据中的u10，v10要素以及ghr中的analysed_sst要素；之后将上述选取的要素数据拼接起来，保存为npy文件，然后放入s中；

32、2.4.3若d≤d，令d＝d+1，转2.4.2；若d>d，则已完成npy数据的生成，得到了新的数据集s，转2.5。

33、2.5将s划分为训练集，验证集和测试集，并计算训练集数据的均值和标准差，对数据进行归一化，方法是：

34、2.5.1使用mv命令将s中1993年到2017年的数据移动到训练集train，将2018年的数据移动到验证集val中，2019到2020年的数据移动到测试集test中；

35、2.5.2根据训练集train数据的总体均值和标准差，采用标准化方法对训练集train中的数据进行标准化，得到标准化后的训练集dm。标准化方法如下：

36、2.5.2.1令变量d＝1，取train中第d天的数据为xd，初始化标准化后的训练集dm为空；

37、2.5.2.2对xd进行标准化，具体过程如公式(1)所示：

38、

39、其中μ是训练集train数据的总体均值，σ是总体标准差。将标准化后的xd放入dm中；

40、2.5.2.3若d≤d，令d＝d+1，转2.5.2.2；若d>d，则已完成训练集train数据的标准化，转2.5.3；

41、2.5.3根据训练集数据的总体均值和标准差(对于模型的训练过程来说，验证集以及测试集的数据是未知的，因此只能使用训练集数据的总体均值和标准差)，采用2.5.2步所述标准化方法对验证集val中的数据进行标准化，得到标准化后的验证集dv；

42、2.5.4根据训练集数据的总体均值和标准差，对测试集test中的数据进行标准化，得到标准化后的测试集dt。

43、第三步，利用梯度反向传播方法对第一步构建的全球海洋环境预报系统进行训练，得到在验证集dv上的预报效果最佳的网络权重参数。方法是：

44、3.1初始化海洋环境预报系统中各模块的网络权重参数。采用均值为0，方差为0.01的正态分布初始化海洋特征提取模块、海洋特征聚合模块和全球海洋区域还原模块的网络权重参数。

45、3.2设置海洋环境预报系统训练参数。设置预热(warm-up)学习率为5×10-8，预热训练步长为3，学习率learning_rate为5×10-5。选用adamw(见文献“loshchilov i,hutterf.decoupled weight decay regularization[j].arxiv preprint arxiv:1711.05101,2017.”loshchilov i,hutter f的论文：解耦权重衰减正则化)作为模型训练优化器，该模型训练优化器的超参数β1为0.9，β2为0.95，“权重衰减”为1×10-3。网络训练的批次大小(mini_batch_size)为1。最大训练步长(maxepoch)为50。

46、3.3训练海洋环境预报系统，方法是将一次训练时海洋环境预报系统输出的预报结果与真实值之间差异的平方作为损失值(loss)，利用梯度反向传播更新网络权重参数，直到损失值达到阈值或训练步长达到maxepoch。每训练一轮，若在验证集dv上当前系统的预报精度最好，就保存当前轮次的网络权重参数。方法如下：

47、3.3.1令训练步epoch＝1，训练集所有数据训练一次为一个epoch，初始化批次序号nb＝1；

48、3.3.2海洋特征提取模块从dm中读取第nb批次，共b(0≤b≤16，且b是正整数)个三维网格数据，将这b个三维网格数据记为矩阵形式itrain，itrain中包含b个h×w×v的矩阵。其中h表示输入的网格数据的高，w表示输入的网格数据的宽，v代表通道维度(v＝3+层数×4，即3个海表要素，以及各层的温度、盐度、海水东向速度以及海水北向速度)。

49、3.3.3海洋特征提取模块采用海洋特征提取方法对itrain进行特征提取，将包含itrain的海洋特征的归一化后的特征图x发送给海洋特征聚合模块和全球海洋区域还原模块。方法如下：

50、3.3.3.1海洋特征提取模块中的二维卷积神经网络提取itrain的海洋特征，得到包含海洋特征的特征图，方法是：使用步长为6的6×6卷积对itrain的b个三维网格数据进行patch划分，每个patch的大小为6×6，每个patch的表示维度都为416，得到包含海洋特征的特征图。然后将包含海洋特征的特征图发送给第一layer normalization层；

51、3.3.3.2第一layer normalization层在每个三维网格数据的层级上对包含海洋特征的特征图进行归一化，得到包含itrain的海洋特征的归一化后的特征图x，归一化操作有助于提高网络的训练效果。第一layer normalization层将x发送给海洋特征聚合模块和全球海洋区域还原模块。x的分辨率为x的通道数为416；

52、3.3.4海洋特征聚合模块从海洋特征提取模块接收x，生成第五阶段的特征增强的特征图x5，将x5发送给全球海洋区域还原模块。方法是：

53、3.3.4.1第一sie网络从海洋特征提取模块接收x，采用基于局部和全局空间信息提取的特征聚合方法对x进行局部空间自注意力增强和全局信息融合，得到x的第一阶段特征增强的特征图x1。方法如下：

54、3.3.4.1.1第一sie网络的第一局部sie网络采用局部特征提取方法对x进行特征提取，方法是：第一局部sie网络的窗口多头自注意力层对x进行层次归一化操作，将x划分成多个7×7窗口，即每个窗口包含7×7个patch。然后第一局部sie网络的窗口多头自注意力层并行地在每个窗口内使用窗口多头自注意力机制对x进行局部空间自注意力增强，再进行残差连接得到残差连接后的特征图在窗口多头自注意力机制的计算过程中，使用掩码机制将x中对应陆地区域的特征的注意力权重置为0，因此在计算过程中陆地部分的区域不会对海洋区域产生影响。接着第一局部sie网络的窗口多头自注意力层将特征图发送给第一局部sie网络的多层感知机。第一局部sie网络的多层感知机首先对进行层次归一化，然后利用线性映射对在通道维度上进行融合，再进行残差连接操作，得到融合窗口内局部空间信息的特征图并将发送给第一全局sie模块。

55、3.3.4.1.2第一sie网络的第一全局sie网络从第一局部sie网络中接收采用特征增强方法对进行全局信息的提取融合，得到融合局部以及全局空间信息的第一阶段特征增强的特征图x1，方法是：

56、3.3.4.1.2.1第一特征分组网络随机初始化一组组特征g，g中包含n个特征，每个特征的维度为d(在这里为416)。第一特征分组网络首先利用多头交叉注意力机制对中的特征分组聚合与更新，得到更新后的组特征g′，g′中的每个特征都聚合了语义近似的一簇patch的信息。在多头交叉注意力机制的计算过程中，使用掩码机制掩盖中对应陆地部分的特征，使得陆地部分不会参与交叉注意力机制的计算。然后第一特征分组网络将组特征g′发送给第一组特征融合网络。

57、3.3.4.1.2.2第一组特征融合网络从第一特征分组网络接收g′，在g′中的每个特征间进行信息交换，然后融合并更新g′组特征信息，得到更新后的组特征第一组特征融合网络的第一个mlp层对在g′空间域上进行融合得到融合空间信息的组特征第二个mlp层对在通道域上进行融合，得到更新后的组特征第一组特征融合网络将更新后的组特征发送给第一组特征传播网络。

58、3.3.4.1.2.3第一组特征传播网络从第一组特征融合网络接收从第一局部sie网络中接收采用多头交叉注意力机制，将中的特征作为查询向量，将组特征作为键向量和值向量，根据中的不同特征，对组特征中的每个特征赋予不同的权重，然后根据权重对中的特征加权求和得到全局空间特征u，将u发送给第一组特征传播网络。

59、3.3.4.1.2.4第一组特征传播网络的前馈神经网络将u与中的特征拼接起来，获得拼接特征图x1′，并对x1′进行线性变化，然后通过残差连接获得残差连接后的特征图x1″；深度可分卷积神经网络对x1″进行卷积特征提取，获得融合局部以及全局空间信息的第一阶段特征增强的特征图x1。x1的分辨率为x1的通道数为416。第一sie网络的第一组特征传播网络将x1发送给下采样模块。

60、3.3.4.2下采样模块从第一sie网络的第一组特征传播网络接收x1，采用patch组合拼接与通道域线性变换方法对x1进行下采样，得到下采样特征图xd，将xd发送给第二sie网络，方法是：

61、3.3.4.2.1将x1中每个2×2的相邻patch组合在一起，并在通道域上将这4个patch拼接后进行层次归一化操作，得到通道数为x1的4倍的通道拼接特征图(拼接特征图的通道维度为4×416)；

62、3.3.4.2.2在通道拼接特征图的通道维度做线性变化，将通道拼接特征图的通道数减半(即2×416)，得到下采样特征图xd。xd的特征图分辨率为xd的特征图通道数为832。下采样特征图xd的下采样倍率是x1的两倍，从而形成层次化结构设计，实现多尺度特征提取，同时也能减小计算开销。

63、3.3.4.2.3下采样模块将xd发送给第二sie网络。

64、3.3.4.3第二sie网络接收下采样模块发送的下采样特征图xd，第二局部sie网络、第三局部sie网络采用3.3.4.1.1步所述局部特征提取方法对xd进行2次特征提取，第二全局sie网络采用3.3.4.1.2步所述特征增强方法对经2次特征提取后的xd进行全局信息的提取融合特征增强，获得第二阶段特征增强的特征图x2，将x2发送给第三sie网络。x2的特征图分辨率为x2的特征图通道数为832，第二sie网络仅对x1进行特征增强，不改变x1的分辨率。

65、3.3.4.4第三sie网络接收x2，第三sie网络的第四局部sie网络、第五局部sie网络采用3.3.4.1.1步所述特征提取方法对x2进行2次特征提取，第三全局sie网络采用3.3.4.1.2步所述局部特征增强方法对2次特征提取后的x2进行全局信息的提取融合特征增强，获得第三阶段特征增强的特征图x3，将x3发送给第四sie网络。x3的特征图分辨率为x3的特征图通道数为832，第三sie网络仅对x2进行特征增强，不改变x2的分辨率。

66、3.3.4.5第四sie网络接收x3，第四sie网络的第六局部sie网络、第七局部sie网络采用3.3.4.1.1步所述特征提取方法对x3进行2次特征提取，第四全局sie网络采用3.3.4.1.2步所述局部特征增强方法对2次特征提取后的x3进行全局信息的提取融合特征增强，获得第四阶段特征增强的特征图x4，将x4发送给上采样模块。x4的特征图分辨率为x4的特征图通道数为832，第四sie网络仅对x3进行特征增强，不改变x3的分辨率。

67、3.3.4.6上采样模块从第四sie网络接收x4，采用上采样方法对x4进行上采样，得到上采样特征图xu，将xu发送给第五sie网络，方法是：

68、3.3.4.6.1上采样模块的第一个线性层在x4的通道域上做线性变化，将通道数变换为x4的两倍(即通道数为1664)，得到通道变换特征图。

69、3.3.4.6.2上采样模块的第一个线性层改变通道变换特征图的形状，使得高和宽是通道变换特征图的2倍，即特征图分辨率为通道数是通道变换特征图的1/4(即通道数为416)，得到形状变换特征图。

70、3.3.4.6.3上采样模块的第一个线性层将形状变换特征图进行层次归一化，得到层次归一化后的形状变换特征图，将层次归一化后的形状变换特征图发送到第二个线性层。

71、3.3.4.6.4上采样模块的第二个线性层对层次归一化后的形状变换特征图的通道域的信息进行融合，不改变通道维度的大小，得到上采样特征图xu，将xu发送给第五sie网络。

72、3.3.4.7第五sie网络从上采样模块接收xu，第五sie网络的第八局部sie网络采用3.3.4.1.1步所述局部特征提取方法对xu进行特征提取，第五全局sie网络采用3.3.4.1.2步所述特征增强方法对特征提取后的xu进行全局信息的提取融合特征增强，得到第五阶段特征增强后的特征图x5，x5也是的矩阵。将x5发送给全球海洋区域还原模块。

73、3.3.5全球海洋区域还原模块的第二layer normalization层从海洋特征聚合模块接收x5，从海洋特征提取模块接收x，将x5和x在通道维度进行拼接，得到通道拼接特征图，并对通道拼接特征图进行归一化，得到归一化后的通道拼接特征图，将归一化后的通道拼接特征图发送给全球海洋区域还原模块的二维转置卷积神经网络。

74、3.3.4.6上采样模块从第四sie网络接收x4，采用上采样方法对x4进行上采样，得到上采样特征图xu，将xu发送给第五sie网络，方法是：

75、3.3.4.6.1上采样模块的第一个线性层在x4的通道域上做线性变化，将通道数变换为x4的两倍(即通道数为1664)，得到通道变换特征图。

76、3.3.4.6.2改变通道变换特征图的形状，使得高和宽是通道变换特征图的2倍，即特征图分辨率为通道数是通道变换特征图的1/4(即通道数为416)，得到形状变换特征图。

77、3.3.4.6.3第一个线性层将形状变换特征图进行层次归一化后发送到第二个线性层。

78、3.3.4.6.4第二个线性层对通道域的信息进行融合，不改变通道维度的大小得到上采样特征图xu，将xu发送给第五sie网络。

79、3.3.4.6第五sie网络从上采样模块接收xu，第五sie网络的第八局部sie网络、第九局部sie网络和第五全局sie网络对x3进行特征提取和增强，得到第五阶段特征增强后的特征图x5，x5也是的矩阵。然后将x5发送给全球海洋区域还原模块。

80、3.3.5全球海洋区域还原模块的第二layer normalization层从海洋特征聚合模块接收x5以及，从海洋特征提取模块接收x，将x5和x两个特征图在通道维度进行拼接，得到通道拼接特征图，并对通道拼接特征图进行归一化，得到归一化后的通道拼接特征图，将归一化后的通道拼接特征图发送给全球海洋区域还原模块的二维转置卷积神经网络。

81、3.3.6二维转置卷积神经网络对归一化后的通道拼接特征图的分辨率上采样6倍，三维网格数据的高等于itrain的高h，宽等于itrain的宽w，通道数为需要预测的要素数cout(cout＝2+层数×4，包括海表面温度、海表面高度，以及各层的温度、盐度、海水东向速度以及海水北向速度)，三维网格数据即为生成全球海洋环境要素预报结果数据格式为[h×w×cout]，表示以第t天为起始时间，对第t+τ天的海表面温度、海表面高度以及1到33层的温度、盐度、流速(流速包括海水东向流速以及海水北向流速两个分量)的预报结果。

82、3.3.7设计海洋环境预报系统的总损失函数如公式(2)所示：

83、

84、其中表示在经纬网格上坐标为[i,j](i≤h,j≤w)的网格点上的第c(c≤cout)个要素的预报值。表示yt+τ在经纬网格上坐标为[i,j]的网格点上的第c个要素的真实值。

85、3.3.8令nb＝nb+1，若转3.3.2；若(|dm|表示训练集dm中三维网格数据的总数)，转第四步。

86、第四步，使用验证集验证当前epoch结束后的全球海洋环境预报系统的预报精度，保留性能最好的网络权重参数作为全球海洋环境预报系统的网络权重参数。方法是：

87、4.1将2.5.3步得到的标准化后的验证集dv中的数据输入当前epoch结束后的海洋环境预报系统；

88、4.2令变量v＝1，令v是验证集的所有三维网格数据的总数；

89、4.3海洋特征提取模块从dv读取第v个三维网格数据dv，采用3.3.3步所述的海洋特征提取方法对dv进行特征提取，得到包含dv的海洋特征的归一化后的特征图xv，将xv发送给海洋特征聚合模块和全球海洋区域还原模块。xv是的矩阵，分辨率大小为通道数为416；

90、4.4海洋特征聚合模块中的第一sie网络接收xv，采用3.3.4.1步所述基于局部和全局空间信息提取的特征聚合方法对xv进行局部空间自注意力增强和全局信息融合，得到dv的第一阶段特征增强后的特征图将发送给下采样模块；

91、4.5下采样模块从第一sie网络接收采用3.3.4.2步所述的patch组合拼接与通道域线性变换方法对进行下采样，得到第的下采样特征图将发送给第二sie网络。是的矩阵，分辨率大小为通道数为832；

92、4.6第二sie网络从下采样模块接收第二sie网络的第二局部sie网络、第三局部sie网络采用3.3.4.1.1步所述局部特征提取方法对进行2次特征提取，第二全局sie网络采用3.3.4.1.2步所述特征增强方法对经2次特征提取后的进行全局信息的提取融合特征增强，得到第二阶段特征增强后的特征图将发送给第三sie网络。是的矩阵，分辨率大小为通道数为832；

93、4.7第三sie网络接收第二sie网络发送的第三sie网络的第四局部sie网络、第五局部sie网络采用3.3.4.1.1步所述特征提取方法对进行2次特征提取，第三全局sie网络采用3.3.4.1.2步所述局部特征增强方法对2次特征提取后的进行全局信息的提取融合特征增强，，得到第三阶段特征增强后的特征图将发送给第四sie网络。是的矩阵，分辨率大小为通道数为832；

94、4.8第四sie网络接收第三sie网络发送的第四sie网络的第六局部sie网络、第七局部sie网络采用3.3.4.1.1步所述特征提取方法对进行2次特征提取，第四全局sie网络采用3.3.4.1.2步所述局部特征增强方法对2次特征提取后的进行全局信息的提取融合特征增强，得到第四阶段特征增强后的特征图将发送上采样模块。是的矩阵，分辨率大小为通道数为832；

95、4.9上采样模块接收特征图采用3.3.4.6步所述上采样方法对进行上采样，得到dv的上采样特征图将发送给第五sie网络。是的矩阵，分辨率大小为通道数为416；

96、4.10第五sie网络接收上采样后的特征图第八局部sie网络采用3.3.4.1.1步所述局部特征提取方法对进行特征提取，第五全局sie网络采用3.3.4.1.2步所述特征增强方法对特征提取后的进行全局信息的提取融合特征增强，得到dv的第五阶段特征增强后的特征图将发送给全球海洋区域还原模块；

97、4.11全球海洋区域还原模块的二维转置卷积神经网络接收对上采样6倍，输出一个三维网格数据，该三维网格数据的高等于训练集中的三维网格数据的高h，宽等于训练集中的三维网格数据的宽w，通道数为需要预测的要素数cout。输出的三维网格数据即为全球海洋环境要素预报结果它是以第t天为起始时间，对第t+τ天的海表面温度、海表面高度以及1到33层的温度、盐度、流速(流速包括海水东向流速以及海水北向流速两个分量)的预报结果；

98、4.12全球海洋区域还原模块的第二layer normalization层采用均方根误差(rmse)衡量海洋环境预报系统对以dv为输入，往后第τ天的预报性能。rmse的计算方法如公式(3)所示：

99、

100、其中dm表示逆归一化操作，表示在经纬网格上坐标为[i,j](i≤h,j≤w)的网格点上的第c(c≤cout)个要素的预报值，表示在经纬网格上坐标为[i,j]的网格点上的第c个要素的真实值。

101、4.13令v＝v+1，若v≤v，转4.3；若v>v，说明已经得到当前epoch结束后的全球海洋环境预报结果的集合，转4.14；

102、4.14第二layer normalization层对海洋环境要素预报集合的rmse求均值，得到系统在验证集上的平均rmse，转4.15；

103、4.15若epoch＝1，保存当前epoch结束后的网络权重参数，直接转4.16；若epoch＝3，令learning_rate＝5×10-5，如果当前epoch结束后的系统在验证集上的平均rmse小于前一个epoch结束后的平均rmse，则将网络权重参数更新为当前epoch结束后的网络权重参数，转4.16；若当前epoch结束后的系统在验证集上的平均rmse不小于前一个epoch结束后的平均rmse，直接转4.16；若epoch＝2或epoch>3，如果当前epoch结束后的系统在验证集上的平均rmse小于前一个epoch结束后的平均rmse，则将网络权重参数更新为当前epoch结束后的网络权重参数，转4.16；若当前epoch结束后的系统在验证集上的平均rmse不小于前一个epoch结束后的平均rmse，直接转4.16；

104、4.16令epoch＝epoch+1，若epoch≤maxepoch，转3.3.2；若epoch>maxepoch，说明训练结束，得到训练后的全球海洋环境预报系统，转第五步；

105、第五步，采用训练后的海洋环境预报系统对用户输入的全球海洋环境数据i进行预报，方法是：

106、5.1根据训练集train数据的总体均值和标准差(用户输入的数据的总体均值和标准差是未知的，因此使用训练集的总体均值和标准差作为代替)，采用第2.5.2步所述标准化方法对用户输入的全球海洋环境数据i进行标准化。i是一个三维网格数据，即格式为[h×w×v]的三维矩阵，，得到标准化后的矩阵inor，将inor输入海洋特征提取模块；

107、5.2海洋特征提取模块接收inor，采用3.3.3步所述的海洋特征提取方法对inor进行特征提取，得到包含inor的海洋特征的归一化后的特征图xi，将xi发送给海洋特征聚合模块。

108、5.3海洋特征聚合模块中的第一sie网络接收xi，采用3.3.4.1步所述的局部和全局空间信息提取的特征聚合方法对xi进行局部空间自注意力增强和全局信息融合，得到inor的第一阶段特征增强后的特征图将发送给下采样模块；

109、5.4下采样模块接收采用3.3.4.2所述的patch组合拼接与通道域线性变换方法对进行下采样，得到的下采样特征图将发送给第二sie网络。是的矩阵，分辨率大小为通道数为832；

110、5.5第二sie网络从下采样模块接收对进行第二阶段的特征提取：第二sie网络的第二局部sie网络、第三局部sie网络采用3.3.4.1.1步所述局部特征提取方法对进行2次特征提取，第二全局sie网络采用3.3.4.1.2步所述特征增强方法对经2次特征提取后的进行全局信息的提取融合特征增强，得到inor的第二阶段特征增强的特征图将发送给第三sie网络。是的矩阵，分辨率大小为通道数为832；

111、5.6第三sie网络接收第三sie网络的第四局部sie网络、第五局部sie网络采用3.3.4.1.1步所述特征提取方法对进行2次特征提取，第三全局sie网络采用3.3.4.1.2步所述局部特征增强方法对2次特征提取后的进行全局信息的提取融合特征增强，得到inor的第三阶段特征增强后的特征图将发送给第四sie网络。是的矩阵，分辨率大小为通道数为832；

112、5.7第四sie网络接收第四sie网络的第六局部sie网络、第七局部sie网络采用3.3.4.1.1步所述特征提取方法对进行2次特征提取，第四全局sie网络采用3.3.4.1.2步所述局部特征增强方法对2次特征提取后的进行全局信息的提取融合特征增强，得到inor的第四阶段特征增强后的特征图将发送上采样模块。是的矩阵，分辨率大小为通道数为832；

113、5.8上采样模块接收采用3.3.4.6步所述上采样方法对进行上采样，得到的上采样特征图将发送给第五sie网络。是的矩阵，分辨率大小为通道数为416；采用3.3.4.6步所述上采样方法对进行上采样，得到dv的上采样特征图

114、5.9第五sie网络接收第八局部sie网络采用3.3.4.1.1步所述局部特征提取方法对进行特征提取，第五全局sie网络采用3.3.4.1.2步所述特征增强方法对特征提取后的进行全局信息的提取融合特征增强，和第五全局sie网络提取全局信息，得到inor的第五阶段特征增强后的特征图将发送给全球海洋区域还原模块；

115、5.10全球海洋区域还原模块的二维转置卷积神经网络接收对上采样6倍，输出一个三维网格数据。输出的三维网格数据的高等于h，宽等于w，通道数为需要预测的要素数cout(cout为用户需要预报的要素的数量)。输出的三维网格数据即为对用户输入的全球海洋环境数据i的全球海洋环境预报结果它是以第t天为起始时间，对第t+τ天的海表面温度、海表面高度以及1到33层的温度、盐度、流速(流速包括海水东向流速以及海水北向流速两个分量)的预报结果；

116、第六步，结束。

117、采用本发明能达到以下有益效果：

118、本发明提出了一种基于多层次特征聚合的全球海洋环境预报方法。本发明采用局部空间信息提取网络以及全局空间信息提取网络，缓解特征表征能力不足、计算成本较高的问题，提升高分辨率数据的预报精度。采用本发明能取得以下效果：

119、1.本发明构建了一个融合了海洋特征提取模块、海洋特征聚合模块、全球海洋区域还原模块的全球海洋环境预报系统，在保证预报方法较快满足实时性的基础上，利用海洋特征提取模块的局部空间自注意力增强和全局信息融合能力，设计适合海洋特征的聚合方式和网络结构，实现了较大的预报精度提升。通过采用ivtt的评测流程与评测方法对本发明进行实验，本发明的预报精度较背景技术所述的数值预报方法有较大提高。

120、2.本发明的海洋特征聚合模块利用sie网络多次增强特征表征能力，利用整体模型的层次化设计增强特征的多尺度表征能力；本发明的局部sie网络利用带掩码的窗口多头自注意力层，使预报任务更关注海洋水体，实现局部空间信息聚合；sie网络使用交叉注意力机制以及mlp-mixer实现全部空间信息融合，使得预报精度大幅提升。

121、3.本发明第三步利用梯度反向传播方法对海洋环境预报系统进行训练，第四步使用验证集验证当前epoch结束后的海洋环境预报系统的预报精度，保留性能最好的网络权重参数作为全球海洋环境预报系统的网络权重参数，使得训练后的全球海洋环境预报系统是最适宜进行预测的系统，使得第五步预报精度大幅提升。