海洋观测数据自适应压缩方法、装置及系统和存储介质与流程

文档序号:37928542发布日期:2024-05-11 00:07阅读:24来源:国知局
海洋观测数据自适应压缩方法、装置及系统和存储介质与流程

本发明涉及海洋观测数据压缩领域,特别是涉及一种海洋观测数据自适应压缩方法、装置及系统和存储介质。


背景技术:

1、随着海洋观测和数值模拟的快速发展,海洋数据的传输、存储和提取需求呈现出指数级增长。在这种形势下,对海洋数据的有效压缩变得至关重要。

2、一、海洋数据压缩的必要性

3、海洋模式数据不仅数量庞大,而且具有时空性和冗余性。传统的数据压缩方法,如奇异值分解(svd)和主成分分析(pca),在处理这类数据时往往难以达到理想的压缩效果和精度。因此,开发高效、精准的压缩技术对于解决数据存储空间不足、降低传输成本和提高数据处理速度具有重要意义。

4、二、现有方法实现海洋数据压缩的不足

5、1.压缩精度低:传统的数据压缩方法在处理海洋观测数据时,往往难以保留数据的细节,破坏完整性,导致压缩后的数据精度下降。在分析数据时可能会导致结果失真或误差增大。

6、2.处理效率慢:由于海洋模式数据的高复杂度,现有压缩方法在处理过程中可能面临计算量大、耗时长的挑战。这不仅增加了数据处理成本,还可能影响实时分析和响应的速度。

7、3.适应性有限:传统压缩方法可能无法充分适应海洋数据的动态变化和多样性。例如,它们可能难以处理不同来源、不同格式和不同特性的海洋数据。

8、4.无损压缩技术的局限:虽然无损压缩能够在保证数据完整性的同时进行压缩,但其压缩比通常较低,占用空间较大。这可能无法满足大规模海洋数据的存储和传输需求。

9、综上所述,海洋数据的压缩是必要的,但现有方法在精度、效率、适应性和无损压缩方面存在不足,难以达到一个平衡点。为了更好地应对海洋数据的挑战,需要进一步研究和开发更先进、更有效的数据压缩技术。这将有助于提高海洋数据的处理效率、降低存储和传输成本,并促进海洋科学研究和实际应用的进步。


技术实现思路

1、提供了本发明以解决现有技术中存在的上述问题。因此,需要一种海洋观测数据自适应压缩方法、装置及系统和存储介质,应用改进的奇异值分解技术实现无损压缩,同时利用两个指数来评估分块模式的优劣,以选择最优的分块模式,保证海洋观测数据的压缩精度和效率。

2、根据本发明的第一方案,提供了一种海洋观测数据自适应压缩方法,所述方法包括:

3、获取海洋观测数据;

4、将所述海洋观测数据以矩阵形式重新排列为方阵,并保留排成方阵过程中的数据残余量;

5、以所述方阵作为第一分块模式,将所述方阵均分为n个小方阵,并保留均分方阵过程中的数据残余量,作为第二分块模式,将所述小方阵进一步均分为n个小方阵,得到4^k个小方阵,作为第k分块模式;

6、利用奇异值分解方法对所述4^k个小方阵进行压缩;

7、根据设置的误差限度来调整压缩后小方阵的奇异值数量;

8、根据压缩后小方阵的奇异值数量来确定最佳分块模式。

9、进一步地,以所述方阵作为第一分块模式,将所述方阵均分为n个小方阵,并保留均分方阵过程中的数据残余量,作为第二分块模式,将所述小方阵进一步均分为n个小方阵,得到4^k个小方阵,作为第k分块模式,包括:

10、若方阵的大小为64×64,则将64×64大小的方阵作为第1分块模式,将方阵分块成4个32×32的小方阵,作为第2分块模式,将32×32的小方阵分块成16个16×16的数据矩阵,作为第3分块模式;

11、若方阵的大小为63×63,则将63×63大小的方阵作为第1分块模式,将63×63大小的方阵分块成4个31×31的小方阵,作为第2分块模式,并且把剩余的125个数据保留作为均分方阵过程中的数据残余量,记录所述数据残余量所在的原位置,分将成4个31×31的小方阵块成16个15×15的小方阵,作为第3分块模式,并将剩余的244个数据保留作为均分小方阵过程中的数据残余量,记录所述数据残余量所在的原位置。

12、进一步地,利用奇异值分解方法对所述4^k个小方阵进行压缩,包括:

13、获取小方阵a,所述小方阵a是一个m×n矩阵,a=usvt,其中s表示矩阵,u和vt表示正交矩阵,m和n分别表示矩阵的行列数,从矩阵s中选取p个奇异值组成对角矩阵s′,表示为:

14、

15、其中,p表示奇异值个数,表示前p个奇异值对应的子矩阵,0p×(n-p)、0(m-p)×p和0(m-p)×(n-p)表示数值为0的子矩阵;

16、选取p个奇异值后,将正交矩阵u和vt分别划分为四个子矩阵:

17、

18、

19、其中,和是u的四个子矩阵,和是v的四个子矩阵;

20、进一步地,所述方法还包括对压缩后的数据进行解压,包括:

21、在解压缩过程中,u1·u2=0,u1·u3=0,u2·u3=0,……,其中ui是第i个列向量,u11通过解线性方程组从u11被压缩后所转化为的三角矩阵恢复:

22、

23、其中,ui,j表示第i个列向量的第j个元素;

24、依次求解线性方程组,其中未知元素被标记为ui,j。通过求解第一个方程组,得到u1,2,代入到第二个方程组中求解得到u1,3和u2,3。以此类推,在求解了p-1组方程后,得到恢复后的u11;

25、通过如下公式得到解压后的数据矩阵a′:

26、

27、进一步地,根据设置的误差限度来调整压缩后小方阵的奇异值数量,包括:

28、通过如下公式计算压缩比:

29、

30、其中,表示压缩比,m表示矩阵的行数,n表示矩阵的列数,pi表示每个小方阵保留的奇异值数量,n表示划分的小方阵数量;

31、通过如下公式计算重构误差:

32、

33、其中,εmae表示重构误差,ai,j表示矩阵第i行第j列元素,a′i,j表示经过了压缩解压过程重构的矩阵的第i行第j列元素;

34、以在重构误差限度内实现最大压缩比作为目标,确定压缩后小方阵的奇异值数量。

35、进一步地,以在重构误差限度内实现最大压缩比作为目标,确定压缩后小方阵的奇异值数量,包括:

36、初始化一个p值进行计算,若所计算得到的重构误差不处于设定的重构误差限度内,且p>pmax时,直接存储数据,其中pmax为使得压缩有意义的最大p值,

37、若所计算得到的重构误差不处于设定的重构误差限度内,且p<pmax时,则p增加1,并计算对应的压缩比,以最大压缩比所对应的p值为压缩后小方阵的奇异值数量。

38、进一步地,根据压缩后小方阵的奇异值数量来确定最佳分块模式,包括:

39、对于一个m×m的小方阵,使用奇异值分解方法进行压缩后所需存储的元素数量是其中k代表分块模式的编号,pki表示着第k个分块模式第i个方阵保留的奇异值数量。

40、被定义为块指数,若第k1个分块模式的块指数小于第k2个分块模式的块指数,则得到:

41、

42、

43、以作为核心块指数,根据核心块指数最小时所对应的k值确定最佳分块模式。

44、根据本发明的第二技术方案,提供一种海洋观测数据自适应压缩装置,所述装置包括:

45、数据获取模块,被配置为获取海洋观测数据;

46、方阵排列模块,被配置为将所述海洋观测数据以矩阵形式重新排列为方阵,并保留排成方阵过程中的数据残余量;

47、数据分块模块,被配置为以所述方阵作为第一分块模式,将所述方阵均分为n个小方阵,并保留均分方阵过程中的数据残余量,作为第二分块模式,将所述小方阵进一步均分为n个小方阵,得到4^k个小方阵,作为第k分块模式;

48、数据压缩模块,被配置为利用奇异值分解方法对所述4^k个小方阵进行压缩;

49、奇异值数量确定模块,被配置为根据设置的误差限度来调整压缩后小方阵的奇异值数量;

50、模式确定模块,被配置为根据压缩后小方阵的奇异值数量来确定最佳分块模式。

51、根据本发明的第三技术方案,提供一种海洋观测数据自适应压缩系统,所述系统包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序以实现如上所述的方法。

52、根据本发明的第四技术方案,提供一种存储有指令的非暂时性计算机可读存储介质,当所述指令由处理器执行时,执行如上所述的方法。

53、根据本发明各个方案的海洋观测数据自适应压缩方法、装置及系统和存储介质,其至少具有以下技术效果:

54、本发明将海洋观测数据重新排列成近似的方阵,通过自动分块方式将方阵划分成不同的分块模式,并运用改进的奇异值分解技术对每个方阵进行压缩。在这一过程中,采用自适应动态优化方法进行调节,以获取每个方阵最优的奇异值数量,通过推导得到的两个指数,提供了一个相对客观的评价,用于表示各个分块模式的优劣程度,从而可以获取到最优的数据分块模式,以最高效率实现数据压缩的同时并保证压缩后的海洋观测数据的精度。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1