数据压缩方法和电子设备与流程

文档序号:37032499发布日期:2024-02-20 20:23阅读:18来源:国知局
数据压缩方法和电子设备与流程

本技术涉及数据压缩,尤其涉及一种数据压缩方法和电子设备。


背景技术:

1、为了使用有限的存储空间存储数量日益增长的数据,可以采用数据压缩算法对原始数据进行压缩,以缩减原始数据占用的存储空间。

2、目前,电子设备可以内置多种数据压缩算法,在对数据进行压缩时,通过轮询的方式遍历多种数据压缩算法,从多种数据压缩算法中选择一种最优的数据压缩算法来压缩数据。然而,如果内置的数据压缩算法较多,通过轮询的方式依次尝试每种数据压缩算法,耗费的时间非常长,数据压缩的执行效率过于低下;如果内置的数据压缩算法较少,又无法保证对每种数据都具有较高的压缩率,导致压缩后的数据可能仍需要占用很大的存储空间。

3、因此,如何同时提高数据压缩的执行效率和数据的压缩率,是一个亟待解决的问题。


技术实现思路

1、本技术实施例提供一种数据压缩方法和电子设备,可以提高数据压缩的执行效率,并提供数据的压缩率。

2、第一方面,本技术实施例提供一种数据压缩方法,由电子设备执行,该方法可以包括:确定待压缩数据的第一数据特征;其中,第一数据特征中可以包括待压缩数据的一个或多个数据特征;根据第一数据特征生成数据压缩算法,并采用生成的数据压缩算法对待压缩数据进行压缩。

3、本技术实施例提供的数据压缩方法,根据待压缩数据的数据特征生成数据压缩算法,用来对待压缩数据进行压缩。该方法无需遍历多种数据压缩算法,可以快速实现数据压缩,提高数据压缩的执行效率。

4、在一种可能的实现方式中,在生成数据压缩算法时,可以根据第一数据特征对应的目标压缩算子生成数据压缩算法。根据待压缩数据的数据特征对应的目标压缩算子生成的数据压缩算法,与其他数据压缩算法相比,更有针对性,可以提高待压缩数据的数据压缩率。

5、在一种可能的实现方式中,电子设备中存储有对应关系信息,对应关系信息中保存有多组数据特征与算子集信息之间的对应关系。根据预存的对应关系信息,可以确定第一数据特征对应的目标算子集信息;根据目标算子集信息所指示的目标压缩算子,生成数据压缩算法。根据预存的对应关系信息,可以快速确定待压缩数据的数据特征对应的目标压缩算子,进一步节省数据压缩所用的时间。

6、在一种可能的实现方式中,目标算子集信息包括至少一个目标压缩算子的标识,以及至少一个目标压缩算子中每个目标压缩算子的权重值;在生成数据压缩算法时,可以根据所述至少一个目标压缩算子的标识,获取目标压缩算子,根据每个目标压缩算子的权重值,将获取的目标压缩算子组合,得到数据压缩算法。

7、示例性地,电子设备中存储有压缩算子库,压缩算子库中包括多种压缩算子。针对目标算子集信息中包含的一个或多个目标压缩算子的标识,从压缩算子库中查找到一个或多个目标压缩算子,根据每个目标压缩算子的权重值,将获取的目标压缩算子组合,例如,按照目标压缩算子的权重值由小到大的顺序,依次将每个目标压缩算子进行组合,可以得到数据压缩算法。

8、上述实施例中,根据每个目标压缩算子的权重值,将目标压缩算子组合,得到的数据压缩算法可以更有效地对待压缩数据进行压缩。

9、在一种可能的实现方式中,可以通过如下方式,确定数据特征与算子集信息的对应关系信息:提取训练数据的第二数据特征,第二数据特征包括训练数据的一个或多个数据特征;第二数据特征为对应关系信息中包含的任意一个数据特征;分别确定第二数据特征中包含的每个数据特征的关联压缩算子,并获取每个关联压缩算子的初始权重值;分别将每个关联压缩算子的初始权重值,作为每个关联压缩算子的待训练权重值,重复执行如下训练过程:根据每个关联压缩算子的待训练权重值,将多个关联压缩算子组合,得到待检验压缩算法;采用待检验压缩算法对训练数据进行压缩,并确定训练数据的压缩率;若训练数据的压缩率未达到设定的收敛条件,则调整每个关联压缩算子的待训练权重值;直至训练数据的压缩率达到设定的收敛条件,根据当前的每个关联压缩算子的标识和每个关联压缩算子的待训练权重值,生成第二数据特征对应的算子集信息。也就是说,将当前的关联压缩算子作为第二数据特征对应的算子集信息所指示的压缩算子,将当前的关联压缩算子的待训练权重值作为第二数据特征对应的算子集信息所指示的压缩算子的权重值,得到第二数据特征与算子集信息的对应关系。其中,收敛条件可以包括相邻至少两次训练过程得到的压缩率之间的差值满足设定的差值阈值;或者,相邻至少两次训练过程得到的压缩率之间的比值满足设定的比例阈值。

10、当相邻至少两次训练过程得到的压缩率之间的差值满足设定的差值阈值;或者,相邻至少两次训练过程得到的压缩率之间的比值满足设定的比例阈值时,说明训练数据的压缩率已经达到或接近最高,即使再调整关联压缩算子及其对应的权重值,也无法再提高训练数据的压缩率,因此,可以将基于当前的关联压缩算子和当前各关联压缩算子的权重值,生成算子集信息。

11、通过上述训练过程,可以得到多组数据特征与算子集信息的对应关系,并保存在特征与算子对应信息中。使用特征与算子对应信息中的一组数据特征对应的算子集信息,对该数据特征关联的待压缩数据进行压缩时,可以保证具有较高的数据压缩率。

12、在一种可能的实现方式中,在获取训练数据的第二数据特征之后,可以根据保存的数据特征与压缩算子的关联关系,分别确定第二数据特征中的每个数据特征的关联压缩算子;针对第一关联压缩算子,分别获取第一关联压缩算子与第二数据特征中的每个数据特征之间的设定映射权重,得到多个设定映射权重;第一关联压缩算子为关联压缩算子中的任意一个;根据多个设定映射权重,确定第一关联压缩算子的初始权重值。例如,可以将多个设定映射权重之和,作为第一关联压缩算子的初始权重值,或者,可以将多个设定映射权重的平均值,作为第一关联压缩算子的初始权重值。

13、在另一种可能的实现方式中,在获取训练数据的第二数据特征之后,针对第一数据特征,可以分别获取多个压缩算子与第一数据特征之间的设定映射权重;其中,第一数据特征为第二数据特征中的任意一个数据特征;根据每个压缩算子对应的设定映射权重的大小,从多个压缩算子中选择第一设定数量的压缩算子,作为第一数据特征的关联压缩算子;通过上述过程,可以获取每个数据特征的关联压缩算子。针对第一关联压缩算子,可以根据第一关联压缩算子与第二数据特征中的每个数据特征之间的设定映射权重,确定第一关联压缩算子的初始权重值;其中,第一关联压缩算子为关联压缩算子中的任意一个。例如,可以将第一关联压缩算子与第二数据特征中的每个数据特征之间的设定映射权重之和,作为第一关联压缩算子的初始权重值;或者,可以将第一关联压缩算子与第二数据特征中的每个数据特征之间的设定映射权重的平均值,作为第一关联压缩算子的初始权重值。

14、在一种可能的实现方式中,在生成待检验压缩算法时,可以根据每个关联压缩算子的待训练权重值的大小,从多个关联压缩算子中选择第二设定数量的关联压缩算子,将第二设定数量的关联压缩算子组合,得到待检验压缩算法。

15、上述实施例中,从多个关联压缩算子中选择部分关联压缩算子,将选择的部分关联压缩算子进行组合,生成的待检验压缩算法包含更少数量的压缩算子,因此其对数据的压缩过程可以更快完成,不仅可以减少训练过程的时长,提高训练效率,而且可以使训练过程得到的算子集信息中包含较少数量的压缩算子,可以进一步提高数据压缩的执行效率。

16、在一种可能的实现方式中,在调整每个关联压缩算子的待训练权重值时,可以分别确定每个关联压缩算子对训练数据的压缩率的影响值;根据每个关联压缩算子对训练数据的压缩率的影响值的大小,调整每个关联压缩算子的待训练权重值。

17、上述实施例中,根据每个关联压缩算子对训练数据的压缩率的影响值的大小,调整每个关联压缩算子的待训练权重值,可以提高对训练数据的压缩率影响较大的关联压缩算子的权重值,降低对训练数据的压缩率影响较小的关联压缩算子的权重值,从而可以筛选出对训练数据的压缩率影响较大的压缩算子,得到最终的算子集信息,使得基于算子集信息生成的数据压缩算法,可以对第二数据特征关联的数据具有较高的压缩率。

18、第二方面,本技术实施例提供一种数据压缩装置,该装置包括:

19、特征提取单元,用于确定待压缩数据的第一数据特征;所述第一数据特征中包括待压缩数据的一个或多个数据特征;

20、数据压缩单元,用于根据第一数据特征生成数据压缩算法,并采用数据压缩算法对待压缩数据进行压缩。

21、在一种可能的实现方式中,所述数据压缩单元,具体用于:根据第一数据特征对应的目标压缩算子生成数据压缩算法。

22、在一种可能的实现方式中,数据压缩单元,具体用于:所述数据压缩单元,具体用于:

23、根据预存的对应关系信息,确定所述第一数据特征对应的目标算子集信息;所述对应关系信息中保存有多组数据特征与算子集信息之间的对应关系;

24、根据所述目标算子集信息所指示的目标压缩算子生成数据压缩算法。

25、在一种可能的实现方式中,所述目标算子集信息包括至少一个目标压缩算子的标识,以及所述至少一个目标压缩算子中每个目标压缩算子的权重值;所述数据压缩单元,具体用于:

26、根据所述至少一个目标压缩算子的标识,获取目标压缩算子;

27、按照每个目标压缩算子的权重值,将获取的目标压缩算子组合,得到所述数据压缩算法。

28、在一种可能的实现方式中,所述数据压缩单元,具体用于:

29、按照目标压缩算子的权重值由小到大的顺序,依次将每个目标压缩算子进行组合,得到所述数据压缩算法。

30、在一种可能的实现方式中,数据压缩装置还可以包括:

31、训练单元,用于提取训练数据的第二数据特征;所述第二数据特征包括所述训练数据的一个或多个数据特征;所述第二数据特征为所述对应关系信息中包含的任意一个数据特征;分别确定所述第二数据特征中包含的每个数据特征的关联压缩算子,并获取每个关联压缩算子的初始权重值;分别将每个关联压缩算子的初始权重值,作为每个关联压缩算子的待训练权重值,重复执行如下训练过程:根据每个关联压缩算子的待训练权重值,将多个关联压缩算子组合,得到待检验压缩算法;采用待检验压缩算法对所述训练数据进行压缩,并确定所述训练数据的压缩率;若所述训练数据的压缩率未达到设定的收敛条件,则调整每个关联压缩算子的待训练权重值;直至所述训练数据的压缩率达到设定的收敛条件,根据当前的每个关联压缩算子的标识和每个关联压缩算子的待训练权重值,生成所述第二数据特征对应的算子集信息。

32、其中,所述收敛条件包括相邻至少两次训练过程得到的压缩率之间的差值满足设定的差值阈值;或者,相邻至少两次训练过程得到的压缩率之间的比值满足设定的比例阈值。

33、在一种可能的实现方式中,所述训练单元,具体用于:

34、根据保存的数据特征与压缩算子的关联关系,分别确定所述第二数据特征中的每个数据特征的关联压缩算子;

35、针对第一关联压缩算子,分别获取所述第一关联压缩算子与所述第二数据特征中的每个数据特征之间的设定映射权重,得到多个设定映射权重;所述第一关联压缩算子为所述关联压缩算子中的任意一个;

36、根据所述多个设定映射权重,确定所述第一关联压缩算子的初始权重值。

37、在一种可能的实现方式中,所述训练单元,具体用于:

38、针对第一数据特征,分别确定多个压缩算子与所述第一数据特征之间的设定映射权重,所述第一数据特征为所述第二数据特征中的任意一个数据特征;

39、根据每个压缩算子对应的设定映射权重,从所述多个压缩算子中选择第一设定数量的压缩算子,作为所述第一数据特征的关联压缩算子;

40、针对第一关联压缩算子,根据所述第一关联压缩算子与所述第二数据特征中的每个数据特征之间的设定映射权重,确定所述第一关联压缩算子的初始权重值;所述第一关联压缩算子为所述关联压缩算子中的任意一个。

41、在一种可能的实现方式中,所述训练单元,具体用于:

42、根据每个关联压缩算子的待训练权重值,从所述多个关联压缩算子中选择第二设定数量的关联压缩算子,将所述第二设定数量的关联压缩算子组合,得到待检验压缩算法。

43、在一种可能的实现方式中,所述训练单元,具体用于:

44、分别确定每个关联压缩算子对所述训练数据的压缩率的影响值;

45、根据每个关联压缩算子对所述训练数据的压缩率的影响值,调整每个关联压缩算子的待训练权重值。

46、第三方面,本技术实施例还提供一种电子设备,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器实现上述第一方面记载的任一种方法。

47、第四方面,本技术实施例提供一种芯片,包括处理器和供电电路;供电电路用于为处理器供电,处理器,用于读取计算机可执行指令并执行,使得上述第一方面中任一种可能设计提出的方法被执行。

48、第五方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机可执行指令,该计算机可执行指令用于使计算机执行上述第一方面提供的任一种方法。

49、第六方面,本技术实施例提供一种计算机程序产品,包含有计算机可执行指令,该计算机可执行指令用于使计算机执行上述第一方面提供的任一种方法。

50、上述第二方面至第六方面中任一方面可以达到的技术效果可以参照上述第一方面中有益效果的描述,此处不再重复赘述。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1