数据压缩方法及装置、数据处理设备、压缩芯片与流程

本技术涉及数据处理领域，特别涉及一种数据压缩方法及装置、数据处理设备、压缩芯片。

背景技术：

1、数据压缩技术是存储领域中必不可少的数据缩减技术。数据压缩技术可以减小数据规模，降低数据的存储开销和存储成本，提高存储设备的利用率。

2、目前的数据压缩技术包括硬件压缩技术。硬件压缩技术依靠硬件电路进行数据压缩，对中央处理器(central processing unit，cpu)的算力消耗较小，压缩效率较高，但是硬件压缩技术的灵活性较低，一套压缩策略只能适用于一类数据。

技术实现思路

1、本技术提供了一种数据压缩方法及装置、数据处理设备、压缩芯片，能够适用于不同类型的数据的压缩，灵活性较高，数据压缩过程对cpu的算力消耗较小，压缩效率较高。本技术的技术方案如下：

2、第一方面，提供了一种数据压缩方法，应用于硬件压缩装置，该方法包括：获取数据对应的压缩参数，该数据对应的压缩参数根据该数据的类型确定；根据该数据对应的压缩参数确定该数据对应的压缩策略；根据该数据对应的压缩策略对该数据进行压缩。

3、本技术提供的技术方案，由于数据对应的压缩参数根据该数据的类型确定，而用于对该数据进行压缩的压缩策略是硬件压缩装置根据该数据对应的压缩参数确定的，因此，用于对该数据进行压缩的压缩策略是根据该数据的类型确定的，用于对该数据进行压缩的压缩策略能够适应该数据的类型，由此，应用于硬件压缩装置的该数据压缩方案可以适用于不同类型的数据的压缩，灵活性较高。此外，由于该数据压缩方法由硬件压缩装置执行，因此该数据压缩方法属于硬件压缩技术，该硬件压缩方法具有硬件压缩技术的优点，例如但不限于对cpu的算力消耗小，压缩效率高等。

4、可选的，所述压缩策略包括至少一个压缩算子，根据该数据对应的压缩参数确定该数据对应的压缩策略，包括：根据该数据对应的压缩参数确定该数据对应的至少一个压缩算子。

5、其中，当该压缩策略包括一个压缩算子时，硬件压缩装置根据该数据对应的压缩参数确定的该数据对应的一个压缩算子即为该数据对应的压缩策略。

6、当该压缩策略包括多个压缩算子时，硬件压缩装置根据该数据对应的压缩参数确定的该数据对应的多个压缩算子组成该数据对应的压缩策略。例如，该多个压缩算子具有一定的逻辑关系，该多个压缩算子按照逻辑关系组成该数据对应的压缩策略。

7、本技术提供的技术方案，压缩策略包括至少一个压缩算子，硬件压缩装置根据数据对应的压缩参数，以压缩算子的粒度确定该数据对应的压缩策略，硬件压缩装置确定压缩策略的粒度更细，因此，确定的压缩策略对数据压缩的压缩率更小，可以减小数据的缩减率。其中，压缩率指的是压缩后的数据的数据量与压缩前的数据的数据量的比值，缩减率指的是缩减后的数据的数据量与缩减前的数据的数据量的比值。

8、可选的，根据数据对应的压缩参数确定该数据对应的至少一个压缩算子，包括：根据第一映射关系和该数据对应的压缩参数，确定该数据对应的至少一个压缩算子，其中，第一映射关系中包括该数据对应的压缩参数和该数据对应的至少一个压缩算子的映射关系。第一映射关系可以是硬件压缩装置维护的映射关系。

9、可选的，根据数据对应的压缩策略对该数据进行压缩，包括：依次采用该数据对应的所述至少一个压缩算子对该数据进行处理。例如，该至少一个压缩算子一一对应至少一个算子单元，每个压缩算子的功能由其对应的算子单元实现，硬件压缩装置可以将数据依次输入该至少一个算子单元，使该至少一个算子单元依次对该数据进行处理，以实现对该数据的压缩。

10、可选的，获取数据对应的压缩参数，包括：接收软件处理装置发送的该数据对应的压缩参数，其中，该数据对应的压缩参数是该软件处理装置外部的设备发送给该软件处理装置的，或者，该数据对应的压缩参数是该软件处理装置根据该数据的类型确定的。在其他实现方式中，硬件压缩装置可以接收其他设备或装置发送的该数据对应的压缩参数，或者硬件压缩装置根据该数据的类型确定该数据对应的压缩参数。

11、本技术提供的技术方案，由于根据数据的类型确定该数据对应的压缩参数的计算量较小，因此，软件处理装置根据该数据的类型确定该数据对应的压缩参数的过程对该软件处理装置所属的设备(例如数据处理设备、存储设备等)的cpu的算力消耗较小。在数据对应的压缩参数是软件处理装置外部的设备发送给该软件处理装置的情况下，该软件处理装置直接将该数据对应的压缩参数发送给硬件压缩装置，无需该软件处理装置确定该数据对应的压缩参数，可以避免该软件处理装置确定该数据对应的压缩参数的过程消耗该软件处理装置所属的设备(例如数据处理设备、存储设备等)的cpu的算力。

12、本技术提供的技术方案结合软件处理装置和硬件压缩装置进行数据压缩处理，例如，由软件处理装置根据数据的类型确定该数据对应的压缩参数，由硬件压缩装置根据该数据对应的压缩参数确定该数据对应的压缩策略，并根据该数据对应的压缩策略对该数据进行压缩，由此，可以提高数据压缩的灵活性，提高数据处理性能。

13、可选的，软件处理装置和硬件压缩装置集成在同一设备中。例如该设备是存储设备。

14、可选的，硬件压缩装置为压缩芯片。例如，该压缩芯片是专用集成电路(application-specific integrated circuit，asic)或可编程逻辑器件(programmablelogic device，pld)。该pld可以是复杂程序逻辑器件(complex programmable logicaldevice，cpld)、现场可编程门阵列(field-programmable gate array，fpga)、通用阵列逻辑(generic array logic，gal)或其任意组合。

15、第二方面，提供了一种硬件压缩装置，该硬件压缩装置包括：用于执行如上述第一方面或第一方面的任一可选方式所提供的数据压缩方法的各个模块，所述模块可以基于各种可能的硬件实现，且所述模块可以基于具体实现进行任意组合或分割。

16、第三方面，提供了一种数据处理设备，包括接口和硬件压缩装置；

17、该接口用于接收数据；

18、该硬件压缩装置用于：

19、获取数据对应的压缩参数，该数据对应的压缩参数根据该数据的类型确定；

20、根据该数据对应的压缩参数确定该数据对应的压缩策略；

21、根据该数据对应的压缩策略对该数据进行压缩。

22、可选的，所述压缩策略包括至少一个压缩算子，硬件压缩装置用于：根据该数据对应的压缩参数确定该数据对应的至少一个压缩算子。

23、可选的，硬件压缩装置用于：根据第一映射关系和该数据对应的压缩参数，确定该数据对应的至少一个压缩算子，其中，第一映射关系中包括该数据对应的压缩参数和该数据对应的至少一个压缩算子的映射关系。

24、可选的，硬件压缩装置用于：依次采用该至少一个压缩算子对该数据进行处理。

25、可选的，数据处理设备还包括软件处理装置，软件处理装置与硬件压缩装置通信连接，硬件压缩装置用于：接收软件处理装置发送的该数据对应的压缩参数。

26、可选的，软件处理装置用于：通过所述接口接收该软件处理装置外部的设备发送的该数据对应的压缩参数；向硬件压缩装置发送该数据对应的压缩参数。

27、可选的，软件处理装置用于：根据该数据的类型确定该数据对应的压缩参数；向硬件压缩装置发送该数据对应的压缩参数。

28、可选的，软件处理装置用于：根据该数据的类型和第二映射关系，确定该数据对应的压缩参数，其中，第二映射关系中包括该数据的类型和该数据对应的压缩参数的映射关系。

29、可选的，硬件压缩装置为压缩芯片。

30、可选的，数据处理设备为存储设备。

31、第四方面，提供了一种压缩芯片，该压缩芯片包括可编程逻辑电路和/或程序指令，该压缩芯片运行时用于实现如上述第一方面或第一方面的任一可选方式所提供的数据压缩方法。

32、可选的，该压缩芯片包括获取电路、确定电路和压缩电路；

33、获取电路，用于获取数据对应的压缩参数，数据对应的压缩参数根据该数据的类型确定；

34、确定电路，用于根据该数据对应的压缩参数确定该数据对应的压缩策略；

35、压缩电路，用于根据该数据对应的压缩策略对该数据进行压缩。

36、可选的，所述压缩策略包括至少一个压缩算子，确定电路，用于根据该数据对应的压缩参数确定该数据对应的至少一个压缩算子。

37、可选的，确定电路，用于根据第一映射关系和该数据对应的压缩参数，确定该数据对应的该至少一个压缩算子，其中，第一映射关系中包括该数据对应的压缩参数和该数据对应的该至少一个压缩算子的映射关系。

38、可选的，压缩电路，用于依次采用该至少一个压缩算子对该数据进行处理。

39、可选的，获取电路，用于接收软件处理装置发送的该数据对应的压缩参数，其中，该数据对应的压缩参数是该软件处理装置外部的设备发送给该软件处理装置的，或者，该数据对应的压缩参数是该软件处理装置根据该数据的类型确定的。

40、上述第二方面至第五方面的技术效果可以参考第一方面的技术效果，因此不再赘述。