一种基于大数据的数据压缩存储方法和系统与流程

本发明涉及大数据处理，具体涉及一种基于大数据的数据压缩存储方法。

背景技术：

1、工业上的生产大数据通常数据量庞大，需要使用大数据分析和处理等方式从海量的数据中分析数据特征，但同时巨大的数据量会带来了存储时间和空间的消耗和浪费，因此需要对数据进行压缩存储以节省存储空间，于是就有了存储方式和压缩方式，以一定的算法降低数据占用的空间，并且保证数据不丢失，从而提高空间的利用率。

2、现有专利cn115882867a公开了的一种基于大数据的数据压缩存储方法，该方法包括：获取时序数据序列，进行进制转换得到时序数据编码，根据编码顺序对时序数据编码中的编码值进行标号，得到编码值的待处理序号；将时序数据编码划分为初始编码子段，确定初始编码子段的子段序号；确定重复编码子段，基于预设扩充规则对重复编码子段进行扩充处理，得到至少两个不重叠的扩充编码子段；按照编码顺序，将时序数据编码中除扩充编码子段的编码组合生成至少一个插入编码子段；对扩充编码子段和插入编码子段进行编码，得到目标编码，根据编码顺序将目标编码组合生成数据压缩编码，存储数据压缩编码。

3、然而上述技术在针对工业设备进行数据采集时，需要通过插入接口，实现数据采集模块与数据采集点的结合开始实现数据采集，由于工业数据庞大，往往在数据采集这块就需要花费很多时间，并且对于工业参数上的数据有很多都是无效数据，这些无效数据也会增加采集的时间，并且采集的无效数据也需要后期进行剔除压缩，不便进一步对工业数据进行压缩和存储。

技术实现思路

1、本发明针对现有技术在针对工业设备进行数据采集时，需要通过插入接口，实现数据采集模块与数据采集点的结合开始实现数据采集，耗费大量时间，且对于工业参数上的数据有很多都是无效数据，不便进一步对工业数据进行压缩和存储的问题，提出一种基于大数据的数据压缩存储方法，所述方法包括：

2、根据工业设备的数据传输接口建立对应的分区存储库，并将建立的分区存储库的数据接口均与数据压缩区进行连接；

3、根据所述数据压缩区建立数据采集系统，并将所述数据采集系统与工业设备的数据传输接口建立连接；

4、根据数据采集系统上的若干个数据采集点进行数据采集，并将所述数据采集点标记为cjp；

5、通过数据采集点cjp对工业上的数据同时进行采集，并对每个数据采集点上增设数据剔除模块对乱码数据进行剔除；

6、将若干个数据采集点cjp采集到的数据信息通过数据编码模块将数据存储在数据压缩区的临时存储区内；

7、对临时存储区的数据进行压缩处理；

8、将压缩处理后的每一项工业数据分别传输到对应的分区存储库进行存储。

9、进一步的，还提供一种优选方式，所述对每个数据采集点上增设数据剔除模块对乱码数据进行剔除，包括：预先根据工业数据类型预设出数据模板，再将数据采集点采集到的数据通过对比模块与数据模板进行比对，从而对不符合数据模板的数据进行删剔除。

10、进一步的，还提供一种优选方式，所述将若干个数据采集点cjp采集到的数据信息通过数据编码模块将数据存储在数据压缩区的临时存储区内，包括：

11、若干个数据采集点cjp采集到的数据信息分别为cj5、cj2、cj10、cj1……、cjp，通过数据编码模块将采集到的数据排列成：cj1、cj2、cj3、……、cjp，使其按照顺序存储在临时存储区内。

12、进一步的，还提供一种优选方式，所述对临时存储区的数据进行压缩处理，包括：

13、采用数据标记对每一项数据进行数据标记，并标记为ssk，同时对重复数据进行获取，并采用重复标记对重复数据进行替换并标记为cfj，完成对整个工业数据的压缩处理。

14、基于同一发明构思，本发明还提出一种基于大数据的数据压缩存储装置，所述装置包括：

15、分区存储单元，用于根据工业设备的数据传输接口建立对应的分区存储库，并将建立的分区存储库的数据接口均与数据压缩区进行连接；

16、数据连接单元，用于根据所述数据压缩区建立数据采集系统，并将所述数据采集系统与工业设备的数据传输接口建立连接；

17、数据连接单元，用于根据数据采集系统上的若干个数据采集点进行数据采集，并将所述数据采集点标记为cjp；

18、乱码剔除单元，用于通过数据采集点cjp对工业上的数据同时进行采集，并对每个数据采集点上增设数据剔除模块对乱码数据进行剔除；

19、编码单元，用于将若干个数据采集点cjp采集到的数据信息通过数据编码模块将数据存储在数据压缩区的临时存储区内；

20、压缩单元，用于对临时存储区的数据进行压缩处理；

21、存储单元，用于将压缩处理后的每一项工业数据分别传输到对应的分区存储库进行存储，

22、进一步的，还提供一种优选方式，所述乱码剔除单元，包括：预先根据工业数据类型预设出数据模板，再将数据采集点采集到的数据通过对比模块与数据模板进行比对，从而对不符合数据模板的数据进行删剔除。

23、进一步的，还提供一种优选方式，所述编码单元，包括：

24、若干个数据采集点cjp采集到的数据信息分别为cj5、cj2、cj10、cj1……、cjp，通过数据编码模块将采集到的数据排列成：cj1、cj2、cj3、……、cjp，使其按照顺序存储在临时存储区内。

25、进一步的，还提供一种优选方式，所述压缩单元，包括：

26、采用数据标记对每一项数据进行数据标记，并标记为ssk，同时对重复数据进行获取，并采用重复标记对重复数据进行替换并标记为cfj，完成对整个工业数据的压缩处理。

27、基于同一发明构思，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行上述任一项所述的一种基于大数据的数据压缩存储方法。

28、基于同一发明构思，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据上述中任一项中所述的一种基于大数据的数据压缩存储方法。

29、本发明的有益之处在于：

30、本发明解决了现有技术在针对工业设备进行数据采集时，需要通过插入接口，实现数据采集模块与数据采集点的结合开始实现数据采集，耗费大量时间，且对于工业参数上的数据有很多都是无效数据，不便进一步对工业数据进行压缩和存储的问题。

31、本发明所提供的一种基于大数据的数据压缩存储方法，与传统数据采集方法相比，省略了繁琐的接口插入步骤，节省了时间和资源。这使得数据采集过程更加高效。通过在数据采集点上增设数据剔除模块，可以识别和剔除无效数据，从而提高了数据的质量。这有助于降低后续数据处理和存储的负担。采集到的数据首先存储在临时存储区，然后进行压缩处理。数据压缩有助于减小存储需求，降低存储成本，以及加速数据传输速度。

32、本发明所提供的一种基于大数据的数据压缩存储方法中，分区存储库的建立和数据接口连接，确保了数据的有效组织和存储。每个分区存储库可以专门存储相关类型的数据，使数据管理更有条理。连接数据接口到存储库确保了数据的实时传输。数据采集系统将工业设备的数据接口与数据采集系统相连接，数据可以直接流入数据采集系统，省去了额外的数据传输步骤，提高了数据采集的实时性和效率。数据采集点负责实际的数据采集，根据工业设备的需要采集数据。每个数据采集点可以定制化配置，以满足不同参数的数据采集需求，同时，通过数据剔除模块的使用，无效数据得以剔除，确保数据质量。采集到的数据首先通过数据编码模块进行编码，然后压缩处理。编码有助于标准化数据格式，而压缩有助于减小存储需求。这两个步骤结合起来，确保数据以有效的方式存储，减少存储成本。压缩处理后的数据传输到对应的分区存储库进行存储。这确保了数据的分类存储，使其容易检索和分析。此外，压缩后的数据占用较少的存储空间，降低了存储成本，同时也提高了数据传输的速度。通过减少冗余步骤、实现实时数据采集和优化存储，提高了整个数据处理流程的效率。数据采集点和数据剔除模块的结合确保了采集到的数据质量，剔除了无效数据，提高了数据的可信度。数据压缩减小了存储需求，降低了存储成本。分区存储库和数据编码有助于数据的有序管理和检索，使数据更容易访问和分析。直接连接数据采集系统和数据接口，确保了数据的实时采集和处理，有助于快速响应工业设备的状态变化。

33、本发明应用于工业数据传输领域。