一种工业数据压缩存储方法

本发明涉及工业数据压缩，尤其涉及一种工业数据压缩存储方法。

背景技术：

1、随着工业4.0的到来，工业生产线上对于数据存储的的需求逐渐多了起来，在一些工业生产线在存储数据信息后，需要数据进行一次压缩处理，以减少数据所占用的存储空间；目前常用的压缩算法包括huffman编码、lzw算法、lz77算法等，然而，这些编码都属于无损压缩，对数据的压缩率通常不高。对于实际工业场景，设备内部的数据信息存在大量的冗余数据，没有必要全都记录下来，只记录关键数据以及工程师所关心的数据即满足实际需求。

2、故，针对现有技术的缺陷，实有必要提出一种技术方案以解决现有技术存在的技术问题。

技术实现思路

1、有鉴于此，为了减轻数据的存储负担，确有必要提供一种工业数据压缩存储方法，面对重复单一的工业生产线场景，可以大幅提高数据的压缩率。

2、为了解决现有技术存在的技术问题，本发明的技术方案如下：

3、一种工业数据压缩存储方法，包括以下步骤：

4、步骤s10：接收工业设备数据采集信息表格，并提取表格信息形成压缩模板文件，其中，压缩模板文件中设置了拟压缩的数据信息和压缩规则；

5、步骤s20：获取工业数据包并解析数据包，将数据包内数据逐一与模板数据信息作比较，按照预定义的压缩规则对数据进行压缩处理；

6、步骤s30：根据比较结果，得到压缩后的预存储数据。

7、作为进一步的改进方案，步骤s10中，工业设备数据采集信息表格中包括数据对象的物理含义及其阈值，提取表格中特定列的信息，形成压缩模板文件，并转化得到模板信息数组；

8、步骤s20中，数据包内数据逐一与模板信息数组作比较以此对数据进行压缩处理。

9、作为进一步的改进方案，步骤s10中，压缩模板文件保存的信息包括：

10、基本信息，包括数据名variablename，数据类型variabletype，时间戳hastimestamp，采集频率tsspan；

11、阈值信息，包括最小值minvlaue，标准值standardvale，最大值maxvalue；

12、其中，数据类型包含数值型数据、时序型数据以及数值数组型数据；当数据类型为数值数组的情况下，最小值、标准值、最大值将有n个，其中n为数组的长度。

13、作为进一步的改进方案，步骤s10中的模板信息数组的类型为<string,datatype>，其中string为字符串，记录数据名，datatype为一个结构体，该结构体的成员变量中包含了压缩模板中每条记录的信息，还包含了以下信息：数据类型字节大小valuebytes、数组数据标记isarray、数组长度arraylen、时序数据ists标记、时序采集次数tslen。

14、作为进一步的改进方案，压缩规则具体包括：

15、①当数据内容为数值型数据data时，根据阈值信息判断maxvalue≥data≥minvalue，如果结果为true，则压缩该数据不保留；为false，则保留该数据，记录<pos,data>，其中pos为该数据在原数据包的位置；

16、②当数据内容为时序型数据{<datai,timestampi>,i＝1,2,…,tslen}时，只保留第一次采集的时间戳timestamp1，其余timestamp不记录，即记录<pos,timestamp1>；其中每个data数值按照规则①处理；

17、③当数据内容为数值数组型数据[datai,i＝1,2,…,arraylen]时，数组中的每个data数值都有其对应的阈值范围，其中每个data数值按照规则①处理；其中，数值数组作为一个整体，当数组中有至少一个数值的比较结果为false时，记录整个数值数组，即<pos,[datai,i＝1,2,…,arraylen]>。

18、与现有技术相比较，本发明通过接收工业设备数据采集信息表格并生成压缩模板文件来执行数据压缩，从而能够方便的设置拟压缩数据的信息和压缩规则，采用有损压缩的方法，过滤工业数据中不必要的数据，只保留重要的数据信息，大幅提升了压缩效率，减少了工业场景下的存储负担及成本；同时，本发明具体提出了一种数据压缩规则，从而能够实用各种数据类型的数据压缩。

技术特征：

1.一种工业数据压缩存储方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的工业数据压缩存储方法，其特征在于，步骤s10中，工业设备数据采集信息表格中包括数据对象的物理含义及其阈值，提取表格中特定列的信息，形成压缩模板文件，并转化得到模板信息数组；

3.根据权利要求2所述的工业数据压缩存储方法，其特征在于，步骤s10中，压缩模板文件保存的信息包括：

4.根据权利要求3所述的工业数据压缩存储方法，其特征在于，步骤s10中的模板信息数组的类型为<string,datatype>，其中string为字符串，记录数据名，datatype为一个结构体，该结构体的成员变量中包含了压缩模板中每条记录的信息，还包含了以下信息：数据类型字节大小valuebytes、数组数据标记isarray、数组长度arraylen、时序数据ists标记、时序采集次数tslen。

5.根据权利要求3所述的工业数据压缩存储方法，其特征在于，压缩规则具体包括：

技术总结
本发明公开了一种工业数据压缩存储方法，包括以下步骤：步骤S10：接收工业设备数据采集信息表格，并提取表格信息形成压缩模板文件，其中，压缩模板文件中设置了拟压缩的数据信息和压缩规则；步骤S20：获取工业数据包并解析数据包，将数据包内数据逐一与模板数据信息作比较，按照预定义的压缩规则对数据进行压缩处理；步骤S30：根据比较结果，得到压缩后的预存储数据。采用本发明的技术方案，面对重复单一的工业生产线场景，可以大幅提高数据的压缩率。

技术研发人员：邬惠峰,张浩男,陈佰平,陈稳舟,朱毅明
受保护的技术使用者：杭州电子科技大学
技术研发日：
技术公布日：2024/3/11