一种用于台区全景监测的数据压缩方法及装置与流程

本发明涉及电力监测管理领域，尤其涉及一种用于台区全景监测的数据压缩方法及装置。

背景技术：

1、现有的低压台区全景监测方法需要对电压、电流、谐波、温度、湿度、碳足迹等多维信息进行采集与交互，以及对台区重要事件进行实时监测、诊断和分析，会产生海量的监测数据，对现有容量受限的电力线载波的通信带来了巨大的数据传输压力。

2、而现有的基于电力线载波的信息交互方法无法根据事件的特征，对不同重要事件的数据进行最优匹配，导致重要事件的数据适配性较差，多维冗余信息无法得到充分处理，使得信息交互效率下降，影响台区全景监测的实时性、准确性和可靠性。此外，现有的面向台区全景监测的中间件缺少合适的分析机制，在面对不断变化的台区全景监测数据种类时，所采取的压缩方法与各重要事件的数据匹配度较差，无法根据历史结果进行优化，导致数据还原精度和数据压缩效率下降，无法实现对台区全景的实时监测。

技术实现思路

1、本发明提供了一种用于台区全景监测的数据压缩方法及装置，通过对数据压缩的效率优化，解决了由于现有方法对台区全景监测重要数据的压缩效率较低，使得载波多维信息交互传输效率低下的问题。

2、为了解决上述技术问题，本发明提供了一种用于台区全景监测的压缩方法，包括：当确定中间件处于优化状态时，接收所述中间件发送的第一数据和第二数据；其中，所述第一数据是由所述中间件根据台区全景监测终端而采集获得；所述第二数据是根据预设的第一压缩字典对所述第一数据进行编码压缩后获得；

3、对所述第二数据进行编码解压缩，获得第三数据，并根据所述第一数据、所述第二数据和所述第三数据，计算得到所述中间件当前编码压缩的压缩效率和还原精度；

4、根据所述压缩效率和所述还原精度，对所述第一压缩字典进行优化，获得第二压缩字典；

5、向所述中间件发送所述压缩效率、所述还原精度和所述第二压缩字典，以使所述中间件根据所述压缩效率、所述还原精度和所述第二压缩字典，对本地存储的压缩字典进行聚合更新，并根据更新后的压缩字典，对获取的原始数据进行编码压缩；

6、通过对台区全景监测终端产生的数据进行接收和处理，以及对所述数据压缩效率的优化，可以提升台区全景监测数据的压缩效率，缓解海量数据对电力线载波带来的巨大压力，保证台区重要事件数据能够高效汇聚与压缩，从而实现低压台区运行全景监测的多维信息高效交互与传输。

7、作为优选方案，所述根据所述第一数据、所述第二数据和所述第三数据，计算得到所述中间件当前编码压缩的压缩效率和还原精度，具体定义方式为：

8、云端服务器通过所述第一数据和所述第二数据计算数据压缩前后的压缩效率，具体为：

9、

10、其中，t为所述台区全景监测终端产生载波多维信息中的重要数据的时刻，η(t)为所述压缩效率，size()为数据的存储空间占用大小，x(t)为所述第一数据，xcode(t)为所述第二数据；

11、所述云端服务器通过所述第一数据和所述第三数据计算数据解压缩前后的还原精度，具体为：

12、

13、其中，ψ(t)为所述还原精度，x(t)为所述第一数据，xunzip(t)为所述第三数据；

14、通过所述方法获得的所述数据压缩效率和所述还原精度，可以直观地看出对数据压缩效率的优化程度，可以用于后续更优地调整所述数据压缩效率优化方法。

15、作为优选方案，根据所述压缩效率和所述还原精度，对所述第一压缩字典进行优化，获得第二压缩字典，具体定义方式为：

16、通过对所述第一压缩字典对应位置编码和所述第一压缩字典对应位置编码的前预设位编码进行首尾拼接优化，获得所述第二压缩字典，具体为：

17、

18、其中，为所述第二压缩字典，am为所述第一压缩字典，表示将前后两段编码首尾拼接，δ表示取am对应位置编码的前预设位编码位；

19、通过对所述压缩效率和所述还原精度对所述第一压缩字典进行优化的方法进行具体定义，可以得到更优的数据压缩字典，用于后续对压缩字典的更新优化，提高所述数据压缩效率。

20、作为优选方案，所述通过对所述第一压缩字典对应位置编码和所述第一压缩字典对应位置编码的前预设位编码进行首尾拼接优化，获得所述第二压缩字典，具体为：

21、根据以下公式进行首尾拼接优化：

22、

23、其中，q(t)表示所述第一压缩字典对应位置编码的前q(t)位，η(t)表示所述压缩效率，ψ(t)表示所述还原精度，表示进行向上取整，length(am(x))表示所述第一压缩字典编码的最大位数；

24、通过对所述第一压缩字典对应位置编码和所述第一压缩字典对应位置编码的前预设位编码进行首尾拼接优化的方法进行具体定义，可以得到更加准确及优化程度更加细致的第二压缩字典，提高所述数据压缩效率。

25、作为优选方案，所述中间件根据所述压缩效率、所述还原精度和所述第二压缩字典，对本地存储的压缩字典进行聚合更新，具体为：

26、设定聚合权重和聚合权重阈值，若所述聚合权重大于所述聚合权重阈值，则根据所述第二压缩字典更新所述第一压缩字典；若所述聚合权重小于所述聚合权重阈值，则不更新所述第一压缩字典，具体为：

27、

28、

29、其中，ξm为所述聚合权重，η(t)表示所述压缩效率，ψ(t)表示所述还原精度，an为所述第一压缩字典，为所述第二压缩字典，thresholdm为所述聚合权重阈值；

30、通过所述定义方式可以得出，当所述还原精度越差、所述压缩效率越低时，所述聚合权重就越大，所述中间件对所述压缩字典的聚合优化效果就越好，以此持续优化数据压缩方式，提高所述数据压缩效率。

31、作为优选方案，当所述中间件处于非优化状态时，接收所述中间件发送的第二数据，完成压缩数据的传输；

32、所述中间件处于非优化状态时，则表示所述数据压缩效率优化方法的压缩效率和还原精度已经达到满足优化要求，可以一直将当前的数据压缩方式作为最优方式进行维持，不需要进一步调整，其中，所述优化要求可以通过实际情况进行条件设置；此时只接收所述中间件发送的所述第二数据，可以减少传输的数据量，从而降低网络负担。

33、本发明还提供了一种用于台区全景监测的压缩方法，包括：

34、当确定中间件处于优化状态时，将第四数据和第五数据传输给云端服务器，以使所述云端服务器对所述第五数据进行编码解压缩，获得第六数据，并根据所述第四数据、所述第五数据和所述第六数据，计算得到所述中间件当前编码压缩的压缩效率和还原精度，继而根据所述压缩效率和所述还原精度，对第三压缩字典进行优化，获得第四压缩字典；其中，所述第四数据是根据台区全景监测终端而采集获得；所述第五数据是根据预设的第三压缩字典对所述第四数据进行编码压缩后获得；

35、接收所述云端服务器发送的所述压缩效率、所述还原精度和所述第四压缩字典并根据所述压缩效率、所述还原精度和所述第四压缩字典，对本地存储的压缩字典进行聚合更新；

36、根据更新后的压缩字典，对获取的原始数据进行编码压缩；

37、通过将台区全景监测终端产生的数据传输给云端服务器，以对所述数据压缩效率的优化，可以提升台区全景监测数据的压缩效率，缓解海量数据对电力线载波带来的巨大压力，保证台区重要事件数据能够高效汇聚与压缩，从而实现低压台区运行全景监测的多维信息高效交互与传输。

38、作为优选方案，所述根据所述第四数据、所述第五数据和所述第六数据，计算得到所述中间件当前编码压缩的压缩效率和还原精度，具体定义方式为：

39、所述云端服务器通过所述第四数据和所述第五数据计算数据压缩前后的压缩效率，具体为：

40、

41、其中，t为所述台区全景监测终端产生载波多维信息中的重要数据的时刻，η(t)为所述压缩效率，size()为数据的存储空间占用大小，x(t)为所述第四数据，xcode(t)为所述第五数据；

42、所述云端服务器通过所述第四数据和所述第六数据计算数据解压缩前后的还原精度，具体为：

43、

44、其中，ψ(t)为所述还原精度，x(t)为所述第四数据，xunzip(t)为所述第六数据；

45、通过所述方法获得的所述数据压缩效率和所述还原精度，可以直观地看出对数据压缩效率的优化程度，可以用于后续更优地调整所述数据压缩效率优化方法。

46、作为优选方案，所述根据所述压缩效率和所述还原精度，对所述第三压缩字典进行优化，获得第四压缩字典，具体定义方式为：

47、通过对所述第三压缩字典对应位置编码和所述第三压缩字典对应位置编码的前预设位编码进行首尾拼接优化，获得所述第四压缩字典，具体为：

48、

49、其中，为所述第四压缩字典，am为所述第三压缩字典，表示将前后两段编码首尾拼接，δ表示取am对应位置编码的前预设位编码位；

50、通过对所述压缩效率和所述还原精度对所述第三压缩字典进行优化的方法进行具体定义，可以得到更优的数据压缩字典，用于后续对压缩字典的更新优化，提高所述数据压缩效率。

51、作为优选方案，所述通过对所述第三压缩字典对应位置编码和所述第三压缩字典对应位置编码的前预设位编码进行首尾拼接优化，获得所述第四压缩字典，具体为：

52、根据以下公式进行首尾拼接优化：

53、

54、其中，q(t)表示所述第三压缩字典对应位置编码的前q(t)位，η(t)表示所述压缩效率，ψ(t)表示所述还原精度，表示进行向上取整，length(am(x))表示所述第三压缩字典编码的最大位数；

55、通过对所述第三压缩字典对应位置编码和所述第三压缩字典对应位置编码的前预设位编码进行首尾拼接优化的方法进行具体定义，可以得到更加准确及优化程度更加细致的第四压缩字典，提高所述数据压缩效率。

56、作为优选方案，所述根据所述压缩效率、所述还原精度和所述第四压缩字典，对本地存储的压缩字典进行聚合更新，具体为：

57、设定聚合权重和聚合权重阈值，若所述聚合权重大于所述聚合权重阈值，则根据所述第四压缩字典更新所述第三压缩字典；若所述聚合权重小于所述聚合权重阈值，则不更新所述第三压缩字典，具体为：

58、

59、

60、其中，ξm为所述聚合权重，η(t)表示所述压缩效率，ψ(t)表示所述还原精度，an为所述第三压缩字典，为所述第四压缩字典，thresholdm为所述聚合权重阈值；

61、通过所述定义方式可以得出，当所述还原精度越差、所述压缩效率越低时，所述聚合权重就越大，所述中间件对所述压缩字典的聚合优化效果就越好，以此持续优化数据压缩方式，提高所述数据压缩效率。

62、作为优选方案，当所述中间件处于非优化状态时，将所述第五数据直接传输至云端服务器，完成压缩数据的传输；

63、所述中间件处于非优化状态时，则表示所述数据压缩效率优化方法的压缩效率和还原精度已经达到满足优化要求，可以一直将当前的数据压缩方式作为最优方式进行维持，不需要进一步调整，其中，所述优化要求可以通过实际情况进行条件设置；此时只接收所述中间件发送的所述第五数据，可以减少传输的数据量，从而降低网络负担。

64、本发明还提供一种用于台区全景监测的数据压缩装置，包括数据接收模块、数据处理模块、字典优化模块、数据发送模块；

65、其中，所述数据接收模块用于当确定中间件处于优化状态时，接收所述中间件发送的第一数据和第二数据；其中，所述第一数据是由所述中间件根据台区全景监测终端而采集获得；所述第二数据是根据预设的第一压缩字典对所述第一数据进行编码压缩后获得；

66、所述数据处理模块用于对所述第二数据进行编码解压缩，获得第三数据，并根据所述第一数据、所述第二数据和所述第三数据，计算得到所述中间件当前编码压缩的压缩效率和还原精度；

67、所述字典优化模块用于根据所述压缩效率和所述还原精度，对所述第一压缩字典进行优化，获得第二压缩字典；

68、所述数据发送模块用于向所述中间件发送所述压缩效率、所述还原精度和所述第二压缩字典，以使所述中间件根据所述压缩效率、所述还原精度和所述第二压缩字典，对本地存储的压缩字典进行聚合更新，并根据更新后的压缩字典，对获取的原始数据进行编码压缩；

69、所述用于台区全景监测的数据压缩装置通过对台区全景监测终端产生的数据进行接收和处理，以及对所述数据压缩效率的优化，可以提升台区全景监测数据的压缩效率，缓解海量数据对电力线载波带来的巨大压力，保证台区重要事件数据能够高效汇聚与压缩，从而实现低压台区运行全景监测的多维信息高效交互与传输。

70、本发明还提供一种用于台区全景监测的数据压缩装置，包括数据传输模块、字典更新模块、数据压缩模块；

71、其中，所述数据传输模块用于当确定中间件处于优化状态时，将第四数据和第五数据传输给云端服务器，以使所述云端服务器对所述第五数据进行编码解压缩，获得第六数据，并根据所述第四数据、所述第五数据和所述第六数据，计算得到所述中间件当前编码压缩的压缩效率和还原精度，继而根据所述压缩效率和所述还原精度，对第三压缩字典进行优化，获得第四压缩字典；其中，所述第四数据是根据台区全景监测终端而采集获得；所述第五数据是根据预设的第三压缩字典对所述第四数据进行编码压缩后获得；

72、所述字典更新模块用于接收所述云端服务器发送的所述压缩效率、所述还原精度和所述第四压缩字典并根据所述压缩效率、所述还原精度和所述第四压缩字典，对本地存储的压缩字典进行聚合更新；

73、所述数据压缩模块用于根据更新后的压缩字典，对获取的原始数据进行编码压缩；

74、所述用于台区全景监测的数据压缩装置通过将台区全景监测终端产生的数据传输给云端服务器，以对所述数据压缩效率的优化，可以提升台区全景监测数据的压缩效率，缓解海量数据对电力线载波带来的巨大压力，保证台区重要事件数据能够高效汇聚与压缩，从而实现低压台区运行全景监测的多维信息高效交互与传输。